CN115331071A - 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统 - Google Patents

一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统 Download PDF

Info

Publication number
CN115331071A
CN115331071A CN202210846227.2A CN202210846227A CN115331071A CN 115331071 A CN115331071 A CN 115331071A CN 202210846227 A CN202210846227 A CN 202210846227A CN 115331071 A CN115331071 A CN 115331071A
Authority
CN
China
Prior art keywords
feature
model
scale
meningoencephalitis
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210846227.2A
Other languages
English (en)
Inventor
李文军
朱泽宙
梁伟军
杨红忠
张锦
王觊婧
伍少远
文建全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202210846227.2A priority Critical patent/CN115331071A/zh
Publication of CN115331071A publication Critical patent/CN115331071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统，通过获取包含结核性脑膜脑炎的图片数据集，并将图片数据集划分训练集和测试集；构建预测模型，并对预测模型进行训练：通过ResNet50网络模型对训练集进行特征提取，获得多种尺度的特征图；基于Patch Embedding模块，获得每种尺度的特征图的特征向量；采用全局注意力机制将每种尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；对所有一维特征向量进行拼接，获得拼接后的一维特征向量；采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型。本发明能够提高预测模型预测的准确度。

Description

一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统。
背景技术
病毒性脑膜脑炎是常见的中枢神经系统感染性疾病，常表现为发热、头痛、抽搐、意识障碍和脑膜刺激症状等，可致中枢神经系统局灶性损害。病毒性脑膜脑炎预后不佳，死亡率高，常留有严重后遗症。在各种计算机视觉任务中，如图像分类、目标检测和语义分割，基于卷积神经网络(CNN)的深度神经模型实现了前所未有的突破。虽然深度学习模型的效果很不错，但由于缺少一定的可解释性，使得在日常使用中无法完全取得用户的信任。对深度学习的研究者而言，模型的可解释性是一种较为主观的性质，无法通过严谨的数学表达方法形式化定义可解释性。不过在视觉领域，模型的可解释性得到了进一步发展，Ramprasaath R.Selvaraju等人提出了一种从基于卷积神经网络(CNN)的大型模型中做决策而产生的“视觉解释”技术，该技术将模型中感兴趣的区域用热力图的方式区分出来，非常直观的解释了模型的判断依据。
但直接使用上述模型对结核性脑膜脑炎进行预测，预测效果并不理想，容易导致结核性脑膜脑炎预测错误，因此准确度不高。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统，能够提高结核性脑膜脑炎预测准确度。
第一方面，本发明实施例提供了一种基于多尺度特征图的结核性脑膜脑炎预测方法，所述结核性脑膜脑炎预测方法包括步骤：
获取包含结核性脑膜脑炎的图片数据集，并将所述图片数据集划分训练集和测试集；
基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对所述预测模型进行训练：
通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图；
基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量；
基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对所述拼接后的一维特征向量进行分类预测，获得训练好的预测模型；
采用所述测试集对所述训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
与现有技术相比，本发明第一方面具有以下有益效果：
本方法通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，采用Transformer模型中的全局注意力机制将每种尺度特征图对应的特征向量进行信息整合，使得特征图内每个像素点不止包括自己本身的信息，还包括其他像素点的信息，促进每种尺度特征信息的结合，达到特征图全局信息相结合的目的，提高模型预测的准确度；再对特征向量进行处理，获得一维特征向量，通过该处理能够减少信息冗余，降低计算量；通过上述过程获得每种尺度的特征图对应的一维特征向量，通过拼接的方法拼接所有的一维特征向量，获得拼接后的一维特征向量，采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型，通过上述过程对多种尺度的特征图进行拼接，能够提高预测模型预测的准确度，采用测试集对上述预测模型进行测试，能够获得很好的测试结果，因此，本方法能够辅助医生判断结核性脑膜脑炎，提高结核性脑膜脑炎判断的准确度，减少判断失误。
根据本发明的一些实施例，在所述获取包含结核性脑膜脑炎的图片数据集之后，所述结核性脑膜脑炎预测方法还包括：
对包含结核性脑膜脑炎的图片的三维MRI冠状面、矢状面和横截面进行二维切片处理，并统一每个切片的尺寸。
根据本发明的一些实施例，所述ResNet50模型包括第一卷积阶段、第二卷积阶段、第三卷积阶段和第四卷积阶段；所述通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图，包括：
将所述训练集中的图片经过第一卷积阶段进行特征提取，获得特征图；
基于所述第二卷积阶段，对所述特征图进行特征提取，获得第一尺度特征图；
基于所述第三卷积阶段，对所述第一尺度特征图进行特征提取，获得第二尺度特征图；
基于所述第四卷积阶段，对所述第二尺度特征图进行特征提取，获得第三尺度特征图；
基于所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图，获得多种尺度的特征图。
根据本发明的一些实施例，所述基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量，包括：
分别在所述第二卷积阶段、所述第三卷积阶段和所述第四卷积阶段后添加卷积块注意模块；
基于所述Transformer模型的Patch Embedding模块，将所述第一尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第一特征向量；
基于所述Transformer模型的Patch Embedding模块，将所述第二尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至所述PatchEmbedding模块中，得到第二特征向量；
基于所述Transformer模型的Patch Embedding模块，将所述第三尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至所述PatchEmbedding模块中，得到第三特征向量。
根据本发明的一些实施例，所述全局注意力机制通过如下公式进行信息整合：
MultiHead(Q,K,V)＝concat(head1(q1,k1,v1),...,headh(qh,kh,vh))
其中，V表示值向量，Q表示查询向量，K表示键向量，headi＝Attention(qi,ki,vi)，
Figure BDA0003752888060000031
qi表示第i头的查询向量，ki表示第i头的键向量，vi表示第i头的值向量，
Figure BDA0003752888060000032
表示缩放因子。
根据本发明的一些实施例，所述基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量，包括：
对所述第一特征向量采用全局注意力机制进行信息整合，获得第一整合特征向量，对所述第一整合特征向量进行全局平均池化和展平处理，获得第一一维特征向量；
对所述第二特征向量采用全局注意力机制进行信息整合，获得第二整合特征向量，对所述第二整合特征向量进行全局平均池化和展平处理，获得第二一维特征向量；
对所述第三特征向量采用全局注意力机制进行信息整合，获得第三整合特征向量，对所述第三整合特征向量进行全局平均池化和展平处理，获得第三一维特征向量。
根据本发明的一些实施例，所述对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量，包括：
对所述第一一维特征向量、所述第二一维特征向量和所述第三一维特征向量进行拼接，获得拼接后的一维特征向量。
第二方面，本发明实施例提供了一种基于多尺度特征图的结核性脑膜脑炎预测系统，包括：
图片数据集划分单元，用于获取包含结核性脑膜脑炎的图片数据集，并将所述图片数据集划分训练集和测试集；
预测模型构建单元，用于基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对所述预测模型进行训练：
通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图；
基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量；
基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对所述拼接后的一维特征向量进行分类预测，获得训练好的预测模型；
预测结果获取单元，用于采用所述测试集对所述训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
第三方面，本发明实施例提供了一种基于多尺度特征图的结核性脑膜脑炎预测设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种基于多尺度特征图的结核性脑膜脑炎预测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种基于多尺度特征图的结核性脑膜脑炎预测方法。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的一种基于多尺度特征图的结核性脑膜脑炎预测方法的流程图；
图2是本发明一实施例的不添加class token的预测模型的结构图；
图3是本发明一实施例的添加class token的预测模型的结构图；
图4是本发明一实施例的预测模型的测试结果图；
图5是本发明一实施例的ResNet50模型的测试结果图；
图6是本发明一实施例的ResNet50模型的感兴趣区域的示意图；
图7是本发明一实施例的预测模型中多个阶段的感兴趣区域的示意图；
图8是本发明一实施例的ResNet50模型中多个阶段的感兴趣区域的示意图；
图9是本发明一实施例的一种基于多尺度特征图的结核性脑膜脑炎预测系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
病毒性脑膜脑炎是常见的中枢神经系统感染性疾病，常表现为发热、头痛、抽搐、意识障碍和脑膜刺激症状等，可致中枢神经系统局灶性损害。病毒性脑膜脑炎预后不佳，死亡率高，常留有严重后遗症。在各种计算机视觉任务中，如图像分类、目标检测和语义分割，基于卷积神经网络(CNN)的深度神经模型实现了前所未有的突破。虽然深度学习模型的效果很不错，但由于缺少一定的可解释性，使得在日常使用中无法完全取得用户的信任。对深度学习的研究者而言，模型的可解释性是一种较为主观的性质，无法通过严谨的数学表达方法形式化定义可解释性。不过在视觉领域，模型的可解释性得到了进一步发展，Ramprasaath R.Selvaraju等人提出了一种从基于卷积神经网络(CNN)的大型模型中做决策而产生的“视觉解释”技术，该技术将模型中感兴趣的区域用热力图的方式区分出来，非常直观的解释了模型的判断依据。
但直接使用上述模型对结核性脑膜脑炎进行预测，预测效果并不理想，容易导致结核性脑膜脑炎预测错误，因此准确度不高。
为解决上述问题，本发明通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，采用Transformer模型中的全局注意力机制将每种尺度特征图对应的特征向量进行信息整合，使得特征图内每个像素点不止包括自己本身的信息，还包括其他像素点的信息，促进每种尺度特征信息的结合，达到特征图全局信息相结合的目的，提高模型预测的准确度；再对特征向量进行处理，获得一维特征向量，通过该处理能够减少信息冗余，降低计算量；通过上述过程获得每种尺度的特征图对应的一维特征向量，通过拼接的方法拼接所有的一维特征向量，获得拼接后的一维特征向量，采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型，通过上述过程对多种尺度的特征图进行拼接，能够提高预测模型预测的准确度，采用测试集对上述预测模型进行测试，能够获得很好的测试结果，因此，本发明能够辅助医生判断结核性脑膜脑炎，提高结核性脑膜脑炎判断的准确度，减少判断失误。
参照图1，本发明实施例提供了一种基于多尺度特征图的结核性脑膜脑炎预测方法，该结核性脑膜脑炎预测方法包括步骤：
步骤S100、获取包含结核性脑膜脑炎的图片数据集，并将图片数据集划分训练集和测试集。
具体的，对包含结核性脑膜脑炎的图片的三维MRI冠状面、矢状面和横截面进行二维切片处理，并统一每个切片的尺寸，除对包含结核性脑膜脑炎的图片进行二维切片处理和统一尺寸外，还进行了格式转换和灰度归一化等常规操作。对处理完的图片数据集进行划分，将图片数据集划分为训练集和测试集。例如，本实施例使用的图片数据集分为以下4类：正常对照图片数据集、结核性脑炎图片数据集、结核性脑膜炎图片数据集和结核性脑膜脑炎图片数据集，本实施例一共筛选了1948个样本，分为了283个结核性脑炎样本、667个结核性脑膜炎样本、390个结核性脑膜脑炎样本和608个正常对照样本。每个类别的男女比例大致相等。这些样本数据的划分都是在专业医生帮助下进行的，每种类别数据都通过了多个专业医生的认可，因此该图片数据集具有高度真实性和可靠性，再将该图片数据集划分为训练集和测试集。
本实施例中，训练集和测试集的比例可以根据所需进行设定，本实施例不做具体限定。
步骤S200、基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对预测模型进行训练：
通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图；
基于Transformer模型的Patch Embedding模块，获得每种尺度的特征图的特征向量；
基于Transformer模型，采用全局注意力机制将每种尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型。
具体的，参照图2，图中的Transformer Encoder模型表示Transformer模型中的全局注意力机制，Linear表示全连接层，Concat表示拼接。
本实施例，基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对预测模型进行训练：
ResNet50模型包括四个卷积阶段，分别为第一卷积阶段(Stage1)、第二卷积阶段(Stage2)、第三卷积阶段(Stage3)和第四卷积阶段(Stage4)；通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，具体为：
将训练集中的图片经过第一卷积阶段进行特征提取，获得特征图；
基于第二卷积阶段，对特征图进行特征提取，获得第一尺度特征图；
基于第三卷积阶段，对第一尺度特征图进行特征提取，获得第二尺度特征图；
基于第四卷积阶段，对第二尺度特征图进行特征提取，获得第三尺度特征图；
基于第一尺度特征图、第二尺度特征图和第三尺度特征图，获得多种尺度的特征图。
第二卷积阶段、第三卷积阶段和第四卷积阶段分别获得尺度特征图后，分别在第二卷积阶段、第三卷积阶段和第四卷积阶段后添加卷积块注意模块，以获得特征向量，具体为：
基于Transformer模型的Patch Embedding模块，将第一尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第一特征向量；
基于Transformer模型的Patch Embedding模块，将第二尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第二特征向量；
基于Transformer模型的Patch Embedding模块，将第三尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第三特征向量。
基于Transformer模型，采用全局注意力机制将每种尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量，具体为：
对第一特征向量采用全局注意力机制进行信息整合，获得第一整合特征向量，对第一整合特征向量进行全局平均池化和展平处理，获得第一一维特征向量；
对第二特征向量采用全局注意力机制进行信息整合，获得第二整合特征向量，对第二整合特征向量进行全局平均池化和展平处理，获得第二一维特征向量；
对第三特征向量采用全局注意力机制进行信息整合，获得第三整合特征向量，对第三整合特征向量进行全局平均池化和展平处理，获得第三一维特征向量。
其中，全局注意力机制通过如下公式进行信息整合：
MultiHead(Q,K,V)＝concat(head1(q1,k1,v1),...,headh(qh,kh,vh))
其中，V表示值向量，Q表示查询向量，K表示键向量，headi＝Attention(qi,ki,vi)，
Figure BDA0003752888060000081
qi表示第i头的查询向量，ki表示第i头的键向量，vi表示第i头的值向量，
Figure BDA0003752888060000082
表示缩放因子。
对第一一维特征向量、第二一维特征向量和第三一维特征向量进行拼接，获得拼接后的一维特征向量，采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型。
本实施例通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，采用Transformer模型中的全局注意力机制将每种尺度特征图对应的特征向量进行信息整合，使得特征图内每个像素点不止包括自己本身的信息，还包括其他像素点的信息，促进每种尺度特征信息的结合，达到特征图全局信息相结合的目的，提高模型预测的准确度；再对特征向量进行处理，获得一维特征向量，通过该处理能够减少信息冗余，降低计算量；通过上述过程获得每种尺度的特征图对应的一维特征向量，通过拼接的方法拼接所有的一维特征向量，获得拼接后的一维特征向量，采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型，通过上述过程对多种尺度的特征图进行拼接，能够提高预测模型预测的准确度，采用测试集对上述预测模型进行测试，能够获得很好的测试结果，因此，本实施例能够辅助医生判断结核性脑膜脑炎，提高结核性脑膜脑炎判断的准确度，减少判断失误。
需要说明的是，本实施例还包括另一种可以替换的方法，具体为：
参照图3，图中的Extract Class token表示提取Class token。
本实施例，基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对预测模型进行训练：
ResNet50模型包括四个卷积阶段，第一卷积阶段、第二卷积阶段、第三卷积阶段和第四卷积阶段；通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，具体为：
将训练集中的图片经过第一卷积阶段进行特征提取，获得特征图；
基于第二卷积阶段，对特征图进行特征提取，获得第一尺度特征图；
基于第三卷积阶段，对第一尺度特征图进行特征提取，获得第二尺度特征图；
基于第四卷积阶段，对第二尺度特征图进行特征提取，获得第三尺度特征图；
基于第一尺度特征图、第二尺度特征图和第三尺度特征图，获得多种尺度的特征图。
第二卷积阶段、第三卷积阶段和第四卷积阶段分别获得尺度特征图后，分别在第二卷积阶段、第三卷积阶段和第四卷积阶段后添加卷积块注意模块，以获得特征向量，具体为：
基于Transformer模型的Patch Embedding模块，将第一尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第一特征向量；
基于Transformer模型的Patch Embedding模块，将第二尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第二特征向量；
基于Transformer模型的Patch Embedding模块，将第三尺度特征图输入至卷积块注意模块中，并将卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第三特征向量。
在第一特征向量、第二特征向量和第三特征向量中分别添加了一个可学习的分类向量class_token，获得添加了class_token的第一特征向量、第二特征向量和第三特征向量。
基于Transformer模型，采用全局注意力机制将每种尺度的特征图对应的添加了class_token的特征向量进行信息整合并提取特征向量，获得一维特征向量，具体为：
对添加了class_token的第一特征向量采用全局注意力机制进行信息整合，获得第一整合特征向量，对第一整合特征向量进行Class token提取，获得第一提取的Classtoken；
对添加了class_token的第二特征向量采用全局注意力机制进行信息整合，获得第二整合特征向量，对第二整合特征向量进行Class token提取，获得第二提取的Classtoken；
对添加了class_token的第三特征向量采用全局注意力机制进行信息整合，获得第三整合特征向量，对第三整合特征向量进行Class token提取，获得第三提取的Classtoken。
其中，全局注意力机制通过如下公式进行信息整合：
MultiHead(Q,K,V)＝concat(head1(q1,k1,v1),...,headh(qh,kh,vh))
其中，V表示值向量，Q表示查询向量，K表示键向量，headi＝Attention(qi,ki,vi)，
Figure BDA0003752888060000101
qi表示第i头的查询向量，ki表示第i头的键向量，vi表示第i头的值向量，
Figure BDA0003752888060000102
表示缩放因子。
对第一提取的Class token、第二提取的Class token和第三提取的Class token进行拼接，获得拼接后的提取的Class token，采用全连接层对拼接后的提取的Classtoken进行分类预测，获得训练好的预测模型。
本实施例中的替换方法，同样通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图，采用Transformer模型中的全局注意力机制将每种尺度特征图对应的特征向量进行信息整合，使得特征图内每个像素点不止包括自己本身的信息，还包括其他像素点的信息，促进每种尺度特征信息的结合，达到特征图全局信息相结合的目的，提高模型预测的准确度；但本实施例使用class_token来表示整个特征图具有更少的冗余信息，因此具有更高的性能表现。
步骤S300、采用测试集对训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
为了更好的说明，本实施例进行了实验分析，具体如下：
在实际测试过程中，检测对比结果参照图4和图5，图4是本实施例改进后的预测模型预测出来的类别和置信度，图5是ResNet50模型预测出来的类别和置信度。从图中可以看出ResNet50模型以较高的置信度预测出了错误的类别，而改进后的预测模型以更高的置信度预测出了正确的类别。
两种模型为什么会出现这么大的偏差？其实原因很简单，由于这张图本身对于模型预测是存在困难的，因为有可能待预测图与正常图之间的差别很小，只存在一些细节信息。由于ResNet50模型用的是最后一层特征图进行预测，而这种细节信息在最后一层特征图上可能已经缺失了，这就导致了预测错误。改进后的预测模型是结合多尺度特征图进行预测，这种细节信息缺失的可能性被大大降低了，所以本实施例的预测模型预测更为准确。
本实施例还利用可视化技术对模型感兴趣的区域用热力图进行了显示，ResNet50模型感兴趣区域如图6所示。因为ResNet50模型是利用最后一个阶段(Stage4)的特征图进行预测，所以在这里本实施例也只对ResNet50模型在最后一个阶段的特征图上使用了可视化技术显示了模型对预测类别的感兴趣区域，图6右边为ResNet50模型显示的热力图，由图6可以看出，ResNet50模型感兴趣的区域是非常大的，其中包括了病灶区域，还有一些非病灶区域，预测依据较为模糊，认为脑炎和脑膜的病灶可能都存在，因此预测类别为脑膜脑炎，但是又不是很确定，所以置信度也不高，只有0.642。
参照图7，图中显示了改进过后的预测模型对预测类别的感兴趣区域，由于预测模型是基于多阶段的特征图(Stage2、Stage3和Stage4)进行的预测，所以本实施例将预测模型在这多阶段的特征图上感兴趣的区域都用热力图显示了出来。从图7中可以看出，在Stage2特征图上，预测模型精确定位到了病灶所在的位置，而在Stage3和Stage4的特征图上预测模型感兴趣的区域位置更多、面积更广，但是提供的有用特征信息相对较少，这也证明了在高分辨率特征图上存在更多的细节信息，低分辨率的特征图更多的是表示抽象的语义信息，而改进过后的预测模型正是利用这种多尺度信息进行预测，从而得到了正确的结果，置信度高达0.891。同时，为了验证是因为Transformer Encoder模块的引入提高了卷积网络中卷积核的敏感性，本实施例对ResNet50模型在多阶段的特征图(Stage2、Stage3和Stage4)上的感兴趣区域也进行了可视化处理(针对正确类别)，如图8所示。可以看出，改进后的模型更能敏感的捕捉到病灶的特征。
参照图9，本发明实施例还提供了一种基于多尺度特征图的结核性脑膜脑炎预测系统，包括：
图片数据集划分单元100，用于获取包含结核性脑膜脑炎的图片数据集，并将图片数据集划分训练集和测试集；
预测模型构建单元200，用于基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对预测模型进行训练：
通过ResNet50模型对训练集进行特征提取，获得多种尺度的特征图；
基于Transformer模型的Patch Embedding模块，获得每种尺度的特征图的特征向量；
基于Transformer模型，采用全局注意力机制将每种尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对拼接后的一维特征向量进行分类预测，获得训练好的预测模型；
预测结果获取单元300，用于采用测试集对训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
需要说明的是，由于本实施例中的一种基于多尺度特征图的结核性脑膜脑炎预测系统与上述的一种基于多尺度特征图的结核性脑膜脑炎预测方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
本发明实施例还提供了一种基于多尺度特征图的结核性脑膜脑炎预测设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的一种基于多尺度特征图的结核性脑膜脑炎预测方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种基于多尺度特征图的结核性脑膜脑炎预测方法，例如，执行以上描述的图1中的方法步骤S100至步骤S300。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种基于多尺度特征图的结核性脑膜脑炎预测方法，例如，执行以上描述的图1中的方法步骤S100至S300的功能。
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述结核性脑膜脑炎预测方法包括步骤：
获取包含结核性脑膜脑炎的图片数据集，并将所述图片数据集划分训练集和测试集；
基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对所述预测模型进行训练：
通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图；
基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量；
基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对所述拼接后的一维特征向量进行分类预测，获得训练好的预测模型；
采用所述测试集对所述训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
2.根据权利要求1所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，在所述获取包含结核性脑膜脑炎的图片数据集之后，所述结核性脑膜脑炎预测方法还包括：
对包含结核性脑膜脑炎的图片的三维MRI冠状面、矢状面和横截面进行二维切片处理，并统一每个切片的尺寸。
3.根据权利要求1所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述ResNet50模型包括第一卷积阶段、第二卷积阶段、第三卷积阶段和第四卷积阶段；所述通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图，包括：
将所述训练集中的图片经过第一卷积阶段进行特征提取，获得特征图；
基于所述第二卷积阶段，对所述特征图进行特征提取，获得第一尺度特征图；
基于所述第三卷积阶段，对所述第一尺度特征图进行特征提取，获得第二尺度特征图；
基于所述第四卷积阶段，对所述第二尺度特征图进行特征提取，获得第三尺度特征图；
基于所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图，获得多种尺度的特征图。
4.根据权利要求3所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量，包括：
分别在所述第二卷积阶段、所述第三卷积阶段和所述第四卷积阶段后添加卷积块注意模块；
基于所述Transformer模型的Patch Embedding模块，将所述第一尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至Patch Embedding模块中，得到第一特征向量；
基于所述Transformer模型的Patch Embedding模块，将所述第二尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至所述Patch Embedding模块中，得到第二特征向量；
基于所述Transformer模型的Patch Embedding模块，将所述第三尺度特征图输入至所述卷积块注意模块中，并将所述卷积块注意模块的输出数据输入至所述Patch Embedding模块中，得到第三特征向量。
5.根据权利要求4所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述全局注意力机制通过如下公式进行信息整合：
MultiHead(Q,K,V)＝concat(head1(q1,k1,v1),...,headh(qh,kh,vh))
其中，V表示值向量，Q表示查询向量，K表示键向量，headi＝Attention(qi,ki,vi)，
Figure FDA0003752888050000021
qi表示第i头的查询向量，ki表示第i头的键向量，vi表示第i头的值向量，
Figure FDA0003752888050000022
表示缩放因子。
6.根据权利要求5所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量，包括：
对所述第一特征向量采用全局注意力机制进行信息整合，获得第一整合特征向量，对所述第一整合特征向量进行全局平均池化和展平处理，获得第一一维特征向量；
对所述第二特征向量采用全局注意力机制进行信息整合，获得第二整合特征向量，对所述第二整合特征向量进行全局平均池化和展平处理，获得第二一维特征向量；
对所述第三特征向量采用全局注意力机制进行信息整合，获得第三整合特征向量，对所述第三整合特征向量进行全局平均池化和展平处理，获得第三一维特征向量。
7.根据权利要求6所述的基于多尺度特征图的结核性脑膜脑炎预测方法，其特征在于，所述对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量，包括：
对所述第一一维特征向量、所述第二一维特征向量和所述第三一维特征向量进行拼接，获得拼接后的一维特征向量。
8.一种基于多尺度特征图的结核性脑膜脑炎预测系统，其特征在于，包括：
图片数据集划分单元，用于获取包含结核性脑膜脑炎的图片数据集，并将所述图片数据集划分训练集和测试集；
预测模型构建单元，用于基于ResNet50模型和Transformer模型构建预测模型，并通过如下方式对所述预测模型进行训练：
通过所述ResNet50模型对所述训练集进行特征提取，获得多种尺度的特征图；
基于所述Transformer模型的Patch Embedding模块，获得每种所述尺度的特征图的特征向量；
基于所述Transformer模型，采用全局注意力机制将每种所述尺度的特征图对应的特征向量进行信息整合并提取特征向量，获得一维特征向量；
对所有所述一维特征向量进行拼接，获得拼接后的一维特征向量；
采用全连接层对所述拼接后的一维特征向量进行分类预测，获得训练好的预测模型；
预测结果获取单元，用于采用所述测试集对所述训练好的预测模型进行测试，获得结核性脑膜脑炎预测结果。
9.一种基于多尺度特征图的结核性脑膜脑炎预测设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于多尺度特征图的结核性脑膜脑炎预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于多尺度特征图的结核性脑膜脑炎预测方法。
CN202210846227.2A 2022-07-19 2022-07-19 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统 Pending CN115331071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210846227.2A CN115331071A (zh) 2022-07-19 2022-07-19 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210846227.2A CN115331071A (zh) 2022-07-19 2022-07-19 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统

Publications (1)

Publication Number Publication Date
CN115331071A true CN115331071A (zh) 2022-11-11

Family

ID=83917999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210846227.2A Pending CN115331071A (zh) 2022-07-19 2022-07-19 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统

Country Status (1)

Country Link
CN (1) CN115331071A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363438A (zh) * 2023-04-14 2023-06-30 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116645336A (zh) * 2023-05-10 2023-08-25 烟台大学 一种mri脑图像分割腺垂体方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363438A (zh) * 2023-04-14 2023-06-30 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116363438B (zh) * 2023-04-14 2023-09-15 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116645336A (zh) * 2023-05-10 2023-08-25 烟台大学 一种mri脑图像分割腺垂体方法
CN116645336B (zh) * 2023-05-10 2024-05-07 烟台大学 一种mri脑图像分割腺垂体方法

Similar Documents

Publication Publication Date Title
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN109960742B (zh) 局部信息的搜索方法及装置
CN115331071A (zh) 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
WO2022057309A1 (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN111210465B (zh) 图像配准方法、装置、计算机设备和可读存储介质
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
KR101925603B1 (ko) 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN117115900B (zh) 一种图像分割方法、装置、设备及存储介质
CN116415020A (zh) 一种图像检索的方法、装置、电子设备及存储介质
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
CN116309459A (zh) 基于改进网络的肺结节检测方法、装置、设备和存储介质
CN115497092A (zh) 图像处理方法、装置及设备
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination