CN115423754A - 一种图像分类方法、装置、设备及存储介质 - Google Patents

一种图像分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115423754A
CN115423754A CN202210943611.4A CN202210943611A CN115423754A CN 115423754 A CN115423754 A CN 115423754A CN 202210943611 A CN202210943611 A CN 202210943611A CN 115423754 A CN115423754 A CN 115423754A
Authority
CN
China
Prior art keywords
image
magnetic resonance
feature map
positron emission
emission tomography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210943611.4A
Other languages
English (en)
Inventor
汪天富
邱梓锋
雷柏英
杨鹏
宋雪刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210943611.4A priority Critical patent/CN115423754A/zh
Publication of CN115423754A publication Critical patent/CN115423754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)

Abstract

本发明涉及脑疾病判定技术领域，具体是涉及一种图像分类方法、装置、设备及存储介质。磁共振影像能够准确反映脑部结构因病变而引起的变化，正电子发射断层影像能够准确反映脑部功能因病变而引起的变化。本发明首先利用大卷积核注意力(LKA)模块来学习注意力图。接着通过由CNN和Transformer双分支组成的主干网络进行高级特征学习。本发明还设计了一个模态特征融合块(MFFB)用以在主干网络中来对MRI及PET特征进行交互融合。最后，在提取完高级特征后，使用一个空间通道注意力模块(SCA)，来对得到的高级特征进行空间上和通道上的处理。在ADNI数据集上的大量实验结果表明，本发明的模型优于最先进的方法，表明本发明提出的方法的有效性。

Description

一种图像分类方法、装置、设备及存储介质
技术领域
本发明涉及脑疾病判定技术领域，具体是涉及一种图像分类方法、装置、设备及存储介质。
背景技术
利用采集的脑部图像可以对很多的脑部疾病进行判定，比如阿尔茨海默病(Alzheimer’s disease，AD)就可以通过采集患者脑部图像判定其是否患有AD以及患有AD的程度。AD是一种不可逆的进行性神经退行性疾病，主要临床表现为记忆力减退、认知能力下降、生活不能自理。轻度认知功能障碍(Mild Cognitive Impairment,MCI)是AD的前期阶段，根据是否转化为AD可细分为pMCI和sMCI。如果能在患者处于pMCI或sMCI时及时判定出以及时干预，有望延缓患者发展为AD的进程。目前针对于AD早期的诊断多是由医生以主观经验进行判断，这样既费时间又容易延误病人的最佳治疗时期。因此，借助计算机辅助技术，开展AD早期诊断模型的研究，有助于探究AD发病机制。
目前AD早期的影像学诊断方法主要有结构磁共振影像(sMRI)、功能磁共振影像(fMRI)、弥散张量成像(DTI)和正电子发射断层(PET)。sMRI可以提供观察大脑结构变化的直观形式，许多关于AD早期的诊断研究已经通过基于sMRI的分析进行了开发，但是sMRI影像所能提供的脑部信息较为单一，不足以准确判定出患者的病变程度。
综上所述，现有的图像分类方法准确性较低。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种图像分类方法、装置、设备及存储介质，解决了现有的图像分类方法准确性较低的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种图像分类方法，其中，包括：
生成脑部的磁共振影像和正电子发射断层影像；
提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
在一种实现方式中，所述生成脑部的磁共振影像和正电子发射断层影像，包括：
采集脑部的磁共振原始影像和正电子发射断层原始影像；
对所述磁共振原始影像进行偏置场矫正，得到矫正之后的所述磁共振原始影像；
去除矫正之后的所述磁共振原始影像应用颅骨剥离算法，去除非脑组织像素，得到颅骨剥离之后的所述磁共振原始影像；
提取颅骨剥离之后的所述磁共振原始影像中与脑部灰质所对应的图像，得到磁共振影像；
对所述正电子发射断层原始影像应用颅骨剥离算法，去除非脑组织像素，得到颅骨剥离之后的所述正电子发射断层原始影像；
对颅骨剥离之后的所述正电子发射断层原始影像进行平滑处理，得到正电子发射断层影像。
在一种实现方式中，所述提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征，包括：
对所述磁共振影像和所述正电子发射断层影像分别应用深度卷积算法，得到所述深度卷积算法输出的第一结果和第二结果，所述第一结果与所述磁共振影像相对应，所述第二结果与所述正电子发射断层影像相对应；
对所述第一结果和所述第二结果分别应用深度扩张卷积算法，得到所述深度扩张卷积算法输出的第三结果和第四结果，所述第三结果与所述磁共振影像相对应，所述第四结果与所述正电子发射断层影像相对应；
对所述第三结果和所述第四结果分别进行卷积，得到所述磁共振影像的注意力图和所述正电子发射断层影像的注意力图，所述注意力图用于表征各个特征所对应的权重；
将所述磁共振影像的注意力图与所述磁共振影像相乘，得到所述磁共振影像的初级特征图；
将所述正电子发射断层影像的注意力图和所述正电子发射断层影像相乘，得到所述正电子发射断层影像的初级特征图；
依据所述磁共振影像的初级特征图和所述正电子发射断层影像的初级特征图，得到融合特征图。
在一种实现方式中，所述依据所述磁共振影像的初级特征图和所述正电子发射断层影像的初级特征图，得到融合特征图，包括：
将所述磁共振影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第一局部细节特征图和所述ViT网络输出的第一全局特征图；
将所述第一局部细节特征图和所述第一全局特征图进行融合，得到所述磁共振影像的第一特征图；
将所述正电子发射断层影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第二局部细节特征图和所述ViT网络输出的第二全局特征图；
将所述第二局部细节特征图和所述第二全局特征图进行融合，得到所述正电子发射断层影像的第二特征图；
对所述第一特征图和所述第二特征图进行拼接，得到拼接特征图；
对所述拼接特征图进行卷积运算，得到用于表征所述第一特征图和所述第二特征图之间相似性的相似特征图；
将所述相似特征图和所述磁共振影像的原始特征连接，得到第一连接图，所述磁共振影像的原始特征用于表征所述磁共振影像所对应的各个脑区的特征；
将所述相似特征图与所述正电子发射断层影像的原始特征连接，得到第二连接图，所述正电子发射断层影像的原始特征用于表征所述正电子发射断层影像所对应的各个脑区的特征；
对所述第一连接图进行卷积运算，得到所述磁共振影像的高级特征图；
对所述第二连接图进行卷积运算，得到所述正电子发射断层影像的高级特征图；
对所述磁共振影像的高级特征图和所述正电子发射断层影像的高级特征图的进行融合，得到融合特征图。
在一种实现方式中，所述对所述第一连接图进行卷积运算，得到所述磁共振影像的高级特征图，包括：
对所述第一连接图进行1x1卷积运算，得到所述磁共振影像的具体特征图；
对所述具体特征图进行维度变换，得到各个切面的所述具体特征图；
对各个切面的所述具体特征图分别进行卷积运算，得到各个切面的所述具体特征图的卷积结果；
拼接各个切面的所述具体特征图的卷积结果，得到所述磁共振影像的高级特征图。
在一种实现方式中，所述对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果，包括：
计算所述融合特征图的各个通道的权重；
将所述融合特征图乘以各个通道的权重，得到第一通道特征；
计算所述融合特征图的各个通道的特征；
计算各个通道的特征的平均值，得到通道均值；
将所述融合特征图乘以所述通道均值，得到第二通道特征；
将所述第一通道特征和所述第二通道特征相加，得到最终的特征图；
多最终的特征图进行分类，得到用于表征脑部疾病的分类结果。
在一种实现方式中，所述多最终的特征图进行分类，得到用于表征脑部疾病的分类结果，包括：
对最终的特征图进行全局平均池化操作，得到池化之后的特征图；
对池化之后的特征图应用分类器，得到分类器输出的结果；
依据分类器输出的结果，分类脑部疾病。
第二方面，本发明实施例还提供一种脑疾病分类装置，其中，所述装置包括如下组成部分：
影像采集模块，用于生成脑部的磁共振影像和正电子发射断层影像；
特征提取模块，用于提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
分类模块，用于对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的脑疾病分类程序，所述处理器执行所述脑疾病分类程序时，实现上述所述的图像分类方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有脑疾病分类程序，所述脑疾病分类程序被处理器执行时，实现上述所述的图像分类方法的步骤。
有益效果：磁共振影像能够准确反映脑部结构因病变而引起的变化，正电子发射断层影像能够准确反映脑部功能因病变而引起的变化。本发明采用磁共振影像和正电子发射断层影像分类大脑疾病，这两者相互结合可以展示出由脑萎缩引起的脑部形态变化，从而避免因只使用其中一种图像而造成的信息单一，进而提高了对脑部疾病分类的准确性。
附图说明
图1为本发明的整体流程图；
图2为本发明实施例中的生成初级特征图的示意图；
图3为本发明实施例中的残差模块结构图；
图4为本发明实施例中的MHSA(多头注意力)模块结构图；
图5为本发明实施例中的预处理、特征提取、分类决策三者的流程图；
图6为本发明实施例中的RC结构图；
图7为本发明实施例中的NC结构图；
图8为本发明实施例中的生成高级特征图的流程图；
图9为本发明实施例中的空间通道注意力模块的结构图；
图10为本发明实施例中的系统界面初始化页面图；
图11为本发明实施例中的切片图；
图12为本发明实施例中的AD样本诊断图；
图13为本发明实施例中的MCI样本诊断图；
图14为本发明实施例中的NC样本诊断图；
图15为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现，利用采集的脑部图像可以对很多的脑部疾病进行判定，比如阿尔茨海默病(Alzheimer’s disease，AD)就可以通过采集患者脑部图像判定其是否患有AD以及患有AD的程度。AD是一种不可逆的进行性神经退行性疾病，主要临床表现为记忆力减退、认知能力下降、生活不能自理。轻度认知功能障碍(Mild Cognitive Impairment,MCI)是AD的前期阶段，根据是否转化为AD可细分为pMCI和sMCI。如果能在患者处于pMCI或sMCI时及时判定出以及时干预，有望延缓患者发展为AD的进程。
表1给出了NC患者、sMCI、pMCI、AD在人群中所占的比例，。
表1
Figure BDA0003786782670000061
目前针对于AD早期的诊断多是由医生以主观经验进行判断，这样既费时间又容易延误病人的最佳治疗时期。因此，借助计算机辅助技术，开展AD早期诊断模型的研究，有助于探究AD发病机制。目前AD早期的影像学诊断方法主要有结构磁共振影像(sMRI)、功能磁共振影像(fMRI)、弥散张量成像(DTI)和正电子发射断层(PET)。sMRI可以提供观察大脑结构变化的直观形式，许多关于AD早期的诊断研究已经通过基于sMRI的分析进行了开发，但是sMRI影像所能提供的脑部信息较为单一，不足以准确判定出患者的病变程度。
为解决上述技术问题，本发明提供了一种图像分类方法、装置、设备及存储介质，解决了现有的图像分类方法准确性较低的问题。具体实施时，首先生成脑部的磁共振影像和正电子发射断层影像，然后提取磁共振影像和正电子发射断层影像的融合特征图，最后依据融合特征图，分类脑部疾病。本实施例的分类方法能够准确提高对脑部疾病分类的准确性。
示例性方法
本实施例的图像分类方法可应用于终端设备中，所述终端设备可为具有图像采集功能的终端产品，比如电脑等。在本实施例中，如图1中所示，所述图像分类方法具体包括如下步骤：
S100，生成脑部的磁共振影像和正电子发射断层影像。
本实施例中的磁共振影像和正电子发射断层影像是经过预处理之后的影像，预处理使用的工具包括SPM和CAT，SPM是伦敦大学学院功能成像实验室的Karl Friston教授等人基于MATLAB平台编写、开发的一款专为分析脑影像序列数据的免费开源工具包。CAT是耶拿大学医院的Christian Gaser和Robert Dahnke教授开发的一款SPM拓展工具包，被设计用来计算解剖结构，包括基于体素的形态学测量VBM、基于形变的形态学测量DBM、基于表面的形态学测量SBM。
在一个实施例中，为了获取磁共振影像MRI对原始影像进行的预处理依次包括如下过程：过滤噪声；重采样；偏置场矫正；颅骨剥离；线性配准；组织分割；空间标准化；裁剪边界。
在一个实施例中，为了获取正电子发射断层影像PET对原始影像进行的预处理依次包括如下过程：配准；空间标准化；颅骨剥离；平滑。
其中，过滤噪声就是去除原始影像中所包括的非脑部图像(即噪声)，降低噪声对后续脑疾病分类的影响。
重采样就是去除相同的原始影像，降低数据冗余，减少计算量。
偏置场指的是外部因素导致的MRI图像中同一组织出现亮度差异的情况，偏置场校正就是对这一情况进行校正以减小误差。本实施例使用非参数非均匀归一化算法进行偏置场校正。
颅骨剥离指的是去除MRI图像中头骨、脖子等非脑组织。
线性配准指的是为了能对每个被试者的对应解剖位置进行比较，需要将所有MRI图像从原始空间对齐到一个公共空间。本实施例使用互信息仿射配准方法将MRI图像对齐到ICBM 152模板，该模板对应的就是标准空间-MNI空间。
组织分割是把脑组织的灰质、白质和脑脊液分割出来(把灰质与白质和脑脊液分割开，以区分灰质)，因为灰质被认为是与AD最相关的脑组织。
空间标准化指使用Geodesic Shooting配准方法将分割出来的组织图像归一化到一个公共空间。
裁剪边界就是去除原始影像中没有脑部数据的部分，以减少无用数据对后续分类的影像。
S200，提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征。
融合特征图包括了磁共振影像的特征和正电子发射断层影像的特征，这两种特征相互作用，能够提高后续的脑疾病分类准确性。步骤S200包括如下步骤S201至S2016：
S201，对所述磁共振影像和所述正电子发射断层影像分别应用深度卷积算法，得到所述深度卷积算法输出的第一结果和第二结果，所述第一结果与所述磁共振影像相对应，所述第二结果与所述正电子发射断层影像相对应。
在一个实施例中，是对磁共振影像的原始特征F(原始特征即使用python的SimpleITK函数库将原始的MRI和PET图像转换为可计算的张量，张量中每一个值即代表原始每一个脑区的原始特征)和所述正电子发射断层影像的原始特征F分别应用深度卷积算法，以分别得到第一结果和第二结果。
S202，对所述第一结果和所述第二结果分别应用深度扩张卷积算法，得到所述深度扩张卷积算法输出的第三结果和第四结果，所述第三结果与所述磁共振影像相对应，所述第四结果与所述正电子发射断层影像相对应；
S203，对所述第三结果和所述第四结果分别进行卷积，得到所述磁共振影像的注意力图Attention和所述正电子发射断层影像的注意力图，所述注意力图用于表征各个特征所对应的权重。
本实施例中用各个影像的注意力图Attention记录各个影像的每一个原始特征的权重。
S204，将所述磁共振影像的注意力图与所述磁共振影像相乘，得到所述磁共振影像的初级特征图。
S205，将所述正电子发射断层影像的注意力图和所述正电子发射断层影像相乘，得到所述正电子发射断层影像的初级特征图。
步骤S201至S204是通过如下公式得到初级特征图Output：
Attention＝Conv1x1(DW-D-Conv1x1(DW-Conv(F)))
Figure BDA0003786782670000091
注意力机制可以根据输入特征选择具有判别性的特征并自动忽略噪声响应，并产生注意力图，注意力图对后续的特征提取起着重要作用。目前，建立不同部分之间关系的最常见的注意力机制是自注意力(self-attention,SA)，但在应用于计算机视觉时，SA存在着明显的缺点，例如它只实现了空间适应性而忽略了通道适应性。产生注意力图的方法是使用大核卷积，而大核卷积会带来巨大的计算开销。因此，本实施例结合注意力机制和大核卷积产生注意力图，既能够降低计算量，又能够提高通道适应性。
DW-Conv(·)表示深度卷积算法，DW-D-Conv1x1(·)表示深度扩张卷积算法，当F为磁共振影像的原始特征时，DW-Conv(F)就是第一结果，DW-D-Conv1x1(F)就是第三结果，Attention就是磁共振影像的注意力图，Output就是磁共振影像的初级特征图；当F为正电子发射断层影像的原始特征时，DW-Conv(F)就是第二结果，DW-D-Conv1x1(F)就是第四结果，Attention就是正电子发射断层影像的注意力图，Output就是正电子发射断层影像的初级特征图。F∈RC×H×W是输入的脑成像数据原始特征，Attention∈RC×H×W表示经过大核卷积层得到的注意力图，代表着每个输入特征的重要性，Output∈RC×H×W表示注意力引导的特征。本实施例的大核卷积注意力模块可以简单描述如下：如图2所示，首先，通过一个1×1卷积层和一个深度卷积层提取浅层特征，然后通过深度扩张卷积层和两个1×1卷积层进一步学习局部上下文信息和动态过程。最后，生成注意力图，将其与输入的MRI数据或PET数据逐元素相乘以获得特征图，再通过由全连接层和深度卷积层组成的MLP块来处理通道信息。
S206，将所述磁共振影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第一局部细节特征图和所述ViT网络输出的第一全局特征图。
ViT全称为Vision Transformer，即视觉Transformer，是Transformer在计算机视觉领域的扩展应用。
S207，将所述第一局部细节特征图和所述第一全局特征图进行融合，得到所述磁共振影像的第一特征图。
S208，将所述正电子发射断层影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第二局部细节特征图和所述ViT网络输出的第二全局特征图。
S209，将所述第二局部细节特征图和所述第二全局特征图进行融合，得到所述正电子发射断层影像的第二特征图。
本实施例，无论是磁共振影像MRI还是正电子发射断层影像PET都是分别采用卷积神经网络和ViT网络，以分别得到局部细节特征图和全部特征图。本实施例中的卷积神经网络CNN和ViT网络是经过训练之后的网络。之所以采用卷积神经网络CNN和ViT网络生成特征图是基于如下原因：
CNN普遍用于脑部MRI和PET的2D切片用于AD诊断。CNN专注于局部信息的学习和提取，而全局信息对于MRI和PET脑成像数据至关重要。ViT网络中的SA机制(注意力机制)可以捕获全局信息，在MRI和PET脑成像数据的MCI诊断研究中发挥着重要作用。因此，在CNN中加入注意力机制可以更好地提高性能。
使用卷积层和残差模块设计本实施例的CNN模型，由一个卷积层和三个残差块组成，其中使用DSC替换CNN分支的卷积设计。残差模块如图3所示。为了捕捉大脑图像的全局信息，本实施例在残差模块后面添加了如图4所示的MHSA。
S2010，对所述第一特征图和所述第二特征图进行拼接，得到拼接特征图。
S2011，对所述拼接特征图进行卷积运算，得到用于表征所述第一特征图和所述第二特征图之间相似性的相似特征图。
S2012，将所述相似特征图和所述磁共振影像的原始特征连接，得到第一连接图。
S2013，将所述相似特征图与所述正电子发射断层影像的原始特征连接，得到第二连接图。
S2014，对所述第一连接图进行卷积运算，得到所述磁共振影像的高级特征图。
S2015，对所述第二连接图进行卷积运算，得到所述正电子发射断层影像的高级特征图。
S2016，对所述磁共振影像的高级特征图和所述正电子发射断层影像的高级特征图的进行融合，得到融合特征图。
本实施例为了得到融合特征图，将图5中的特征提取这部分的每一个阶段都重复执行步骤S201至步骤S2016，且上一阶段的输出作为下一阶段的输入，直至阶段4输出的融合特征图作为最终的融合特征图。
本实施例中的前三个阶段都涉及到采用CNN和ViT分别计算出局部细节特征图和全局特征图，而前三个阶段的CNN分支设计如下：
fh1＝ReLu(BN(DSC(fh1)))
fh2＝ReLu(BN(DSC(fh1)))
Output＝ReLu(BN(DSC(fh2))+fi)
当fh1为磁共振影像的初级特征图、fi为磁共振影像的特征时，Output为第一局部细节特征图；当fh1为正电子发射断层影像的初级特征图、fi为正电子发射断层影像的特征时，Output为第二局部细节特征图。
在第四个阶段，CNN分支设计如下：
q，k，v＝Conv1×1(fi)
Figure BDA0003786782670000121
Figure BDA0003786782670000122
Figure BDA0003786782670000123
其中，fi∈RC×H×W表示输入特征，q、k、v分别表示query、key和value，Rh∈RC×H×W和Rw∈RC×H×W是与输入特征维度一致的相对位置编码。
ViT是Transformer在计算机视觉领域的扩展应用，在各种视觉任务中取得了巨大的成功。具体来说，ViT将图像分割成几个小块，每个块被记录为一个token。将所有token重新排列成一个序列后，直接输入到Transformer网络中提取特征。但ViT需要大量的训练数据和较长的训练时间，这导致难以应用于MRI或PET。一个重要原因是ViT在建模视觉任务时缺乏特定的归纳偏置(IB)，例如建模脑成像数据的局部相关性和尺度不变性，这导致模型无法有效利用MRI或PET数据并影响模型性能。由于CNN中的卷积运算从相邻像素中提取局部特征，因此CNN在模型局部具有内在IB。此外，层间融合或层内融合使CNN在建模尺度不变性方面具有内在的IB。因此，利用CNN的内在IB可以促进ViT的训练，有助于提高性能。
为了解决ViT在MCI诊断中存在的问题，使用reduction cell(RC)和normal cell(NC)来构建本实施例的模型。RC和NC充分利用了CNN中的内在IB。RC有两个并行的分支，分别负责对局部信息和远程依赖进行建模，然后再通过一个FFN用于特征转换。如图6所示，图5中的四个阶段，RC的结构都是如下结构：
Figure BDA0003786782670000131
Figure BDA0003786782670000132
Figure BDA0003786782670000133
Figure BDA0003786782670000134
其中，PRM是用来对输入特征执行降采样操作的一个块，sij是PRM里卷积操作的一个参数(dilation rate)设置，ri是降采样率，
Figure BDA0003786782670000135
表示第i个RC的输入特征，Conv(.)是金字塔缩减模块(PRM)中的第j个卷积层，Img2Seq(·)是将特征图展平为一维序列的维度重塑操作，PCMi(·)是并行卷积模块(PCM)，由三个堆叠的卷积层和一个Img2Seq(.)操作组成，SeqImg(·)是Img2Seq(.)的逆运算，将序列重塑回特征图的维度。NC类似于没有PRM的RC，如图7所示。由于通过RC处理后的特征图已经获得了相对较小的空间尺寸，因此在NC中无需使用PRM。
在一个实施例中步骤S2010至步骤S2016所涉及到的图5中的每个阶段的融合特征的过程如下：
如图8所示，输入两个模态特征XMRI∈RC×H×W(第一特征图)和XPET∈RC×H×W(第二特征图)后，将XMRI∈RC×H×W和XPET∈RC×H×W两个模态的特征拼接在一起得到拼接特征图，拼接特征图通过一层1×1的卷积层(对所述拼接特征图进行卷积运算)来学习它们的相似性特征ffusion∈RC×H×W(相似特征图)。然后，将学习到的相似特征与原始特征连接起来(将相似特征图和磁共振影像的原始特征连接，得到第一连接图；或者将相似特征图与正电子发射断层影像的原始特征连接，得到第二连接图)。接下来，使用两个1×1卷积运算得到具体特征fMRI_fusion∈RC×H×W(磁共振影像的高级特征图)和fPET_fusion∈RC×H×W(正电子发射断层影像的高级特征图)。
步骤S2014和步骤S2015中都是采用图8中的原理得到高级特征图，以磁共振影像的第一连接图为例说明上述由第一连接图到磁共振影像的高级特征图的详细过程：
由于本实施例使用的MRI和PET数据有矢状面、冠状面和横断面三个切面，其中矢状面为主要学习的切面，而每个切面都在AD早期的诊断任务中发挥着非常重要的作用。因此，通过交换维度对三个切片进行特征学习，并将三个特征连接在一起，以矢状面和冠状面的特征辅助加强横断面的特征表示。
为此，第一连接图首先进行如图8所示的1x1卷积运算，得到所述磁共振影像的具体特征图，然后交换维度(具体特征图进行维度变换,得到各个切面的具体特征图)并设计三个分支，每个分支都对应于一个切面的特征学习。沿着通道维度即矢状面C，使用卷积核kC∈R1×n×n，得到特征fC∈RC×H×W。沿着高度维度即冠状面H，使用卷积核KH∈Rn×1×n得到特征fH∈RC×H×W。沿着宽度维度即横断面W，使用卷积核KW∈Rn×1×n得到特征fW∈RC×H×W,然后fC、fH、fW就构成了各个切面的具体特征图的卷积结果，将三个特征fC、fH、fW连接在一起，得到最终的特征fdim＝{fC,fH,fw}∈R3C×H×W(高级特征图)。最后，通过一个1×1的卷积层将输出通道的数量重塑为输入通道的数量。
S300，对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
本实施例中的融合特征图是融合了磁共振影像的高级特征图和正电子发射断层影像的高级特征图，根据这两个高级特征图，判断患者患有AD的程度。步骤S300包括如下的步骤S301至S309：
S301，计算所述融合特征图的各个通道的权重。
本实施例中的通道是指C通道(融合特征图的图像通道)、H通道(融合特征图的高度)、W通道(融合特征图的宽度)。
S302，将所述融合特征图乘以各个通道的权重，得到第一通道特征。
S303，计算所述融合特征图的各个通道的特征。
S304，计算各个通道的特征的平均值，得到通道均值。
S305，将所述融合特征图乘以所述通道均值，得到第二通道特征。
S306，将所述第一通道特征和所述第二通道特征相加，得到最终的特征图。
S307，对最终的特征图进行全局平均池化操作，得到池化之后的特征图。
S308，对池化之后的特征图应用分类器，得到分类器输出的结果。
S309，依据分类器输出的结果，分类脑部疾病。
步骤S301至S309是基于如下原理对脑部疾病进行分类的：
为了准确诊断AD，学习脑成像数据的空间特征以及通道特征非常重要。因此，本实施例设计了一个空间通道注意力模块(SCA)，在提取高级特征后进一步学习高级特征的空间和通道信息，以此提高本实施例方法的性能。如图9所示，SCA由一个通道注意力分支和一个空间注意力分支组成。在通道注意力分支中，首先通过一个全局平均池化层将特征图(步骤S200得到的融合特征图)转换为向量，然后通过两个1×1的卷积层计算每个通道的权重(步骤S301中的计算融合特征图的各个通道的权重)，最后将输入特征图乘以通道权重得到通道注意力分支的输出特征(即步骤S302中的将所述融合特征图乘以各个通道的权重，得到第一通道特征)。在空间注意力分支中，首先对特征图的通道特征进行平均(计算各个通道的特征的平均值，得到通道均值)，每个像素中的权重由sigmoid激活函数确定，最后特征图是逐像素相乘的空间权重(将所述融合特征图乘以所述通道均值，得到第二通道特征)。最后，通道和空间注意力分支的输出通过逐元素相加以形成新的特征图(将所述第一通道特征和所述第二通道特征相加，得到最终的特征图)。
得到最终的特征图之后，利用全局平均池化操作，以防止过拟合现象。接着，再使用全连接层以及Softmax分类器输出预测的标签吗，最后根据预测标签得到最终诊断结果。标签为0，说明没有患病。标签为1，说明患病了。
图5展示了步骤S100至步骤S300对脑疾病分类的整体过程：
图5由三部分组成，注意力权重学习、特征提取和分类决策。为了提高学习特征的准确性，首先使用由大内核卷积组成的注意力模块来生成注意力图，以辅助骨干网络的高级特征学习。接下来，将学习到的网络发送到特征提取主干。本实施例模型的骨干网络由四个阶段组成。每个阶段由两个分支组成，CNN分支由ResNet50和多头注意力组成，Transformer分支由还原单元和正常单元组成。CNN学习局部信息的独特能力和Transformer的全局建模能力相结合，可以更好地学习特征表示。同时，为了充分利用两种模态信息之间的相似性和特异性，设计了一个模态特征融合块，以加强模态之间的相互联系，提高学习特征的全面性。在学习了高层特征之后，进一步使用空间信息-通道注意力来学习高层特征的空间和通道信息。最后，使用Softmax分类器进行分类。
在一个实施例中，将上述图像分类方法集成到了一个脑疾病分类系统中。本实施例的系统主要完成以下功能：首先选择要诊断的患者的脑成像数据(MRI或PET)；接着，初始数据可视化图，由于所使用具有不同的切片及切面，因此通过一个滑动调钮来进行不同切片的切换；在输入了姓名、年龄及性别等信息后，点击输出，将会输出诊断结果及脑区热力图，脑区热力图可以反映该患者的病变情况，相关脑区颜色越深，说明该脑区的病变程度越重。
系统界面初始化见图10，在选择原始数据后，调节不同的调钮值，可现实不同切片的显示，图11为调钮值为10和40时所显示切片。接着，输入数据，点击输出即可得到诊断结果。对AD、pMCI及NC数据的演示的结果依次如图12-图14所示，因此可以证明本实施例系统的实用性。
综上，磁共振影像能够准确反映脑部结构因病变而引起的变化，正电子发射断层影像能够准确反映脑部功能因病变而引起的变化。本发明采用磁共振影像和正电子发射断层影像分类大脑疾病，这两者相互结合可以展示出由脑萎缩引起的脑部形态变化，从而避免因只使用其中一种图像而造成的信息单一，进而提高了对脑部疾病分类的准确性。
另外，本发明提出了一种新颖的端到端混合框架，利用大型卷积核并考虑归纳偏差来学习特征表示。
设计了一个模态特征融合块，充分考虑了结构特征与功能特征之间的相似性和特异性。
设计了一个维度融合块集成进特征融合快中，充分考虑了MRI和PET脑成像数据的三切面对诊断性能的影响。
设计了一个基于多模态数据的MCI诊断框架，充分利用结构和功能特征来提高诊断准确性。
示例性装置
本实施例还提供一种脑疾病分类装置，所述装置包括如下组成部分：
影像采集模块，用于生成脑部的磁共振影像和正电子发射断层影像；
特征提取模块，用于提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
分类模块，用于对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图15所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图15中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的脑疾病分类程序，处理器执行脑疾病分类程序时，实现如下操作指令：
生成脑部的磁共振影像和正电子发射断层影像；
提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像分类方法，其特征在于，包括：
生成脑部的磁共振影像和正电子发射断层影像；
提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
2.如权利要求1所述的图像分类方法，其特征在于，所述生成脑部的磁共振影像和正电子发射断层影像，包括：
采集脑部的磁共振原始影像和正电子发射断层原始影像；
对所述磁共振原始影像进行偏置场矫正，得到矫正之后的所述磁共振原始影像；
去除矫正之后的所述磁共振原始影像应用颅骨剥离算法，去除非脑组织像素，得到颅骨剥离之后的所述磁共振原始影像；
提取颅骨剥离之后的所述磁共振原始影像中与脑部灰质所对应的图像，得到磁共振影像；
对所述正电子发射断层原始影像应用颅骨剥离算法，去除非脑组织像素，得到颅骨剥离之后的所述正电子发射断层原始影像；
对颅骨剥离之后的所述正电子发射断层原始影像进行平滑处理，得到正电子发射断层影像。
3.如权利要求1所述的图像分类方法，其特征在于，所述提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征，包括：
对所述磁共振影像和所述正电子发射断层影像分别应用深度卷积算法，得到所述深度卷积算法输出的第一结果和第二结果，所述第一结果与所述磁共振影像相对应，所述第二结果与所述正电子发射断层影像相对应；
对所述第一结果和所述第二结果分别应用深度扩张卷积算法，得到所述深度扩张卷积算法输出的第三结果和第四结果，所述第三结果与所述磁共振影像相对应，所述第四结果与所述正电子发射断层影像相对应；
对所述第三结果和所述第四结果分别进行卷积，得到所述磁共振影像的注意力图和所述正电子发射断层影像的注意力图，所述注意力图用于表征各个特征所对应的权重；
将所述磁共振影像的注意力图与所述磁共振影像相乘，得到所述磁共振影像的初级特征图；
将所述正电子发射断层影像的注意力图和所述正电子发射断层影像相乘，得到所述正电子发射断层影像的初级特征图；
依据所述磁共振影像的初级特征图和所述正电子发射断层影像的初级特征图，得到融合特征图。
4.如权利要求3所述的图像分类方法，其特征在于，所述依据所述磁共振影像的初级特征图和所述正电子发射断层影像的初级特征图，得到融合特征图，包括：
将所述磁共振影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第一局部细节特征图和所述ViT网络输出的第一全局特征图；
将所述第一局部细节特征图和所述第一全局特征图进行融合，得到所述磁共振影像的第一特征图；
将所述正电子发射断层影像的初级特征图分别输入到卷积神经网络和ViT网络中，得到所述卷积神经网络输出的第二局部细节特征图和所述ViT网络输出的第二全局特征图；
将所述第二局部细节特征图和所述第二全局特征图进行融合，得到所述正电子发射断层影像的第二特征图；
对所述第一特征图和所述第二特征图进行拼接，得到拼接特征图；
对所述拼接特征图进行卷积运算，得到用于表征所述第一特征图和所述第二特征图之间相似性的相似特征图；
将所述相似特征图和所述磁共振影像的原始特征连接，得到第一连接图，所述磁共振影像的原始特征用于表征所述磁共振影像所对应的各个脑区的特征；
将所述相似特征图与所述正电子发射断层影像的原始特征连接，得到第二连接图，所述正电子发射断层影像的原始特征用于表征所述正电子发射断层影像所对应的各个脑区的特征；
对所述第一连接图进行卷积运算，得到所述磁共振影像的高级特征图；
对所述第二连接图进行卷积运算，得到所述正电子发射断层影像的高级特征图；
对所述磁共振影像的高级特征图和所述正电子发射断层影像的高级特征图的进行融合，得到融合特征图。
5.如权利要求4所述的图像分类方法，其特征在于，所述对所述第一连接图进行卷积运算，得到所述磁共振影像的高级特征图，包括：
对所述第一连接图进行1x1卷积运算，得到所述磁共振影像的具体特征图；
对所述具体特征图进行维度变换，得到各个切面的所述具体特征图；
对各个切面的所述具体特征图分别进行卷积运算，得到各个切面的所述具体特征图的卷积结果；
拼接各个切面的所述具体特征图的卷积结果，得到所述磁共振影像的高级特征图。
6.如权利要求1所述的图像分类方法，其特征在于，所述对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果，包括：
计算所述融合特征图的各个通道的权重；
将所述融合特征图乘以各个通道的权重，得到第一通道特征；
计算所述融合特征图的各个通道的特征；
计算各个通道的特征的平均值，得到通道均值；
将所述融合特征图乘以所述通道均值，得到第二通道特征；
将所述第一通道特征和所述第二通道特征相加，得到最终的特征图；
多最终的特征图进行分类，得到用于表征脑部疾病的分类结果。
7.如权利要求6所述的图像分类方法，其特征在于，所述多最终的特征图进行分类，得到用于表征脑部疾病的分类结果，包括：
对最终的特征图进行全局平均池化操作，得到池化之后的特征图；
对池化之后的特征图应用分类器，得到分类器输出的结果。
8.一种脑疾病分类装置，其特征在于，所述装置包括如下组成部分：
影像采集模块，用于生成脑部的磁共振影像和正电子发射断层影像；
特征提取模块，用于提取所述磁共振影像和所述正电子发射断层影像的融合特征图，所述融合特征图包括所述磁共振影像的特征和所述正电子发射断层影像的特征；
分类模块，用于对所述融合特征图进行分类，得到用于表征脑部疾病的分类结果。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的脑疾病分类程序，所述处理器执行所述脑疾病分类程序时，实现如权利要求1-7任一项所述的图像分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有脑疾病分类程序，所述脑疾病分类程序被处理器执行时，实现如权利要求1-7任一项所述的图像分类方法的步骤。
CN202210943611.4A 2022-08-08 2022-08-08 一种图像分类方法、装置、设备及存储介质 Pending CN115423754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210943611.4A CN115423754A (zh) 2022-08-08 2022-08-08 一种图像分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210943611.4A CN115423754A (zh) 2022-08-08 2022-08-08 一种图像分类方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115423754A true CN115423754A (zh) 2022-12-02

Family

ID=84196600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210943611.4A Pending CN115423754A (zh) 2022-08-08 2022-08-08 一种图像分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115423754A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN117934473A (zh) * 2024-03-22 2024-04-26 成都信息工程大学 一种基于深度学习的公路隧道表观裂缝检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116246774B (zh) * 2023-03-15 2023-11-24 浙江医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116452592B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117349714B (zh) * 2023-12-06 2024-02-13 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN117934473A (zh) * 2024-03-22 2024-04-26 成都信息工程大学 一种基于深度学习的公路隧道表观裂缝检测方法
CN117934473B (zh) * 2024-03-22 2024-05-28 成都信息工程大学 一种基于深度学习的公路隧道表观裂缝检测方法

Similar Documents

Publication Publication Date Title
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
WO2022057078A1 (zh) 基于集成知识蒸馏的实时肠镜影像分割方法及装置
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
CN112348785B (zh) 一种癫痫病灶定位方法及系统
CN114581662A (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN115131642B (zh) 一种基于多视子空间聚类的多模态医学数据融合系统
CN112862805A (zh) 听神经瘤图像自动化分割方法及系统
CN111861989A (zh) 一种脑中线检测方法、系统、终端及存储介质
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
Lee et al. Improved classification of brain-tumor mri images through data augmentation and filter application
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
Alwan et al. Medical Image Segmentation Using Enhanced Residual U-Net Architecture.
Abd Hamid et al. Incorporating attention mechanism in enhancing classification of alzheimer’s disease
Zhang et al. A Nested attention guided UNet++ architecture for white matter hyperintensity segmentation
Gou et al. Artificial intelligence multiprocessing scheme for pathology images based on transformer for nuclei segmentation
Zhang et al. Sclmnet: A dual-branch guided network for lung and lung lobe segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination