CN115187807B - 一种基于磁共振成像数据的图像分类方法 - Google Patents

一种基于磁共振成像数据的图像分类方法

Info

Publication number
CN115187807B
CN115187807B CN202210708007.3A CN202210708007A CN115187807B CN 115187807 B CN115187807 B CN 115187807B CN 202210708007 A CN202210708007 A CN 202210708007A CN 115187807 B CN115187807 B CN 115187807B
Authority
CN
China
Prior art keywords
feature
image classification
magnetic resonance
sub
resonance imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210708007.3A
Other languages
English (en)
Other versions
CN115187807A (zh
Inventor
雷海军
张瑜宸
雷柏英
黄忠唯
陈梓豪
刘伟鑫
丘新云
赵梦禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210708007.3A priority Critical patent/CN115187807B/zh
Publication of CN115187807A publication Critical patent/CN115187807A/zh
Application granted granted Critical
Publication of CN115187807B publication Critical patent/CN115187807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于磁共振成像数据的图像分类方法，所述方法包括：获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。本发明实施例通过对三维磁共振成像数据的深度学习，可以得到磁共振成像数据的高级特征，通过图像分类模型提取磁共振成像数据的特征通过引入注意力机制和自监督学习，得到更具有判别力的空间关系的高级特征，这样可以得到更精准的图像类别。

Description

一种基于磁共振成像数据的图像分类方法
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种基于磁共振成像数据的图像分类方法。
背景技术
随着影像学技术的发展，深度学习被广泛用于对神经影像的分析。现阶段最广泛使用的大脑影像数据是磁共振成像(MRI)，它可以揭示人脑结构的异常。如帕金森病患者的黑质、壳核、纹状体等其他关键结构在MRI上都能够体现出明显的萎缩，这为帕金森等疾病的图像分类提供了基础。现有基于MRI数据的帕金森疾病的图像分类大多是依赖于机器学习，主要聚焦在特征选择上，通过特征选择，挑选出具有判别力的特征，从而减少特征维度。但是，传统机器学习的图像分类方法，忽略了MRI数据的空间关系以及三维数据中切片之间的高级特征，导致图像分类结果不准确。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于磁共振成像数据的图像分类方法，旨在解决现有技术中图像分类方法，忽略了MRI数据的空间关系以及三维数据中切片之间的高级特征，导致图像分类结果不准确的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于磁共振成像数据的图像分类方法，其中，所述方法包括：
获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。
在一种实现方式中，所述图像分类模型包括若干阶段模块、三维反卷积块、平均池化层和全连接层，每个所述阶段模块包括两个三维残差模块和一个三维注意力洗牌模块。
在一种实现方式中，所述三维注意力洗牌模块包括全局平均池化层、门控机制、激活函数、组归一化层、拼接层。
在一种实现方式中，所述将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别包括：
将所述磁共振成像数据输入若干阶段模块，得到第一特征；
将所述第一特征输入至平均池化层，得到第二特征；
将所述所述第二特征输入至全连接层，得到图像类别。
在一种实现方式中，所述将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别还包括：
将所述第二特征输入三维反卷积块，得到预测的体素信息。
在一种实现方式中，所述将所述磁共振成像数据输入若干阶段模块，得到第一特征包括：
将所述磁共振成像数据依次输入若干阶段模块；
针对每个阶段模块，通过每个阶段模块中的两个三维残差模块输出初始特征，将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征；
将最后一个阶段模块输出的阶段模块输出特征作为第一特征。
在一种实现方式中，所述将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征包括：
将所述初始特征分成若干组，得到若干子特征；
针对每个子特征，将每个所述子特征分成两份，得到第一子特征和第二子特征，将所述第一子特征依次输入至全局平均池化层、门控机制、激活函数，得到第三子特征，将所述第一子特征依次输入至组归一化层、门控机制、激活函数，得到第四子特征，将所述第三子特征和所述第四子特征输入至拼接层，得到与每个所述子特征对应的合并子特征；其中，所述第三子特征包含通道特征；所述第四子特征包含空间特征；
将所有子特征对应的所有合并子特征进行合并，得到阶段模块输出特征。
在一种实现方式中，所述图像分类模型的训练方法包括：
获取训练数据和标签；
将所述训练数据输入至初始图像分类模型，得到模型输出数据；
根据所述标签和所述模型输出数据，得到损失函数；其中，所述损失函数包括自监督学习损失函数和分类损失函数；
基于所述损失函数，对所述初始图像分类模型进行训练，以得到训练好的图像分类模型。
第二方面，本发明实施例还提供一种基于磁共振成像数据的图像分类装置，其中，所述装置包括：
预处理模块，用于获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
分类模块，用于将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于磁共振成像数据的图像分类方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于磁共振成像数据的图像分类方法。
本发明的有益效果：本发明实施例首先获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；然后将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征；可见，本发明实施例通过对三维磁共振成像数据的深度学习，可以得到磁共振成像数据的高级特征，通过图像分类模型提取磁共振成像数据的特征通过引入注意力机制和自监督学习，得到更具有判别力的空间关系的高级特征，这样可以得到更精准的图像类别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于磁共振成像数据的图像分类方法流程示意图。
图2为本发明实施例提供的一种实现方式的图像分类模型结构图。
图3为本发明实施例提供的一种实现方式的洗牌注意力结构图。
图4为本发明实施例提供的基于磁共振成像数据的图像分类装置的原理框图。
图5为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了一种基于磁共振成像数据的图像分类方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当本发明称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，传统机器学习的图像分类方法，忽略了MRI数据的空间关系以及三维数据中切片之间的高级特征，导致图像分类结果不准确。
为了解决现有技术的问题，本实施例提供了一种基于磁共振成像数据的图像分类方法，通过对三维磁共振成像数据的深度学习，可以得到磁共振成像数据的高级特征，通过图像分类模型提取磁共振成像数据的特征通过引入注意力机制和自监督学习，得到更具有判别力的空间关系的高级特征，这样可以得到更精准的图像类别。具体实施时，首先获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；然后将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。
示例性方法
本实施例提供一种基于磁共振成像数据的图像分类方法，该方法可以应用于图像处理的智能终端。具体如图1所示，所述方法包括：
步骤S100、获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
具体地，本发明使用统计参数映射(SPM)工具箱将大脑神经影像通过偏置场校正、颅骨剥离和图像配准这三个步骤来完成预处理，预处理后得到磁共振成像(MRI)数据，磁共振成像(MRI)数据是三维的，可以更充分地学习切片内和切片之间的空间关系，挖掘更具有判别力的高级信息，从而实现更加准确的神经退行性图像分类，为后续得到磁共振成像数据的高级特征做准备。
得到三维的磁共振成像数据后，就可以执行如图1所示的如下步骤：S200、将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。
具体地，图像分类模型事先通过训练得到，可以提取大脑神经影像的空间和通道两个维度的特征以及三维磁共振成像数据的高级特征，最终从图像分类模型输出图像类别。
在一种实现方式中，如图2所示，所述图像分类模型包括若干阶段模块、三维反卷积块、平均池化层和全连接层，每个所述阶段模块包括两个三维残差模块和一个三维注意力洗牌模块，所述三维注意力洗牌模块包括全局平均池化层、门控机制、激活函数、组归一化层、拼接层。
在本实施例中，图像分类模型包括四个阶段模块，一个三维反卷积块(3D反卷积块)、一个平均池化层和一个全连接层(FC)组成，每个所述阶段模块包括两个三维残差模块B1、B2(组成Stage(F)＝B1(F)+B2(F))和一个三维注意力洗牌模块(3D shuffleattention)。所述三维注意力洗牌模块包括全局平均池化层(GAP)、简单的门控机制(Fc(.))、激活函数(σ(·))、组归一化层(GN)、拼接层(CONCAT)。其中，Fc(.)为一个线性函数w(x)加上一个偏置，σ(·)为激活函数。
步骤S200包括如下步骤：
S201、将所述磁共振成像数据输入若干阶段模块，得到第一特征；
S202、将所述第一特征输入至平均池化层，得到第二特征；
S203、将所述所述第二特征输入至全连接层，得到图像类别。
在本实施例中，将所述磁共振成像数据输入四个阶段模块后，输出第一特征，然后将所述第一特征输入至平均池化层，得到包含大脑神经影像的空间和通道两个维度的第二特征，最后将所述所述第二特征输入至全连接层(FC)，得到图像类别。
在一种实现方式中，将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别还包括如下步骤：将所述第二特征输入三维反卷积块，得到预测的体素信息。
具体地，本申请设置了一个预测体素信息的前游任务，通过执行前游任务可以更好地从MRI数据中学习到一些潜在的高级特征表示，以便于在分类任务中进行调整，提高分类的性能，同时将所述第二特征输入三维反卷积块，得到预测的体素信息，通过预测的体素信息可以得到损失函数，最终通过损失函数来调整图像分类模型的模型参数。
步骤S201包括如下步骤：
S2011、将所述磁共振成像数据依次输入若干阶段模块；
S2012、针对每个阶段模块，通过每个阶段模块中的两个三维残差模块输出初始特征，将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征；
S2013、将最后一个阶段模块输出的阶段模块输出特征作为第一特征。
具体地，将所述磁共振成像数据输入第一个阶段模块会输出一个特征，然后将这个特征输入到下一个阶段模块，将最后一个阶段模块输出特征作为第一特征。针对每个阶段模块，通过每个阶段模块中的两个三维残差模块输出初始特征，然后将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征。在每两个三维残差模块后添加三维注意力洗牌模块(3D shuffle attention)以从输出特征中消除冗余特征的影响，提取更重要的特征信息。本发明使用“通道洗牌”操作沿通道维度转换不同的信息组，有效地结合空间和通道注意机制的同时，也减少了模块的计算时间。
在步骤S2012中，所述将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征包括如下步骤：将所述初始特征分成若干组，得到若干子特征；针对每个子特征，将每个所述子特征分成两份，得到第一子特征和第二子特征，将所述第一子特征依次输入至全局平均池化层、门控机制、激活函数，得到第三子特征，将所述第一子特征依次输入至组归一化层、门控机制、激活函数，得到第四子特征，将所述第三子特征和所述第四子特征输入至拼接层，得到与每个所述子特征对应的合并子特征；其中，所述第三子特征包含通道特征；所述第四子特征包含空间特征；将所有子特征对应的所有合并子特征进行合并，得到阶段模块输出特征。
具体地，如图3所示为三维注意力洗牌模块(3D shuffle attention)的详细结构，将初始特征沿着通道维度被分成八组，即 子特征Fk再次沿着通道维度分成两份:第一子特征和第二子特征并分别放入通道注意力和空间注意力通道。通道注意力模块先将第一子特征Fk1通过全局特征池化去生成每个通道的全局信息，再通过Fc(·)和激活函数(σ(·))去引导关键特征的选择。通道注意力可以表示为：
Mc(Fk1)＝σ(Fc(GAP(Fk1)))·Fk1＝σ(wc·GN(Fk1)+b)·Fk1，
空间注意力模块先将第二子特征Fk2通过组归一化获得空间信息，再通过Fc(·)和激活函数(σ(·))去引导关键特征的选择。空间注意力可以表示为：
Ms(Fk2)＝σ(Fc(GN(Fk2)))·Fk2＝σ(wc·GN(Fk2)+b)·Fk2，
空间注意力和通道注意力模块得到的特征信息通过拼接进行融合，得到一个分组的内部特征信息(也即合并子特征) 最后，通过“通道洗牌”对八组合并子特征进行重新调整大小并排列然后合并，阶段模块输出特征，以充分利用每组特征内部学习到的信息。
在一种实现方式中，所述图像分类模型的训练方法包括如下步骤：获取训练数据和标签；将所述训练数据输入至初始图像分类模型，得到模型输出数据；根据所述标签和所述模型输出数据，得到损失函数；其中，所述损失函数包括自监督学习损失函数和分类损失函数；基于所述损失函数，对所述初始图像分类模型进行训练，以得到训练好的图像分类模型。
具体地，先获取训练数据和训练数据对应的标签，然后将所述训练数据输入至初始图像分类模型，得到模型输出数据；根据所述标签和所述模型输出数据，得到损失函数；其中，所述损失函数包括自监督学习损失函数和分类损失函数；图2中(b)自监督学习模块通过预测体素信息可以更好地从MRI数据中学习到一些潜在的高级特征信息，进而提高分类的性能。自监督体素特征是由五层反卷积块计算得到的，反卷积块的核大小与前向卷积块的核大小相同。给定输入数据 自监督学习的损失函数可以表示为：
其中，m代表样本个数，i代表第i个样本。
图2(c)中的分类模块输入第一特征，得到模型输出数据，训练数据的类别标签为y'i(i＝1,2,3,…,m)。本发明采用一个简单的全连接层作为分类模块，给定真实标签yi(i＝1,2,3,…,m)，分类的损失可以表示为：
其中，m代表其中样本个数，i代表第i个样本。
因此，本发明整个模型的损失函数如下所示：
基于所述损失函数对所述初始图像分类模型进行训练，以得到训练好的图像分类模型。
综上所述，本发明的方法通过特征提取网络从MRI数据中学习潜在的、固有的特征信息。再把得到的特征信息输入到分类模块中训练出多分类模型，以实现神经退行性疾病的早期多阶段图像分类结果。
创新关键点：
(1)基于大脑神经影像的三维数据，通过三维深度学习的方法利用原始数据所蕴含的丰富大脑结构信息，挖掘大脑神经影像切片之间的关系以及切片空间内的内在关系，选择出与疾病的图像最相关、具有判别能力的特征。
(2)根据注意力机制的思想，通过从通道和空间两个维度赋予特征权重系数来强调重要信息，抑制不相关的冗余信息，从而指导自下而上的前馈过程，使得分类能够从空间和通道维度聚焦于病变区域，并减轻不相关特征的影响。
(3)从学习到的特征中预测体素信息，能够充分了解三维空间信息的特征，这是一种重要的、可转移的知识。因此，设计一个自监督学习的前游任务——预测体素信息，更好地从MRI数据中学习到一些潜在的高级特征表示，以便于在分类任务中进行调整，提高分类的性能。
示例性设备
如图4中所示，本发明实施例提供一种基于磁共振成像数据的图像分类装置，该装置包括预处理模块301和分类模块302，其中：
预处理模块301，用于获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
分类模块302，用于将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图5所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于磁共振成像数据的疾病的图像分类方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于磁共振成像数据的图像分类方法，所述方法包括：获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征。本发明实施例通过对三维磁共振成像数据的深度学习，可以得到磁共振成像数据的高级特征，通过图像分类模型提取磁共振成像数据的特征通过引入注意力机制和自监督学习，得到更具有判别力的空间关系的高级特征，这样可以得到更精准的图像类别。
基于上述实施例，本发明公开了一种基于磁共振成像数据的图像分类方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于磁共振成像数据的图像分类方法，其特征在于，所述方法包括：
获取大脑神经影像的三维数据，并对所述三维数据进行预处理，得到磁共振成像数据；
将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别；其中，所述图像分类模型包含提取的大脑神经影像的空间维度特征和通道维度特征；
所述图像分类模型包括若干阶段模块、三维反卷积块、平均池化层和全连接层，每个所述阶段模块包括两个三维残差模块和一个三维注意力洗牌模块；
所述将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别包括：
将所述磁共振成像数据依次输入若干阶段模块；
针对每个阶段模块，通过每个阶段模块中的两个三维残差模块输出初始特征，将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征；
将最后一个阶段模块输出的阶段模块输出特征作为第一特征；
将所述第一特征输入至平均池化层，得到第二特征；
将所述所述第二特征输入至全连接层，得到图像类别。
2.根据权利要求1所述的基于磁共振成像数据的图像分类方法，其特征在于，所述三维注意力洗牌模块包括全局平均池化层、门控机制、激活函数、组归一化层、拼接层。
3.根据权利要求1所述的基于磁共振成像数据的图像分类方法，其特征在于，所述将所述磁共振成像数据输入至训练好的图像分类模型，通过所述图像分类模型输出图像类别还包括：
将所述第二特征输入三维反卷积块，得到预测的体素信息。
4.根据权利要求1所述的基于磁共振成像数据的图像分类方法，其特征在于，所述将所述初始特征输入至三维注意力洗牌模块，得到阶段模块输出特征包括：
将所述初始特征分成若干组，得到若干子特征；
针对每个子特征，将每个所述子特征分成两份，得到第一子特征和第二子特征，将所述第一子特征依次输入至全局平均池化层、门控机制、激活函数，得到第三子特征，将所述第一子特征依次输入至组归一化层、门控机制、激活函数，得到第四子特征，将所述第三子特征和所述第四子特征输入至拼接层，得到与每个所述子特征对应的合并子特征；其中，所述第三子特征包含通道特征；所述第四子特征包含空间特征；
将所有子特征对应的所有合并子特征进行合并，得到阶段模块输出特征。
5.根据权利要求1所述的基于磁共振成像数据的图像分类方法，其特征在于，所述图像分类模型的训练方法包括：
获取训练数据和标签；
将所述训练数据输入至初始图像分类模型，得到模型输出数据；
根据所述标签和所述模型输出数据，得到损失函数；其中，所述损失函数包括自监督学习损失函数和分类损失函数；
基于所述损失函数，对所述初始图像分类模型进行训练，以得到训练好的图像分类模型。
6.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-5中任意一项所述的方法。
7.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-5中任意一项所述的方法。
CN202210708007.3A 2022-06-22 2022-06-22 一种基于磁共振成像数据的图像分类方法 Active CN115187807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708007.3A CN115187807B (zh) 2022-06-22 2022-06-22 一种基于磁共振成像数据的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708007.3A CN115187807B (zh) 2022-06-22 2022-06-22 一种基于磁共振成像数据的图像分类方法

Publications (2)

Publication Number Publication Date
CN115187807A CN115187807A (zh) 2022-10-14
CN115187807B true CN115187807B (zh) 2025-08-22

Family

ID=83514927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708007.3A Active CN115187807B (zh) 2022-06-22 2022-06-22 一种基于磁共振成像数据的图像分类方法

Country Status (1)

Country Link
CN (1) CN115187807B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580225B (zh) * 2023-04-19 2026-06-12 北京航空航天大学 一种基于空间信息驱动的直肠癌ct图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178336A1 (en) * 2018-03-14 2019-09-19 Emory University Systems and methods for generating biomarkers based on multivariate mri and multimodality classifiers for disorder diagnosis
WO2020223434A1 (en) * 2019-04-30 2020-11-05 The Trustees Of Columbia University In The City Of New York Classifying neurological disease status using deep learning
CN113743484A (zh) * 2021-08-20 2021-12-03 宁夏大学 基于空间和通道注意力机制的图像分类方法与系统
CN113705670B (zh) * 2021-08-27 2024-11-08 上海交通大学医学院附属仁济医院 基于磁共振成像和深度学习的脑部图像分类方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yuchen Zhang等.Parkinson's Disease Classification with Self-supervised Learning and Attention Mechanism.《2022 26th International Conference on Pattern Recognition》.2022,4601-4607. *

Also Published As

Publication number Publication date
CN115187807A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN114863111B (zh) 交互融合Transformer的超声图像量化方法
Cheng et al. CNNs based multi-modality classification for AD diagnosis
Plis et al. Reading the (functional) writing on the (structural) wall: Multimodal fusion of brain structure and function via a deep neural network based translation approach reveals novel impairments in schizophrenia
CN115423754B (zh) 一种图像分类方法、装置、设备及存储介质
Hao et al. Hypergraph convolutional network for longitudinal data analysis in Alzheimer's disease
CN119180954B (zh) 一种基于扩散模型的颈椎椎骨分割及关键点检测方法
CN110210543A (zh) 图像分类系统、方法、设备和存储介质
CN114359213B (zh) 一种大脑静息状态功能磁共振成像图的分类方法
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Ball et al. Modelling neuroanatomical variation during childhood and adolescence with neighbourhood-preserving embedding
CN114298180B (zh) 一种多模态大脑影像特征学习方法
Nasir et al. Alzheimer's Magnetic Resonance Imaging Classification Using Deep and Meta-Learning Models
Song et al. Temporal Graphormer and its interpretability: A novel framework for diagnostic decoding of brain disorders using fMRI data
CN116798605A (zh) 一种基于核磁共振图像的阿尔兹海默症辅助诊断方法
Akan et al. An artificial intelligence-based framework for Alzheimer’s disease diagnosis from magnetic resonance imaging volumes via video vision transformer
Bhuiyan et al. Enhanced deep learning hybrid model for the prediction of brain stroke
Zhao et al. Region ensemble network for MCI conversion prediction with a relation regularized loss
CN115187807A (zh) 一种基于磁共振成像数据的图像分类方法
Wang et al. RRAECL: A Riemannian manifold graph representation and enhanced contrastive learning framework for label-efficient Alzheimer’s disease diagnosis
Raj et al. End to end trained long term recurrent convolutional network for subject-level Alzheimer detection
CN115937129A (zh) 基于多模态磁共振影像的左右半脑关系的处理方法及装置
Wu et al. A multi-scale feature and dual self-attention mechanism for enhanced Alzheimer’s disease classification
Li et al. MF-Net: multi-scale feature extraction-integration network for unsupervised deformable registration
Sifat et al. 3D MRI-Based Alzheimer's Disease Classification Using Multi-Modal 3D CNN with Leakage-Aware Subject-Level Evaluation
Cao et al. Mental disease feature extraction with MRI by 3D convolutional neural network with multi-channel input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant