CN116580248A - 一种基于多模态数据的ad图像预测与分类方法 - Google Patents

一种基于多模态数据的ad图像预测与分类方法 Download PDF

Info

Publication number
CN116580248A
CN116580248A CN202310662519.5A CN202310662519A CN116580248A CN 116580248 A CN116580248 A CN 116580248A CN 202310662519 A CN202310662519 A CN 202310662519A CN 116580248 A CN116580248 A CN 116580248A
Authority
CN
China
Prior art keywords
patch
global
feature
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310662519.5A
Other languages
English (en)
Inventor
赵健祥
颜成钢
张帅杰
杨德富
吕骏晖
乔松
何敏
王帅
赵治栋
高宇涵
孙垚棋
朱尊杰
张继勇
李宗鹏
殷海兵
王鸿奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310662519.5A priority Critical patent/CN116580248A/zh
Publication of CN116580248A publication Critical patent/CN116580248A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多模态数据的AD图像预测与分类方法。首先进行数据预处理;然后构建AD图像预测与分类网络模型;通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块;通过patch特征提取模块获取加强patch‑leaval块;再通过注意力多实例学习模块来加强全局特征;最后通过全局分类器得到分类概率p;本发明使用了多模态数据结合的方式进行训练,增强了分类识别效果。本发明提出重采样提取图像特征的方法,将多模态的数据按照相同方法处理,标准化的图像提高泛化能力。

Description

一种基于多模态数据的AD图像预测与分类方法
技术领域
本发明属于医学影像预测领域,具体涉及一种基于多模态数据的AD图像预测与分类方法,涉及计算机视觉,深度学习中医学图像区域分割和医学影像预测灯方面。
背景技术
阿尔茨海默病(AD)是最普遍的神经系统疾病之一,其发病率显著增长。AD的进展逐渐导致记忆衰退和认知功能损害,最终导致不可逆的神经元损伤。许多基于机器学习方法的研究被开发出来,以识别阿尔茨海默病(AD)患者与正常对照组(NC)的解剖学差异,并利用结构磁共振成像(SMRI)预测轻度认知障碍(MCI)的进展,而结构磁共振成像对脑萎缩引起的形态学变化较为敏感。同样的,医学造像技术的发展也出现了正电子发射断层扫描(PET),PET是一种核成像技术(也称为分子成像),可以显示体内代谢过程。PET图像对于细胞的代谢变化敏感,而在疾病发病前,其患者的脑部的细胞代谢变化往往会早于其形态变化。MRI可以提供其它方法无法容易获取的空间分辨率和对结构的清晰图像,并且MRI可以识别和分辨白质和灰质的脑组织,但MRI并不能检测到AD的生化标志物和与病变相关的嵌合物,比如beta-淀粉样蛋白(beta-amyloid)和tau蛋白聚集体,虽然MRI可以检测到脑组织萎缩反应,但是萎缩也是其他疾病如脑血管病的典型特征。PET图像有较高的敏感性,能够检测到AD的生化标记物如beta-淀粉样蛋白和tau蛋白聚集,这样便可以在早期阶段发现AD,通过身体细胞在脑中使用的代谢子探测器识别。
如果结合两者的数据,对于研究AD的分类和预测会有更好的结果。
近年来,深度学习方法在医学图像分析等图像分类任务中取得了巨大的成功。现有的AD诊断深度学习方法大多仍依赖于人工预定义的具有专家经验的感兴趣区域来建立基于CNNS的诊断模型,这导致使用相同模板空间没有充分考虑个体差异,可能没有包括分布在全脑的整个疾病相关萎缩特征。此外,由于神经网络的黑盒特性,很少有深度学习方法对病理位置有特定的输出,这忽略了医学实践中的可解释性问题。由于脑萎缩通常发生在局部,SMRI扫描中只有少数区域出现明显的结构变化,与病理特征高度相关,而其他区域的区分信息很少,结合PET图像的区域代谢变化,对预测和分类将有较大提升。
发明内容
针对现有技术中存在的不足,本发明引入了注意力机制,在局部和全局的特征分析中都有加强特征的效果,得到更好的分类和预测效果。
在本发明中,我们提出了一种基于多模态数据的阿尔茨海默病的深度学习模型来进行AD的分类和预测。具体来说,多模态的数据包括核磁共振图像(MRI),正电子发射断层扫描图像(PET)以及两者的74脑区分割模型。如果只是单纯的将多个数据集结合在一起,那肯定对效果的影响微乎其微,因为这样只是单纯的使用学习图片本来的特征,并将其特征信息独立出来,对预测和分类并没有太好的效果。所以怎样解决这个问题,本发明中提出了一种信息聚合的方法,利用重采样的效果,我们先提取特征信息中较为重要的部分作为基础patch块,接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中。利用相同的这个方法,把MRI和PET的图像信息进行了统一的标准化处理,此时再将数据结合到一起效果便能更好。
针对现有技术中存在的不足,本发明数据使用多模态数据加强特征分析,在网络模型里引入了注意力机制,在局部和全局的特征分析中都有加强特征的效果,得到更好的分类和预测效果。
一种基于多模态数据的AD图像预测与分类方法,包括以下步骤:
步骤(1)、数据预处理;
步骤(2)、构建AD图像预测与分类网络模型;
AD图像预测与分类网络模型包含空间信息聚合模块、patch特征提取模块,注意力多实例学习(MIL)模块和全局分类器。
步骤(3)、通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块。
步骤(4)、通过patch特征提取模块获取加强patch-leaval块。
步骤(5)、通过注意力多实例学习模块来加强全局特征。
步骤(6)、通过全局分类器得到分类概率p。
步骤(7)、训练AD图像预测与分类网络模型;
进一步的,步骤(1)具体方法如下:
首先获取MRI图像以及PET图像这两种模态数据,并按照当前的74脑区模型提取分割数据,对于分割数据通过重采样将图像信息特征聚合在一个固定的尺寸上,处理成具有相同尺寸的单个脑区域图像。
进一步的,步骤(3)具体方法如下:
空间信息聚合模块首先通过边缘检测的方法提取单个脑区域图像中包含图像信息较多的部分作为基础patch块,接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中。使用五层卷积核相同的卷积层对patch块中的特征进行加强,得到特征patch块。
进一步的,步骤(4)具体方法如下:
patch特征提取模块将空间信息聚合模块输出的特征patch块作为输入,首先通过两层卷积层压缩特征,再通过一个最大池化层提取加强特征map,该加强特征map作为patch特征提取模块注意力机制的初始图像,加强特征map再分别通过最大池化和平均池化层提取注意力所需的另外两个特征map,将这两个特征map相加后通过一个卷积层和sigmoid层处理,将处理后的特征map与原始的加强特征map点乘,得到加强patch-leaval块。并且加强特征map通过一个全局平均池化层、全连接层和sigmoid层获取加强patch-leaval块的权重影响分数。
进一步的,步骤(5)具体方法如下:
AD图像预测与分类网络模型中包括多个由空间信息聚合模块以及patch特征提取模块组成的分支,分支的数量与脑区域图像数量对应,将多个分支输出的加强patch-leaval块平展连接在一起得到全局特征(Global features),将每个加强patch-leaval块的权重影响分数也平展连接在一起,得到局部影响分数(affect scores)。全局特征分别通过全局最大池化和全局平均池化后与局部影响分数三者相加,之后经过sigmoid层得到全局影响分数(attention scores),最后与原始输入的全局特征点乘,输出带有权重影响分数的全局特征patch。
进一步的,步骤(6)具体方法如下:
将带有权重影响分数的全局特征patch作为全局分类器的输入,全局分类器通过两个卷积层进行特征提取,再经过一层全局平均池化进行特征加强后,通过一个全连接层,全连接层输出所有特征信息后经过softmax层获取全局特征patch对应所有分类的概率分数,即分类概率p。
进一步的,步骤(7)具体方法如下;
首先获取医院数据中的MRI图像以及PET图像两种模态数据作为训练数据集,并按照当前的74脑区模型提取分割数据,将图像处理成具有相同尺寸的单个脑区域图像作为AD图像预测与分类网络模型的输入。设定batch-size为4,损失函数为交叉损失函数,训练轮次为100轮。
本发明有益效果如下:
本发明使用了多模态数据结合的方式进行训练,增强了分类识别效果。
本发明提出重采样提取图像特征的方法,将多模态的数据按照相同方法处理,标准化的图像提高泛化能力。
本发明将整体大脑图像分割为脑区大小图像,随机选取脑区进行训练,增多了训练数据,摆脱医学图像训练数量少的问题。
本发明加强了局部特征分析以及全局特征分析,能提升分类效果。
附图说明
图1为本发明实施例patch特征提取模块结构示意图;
图2为本发明实施例注意力多实例学习模块结构示意图。
具体实施方式
以下结合附图与实施例对本发明技术方案进行进一步描述。
一种基于多模态数据的AD图像预测与分类方法,包括以下步骤:
步骤(1)、数据预处理与分析;
首先获取MRI图像以及PET图像这两种模态数据,并按照当前的74脑区模型提取分割数据,对于分割数据通过重采样将图像信息特征聚合在一个固定的尺寸上,处理成具有相同尺寸的单个脑区域图像,简而言之,将一个完整的大脑图像转化为一个个的脑区域图像,每个脑区的大小不一致,但都限定在了原图像的尺寸下。
步骤(2)、构建AD图像预测与分类网络模型;
AD图像预测与分类网络模型包含空间信息聚合模块、patch特征提取模块,注意力多实例学习(MIL)模块和全局分类器。
步骤(3)、通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块。
空间信息聚合模块首先通过边缘检测的方法提取单个脑区域图像中包含图像信息较多的部分作为基础patch块,接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中。使用五层卷积核相同的卷积层对patch块中的特征进行加强,得到特征patch块,由此得到的输出尺度统一的patch特征便于之后分析。
步骤(4)、通过patch特征提取模块获取加强patch-leaval块。
如图1所示,patch特征提取模块将空间信息聚合模块输出的特征patch块作为输入,首先通过两层卷积层压缩特征,再通过一个最大池化层提取加强特征map,该加强特征map作为patch特征提取模块注意力机制的初始图像,加强特征map再分别通过最大池化和平均池化层提取注意力所需的另外两个特征map,将这两个特征map相加后通过一个卷积层和sigmoid层处理,将处理后的特征map与原始的加强特征map点乘,得到加强patch-leaval块。并且加强特征map通过一个全局平均池化层、全连接层和sigmoid层获取加强patch-leaval块的权重影响分数。
步骤(5)、通过注意力多实例学习模块来加强全局特征。
AD图像预测与分类网络模型中包括多个由空间信息聚合模块以及patch特征提取模块组成的分支,分支的数量与脑区域图像数量对应,将多个分支输出的加强patch-leaval块平展连接在一起得到全局特征(Global features),将每个加强patch-leaval块的权重影响分数也平展连接在一起,得到局部影响分数(affect scores)。如图2所示,全局特征分别通过全局最大池化和全局平均池化后与局部影响分数三者相加,之后经过sigmoid层得到全局影响分数(attention scores),最后与原始输入的全局特征点乘,输出带有权重影响分数的全局特征patch,用于后续的分类和预测。
步骤(6)、通过全局分类器得到分类概率p。
将带有权重影响分数的全局特征patch作为全局分类器的输入,全局分类器通过两个卷积层进行特征提取,再经过一层全局平均池化进行特征加强后,通过一个全连接层,全连接层输出所有特征信息后经过softmax层获取全局特征patch对应所有分类的概率分数,即分类概率p。
步骤(7)、训练AD图像预测与分类网络模型;
首先获取医院数据中的MRI图像以及PET图像两种模态数据作为训练数据集,并按照当前的74脑区模型提取分割数据,将图像处理成具有相同尺寸的单个脑区域图像作为AD图像预测与分类网络模型的输入。设定batch-size为4,损失函数为交叉损失函数,训练轮次为100轮。
当前本发明方法测试效果如下:
其中,ACC为分类准确度,SEN为敏感度,SPE为特异度。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (7)

1.一种基于多模态数据的AD图像预测与分类方法,其特征在于,包括以下步骤:
步骤(1)、数据预处理;
步骤(2)、构建AD图像预测与分类网络模型;
AD图像预测与分类网络模型包含空间信息聚合模块、patch特征提取模块,注意力多实例学习模块和全局分类器;
步骤(3)、通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块;
步骤(4)、通过patch特征提取模块获取加强patch-leaval块;
步骤(5)、通过注意力多实例学习模块来加强全局特征;
步骤(6)、通过全局分类器得到分类概率p;
步骤(7)、训练AD图像预测与分类网络模型。
2.根据权利要求1所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(1)具体方法如下:
首先获取MRI图像以及PET图像这两种模态数据,并按照当前的74脑区模型提取分割数据,对于分割数据通过重采样将图像信息特征聚合在一个固定的尺寸上,处理成具有相同尺寸的单个脑区域图像。
3.根据权利要求2所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(3)具体方法如下:
空间信息聚合模块首先通过边缘检测的方法提取单个脑区域图像中包含图像信息较多的部分作为基础patch块,接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中;使用五层卷积核相同的卷积层对patch块中的特征进行加强,得到特征patch块。
4.根据权利要求3所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(4)具体方法如下:
patch特征提取模块将空间信息聚合模块输出的特征patch块作为输入,首先通过两层卷积层压缩特征,再通过一个最大池化层提取加强特征map,该加强特征map作为patch特征提取模块注意力机制的初始图像,加强特征map再分别通过最大池化和平均池化层提取注意力所需的另外两个特征map,将这两个特征map相加后通过一个卷积层和sigmoid层处理,将处理后的特征map与原始的加强特征map点乘,得到加强patch-leaval块;并且加强特征map通过一个全局平均池化层、全连接层和sigmoid层获取加强patch-leaval块的权重影响分数。
5.根据权利要求4所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(5)具体方法如下:
AD图像预测与分类网络模型中包括多个由空间信息聚合模块以及patch特征提取模块组成的分支,分支的数量与脑区域图像数量对应,将多个分支输出的加强patch-leaval块平展连接在一起得到全局特征,将每个加强patch-leaval块的权重影响分数也平展连接在一起,得到局部影响分数;全局特征分别通过全局最大池化和全局平均池化后与局部影响分数三者相加,之后经过sigmoid层得到全局影响分数,最后与原始输入的全局特征点乘,输出带有权重影响分数的全局特征patch。
6.根据权利要求5所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(6)具体方法如下:
将带有权重影响分数的全局特征patch作为全局分类器的输入,全局分类器通过两个卷积层进行特征提取,再经过一层全局平均池化进行特征加强后,通过一个全连接层,全连接层输出所有特征信息后经过softmax层获取全局特征patch对应所有分类的概率分数,即分类概率p。
7.根据权利要求6所述的一种基于多模态数据的AD图像预测与分类方法,其特征在于,步骤(7)具体方法如下;
首先获取医院数据中的MRI图像以及PET图像两种模态数据作为训练数据集,并按照当前的74脑区模型提取分割数据,将图像处理成具有相同尺寸的单个脑区域图像作为AD图像预测与分类网络模型的输入;设定batch-size为4,损失函数为交叉损失函数,训练轮次为100轮。
CN202310662519.5A 2023-06-06 2023-06-06 一种基于多模态数据的ad图像预测与分类方法 Pending CN116580248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310662519.5A CN116580248A (zh) 2023-06-06 2023-06-06 一种基于多模态数据的ad图像预测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310662519.5A CN116580248A (zh) 2023-06-06 2023-06-06 一种基于多模态数据的ad图像预测与分类方法

Publications (1)

Publication Number Publication Date
CN116580248A true CN116580248A (zh) 2023-08-11

Family

ID=87534076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310662519.5A Pending CN116580248A (zh) 2023-06-06 2023-06-06 一种基于多模态数据的ad图像预测与分类方法

Country Status (1)

Country Link
CN (1) CN116580248A (zh)

Similar Documents

Publication Publication Date Title
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN107492071B (zh) 医学图像处理方法及设备
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
CN112348785B (zh) 一种癫痫病灶定位方法及系统
CN110613483B (zh) 一种基于机器学习检测胎儿颅脑异常的系统
CN112465058A (zh) 改进GoogLeNet神经网络下多模态医学图像分类方法
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN112950644A (zh) 基于深度学习的新生儿大脑图像分割方法及模型构建方法
CN107590806B (zh) 一种基于大脑医学成像的检测方法和系统
CN117218453B (zh) 一种不完备多模态医学影像学习方法
CN117352164A (zh) 基于人工智能的多模态肿瘤检测诊断平台及其处理方法
CN116597214A (zh) 基于多模态超图注意网络的阿尔茨海默症分类方法及系统
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
CN116580248A (zh) 一种基于多模态数据的ad图像预测与分类方法
CN115063351A (zh) 一种基于深度学习的胎儿mri脑组织分割方法及装置
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey
Zhang et al. Multimodal 2.5 D Convolutional Neural Network for Diagnosis of Alzheimer's Disease with Magnetic Resonance Imaging and Positron Emission Tomography.
CN114419309A (zh) 一种基于大脑T1-w磁共振影像的高维特征自动提取方法
CN114331996A (zh) 基于自编码解码器的医学影像分型方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination