CN116030308A - 基于图卷积神经网络的多模态医学图像分类方法及系统 - Google Patents
基于图卷积神经网络的多模态医学图像分类方法及系统 Download PDFInfo
- Publication number
- CN116030308A CN116030308A CN202310125868.3A CN202310125868A CN116030308A CN 116030308 A CN116030308 A CN 116030308A CN 202310125868 A CN202310125868 A CN 202310125868A CN 116030308 A CN116030308 A CN 116030308A
- Authority
- CN
- China
- Prior art keywords
- graph
- features
- feature
- modal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 43
- 238000002591 computed tomography Methods 0.000 claims abstract description 30
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 239000003550 marker Substances 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000005096 rolling process Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000000551 statistical hypothesis test Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 208000013076 thyroid tumor Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法及系统,涉及智能图像处理技术领域。包括步骤:对第一模态的核磁共振图像,使用深度学习网络进行全局特征提取,并利用弱注意力学习思想,获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入,进行分割并添加位置嵌入得到包含有位置信息的第二模态特征;然后将第二模态特征与获取的第一模态特征相结合输入进图卷积神经网络得到局部特征,充分利用节点特征和节点与节点之间局部结构关系实现特征融合;最终,将全局特征与局部特征拼接实现分类。本发明方法考虑了多模态图像间的相关性,在分类的精确度上有一定的优势。
Description
技术领域
本发明涉及智能图像处理技术领域,尤其涉及一种基于图卷积神经网络的多模态医学图像分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
现在用于实验的医学数据集并不是很庞大,因此研究者们提出各种数据增强的方法来扩大数据集。主要对图像形状、位置、大小进行改变,这使在图像分类上有所提高,但存在后期过拟合现象。由于描述医学图像的数据种类越来越丰富,基于单图像的深度学习方法不能合理利用大量细粒度特征和高噪声中的有用信息。因此,如何减少过拟合现象并把不同模态的图像特征相贯穿,使其保留原始图像的特征以及如何弥补单模态图像的缺陷成为亟待解决的问题。
为此,在研究医学图像时,有人提出了一种基于分层全卷积网络模型,通过联合学习多尺度特征融合来定位疾病相关区域并给予判断。随后又利用非子采样剪切变换域实现基于局部数据模糊集和修正拉普拉斯的多模态医学融合方法,结果表明在视觉特征上对边缘和轮廓检测有很大的优势。同时,巩睿针对发病率较高的甲状腺肿瘤采用分类器融合的方法,将不同类别的复合加权方式运用到非贝叶斯融合框架上,提高了肿瘤分类的正确性。还将应用扩展到脑部,多模态的影响数据可从不同时空角度对大脑信息进行描述。阳洁等人构建了基于大脑数据的多模态特征选择模型,利用结构空间模态距离约束来测试对象两种模态的最优分类效果。以上这些方法考虑了多模态的优势,但没有结合医学图像以及图像间的联系的特性,这仍然是医学图像分类领域中的挑战。
目前医学图像分类依旧是计算机辅助诊断领域的一个重要研究方向,该技术通过处理医学影像为医生提供辅助诊断分析,从而提高准确率。在机器学习方法中,医学图像的分类需要依赖人工经验进行预先计算判断,这很难脱离人为处理;加上由于医学图像具有低分辨率、少标记、小数据集的特点,适用于大型数据集的学习方法很难达到最优效果。除此之外,单一图像会丢失分辨率低的隐藏特征或噪声高但信息丰富的突出特征,忽略了在一种疾病上多图像的联系性,因此影响了医学图像的分类效果。
发明内容
针对现有技术存在的不足,本发明的目的是提供一种基于图卷积神经网络的多模态医学图像分类方法及系统,考虑单图像全局与局部间的关联性以及多图像间的相关互补性,建立图卷积神经网络模型对多模态医学图像进行分类,相比于现有的图像分类模型具有更高的稳定性和鲁棒性。
为了实现上述目的,本发明是通过如下的技术方案来实现:
本发明第一方面提供了一种基于图卷积神经网络的多模态医学图像分类方法,包括以下步骤:
获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;
将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;
利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
将全局特征和局部特征拼接,输出最后的分类结果。
进一步的,对核磁共振图像进行全局图像提取获得全局特征的具体步骤为:先使用深度学习网络提取初步全局图像特征,后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
更进一步的,基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征的具体步骤为:
对标记图进行特征的弱监督学习获得标记图的特征;
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征;
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征,获得初步第一模态特征;
池化获得的初步第一模态特征得到最终的第一模态特征。
更进一步的,对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为:对初步全局图像特征进行注意规则化获得注意力图,利用注意力图代表某一对象区域,使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
更进一步的,对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为:通过定位注意力图来预测对象边界框,定义阈值并分割出前景,找到前景像素的边界框,得到注意力图中关键权重的位置标注,将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
进一步的,将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征的具体步骤为:
对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数,将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征;
使用统计显著性检验来选择区域,选择体素强度作为对象进行分块,正电子发射计算机断层显像图像根据区域分块添加位置信息;
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征。
进一步的,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为:使用典型相关分析计算不同模态特征间的相似性,以此来确定特征与特征间的联系,之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络,利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化;然后采用傅里叶变换思想设计汇集算子实现图池化,从而获得最终的局部特征。
更进一步的,图粗化和图池化的具体过程为:根据第一模态特征和第二模态特征,及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示,后采用相关性联系将节点表示转换成图表示,完成图粗化过程;在池化过程中使用基于图傅里叶变换的池化算子,充分利用特征信息联系进行汇集,完成图池化过程。
进一步的,先对全局特征进行最大池化,后对局部特征进行平均池化,再将全局特征和局部特征拼接获得分类结果。
本发明第二方面提供了一种基于图卷积神经网络的多模态医学图像分类系统,包括:
全局特征模块,被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
第一模态特征模块,被配置为对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;
第二模态特征模块,被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;
局部特征模块,被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
特征拼接模块,被配置为将全局特征和局部特征拼接,输出最后的分类结果。
以上一个或多个技术方案存在以下有益效果:
本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法。首先,对第一模态的核磁共振图像,使用深度学习网络进行全局特征提取,并以组间比较获取局部相关区域特征,利用弱注意力学习思想,把获取的注意力图进行正则化嵌入到提取的特征中,获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入,进行分割并添加位置嵌入得到包含有位置信息的第二模态特征;然后与获取的第一模态特征相结合得到局部特征,利用模态所携带的互补信息来构建图卷积神经网络,设计汇聚层以便实现图池化,这充分利用节点特征和节点与节点之间局部结构关系实现特征融合;最终,将全局特征与局部特征拼接实现分类。与目前先进的医学图像分类相比较,本发明方法考虑了多模态图像间的相关性,在分类的精确度上有一定的优势。
本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法,考虑单图像全局与局部间的关联性以及多图像间的相关互补性,建立图卷积神经网络模型对多模态医学图像进行分类,相比于现有的图像分类模型具有更高的稳定性和鲁棒性。另外经过消融实验验证得到,本发明加入弱注意学习模块和多模态图卷积模块的模型的分类结果准确度与基线模型相比有较大提升,因此本发明的多模态医学图像分类方法能够得到更优的分类结果。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例一中基于图卷积神经网络的多模态图像分类方法的结构框架图;
图2为本发明实施例一中对图像标记图进行弱注意力学习的结构框架图;
图3为本发明实施例一中图卷积网络模型结构图;
图4为本发明实施例一中结合全局特征和局部特征进行分类的结构图;
图5为本发明实施例一中使用实验数据集测试基于图卷积神经网络的多模态图像分类学习框架分类有效性的效果图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合;
名词解释:
MRI:核磁共振图像,MRI为Magnetic Resonance Imaging的缩写。
PET:正电子发射计算机断层显像图像,PET为PositronEmission ComputedTomography的缩写。
BAP:注意力汇集,BAP为BilinearAttention Pooling的缩写。
RBM:受限玻尔兹曼机,RBM为RestrictedBoltzmann Machine的缩写。
CCA:典型相关分析,CCA为Canonical CorrelationAnalysis的缩写。
实施例一:
受到细粒度图像分析的启发,本发明提出一种基于图卷积神经网络的多模态医学图像分类方法。该方法考虑了单图像全局与局部间的关联性以及多图像间的相关互补性。主要采用的方法:弱注意力学习,补丁提取和多图像图卷积网络模型。如图1所示,基于图卷积神经网络的多模态图像分类方法的结构框架由5部分组成:全局图像提取模块,注意力学习,局部特征提取,多模态图卷积模块和分类模块。其中,全局特征提取模块中用ResNet-152网络实现特征提取,并将提取后的特征通过注意力机制输入全连接层,输出的结果与多模态图卷积模块输出的结果一起输入分类模块进行分类。局部特征提取包含两部分:结合注意力学习的组间感兴趣区域提取和补丁提取。由MRI图像获得标记图后,标记图结合ResNet-152网络提取特征后的输出作为输入进行注意力学习。PET图像作为补丁提取的输入,输出的结果与注意力学习的输出结果一起输入多模态图像卷积模块。多模态图卷积模块是依据模态相关性确定节点间的联系性,从公共空间中获得能进行图分类的详细特征信息。具体步骤如下:
基于图卷积神经网络的多模态医学图像分类方法,包括以下步骤:
步骤1,获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征。
先使用深度学习网络提取初步全局图像特征,后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。本实施例中,深度学习网络采用ResNet-152网络。
具体步骤为:通过对核磁共振图像进行不同区域上的分配权重,得到注意掩码。主要利用1x1核卷积对核磁共振图像进行过滤,后通过softmax函数学习权重大小,从而实现权重分配。最终把计算出的注意掩码与初步全局图像特征相乘,得出的结果与初步全局图像特征相加作为全连接层FC的输入,其公式为:
其中,,,,为最终获得的全局特征,为初步全局图像特征,其中f为标识符,无实际含义;为注意掩码,M=14、N=14,M与N在本实施例中均为特征提取的维度,L在本实施例中均为全局特征的维度,经过全连接层后特征的维度由三维降为二维,即从M×N×2048变为L×2048,利用i表示第i个特征,则i在进入全连接层前i=1,2,3……M,进入全连接层后i=1,2,3……L。为全连接层的输入,可以将分布式特征表示映射到样本标记空间。在全文中标识为矩阵标识符。
步骤2,对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;对标记图进行注意力学习,是获取高准确率的重要过程之一。因此,基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征。
采用组间比较选择具有统计学差异的区域得到体素值改变的位置的集合,称为P值图,根据P值图获得标记图的具体过程为:对每幅图像对应的变化场计算行列式图像,图像中每一个体素值即表示体积变化情况,因此,对图像进行体素表面的组间差异进行检测,便可得到P值图,P表示统计学采用统计学差异的方法得到的差异概率,在本实施例中P表示差异导致的体素值改变的位置。为了勾画出形态结构差异较大的区域,根据P值图,选择以P为圆心,半径为20mm的区域,获得标记图。根据P值图获得标记图时,为避免区域之间的重叠,设定了空间欧式距离阈值来控制区域间的距离,距离设为18mm。为了能提取出最具差异性的区域特征,减少冗余,因此根据P值排序选择出前5-8个特征点的位置区域构成P值图。
基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征的具体步骤为:
1)对标记图进行特征的弱监督学习获得标记图的特征,其中f为标识符,无实际含义:对初步全局图像特征进行注意规则化获得注意力图,利用注意力图代表某一对象区域,使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
2)对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征:通过定位注意力图来预测对象边界框,定义阈值并分割出前景,找到前景像素的边界框,得到注意力图中关键权重的位置标注,将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
更为具体的,首先对初步全局图像特征进行注意规则化获得注意力图,利用注意力图代表某一对象区域,使用惩罚函数计算标注图中区域特征的方差从而实现弱监督。本实施例中,注意力规则化过程采用正则化思想,通过正则化损失函数进行最优参数的选择,正则化损失函数如公式(2)所示:
3)通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征,获得初步第一模态特征,如图2所示,将注意力图的局部特征图进行分裂,生成特征标注图,并进行位置嵌入,结合局部特征函数进一步提取具有典型的特征,获得初步第一模态特征:
步骤3,局部补丁提取操作:将正电子发射计算机断层显像图像输入经过高斯约束的RBM得到第二模态特征。
具体的,对高斯约束的RBM进行预训练得到优化后的模型参数,将正电子发射计算机断层显像图像输入预训练后的RBM得到包含有位置信息的初步第二模态特征;
使用统计显著性检验来选择区域,选择体素强度作为对象进行分块,正电子发射计算机断层显像图像根据区域分块添加位置信息;
添加位置信息后与初步第二模态特征进行拼接获得最终的第二模态特征P'。
RBM是无向图模型,包括可见层,隐藏层h,两层间的连接权重W和偏重a,b。分块区域的体素强度作为可见层输入,其中,t表示可见层内第t个特征,特征间的学习复杂关系作为隐藏层输入,其中,k表示隐藏层内投射后的第k个特征。对于一组状态给出了能量函数定义,其公式为:
其中,为能量函数,d是可见层特征总数,s为隐藏层特征总数,是RBM参数,为可见层与隐藏层的连接权重,为医学图像可见层第t个特征的标准差,为可见层的偏重,为隐藏层的偏重,RBM参数确定时,可通过能量函数求得联合概率密度分布,具体公式如下:
通过以上算法取得最优的参数数据,实现RBM预训练过程,将正电子发射计算机断层显像图像输入进预训练后的RBM得到初步第二模态特征。最后,在初步第二模态特征中嵌入位置信息后再经过FC进行归一化得到最终的包含有位置信息的第二模态特征,,为第二模态特征中第j个特征矩阵,j表示第二模态特征中的第j个特征,j=1,2,3……K。K在本实施例中均表示为第二模态特征的维度。
步骤4,利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征。具体的,使用典型相关分析计算不同模态特征间的相似性,以此来确定特征与特征间的联系,之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络,利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化;然后采用傅里叶变换思想设计汇集算子实现图池化,从而获得最终的局部特征。
为充分利用多模态相关互补性信息,本实施例使用带有池化的图卷积网络模型应用到分类中,图卷积网络模型结构如图3所示。
首先,根据第一模态特征和第二模态特征,及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示,后采用相关性联系将节点表示转换成图表示,完成图粗化过程。在池化过程中使用基于图傅里叶变换的池化算子,充分利用特征信息联系进行汇集,期望变换后能最大程度上保留原始特征的重要相关信息,完成图池化过程。
在公式中,为第一模态特征的位置编码,L为第一模态特征的维度数;为第二模态特征的位置编码,K为第二模态特征的维度数,,D=2048。使用CCA对进入图卷积前的数据Min实现成簇配对,计算模态特征间的相关性大小。在本实施例中,将第一模态特征与二模态特征中的特征向量相互遍历,保证每个特征连接,得到特征群簇。采用一组配对计算CCA算法相关性大小,具体公式(12)所示。
其中,为相关性表示,为协方差公式,表示与间的协方差,表示与的协方差,表示与的协方差,且,表示第一模态特征中第i个特征矩阵,为第二模态特征中第j个特征矩阵,是语义匹配下的第一模态特征的特征向量,是语义匹配下的特征向量,并计算拉格朗日系数获得最大值。
采用相关性联系将节点表示转换成图表示的具体过程为:设转换成的图表示为G,G由n个连通子图组成,因此记为,其中n为连通子图的个数,n为自然数。对于图G,选择相关性大于0.7的特征点作为子图节点,特征点的连接作为子图的边。从而获得图的节点总数c和节点表,特征矩阵和邻接矩阵。具体公式表示如下:
其中为在处的元素,且是子图在节点表中第i处的元素。该公式提供了原始图通过CCA算法得到的节点关系,并添入到连通子图中。为了能获得整图G的图信号,定义一维特征图信号,通过计算诱导信号并向上采样得到整个图G的图信号x,为。这保证了子图内节点的不变,和定义了无相关节点的值设为0。由此可知,可诱导得出子图的邻接矩阵A (n) ,值为。并汇总子图内部边组成邻接矩阵为,其中,T为矩阵的转置;计算得出子图间邻接矩阵,以此得到粗化图G'。
为了能够在语义空间中获取图结构和图信号信息,本实施例采用图傅里叶变换思想设计汇集算子实现池化,操作如下所示:
其中D是对角矩阵,表示子图的拉普拉斯矩阵表示第个拉普拉斯矩阵,=1,2,3……max。由于连通子图内节点数不同导致特征向量不同,因此本实施例选择特征向量的最大值数max。表示上采样取到整个图的特征向量。最后将不同的池运算信息汇集到一起,获得池化结果局部特征且,为局部特征中的一种,=1,2,3……max。
步骤5,分类过程:将全局特征和局部特征拼接输入softmax函数,输出最后的分类结果。
先对全局特征进行最大池化,后对局部特征进行平均池化,再拼接输入到Softmax函数获得分类结果。
通过以CT(电子计算机断层扫描仪器)和CR(计算机X线成像)图像作为模型输入,使用Dense-121模型、VGG-16模型、ResNet-50模型和ViT网络模型方法得出ROC曲线趋势。如图5所示,图中ROC曲线与x轴围起来的面积占x与y轴整体面积的百分比统称为AUC(AreaUnder Curve),图表显示分别得出AUC的值为:采用CR和Dense-121模型的AUC值为75%,采用CT和GCC-16模型的AUC值为85%,采用CT和ResNet-50模型的AUC值为89%和采用CR和ViT模型的AUC值为94%。而采用CR和CT两种图像并使用MB-pGCN框架得出的AUC值为98%,经过对比显示本发明的方法的准确性,这也充分说明多图像间的相关性对分类的有效性。
实施例二:
本发明实施例二提供了一种基于图卷积神经网络的多模态医学图像分类系统,包括:
全局特征模块,被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
第一模态特征模块,被配置为对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;
第二模态特征模块,被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;
局部特征模块,被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
特征拼接模块,被配置为将全局特征和局部特征拼接,输出最后的分类结果。
以上实施例二中涉及的各步骤与方法实施例一相对应,具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于图卷积神经网络的多模态医学图像分类方法,其特征在于,包括以下步骤:
获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;
将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;
利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
将全局特征和局部特征拼接,输出最后的分类结果。
2.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对核磁共振图像进行全局图像提取获得全局特征的具体步骤为:先使用深度学习网络提取初步全局图像特征,后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
3.如权利要求2所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征的具体步骤为:
对标记图进行特征的弱监督学习获得标记图的特征;
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征;
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征,获得初步第一模态特征;
池化获得的初步第一模态特征得到最终的第一模态特征。
4.如权利要求3所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为:对初步全局图像特征进行注意规则化获得注意力图,利用注意力图代表某一对象区域,使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
5.如权利要求4所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为:通过定位注意力图来预测对象边界框,定义阈值并分割出前景,找到前景像素的边界框,得到注意力图中关键权重的位置标注,将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
6.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征的具体步骤为:
对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数,将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征;
使用统计显著性检验来选择区域,选择体素强度作为对象进行分块,正电子发射计算机断层显像图像根据区域分块添加位置信息;
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征。
7.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为:使用典型相关分析计算不同模态特征间的相似性,以此来确定特征与特征间的联系,之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络,利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化;然后采用傅里叶变换思想设计汇集算子实现图池化,从而获得最终的局部特征。
8.如权利要求7所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,图粗化和图池化的具体过程为:根据第一模态特征和第二模态特征,及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示,后采用相关性联系将节点表示转换成图表示,完成图粗化过程;在池化过程中使用基于图傅里叶变换的池化算子,充分利用特征信息联系进行汇集,完成图池化过程。
9.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,先对全局特征进行最大池化,后对局部特征进行平均池化,再将全局特征和局部特征拼接获得分类结果。
10.基于图卷积神经网络的多模态医学图像分类系统,其特征在于,包括:
全局特征模块,被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
第一模态特征模块,被配置为对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;
第二模态特征模块,被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;
局部特征模块,被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
特征拼接模块,被配置为将全局特征和局部特征拼接,输出最后的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310125868.3A CN116030308B (zh) | 2023-02-17 | 2023-02-17 | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310125868.3A CN116030308B (zh) | 2023-02-17 | 2023-02-17 | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116030308A true CN116030308A (zh) | 2023-04-28 |
CN116030308B CN116030308B (zh) | 2023-06-09 |
Family
ID=86081190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310125868.3A Active CN116030308B (zh) | 2023-02-17 | 2023-02-17 | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116030308B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342582A (zh) * | 2023-05-11 | 2023-06-27 | 湖南工商大学 | 基于可变形注意力机制的医学图像分类方法与医疗设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465058A (zh) * | 2020-12-07 | 2021-03-09 | 中国计量大学 | 改进GoogLeNet神经网络下多模态医学图像分类方法 |
CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
US20220019867A1 (en) * | 2020-07-14 | 2022-01-20 | International Business Machines Corporation | Weighted deep fusion architecture |
CN114299006A (zh) * | 2021-12-24 | 2022-04-08 | 南京航空航天大学 | 一种联合图对比学习的自适应多通道图卷积网络 |
CN114972742A (zh) * | 2021-02-16 | 2022-08-30 | 辉达公司 | 使用神经网络执行对象检测、实例分割和来自包围盒监督的语义对应关系 |
CN115136203A (zh) * | 2020-09-14 | 2022-09-30 | 辉达公司 | 使用一个或更多个神经网络生成合成图像的标签 |
CN115147600A (zh) * | 2022-06-17 | 2022-10-04 | 浙江中医药大学 | 基于分类器权重转换器的gbm多模态mr图像分割方法 |
CN115205306A (zh) * | 2022-08-02 | 2022-10-18 | 吉林建筑大学 | 一种基于图卷积的医疗图像分割方法 |
CN115222688A (zh) * | 2022-07-12 | 2022-10-21 | 广东技术师范大学 | 基于图网络时间序列的医学影像分类方法 |
CN115294029A (zh) * | 2022-07-11 | 2022-11-04 | 华南农业大学 | 一种面向多模态图像的脑部病灶区域定位系统和方法 |
CN115578384A (zh) * | 2022-11-30 | 2023-01-06 | 长春工业大学 | 基于全局和局部特征融合的UNet脑肿瘤图像分割算法 |
CN115578387A (zh) * | 2022-12-06 | 2023-01-06 | 中南大学 | 一种基于多模态的阿尔茨海默症医学图像分类方法及系统 |
-
2023
- 2023-02-17 CN CN202310125868.3A patent/CN116030308B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
US20220019867A1 (en) * | 2020-07-14 | 2022-01-20 | International Business Machines Corporation | Weighted deep fusion architecture |
CN115136203A (zh) * | 2020-09-14 | 2022-09-30 | 辉达公司 | 使用一个或更多个神经网络生成合成图像的标签 |
CN112465058A (zh) * | 2020-12-07 | 2021-03-09 | 中国计量大学 | 改进GoogLeNet神经网络下多模态医学图像分类方法 |
CN114972742A (zh) * | 2021-02-16 | 2022-08-30 | 辉达公司 | 使用神经网络执行对象检测、实例分割和来自包围盒监督的语义对应关系 |
CN114299006A (zh) * | 2021-12-24 | 2022-04-08 | 南京航空航天大学 | 一种联合图对比学习的自适应多通道图卷积网络 |
CN115147600A (zh) * | 2022-06-17 | 2022-10-04 | 浙江中医药大学 | 基于分类器权重转换器的gbm多模态mr图像分割方法 |
CN115294029A (zh) * | 2022-07-11 | 2022-11-04 | 华南农业大学 | 一种面向多模态图像的脑部病灶区域定位系统和方法 |
CN115222688A (zh) * | 2022-07-12 | 2022-10-21 | 广东技术师范大学 | 基于图网络时间序列的医学影像分类方法 |
CN115205306A (zh) * | 2022-08-02 | 2022-10-18 | 吉林建筑大学 | 一种基于图卷积的医疗图像分割方法 |
CN115578384A (zh) * | 2022-11-30 | 2023-01-06 | 长春工业大学 | 基于全局和局部特征融合的UNet脑肿瘤图像分割算法 |
CN115578387A (zh) * | 2022-12-06 | 2023-01-06 | 中南大学 | 一种基于多模态的阿尔茨海默症医学图像分类方法及系统 |
Non-Patent Citations (3)
Title |
---|
Q. HE 等: "Multi-modal Remote Sensing Image Classification for Low Sample Size Data", 《2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, pages 1 - 6 * |
岑星星 等: "快速荧光扩散断层成像的格子玻尔兹曼前向模型", 《CHINESE JOURNAL OF MEDICAL INSTRUMENTATION》, vol. 43, no. 6, pages 391 - 396 * |
韩坤 等: "基于多模态医学图像的Alzheimer病分类方法", 《清华大学学报(自然科学版)》, vol. 60, no. 8, pages 664 - 671 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342582A (zh) * | 2023-05-11 | 2023-06-27 | 湖南工商大学 | 基于可变形注意力机制的医学图像分类方法与医疗设备 |
CN116342582B (zh) * | 2023-05-11 | 2023-08-04 | 湖南工商大学 | 基于可变形注意力机制的医学图像分类方法与医疗设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116030308B (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | GAN review: Models and medical image fusion applications | |
Wang et al. | Breast mass classification via deeply integrating the contextual information from multi-view data | |
Masood et al. | Cloud-based automated clinical decision support system for detection and diagnosis of lung cancer in chest CT | |
Cheng et al. | Automatic magnetic resonance prostate segmentation by deep learning with holistically nested networks | |
Zhang et al. | Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons | |
Kooi et al. | Classifying symmetrical differences and temporal change for the detection of malignant masses in mammography using deep neural networks | |
Xie et al. | Computer‐Aided System for the Detection of Multicategory Pulmonary Tuberculosis in Radiographs | |
Pawar et al. | LungSeg-Net: Lung field segmentation using generative adversarial network | |
Bai et al. | NHL Pathological Image Classification Based on Hierarchical Local Information and GoogLeNet‐Based Representations | |
Ahmad et al. | [Retracted] Efficient Liver Segmentation from Computed Tomography Images Using Deep Learning | |
CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
Xu et al. | Pulmonary textures classification via a multi-scale attention network | |
CN116030308B (zh) | 基于图卷积神经网络的多模态医学图像分类方法及系统 | |
Nazir et al. | Machine Learning‐Based Lung Cancer Detection Using Multiview Image Registration and Fusion | |
Hu et al. | Boundary-aware network for kidney tumor segmentation | |
Qin et al. | Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization | |
Upadhyay et al. | Semi-supervised modified-UNet for lung infection image segmentation | |
Mahapatra et al. | CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis | |
Kaur et al. | Deep CNN-based method for segmenting lung fields in digital chest radiographs | |
Zhang et al. | Mammographic mass detection by bilateral analysis based on convolution neural network | |
CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
Zhu et al. | CPSNet: a cyclic pyramid-based small lesion detection network | |
Ning et al. | Towards accurate coronary artery calcium segmentation with multi‐scale attention mechanism | |
Wu et al. | Chexnet: Combing transformer and CNN for thorax disease diagnosis from chest X-ray images | |
Zhou et al. | Image semantic segmentation with finer edges and complete parts from bounding box annotations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |