CN116030308B - 基于图卷积神经网络的多模态医学图像分类方法及系统 - Google Patents

基于图卷积神经网络的多模态医学图像分类方法及系统 Download PDF

Info

Publication number
CN116030308B
CN116030308B CN202310125868.3A CN202310125868A CN116030308B CN 116030308 B CN116030308 B CN 116030308B CN 202310125868 A CN202310125868 A CN 202310125868A CN 116030308 B CN116030308 B CN 116030308B
Authority
CN
China
Prior art keywords
features
graph
modal
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310125868.3A
Other languages
English (en)
Other versions
CN116030308A (zh
Inventor
耿玉水
林雪
程大全
赵晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310125868.3A priority Critical patent/CN116030308B/zh
Publication of CN116030308A publication Critical patent/CN116030308A/zh
Application granted granted Critical
Publication of CN116030308B publication Critical patent/CN116030308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法及系统，涉及智能图像处理技术领域。包括步骤：对第一模态的核磁共振图像，使用深度学习网络进行全局特征提取，并利用弱注意力学习思想，获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入，进行分割并添加位置嵌入得到包含有位置信息的第二模态特征；然后将第二模态特征与获取的第一模态特征相结合输入进图卷积神经网络得到局部特征，充分利用节点特征和节点与节点之间局部结构关系实现特征融合；最终，将全局特征与局部特征拼接实现分类。本发明方法考虑了多模态图像间的相关性，在分类的精确度上有一定的优势。

Description

基于图卷积神经网络的多模态医学图像分类方法及系统
技术领域
本发明涉及智能图像处理技术领域，尤其涉及一种基于图卷积神经网络的多模态医学图像分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
现在用于实验的医学数据集并不是很庞大，因此研究者们提出各种数据增强的方法来扩大数据集。主要对图像形状、位置、大小进行改变，这使在图像分类上有所提高，但存在后期过拟合现象。由于描述医学图像的数据种类越来越丰富，基于单图像的深度学习方法不能合理利用大量细粒度特征和高噪声中的有用信息。因此，如何减少过拟合现象并把不同模态的图像特征相贯穿，使其保留原始图像的特征以及如何弥补单模态图像的缺陷成为亟待解决的问题。
为此，在研究医学图像时，有人提出了一种基于分层全卷积网络模型，通过联合学习多尺度特征融合来定位疾病相关区域并给予判断。随后又利用非子采样剪切变换域实现基于局部数据模糊集和修正拉普拉斯的多模态医学融合方法，结果表明在视觉特征上对边缘和轮廓检测有很大的优势。同时，巩睿针对发病率较高的甲状腺肿瘤采用分类器融合的方法，将不同类别的复合加权方式运用到非贝叶斯融合框架上，提高了肿瘤分类的正确性。还将应用扩展到脑部，多模态的影响数据可从不同时空角度对大脑信息进行描述。阳洁等人构建了基于大脑数据的多模态特征选择模型，利用结构空间模态距离约束来测试对象两种模态的最优分类效果。以上这些方法考虑了多模态的优势，但没有结合医学图像以及图像间的联系的特性，这仍然是医学图像分类领域中的挑战。
目前医学图像分类依旧是计算机辅助诊断领域的一个重要研究方向，该技术通过处理医学影像为医生提供辅助诊断分析，从而提高准确率。在机器学习方法中，医学图像的分类需要依赖人工经验进行预先计算判断，这很难脱离人为处理；加上由于医学图像具有低分辨率、少标记、小数据集的特点，适用于大型数据集的学习方法很难达到最优效果。除此之外，单一图像会丢失分辨率低的隐藏特征或噪声高但信息丰富的突出特征，忽略了在一种疾病上多图像的联系性，因此影响了医学图像的分类效果。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种基于图卷积神经网络的多模态医学图像分类方法及系统，考虑单图像全局与局部间的关联性以及多图像间的相关互补性，建立图卷积神经网络模型对多模态医学图像进行分类，相比于现有的图像分类模型具有更高的稳定性和鲁棒性。
为了实现上述目的，本发明是通过如下的技术方案来实现：
本发明第一方面提供了一种基于图卷积神经网络的多模态医学图像分类方法，包括以下步骤：
获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；
对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；
将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；
利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；
将全局特征和局部特征拼接，输出最后的分类结果。
进一步的，对核磁共振图像进行全局图像提取获得全局特征的具体步骤为：先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
更进一步的，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：
对标记图进行特征的弱监督学习获得标记图的特征；
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；
池化获得的初步第一模态特征得到最终的第一模态特征。
更进一步的，对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
更进一步的，对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
进一步的，将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征的具体步骤为：
对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征；
使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征。
进一步的，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为：使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。
更进一步的，图粗化和图池化的具体过程为：根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程；在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，完成图池化过程。
进一步的，先对全局特征进行最大池化，后对局部特征进行平均池化，再将全局特征和局部特征拼接获得分类结果。
本发明第二方面提供了一种基于图卷积神经网络的多模态医学图像分类系统，包括：
全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；
第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；
第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；
局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；
特征拼接模块，被配置为将全局特征和局部特征拼接，输出最后的分类结果。
以上一个或多个技术方案存在以下有益效果：
本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法。首先，对第一模态的核磁共振图像，使用深度学习网络进行全局特征提取，并以组间比较获取局部相关区域特征，利用弱注意力学习思想，把获取的注意力图进行正则化嵌入到提取的特征中，获取包含有位置信息的第一模态特征。对第二模态的正电子发射计算机断层显像图像使用补丁提取方法嵌入，进行分割并添加位置嵌入得到包含有位置信息的第二模态特征；然后与获取的第一模态特征相结合得到局部特征，利用模态所携带的互补信息来构建图卷积神经网络，设计汇聚层以便实现图池化，这充分利用节点特征和节点与节点之间局部结构关系实现特征融合；最终，将全局特征与局部特征拼接实现分类。与目前先进的医学图像分类相比较，本发明方法考虑了多模态图像间的相关性，在分类的精确度上有一定的优势。
本发明公开了一种基于图卷积神经网络的多模态医学图像分类方法，考虑单图像全局与局部间的关联性以及多图像间的相关互补性，建立图卷积神经网络模型对多模态医学图像进行分类，相比于现有的图像分类模型具有更高的稳定性和鲁棒性。另外经过消融实验验证得到，本发明加入弱注意学习模块和多模态图卷积模块的模型的分类结果准确度与基线模型相比有较大提升，因此本发明的多模态医学图像分类方法能够得到更优的分类结果。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一中基于图卷积神经网络的多模态图像分类方法的结构框架图；
图2为本发明实施例一中对图像标记图进行弱注意力学习的结构框架图；
图3为本发明实施例一中图卷积网络模型结构图；
图4为本发明实施例一中结合全局特征和局部特征进行分类的结构图；
图5为本发明实施例一中使用实验数据集测试基于图卷积神经网络的多模态图像分类学习框架分类有效性的效果图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
名词解释：
MRI：核磁共振图像，MRI为Magnetic Resonance Imaging的缩写。
PET：正电子发射计算机断层显像图像，PET为PositronEmission ComputedTomography的缩写。
BAP：注意力汇集，BAP为BilinearAttention Pooling的缩写。
RBM：受限玻尔兹曼机，RBM为RestrictedBoltzmann Machine的缩写。
CCA：典型相关分析，CCA为Canonical CorrelationAnalysis的缩写。
实施例一：
受到细粒度图像分析的启发，本发明提出一种基于图卷积神经网络的多模态医学图像分类方法。该方法考虑了单图像全局与局部间的关联性以及多图像间的相关互补性。主要采用的方法：弱注意力学习，补丁提取和多图像图卷积网络模型。如图1所示，基于图卷积神经网络的多模态图像分类方法的结构框架由5部分组成：全局图像提取模块，注意力学习，局部特征提取，多模态图卷积模块和分类模块。其中，全局特征提取模块中用ResNet-152网络实现特征提取，并将提取后的特征通过注意力机制输入全连接层，输出的结果与多模态图卷积模块输出的结果一起输入分类模块进行分类。局部特征提取包含两部分：结合注意力学习的组间感兴趣区域提取和补丁提取。由MRI图像获得标记图后，标记图结合ResNet-152网络提取特征后的输出作为输入进行注意力学习。PET图像作为补丁提取的输入，输出的结果与注意力学习的输出结果一起输入多模态图像卷积模块。多模态图卷积模块是依据模态相关性确定节点间的联系性，从公共空间中获得能进行图分类的详细特征信息。具体步骤如下：
基于图卷积神经网络的多模态医学图像分类方法，包括以下步骤：
步骤1，获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征。
先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。本实施例中，深度学习网络采用ResNet-152网络。
具体的，使用了预训练的ResNet-152网络来进行特征提取，获取初步全局图像特征，提取的初步全局图像特征表示为
Figure SMS_1
。由于全局特征的可微性，因此利用了一种软注意力机制获得具有描述性的特征信息。
具体步骤为：通过对核磁共振图像进行不同区域上的分配权重，得到注意掩码
Figure SMS_2
。主要利用1x1核卷积对核磁共振图像进行过滤，后通过softmax函数学习权重大小，从而实现权重分配。最终把计算出的注意掩码与初步全局图像特征相乘，得出的结果与初步全局图像特征相加作为全连接层FC的输入，其公式为：
Figure SMS_3
（1）
其中，
Figure SMS_5
，/>
Figure SMS_8
，/>
Figure SMS_10
，/>
Figure SMS_6
为最终获得的全局特征，
Figure SMS_7
为初步全局图像特征，其中f为标识符，无实际含义；/>
Figure SMS_9
为注意掩码，M=14、N=14，M与N在本实施例中均为特征提取的维度，L在本实施例中均为全局特征的维度，经过全连接层后特征的维度由三维降为二维，即从M×N×2048变为L×2048，利用i表示第i个特征，则i在进入全连接层前i=1，2，3……M，进入全连接层后i=1，2，3……L。/>
Figure SMS_11
为全连接层的输入，可以将分布式特征表示映射到样本标记空间。/>
Figure SMS_4
在全文中标识为矩阵标识符。
步骤2，对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；对标记图进行注意力学习，是获取高准确率的重要过程之一。因此，基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征。
采用组间比较选择具有统计学差异的区域得到体素值改变的位置的集合，称为P值图，根据P值图获得标记图的具体过程为：对每幅图像对应的变化场计算行列式图像，图像中每一个体素值即表示体积变化情况，因此，对图像进行体素表面的组间差异进行检测，便可得到P值图，P表示统计学采用统计学差异的方法得到的差异概率，在本实施例中P表示差异导致的体素值改变的位置。为了勾画出形态结构差异较大的区域，根据P值图，选择以P为圆心，半径为20mm的区域，获得标记图。根据P值图获得标记图时，为避免区域之间的重叠，设定了空间欧式距离阈值来控制区域间的距离，距离设为18mm。为了能提取出最具差异性的区域特征，减少冗余，因此根据P值排序选择出前5-8个特征点的位置区域构成P值图。
基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征的具体步骤为：
1）对标记图进行特征的弱监督学习获得标记图的特征
Figure SMS_12
，其中f为标识符，无实际含义：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征/>
Figure SMS_13
。/>
2）对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
更为具体的，首先对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而实现弱监督。本实施例中，注意力规则化过程采用正则化思想，通过正则化损失函数进行最优参数的选择，正则化损失函数如公式（2）所示：
Figure SMS_14
（2）
其中，
Figure SMS_15
为正则化损失，/>
Figure SMS_16
为核磁共振图像中第i个特征区域，/>
Figure SMS_17
是第i个特征的特征中心，i=1，2，3……M，i表示第i个特征。算法通过初始化和移动平均来更新参数率值，如公式（3）所示：
Figure SMS_18
（3）
其中，β为更新参数率值，
Figure SMS_19
是第i+1个特征区域的特征中心。
完成注意力规则化后，为了能够预测区域在整个物体的位置，通过定位注意力图来预测对象边界框，定义阈值ω分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注
Figure SMS_20
。
最终，将具有位置标注的正则化注意力图
Figure SMS_21
与标记图的特征进行点积得到标记图关键区域特征/>
Figure SMS_22
，如公式（4）所示：
Figure SMS_23
Figure SMS_24
（4）
在公式中，
Figure SMS_25
为注意力图，/>
Figure SMS_26
代表注意正则化后注意力图内的分支，A、a为标识符，无实际意义，i=1，2，3……M,⊙表示两个特征张量的相乘，/>
Figure SMS_27
表示第i个特征的位置标注。
3）通过添加局部特征函数
Figure SMS_28
对标记图关键区域特征/>
Figure SMS_29
进一步提取具有典型的特征，获得初步第一模态特征，如图2所示，将注意力图的局部特征图进行分裂，生成特征标注图，并进行位置嵌入，结合局部特征函数/>
Figure SMS_30
进一步提取具有典型的特征，获得初步第一模态特征/>
Figure SMS_31
：
Figure SMS_32
（5）
4）池化获得的初步第一模态特征，串联带有位置标注
Figure SMS_33
的初步特征矩阵后得到包含位置信息和特征信息的融合矩阵/>
Figure SMS_34
，V即为最终的第一模态特征，
Figure SMS_35
，/>
Figure SMS_36
表示第一模态特征中第i个特征矩阵，/>
Figure SMS_37
具体公式如下：/>
Figure SMS_38
（6），
其中，
Figure SMS_39
表示注意力图中的特征和标记图中特征的汇集。
步骤3，局部补丁提取操作：将正电子发射计算机断层显像图像输入经过高斯约束的RBM得到第二模态特征。
具体的，对高斯约束的RBM进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的RBM得到包含有位置信息的初步第二模态特征；
使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；
添加位置信息后与初步第二模态特征进行拼接获得最终的第二模态特征P＇。
RBM是无向图模型，包括可见层
Figure SMS_40
，隐藏层h，两层间的连接权重W和偏重a，b。分块区域的体素强度作为可见层输入/>
Figure SMS_41
，其中，t表示可见层内第t个特征，特征间的学习复杂关系作为隐藏层输入/>
Figure SMS_42
，其中，k表示隐藏层内投射后的第k个特征。对于一组状态/>
Figure SMS_43
给出了能量函数定义，其公式为：
Figure SMS_44
（7）
其中，
Figure SMS_45
为能量函数，d是可见层特征总数，s为隐藏层特征总数，
Figure SMS_46
是RBM参数，/>
Figure SMS_47
为可见层与隐藏层的连接权重，/>
Figure SMS_48
为医学图像可见层第t个特征的标准差，/>
Figure SMS_49
为可见层的偏重，/>
Figure SMS_50
为隐藏层的偏重，RBM参数确定时，可通过能量函数求得联合概率密度分布，具体公式如下：
Figure SMS_51
（8）
其中，
Figure SMS_52
表示联合概率密度分布，/>
Figure SMS_53
表示为归一化因子即所有可能情况下的能量和。针对特征学习过程，只考虑可见层的分布/>
Figure SMS_54
，即在权值训练好的情况下能正确识别出内容概率的分布，具体公式如下：
Figure SMS_55
（9）
为了能够通过训练得到更准确的RBM参数
Figure SMS_56
，根据RBM各单元状态间条件独立计算可见层单元和隐藏层单元的激活函数，具体公式如下：
Figure SMS_57
（10）
通过以上算法取得最优的参数数据
Figure SMS_58
，实现RBM预训练过程，将正电子发射计算机断层显像图像输入进预训练后的RBM得到初步第二模态特征。最后，在初步第二模态特征中嵌入位置信息后再经过FC进行归一化得到最终的包含有位置信息的第二模态特征
Figure SMS_59
，/>
Figure SMS_60
，/>
Figure SMS_61
为第二模态特征中第j个特征矩阵，j表示第二模态特征中的第j个特征，j=1，2，3……K。K在本实施例中均表示为第二模态特征的维度。
步骤4，利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征。具体的，使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。
为充分利用多模态相关互补性信息，本实施例使用带有池化的图卷积网络模型应用到分类中，图卷积网络模型结构如图3所示。
首先，根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程。在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，期望变换后能最大程度上保留原始特征的重要相关信息，完成图池化过程。
为了能实现多模态融合卷积，把第一模态特征
Figure SMS_62
和第二模态特征
Figure SMS_63
作为初始化节点特征的输入，并与位置信息中包含的位置编码bbox组合在一起，描述为：
Figure SMS_64
（11）
在公式中，
Figure SMS_65
为第一模态特征的位置编码，L为第一模态特征的维度数；/>
Figure SMS_66
为第二模态特征的位置编码，K为第二模态特征的维度数，/>
Figure SMS_67
，D=2048。使用CCA对进入图卷积前的数据Min实现成簇配对，计算模态特征间的相关性大小。在本实施例中，将第一模态特征与二模态特征中的特征向量相互遍历，保证每个特征连接，得到特征群簇/>
Figure SMS_68
。采用一组配对计算CCA算法相关性大小，具体公式(12)所示。
Figure SMS_69
（12）
其中，
Figure SMS_81
为相关性表示，/>
Figure SMS_75
为协方差公式，/>
Figure SMS_84
表示/>
Figure SMS_77
与/>
Figure SMS_80
间的协方差，/>
Figure SMS_85
表示
Figure SMS_87
与/>
Figure SMS_74
的协方差，/>
Figure SMS_86
表示/>
Figure SMS_70
与/>
Figure SMS_78
的协方差，且/>
Figure SMS_71
，/>
Figure SMS_82
表示第一模态特征中第i个特征矩阵，/>
Figure SMS_73
为第二模态特征中第j个特征矩阵，/>
Figure SMS_79
是/>
Figure SMS_72
语义匹配下的第一模态特征的特征向量，/>
Figure SMS_83
是/>
Figure SMS_76
语义匹配下的特征向量，并计算拉格朗日系数获得最大值。
采用相关性联系将节点表示转换成图表示的具体过程为：设转换成的图表示为G，G由n个连通子图
Figure SMS_88
组成，因此记为/>
Figure SMS_89
，其中n为连通子图的个数，n为自然数。对于图G，选择相关性/>
Figure SMS_90
大于0.7的特征点作为子图节点，特征点的连接作为子图的边。从而获得图的节点总数c和节点表/>
Figure SMS_91
，特征矩阵/>
Figure SMS_92
和邻接矩阵/>
Figure SMS_93
。具体公式表示如下：
Figure SMS_94
（13）
其中
Figure SMS_96
为在/>
Figure SMS_100
处的元素，且/>
Figure SMS_102
是子图在节点表中第i处的元素。该公式提供了原始图通过CCA算法得到的节点关系，并添入到连通子图中。为了能获得整图G的图信号，定义一维特征图信号/>
Figure SMS_97
，通过计算诱导信号并向上采样得到整个图G的图信号x，为/>
Figure SMS_99
。这保证了子图内节点的不变，和定义了无相关节点的值设为0。由此可知，可诱导得出子图的邻接矩阵A (n) ，值为/>
Figure SMS_101
。并汇总子图内部边组成邻接矩阵/>
Figure SMS_103
为/>
Figure SMS_95
，其中，T为矩阵的转置；计算/>
Figure SMS_98
得出子图间邻接矩阵，以此得到粗化图G＇。
为了能够在语义空间中获取图结构和图信号信息，本实施例采用图傅里叶变换思想设计汇集算子实现池化，操作如下所示：
Figure SMS_104
（14）
其中D是对角矩阵，
Figure SMS_106
表示子图的拉普拉斯矩阵
Figure SMS_109
表示第/>
Figure SMS_112
个拉普拉斯矩阵，/>
Figure SMS_107
=1，2，3……max。由于连通子图内节点数不同导致特征向量不同，因此本实施例选择特征向量的最大值数max。/>
Figure SMS_110
表示上采样取到整个图的特征向量。最后将不同的池运算信息汇集到一起，获得池化结果局部特征
Figure SMS_113
且/>
Figure SMS_114
，/>
Figure SMS_105
为局部特征/>
Figure SMS_108
中的一种，/>
Figure SMS_111
=1，2，3……max。
步骤5，分类过程：将全局特征和局部特征拼接输入softmax函数，输出最后的分类结果。
先对全局特征进行最大池化，后对局部特征进行平均池化，再拼接输入到Softmax函数获得分类结果。
在分类过程中将联系全局特征和局部特征。先对全局特征
Figure SMS_115
进行最大池化，后对局部特征/>
Figure SMS_116
实现平均池化的公式为：
Figure SMS_117
（15）
最后，把所获得的最大池化后的结果
Figure SMS_118
、平均池化后的结果
Figure SMS_119
拼接用作全连接层和softmax函数的输入：/>
Figure SMS_120
，并输出分类结果，如图4所示。/>
通过以CT（电子计算机断层扫描仪器）和CR（计算机X线成像）图像作为模型输入，使用Dense-121模型、VGG-16模型、ResNet-50模型和ViT网络模型方法得出ROC曲线趋势。如图5所示，图中ROC曲线与x轴围起来的面积占x与y轴整体面积的百分比统称为AUC（AreaUnder Curve），图表显示分别得出AUC的值为：采用CR和Dense-121模型的AUC值为75%，采用CT和GCC-16模型的AUC值为85%，采用CT和ResNet-50模型的AUC值为89%和采用CR和ViT模型的AUC值为94%。而采用CR和CT两种图像并使用MB-pGCN框架得出的AUC值为98%，经过对比显示本发明的方法的准确性，这也充分说明多图像间的相关性对分类的有效性。
实施例二：
本发明实施例二提供了一种基于图卷积神经网络的多模态医学图像分类系统，包括：
全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；
第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；
第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；
局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；
特征拼接模块，被配置为将全局特征和局部特征拼接，输出最后的分类结果。
以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于图卷积神经网络的多模态医学图像分类方法，其特征在于，包括以下步骤：
获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；
对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；具体步骤为：对标记图进行特征的弱监督学习获得标记图的特征；
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；
池化获得的初步第一模态特征得到最终的第一模态特征；
将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；具体步骤为：
对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征；
使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征；
利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；
将全局特征和局部特征拼接，输出最后的分类结果。
2.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对核磁共振图像进行全局图像提取获得全局特征的具体步骤为：先使用深度学习网络提取初步全局图像特征，后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
3.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为：对初步全局图像特征进行注意规则化获得注意力图，利用注意力图代表某一对象区域，使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
4.如权利要求3所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为：通过定位注意力图来预测对象边界框，定义阈值并分割出前景，找到前景像素的边界框，得到注意力图中关键权重的位置标注，将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
5.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为：使用典型相关分析计算不同模态特征间的相似性，以此来确定特征与特征间的联系，之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络，利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化；然后采用傅里叶变换思想设计汇集算子实现图池化，从而获得最终的局部特征。
6.如权利要求5所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，图粗化和图池化的具体过程为：根据第一模态特征和第二模态特征，及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示，后采用相关性联系将节点表示转换成图表示，完成图粗化过程；在池化过程中使用基于图傅里叶变换的池化算子，充分利用特征信息联系进行汇集，完成图池化过程。
7.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法，其特征在于，先对全局特征进行最大池化，后对局部特征进行平均池化，再将全局特征和局部特征拼接获得分类结果。
8.基于图卷积神经网络的多模态医学图像分类系统，其特征在于，包括：
全局特征模块，被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像；对核磁共振图像进行全局图像提取获得全局特征；
第一模态特征模块，被配置为对核磁共振图像进行分割处理，采用组间比较选择具有统计学差异的区域得到P值图，根据P值图获得标记图；基于弱监督学习和位置信息嵌入对标记图进行注意力学习，得到标记图中的包含有位置信息的第一模态特征；具体步骤为：对标记图进行特征的弱监督学习获得标记图的特征；
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征；
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征，获得初步第一模态特征；
池化获得的初步第一模态特征得到最终的第一模态特征；
第二模态特征模块，被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征；具体步骤为：
对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数，将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征；
使用统计显著性检验来选择区域，选择体素强度作为对象进行分块，正电子发射计算机断层显像图像根据区域分块添加位置信息；
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征；
局部特征模块，被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络，将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征；
特征拼接模块，被配置为将全局特征和局部特征拼接，输出最后的分类结果。
CN202310125868.3A 2023-02-17 2023-02-17 基于图卷积神经网络的多模态医学图像分类方法及系统 Active CN116030308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310125868.3A CN116030308B (zh) 2023-02-17 2023-02-17 基于图卷积神经网络的多模态医学图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310125868.3A CN116030308B (zh) 2023-02-17 2023-02-17 基于图卷积神经网络的多模态医学图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN116030308A CN116030308A (zh) 2023-04-28
CN116030308B true CN116030308B (zh) 2023-06-09

Family

ID=86081190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310125868.3A Active CN116030308B (zh) 2023-02-17 2023-02-17 基于图卷积神经网络的多模态医学图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN116030308B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342582B (zh) * 2023-05-11 2023-08-04 湖南工商大学 基于可变形注意力机制的医学图像分类方法与医疗设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205306A (zh) * 2022-08-02 2022-10-18 吉林建筑大学 一种基于图卷积的医疗图像分割方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210383538A1 (en) * 2018-07-30 2021-12-09 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
US20220019867A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Weighted deep fusion architecture
US20220083807A1 (en) * 2020-09-14 2022-03-17 Nvidia Corporation Generating labels for synthetic images using one or more neural networks
CN112465058A (zh) * 2020-12-07 2021-03-09 中国计量大学 改进GoogLeNet神经网络下多模态医学图像分类方法
US20220261593A1 (en) * 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision
CN114299006A (zh) * 2021-12-24 2022-04-08 南京航空航天大学 一种联合图对比学习的自适应多通道图卷积网络
CN115147600A (zh) * 2022-06-17 2022-10-04 浙江中医药大学 基于分类器权重转换器的gbm多模态mr图像分割方法
CN115294029A (zh) * 2022-07-11 2022-11-04 华南农业大学 一种面向多模态图像的脑部病灶区域定位系统和方法
CN115222688B (zh) * 2022-07-12 2023-01-10 广东技术师范大学 基于图网络时间序列的医学影像分类方法
CN115578384A (zh) * 2022-11-30 2023-01-06 长春工业大学 基于全局和局部特征融合的UNet脑肿瘤图像分割算法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205306A (zh) * 2022-08-02 2022-10-18 吉林建筑大学 一种基于图卷积的医疗图像分割方法

Also Published As

Publication number Publication date
CN116030308A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Wang et al. Breast mass classification via deeply integrating the contextual information from multi-view data
Zhou et al. GAN review: Models and medical image fusion applications
Cheng et al. Automatic magnetic resonance prostate segmentation by deep learning with holistically nested networks
Zhang et al. Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons
Xu et al. Texture-specific bag of visual words model and spatial cone matching-based method for the retrieval of focal liver lesions using multiphase contrast-enhanced CT images
Pawar et al. LungSeg-Net: Lung field segmentation using generative adversarial network
Xia et al. Md-net: multi-scale dilated convolution network for CT images segmentation
Ahmad et al. [Retracted] Efficient Liver Segmentation from Computed Tomography Images Using Deep Learning
Liu et al. IOUC-3DSFCNN: Segmentation of brain tumors via IOU constraint 3D symmetric full convolution network with multimodal auto-context
Qadri et al. Vertebrae segmentation via stacked sparse autoencoder from computed tomography images
Kiran et al. Chest X-ray segmentation using Sauvola thresholding and Gaussian derivatives responses
CN116030308B (zh) 基于图卷积神经网络的多模态医学图像分类方法及系统
Liu et al. 3d tomographic pattern synthesis for enhancing the quantification of covid-19
Gao et al. Multi-label deep regression and unordered pooling for holistic interstitial lung disease pattern detection
Xu et al. Pulmonary textures classification via a multi-scale attention network
Hu et al. Boundary-aware network for kidney tumor segmentation
Huang et al. Graph-bas3net: Boundary-aware semi-supervised segmentation network with bilateral graph convolution
Mahapatra et al. CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis
Zhu et al. Random local binary pattern based label learning for multi-atlas segmentation
Qin et al. Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
Sharma et al. DRI-UNet: dense residual-inception UNet for nuclei identification in microscopy cell images
Zhang et al. Mammographic mass detection by bilateral analysis based on convolution neural network
Upadhyay et al. Semi-supervised modified-UNet for lung infection image segmentation
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant