CN117218453B - 一种不完备多模态医学影像学习方法 - Google Patents
一种不完备多模态医学影像学习方法 Download PDFInfo
- Publication number
- CN117218453B CN117218453B CN202311463225.6A CN202311463225A CN117218453B CN 117218453 B CN117218453 B CN 117218453B CN 202311463225 A CN202311463225 A CN 202311463225A CN 117218453 B CN117218453 B CN 117218453B
- Authority
- CN
- China
- Prior art keywords
- mode
- network
- characteristic
- data
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012512 characterization method Methods 0.000 claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000001502 supplementing effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 28
- 201000010099 disease Diseases 0.000 claims description 21
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 18
- 210000004556 brain Anatomy 0.000 claims description 17
- 230000000295 complement effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005481 NMR spectroscopy Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 4
- 230000007786 learning performance Effects 0.000 abstract description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 21
- 238000002595 magnetic resonance imaging Methods 0.000 description 14
- 238000002598 diffusion tensor imaging Methods 0.000 description 11
- 208000024827 Alzheimer disease Diseases 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000004770 neurodegeneration Effects 0.000 description 3
- 208000015122 neurodegenerative disease Diseases 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000003169 complementation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000027061 mild cognitive impairment Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000006371 metabolic abnormality Effects 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000004693 neuron damage Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于不完备多模态医学影像的学习方法，包括步骤为：第一步，对待处理多模态影像数据进行预处理；第二步，在训练阶段，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取；第三步，构建跨模态表征模块，通过跨模态表征补全缺失模态的特性特征；第四步，构建多模态融合和分类模块，输入多层感知机网络中进行分类；第五步，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果。本发明可以在部分影像模态缺失情况下，充分有效挖掘已有多模态影像数据的有用信息，提升跨模态学习性能，提高多模态影像数据分析的鲁棒性和准确性。
Description
技术领域
本发明涉及面向不完备多模态影像数据的学习分类方法，具体涉及一种基于不完备多模态影像数据学习的网络模型。
背景技术
磁共振成像（Magnetic Resonance Imaging，MRI）是目前在神经退行性疾病研究及临床试验中应用最广泛的成像技术，包含多种模态的成像序列，能够呈现大脑解剖结构和功能代谢异常等多模态信息的变化。多模态医学影像可以相互补充，从不同角度反映大脑的结构、功能和代谢变化，可以进一步提升对疾病的预测准确率。但是，在临床数据采集中，由于不同MRI模态数据同时采集所需时间相对较长，对病人的耐受性要求较高，使得临床采集的MRI模态数据相对较少，不能获得多模态融合算法所需的完整模态数据。现有多模态学习方法采用的数据通常是模态齐全的数据，并没有考虑到模态缺失问题。如何在部分影像模态缺失情况下，充分有效挖掘已有多模态影像数据的有用信息，实现对多模态影像数据的合理利用，提高多模态影像数据分析的鲁棒性和准确性，是多模态数据分析中需要解决的重要问题。本发明主要涉及一种基于不完备多模态MRI影像数据学习的神经网络。
在很多临床数据采集过程中，由于扫描成本、扫描时间有限和安全考虑等多种原因，某些模态数据，例如功能磁共振成像（functional Magnetic Resonance Imaging）、弥散张量成像（Diffusion Tensor Imaging, DTI）、磁敏感成像（QuantitativeSusceptibility Mapping，QSM）等并不会作为常规临床序列进行采集，这就导致了临床数据中的模态缺失问题。同时，在疾病的不同病程阶段，不同模态数据所起作用不同。例如，对于存在神经退行性疾病的患者，脑功能改变一般早于脑结构变化，即fMRI数据体现的脑区间功能连接异常可以有助于疾病的早期识别，而结构磁共振数据所反映的脑结构变化往往在疾病中晚期才会体现。在模态缺失情况下，实现对已有模态数据信息的充分利用，需要解决模态缺失情况下的跨模态学习问题。现有跨模态合成技术往往基于一种模态图像合成特定模态的图像，例如生成对抗网络已被开发用于从源域/模态到目标域/模态的图像转换。这类方法往往侧重于缺失模态图像的生成，对于医学影像缺乏可解释性。对于核磁共振成像，fMRI数据、DTI数据和QSM数据与T1结构数据在图像上呈现较大的异质性特点，如何同时提取多模态数据中的共性特征和特性特征是实现跨模态融合学习的关键。其中，共性特征是指不同模态之间所具备的共性特征，即对神经退行性疾病所存在的神经元损伤、认知退化等共性特征的反映。特性特征是指只存在于单个模态中的特有信息，这些特殊的功能或结构信息不能被其他模态所捕捉，在不同病程中所起作用不同。在医学影像数据分析中，共性特征可以增强模型的鲁棒性和泛化能力，而特性特征可以利用不同模态的互补信息，增强模型对特定问题的解决能力，实现对缺失模态特征的有效表征。
因此，本发明面向部分MRI影像模态缺失情况下，充分有效挖掘已有多模态数据的有用信息，提升跨模态学习性能，进一步探索对缺失模态的跨模态表征和多模态融合方法，实现对存在缺失模态情况下的多模态影像数据的合理利用，提高多模态影像分析的鲁棒性和准确性。
发明内容
本发明的目的在于基于不完备多模态磁共振影像数据，构建跨模态特征表征和多模态融合模型，实现对多模态影像数据已有模态共性特征、特性特征和缺失模态特性特征的学习提取和分析，充分利用已有模态信息，提高模态信息不完备情况下的多模态影像数据学习性能。
本发明是通过以下技术方案实现的，包括以下步骤：
第一步，对待处理的多模态核磁共振影像数据，采用通用医学影像预处理软件进行预处理操作，获得多模态影像数据的预处理结果和各种参数图；
第二步，在训练阶段，基于预处理后的多模态影像数据，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取。具体如下：
（1）对多模态三维影像数据，沿三维影像的冠状位、矢状位、横断位三个方向，将每个方向的所有切片进行累加，转换成人脑三个方向的二维图像，将其作为特征提取网络的三通道输入；
（2）数据增强：对于每个样本的N个模态数据，在每个批次中，用颜色抖动、高斯模糊两种数据增强方法为每个模态样本生成两个变换视图，N个模态数据共可获得2N个视图；
（3）有监督对比学习网络：有监督对比学习网络包括两个分支网络，即一条在线网络和一条目标网络，正负样本分别作为在线网络和目标网络的输入，两条网络均包含特征提取网络和投影模块两部分。其中，对于不同模态共性特征的提取，同疾病类别的所有模态样本之间为正样本，不同患病状态之间互为正负样本；对于不同模态特性特征的提取，同疾病类别同模态内的样本为正样本，其他情况为负样本。
特征提取网络的编码器：该编码器是采用添加注意力模块的多尺度ResNet-34网络，其包含三个输入通道、32个卷积层和2个全连接层，将原始ResNet-34网络的3×3卷积核替换为1×1、3×3、5×5卷积核和3×3的池化层构成多尺度残差模块，在网络中嵌入注意力机制模块，通过对所有输入注意力模块的特征进行3×3卷积对特征重新加权，提高网络对关键特征的关注。
投影模块：该投影模块是由两个全连接层组成的神经网络，其中第一个全连接层的输出维度为256，第二个全连接层的输出维度为128。在投影后的表示空间中，将相似样本的距离尽可能地靠近，不相似样本的距离尽可能地远离。
对比学习损失：在构建对比学习网络损失函数时，基于共性特征和特性特征的定义，分别训练两个不同的对比学习网络，两个网络的结构相同，对于共性特征，通过标签设定同疾病类别之间为正样本，其余为负样本。而对于特性特征，通过标签设定同疾病类别同模态之间为正样本，其余为负样本。通过不同的标签，使得对比学习损失函数优化不同的特征学习。经过投影模块和L2 正则化之后，得到两个向量和/>，使用余弦相似度来衡量这两个特征向量的相似性，基于标签信息和交叉熵函数来计算有监督学习对比损失，其函数如下：
（1）
其中，N是每个batch中的样本数，是每个batch中标签同为/>的样本总数，/>和/>代表样本索引，/>为温度参数；/>和/>是属于同一类的样本的投影向量，/>是不同类别的投影向量，/>，/>和/>分别对应第i，第j和第k个样本；/>是一个指示函数，当且仅当i=j时取0，否则为1，用于避免同一个向量的内积；/>是一个指示函数，当且仅当i=j时取1，否则为0，用于确保/>和是同一类的投影向量；/>是一个指示函数，当且仅当i=k时取0，否则为1，用于确保不属于/>和/>的类。
第三步，在训练阶段，构建跨模态表征模块，对于缺失的模态数据，通过跨模态表征补全缺失模态的特性特征。具体如下：
（1）跨模态表征模块由两部分组成，包括特征提取器和跨模态表征网络。其中特征提取器是预训练好的对比学习特征提取网络，用于从原始图像中提取各个模态的特性特征；跨模态表征网络包括一个混合融合模块和一个特征表征网络，利用提取的已有模态的特性特征，对缺失模态的特性特征进行跨模态表征。
（2）混合融合模块：采用逐元素求和、逐元素乘积和逐元素最大化三种策略将多个模态的特性特征融合到一起，表示如下：
（2）
其中，/> 为已知模态，/>为特性特征提取网络,“+”、“×”和“Max”分别表示逐元素求和、逐元素乘积和逐元素最大化操作。将它们组合为。
(3) 跨模态表征网络：特征表征网络包括两个卷积层和两个ReLU激活层。每个卷积层都使用3x3的卷积核，输入通道和输出通道都为512，并使用填充操作以保持输入和输出的大小一致。通过卷积层组合映射得到缺失模态的特性特征，表示如下：
（3）
其中，为缺失模态；/>代表已知模态，/>为已知模态个数，/>是特性特征提取网络，/>为跨模态表征网络。
第四步，在训练阶段，构建多模态融合和分类模块，对已提取的共性特征、特性特征和补全特性特征进行多模态融合，得到最终的多模态表征，最后输入多层感知机网络中进行分类，完成模型训练。具体如下：
（1）多模态融合模块：将多模态数据的共性特征、特性特征和缺失模态的补全特性特征进行融合，得到融合后的特征表示为：
， （4）
其中，每个样本的多模态共性特征表示为所有模态共性特征/>的加权和：
， （5）
每个样本的特性特征 表示为已有模态特性特征/>和缺失模态特性特征/>的串联：
， （6）
其中，代表第i个已知模态，/> 表示缺失模态，/>表示已知模态数量，/>为总模态数量，/>表示已知各模态共性特征的加权系数，/>为共性特征提取网络，/> 为特性特征提取网络。
(2)分类模块：预测器由两个隐藏层和一个输出层组成，每个隐藏层都遵循ReLU函数和批量归一化层，输出层是一个密集层，有1个神经元，后跟sigmoid函数，最终得到预测结果。
第五步，在测试阶段，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果。具体如下：
（1）将测试集数据的不同模态数据分别进行预处理；
（2）将预处理后的多模态数据分别输入已训练的共性特征和特性特征提取网络，提取多模态数据的共性和特性特征；
（3）对缺失的模态数据，采用已训练的跨模态表征网络进行特征补全，得到缺失模态的特性特征；
（4）将已提取的共性特征、特性特征和缺失模态特性特征进行多模态融合，输入到已训练的多层感知机网络进行分类，完成测试，获得最终的预测结果。
与现有技术相比，本发明的有益效果是：
（1）本发明提出了基于不完备多模态磁共振成像数据学习的神经网络方法，主要包括已有多模态医学图像共性特征、特性特征的提取模块、缺失模态特性特征的跨模态表征模块、多模态融合和分类模块。该网络能够在部分影像模态缺失情况下，实现对已有多模态影像数据的合理利用，提高多模态影像诊断的鲁棒性和准确性。
（2）提出了基于有监督对比学习的多尺度注意力残差网络多模态共性特征和特性特征提取网络，实现对多模态特征的有效提取。
（3）提出了跨模态表征学习模块，实现了基于已有模态数据对缺失模态特性特征的跨模态表征。
（4）为了提高网络学习的效果，构建了多模态融合和分类模块，充分利用不完备多模态影像的共性特征、特性特征和补全特性特征，有效提高了网络对不完备多模态影像学习的有效性。
附图说明
图1为本发明不完备多模态医学影像学习算法框图。
图2为本发明模型中有监督对比学习特征提取网络结构图。
图3为本发明模型中的跨模态表征网络模型示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。
本发明以磁共振成像(Magnetic Resonance Imaging, MRI)数据为应用对象，对具有阿尔茨海默病（Alzheimer’s Disease，AD）、具有轻度认知障碍（Mild CognitiveImpairment，MCI）和正常（Normal Control，NC）样本的MRI数据进行学习和分类。本实验数据选用T1加权数据，DTI 数据和 fMRI 三种模态数据。实验中使用的数据来源于公开数据集阿尔茨海默病神经影像计划（Alzheimer’s Disease Neuroimaging Initiative，ADNI）和北京大学第三医院。其中，北京大学第三医院的数据包含149名AD患者，95名MCI患者和102名NC，其平均年龄分别为72.57、73.97和69.16，其平均MMSE评分分别为17.97、27.16和28.54；来自ADNI的数据包含42名AD患者，65名MCI患者和65名NC，其平均年龄分别为73.36、78.35和81.25，AD数据的MMSE评分全部缺失，MCI和NC数据的平均MMSE评分分别为27.14和28.94。本实验中对两个数据集所有训练数据和测试数据进行了五折交叉随机实验，即每次选择80%的个体数据作为训练，其余作为测试，重复五次取平均值作为最终结果。
如图1所示，本发明基于不完备多模态影像数据学习的网络模型的实施例流程如下：
第一步，对待处理的多模态核磁共振影像数据，采用通用医学影像预处理软件进行预处理操作，获得多模态影像数据的预处理结果和各种参数图。在本实施例中，具体操作如下：
首先，在本实施例中，使用运行在Matlab平台下的Spm8工具对每个样本T1加权数据进行处理，包括去除头骨，保留脑组织，将脑组织图像分割为灰质、白质和脑脊液，以蒙特利尔神经研究所（Montreal Neurological Institute，MNI）大脑模板中的T1标准图像为模板，将图像对齐到标准空间。
然后，使用运行在Linux系统下的FSL工具对每个样本DTI数据进行处理。首先，提取出b0图像，并进行颅骨剥离。使用合成算法生成一张合成b0图像，利用原始b0图像和合成b0图像进行Topup矫正。使用FSL的Eddy工具将其它所有原始DTI 图像与b0图像对齐以矫正数据采集时被试的头部运动和涡流畸变。使用 FSL 的Dtifit模块在受试者大脑中的每个体素处进行扩散张量拟合，并计算各向异性分数（Fractional Anisotraphy，FA）、平均扩散率（Mean Diffusivity，MD）、轴向扩散率（Axial Diffusivity，AxD）和径向扩散率（RadialDiffusivity，RD）参数图。通过在FSL中实现的TBSS (Trac-Based Spatial Statistics)算法将所有单个FA图像均与标准空间中的FMRIB58_FA模板非线性对齐。随后再将对齐的转化矩阵应用到MD、AxD和RD参数图上，达到对齐配准的目的。
最后，使用运行在Matlab软件上的脑成像数据处理和分析的工具箱（DPABI）中提供的静息态fMRI数据处理助手（DPARSF）对每个样本fMRI数据进行处理，包括去除前10个成像时间点，切片时间矫正，头部运动校正，空间平滑，带通滤波（0.01-0.08Hz），MNI空间归一化，计算低频波动振幅（Amplitude of Low Frequency Fluctuation，ALFF）和局部一致性（Regional Homogeneity，ReHo）参数图。采用MNI空间下的AAL模板，从每个受试者的fMRI数据中获得90个大脑区域的平均BOLD时间序列，计算两两大脑区域的平均BOLD时间序列之间的皮尔森相关系数得到脑区间功能连接性。
第二步，在训练阶段，基于预处理后的多模态影像数据，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取。在本实施例中，具体操作如下：
（1）构建有监督对比学习网络，其包括两个分支网络，即一条在线网络和一条目标网络，正负样本分别作为在线网络和目标网络的输入，两条网络均包含特征提取网络和投影模块两部分，如图2所示。其中，对于不同模态共性特征的提取，同疾病类别的所有模态样本之间为正样本，不同患病状态之间互为正负样本；对于不同模态特性特征的提取，同疾病类别同模态内的样本为正样本，其他情况为负样本。选择Adam作为优化器，以批尺寸16、L2正则化率0.001、学习率0.006训练1000轮。
特征提取网络的编码器：该编码器是采用添加注意力模块的多尺度ResNet-34网络，其包含三个输入通道、32个卷积层和2个全连接层，将原始ResNet-34网络的3×3卷积核替换为1×1、3×3、5×5卷积核和3×3的池化层构成多尺度残差模块，在网络中嵌入注意力机制模块，通过对所有输入注意力模块的特征进行3×3卷积对特征重新加权，提高网络对关键特征的关注。
投影模块：该投影模块是由两个全连接层组成的神经网络，其中第一个全连接层的输出维度为256，第二个全连接层的输出维度为128。在投影后的表示空间中，将相似样本的距离尽可能地靠近，不相似样本的距离尽可能地远离。
对比学习损失：在构建对比学习网络损失函数时，基于共性特征和特性特征的定义，分别训练两个不同的对比学习网络，两个网络的结构相同，对于共性特征，通过标签设定同疾病类别之间为正样本，其余为负样本。而对于特性特征，通过标签设定同疾病类别同模态之间为正样本，其余为负样本。通过不同的标签，使得对比学习损失函数优化不同的特征学习。经过投影模块和L2正则化之后，得到两个向量和/>，使用余弦相似度来衡量这两个特征向量的相似性，基于标签信息和交叉熵函数来计算有监督学习对比损失，其函数如下：
（1）
其中，N是每个batch中的样本数，是每个batch中标签同为/>的样本总数，/>和/>代表样本索引，/>为温度参数；/>和/>是属于同一类的样本的投影向量，/>是不同类别的投影向量，/>，/>和/>分别对应第i，第j和第k个样本；/>是一个指示函数，当且仅当i=j时取0，否则为1，用于避免同一个向量的内积；/>是一个指示函数，当且仅当i=j时取1，否则为0，用于确保/>和/>是同一类的投影向量；/>是一个指示函数，当且仅当i=k时取0，否则为1，用于确保不属于/>和/>的类。
（2）对多模态三维影像数据，沿三维影像的冠状位、矢状位、横断位三个方向，将每个方向的所有切片进行累加，转换成人脑三个方向的二维图像，将其作为特征提取网络的三通道输入。其中，T1模态采用灰质特征，fMRI模态采用ALFF参数图，DTI采用FA参数图。
（3）对于每个样本的3个模态数据，在每个批次中，用颜色抖动、高斯模糊两种数据增强方法为每个模态样本生成两个变换视图，3个模态数据共可获得6个视图。
第三步，在训练阶段，构建跨模态表征模块，对于缺失的模态数据，通过跨模态表征补全缺失模态的特性特征。在本实施例中，具体操作如下：
（1）跨模态表征模块由两部分组成，包括特征提取器和跨模态表征网络，如附图3所示。其中特征提取器是预训练好的对比学习特征提取网络，用于从原始图像中提取各个模态的特性特征；跨模态表征网络包括一个混合融合模块和一个特征表征网络，利用提取的已有模态的特性特征，对缺失模态的特性特征进行跨模态表征。对于跨模态表征网络的训练，其中，选择Adam作为优化器，丢弃率0.1、L2正则化率0.0002、学习率0.001训练100轮。
（2）混合融合模块：采用逐元素求和、逐元素乘积和逐元素最大化三种策略将多个模态的特性特征融合到一起，表示如下：
（2）
其中，/> 为已知模态，/>为特性特征提取网络,“+”、“×”和“Max”分别表示逐元素求和、逐元素乘积和逐元素最大化操作。将它们组合为。
(3)跨模态表征网络：特征表征网络包括两个卷积层和两个ReLU激活层。每个卷积层都使用3x3的卷积核，输入通道和输出通道都为512，并使用填充操作以保持输入和输出的大小一致。通过卷积层组合映射得到缺失模态的特性特征，表示如下：
（3）
其中，为缺失模态；/>代表已知模态，/>为已知模态个数，/>是特性特征提取网络，/>为跨模态表征网络。
第四步，在训练阶段，构建多模态融合和分类模块，对已提取的共性特征、特性特征和补全特性特征进行多模态融合，得到最终的多模态表征，最后输入多层感知机网络中进行分类，完成模型训练。在本实施例中，具体操作如下：
（1）多模态融合模块：将多模态数据的共性特征、特性特征和缺失模态的补全特性特征进行融合，得到融合后的特征表示为：
， （4）
其中，每个样本的多模态共性特征表示为所有模态共性特征/>的加权和：
， （5）
每个样本的特性特征 表示为已有模态特性特征/>和缺失模态特性特征/>的串联：
， （6）
其中，代表第i个已知模态，/> 表示缺失模态，/>表示已知模态数量，/>为总模态数量，/>表示已知各模态共性特征的加权系数，/>为共性特征提取网络， 为特性特征提取网络。
（2）分类模块：预测器由两个隐藏层和一个输出层组成，每个隐藏层都遵循ReLU函数和批量归一化层。输出层是一个密集层，有1个神经元，后跟sigmoid函数，最终得到预测结果。
（3）在训练过程中，设置batch size为16，使用Adam作为优化器，初始学习率为0.0001，并且每50个epoch衰减0.5倍。使用BCELoss作为损失函数。训练的停止条件设置为200个epochs。
第五步，在测试阶段，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果。在本实施例中，具体操作如下：
（1）将测试集数据的不同模态数据分别进行预处理；
（2）将预处理后的多模态数据，即将测试集数据T1加权数据分割得到的灰质图像、DTI数据所得到的FA参数图、fMRI数据所得到的ALFF图，一起分别输入共性和特性特征提取网络中，提取多模态数据的共性和特性特征；
（3）对缺失的模态数据，将对应测试集DTI数据得到的FA参数图和T1数据得到的灰质图像输入到跨模态表征网络中，采用已训练的跨模态表征网络进行特征补全，完成缺失fMRI模态特征的补全，得到缺失模态的特性特征；
（4）将已提取的共性特征、特性特征和缺失模态特性特征进行多模态融合，输入到已训练的多层感知机网络进行分类，完成测试，获得最终的预测结果。
本实施例中，所用系统为Ubuntu18.04系统，GPU配置为NVIDIA GeForce 3090×4，开发软件环境为Python 3.6的服务器。本发明的所有实验中进行五折交叉验证实验，分析本发明所提方法在多模态MRI数据上的测试效果。同时，为了分析本发明所提方法的鲁棒性，在鲁棒性验证实验中选择北京大学第三医院数据集作为训练集、ADNI数据集作为验证集进行10次蒙特卡洛随机实验。
首先，本实施例对本发明方法在模态缺失情况下进行早期认知损失MCI识别中的有效性进行分析。在早期MCI诊断中，fMRI模态可以反映大脑早期的功能变化，但是临床上很少采集。在所有MCI样本中，假定20%MCI样本的的fMRI模态缺失，各模态数据对应样本构成如表1所示：
表1 各模态数据对应样本构成 （%）
从表2的识别结果可知，功能模态比结构模态更能反映患者早期的病变，同时补全后的fMRI模态（mix-fMRI）分类效果比单独用T1的效果要好，证明了所提出跨模态表征模块的有效性。最后，同时使用T1和fMRI 两种模态（T1+fMRI和T1+mix-fMRI）效果比单一模态的好，也证明了多模态融合分类模块的有效性。且采用补全后的多模态数据识别性能要明显高于只存在单一T1模态的识别性能，进一步说明了跨模态补全模块和多模态融合模块的有效性。
表2 本发明方法在MCI与NC分类的结果 （%）
其次，对本发明方法提取特征和补全特征的有效性进行分析。从表3可知，对比学习网络提取的特征（SSIM-1）和模态补全特征（SSIM-3）都与原始BOLD信号表征的脑区功能连接性具有较大的相似性，说明了对比学习网络在提取特征方面具有较高的有效性，所提特征可以有效反映脑区间的功能连接关系。同时，模态补全后的特征与原始模态提取特征构成的功能连接矩阵具有较高的相似性（SSIM-2），反映了跨模态特征表征的有效性，进一步证实了对比学习网络在处理不同模态数据时的鲁棒性和泛化能力。
表3 脑区间功能连接矩阵的相似性计算
然后，将本发明所提方法与其他现有方法进行对比分析，如表4所示。为了验证模型基于不完备模态时跨模态表征的有效性和对AD识别的有效性，基于T1、DTI和fMRI三种模态，对20%样本的fMRI模态进行补全，然后进行多模态融合分类任务，与目前各种先进方法进行比较，所有对比方法均采用相同的实验环境、训练和测试数据。MM-Syns、Hi-Net和CACR-Net这三种方法都只是模态补全方法，没有涉及对特定疾病的分类，这里基于补全后的模态进行分类实验。其中，MM-Syns模型将各输入模态映射至共享的特征空间中，将这些模态不变的潜在表示整合为一个融合表示；Hi-Net采用模态特定网络学习每个模态的表示，采用融合网络学习多模态数据的通用潜在表示；CACR-Net使用一种置信度引导聚合模块，用于有效利用互补的模态特征。从表4可见，在相同的实验环境下，对比其他模态补全方法，本发明方法在模态补全之后具有最高的预测精度，并在敏感度、特异性、F1 和 AUC 这些指标上都表现最优，充分表明了本发明方法的有效性。
表4 本发明方法与其他方法的识别性能对比结果（%）
最后，为了验证所提出的不完全多模态方法的有效性与鲁棒性，在北医三院数据集训练提出的模型，在ADNI数据集上进行验证。为了降低训练集和测试集之间的随机误差，采用蒙特卡洛（Monte Carlo）实验设计，每次随机选取北医三院上的数据集的90% 作为训练，随机选取ADNI 数据集的90% 作为测试。两个数据集都设定为存在20%样本的fMRI模态缺失，重复10 次并取平均指标作为结果。实验结果如表5所示，与表4中模型的结果相比，两个实验的表现几乎相同。这说明所提出的模型能够基于不完备模态较好地对AD进行预测识别，同时模型具有一定的鲁棒性，可以对不同数据源的AD影像进行有效的早期识别。
表5 鲁棒性验证实验结果（%）
综合来看，本发明方法可以实现对不完备多模态影像数据特征的有效提取，实现对缺失模态特征的跨模态表征和多模态图像特征的融合，有效实现对不完备多模态MRI影像的学习和识别。
上述说明已经充分介绍了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应的，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (3)
1.一种不完备多模态医学影像学习方法，包括以下步骤：
（1.1）对待处理的多模态核磁共振影像数据，采用通用医学影像预处理软件进行预处理操作，获得多模态影像数据的预处理结果和各种参数图；
（1.2）在训练阶段，首先基于预处理后的多模态影像数据，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取；
（1.3）在训练阶段，基于（1.2）已构建对比学习特征提取网络，构建跨模态表征模块，对于缺失的模态数据，通过跨模态表征补全缺失模态的特性特征；
（1.4）在训练阶段，基于（1.2）和（1.3）已提取特征，构建多模态融合模块和分类模块，对已提取的共性特征、特性特征和补全特性特征进行多模态融合，得到最终的多模态表征，最后输入多层感知机网络中进行分类，完成模型训练；
（1.5）在测试阶段，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果；
其中，所述步骤（1.3）的构建跨模态表征模块，对于缺失的模态数据，通过跨模态表征补全缺失模态的特性特征，具体方法如下：
（3.1）跨模态表征模块由两部分组成，包括特征提取器和跨模态表征网络，其中特征提取器是预训练好的对比学习特征提取网络，用于从原始图像中提取各个模态的特性特征；跨模态表征网络包括一个混合融合模块和一个特征表征网络，利用提取的已有模态的特性特征，对缺失模态的特性特征进行跨模态表征；
（3.2）混合融合模块：采用逐元素求和、逐元素乘积和逐元素最大化三种策略将多个模态的特性特征融合到一起，表示如下：
（2）
其中，、/> 为已知模态，/> 为特性特征提取网络,“+”、“×”和“Max”分别表示逐元素求和、逐元素乘积和逐元素最大化操作，将它们组合为/>；
(3.3) 跨模态表征网络：特征表征网络包括两个卷积层和两个ReLU激活层；每个卷积层都使用3x3的卷积核，输入通道和输出通道都为512，并使用填充操作以保持输入和输出的大小一致，通过卷积层组合映射得到缺失模态的特性特征，表示如下：
（3）
其中，为缺失模态；/> 代表已知模态，/>为已知模态个数，/> 是特性特征提取网络，/>为跨模态表征网络；
所述步骤（1.4）的对已提取的共性特征、特性特征和补全特性特征进行多模态融合，得到最终的多模态表征，最后输入多层感知机网络中进行分类，完成模型训练，具体如下：
（4.1）多模态融合模块：将多模态数据的共性特征、特性特征和缺失模态的补全特性特征进行融合，得到融合后的特征表示为：
，（4）
其中，每个样本的多模态共性特征表示为所有模态共性特征/>的加权和：
，（5）
每个样本的特性特征表示为已有模态特性特征/>和缺失模态特性特征的串联：
，（6）
其中，代表第i个已知模态，/> 表示缺失模态，/>表示已知模态数量，/>为总模态数量，/>表示已知各模态共性特征的加权系数，/>为共性特征提取网络，/>为特性特征提取网络；
(4.2)分类模块：预测器由两个隐藏层和一个输出层组成，每个隐藏层都遵循ReLU函数和批量归一化层，输出层是一个密集层，有1个神经元，后跟sigmoid函数，最终得到预测结果。
2.根据权利要求1所述的一种不完备多模态医学影像学习方法，其特征在于，所述步骤（1.2）的构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取，其中共性特征能够反映不同模态所具备待分析问题相关的共性特征，特性特征能够反映存在于单个模态中的特有信息，具体方法如下：
（2.1）对多模态三维影像数据，沿三维影像的冠状位、矢状位、横断位三个方向，将每个方向的所有切片进行累加，转换成人脑三个方向的二维图像，将其作为特征提取网络的三通道输入；
（2.2）数据增强：对于每个样本的N个模态数据，在每个批次，用颜色抖动、高斯模糊两种数据增强方法为每个模态样本生成两个变换视图，N个模态数据共可获得2N个视图；
（2.3）构建有监督对比学习网络：有监督对比学习网络包括两个分支网络，即一条在线网络和一条目标网络，正负样本分别作为在线网络和目标网络的输入，两条网络均包含特征提取网络和投影模块两部分，其中，对于不同模态共性特征的提取，同疾病类别的所有模态样本之间为正样本，不同患病状态之间互为正负样本；对于不同模态特性特征的提取，同疾病类别同模态内的样本为正样本，其他情况为负样本；
特征提取网络的编码器：该编码器是采用添加注意力模块的多尺度ResNet-34网络，其包含三个输入通道、32个卷积层和2个全连接层，将原始ResNet-34网络的3×3卷积核替换为1×1、3×3、5×5卷积核和3×3的池化层构成多尺度残差模块，在网络中嵌入注意力机制模块，通过对所有输入注意力模块的特征进行3×3卷积对特征重新加权，提高网络对关键特征的关注；
投影模块：该投影模块是由两个全连接层组成的神经网络，其中第一个全连接层的输出维度为256，第二个全连接层的输出维度为128；在投影后的表示空间中，将相似样本的距离尽可能地靠近，不相似样本的距离尽可能地远离；
对比学习损失：在构建对比学习网络损失函数时，基于共性特征和特性特征的定义，分别训练两个不同的对比学习网络，两个网络的结构相同，对于共性特征，通过标签设定同疾病类别之间为正样本，其余为负样本；而对于特性特征，通过标签设定同疾病类别同模态之间为正样本，其余为负样本；通过不同的标签，使得对比学习损失函数优化不同的特征学习；经过投影模块和L2正则化之后，得到两个向量和/>，使用余弦相似度来衡量这两个特征向量的相似性，基于标签信息和交叉熵函数来计算有监督学习对比损失，其函数如下：
（1）
其中，N是每个batch中的样本数， 是每个batch中标签同为/>的样本总数，/>和/>代表样本索引，/>为温度参数；/> 和/> 是属于同一类的样本的投影向量，/>是不同类别的投影向量，/>，/>和/>分别对应第i，第j和第k个样本；/>是一个指示函数，当且仅当i=j时取0，否则为1，用于避免同一个向量的内积；/>是一个指示函数，当且仅当i=j时取1，否则为0，用于确保/>和/>是同一类的投影向量；/>是一个指示函数，当且仅当i=k时取0，否则为1，用于确保/>不属于和/>的类。
3.根据权利要求1所述的一种不完备多模态医学影像学习方法，其特征在于，所述步骤（1.5）的对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果，具体如下：
（5.1）将测试集数据的不同模态数据分别进行预处理；
（5.2）将预处理后的多模态数据分别输入已训练的共性特征和特性特征提取网络，提取多模态数据的共性和特性特征；
（5.3）对缺失的模态数据，采用已训练的跨模态表征网络进行特征补全，得到缺失模态的特性特征；
（5.4）将已提取的共性特征、特性特征和缺失模态特性特征进行多模态融合，输入到已训练的多层感知机网络进行分类，完成测试，获得最终的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311463225.6A CN117218453B (zh) | 2023-11-06 | 2023-11-06 | 一种不完备多模态医学影像学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311463225.6A CN117218453B (zh) | 2023-11-06 | 2023-11-06 | 一种不完备多模态医学影像学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218453A CN117218453A (zh) | 2023-12-12 |
| CN117218453B true CN117218453B (zh) | 2024-01-16 |
Family
ID=89039284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311463225.6A Active CN117218453B (zh) | 2023-11-06 | 2023-11-06 | 一种不完备多模态医学影像学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218453B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636074B (zh) * | 2024-01-25 | 2024-04-26 | 山东建筑大学 | 基于特征交互融合的多模态图像分类方法及系统 |
| CN118071742B (zh) * | 2024-04-19 | 2024-07-09 | 山东工商学院 | 一种基于标签引导扩散模型的特征级虚拟多模态融合方法 |
| CN118352085A (zh) * | 2024-06-14 | 2024-07-16 | 之江实验室 | 基于多时间点多模态脑影像数据的脑疾病病程预测系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111031330A (zh) * | 2019-10-29 | 2020-04-17 | 中国科学院大学 | 一种基于多模态融合的网络直播内容分析方法 |
| CN113487507A (zh) * | 2021-07-07 | 2021-10-08 | 中国计量大学 | 一种基于多模块特征聚合的双域递归网络mr重建方法 |
| CN113971209A (zh) * | 2021-12-22 | 2022-01-25 | 松立控股集团股份有限公司 | 一种基于注意力机制增强的无监督跨模态检索方法 |
| CN114390002A (zh) * | 2021-12-15 | 2022-04-22 | 南京理工大学 | 基于分组条件熵的网络流量多模块聚类异常检测方法 |
| CN114694089A (zh) * | 2022-02-28 | 2022-07-01 | 郑州大学 | 一种新型的多模态融合的行人重识别算法 |
| CN114863572A (zh) * | 2022-07-07 | 2022-08-05 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
| CN114999629A (zh) * | 2022-04-28 | 2022-09-02 | 安徽大学 | 一种基于多特征融合的ad早期预测方法、系统、装置 |
| CN115393269A (zh) * | 2022-07-13 | 2022-11-25 | 中国科学院大学 | 一种基于多模态影像数据的可扩展多层级图神经网络模型 |
| CN115393678A (zh) * | 2022-08-01 | 2022-11-25 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN116089645A (zh) * | 2022-12-23 | 2023-05-09 | 北京大学 | 一种基于层次化风格的条件文本-电商图片检索方法和系统 |
| WO2023077603A1 (zh) * | 2021-11-03 | 2023-05-11 | 深圳先进技术研究院 | 一种异常脑连接预测系统、方法、装置及可读存储介质 |
| CN116109777A (zh) * | 2023-02-28 | 2023-05-12 | 华中科技大学 | 一种互补伪多模态特征系统及方法 |
| US20230316736A1 (en) * | 2022-03-16 | 2023-10-05 | Nanjing University Of Aeronautics And Astronautics | Method for feature detection of complex defects based on multimodal data |
-
2023
- 2023-11-06 CN CN202311463225.6A patent/CN117218453B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111031330A (zh) * | 2019-10-29 | 2020-04-17 | 中国科学院大学 | 一种基于多模态融合的网络直播内容分析方法 |
| CN113487507A (zh) * | 2021-07-07 | 2021-10-08 | 中国计量大学 | 一种基于多模块特征聚合的双域递归网络mr重建方法 |
| WO2023077603A1 (zh) * | 2021-11-03 | 2023-05-11 | 深圳先进技术研究院 | 一种异常脑连接预测系统、方法、装置及可读存储介质 |
| CN114390002A (zh) * | 2021-12-15 | 2022-04-22 | 南京理工大学 | 基于分组条件熵的网络流量多模块聚类异常检测方法 |
| CN113971209A (zh) * | 2021-12-22 | 2022-01-25 | 松立控股集团股份有限公司 | 一种基于注意力机制增强的无监督跨模态检索方法 |
| CN114694089A (zh) * | 2022-02-28 | 2022-07-01 | 郑州大学 | 一种新型的多模态融合的行人重识别算法 |
| US20230316736A1 (en) * | 2022-03-16 | 2023-10-05 | Nanjing University Of Aeronautics And Astronautics | Method for feature detection of complex defects based on multimodal data |
| CN114999629A (zh) * | 2022-04-28 | 2022-09-02 | 安徽大学 | 一种基于多特征融合的ad早期预测方法、系统、装置 |
| CN114863572A (zh) * | 2022-07-07 | 2022-08-05 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
| CN115393269A (zh) * | 2022-07-13 | 2022-11-25 | 中国科学院大学 | 一种基于多模态影像数据的可扩展多层级图神经网络模型 |
| CN115393678A (zh) * | 2022-08-01 | 2022-11-25 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN116089645A (zh) * | 2022-12-23 | 2023-05-09 | 北京大学 | 一种基于层次化风格的条件文本-电商图片检索方法和系统 |
| CN116109777A (zh) * | 2023-02-28 | 2023-05-12 | 华中科技大学 | 一种互补伪多模态特征系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于数据共性的鲁棒特征表示;岳金朋;史忠植;张伟;胡宏;张建华;;《高技术通讯》(第02期);全文 * |
| 基于神经影像数据的阿尔茨海默病多分类诊断模型的研究进展与挑战;葛晓燕等;《郑州大学学报(医学版)》(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218453A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A 3D densely connected convolution neural network with connection-wise attention mechanism for Alzheimer's disease classification | |
| Shahzadi et al. | CNN-LSTM: Cascaded framework for brain tumour classification | |
| Lian et al. | Multi-channel multi-scale fully convolutional network for 3D perivascular spaces segmentation in 7T MR images | |
| Shanmugam et al. | Alzheimer’s disease classification using pre-trained deep networks | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| Wu et al. | Discrimination and conversion prediction of mild cognitive impairment using convolutional neural networks | |
| Biffi et al. | Explainable anatomical shape analysis through deep hierarchical generative models | |
| CN111488914A (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| Rahim et al. | Prediction of Alzheimer's progression based on multimodal deep-learning-based fusion and visual explainability of time-series data | |
| CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| Liu et al. | An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders | |
| Khan et al. | Knowledge distillation approach towards melanoma detection | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| Han et al. | Multi-scale 3D convolution feature-based broad learning system for Alzheimer’s disease diagnosis via MRI images | |
| Pitchai et al. | Region convolutional neural network for brain tumor segmentation | |
| Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
| Qayyum et al. | Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging | |
| Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| Hcini et al. | Investigating Deep Learning for Early Detection and Decision-Making in Alzheimer’s Disease: A Comprehensive Review | |
| CN116843667A (zh) | 一种基于多任务学习的脑影像分类及脑认知评分预测方法 | |
| Yu et al. | Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net | |
| Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
| Mahapatra | Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation | |
| Fan et al. | Graph Reasoning Module for Alzheimer’s Disease Diagnosis: A Plug-and-Play Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |