CN111598864A

CN111598864A - 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法

Info

Publication number: CN111598864A
Application number: CN202010405639.3A
Authority: CN
Inventors: 贾熹滨; 孙政; 杨正汉; 杨大为
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2020-08-28
Anticipated expiration: 2040-05-14
Also published as: CN111598864B

Abstract

本发明公开了一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，首先，建立有效高维多模态影像数据的关联表示，即选择一种合适的特征提取方式对多模态MRI影像进行特征提取，同时，利用多模态MRI影像贡献度自适应加权机制，对九个模态的MRI影像进行任务贡献度学习，然后将任务贡献度学习所得的参数结果与多模态融合MRI数据经过特征提取器所得的特征进行特征层融合，最后，在网络顶端添加分类器，使用结合了贡献度的多模态MRI影像特征进行HCC分化程度的分级任务，以实现更为精准的预测。比起传统影像学诊断方法，本发明排除了主观因素的影响并同时考虑到了各个多模态MRI序列的诊断能力和贡献，从而使得到的结果更加准确和鲁棒。

Description

一种基于多模态影像贡献度融合的肝细胞癌分化评估方法

技术领域

本发明涉及医学图像技术领域，具体涉及一种基于多模态核磁影像分类贡献度自适应加权融合的肝细胞癌分化程度无创评估方法。

背景技术

肝细胞癌(Hepatocellular Cancer，HCC)是最常见的肝脏原发恶性肿瘤及全球第三大致死性癌症，它是一种由与正常肝细胞特征相似的细胞组成的上皮性肿瘤。肝硬化是HCC最重要的临床危险因素，大约有80％的肝硬化患者最终转化为肝细胞癌。

而目前国内外诊断HCC分化程度的金标准是的基于穿刺病理活检，这种方式对人体有损伤，且极具风险性，并且存在有创性、针道转移、取样误差等诸多缺陷。而在传统影像学方法中，包括超声、CT、磁共振成像等多种影像技术均已用于肝细胞癌分级的研究中，但常规的影像技术存在以下问题：

1)由于肝细胞癌分化时各种征象产生的变化非常复杂，而传统影像学方法多为定性的诊断，受影像科医生主观经验影响大，缺乏更为准确的量化评估；

2)不同模态的影像通常会反映出的不同的病理特征，其中蕴含着不同的诊断信息与对应种类的病灶区域的征象，因此不同模态的影像往往对最后分类任务的贡献程度不同，而传统影像学方法多从单一模态影像技术的角度进行研究，无法做到多维度的全面评估和不同模态的影像贡献度的充分利用。

本方法所采用的医学影像是核磁共振成像(MRI)，相比于CT、超声等医学成像方式，MRI影像检查有一个突出特点：有着多样的成像序列，这些成像序列能够采集到各具特点的MRI图像，不仅可以反映人体解剖形态，还能够反映人体血流和细胞代谢等生理功能信息。MRI具有良好的软组织分辨力，对比分辨率高，它可以清楚地分辨各类软组织结构，并准确区分脑灰质和白质。另外MRI还具有多个方位任意切层的能力(包括横轴位、冠状位、矢状位及任意斜位)。多平面多参数成像可清楚地显示病变所在的位置、区域以及和周围组织器官之间的关系，对许多病变的定性、定位和诊断有着其独特的优越性。最重要的是MRI对人体辐射损害的特性避免了其他影像学检查如X射线对人体的损害。MRI是多参数成像，根据成像参数的不同可以分为：T1加权成像(T1WI)、T2加权成像(T2WI)、T1加权同反相位成像、弥散加权成像(DWI)、灌注加权成像(PWI)等，每种参数设置都反应不同模态的医学图像，同一部位可以获得多种参数下的图像，不同参数的图像可以反映组织器官的不同特点，比如：T1WI有利于获取组织解剖结构，而T2WI可以显示组织的水分布，对出血较敏感，在确定病变范围上有重要的作用；DWI能够检测活体组织内的水分子扩散运动；磁共振动态对比增强成像(DCE-MRI)技术利用高空间分辨率、高时间分辨率及动态连续的成像方法可获取注入对比剂前后的图像，可以同时反映病灶的形态学和血流灌注信息。对于肝脏疾病的检查，通常使用T1WI、T2WI扫描和动态对比增强扫描(DCE-MRI)，其中动态增强扫描技术是肝脏特别是肝癌检查最为常规方法，为HCC的无创评估提供了可能。

深度学习(Deep learning)是机器学习中一种基于数据进行表征学习的算法。随着计算机能力的不断提高和算法的不断改进，深度学习特别是深度卷积神经网络(Convolutional neural network,CNN)已经迅速发展成为医学图像分析的研究热点。CNN的卷积结构能够自动学习医学图像数据的局部特征，还可以通过不同卷积核来提取多层次特征，其中底层特征包含更多图像的细节，而高层特征则降低了对基层特征的敏感性且包含更高级的语义信息。减少了噪音的影响，有助于提高图像分类或者分割的准确性。基于卷积神经网络的医学辅助诊断系统已成为智能医疗的主要发展方向。假定基于多模态医疗影像数据结合深度学习技术能通过人类样本学习出揭示反映HCC分化程度的影像特性和诊断模式，以临床经验作为经验知识，采取多模态MRI影像数据的贡献度自适应融合机制，实现融合数据学习与经验知识结合的HCC分化程度估测，进而解决针对多模态MRI影像的HCC分级问题。

发明内容

本发明的目的在于提供一种基于多模态MRI影像分类贡献度自适应加权融合的肝细胞癌分化程度评估方法,用深度学习方法对多模态影像数据建模，并将不同模态的MRI影像对最后分类结果的贡献度与其经过特征提取器所得的特征进行融合，并为结合了贡献度的多模态特征添加分类器，以实现HCC分化程度的分级。

为了实现上述目的，本发明采用以下技术方案：首先，建立有效高维多模态影像数据的关联表示，即选择一种合适的特征提取方式对多模态MRI影像进行特征提取，同时，利用多模态MRI影像贡献度自适应加权机制，对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI影像进行任务贡献度学习，然后将任务贡献度学习所得的参数结果与多模态融合MRI数据经过特征提取器所得的特征进行特征层融合，最后，在网络顶端添加分类器，使用结合了贡献度的多模态MRI影像特征进行HCC分化程度的分级任务，以实现更为精准的预测。

一种基于多模态MRI影像分类贡献度自适应加权融合的肝细胞癌分化程度评估方法，包括以下步骤：

步骤1，利用卷积神经网络对多模态肝细胞癌分化程度医疗影像进行特征提取,并得到基于多模态MRI影像融合数据的特征F；

步骤1.1，采集T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列，并在对九种肝细胞癌分化程度医疗影像序列处理后进行拼接，得到多模态肝细胞癌分化程度医疗影像，其中包括由2D MRI影像拼接而成的3D张量和由3D MRI影像拼接而成的4D张量；

步骤1.2，利用卷积神经网络对融合好的多模态肝细胞癌分化程度医疗影像进行特征提取，并得到基于多模态融合影像的特征F，其中F∈R^H×W×C，H、W、C分别代表特征的宽、高和通道数；

步骤2，针对拼接好的3D和4D张量，即多模态融合数据，使用两种重新设计多模态贡献度学习及加权模块分别进行贡献度的学习和特征加权，具体包括如下步骤：

步骤2.1，将两种重新设计的多模态贡献度学习及加权模块与特征提取模块进行并联，保证特征提取和贡献度学习结果的融合；

步骤2.2，首先利用全局平均池化将多通道多模态融合影像特征处理成一个一维张量，再使用全连接层，引入一个参数W和非线性ReLU激活函数，用于学习不同模态对最后分类任务的贡献度；

步骤3，针对上述步骤得到的多模态MRI肝细胞癌分化程度影像针对HCC分化程度分级任务的贡献度和多模态MRI影像融合数据的特征F，引入Reweight模块为每一个对应模态的特征赋予权值，以调整其特征对最后分类结果的影响。

步骤4，采用优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合训练；

步骤5，联合训练完成后，即可用来对HCC分化程度进行准确预测，得到基于融合分类贡献度多模态MRI影像特征，直接添加浅层分类器进行HCC的分化程度判别。

步骤1.1中，由于不同序列的层厚和分辨率不完全相同，因此对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列进行数据的归一化、标准化和预处理，归一化处理后9种模态3D和4D影像序列大小分别为H×W×C和H×W×C×B,H、W、C、B分别为图像的长宽通道数和序列数,便得到了2D和3D两种融合方式的多模态医疗影像。

步骤1.2中所进行的特征提取操作采用的卷积神经网络模块为ResNet18中的一个ResBlock，其由一个1×1、3×3、1×1构成的瓶颈层和一个Batch Normalization操作组成，其中ResBlock不仅可以有效地提取特征，而且可以减少反向传播中的梯度弥散问题，而BN的加入则可以加快训练速度并提升网络的泛化能力。

步骤2和3所采用的用于学习不同模态贡献度的网络由全局平均池化、一层非线性(二层针对4D输入)全连接层，和Reweight操作构成，首先将步骤1中所提取的特征通过全局平均池化按照通道维压缩成一维特征，通过引入的非线性函数学习一维特征中所蕴含的不同模态的贡献值，Reweight操作则是将学到的贡献值与之前提取特征的对应的通道进行加权，使得贡献度和对应模态所得的特征足以完美融合。

步骤4中所述的优化算法采用一阶矩估计的指数衰减率α₁＝0.9，二阶矩估计的指数衰减率α₂＝0.999，初始学习率e＝0.09的自适应矩阵估计，优化目标是调整网络中的可训练参数使损失函数最小化。

步骤4中采用的训练方法为特征提取模块和贡献度学习模块的联合训练，其中，训练数据为肝细胞癌分化程度分级数据，其中训练样本100例，验证样本50例，训练标签为经过有经验的放射科医生标注和放射科主任医生验证；损失函数为交叉熵损失函数。

有益效果

本发明通过对不同模态的医疗影像采用贡献度学习的方式，获取不同模态的MRI影像对于最后HCC分化程度分级任务的贡献度，不仅为提供不同模态对HCC分化程度识别能力。结合了模态贡献度的深度学习，可以得到精准HCC分化程度分级的预测结果。本发明比起传统影像学诊断方法，则排除了主观因素的影响并同时考虑到了各个多模态MRI序列的诊断能力和贡献，从而使得到的结果更加准确和鲁棒。

附图说明

图1为本发明的2D&3D多模态MRI影像融合方法框图；

图2为本发明的总体模块及方法框图；

图3为本发明的2D多模态影像贡献度自适应融合特征提取模块；

图4为本发明的3D多模态影像贡献度自适应融合特征提取模块；

具体实施方式

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明所述方法的流程图如图2所示，具体包括以下步骤：

步骤1，对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI影像进行融合，融合方式如图1，具体包括如下步骤：

步骤1.1，针对9种模态的MRI数据，从各个序列中挑选一张肿瘤ROI区域最大的影像，并在对9种医疗影像序列处理后进行拼接，得到2D多模态MRI融合数据；由于不同检查采用的设备可能有所区别，因此首先需要将三种模态的影像序列的大小进行归一化处理，此处采用传统的插值法，归一化处理后进行数据融合所得的序列大小为H×W×C(H、W、C分别为图像的长、宽、通道数)。

步骤1.2，针对9种模态的MRI数据，从各个序列中挑选5张连续的肿瘤ROI区域最大的影像并拼接成3D数据块，并在对9种医疗影像序列的3D数据块处理后进行拼接，得到4D多模态MRI融合数据，归一化处理后进行数据融合所得的序列大小为H×W×C×B(H、W、C、B分别为图像的长、宽、通道数、序列数)。

本发明针对3D和4D的影像融合数据，分别采用图3和图4中的2D和3D多模态影像贡献度自适应融合特征提取模块进行特征提取和模态贡献度计算及融合，在特征提取和贡献融合之后，在网络顶层添加类别分类器，使用结合了各个模态贡献值的多模态影像特征，完成HCC分化程度的判别。网络实现中，所有卷积核使用从截断的均值为0、标准差为0.01的正态分布中输出的随机值进行初始化；使用整流器线性单元(Rectified linear unit，ReLU)作为卷积层和贡献度学习的全连接层的激活函数；对全连接层使用比例为0.5的Dropout方法防止网络过拟合；

步骤2，3中利用2D和3D多模态影像贡献度自适应融合特征提取模块分别提取3D和4D的影像融合数据的特征。

对于2D多模态影像贡献度自适应融合特征提取模块，如图3，设输入3D影像融合数据经过ResBlock的特征提取之后所得的特征为F，其中F∈R^H×W×C，H、W、C分别代表特征的宽、高和通道数；

首先，将F输入到全局平均池化层中，得到特征F₁，

F₁--GAP(F)

其中F₁∈R^1×1×C，是一个一维张量，用于表示每个通道维的贡献值。紧接着引入非线性和参数W用于学习贡献值，通过线性计算外接非线性操作线性整流函数(RectifiedLinear Unit)为各个模态生成权重，其中W显式地建模各模态间的相关性，输出F₂的大小为1×1×C。

F₂＝δ(F_l×W+b)

最后是Reweight操作，将学得的参数与特征提取所得特征相结合。

其中F₃为大小为H×W×C，并作为模块的输出，整个模块会重复该过程三次。

对于3D多模态影像贡献度自适应融合特征提取模块，如图4，设输入4D影像融合数据经过ResBlock的特征提取之后所得的特征为F，其中F∈R^H×W×C×B，H、W、C、B分别代表特征的宽、高和通道数和模态数；

首先，需要融合所有分支的模态的信息，因此先进行简单的像素级相加融合：

得到的F₁的大小为H×W×C，之后使用全局平均池化，对F₁进行处理。

紧接着引入非线性，外接非线性操作线性整流函数(Rectified Linear Unit)为各个模态生成权重；

F₃＝δ(F₂×W+b)

最后使用一个channel-wise的softmax操作为F中的B个模态的特征分别赋予权值。最后将融合了各个模态贡献值的特征采用逐元素加的方式融合在一起，作为模块的输出。

步骤4，采用主流的优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合训练；

网络联合训练具体采用交替训练的方法，即保持一个网络的参数不变，只训练另一个网络，再反之；训练数据为150例HCC患者的磁共振影像及病理数据，即每例样本均包含步骤1.1中所述的9种模态的医疗影像序列采样和融合所得的3D和4D多模态融合影像数据，其中150例样本划分为用于对网络进行训练的训练样本100例，以及用于验证网络训练效果的验证样本50例；损失函数采用交叉熵损失；优化算法采用一阶矩估计的指数衰减率α₁＝0.9，二阶矩估计的指数衰减率α₂＝0.999，初始学习率e＝0.09的自适应矩阵估计(adaptive moment estimation，Adam)，优化目标是调整网络中的可训练参数使损失函数最小化。

步骤5，训练完成后，即可用于HCC分化程度的分级。

使用50例验证样本验证网络的性能，并重复10次实验，计算10次实验结果的均值和标准差，实验结果如表所示：

Method 1为仅采用步骤2,3,4的网络对150例患者的多模态影像数据进行训练及验证的结果,分别在准确率，敏感度，精确度和F1值上的表现；

至此，本发明的具体实施过程就描述完毕。

Claims

1.一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：包括以下步骤，

步骤3，针对上述步骤得到的多模态MRI肝细胞癌分化程度影像针对HCC分化程度分级任务的贡献度和多模态MRI影像融合数据的特征F，引入Reweight模块为每一个对应模态的特征赋予权值，以调整其特征对最后分类结果的影响；

2.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：步骤1.1中，由于不同序列的层厚和分辨率不完全相同，因此对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列进行数据的归一化、标准化和预处理，归一化处理后9种模态3D和4D影像序列大小分别为H×W×C和H×W×C×B,H、W、C、B分别为图像的长宽通道数和序列数,便得到了2D和3D两种融合方式的多模态医疗影像。

3.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：步骤1.2中所进行的特征提取操作采用的卷积神经网络模块为ResNet18中的一个ResBlock，其由一个1×1、3×3、1×1构成的瓶颈层和一个Batch Normalization操作组成。

4.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：步骤2和3所采用的用于学习不同模态贡献度的网络由全局平均池化、一层非线性全连接层，和Reweight操作构成，首先将步骤1中所提取的特征通过全局平均池化按照通道维压缩成一维特征，通过引入的非线性函数学习一维特征中所蕴含的不同模态的贡献值，Reweight操作则是将学到的贡献值与之前提取特征的对应的通道进行加权，使得贡献度和对应模态所得的特征融合。

5.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：步骤4中所述的优化算法采用一阶矩估计的指数衰减率α₁＝0.9，二阶矩估计的指数衰减率α₂＝0.999，初始学习率e＝0.09的自适应矩阵估计。

6.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，其特征在于：步骤4中采用的训练方法为特征提取模块和贡献度学习模块的联合训练。