CN112561880B - 一种将先验知识融入深度学习引导磁共振图像分类的方法 - Google Patents

Abstract

本发明公开了一种将先验知识融入深度学习引导磁共振图像分类的方法，该方法是对患者的磁共振图像是否发生前列腺包膜侵犯进行图像分类，将临床医生的先验知识融入卷积神经网络，并指导网络进行是否发生包膜侵犯判断。该方法利用前列腺腺体轮廓和癌灶轮廓，计算生成注意力图，注意力图反映了医生在判断包膜侵犯时认为的最有可能发生侵犯的位置。本发明改进了卷积注意力模块，将生成的注意力图加入到神经网络，指导网络更多地对可能发生侵犯的区域进行关注，从而提高网络的评估性能。与现有技术相比，本发明能够有效提高模型表现，对包膜侵犯进行自动分类，提高医生的效率。

Description

一种将先验知识融入深度学习引导磁共振图像分类的方法

技术领域

本发明属于图像处理和医学技术领域，涉及一种将先验知识融入深度学习引导磁共振图像分类的方法。

背景技术

前列腺癌是男性癌症死亡的第二大原因，早期准确的诊断可以大大的提高生存率。对于前列腺癌患者，根治性前列腺切除术被认为是首选方法。手术前准确地判断前列腺癌是否突破前列腺包膜(Extracapsular Extension，ECE)是非常重要的。为了提高术前风险评估，许多方法被用来预测包膜侵犯，但效果并不理想。

磁共振成像作为一种无创的影像方法，广泛应用于癌症的相关检测中。根据欧洲放射学会的前列腺影像报告数据系统(Prostate Imaging Reporting&Data System，PI-RADS)第二版，通常用于检测前列腺癌的扫描序列包括T2加权成像(T2 Weighted Imaging，T2WI)、弥散加权图像(Diffusion Weighted Imaging，DWI)、动态增强图像(DynamicContrast Enhanced Image，DCE)等。多个序列的图像信息可以相互补充，但多个序列的阅片也对临床医生的判断提出更高要求，判断正确与否依赖于医生的临床经验。计算机辅助判断(Computer-Aided Diagnosis，CAD)能够通过分析大量数据，提取图像中的有效特征，对包膜侵犯进行有效判断。

近年来，基于卷积神经网络(Convolutional Neural Network，CNN)的深度学习方法，在图像的分割、检测和分类中发挥着越来越重要的作用。但相比自然图像，医学影像普遍存在数据量小的问题，深度学习网络训练时容易发生过拟合，所以利用临床医生的先验知识，为网络增加约束，从而避免过拟合的发生，就成为医学影像人工智能中的常用方法。而如何有效地将具体临床问题的先验知识融合到深度学习网络中，也成为了一个研究的热点问题。

发明内容

医生在评估病人是否发生前列腺包膜侵犯的时候，通常会先观察癌灶和腺体边界之间的相对位置来做最初的判断。为了达到用医生的该先验知识指导网络训练的目的，本发明基于医生对磁共振图像预先勾画的或者由深度学习模型自动勾画的腺体区域和癌灶区域自动生成可以反映发生包膜侵犯概率的注意力图，并创新地将生成的注意力图和已有的自适应的注意力模块相结合，由此在深度学习中引入先验知识，引导网络的训练过程，关注可能发生包膜侵犯的区域，提高模型分类准确率。

这种基于深度学习对磁共振图像是否发生前列腺包膜侵犯进行分类的方法，特点在于利用临床医生手工勾画或者人工智能模型自动勾画的腺体区域和癌灶区域，生成注意力图，并作为神经网络的输入对模型训练进行指导，对包膜侵犯进行评估；该方法包括以下具体步骤：

步骤1：对患者进行磁共振扫描得到磁共振图像，自动或者手动在磁共振图像上对前列腺腺体和癌灶边缘进行勾画，得到腺体和癌灶的轮廓；

步骤2：生成一张与磁共振图像大小相同的空白图作为注意力图，通过以下的操作，设置所述空白图上的像素值；具体包括：

1)取磁共振图像上癌灶内的任一像素点；

2)若该像素点不在腺体轮廓内，将注意力图中对应位置的像素点的像素值设为1；

3)若该像素点在腺体内部，计算该像素点到腺体边界的距离d_p，注意力图对应像素点的像素值设置为αr/d_p，其中r为图像分辨率，α用于控制像素值的衰减程度，d_p越小，像素值越大；

4)对于磁共振图像上癌灶内部所有像素点，重复步骤1)-3)，完成赋值；

5)对步骤2中的4)生成的注意力图的癌灶四周方向进行像素值衰减，衰减率为β，即每延伸距离d，注意力衰减β·d，直至像素值衰减至0；

步骤3：选取设有卷积注意力模块(Convolutional Block Attention Module，CBAM)的ResNeXt作为分类网络；将磁共振图像输入分类网络ResNeXt进行训练；在训练到卷积注意力模块时，把步骤2生成的注意力图和卷积注意力模块生成的空间注意力图结合输入所述分类网络；其结合方式是将注意力图和空间注意力图分别和上层特征图相乘，再一起送入所述分类网络；

步骤4：训练完成，得到患者发生包膜侵犯的概率，如果该概率大于等于所选取的阈值，则患者发生前列腺包膜侵犯，反之则没有发生侵犯。

本发明通过采用以上技术方案，在网络训练中融合了医生的先验知识，使得医生的先验知识能够指导网络训练并关注可能发生包膜侵犯的区域。以ResNeXt网络作为基础网络，并横向对比了不加入注意力图的网络和本发明网络，通过596个数据进行训练，在独立的150个病例上进行测试，本发明优化过的网络对包膜侵犯进行评估得到的概率的曲线下面积(AreaUndertheCurve，AUC)达到0.807，显著优于不加入注意力图的网络(AUC＝0.746)，说明本发明能够有效地融入医生先验知识，提高网络模型的表现。

附图说明

图1是本发明实施例的流程图；

图2是本发明注意力图生成的流程图；

图3是三种不同位置的病例生成的注意力图比较图；

图4是本发明注意力图加入卷积注意力模块的流程图；

图5是添加和不添加本发明的实施例包膜侵犯评估结果的比较图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明对基于深度学习的分类方法进行改进，在网络训练过程中添加医生判断包膜侵犯时的先验知识，引导网络关注可能改变分类结果的区域，对分类结果有较大的提升。以下部分介绍了本发明对基于多参数磁共振成像数据的包膜侵犯评估过程进行了具体的介绍，主要包括含有先验知识注意图获取、添加入网络、评估结果的比较几个方面。

本发明包括以下步骤：

1)采集患者的T2WI、b＝1500mm²/s的DWI、和对应表观扩散系数图像(ApparentDiffusion Coefficient，ADC)，将DWI和ADC配准到T2WI上，临床医生基于多参数MRI图像，对前列腺腺体和癌灶这两种感兴趣区域(Region of Interest，ROI)进行自动或者手工勾画，得到两者的轮廓。

2)根据腺体和癌灶轮廓生成注意力图。生成一张与图像大小相同的空白图作为注意力图，之后的操作均通过设置该图上的像素值来实现；具体步骤如下：

a)取磁共振图像上癌灶内的一个像素点；

b)如果该像素点不在勾勒的前列腺轮廓内，说明癌灶突破包膜到了腺体外区域，此区域已经发生包膜侵犯，因此将注意力图中对应位置的像素点的像素值设为1；

c)如果该像素点在腺体内部，点离腺体边界的距离越近，则发生包膜侵犯的概率越大。因此，计算该点到腺体边界的距离d_p，注意力图相应像素点的像素值设置为

其中r为图像分辨率，α为控制注意力值的衰减程度，d_p越小，像素值越大；

d)对磁共振图像上癌灶内的所有点，重复步骤a)、b)、c)，生成对注意力图的赋值。

e)对步骤d)生成的注意力图的癌灶四周方向进行像素值衰减，衰减率为β，即每延伸距离d，注意力衰减β·d，直至像素值衰减至0。该注意力图反映了医生在判断包膜侵犯时认为的最有可能发生侵犯的区域。

3)将磁共振图像输入设有卷积注意力模块(Convolutional Block AttentionModule，CBAM)的ResNeXt分类网络。其中卷积注意力模块包含两个部分，一是通道注意力部分，另一个是空间注意力。网络对磁共振图像进行卷积操作，提取出特征图。当训练到卷积注意力模块时，将上层网络提取的三维特征图作为输入，第三维是图像数量。该三维特征图经过通道注意力部分获得每个图像的权重，这个权重和其相乘得到加权特征图。加权特征图经过空间注意力部分得到一个空间像素点的权重分布，将这个权重分布图和步骤2)生成的注意力图分别和加权特征图相乘，再在第三维上连接后进入下层网络。

4)ResNeXt网络训练完成，得到患者发生包膜侵犯的概率，后根据所选阈值进行二值化，大于等于阈值则发生侵犯，小于阈值则没有发生侵犯。

实施例

本实施例中，使用的数据源于3T磁共振设备(西门子医疗的3TSkyra以及联影医疗MR770)的T2WI和b＝1500mm²/s的DWI和ADC图像，扫描参数使用PI-RADS指南推荐的数值。其中将DWI和相应的ADC配准到T2WI中，并对每个图像进行Z-score标准化处理。

图1为本实施例的流程图。首先，医生基于多参数磁共振图像，在影像上进行前列腺腺体和前列腺癌癌灶的勾画；之后根据两者轮廓的相对位置计算注意力图。将注意图加入分类网络进行训练，最后得到对图像包膜侵犯的评估结果。

注意力图生成步骤参见图2。首先生成一张和磁共振图像大小一样的空白图作为初始注意力图。依次选取共振图像上癌灶内部的每一个点。如果该点的位置不在腺体内部，说明该点处癌灶已经突破前列腺包膜到腺体外，已经发生包膜侵犯，需要重点关注，因此注意力图中对应位置的像素点的像素值设为1；如果该点在腺体内部，则需要关注它离腺体的远近，离得越近越容易发生前列腺包膜侵犯，因此注意力图中对应位置的像素点的像素值设置为

其中r表示图像分辨率，d表示点到腺体包膜的距离，单位是mm，α为衰减系数，本实施例中取值为1。随后对注意力图中的癌灶四周方向进行像素值衰减，衰减率为β，即每延伸距离d，注意力衰减β·d，直至像素值衰减至0。

图3展示了前列腺和癌灶三种不同位置的注意力图。第一行是T2WI，黑色实线是前列腺轮廓，白色实线为前列腺癌轮廓。第二行是第一行对应的注意力图。从左到右依次是癌灶超过腺体，癌灶靠近腺体边缘，癌灶处于腺体内部。可以看到那些既靠近腺体边缘又靠近癌灶边缘的点和癌灶超过腺体的点的像素值较大。像素值越大说明越容易发生包膜侵犯，这跟医生在进行判断时的操作相似。因此注意力图含有医生判断的先验知识。

图4详细的介绍了如何将已经生成的注意力图加入到分类网络。在此以基础的ResNeXt分类网络中一个卷积块为例。为了提高分类效果，在网络中加入卷积注意力模块，该模块分为通道注意力部分和空间注意力部分。其中，当完成空间注意力部分后，得到一个空间像素点的权重分布，将这个权重分布图和所生成的注意力图分别和上层经过通道注意模块的特征图相乘，再在通道上连接。

使用596数据(其中151通过病理证实为已经发生包膜侵犯)对模型进行训练，其中80％的数据用于更新模型参数，20％的数据(验证集)用于在模型训练中监测模型表现。使用相同的数据分别训练了含有注意力图的模型和不含有注意力图的模型。最终模型在另外150数据上(40例发生包膜侵犯)进行独立测试，评价指标选用ROC曲线和AUC值。

经测试统计发现，本发明所优化的网络在测试集上达到0.807的AUC值，而不加入医生先验知识的网络模型，只有0.746的AUC值，具体ROC曲线如图5所示。这个结果说明了利用人工输入的先验知识生成的注意力图，能够有效指导网络进行训练，提升模型性能，使前列腺癌包膜侵犯的判断更加准确。

Claims (1)

1.一种将先验知识融入深度学习引导磁共振图像分类的方法，该方法是对患者的磁共振图像是否发生前列腺包膜侵犯进行图像分类，其特征在于包括以下具体步骤：

步骤1：对患者进行磁共振扫描得到磁共振图像，自动或者手动在磁共振图像上对前列腺腺体和癌灶边缘进行勾画，得到腺体和癌灶的轮廓；

步骤2：生成一张与磁共振图像大小相同的空白图作为注意力图，通过以下的操作，设置所述空白图上的像素值；具体包括：

1)取磁共振图像上癌灶内的任一像素点；

2)若该像素点不在腺体轮廓内，将注意力图中对应位置的像素点的像素值设为1；

3)若该像素点在腺体内部，计算该像素点到腺体边界的距离d_p，注意力图对应像素点的像素值设置为

其中r为图像分辨率，α用于控制像素值的衰减程度，d_p越小，像素值越大；

4)对于磁共振图像上癌灶内部所有像素点，重复步骤1)-3)，完成赋值；

5)对步骤2中的4)生成的注意力图的癌灶四周方向进行像素值衰减，衰减率为β，即每延伸距离d，注意力衰减β·d，直至像素值衰减至0；

步骤3：选取设有卷积注意力模块CBAM的ResNeXt作为分类网络；将磁共振图像输入分类网络ResNeXt进行训练；在训练到卷积注意力模块时，把步骤2生成的注意力图和卷积注意力模块生成的空间注意力图结合输入所述分类网络；其结合方式是将注意力图和空间注意力图分别和上层特征图相乘，再一起送入所述分类网络；

步骤4：训练完成，得到患者发生包膜侵犯的概率，如果该概率大于等于所选取的阈值，则患者发生前列腺包膜侵犯，反之则没有发生侵犯。

Images