CN111489324A - 一种融合多模态先验病理深度特征的宫颈癌病变诊断方法 - Google Patents

Abstract

本发明提供了医学图像处理领域的一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，包括：步骤S10、获取宫颈图像、病理确诊数据、标注信息；步骤S20、将宫颈图像以及标注信息输入深度神经网络模型训练，生成一阶段训练结果；步骤S30、基于病理确诊数据以及一阶段训练结果，采用小网络分别对宫颈图像进行编码后，二阶融合一阶段训练结果后输入深度神经网络模型训练，生成二阶段训练结果；步骤S40、确定主干网络参数，并利用主干网络参数输入深度神经网络模型对宫颈图像进行递进迁移训练，生成三阶段训练结果；步骤S50、利用三阶段训练结果对宫颈图像进行诊断分类。本发明的优点在于：极大的提升了宫颈癌病变诊断的准确性以及效率。

Description

一种融合多模态先验病理深度特征的宫颈癌病变诊断方法

技术领域

本发明涉及医学图像处理领域，特别指一种融合多模态先验病理深度特征的宫颈癌病变诊断方法。

背景技术

随着科技的发展，数据成像技术的进步为医学带来了极大的便利，越来越高质量的图像为疾病的分析与诊断提供了数据基础。数字阴道镜检查作为宫颈癌早期筛查方法的一种，目前在全世界范围内受到了高度的认可，已成为预防宫颈癌不可或缺的技术。数字阴道镜检查是一种日趋成熟的低成本技术，阴道镜主要使用光学显微镜在强光下将子宫颈放大10至40倍进行目视检测，通常由具有丰富经验的医生判断是否存在可疑癌症，以确定是否需要进一步治疗。临床的相关研究表明阴道镜检查在实际应用中有很高的应用价值，典型的异常阴道镜图像则能为宫颈癌以及宫颈上皮内瘤变的诊断提供重要参考。

由于获取的宫颈原图难以区分病变特征，目前临床上通用的操作是在宫颈转化区涂抹醋酸和碘溶液以观察病理变化确定病变类型。但是，阴道镜检查也有比较明显的缺点，随着图像数据和工作量的增加，通过人工阅片的方式容易造成误诊、漏诊且不同医师的专业水平会造成敏感性差异，这都不利于病变的筛查。

计算机辅助诊断(CAD)系统为当前医学图像处理的研究热点，许多与图像相关的医疗工作得益于CAD系统的开发和部署，使得现代医疗变得更高效、更准确。在相关的阴道镜CAD研究中，先前基于机器学习的浅层学习机在特征表达和特征提取方面存在一定的局限性，当前流行的深度学习技术越来越多的应用到阴道镜图像分析，一般用于检测和识别癌前病变。但深度学习技术通常需要大量的可用数据进行建模。目前的SOTA算法一般采用图像数据和非图像数据的融合方式(T.Xu,H.Zhang,X.Huang,S.Zhang,andD.Metaxas.Multimodal deep learning for cervical dysplasia diagnosis[C].MICCAI,2016,9901:115～123.)，也有相关研究结合醋白和碘处理后的图像应用目标检测算法进行模型训练(Chen T,Ma X,Ying X,et al.Multi-Modal Fusion Learning forCervical Dysplasia Diagnosis[C].In:2019IEEE 16th International Symposium onBiomedical Imaging(ISBI2019).IEEE,2019.1505～1509)，图像分割的方法也同样被应用到宫颈图像中(Zhang,X.Q.,S.G.Zhao.Cervical image classification based on imagesegmentation preprocessing and a CapsNet network model[C].In:InternationalJournal of Imaging Systems and Technology,2019,29(1):19～28.)；虽然现有的这些算法取得了一定的效果，但是由于深度学习算法没有充分利用原图(无药品处理)、醋白处理图像、碘处理图像的特征相关性，使得宫颈癌病变诊断的准确性还是欠佳。

因此，如何提供一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，实现提升宫颈癌病变诊断的准确性以及效率，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，实现提升宫颈癌病变诊断的准确性以及效率。

本发明是这样实现的：一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，包括如下步骤：

步骤S10、获取若干张宫颈图像、宫颈图像对应的病理确诊数据以及标注信息；所述宫颈图像包括宫颈原图、宫颈碘图以及宫颈醋白图；

步骤S20、创建一深度神经网络模型，将所述宫颈图像以及标注信息输入深度神经网络模型进行训练，生成一阶段训练结果；

步骤S30、基于所述病理确诊数据以及一阶段训练结果，采用小网络分别对所述宫颈图像进行编码后，二阶融合所述一阶段训练结果后输入深度神经网络模型进行训练，生成二阶段训练结果；

步骤S40、基于所述一阶段训练结果以及二阶段训练结果确定宫颈图像的主干网络参数，并利用所述主干网络参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行递进迁移训练，生成三阶段训练结果；

步骤S50、利用所述三阶段训练结果对宫颈图像进行诊断分类。

进一步地，所述步骤S20具体包括：

步骤S21、创建一DenseNet_FPN模型，分别将所述宫颈原图、宫颈碘图以及宫颈醋白图输入DenseNet_FPN模型进行特征编码，再利用特征金字塔得到所述宫颈图像的多尺度深度特征，融合所述多尺度深度特征生成金字塔融合特征：

F＝f(p2,p3,p4,p5,p6)；

其中F表示金字塔融合特征；f()表示多尺度深度特征的级联操作；p2、p3、p4、p5、p6表示特征编码中不同特征尺度的输出；

步骤S22、将所述金字塔融合特征输入RPN目标候选框，根据预设的锚点以及所述RPN目标候选框进行包括目标区域的分类损失和边界框回归损失的训练，回归得到病灶检测框；

其中

表示类别为二分类交叉熵损失的分类损失；c_i表示锚点预测为目标的概率；

表示真实预测框的类别；

表示边界框回归损失；B_i表示目标的预测偏移量；

表示目标的实际偏移量；L_rpn表示每一个RPN目标候选框的组合损失；λ表示损失系数，为一个常数；

步骤S23、通过所述标注信息结合第一训练损失函数对病灶检测框进行回归和预测，得到病灶检测和分割结果，即一阶段训练结果；

L_p1＝l_bbox+l_cla+l_seg；

其中L_p1表示第一训练损失函数；l_bbox表示边界框回归损失；l_cla表示类别为多类交叉熵损失的分类损失；l_seg表示目标分割损失；n表示目标框的尺寸；1^k表示当第k个通道对应目标的真实类别时为1，否则为0；y表示当前位置的mask的label值，取值为0或1；x表示当前位置的输出值；sigmoid(x)表示输出x经过sigmoid函数变换后的结果。

进一步地，所述步骤S30具体包括：

步骤S31、基于所述一阶段训练结果得到宫颈图像的病灶图像基本信息、病灶图像上下文信息以及纹理信息；

步骤S32、基于所述病灶图像基本信息、病灶图像上下文信息、纹理信息以及病理确诊数据分别训练小网络，得到特征向量；

步骤S33、对所述特征向量采用元素相加的形式进行多模态数据融合训练，得到各所述宫颈图像的二阶段训练结果；

所述多模态数据融合训练采用的第二训练损失函数为：L_p2＝l_cla；

总的训练损失函数为：L_s＝L_p1+L_p2。

进一步地，所述步骤S40具体为：

确定宫颈图像的主干网络参数为所述金字塔融合特征以及多模态数据融合训练的权重参数，利用所述金字塔融合特征以及权重参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行特征级联加强，生成三阶段训练结果：

M_s+1＝X*(M_sp1+M_sp2)+b；

其中M_s+1表示下一训练阶段的权重模型，即三阶段训练结果；X表示数据输入；M_sp1表示DenseNet_FPN模型特征编码的权重参数；M_sp2表示多模态数据融合训练的权重参数；b表示神经网络训练偏差。

本发明的优点在于：

通过结合宫颈原图、宫颈碘图、宫颈醋白图以及病理确诊数据，基于深度神经网络模型，进行特征提取、病灶检测、病灶分割、二阶多模态数据融合、递进迁移训练和特征级联加强，即充分考虑了宫颈原图、宫颈碘图以及宫颈醋白图之间的特征相关性，进而极大的提升了宫颈癌病变诊断的准确性，相对于传统上人工阅片的方式，极大的提升了宫颈癌病变诊断的效率。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种融合多模态先验病理深度特征的宫颈癌病变诊断方法的流程图。

图2是本发明一种融合多模态先验病理深度特征的宫颈癌病变诊断方法的网络框架流程图。

图3是本发明多模态数据融合训练示意图。

图4是本发明病灶检测和分割结果加上病理确诊数据作为多模态数据融合训练的输入的示意图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：结合三种病理特征图像(宫颈原图、宫颈碘图以及宫颈醋白图)，采用目标检测与分割的主体框架，再利用二阶融合病理确诊数据进行多模态数据融合训练；三种病理特征图像采用三个阶段训练，并在不同阶段训练中应用递进迁移训练和特征级联加强病理之间的相关性，最终实现宫颈原图(不经药物处理)中的准确诊断。

请参照图1至图4所示，本发明一种融合多模态先验病理深度特征的宫颈癌病变诊断方法的较佳实施例，包括如下步骤：

步骤S10、获取若干张宫颈图像、宫颈图像对应的病理确诊数据以及标注信息；所述宫颈图像包括宫颈原图、宫颈碘图以及宫颈醋白图；所述宫颈图像为RGB图像；

步骤S20、创建一深度神经网络模型，将所述宫颈图像以及标注信息输入深度神经网络模型进行训练，生成一阶段训练结果；

步骤S30、基于所述病理确诊数据以及一阶段训练结果，采用小网络分别对所述宫颈图像进行编码后，二阶融合所述一阶段训练结果后输入深度神经网络模型进行训练，生成二阶段训练结果；

步骤S40、基于所述一阶段训练结果以及二阶段训练结果确定宫颈图像的主干网络参数，并利用所述主干网络参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行递进迁移训练，生成三阶段训练结果；

步骤S50、利用所述三阶段训练结果对宫颈图像进行诊断分类。

对于深度神经网络模型的训练方式，首先对每个阶段进行单独训练，达到一定的优化目标，然后在宫颈碘图的训练结果基础上加载设定的迁移学习对应参数，提取第一阶段的金字塔融合特征，作为第二阶段的初始权重并由此训练宫颈醋白图的网络模型，以此类推，最终结合第一阶段和第二阶段的权重和特征图优化训练第三阶段的宫颈原图，最终实现宫颈原图上的宫颈病变诊断与分类。

所述步骤S20具体包括：

步骤S21、创建一DenseNet_FPN模型，分别将所述宫颈原图、宫颈碘图以及宫颈醋白图输入DenseNet_FPN模型进行特征编码，再利用特征金字塔得到所述宫颈图像的多尺度深度特征，融合所述多尺度深度特征生成金字塔融合特征(feature map)：

F＝f(p2,p3,p4,p5,p6)；

其中F表示金字塔融合特征；f()表示多尺度深度特征的级联操作；p2、p3、p4、p5、p6表示特征编码中不同特征尺度的输出；

步骤S22、将所述金字塔融合特征输入RPN目标候选框，根据预设的锚点(anchor)以及所述RPN目标候选框进行包括目标区域的分类损失和边界框回归损失的训练，回归得到病灶检测框；

其中

表示类别为二分类交叉熵损失的分类损失；c_i表示锚点预测为目标的概率；

表示真实预测框的类别，当标签为前景时，

当标签为背景时，

表示边界框回归损失；B_i表示目标的预测偏移量；

表示目标的实际偏移量；L_rpn表示每一个RPN目标候选框的组合损失；λ表示损失系数，为一个常数；

步骤S23、通过所述标注信息结合第一训练损失函数对病灶检测框进行回归和预测，得到病灶检测和分割结果，即一阶段训练结果；

L_p1＝l_bbox+l_cla+l_seg；

其中L_p1表示第一训练损失函数；l_bbox表示边界框回归损失；l_cla表示类别为多类交叉熵损失的分类损失；l_seg表示目标分割损失；n表示目标框的尺寸；1^k表示当第k个通道对应目标的真实类别时为1，否则为0；y表示当前位置的mask的label值，取值为0或1；x表示当前位置的输出值；sigmoid(x)表示输出x经过sigmoid函数变换后的结果。

所述步骤S30具体包括：

步骤S31、基于所述一阶段训练结果得到宫颈图像的病灶图像基本信息、病灶图像上下文信息以及纹理信息；

步骤S32、基于所述病灶图像基本信息、病灶图像上下文信息、纹理信息以及病理确诊数据分别训练特定的小网络结构，得到特征向量；

步骤S33、对所述特征向量采用元素相加的形式进行多模态数据融合训练，得到各所述宫颈图像的二阶段训练结果；

所述多模态数据融合训练采用的第二训练损失函数为：L_p2＝l_cla；

总的训练损失函数为：L_s＝L_p1+L_p2。

所述步骤S40具体为：

确定宫颈图像的主干网络参数为所述金字塔融合特征以及多模态数据融合训练的权重参数(CNN权重参数)，利用所述金字塔融合特征以及权重参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行特征级联加强，生成三阶段训练结果：

M_s+1＝X*(M_sp1+M_sp2)+b；表示将上阶段训练的权重(M_sp1+M_sp2)作为初始权重进行这个阶段的迁移学习，实现不同病理图像特征的信息传递和交互，实现下个阶段的训练优化；

其中M_s+1表示下一训练阶段的权重模型，即三阶段训练结果；X表示数据输入；M_sp1表示DenseNet_FPN模型特征编码的权重参数；M_sp2表示多模态数据融合训练的权重参数；b表示神经网络训练偏差。

图2主要包含3个阶段，分别为宫颈碘图、宫颈醋白图以及宫颈原图的处理阶段，在每个阶段处理中，首先以同样的网络框架对单类图像进行处理，处理的过程包括特征编码提取、高层特征解码以及多尺度特征融合；从stage1到stage3分别为宫颈碘图、宫颈醋白图以及宫颈原图，三种病理图像的人工诊断是由易到难，对于计算机而言同理，由于三种图像是同一个人的图像，存在密切的相关性。

图3是多模态数据融合训练(Rfusion module)示意图，在图2结果的基础上，对目标检测和分割结果进行后处理，得到宫颈图像的病灶图像基本信息、病灶图像上下文信息以及纹理信息，再结合病理确诊数据分别训练特定的CNN(卷积神经网络)结构，再融合最终提取的特征向量得到最终的分类结果。

综上所述，本发明的优点在于：

通过结合宫颈原图、宫颈碘图、宫颈醋白图以及病理确诊数据，基于深度神经网络模型，进行特征提取、病灶检测、病灶分割、二阶多模态数据融合、递进迁移训练和特征级联加强，即充分考虑了宫颈原图、宫颈碘图以及宫颈醋白图之间的特征相关性，进而极大的提升了宫颈癌病变诊断的准确性，相对于传统上人工阅片的方式，极大的提升了宫颈癌病变诊断的效率。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，其特征在于：包括如下步骤：

步骤S10、获取若干张宫颈图像、宫颈图像对应的病理确诊数据以及标注信息；所述宫颈图像包括宫颈原图、宫颈碘图以及宫颈醋白图；

步骤S20、创建一深度神经网络模型，将所述宫颈图像以及标注信息输入深度神经网络模型进行训练，生成一阶段训练结果；

步骤S30、基于所述病理确诊数据以及一阶段训练结果，采用小网络分别对所述宫颈图像进行编码后，二阶融合所述一阶段训练结果后输入深度神经网络模型进行训练，生成二阶段训练结果；

步骤S40、基于所述一阶段训练结果以及二阶段训练结果确定宫颈图像的主干网络参数，并利用所述主干网络参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行递进迁移训练，生成三阶段训练结果；

步骤S50、利用所述三阶段训练结果对宫颈图像进行诊断分类。

2.如权利要求1所述的一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，其特征在于：所述步骤S20具体包括：

步骤S21、创建一DenseNet_FPN模型，分别将所述宫颈原图、宫颈碘图以及宫颈醋白图输入DenseNet_FPN模型进行特征编码，再利用特征金字塔得到所述宫颈图像的多尺度深度特征，融合所述多尺度深度特征生成金字塔融合特征：

F＝f(p2,p3,p4,p5,p6)；

其中F表示金字塔融合特征；f()表示多尺度深度特征的级联操作；p2、p3、p4、p5、p6表示特征编码中不同特征尺度的输出；

步骤S22、将所述金字塔融合特征输入RPN目标候选框，根据预设的锚点以及所述RPN目标候选框进行包括目标区域的分类损失和边界框回归损失的训练，回归得到病灶检测框；

其中

表示类别为二分类交叉熵损失的分类损失；c_i表示锚点预测为目标的概率；

表示真实预测框的类别；

表示边界框回归损失；B_i表示目标的预测偏移量；

表示目标的实际偏移量；L_rpn表示每一个RPN目标候选框的组合损失；λ表示损失系数，为一个常数；

步骤S23、通过所述标注信息结合第一训练损失函数对病灶检测框进行回归和预测，得到病灶检测和分割结果，即一阶段训练结果；

L_p1＝l_bbox+l_cla+l_seg；

其中L_p1表示第一训练损失函数；l_bbox表示边界框回归损失；l_cla表示类别为多类交叉熵损失的分类损失；l_seg表示目标分割损失；n表示目标框的尺寸；1^k表示当第k个通道对应目标的真实类别时为1，否则为0；y表示当前位置的mask的label值，取值为0或1；x表示当前位置的输出值；sigmoid(x)表示输出x经过sigmoid函数变换后的结果。

3.如权利要求2所述的一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，其特征在于：所述步骤S30具体包括：

步骤S31、基于所述一阶段训练结果得到宫颈图像的病灶图像基本信息、病灶图像上下文信息以及纹理信息；

步骤S32、基于所述病灶图像基本信息、病灶图像上下文信息、纹理信息以及病理确诊数据分别训练小网络，得到特征向量；

步骤S33、对所述特征向量采用元素相加的形式进行多模态数据融合训练，得到各所述宫颈图像的二阶段训练结果；

所述多模态数据融合训练采用的第二训练损失函数为：L_p2＝l_cla；

总的训练损失函数为：L_s＝L_p1+L_p2。

4.如权利要求3所述的一种融合多模态先验病理深度特征的宫颈癌病变诊断方法，其特征在于：所述步骤S40具体为：

确定宫颈图像的主干网络参数为所述金字塔融合特征以及多模态数据融合训练的权重参数，利用所述金字塔融合特征以及权重参数输入深度神经网络模型依次对宫颈碘图、宫颈醋白图以及宫颈原图进行特征级联加强，生成三阶段训练结果：

M_s+1＝X*(M_sp1+M_sp2)+b；

其中M_s+1表示下一训练阶段的权重模型，即三阶段训练结果；X表示数据输入；M_sp1表示DenseNet_FPN模型特征编码的权重参数；M_sp2表示多模态数据融合训练的权重参数；b表示神经网络训练偏差。

Images