CN109543719A - 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 - Google Patents

Abstract

本发明公开了一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置，属于医疗人工智能领域，首先获取患者宫颈醋酸图和碘图，将该患者的病级别划分为正常、LSIL、HSIL三类，使用该类别作为对应醋酸图和碘图的标签，形成训练数据。进行数据预处理后，传入多模态融合模型，对模型中学习到的多层特征图分别进行融合，融合时，引入注意力机制，选择分类效果好的模态，从其特征图中产生辅助注意力信息，应用于效果较差的模态中的特征图，逐层进行融合操作，最终输出图像属于三种类别的概率，重复上述过程对模型迭代训练直至收敛。之后，将需要诊断病变类别的图像输入训练好的模型，使用上述特征融合方法，输出对应预测结果，辅助医生诊断。

Description

基于多模态注意力模型的宫颈非典型病变诊断模型和装置

技术领域

本发明涉及医疗人工智能领域，具体地说，涉及一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置。

背景技术

宫颈癌是目前威胁女性健康的主要疾病，在全世界范围内也是导致女性死亡的第二大癌症，严重破坏患者的性生活并影响生活质量。我国每年约有15万新发病例，约10万妇女死于宫颈癌。

通过检测宫颈鳞状上皮内病变(cervical intraepithelial neoplasia，CIN)，可以帮助患者和医生预防宫颈癌，在医学上，CIN可被划分为两组：低度鳞状上皮内病变(low-grade squamous intraepithelial lesion，LSIL)以及高度鳞状上皮内病变(high-gradesquamous intraepithelial lesion，HSIL)。在临床实践中，筛查的一个重要工作是将HSIL与正常LSIL区分开，因为大部分(约60％)LSIL患者会逐渐恢复正常，而HSIL则需要进一步治疗。

临床追踪观察显示，宫颈癌从病变初期发展为癌变大概需要10年时间，并不像其他疾病那样发展的非常迅速。因此宫颈癌的预防和早期诊断，有利于提高患者生存率，具有重要的临床意义。阴道镜检查是一种常用的宫颈癌筛查方法：将5％的乙酸和碘溶液作用于宫颈上皮后，使用仪器拍摄受试宫颈图像，获得醋酸图和碘图。柱状上皮在醋酸作用下肿胀微白呈葡萄状，鳞状上皮色泽微微发白而无葡萄状改变，以此来鉴别鳞状上皮和柱状上皮。碘溶液涂抹后原始鳞状上皮染色呈深棕色，柱状上皮不染色，化生的鳞状上皮则根据化生的成熟程度不同而显示出染色的深浅不一，据此明确病变部位及范围。碘试验阴性区域(不着色区)为可疑病变部位。

上述检测图像若由人工判别，需要医生拥有较高的专业知识和临床经验，且长时间的工作也会造成医生判断准确率的下降。因此，能否设计出一种准确对宫颈细胞进行病变评级的自动阅片系统，就成了当前亟待解决的问题。

为了充分利用两种类型的图像(即两种模态)中的病变信息，可以使用多模态网络模型对宫颈非典型病变诊断的问题进行建模。识别和分析具有不同模态的病变是医学图像分析中的一大挑战。一个简单的多模态融合方案是在图像级融合多类型的数据。它将多个原始图像在颜色通道维度拼接为3D张量，并将张量应用于卷积神经网络，用卷积核来学习多模态特征。然而，这种简单的融合方式会将图像中的特征破坏，导致网络学习到的特征混乱，同时该方法的性能也不够稳定，并且会显著降低训练样本的数量。

发明内容

本发明的目的为提供一种基于多模态注意力模型的宫颈非典型病变诊断模型和利用该模型进行宫颈非典型病变诊断的装置，宫颈非典型病变诊断模型使用了一种基于注意力机制的层级间特征图融合模型，输入患者宫颈的醋酸和碘溶液图像，预测其宫颈产生非典型病变的概率，对医生提供辅助诊断建议，从而提高患者存活率。

为了实现上述目的，本发明提供的一种基于多模态注意力模型的宫颈非典型病变诊断模型，以宫颈样本对应的醋酸图和碘图作为输入，以该醋酸图和碘图产生非典型病变的概率作为输出，宫颈非典型病变诊断模型通过以下步骤获得：

1)对于同一宫颈样本的醋酸图和碘图，以宫颈样本对应的状态类型作为标签，形成训练数据；

2)依次对醋酸图和碘图进行数据增强和数据归一化处理；

3)使用两个ResNet-50网络作为第一网络模型和第二网络模型，将经步骤2)处理后的醋酸图和碘图分别输入第一网络模型和第二网络模型中，输出预测类别，并计算两个网络模型的Loss，选用Loss较小的网络模型作为掩码通道，另一个网络模型作为主通道；

4)针对作为掩码通道的ResNet-50网络中的每一层，将掩码通道中的特征图通过掩码生成模块生成主通道的注意力掩码图，与对应的主通道中的特征图进行融合，并传入主通道下一层，直至输出分类结果；

5)计算掩码通道和主通道分类结果的总体损失，并根据总体损失使用随机梯度下降法优化模型，直至收敛，训练好的第一网络模型、第二网络模型和掩码生成模块构成宫颈非典型病变诊断模型。

上述技术方案中，在使用CNN(卷积神经网络)提取特征的过程中，对模型中间学习到的多层特征图分别进行融合，在融合时候，引入注意力机制(Attention mechanism)，选择分类效果好的模态(图像)，从其特征图中产生辅助注意力信息，并应用于效果较差的模态中的特征图，逐层进行融合操作，提升模型整体的分类效果，更加准确地预测受试图像对应的患者是否存在病变。上述宫颈样本对应的状态类型包括根据患者的病级别划分的正常、LSIL、HSIL三类。

作为优选，步骤2)中对醋酸图和碘图进行数据增强的步骤为：

将醋酸图和碘图的原始图像随机翻转后加入训练集；

随机对训练集中的图像进行裁剪，获得不同大小的图像块；

对图像块进行随机亮度调整、随机镜像翻转和随机颜色增强后，再将图像块缩放到512×512尺寸。

对经过数据增强处理后的醋酸图和碘图进行数据归一化处理的方法为：针对醋酸图和碘图中512×512大小的图像块，每个像素减去像素的平均值后除以标准差，使图像数据中心化。

上述预处理方法的随机状态在同一个样本中是相同的，即同一患者的醋酸图和碘图使用相同的随机增强方法，确保两个图像的增强数据在训练期间保持同步。

作为优选，步骤4)中注意力掩码图的生成方法为：

4-1)对于掩码通道中的每个特征图C_i’，使用1×1卷积操作，将特征通道维度降到256；

4-2)将降维后的特征图传入卷积层，提取图像的全局特征；

4-3)使特征图通过若干个残差模块，增加感受野大小；从而提取更富的语义特征

4-5)再次使用1×1卷积操作，使特征通道维度恢复到原始尺寸，形成注意力掩码图；

4-6)使用Sigmoid层将输出范围变为[0，1]。

生成的注意力掩码图与相应的主通道中的特征图进行融合的融合公式为：

A_i(x)＝(1+P_i)×C_i(x)

其中，A_i为融合后的特征图像，P_i为注意力掩码图，C_i为主通道中的特征图。

优选的，步骤5)中掩码通道和主通道分类结果的总体损失的计算公式为：

L＝(1-λ)L_m+λL_p

其中，L_m和L_p分别代表掩码通道和主通道的损失，λ为可0.5～1的可调参数。优选λ取值为0.75。

本发明提供的宫颈非典型病变诊断装置包括：存储器和处理器，存储器存储有计算机可执行指令、并存储有如权利要求1～7中任一权利要求宫颈非典型病变诊断模型，宫颈非典型病变诊断模型包括训练好的第一网络模型、第二网络模型和掩码生成模块；处理器与存储器通信连接，并配置为执行存储器存储的计算机可执行指令，应用时，计算机可执行指令在被执行时，实现以下步骤：

对于待预测类别的宫颈醋酸图和碘图采用所述步骤2)的方法进行处理后，分别输入训练好的第一网络模型和第二网络模型中，并计算确定掩码通道和主通道；

根据确定的掩码通道和主通道，使用步骤4)的方法输出预测分类结果。

优选的，选取掩码通道和主通道的方法为：

直接利用第一网络模型对醋酸图进行计算，获得各状态类型的概率，以最大概率作为P_max；

直接利用第二网络模型对碘图进行计算，获得各状态类型的概率，以最大概率作为P_max’；

比较P_max和P_max’的大小，若P_max>P_max’，则将输入醋酸图的网络模型作为掩码通道，输入碘图的网络模型作为主通道；反之，则将碘图的网络模型作为掩码通道，醋酸图的网络模型作为主通道。

与现有技术相比，本发明的有益效果为：

本发明使用多模态方法融合宫颈醋酸图和碘图的特征，并引入注意力机制，在特征图层级间进行特征融合，可以捕获模态之间更全面的相关性，从而减少了信息丢失，使模型可学习到更加丰富的评估信息，进行更综合的考量，提高分类准确率。

附图说明

图1为本发明实施例的对宫颈病变进行分类预测的流程图；

图2为本发明的网络模型中使用的残差瓶颈模块；

图3为本发明预测宫颈病变类别的网络模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1至图3，本实施例的基于多模态注意力模型的宫颈非典型病变诊断模型的获取过程如下：

S101获取训练数据

医生标注阴道镜检查图像，获取训练数据。首先使用传统阴道镜检查方法，将醋酸和碘溶液作用于患者宫颈表皮，拍摄受试图像，请专业医师审阅照片并将该患者的病级别划分为正常、LSIL、HSIL三类，使用该类别作为对应醋酸图和碘溶液图的标签，形成训练数据。

S102数据增强

将原始图像随机翻转，加入训练集，然后随机对训练集中的图像进行裁剪，获得不同大小的图像块，对图像块进行随机亮度调整、随机镜像翻转和随机颜色增强，最后将图像块缩放到512×512尺寸。

需要注意的是，上述预处理方法的随机状态在同一个样本中是相同的，即同一患者的醋酸图和碘图使用相同的随机增强方法。这确保两个图像的增强数据在训练期间保持同步。

S103数据归一化

数据归一化，对上一步的到的512×512图像块进行归一化处理，减去平均值并处以标准差，使图像数据中心化。

S104生成掩码通道与主通道

使用两个ResNet-50网络作为第一网络模型和第二网络模型，将处理后的醋酸图和碘图分别输入第一网络模型和第二网络模型中，并从两个通路输出预测的类别。使用交叉熵作为损失函数，获取两个模型的Loss，选用Loss较小的模型作为掩码通道，提供注意力信息给另一个主通道。

网络结构如图3所示，有两条自下而上的路径。左侧路径提供注意力机制中的掩码信息，称为掩码通道，右侧路径作为主要预测通路，称为主通道。每个路径的四个方块对应ResNet-50中的Conv2，Conv3，Conv4，Conv5层。将主通道中每层最后输出的特征图取出，记为C₂，C₃，C₄，C₅，掩码通道中亦是如此，记为C₂’，C₃’，C₄’，C₅’。本发明中使用掩码通道中的特征图来生成主通道的注意力掩码图，并与相应的特征图合并。

S105基于注意力机制融合模型

使用掩码通道中的特征图来生成主通道的注意力掩码图，并与相应的特征图合并。具体操作为：对于掩码通道中的每个特征图C_i’，首先使用1×1卷积层，将特征通道维度从N减少到256，从而降低模型复杂度，然后，分别传入尺寸为7×7，5×5，3×3和1×1的卷积滤波器，以提取图像的全局特征，由于醋酸图和碘图中的特征可能在空间上不对应，需要提取掩码通道中的全局信息，因此在C₂’，C₃’这类浅层特征上使用大内核大小(7×7和5×5)。之后，通过数个残差瓶颈模块，其结构如图2所示，在浅层使用更多的残差瓶颈模块，目的是增加感受野大小，提取更富的语义特征，并使浅层的特征更易理解。然后，再次使用1×1卷积操作，将特征通道维度恢复到原始尺寸N。最后，使用Sigmoid层将输出范围变为[0，1]，结果记为P_i。

经过变换后的P_i拥有与对应C_i相同的形状。P_i中的数值被作为主通道对应特征图的注意力，使用该值对主通道的数据进行增强，可描述为：

A_i(x)＝(1+P_i)×C_i(x)

即该值越高，主通道对应位置的数值就越被放大，使模型的注意力更加集中于该位置，称为注意力机制。然后融合后的A_i(x)被传入下一层，重复上过程，直至输出分类结果。

6)模型训练

使用两个通路后，会产生两个分类损失，使用下式来计算模型的总体损失：

L＝(1-λ)L_m+λL_p

其中L_m和L_p分别代表掩码通道和主通道的损失，此处设置λ为0.75，着重学习主通道的特征。迭代上述过程，使用损失函数优化模型，直至收敛。

至此，基于多模态注意力模型的宫颈非典型病变诊断模型训练完成，其包括训练好的第一网络模型、第二网络模型和掩码生成模块。

利用以上模型对宫颈非典型病变进行诊断的装置包括存储器和处理器，存储器存储有计算机可执行指令并存储有上述宫颈非典型病变诊断模型；处理器与存储器通信连接，并配置为执行存储器存储的计算机可执行指令；应用时，计算机可执行指令在被执行时，实现以下步骤来预测病变结果：

将需要诊断病变类别的样本的醋酸图和碘图，分别输入训练好的第一网络模型和第二网络模型中，输出结果，醋酸图三种类别的结果P_n，P_l，P_h，P_n，P_l，P_h以及碘图三种类别的结果P_n’，P_l’，P_h’。P_n，P_l，P_h分别表示醋酸图对应的正常、LSIL、HSIL三类的概率，P_n’，P_l’，P_h’分别表示碘图对应的正常、LSIL、HSIL三类的概率。在各自的结果中，分别取最大值P_max和P_max’，比较大小，若P_max>P_max’，则将醋酸图的模型作为掩码通道，碘图模型作为主通道；反之，若P_max≤P_max’，则将碘图的模型作为掩码通道，醋酸图模型作为主通道。使用上述步骤S105的方法融合模型，最后获取主通道的输出结果作为最后的预测概率。

Claims (9)

1.一种基于多模态注意力模型的宫颈非典型病变诊断模型，以宫颈样本对应的醋酸图和碘图作为输入，以该醋酸图和碘图产生非典型病变的概率作为输出，其特征在于，所述宫颈非典型病变诊断模型通过以下步骤获得：

1)对于同一宫颈样本的醋酸图和碘图，以宫颈样本对应的状态类型作为标签，形成训练数据；

2)依次对醋酸图和碘图进行数据增强和数据归一化处理；

3)使用两个ResNet-50网络作为第一网络模型和第二网络模型，将经步骤2)处理后的醋酸图和碘图分别输入第一网络模型和第二网络模型中，输出预测类别，并计算两个网络模型的Loss，选用Loss较小的网络模型作为掩码通道，另一个网络模型作为主通道；

4)针对作为掩码通道的ResNet-50网络中的每一层，将掩码通道中的特征图通过掩码生成模块生成主通道的注意力掩码图，与对应的主通道中的特征图进行融合，并传入主通道下一层，直至输出分类结果；

5)计算掩码通道和主通道分类结果的总体损失，并根据总体损失使用随机梯度下降法优化模型，直至收敛，训练好的第一网络模型、第二网络模型和掩码生成模块构成宫颈非典型病变诊断模型。

2.根据权利要求1所述的宫颈非典型病变诊断模型，其特征在于，步骤2)中，对醋酸图和碘图进行数据增强的步骤为：

将醋酸图和碘图的原始图像随机翻转后加入训练集；

随机对训练集中的图像进行裁剪，获得不同大小的图像块；

对图像块进行随机亮度调整、随机镜像翻转和随机颜色增强后，再将图像块缩放到512×512尺寸。

3.根据权利要求2所述的宫颈非典型病变诊断模型，其特征在于，所述步骤2)中，对经过数据增强处理后的醋酸图和碘图进行数据归一化处理的方法为：

针对醋酸图和碘图中512×512大小的图像块，每个像素减去像素的平均值后除以标准差，使图像数据中心化。

4.根据权利要求1所述的宫颈非典型病变诊断模型，其特征在于，步骤4)中，所述注意力掩码图的生成方法为：

4-1)对于掩码通道中的每个特征图C_i’，使用1×1卷积操作，将特征通道维度降到256；

4-2)将降维后的特征图传入卷积层，提取图像的全局特征；

4-3)使特征图通过若干个残差模块，增加感受野大小，从而提取更富的语义特征；

4-5)再次使用1×1卷积操作，使特征通道维度恢复到原始尺寸，形成注意力掩码图；

4-6)使用Sigmoid层将输出范围变为[0，1]。

5.根据权利要求4所述的宫颈非典型病变诊断模型，其特征在于，步骤4)中，生成的注意力掩码图与相应的主通道中的特征图进行融合的融合公式为：

A_i(x)＝(1+P_i)×C_i(x)

其中，A_i为融合后的特征图像，P_i为注意力掩码图，C_i为主通道中的特征图。

6.根据权利要求1所述的宫颈非典型病变诊断模型，其特征在于，步骤5)中，掩码通道和主通道分类结果的总体损失的计算公式为：

L＝(1-λ)L_m+λL_p

其中，L_m和L_p分别代表掩码通道和主通道的损失，λ为0.5～1的可调参数。

7.根据权利要求6所述的宫颈非典型病变诊断模型，其特征在于，所述的λ取值为0.75。

8.一种基于多模态注意力模型的宫颈非典型病变诊断装置，包括：存储器和处理器，所述存储器存储有计算机可执行指令、并存储有如权利要求1～7中任一权利要求所述的宫颈非典型病变诊断模型，宫颈非典型病变诊断模型包括训练好的第一网络模型、第二网络模型和掩码生成模块；所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于，

应用时，所述计算机可执行指令在被执行时，实现以下步骤：

对于待预测类别的宫颈醋酸图和碘图采用所述步骤2)的方法进行处理后，分别输入训练好的第一网络模型和第二网络模型中，并计算确定掩码通道和主通道；

根据确定的掩码通道和主通道，使用步骤4)的方法输出预测分类结果。

9.根据权利要求8所述的宫颈非典型病变诊断装置，其特征在于，所述的选取掩码通道和主通道的方法为：

直接利用第一网络模型对醋酸图进行计算，获得各状态类型的概率，以最大概率作为P_max；

直接利用第二网络模型对碘图进行计算，获得各状态类型的概率，以最大概率作为P_max’；

比较P_max和P_max’的大小，若P_max>P_max’，则将输入醋酸图的网络模型作为掩码通道，输入碘图的网络模型作为主通道；反之，则将碘图的网络模型作为掩码通道，醋酸图的网络模型作为主通道。