CN113724842A - 一种基于注意力机制的宫颈组织病理辅助诊断方法 - Google Patents

Abstract

本发明提供一种基于注意力机制的宫颈组织病理辅助诊断方法，包括将宫颈组织病理全玻片图像按比例r缩小，获取低分辨率图像；搭建并初始化注意力模块和分类模块；将低分辨率图像输入注意力模块中，计算注意力得分；获取注意力得分较高的像素在图像中的位置，截取设定大小k块；将小块输入训练分类模块，提取得分较高小块的特征，得出特征向量，对支持向量机分类器进行训练，输入训练好的支持向量机分类器，实现分类。提升了原有方法的诊断效率与准确率。对阳性宫颈组织病理全玻片图像中的病变区域进行定位，避免了阳性宫颈组织病理全玻片图像中阴性部分对分类模型的干扰。利用注意力机制检测宫颈组织病理全玻片图像中可疑病变区域。

Description

一种基于注意力机制的宫颈组织病理辅助诊断方法

技术领域

本发明涉及宫颈组织病理图像自动筛查分析领域，尤其是涉及一种基于注意力机制的宫颈组织病理辅助诊断方法。

背景技术

宫颈癌是一种常见的女性恶性肿瘤，尽早发现与尽早治疗对于降低宫颈癌的治愈率和死亡率至关重要。宫颈癌的癌前病变也被称为宫颈上皮内瘤变(CIN)，为了评估宫颈癌前病变的严重程度，将癌前病变分为3个等级(CIN1、CIN2、CIN3)。

宫颈组织病理诊断是宫颈诊断的金标准，是确诊宫颈癌的最后一步。但组织病理诊断完全依靠病理医生的专业知识和个人经验进行评估，该项工作费时费力，它要求病理医生具有良好的专业素养，而培养一位专业知识值得肯定和经验丰富的病理学专家，必须要经过长时间的培养和积累，培养过程所需的金钱和时间成本耗费大。同时结果的准确性受到医生个人经验、疲劳程度等主观性因素影响大。

现存人工评估的弊端，以及随着数字化病理的发展，病理实验室可以通过扫描拼接技术，得到大量的宫颈组织病理图像，为开发计算机辅助诊断系统，实现准确、高效、客观定量地分析组织学图像，自动学习宫颈癌组织学特征，进而对病理图像进行组织学分级诊断，辅助病理医生进行诊断，减轻其工作负担，提高诊断效率、为医生提供客观、准确的诊断结果。具有重要的临床意义。

目前在宫颈组织病理全玻片的诊断领域，国内外也有一定量的研究，但是由于具有标注的医学图像量少、宫颈组织病理图像本身存在的复杂性，针对宫颈组织病理全玻片图像的自动分类算法目前还处于理论阶段。目前的宫颈组织病理诊断算法，多数是在分割宫颈上皮的基础上，利用特征提取的方法实现宫颈癌前病变分级的分类算法。但这种方法这些方法步骤繁琐，效率低下，并且在实际的应用中，由于宫颈上皮图像的多样性，在分割宫颈上皮与特征提取的过程中难以达到医学辅助诊断算法所要求的准确率。利用深度学习算法实现宫颈上皮自动分类的方法很少，目前存在基于深度学习的分类模型，基本都是基于图像分块的技术，但是宫颈上皮的分级标准与宫颈上皮的组织结构由关系，直接基于图像分块训练，会割裂各层之间的关系，学习不到组织结构特征。为此我们提出一种基于注意力机制的宫颈组织病理辅助诊断方法及试验方法用于解决上述问题。

中国专利文献CN111242242A记载了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，包括：S1：将宫颈组织病理全玻片图像切分为设定大小的小块，每张全玻片图像生成的小块集合为一个包，去除包中空白块。S2：搭建CNN模型。S3：训练CNN指定轮数。S4：依次排列连接作为全玻片图像的特征向量。S5：对支持向量机分类器进行训练。S6:将需要进行分类的宫颈组织病理全玻片图像经S1及S4处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类，但是该方法步骤繁琐，效率低下，并且在实际的应用中，由于宫颈上皮图像的多样性，在分割宫颈上皮与特征提取的过程中难以达到医学辅助诊断算法所要求的准确率。宫颈上皮的分级标准与宫颈上皮的组织结构由关系，直接基于图像分块训练，会割裂各层之间的关系，学习不到组织结构特征。同时该分类方法没有突出注意力机制，不能自动聚焦于对高病发、高组织病变的区域，无法突出为医生强调应该注意的处理对象。记录图像的特征向量的数据过多，收集了太多无关细节，使用存在缺陷，需要改进。

发明内容

本发明提供了一种基于注意力机制的宫颈组织病理辅助诊断方法，解决现有技术中存在的现有宫颈组织病理全玻片图像自动分类方法效率低下、准确率不高的问题，在深度学习的基础上进行了改进，提供了一种基于注意力机制的宫颈组织病理辅助诊断方法，减轻病理医生工作负担，提高诊断效率、为医生提供客观、准确的诊断结果。

为解决上述技术问题，本发明所采用的技术方案是：一种基于注意力机制的宫颈组织病理辅助诊断方法及试验方法，包括以下步骤：S1、将宫颈组织病理全玻片图像按比例r缩小，获取全玻片图像的低分辨率图像；

S2、用卷积神经网络模型分别搭建注意力模块和分类模块，初始化注意力模块和分类模块的参数；

S3、将低分辨率图像输入注意力模块中，计算低分辨率图像中每个像素点的注意力得分；

S4、获取低分辨率图像中注意力得分较高的像素在全玻片图像中的相应位置，在相应位置截取设定大小的小块k块；

S5、将S4中截取的小块作为输入训练分类模块，将分类模块的最后一层全连接层作为特征提取器，提取全玻片图像中注意力得分较高区域k个小块的特征，按注意力得分排列连接作为该全玻片图像的特征向量；

S6、将S5中特征向量作为输入，对支持向量机分类器进行训练，得到训练好的向量机分类器；

S7、将需要进行分类的宫颈组织病理全玻片图像经S3、S4及S5中的处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。

优选方案中，S2中注意力模块卷积神经网络模型是搭建4层卷积神经网络，包括：

三层卷积层：每层卷积层后使用ReLU函数进行非线性激活；

softmax层：将注意力得分映射到0-1区间内。

优选方案中，S2中分类模块卷积神经网络模型是搭建41层卷积神经网络，包括：

卷积部分：包括卷积层、池化层；

残差部分：包括12个残差模块；

softmax层：将分类概率值映射到0-1区间内。

优选方案中，所述的ReLU函数为：

f(x)＝max(0，x)。

优选方案中，所述的softmax层为一个softmax函数，softmax函数为：

其中表示第i个神经元的输入，e为自然常数，∑_je^j表示所有神经元以e为底数以该神经元为指数的幂之和，S_i表示第i个神经元经过softmax后的结果。

优选方案中，S3中所述的注意力得分中，注意力模块输出与输入图像相同宽高的特征图，特征图中的值与输入图像一一对应为注意力得分。

优选方案中，分类模块的产生过程包括：

A1、计算低分辨率图像中各像素的注意力得分，在全玻片图像中的对应位置截取小块图像作为输入，对分类模块进行一轮训练；

A2、通过反向传播对注意力模块中的参数进行一次更新；

A3、重复步骤A1和步骤A2直到分类模块收敛。

优选方案中，所述的直到分类模块收敛，在于验证集的loss不再降低。

优选方案中，所述的loss为分类交叉熵损失(Categorical Crossentropy Loss)，公式为：

其中，p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布。

优选方案中，S6中的将S5中得到的特征向量作为输入，对支持向量机分类器进行训练，其中阳性样本产生的特征向量作为阳性训练数据，阴性样本产生的特征向量作为阴性训练数据。

本发明的有益效果为：本发明使用了一种新的分类方法，有效提升了原有方法的诊断效率与准确率。本发明突出注意力机制，为医生提供注意的处理对象区域，应用注意力机制捕捉到全玻片图像的特征向量高病发、高组织病变的区域，选择应该聚焦位置，产生更具分辨性的特征，提取突出的特征向量，从而获取较高细胞分辨性的图像，避免其他无关细节的全玻片图像对可疑病变区域图像的干扰，提升医生的诊断效率。本发明对深度学习的方法进行了改进，对阳性宫颈组织病理全玻片图像中的病变区域进行定位，避免了阳性宫颈组织病理全玻片图像中阴性部分对分类模型的干扰。本发明利用注意力机制检测宫颈组织病理全玻片图像中可疑病变区域，综合这些小块的特征获取宫颈组织病理全玻片图像的整体特征。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1是本发明的工作流程图；

图2是本发明注意力模块及分类模块训练流程图；

图3是本发明注意力模块网络结构图；

图4是本发明分类模块网络结构图。

具体实施方式

实施例1：

如图1-4中，一种基于注意力机制的宫颈组织病理辅助诊断方法及试验方法，包括S1、将宫颈组织病理全玻片图像按比例r缩小，获取全玻片图像的低分辨率图像；

S2、用卷积神经网络模型分别搭建注意力模块和分类模块，初始化注意力模块和分类模块的参数；

S3、将低分辨率图像输入注意力模块中，计算低分辨率图像中每个像素点的注意力得分；

S4、获取低分辨率图像中注意力得分较高的像素在全玻片图像中的相应位置，在相应位置截取设定大小的小块k块；

S5、将S4中截取的小块作为输入训练分类模块，将分类模块的最后一层全连接层作为特征提取器，提取全玻片图像中注意力得分较高区域k个小块的特征，按注意力得分排列连接作为该全玻片图像的特征向量；

S6、将S5中特征向量作为输入，对支持向量机分类器进行训练，得到训练好的向量机分类器；

S7、将需要进行分类的宫颈组织病理全玻片图像经S3、S4及S5中的处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。

优选方案中，S2中注意力模块卷积神经网络模型是搭建4层卷积神经网络，包括：

三层卷积层：每层卷积层后使用ReLU函数进行非线性激活；

softmax层：将注意力得分映射到0-1区间内。

优选方案中，S2中分类模块卷积神经网络模型是搭建41层卷积神经网络，包括：

卷积部分：包括卷积层、池化层；

残差部分：包括12个残差模块；

softmax层：将分类概率值映射到0-1区间内。

优选方案中，所述的ReLU函数为：

f(x)＝max(0，x)。

优选方案中，所述的softmax层为一个softmax函数，softmax函数为：

其中表示第i个神经元的输入，e为自然常数，∑_je^j表示所有神经元以e为底数以该神经元为指数的幂之和，S_i表示第i个神经元经过softmax后的结果。

随机初始化注意力模块中的参数，参数随机初始化服从高斯分布：

其中μ为期望，σ为标准差，σ²为方差。

优选方案中，S3中所述的注意力得分中，注意力模块输出与输入图像相同宽高的特征图，特征图中的值与输入图像一一对应为注意力得分。

优选方案中，分类模块的产生过程包括：

A1、计算低分辨率图像中各像素的注意力得分，在全玻片图像中的对应位置截取小块图像作为输入，对分类模块进行一轮训练；

A2、通过反向传播对注意力模块中的参数进行一次更新；

A3、重复步骤A1和步骤A2直到分类模块收敛。分类模块训练流程如附图4所示。

所述的基于随机梯度下降算法训练分类模块，其特征在于采用Adam优化器，学习率指数衰减，优选地，初始学习率取值为0.0001，batch_size取值为1，权重衰减取值为0.0001。

所述的直到分类模块收敛，验证集的loss不再降低。

所述的loss使用分类交叉熵损失(Categorical Crossentropy Loss)：

其中，p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布。

上述的实施案例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：包括以下步骤：S1、将宫颈组织病理全玻片图像按比例r缩小，获取全玻片图像的低分辨率图像；

S2、用卷积神经网络模型分别搭建注意力模块和分类模块，初始化注意力模块和分类模块的参数；

S3、将低分辨率图像输入注意力模块中，计算低分辨率图像中每个像素点的注意力得分；

S4、获取低分辨率图像中注意力得分较高的像素在全玻片图像中的相应位置，在相应位置截取设定大小的小块k块；

S5、将S4中截取的小块作为输入训练分类模块，将分类模块的最后一层全连接层作为特征提取器，提取全玻片图像中注意力得分较高区域k个小块的特征，按注意力得分排列连接作为该全玻片图像的特征向量；

S6、将S5中特征向量作为输入，对支持向量机分类器进行训练，得到训练好的向量机分类器；

S7、将需要进行分类的宫颈组织病理全玻片图像经S3、S4及S5中的处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。

2.根据权利要求1所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：S2中注意力模块卷积神经网络模型是搭建4层卷积神经网络，包括：

三层卷积层：每层卷积层后使用ReLU函数进行非线性激活；

softmax层：将注意力得分映射到0-1区间内。

3.根据权利要求1所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：S2中分类模块卷积神经网络模型是搭建41层卷积神经网络，包括：

卷积部分：包括卷积层、池化层；

残差部分：包括12个残差模块；

softmax层：将分类概率值映射到0-1区间内。

4.根据权利要求2所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：所述的ReLU函数为：

f(x)＝max(0，x)。

5.根据权利要求2或3所述任意一项一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：所述的softmax层为一个softmax函数，softmax函数为：

其中表示第i个神经元的输入，e为自然常数，∑_je^j表示所有神经元以e为底数以该神经元为指数的幂之和，S_i表示第i个神经元经过softmax后的结果。

6.根据权利要求1所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：S3中所述的注意力得分中，注意力模块输出与输入图像相同宽高的特征图，特征图中的值与输入图像一一对应为注意力得分。

7.根据权利要求1所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：分类模块的产生过程包括：

A1、计算低分辨率图像中各像素的注意力得分，在全玻片图像中的对应位置截取小块图像作为输入，对分类模块进行一轮训练；

A2、通过反向传播对注意力模块中的参数进行一次更新；

A3、重复步骤A1和步骤A2直到分类模块收敛。

8.根据权利要求7所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：所述的直到分类模块收敛，在于验证集的loss不再降低。

9.根据权利要求8所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：所述的loss为分类交叉熵损失(Categorical Crossentropy Loss)，公式为：

其中，p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布。

10.根据权利要求1所述一种基于注意力机制的宫颈组织病理辅助诊断方法，其特征是：S6中的将S5中特征向量作为输入，对支持向量机分类器进行训练，其中阳性样本产生的特征向量作为阳性训练数据，阴性样本产生的特征向量作为阴性训练数据。

Images