CN113222044A - 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法 - Google Patents

Abstract

本发明涉及一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：步骤S1、采集训练样本图像数据；步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；步骤S3、构建尺度关联融合层；步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络。该基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率。

Description

一种基于三元注意力和尺度关联融合的宫颈液基细胞分类 方法

技术领域

本发明属于数字图像处理与医学交叉技术领域，具体涉及一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法。

背景技术

宫颈细胞分类在宫颈癌早期筛查中具有重要的临床意义。目前宫颈癌细胞学的诊断主要依据病理医生在显微镜下人工阅片进行，但目前我国病理科自动化程度低，诊断时间长，超负荷的工作量严重地影响了病理诊断的质量，降低了筛查的准确性，漏诊误诊现象时有发生。因此，需要一种数字化的宫颈细胞分类方法，辅助病理医生进行宫颈细胞的分类，减轻病理医生的阅片负担，提高病理医生的诊断精度。

发明内容

本发明的目的就在于为了解决上述问题而提供一种结构简单，设计合理的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法。

本发明通过以下技术方案来实现上述目的：

一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：

步骤S1、采集训练样本图像数据；

步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；

步骤S3、构建尺度关联融合层；

步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络；

步骤S5、将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整所述基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别所述训练样本图像数据的分类器；

步骤S6、将待测样本图像数据输入分类器并获取分类结果。

作为本发明的进一步优化方案，所述训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据。

作为本发明的进一步优化方案，所述尺度关联融合层的构建包括以下具体步骤：

1)、将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；

2)、将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；

3)、将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；

4)、将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射。

作为本发明的进一步优化方案，基于三元注意力模块和尺度关联融合层的深度网络搭建过程包括以下具体步骤：

1)、将50层的残差网络每个阶段中的3*3卷积替换为多头自注意层，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；

2)、将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；

3)、将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；

4)、将上述相加的结果输入到Softmax分类器，获得一个9维向量。作为本发明的进一步优化方案，所述带权重的交叉熵损失函数为：

其中，w(i)为样本第i类的损失权重，p(x_i)为样本x_i的真实类别，q(x_i)为样本x_i的预测类别，n为样本总数，c_i为第i类的样本数目。

本发明的有益效果在于：

1)本发明取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率；

2)本发明结合大量标注宫颈细胞图像数据，构建了一个能够对9类宫颈细胞图像进行分类的分类模型，可对未阅宫颈细胞图像进行分类，有利于减轻病理医生的阅片负担，同时本发明方法分类精度高，适合在工程实践当中应用，具有广阔的应用价值与市场前景。

附图说明

图1是本发明的流程框架图；

图2是本发明的宫颈细胞训练样本图。

具体实施方式

下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

实施例1

如图1所示，一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，包括以下步骤：

步骤S1、采集训练样本图像数据；训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据；

步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；注意力机制使得模型对输入数据或特征图上的不同部分对应的专注度不同，能够忽略无关信息而关注重点信息，使用注意力机制，能够对数据的特征进行更有效的学习，提高宫颈细胞分类的精度。

步骤S3、构建尺度关联融合层；尺度关联融合层的构建包括以下具体步骤：

1)、将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；

2)、将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；

3)、将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；

4)、将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射。

步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络；基于三元注意力模块和尺度关联融合层的深度网络搭建过程包括以下具体步骤：

1)、将50层的残差网络(Resnet)每个阶段中的3*3卷积替换为多头自注意层(Multi-Head Self-Attention，MHSA)，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；

2)、将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；

3)、将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；

4)、将上述相加的结果输入到Softmax分类器，获得一个9维向量。

步骤S5、将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别训练样本图像数据的分类器；其中，带权重的交叉熵损失函数为：

其中，w(i)为样本第i类的损失权重，p(x_i)为样本x_i的真实类别，q(x_i)为样本x_i的预测类别，n为样本总数，c_i为第i类的样本数目。

步骤S6、将待测样本图像数据输入分类器并获取分类结果，可预测未识别的样本图像的类别，具体为输入样本图像，加载上述步骤S5得到优化后的基于三元注意力和尺度关联融合的深度网络的网络结构与权重参数，将图像输入至上述深度网络中得到分类结果。

本发明取传统卷积神经网络的中间结果输入三元注意力模块和尺度关联融合层，对数据的特征进行更加有效的学习，从而丰富了传统卷积神经网络所提取的特征，提高了结果正确率，并结合大量标注宫颈细胞图像数据，构建了一个能够对九类宫颈细胞图像进行分类的分类模型，可对未阅宫颈细胞图像进行分类，有利于减轻病理医生的阅片负担，分类精度高，可有效的减少病理医生对宫颈细胞分类的工作强度，适合在工程实践当中应用，具有广阔的应用价值与市场前景。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于，包括以下步骤：

步骤S1、采集训练样本图像数据；

步骤S2、构造三元注意力模块，将输入数据分为三个分支并分别计算通道维度和空间维度的注意权重，将三个分支的权重以取平均值的方式进行聚合；

步骤S3、构建尺度关联融合层；

步骤S4、搭建基于三元注意力模块和尺度关联融合层的深度网络；

步骤S5、将训练样本图像数据输入基于三元注意力模块和尺度关联融合层的深度网络中进行训练，通过反向传播算法不断优化带权重的交叉熵损失函数，并调整所述基于三元注意力模块和尺度关联融合层的深度网络的参数，得到能够识别所述训练样本图像数据的分类器；

步骤S6、将待测样本图像数据输入分类器并获取分类结果。

2.根据权利要求1所述的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于：所述训练样本图像数据包括正常表层细胞、正常中底层细胞、粒细胞、腺细胞、非典型鳞状细胞、挖空细胞、高核浆比细胞、淋巴细胞以及成团细胞的图像数据。

3.根据权利要求1所述的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于，所述尺度关联融合层的构建包括以下具体步骤：

1)、将输入数据分别进行最大池化操作，将池化后的结果进行连接得到一个向量；

2)、将上述向量输入权值共享的全连接层学习尺度之间的非线性相互作用；

3)、将线性变换后获得的结果通过sigmoid函数进行激活并得到注意力权重；

4)、将尺度关联融合层各尺度原始输入与相应尺度的注意力权重相乘，得到重定标的注意加权特征映射。

4.根据权利要求1所述的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于，基于三元注意力模块和尺度关联融合层的深度网络搭建过程包括以下具体步骤：

1)、将50层的残差网络每个阶段中的3*3卷积替换为多头自注意层，以此替换后的残差网络为主干网络，分别取主干网络的第二、第三和第四个阶段的输出作为三个分支输入三元注意力模块中；

2)、将三元注意力模块输出的三个分支数据输入尺度关联融合层中实现对原始特征的重标定；

3)、将尺度关联融合层的三个输出数据分别经过线性变换后与主干网络最后全连接层的输出相加；

4)、将上述相加的结果输入到Softmax分类器，获得一个9维向量。

5.根据权利要求1所述的一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法，其特征在于，所述带权重的交叉熵损失函数为：

其中，w(i)为样本第i类的损失权重，p(x_i)为样本x_i的真实类别，q(x_i)为样本x_i的预测类别，n为样本总数，c_i为第i类的样本数目。

Images