CN113378791A - 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法 - Google Patents

Abstract

本发明公开了一种基于双注意力机制和多尺度特征融合的宫颈液基细胞分类方法，其步骤包括：1获取已标注好的N类宫颈细胞图像；2建立基于多头自注意力、通道注意力和多尺度特征融合的深度学习网络；3构建宫颈细胞图像分类器；4利用建立好的分类器实现预测图像类别。本发明通过自注意力机制增强了对图像内部特征相关性的捕捉，并结合通道注意力与多尺度特征融合克服了自注意力机制缺少通道和多尺度信息的缺陷，完成了对宫颈细胞的精准分类。

Description

基于双注意力机制和多尺度特征融合的宫颈细胞分类方法

技术领域

本发明涉及计算机视觉领域，特别涉及图像分类技术，尤其涉及一种基于双注意力机制和多尺度特征融合的宫颈液基细胞分类方法。

背景技术

宫颈细胞分类在宫颈癌早期筛查中具有重要的临床意义。目前宫颈癌细胞学的诊断主要依据病理医生在显微镜下人工阅片进行，但目前我国病理科自动化程度低，诊断时间长，超负荷的工作量极大地增加了病理医生的工作压力，影响到病理医生阅片效率。因此，需要一种数字化的宫颈细胞分类方法，辅助病理医生进行宫颈细胞的分类，减轻病理医生的阅片负担，缓解病理医生的工作压力，提高病理医生的阅片效率。

传统的阅片方式完全依赖于病理医生的主观判断，会受到病理医生经验及知识水平的限制和影响，容易导致误诊漏诊。

发明内容

本发明为克服现有技术的不足之处，提出一种基于双注意力机制和多尺度特征融合的宫颈细胞分类方法，以期能通过自注意力机制增强对细胞图像内部特征相关性的捕捉，并结合通道注意力与多尺度的特征融合，以提高对宫颈细胞分类的精准度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于双注意力机制和多尺度特征融合的宫颈细胞分类方法的特点是按如下步骤进行：

步骤1、获取训练样本：

获取N种类别且维度为H×W×C的宫颈细胞图像样本并对进行归一化处理，得到归一化后的训练样本集，记为S＝{S₁,S₂,...,S_n,...,S_N}；其中，S_n表示第n类宫颈细胞图像样本，且

表示第n类归一化后的宫颈细胞图像样本中的第p个图像；H表示图像高度，W表示图像宽度，C表示图像通道，n＝1,2,...,N；

步骤2、建立深度学习网络，所述深度学习网络包括：多尺度特征提取模块、多头自注意力模块、通道注意力模块和多尺度特征融合模块；

步骤2.1、构建多尺度特征提取模块：

所述多尺度特征提取模块由ResNeXt50网络的前四个卷积阶段构成，依次包括：第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段；

将第p个图像

输入所述多尺度特征提取模块中，并经过所述第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段分别得到第一卷积阶段输出的特征图

第二卷积阶段输出的特征图

第三卷积阶段输出的特征图

第四卷积阶段输出的特征图

步骤2.2、构建多头自注意力与通道注意力融合模块：

所述多头自注意力模块与通道注意力融合模块是由L个多头自注意力与通道注意力融合层串联而成；

第四卷积阶段输出的特征图

作为第1个多头自注意力与通道注意力融合层的输入，第c个多头自注意力与通道注意力融合层的输出为第c+1个多头自注意力与通道注意力融合层的输入；

任意第c个多头自注意力与通道注意力融合层包括：2个卷积核为1×1的卷积层、M个并联的自注意力层、自注意力融合层、通道注意力模块；c＝1,2,...,L；

将第四卷积阶段输出特征图

输入第1个多头自注意力与通道注意力融合层中，经过第一卷积核为1×1的卷积层的降维处理后分别输入至M个自注意力层中进行自注意力计算得到M个自注意力层输出；

所述自注意力融合层将输出M个自注意力层输出首尾相连后再进行线性变换处理，得到自注意力融合结果z；

所述通道注意力模块对所述自注意力融合结果z进行全局平均池化操作后，得到池化结果z′，再利用式(1)所示的得到权重s：

s＝σ(W₂δ(W₁z′)) (1)

式(1)中，δ代表ReLU函数，σ代表Sigmoid函数，W₁,W₂为全连接层权重矩阵；

所述通道注意力模块将权重s与自注意力融合结果z相乘后得到重定标的通道注意加权特征映射并输出；

当c＝1时，将第1个多头自注意力与通道注意力融合层中通道注意力模块的输出与第四卷积阶段输出特征图

相加并经过第二卷积核为1×1的卷积层的升维处理后，输入下一个多头自注意力与通道注意力融合层；

当c≠1且c≠L时，将第c个多头自注意力与通道注意力融合层中通道注意力模块的输出与第c-1个多头自注意力与通道注意力融合层的输出相加并第二卷积核为1×1的卷积层的升维处理后，输入第c+1个多头自注意力与通道注意力融合层；

当c＝L时，将第L个多头自注意力与通道注意力融合层中通道注意力模块的输出与第L-1个多头自注意力与通道注意力融合层中通道注意力模块的输出相加并经过第二卷积核为1×1的卷积层的升维处理后，得到多头自注意力模块与通道注意力融合模块的特征图

并输出；

步骤2.3、构建多尺度特征融合模块：

将5个特征图

输入所述多尺度特征融合模块中，并分别经过一个BN层进行归一化处理，得到5个BN层的输出结果并进行叠加后输出特征图

步骤2.4、将多尺度特征融合模块输出的特征图

输入至一个全连接层后再输入至Softmax分类器中，从而得到一个N维分类结果向量；

步骤3、构建宫颈细胞图像分类器：

建立Hinge损失函数，并将训练样本集S输入所述深度学习网络进行训练后，采用反向传播算法对所述Hinge损失函数进行优化求解，从而调整所述深度学习网络中所有参数，得到宫颈细胞图像分类器用于宫颈细胞图像的分类。

与已有技术相比，本发明的有益效果体现在：

本发明使用一种基于多头自注意力和通道注意力融合的宫颈液基细胞分类方法，构建了一个能够对N类宫颈细胞图像进行分类的分类模型，以深度学习为代表的“特征学习”，让计算机能以大数据为基础自动寻找目标的高维相关特征值，建立数据处理通道模型，从而能有效对宫颈细胞图像进行分类，完成对宫颈细胞图像进行辅助阅片，提高了分类效率和准确性，降低了人工分类的劳动强度以及检测设备要求。

附图说明

图1为本发明方法的流程图；

图2为本发明深度学习网络的结构图；

图3为本发明的多头自注意力与通道注意力融合模块的示意图；

图4为本发明的宫颈细胞图像训练样本图。

具体实施方式

本实施例中，一种基于双注意力机制和多尺度特征融合的宫颈液基细胞分类方法，如图1所示，具体步骤如下：

步骤1、获取训练样本：

获取N种类别且维度为H×W×C的宫颈细胞图像样本并对进行归一化处理，得到归一化后的训练样本集，记为S＝{S₁,S₂,...,S_n,...,S_N}；其中，S_n表示第n类宫颈细胞图像样本，且

表示第n类归一化后的宫颈细胞图像样本中的第p个图像；H表示图像高度，W表示图像宽度，C表示图像通道，n＝1,2,...,N；本实施例利用公开的宫颈细胞图像数据集Sipakmed做训练和测试，如图4所示，其包含了5种类别的宫颈细胞图像，包括：表中层细胞、旁基底细胞、挖空细胞、角化不良细胞、化生细胞；将数据集Sipakmed的80％用于训练，其余20％用于测试；

步骤2、建立如图2所示的深度学习网络，深度学习网络包括：多尺度特征提取模块、多头自注意力模块、通道注意力模块和多尺度特征融合模块；

步骤2.1、构建多尺度特征提取模块：

多尺度特征提取模块由ResNeXt50网络的前四个卷积阶段构成，依次包括：第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段；

将第p个图像

输入多尺度特征提取模块中，并经过第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段分别得到第一卷积阶段输出的特征图

第二卷积阶段输出的特征图

第三卷积阶段输出的特征图

第四卷积阶段输出的特征图

步骤2.2、构建多头自注意力与通道注意力融合模块：

多头自注意力模块与通道注意力融合模块是由L个多头自注意力与通道注意力融合层串联而成，在本实施例中，多头自注意力与通道注意力融合层的个数L取3；

第四卷积阶段输出的特征图

作为第1个多头自注意力与通道注意力融合层的输入，第c个多头自注意力与通道注意力融合层的输出为第c+1个多头自注意力与通道注意力融合层的输入；

如图3所示，任意第c个多头自注意力与通道注意力融合层包括：2个卷积核为1×1的卷积层、M个并联的自注意力层、自注意力融合层、通道注意力模块；c＝1,2,...,L；

将第四卷积阶段输出特征图

输入第1个多头自注意力与通道注意力融合层中，经过第一卷积核为1×1的卷积层的降维处理后分别输入至M个自注意力层中进行自注意力计算得到M个自注意力层输出；在本实施例中，将输入特征图

分别与三个权重矩阵W_m ^Q,W_m ^K,W_m ^V相乘得到

并将相对位置编码

相加得到

将

分别

相乘，最后乘积两者相加并通过Softmax函数激活后与

相乘得到输出，具体公式如式(1)所示：

式(1)中，

自注意力融合层将输出M个自注意力层输出首尾相连后再进行线性变换处理，得到自注意力融合结果z，在本实施例中，自注意力层的个数M取4；

通道注意力模块对自注意力融合结果z进行全局平均池化操作后，得到池化结果z′，再利用式(2)所示的得到权重s：

s＝σ(W₂δ(W₁z′)) (2)

式(2)中，δ代表ReLU函数，σ代表Sigmoid函数，W₁,W₂为全连接层权重矩阵；

通道注意力模块将权重s与自注意力融合结果z相乘后得到重定标的通道注意加权特征映射并输出；

当c＝1时，将第1个多头自注意力与通道注意力融合层中通道注意力模块的输出与第四卷积阶段输出特征图

相加并经过第二卷积核为1×1的卷积层的升维处理后，输入下一个多头自注意力与通道注意力融合层；

当c≠1且c≠L时，将第c个多头自注意力与通道注意力融合层中通道注意力模块的输出与第c-1个多头自注意力与通道注意力融合层的输出相加并第二卷积核为1×1的卷积层的升维处理后，输入第c+1个多头自注意力与通道注意力融合层；

当c＝L时，将第L个多头自注意力与通道注意力融合层中通道注意力模块的输出与第L-1个多头自注意力与通道注意力融合层中通道注意力模块的输出相加并经过第二卷积核为1×1的卷积层的升维处理后，得到多头自注意力模块与通道注意力融合模块的特征图

并输出；

步骤2.3、构建多尺度特征融合模块：

将5个特征图

输入多尺度特征融合模块中，并分别经过一个BN层进行归一化处理，得到5个BN层的输出结果并进行叠加后输出特征图

利用BN层做归一化操作，加快模型收敛速度；

步骤2.4、将多尺度特征融合模块输出的特征图

输入至一个全连接层后再输入至Softmax分类器中，从而得到一个N维分类结果向量；

步骤3、构建宫颈细胞图像分类器：

建立如式(3)所示的Hinge损失函数，并将训练样本集S输入深度学习网络进行训练后，采用反向传播算法对Hinge损失函数进行优化求解，从而调整深度学习网络中的所有参数，得到宫颈细胞图像分类器用于宫颈细胞图像的分类：

式(3)中，s_j表示样本i属于第j类的得分，y_i表示样本i的真实类别；

表示样本i在真实类别y_i上的得分，L_i表示在样本i上的分类损失。

Claims (1)

1.一种基于双注意力机制和多尺度特征融合的宫颈细胞分类方法，其特征是按如下步骤进行：

步骤1、获取训练样本：

获取N种类别且维度为H×W×C的宫颈细胞图像样本并对进行归一化处理，得到归一化后的训练样本集，记为S＝{S₁,S₂,...,S_n,...,S_N}；其中，S_n表示第n类宫颈细胞图像样本，且

表示第n类归一化后的宫颈细胞图像样本中的第p个图像；H表示图像高度，W表示图像宽度，C表示图像通道，n＝1,2,...,N；

步骤2、建立深度学习网络，所述深度学习网络包括：多尺度特征提取模块、多头自注意力模块、通道注意力模块和多尺度特征融合模块；

步骤2.1、构建多尺度特征提取模块：

所述多尺度特征提取模块由ResNeXt50网络的前四个卷积阶段构成，依次包括：第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段；

将第p个图像

输入所述多尺度特征提取模块中，并经过所述第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段分别得到第一卷积阶段输出的特征图

第二卷积阶段输出的特征图

第三卷积阶段输出的特征图

第四卷积阶段输出的特征图

步骤2.2、构建多头自注意力与通道注意力融合模块：

所述多头自注意力模块与通道注意力融合模块是由L个多头自注意力与通道注意力融合层串联而成；

第四卷积阶段输出的特征图

作为第1个多头自注意力与通道注意力融合层的输入，第c个多头自注意力与通道注意力融合层的输出为第c+1个多头自注意力与通道注意力融合层的输入；

任意第c个多头自注意力与通道注意力融合层包括：2个卷积核为1×1的卷积层、M个并联的自注意力层、自注意力融合层、通道注意力模块；c＝1,2,...,L；

将第四卷积阶段输出特征图

输入第1个多头自注意力与通道注意力融合层中，经过第一卷积核为1×1的卷积层的降维处理后分别输入至M个自注意力层中进行自注意力计算得到M个自注意力层输出；

所述自注意力融合层将输出M个自注意力层输出首尾相连后再进行线性变换处理，得到自注意力融合结果z；

所述通道注意力模块对所述自注意力融合结果z进行全局平均池化操作后，得到池化结果z′，再利用式(1)所示的得到权重s：

s＝σ(W₂δ(W₁z′)) (1)

式(1)中，δ代表ReLU函数，σ代表Sigmoid函数，W₁,W₂为全连接层权重矩阵；

所述通道注意力模块将权重s与自注意力融合结果z相乘后得到重定标的通道注意加权特征映射并输出；

当c＝1时，将第1个多头自注意力与通道注意力融合层中通道注意力模块的输出与第四卷积阶段输出特征图

相加并经过第二卷积核为1×1的卷积层的升维处理后，输入下一个多头自注意力与通道注意力融合层；

当c≠1且c≠L时，将第c个多头自注意力与通道注意力融合层中通道注意力模块的输出与第c-1个多头自注意力与通道注意力融合层的输出相加并第二卷积核为1×1的卷积层的升维处理后，输入第c+1个多头自注意力与通道注意力融合层；

当c＝L时，将第L个多头自注意力与通道注意力融合层中通道注意力模块的输出与第L-1个多头自注意力与通道注意力融合层中通道注意力模块的输出相加并经过第二卷积核为1×1的卷积层的升维处理后，得到多头自注意力模块与通道注意力融合模块的特征图

并输出；

步骤2.3、构建多尺度特征融合模块：

将5个特征图

输入所述多尺度特征融合模块中，并分别经过一个BN层进行归一化处理，得到5个BN层的输出结果并进行叠加后输出特征图

步骤2.4、将多尺度特征融合模块输出的特征图

输入至一个全连接层后再输入至Softmax分类器中，从而得到一个N维分类结果向量；

步骤3、构建宫颈细胞图像分类器：

建立Hinge损失函数，并将训练样本集S输入所述深度学习网络进行训练后，采用反向传播算法对所述Hinge损失函数进行优化求解，从而调整所述深度学习网络中所有参数，得到宫颈细胞图像分类器用于宫颈细胞图像的分类。

Images