CN115830592A

CN115830592A - 一种重叠宫颈细胞分割方法及系统

Info

Publication number: CN115830592A
Application number: CN202210968975.8A
Authority: CN
Inventors: 高艳娇; 丁艳静; 李庆华
Original assignee: Qilu University of Technology; Shandong First Medical University and Shandong Academy of Medical Sciences
Current assignee: Qilu University of Technology; Shandong First Medical University and Shandong Academy of Medical Sciences
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2023-03-21

Abstract

本发明公开了一种重叠宫颈细胞分割方法、系统、电子设备和计算机可读存储介质，属于医学图像处理技术领域；包括获取重叠宫颈细胞图像数据集；通过数据增强对重叠宫颈细胞图像数据集进行扩充，将得到的数据集分为测试集和验证集；构建重叠宫颈细胞分割模型，将测试集输入重叠宫颈细胞分割模型，训练重叠宫颈细胞分割模型；将验证集输入训练好的重叠宫颈细胞分割模型，验证模型效果，获取重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。提高了重叠宫颈细胞的分割精度，降低了人工成本，解决了现有技术中对于重叠度高的宫颈细胞分割效果精度不高、无法自适应调整感受野、忽略细胞图像底层特征信息提取的问题。

Description

一种重叠宫颈细胞分割方法及系统

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种重叠宫颈细胞分割方法及系统。

背景技术

这里的陈述仅提供与本发明相关的背景技术，而不必然地构成现有技术。

宫颈癌筛查可实现对宫颈癌的早发现、早预防，筛查主要是通过经验丰富的医师人工筛查，但随着筛查需求增多，工作量增大导致医师的工作效率下降，筛查准确度降低。因此，借助计算机图像处理进行细胞筛查能够在保证准确率的基础上降低人工成本提高工作效率。

深层卷积神经网络在处理大量图像数据量时通过降维处理，实现降低成本提高工作效率，并且在图像数字化的过程中保留图像原有特征，提升图像处理准确率。因此深层卷积神经网络在图像分割领域有较好的应用。

以FCN为基础改进的U-Net其完全对称的U型结构是的前后特征融合得更为彻底，使得高低分辨率信息在目标图片中得以增加；Yolo使用一个单一的卷积网络同时预测出多个边界盒和边界盒的特性，在保证较高准确率的情况下是实现了快速进行目标检测和识别；RCNN将CNN引入到目标检测领域，显著提高了目标检测效果，通过候选区域生成、特征提取、类别判断和位置精修四个步骤最终实现目标检测，为目标检测提供了一个新的方法；Faster-RCNN引入了 RPN网络使整个网络实现了端到端预测，使用金字塔模型解决RCNN裁剪尺度变化的问题，通过对感兴趣区域进行分类提高了候选框采集的速度；何凯明在Faster-RCNN基础上添加一个分支网络，提出了Mask RCNN分割算法，能够实现目标检测与目标实例分割同时完成，将目标检测带到了一个新的阶段。

综上所述，现有的细胞分割算法存在以下四个问题：(1)传统分割方法需要人工干预，无法解决人工成本消耗问题；(2)现有算法对重叠度高的宫颈细胞分割效果精度不高；(3)传统Mask RCNN算法感受野固定不变，针对不同形态的宫颈细胞不能自适应的调整感受野大小；(4)传统Mask RCNN算法更关注于高层特征，忽视细胞图像底层特征信息的获取。

发明内容

为了解决现有技术的不足，本申请提供了一种重叠宫颈细胞分割方法、系统、电子设备及计算机可读存储介质，降低人工成本消耗，对重叠宫颈细胞进行高精度分割。

第一方面，本申请提供了一种重叠宫颈细胞分割方法；

一种重叠宫颈细胞分割方法，包括：

获取重叠宫颈细胞图像数据集；通过数据增强对重叠宫颈细胞图像数据集进行扩充，将得到的数据集分为测试集和验证集；

构建重叠宫颈细胞分割模型，将测试集输入重叠宫颈细胞分割模型，训练重叠宫颈细胞分割模型；

将验证集输入训练好的重叠宫颈细胞分割模型，验证模型效果，获取重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

第二方面，本申请提供了一种基于Mask-RCNN改进的重叠宫颈细胞分割系统；

一种基于Mask-RCNN改进的重叠宫颈细胞分割系统，包括：

数据集构建模块，用于获取重叠宫颈细胞图像数据集；通过数据增强对重叠宫颈细胞图像数据集进行扩充，将得到的数据集分为测试集和验证集；

重叠宫颈细胞分割模型构建模块，用于构建重叠宫颈细胞分割模型，将测试集输入重叠宫颈细胞分割模型，训练重叠宫颈细胞分割模型；

重叠宫颈细胞分割模块，用于将验证集输入训练好的重叠宫颈细胞分割模型，验证模型效果，获取重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

第三方面，本申请提供了一种电子设备；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述重叠宫颈细胞分割方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质；

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述重叠宫颈细胞分割方法的步骤。

与现有技术相比，本申请的有益效果是：

1、本申请设计了一种基于可变形卷积网络的检测网络，强化网络对特征的学习能力，可变形卷积通过不断学习可以更好地获取宫颈细胞的结构和位置信息，从而得到更为准确的分割结果；

2、本申请设计了一种基于卷积注意力的特征提取网络，强化网络对宫颈细胞边缘特征的提取能力；

3、无需人工干预，降低了人工成本的消耗。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请实施例提供的流程示意图；

图2为本申请实施例提供的重叠宫颈细胞分割模型的架构示意图；

图3为本申请实施例提供的构建ResNet网络为可变形ResNet网络图示意图；

图4为本申请实施例提供的卷积采样点示意图，其中，图4(a)为标准卷积采样点示意图，图4(b)为可变形卷积采样点示意图；

图5为本申请实施例提供的加入CBAM模块后改进的分割分支的架构示意图；

图6为本申请实施例提供的通道注意力模块的架构示意图；

图7为本申请实施例提供的空间注意力模块的架构示意图；

图8为本申请实施例提供的分割掩膜展示图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

术语解释：

Mask-RCNN：一种实例分割算法，在实现目标检测的同时，把目标实例分割。

ResNet网络：ResNet是一种残差网络，ResNet的引入可以解决随着神经网络层数加深造成的梯度爆炸和梯度消失问题。

RPN：Region Proposal Network(区域候选网络)，用于生成候选区域。

ROI Align：Mask-RCNN中为解决ROI Pooling(感兴趣区域池化)造成的区域不匹配问题。

CBAM模块：Convolutional Block Attention Module，一种卷积注意力机制。

实施例一

本申请提供了一种重叠宫颈细胞分割方法。

一种重叠宫颈细胞分割方法，包括：

进一步的，重叠宫颈细胞分割模型包括基于可变形卷积的ResNet网络、区域提取网络RPN、感兴趣匹配网络ROI Align，其中，基于可变形卷积的ResNet 网络中的残差模块串联CBAM模块。

进一步的，可变形卷积后的输出结果为

其中，X表示输入图像的特征关系；ω表示采样点的权重，S_n表示在矩形区域S中的第n个位置，ΔS_n为可学习的偏移量。

进一步的，利用可变形卷积的ResNet网络中不同尺度的残差模块提取重叠宫颈细胞图像的特征信息，并对每个残差模块提取的特征信息进行池化操作，得到不同尺度的特征图。

进一步的，RPN在获取的不同尺度的特征图上设置滑动窗口，获取目标区域；在目标区域输入ROI Align，获取目标区域坐标框的精确坐标；将ROI Align 输出的特征图分别进行分类、回归和Mask生成，得到重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

进一步的，从ISBI(生物医学成像国际研讨会)数据集中获取所需重叠宫颈细胞图像，将所需重叠宫颈细胞图像转换为coco格式。

进一步的，将重叠宫颈细胞图像数据集中的图像进行随机翻转、旋转、裁剪、变形以对重叠宫颈细胞图像数据集进行扩充。

接下来，结合图1-8对本实施例公开的一种重叠宫颈细胞分割方法进行详细说明。

本实施例提供了一种重叠宫颈细胞分割方法。

一种重叠宫颈细胞分割方法，包括：

S1、获取重叠宫颈细胞图像数据集；通过数据增强对重叠宫颈细胞图像数据集进行扩充，将得到的数据集分为测试集和验证集；包括：

S101、从ISBI(生物医学成像国际研讨会)数据集中获取所需重叠宫颈细胞图像数据集，将所需重叠宫颈细胞图像集转换为coco格式；

S102、将重叠宫颈细胞图像数据集中的图像进行随机翻转、旋转、裁剪、变形以对重叠宫颈细胞图像数据集进行扩充，将得到的数据集分为测试集和验证集。

S2、构建重叠宫颈细胞分割模型，将测试集输入重叠宫颈细胞分割模型，训练重叠宫颈细胞分割模型；其中，重叠宫颈细胞分割模型包括基于可变形卷积的ResNet网络、区域提取网络RPN、感兴趣匹配网络ROI Align；具体包括：

S201、设计一种基于可变形卷积网络的检测网络，强化网络对特征的学习能力；在原先三次卷积的基础上增加一次1×1卷积，并引入偏移量(offset)，同时将第一次卷积的结果输入到第三次卷积层进行操作，进而实现对输入图像的多次特征提取。

示例性的，以5*5的卷积核为例。标准卷积如图4(a)所示，从中可以看出，标准卷积的卷积核大小固定，对于尺寸大小变化的图像不能够很好的实现采样，需要分割的重叠宫颈细胞图像在一个规则的矩形区域内，矩形区域S可表示为：S＝{(x,y)}＝{(1,1),(1,2)...(-2,1),(-2,-2)}，(x,y)为S中的一个点，输出Y在不规则区域S₀的结果为：

可变形卷积能够通过不断学习可以更好地获取宫颈细胞的结构和位置信息，从而得到更为准确的分割结果。可变形卷积在卷积核的采样点处增加了一个可学习的偏移量ΔS_n，因此可以根据不同宫颈细胞的形状特征进行自适应调整，可变形卷积的结果如图4(b)所示，可变形卷积后的输出结果为：

其中x表示输入图像的特征关系；ω表示采样点的权重，S_n表示在矩形区域 S中的第n个位置；ΔS_n为可学习的偏移量。

S202、如图2所示，对分割分支进行改进，在骨干网络的残差模块中串联接入CBAM模块，指导重叠宫颈细胞边缘特征提取，强化网络对宫颈细胞边缘特征的提取能力，更好的实现整体结构对输入图像特征的获取；

示例性的，如图5所示，在Res1和Res5分别串联接入CBAM模块，改进的分割分支的图像处理过程主要由四步组成：

1)输入图像经过Res1层中的卷积层提取得到宫颈细胞特征图(X)， X∈R^W×H×C，W,H,C为特征图的宽、高、通道数；

2)将X输入到CBAM模块，加强模型对通道和空间上的重要特征注意力，输出分别得到通道、空间特征图X_ch，X_sp；

3)将X_ch，X_sp经过卷积得到特征图X₁；

4)将X₁输入到Res2层，继续和Res1层同样的操作。

如图6所示，在CBAM模块的通道注意力模块中，为聚合特征图的空间信息，对X采用了全局平均池化和最大池化，得到2个通道描述X_arg，X_max∈R^1×1×C，然后分别送入一个2层的神经元个数为C/r，第2层神经元个数设为C，r为压缩率；将两个特征对应元素相加，送入Sigmoid激活函数，得到权重系数(M_C)。之后M_C与X相乘得到通道注意力特征图，通道注意力特征图为

M_C(X)＝σ(MLP(X_arg)+MLP(X_max))

其中MLP为中间神经网络，σ为Sigmoid函数。

如图7所示，在CBAM模块的空间注意力模块，首先，对通道沿各自通道做平均池化和最大池化操作，生成池化特征图P_avg，P_max∈R^H×W×1；然后，P_avg和P_max对应元素相加级联到一起；其次，利用了3*3卷积层和Sigmoid得到权重系数 (M_S)；最后，得到空间注意力特征图，空间注意力特征图为

其中，F_3×3代表3*3卷积层；

代表级联操作。

S203、RPN在获取的不同尺度的特征图上设置滑动窗口，获取目标区域；在目标区域输入ROI Align，获取目标区域坐标框的精确坐标；将ROI Align输出的特征图分别进行分类、回归和Mask生成，得到重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

S3、将验证集输入训练好的重叠宫颈细胞分割模型，验证模型效果，获取重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

实施例二

本实施例公开了一种重叠宫颈细胞分割系统，包括：

此处需要说明的是，上述数据集构建模块、重叠宫颈细胞分割模型构建模块、重叠宫颈细胞分割模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述实施例一的步骤。

实施例四

本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述实施例一的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种重叠宫颈细胞分割方法，其特征是，包括：

2.如权利要求1所述的重叠宫颈细胞分割方法，其特征是，所述重叠宫颈细胞分割模型包括基于可变形卷积的ResNet网络、区域提取网络RPN、感兴趣匹配网络ROI Align，其中，基于可变形卷积的ResNet网络中的残差模块串联CBAM模块。

3.如权利要求2所述的重叠宫颈细胞分割方法，其特征是，可变形卷积后的输出结果为

4.如权利要求2所述的重叠宫颈细胞分割方法，其特征是，利用可变形卷积的ResNet网络中不同尺度的残差模块提取重叠宫颈细胞图像的特征信息，并对每个残差模块提取的特征信息进行池化操作，得到不同尺度的特征图。

5.如权利要求4所述的重叠宫颈细胞分割方法，其特征是，RPN在获取的不同尺度的特征图上设置滑动窗口，获取目标区域；在目标区域输入ROI Align，获取目标区域坐标框的精确坐标；将ROI Align输出的特征图分别进行分类、回归和Mask生成，得到重叠宫颈细胞图像分割结果和宫颈细胞核掩模图、宫颈细胞质掩模图的预测。

6.如权利要求1所述的重叠宫颈细胞分割方法，其特征是，从ISBI数据集中获取所需重叠宫颈细胞图像，将所需重叠宫颈细胞图像转换为coco格式。

7.如权利要求1所述的重叠宫颈细胞分割方法，，其特征是，将重叠宫颈细胞图像数据集中的图像进行随机翻转、旋转、裁剪、变形以对重叠宫颈细胞图像数据集进行扩充。

8.一种重叠宫颈细胞分割系统，其特征是，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的步骤。