CN113516022A - 一种宫颈细胞的细粒度分类系统 - Google Patents

Abstract

一种宫颈细胞的细粒度分类系统，属于细胞显微图像分类领域。本发明是为了解决异常宫颈细胞与正常宫颈细胞的相似度较大，导致对异常细胞和正常细胞的分类准确率低的问题。本发明所述的细粒度分类系统包括：输入图像模块、骨干网模块，MNT网络模块和分类模块；所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；所述分类模块用于对提取的宫颈细胞细粒度特征进行分类。本发明用于宫颈细胞的细粒度分类。

Description

一种宫颈细胞的细粒度分类系统

技术领域

本发明涉及一种宫颈细胞的细粒度分类方法。属于细胞显微图像分类领域。

背景技术

宫颈癌是威胁女性健康的第四大癌症。根据WHO2018年全球癌症观测数据库显示，在2018年全球大约有570000例宫颈癌病例与311000例死亡病例，死亡率达到54.56％。提前筛查宫颈癌，可以使得该癌症得以提前发现。这有助于宫颈癌的治疗以及降低死亡率。巴氏涂片检测已经成为筛查宫颈癌的主要方法。由于大量的显微镜阅片任务，具有丰富经验的病理专家也会出现不少漏检的情况。自动阅片技术可以辅助医生完成宫颈癌筛查过程，不但可以减少漏检率，而且可以提高检测效率。

传统的宫颈细胞分类任务是在细胞分割成单细胞后完成的，通常先提取细胞的特征，然后采用机器学习方法分类。例如enhanced fuzzy Cmeans方法先采用Pap smearimages预处理，并且去掉背景的碎片噪声；再采用图像分割方法获取感兴趣区域并且确定细胞核位置；接着提取细胞的特征并选择特征；最后使用enhanced fuzzy cmeans分类。该方法受图像背景影响，缺乏鲁棒性。传统方法依赖于人工提取并选择特征，泛化能力较差，具有一定局限性。机器学习与投票机制相结合的方法首先使用自动分割提取细胞核感兴趣区域；再提取细胞核特征；最后使用投票机制与机器学习分类。该方法仍然需要分割细胞核与手动提取特征，并不能提高鲁棒性。角点算子提取宫颈细胞图像特征的方法首先使用SIFT、SURF提取特征；然后使用SVM初步分类；最后级联两次分类结果。该方法提取的主要是角点特征，有一些非角点特征难以通过SIFT或SURF表达，其泛化能力较差。

随着计算机硬件的发展，深度学习方法被逐渐应用到了宫颈细胞分类任务中。DeepPab方法首先采用ImageNet预训练模型初始化ConvNet；然后使用单细胞图像训练ConvNet来完成宫颈细胞分类任务。VGG-19在宫颈细胞数据集SIPaKMeD达到了一定的分类效果。核质分离训练的方法首先使用细胞分割方法将细胞核与细胞质分割出来，然后使用对应的原图分别训练分类网络。该方法依赖分割模型，由于细胞的分割效果好坏会直接影响分类结果，导致分类准确度下降，并且鲁棒性较差，不适合普通的分类任务。该方法同时是两阶段方法，没有融合进一个模型，效率不会太高。人工提取特征与深度学习相结合的方法是将人工提取的特征融入到了Inception V3模型中。其中形态特征需要确定细胞核与细胞质的位置。该方法仅适合在有分割标记的数据集上分类，并不适合没有分割标记的数据集。因此其适用范围较小，难以完成普通的细胞分类。以上方法都是以单细胞分类，PCA与深度学习相结合的方法首次使用Whole Slide Image(WSI)图像分类，该方法使用WSI图像分类具有较好的效果，但是还有不少的提升空间。

在宫颈细胞分类任务中，正常细胞与异常细胞是宫颈细胞类别下的子类别，并且相似度较大，可以看作细粒度分类。目前的细粒度分类网络大部分有复杂的结构，例如较深的宽度，深度，嵌入注意力机制等模块等。但是在特征收集时往往把双路或多路分支在最后阶段合并，这种融合方式一般是将特征直接相加或给每个分支分配权重。也有的网络采用多阶段设计，特征参数不易联合训练，从而导致细胞的细粒度分类准确率较低。

发明内容

本发明是为了解决异常宫颈细胞与正常宫颈细胞的相似度较大，导致对异常细胞和正常细胞的分类准确率低的问题。现提供一种宫颈细胞的细粒度分类系统。

一种宫颈细胞的细粒度分类系统，所述系统包括：

输入图像模块、骨干网特征粗提取模块，MNT网络模块和分类模块；

所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；

所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；

所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；

所述分类模块用于对提取的宫颈细胞细粒度特征进行分类。

有益效果

本发明提出了弱监督细粒度分类网络，即合并树网络(Merging Neural TreeNet，MNTNet)，采用弱监督方式，不需要确定细胞的具体位置，采用反二叉树方法设计特征增强网络，并且左右子节点上分别使用空间注意力机制与通道注意力机制学习不同的特征，最后通过父节点收集特征，MNT的最大优势在于通过父节点收集特征，使得特征融合平滑过渡，便于深入学习类别之间的差异。如表1所示在SIPaKMeD数据集上，WSI分类结果为：AlexNet的准确率为88.08％，VGG-16的准确率为90.15％，ResNet-34+PCA的准确率为96.37％。MNTNet的准确率为98.73％。MNTNet的准确率比ResNet-34+PCA高2.36％。MNT的高度为4。MNTNet在WSI上达到了最优。通过表1可以看出，MNTNet应用空间与通道注意力机制并行方式能够学习异常细胞中的细粒度特征。其准确率可以超越现有的细粒度分类方法。

本发明提出了弱监督细粒度分类网络，即合并树网络(Merging Neural TreeNet，MNTNet)。MNTNet采用弱监督方式，不需要确定细胞的具体位置。合并树(MergingNeural Tree，MNT)中的子节点都是模块化设计，可以方便的调整树的高度，直到获取最优的网络模型。MNT的最大优势在于通过父节点收集特征，使得特征融合平滑过渡，便于深入学习类别之间的差异。

附图说明

图1为MNT网络结构图；

图2为ASPP模块；

图3为CAM模块；

图4为SAM模块。

具体实施方式

具体实施方式一：结合图1来说明本实施方式，本实施方式一种宫颈细胞的细粒度分类系统，所述系统包括：输入图像模块、骨干网模块，MNT网络模块和分类模块；

所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；

所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；

所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；

所述分类模块用于对提取的宫颈细胞细粒度特征进行分类。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；具体过程为：

获取宫颈细胞图像，将宫颈细胞图像处理为统一大小，并将处理后的宫颈细胞图像转换为张量形式，并附上正常和异常标签，作为预处理后的图像，其中预处理后的图像为448*448。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；具体过程为：

将预处理后的图像输入ResNet-50网络进行特征粗提取，得到宫颈细胞粗略特征，即对预处理后的图像依次进行卷积和池化操作，池化可以降低宫颈细胞图像特征的维度，去除其中的冗余信息，其中宫颈细胞图像大小为56*56。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；具体过程为：

如图2所示，ASPP对宫颈细胞图像特征进行下采样，得到融合后的宫颈细胞图像特征；将融合后的宫颈细胞图像特征通过CBAM(注意力机制)学习，得到两种不同的宫颈细胞细粒度特征，将这两种特征通过MNT网络的反向二叉树结构进行合并，得到最终的宫颈细胞细粒度特征。

本实施方式中，MNT网络采反向二叉树结构，其中特征学习模块作为叶子节点，根节点为特征汇集模块；MNT以ASPP模块作为叶子节点A，包括左子节点与右子节点；左子节点与右子节点通过父节点M连接。父节点的输出又作为新节点A的输入。MNT中两个子节点与一个父节点M构成一个子模块AAM；MNT中包含多个这样的子模块AAM。MNT采用模块化设计，它可以根据需要调整自身的高度，其中，MNT的高度为4。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述ASPP对宫颈细胞图像特征进行下采样，得到融合后的宫颈细胞图像特征；具体过程为：

将不同扩张率下的平行空洞卷积生成的特征图进行级联，并对级联后的特征图的多尺度信息进行编码，再通过1*1的卷积将编码后的特征图进行融合，得到融合后的宫颈细胞图像特征。

本实施方式中，普通下采样(max pooling)可以使每个像素有较大感受野(receptive field)，并且可以减小图像尺寸。但由于普通下采样方法会导致图像分辨率下降以及丢失局部信息，所以在MNT中采用ASPP代替常用的下采样。由ASPP产生的featuremap可以与输入的大小相同，这解决了feature map分辨率与接受域大小之间的矛盾。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述将融合后的宫颈细胞图像特征通过CBAM(注意力机制)学习，得到两种不同的宫颈细胞细粒度特征；具体过程为：

CBAM包括CAM和SAM两个模块，如图3所示，CAM将融合后的宫颈细胞图像特征分别进行最大池化和平均池化，将最大池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果11，将平均池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果12；将结果11和结果12相加，将相加后的结果输入sigmoid激活函数，得到sigmoid激活函数处理后的结果A；将融合后的宫颈细胞图像特征和sigmoid激活函数处理后的结果相乘，作为CAM输出的宫颈细胞细粒度特征；

通道注意力机制主要关注一幅图像中的重要信息，普通的通道注意力机制主要使用平均池化；而CAM则加入了最大池化，CAM有效的提高了网络的表示能力；

如图4所示，SAM将融合后的宫颈细胞图像特征分别进行最大池化和平均池化，将最大池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果21，将平均池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果22；将结果21和结果22相加，将相加后的结果进行1*1卷积，将卷积后的结果输入sigmoid激活函数，得到sigmoid激活函数处理后的结果B；将融合后的宫颈细胞图像特征和sigmoid激活函数处理后的结果相乘，作为SAM输出的宫颈细胞细粒度特征。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述分类模块用于对提取的宫颈细胞细粒度特征进行分类；具体过程为：

对最终的宫颈细胞细粒度特征进行批量正则化，将批量正则化后的宫颈细胞细粒度特征进行卷积操作，卷积后的宫颈细胞细粒度特征通过平均池化得到1*1的特征图，将平均池化后的特征图依次加入全连接和归一化操作，实现对宫颈细胞细粒度特征的分类。

其它步骤及参数与具体实施方式一至六之一相同。

实施例

表1.SIPaKMeDWSI分类结果

Method	Sens	Spec	H-mean	Acc	F-score
						AlexNet	99.29	88.23	93.43	88.08	88.15
VGG-16	97.95	95.65	96.78	90.15	90.00
						ResNet-34+PCA	98.04	99.92	98.97	96.37	96.38
MNTNet	98.31	99.38	98.84	98.73	98.52

本分明以MNTNet作为弱监督模型，其采用反二叉树方法设计特征增强网络，并且左右子节点上分别使用空间注意力机制与通道注意力机制学习不同的特征，最后通过父节点收集特征，使得网络能够深入学习类别之间的差异。如表1所示在SIPaKMeD数据集上，WSI分类结果为：AlexNet的准确率为88.08％，VGG-16的准确率为90.15％，ResNet-34+PCA的准确率为96.37％。MNTNet的准确率为98.73％。MNTNet的准确率比ResNet-34+PCA高2.36％。MNT的高度为4。MNTNet在WSI上达到了最优。通过表1可以看出，MNTNet应用空间与通道注意力机制并行方式能够学习异常细胞中的细粒度特征。其准确率可以超越现有的深度学习模型。

Claims (7)

1.一种宫颈细胞的细粒度分类系统，其特征在于，所述系统包括：输入图像模块、骨干网特征粗提取模块，MNT网络模块和分类模块；

所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；

所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；

所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；

所述分类模块用于对提取的宫颈细胞细粒度特征进行分类。

2.根据权利要求1所述一种宫颈细胞的细粒度分类系统，其特征在于，所述输入图像模块用于输入宫颈细胞图像，对宫颈细胞图像进行预处理；具体过程为：

获取宫颈细胞图像，将宫颈细胞图像处理为统一大小，将处理后的宫颈细胞图像转换为张量形式，并附上正常和异常标签，作为预处理后的图像，其中预处理后的图像为448*448。

3.根据权利要求2所述一种宫颈细胞的细粒度分类系统，其特征在于，所述骨干网特征粗提取模块用于提取预处理后的宫颈细胞图像特征；具体过程为：

将预处理后的宫颈细胞图像输入ResNet-50网络进行特征提取，得到宫颈细胞图像特征。

4.根据权利要求3所述一种宫颈细胞的细粒度分类系统，其特征在于，所述MNT网络模块用于提取预处理后宫颈细胞图像特征的细粒度特征；具体过程为：

ASPP对预处理后的宫颈细胞图像特征进行下采样，得到融合后的宫颈细胞图像特征；融合后的宫颈细胞图像特征通过CBAM进行学习，得到两种不同的宫颈细胞细粒度特征，通过MNT网络的反向二叉树结构对两种不同的宫颈细胞细粒度特征进行合并，得到最终的宫颈细胞细粒度特征。

5.根据权利要求4所述一种宫颈细胞的细粒度分类系统，其特征在于，所述ASPP对预处理后的宫颈细胞图像特征进行下采样，得到融合后的宫颈细胞图像特征；具体过程为：

将不同扩张率下的平行空洞卷积生成的特征图进行级联，并对级联后的特征图的多出度信息进行编码，通过1*1的卷积将编码后的特征图进行融合，得到融合后的宫颈细胞图像特征。

6.根据权利要求4所述一种宫颈细胞的细粒度分类系统，其特征在于，所述融合后的宫颈细胞图像特征通过CBAM进行学习，得到两种不同的宫颈细胞细粒度特征；具体过程为：

CBAM包括CAM和SAM两个模块，其中CAM将融合后的宫颈细胞图像特征分别进行最大池化和平均池化，将最大池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果11，将平均池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果12；将结果11和结果12相加，将相加后的结果输入sigmoid激活函数，得到sigmoid激活函数处理后的结果A；将融合后的宫颈细胞图像特征和sigmoid激活函数处理后的结果相乘，作为CAM输出的宫颈细胞细粒度特征；

SAM将融合后的宫颈细胞图像特征分别进行最大池化和平均池化，将最大池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果21，将平均池化后的宫颈细胞图像特征依次加入FC、ReLU和FC操作，得到结果22；将结果21和结果22相加，将相加后的结果进行1*1卷积，将卷积后的结果输入sigmoid激活函数，得到sigmoid激活函数处理后的结果B；将融合后的宫颈细胞图像特征和sigmoid激活函数处理后的结果相乘，作为SAM输出的宫颈细胞细粒度特征。

7.根据权利要求4所述一种宫颈细胞的细粒度分类系统，其特征在于，所述分类模块用于对提取的宫颈细胞细粒度特征进行分类；具体过程为：

对最终的宫颈细胞细粒度特征进行批量正则化，将批量正则化后的宫颈细胞细粒度特征进行卷积操作，卷积后的宫颈细胞细粒度特征通过平均池化得到1*1的特征图，将平均池化后的特征图依次加入全连接和归一化操作，实现对宫颈细胞细粒度特征的分类。

Images