CN109145941B - 一种非规则宫颈细胞团图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种非规则宫颈细胞团图像分类方法，其特征在于，包括以下步骤：离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道神经网络模型训练可疑病变细胞团判定模型；在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常判定；挖掘没能被正确判断的细胞团，作为训练数据输入模型重点训练。本发明以非规则细胞团为处理和识别单位，且利用多分辨率输入的三通道神经网络模型快速识别可疑的病变细胞团，同时提高了识别精度和识别效率。

Description

一种非规则宫颈细胞团图像分类方法及系统

技术领域

本发明属于医学细胞病理图像处理领域，更具体地，涉及一种非规则宫颈细胞团图像分类方法及系统。

背景技术

宫颈癌是女性群体中高发的一种恶性肿瘤。宫颈液基细胞病理学是当前预防和筛查宫颈癌的最重要手段。对细胞病理切片图像中病变细胞进行精确判读是医生确定病人病情和制定治疗方案的重要依据。由于一张细胞病理切片包含非常多的视野，基于人工的细胞病理图像判读非常耗时。因此，自动地快速识别出切片中的可疑区域供医生进一步判读能极大提高医生诊断效率。这种智能辅助阅片技术对于在我国普及宫颈筛查具有重大的意义。

病理图像判读的主要依据是细胞核和细胞质的精细形态。这要求数字化的病理切片达到亚微米的分辨率。而单张切片尺寸一般在厘米尺度，因此一张数字化的切片图像通常含有10⁴x 10⁴–10⁵x 10⁵的像素。算法通常难以直接处理包含如此海量像素的数字切片，所以会采用大体积图像分块处理融合子块结果的计算方案。如美国Hologic公司将数字切片按视野分块，然后在每个视野块内计算图像特征，最终挑选22个最可疑的视野块供人工进一步判读。但是这种分块融合的方案有如下不足：子块的边界处细胞被人为切开，降低识别精度；字块太大依然难以直接处理，字块太小带来更多边界问题并增加处理开销；子块边界处邻近块处理结果的不一致性。常规的分块融合是一种规则的划分策略，对于细胞病理切片图像，由于制片原理，细胞大部分是成团聚集或者孤立存在。因此，如果能利用细胞病理切片图像的这一图像特点，对全切片进行非规则划分，这种处理方案将更有效：避免边界问题，减少冗余计算。

智能辅助阅片技术的第二个关键问题是如何识别出切片中局部的可疑异常细胞。当前深度学习技术发展非常迅速，尤其是在图像识别图像理解等领域。虽然传统的图像处理和特征提取方法能用于识别切片中可疑病变区域，但是传统图像特征或者自定义的图像特征很难完整地表征细胞形态，通常只能刻画部分细胞形态特征如核大、深染等。基于深度学习的仿视觉识别算法能通过深层卷积网络自动学习和编码图像形态特征，这些学习到的高维特征能有效表征各种不同类型细胞的形态差异。因此，基于深度学习的病理切片识别算法更加精确和稳定。

发明内容

为了解决现有技术的不足，本发明提出了一种非规则宫颈细胞团图像分类方法及系统，该方法以细胞团为处理和识别单位，且利用多分辨率输入的三通道神经网络模型快速识别病理切片中的可疑异常细胞团，同时提高了识别精度和识别效率。

一种非规则宫颈细胞团图像分类方法，包括以下步骤：

a)离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道神经网络模型训练可疑细胞团判定模型；

b)在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。

进一步地，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：

对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；

对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；

将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

进一步地，所述在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

进一步，还包括步骤：

c)挖掘没能被正确判断的细胞团，作为训练数据输入三通道神经网络模型重点训练；

d)重复步骤b)-c)多次，直至分类达到预定精度。

一种非规则宫颈细胞团图像分类系统，包括以下模块：

离线训练模块，用于离线建立可疑细胞团的训练样本集，采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型；

在线分类模块，用于在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。

进一步地，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：

对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率，分别是原始图像的0.75,1和1.25倍；

对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；

将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

进一步地，所述在线分类模块在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

进一步地，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。

总体而言，本发明的有益效果：

(1)本发明针对海量像素的全切片图像，以细胞团为处理和识别单位，而不是常规的图像分块融合框架，这种处理方法更加适合细胞病理切片图像的特点，本质上是对整个切片进行不规则形状地分块，而不是常规的矩形分块。以细胞团为处理和识别单位的优点：a)细胞团作为识别单位，细胞不会被分隔在两个相邻的子块中，因而不会因为图像分块边界问题而损失识别精度；b)常规的图像分块融合框架要求训练集中切片的每个子块的所有像素均被标注类别，而以细胞团为识别单位则无需对切片进行完全地标注，可以选择性地标注部分细胞团，极大节约标注成本同时不损失样本的代表性；c)细胞团之间可以独立处理和识别的特性，使得识别算法可以并行地进行，同时处理多个细胞团。

(2)细胞团作为处理单位带来的不利影响是不同细胞团之间大小不一致，为了解决避免这种不一致影响识别效果，本发明采用多分辨率输入的三通道深度残差神经网络模型训练可疑细胞团判定模型。每个细胞团输入三个不同分辨率的图像，分别是原图的0.75、1和1.25倍，对每个分辨率的输入图像，都使用残存网络模块提取图像特征，然后融合这些不同分辨率图像上提取到的特征，通过逻辑回归对输入细胞体进行判定。这种多分辨路输入的三通道网络模型利用了多尺度的图像特征进行分类，有效地解决了细胞体间大小不一致的问题。

综上所述，本发明结合细胞病理切片图像细胞聚集的图像特点，以细胞团作为识别单元，这种处理方式更加切合细胞病理图像，克服常规分块方式的边界问题和标注问题；同时针对细胞团间大小不一致的图像特点，设计了多分辨率输入的三通道网络模型，通过提取和融合不同尺度图像特征，有效解决了细胞间大小不一影响识别的问题。

附图说明

图1为本发明非规则宫颈细胞团图像分类方法流程图；

图2为本发明提出的基于细胞团为处理和识别单位的示意图；

图3为本发明改进的多分辨率输入的三通道深度残差网络模型结构图；

图4和图5为本发明提出的超大细胞团冗余拆分模型的示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明非规则宫颈细胞团图像分类方法，包括以下步骤：

1)离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道网络模型训练可疑细胞团判定模型。

每个细胞团分为正常细胞团或潜在异常细胞团。采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型，具体为：

11)在数字切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。以细胞团为样本单位人工标注可疑细胞团和正常细胞团，建立训练样本集。

12)对样本集作旋转、位移、加噪声等样本增强变换；

13)在ImageNet数据集预训练好的参数基础上采用迁移学习的方式训练该网络模型，采用交叉熵作为目标函数和Adam学习算法，具体是，冻结附图3残差网络结构中的Stem、Residual Block A和Residual Block B三个模块(设置这些模块的权值参数的学习率为0，不更新这些参数)，通过Adam学习算法仅仅更新后面Residual Block C和Residual BlockD模块中的参数。

具体而言,改进的多分辨率输入的三通道深度残差网络模型如下：

a)对每个细胞团子块图像，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75,1和1.25倍。

b)对每一个分辨率的输入图像，使用深度残差模型的特征提取模块，附图3中的Stem和Residual Block A-D网络模块，来提取该分辨率下的图像特征。

c)将三个通道内提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

上述步骤中的基础深度残差网络模型，可以是ResNet34、ResNet50、ResNet101或者更深残差网络。在本实例中，优选使用ResNet50。细胞团是否异常的分类是个二分类问题，需要编码的语义类别比较少，因此使用层数相对少的ResNet50更合理。越深的残差网络层数其参数越多能编码的特征也越丰富，但是训练和应用的效率也越低。

2)在宫颈病理切片图像上提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。

21)在数字切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像，并对该二值化图像作空洞填充和滤除噪声像素处理，具体如公式1

其中I是切片RGB数字图像，

和

表示对每个像素点求RGB三个颜色通道的最大像素值和最小像素值，thre_RGB是设定的阈值，本次实例中设置为10，I_binary是得到的二值化图像。这种二值化方式是基于：宫颈细胞切片图像中上皮细胞呈现红色中下层细胞呈现蓝绿色，而背景区域则呈现白色和灰色，因此越是彩色的区域越可能是细胞组织区域。RGB三通道像素值差异越大其显示的颜色越彩。

在该二值化图像中，部分深黑色的细胞核会被计算为背景，出现空洞，所以进一步使用空洞填充操作填充二值化图像中的空洞区域。另由于制片过程，切片图像中存在部分粘液或非细胞的杂质颗粒，所以可以进一步对二值化图像滤除其中小体积的孤立前景区域。

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团。在切片图像中取出每个连通域对应的图像(不规则形状)，同时将不规则的连通域用背景像素填充为矩形。附图2a，在一个小块切片图像上提取了23个细胞团，附图2b是其中第6号细胞团作矩形填充得到的子块图像。

对于提取到的不规则细胞团，对其边界作背景像素填充处理变成矩形子图。不同的细胞团区域又大有小，尺度的不一致会增加判定的难度，影响深度残差网络的分类精度。因此将超大的细胞团进一步拆分为小的细胞团，减少不同细胞团尺度的差异。同时，将原始的深度残差网络改进为多分辨率输入的三通道网络模型，使网络能够表征不同尺度细胞图像的形态特点，适应细胞团间尺度的差异。

具体而言,超大细胞团的拆分模型如下步骤：

a)统计所有细胞团的尺寸(长和宽)的分布，分别计算其均值和标准差，将长或者宽超过相应均值加2倍标准差的细胞团视作超大细胞团。

b)对超大的细胞团，作冗余分块处理。如果细胞团的长超过相应均值加2倍标准差，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余。每个子细胞团的长设定为固定的值，均值加2倍标准差；冗余宽度设置为固定的值，单个细胞直径平均值的2倍(先统计单个细胞直径的分布)。子细胞团长度、相邻细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系，

d·n-(n-1)·s＝L+x (2)

其中d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。因为n是整数，所以可以扩充L使得等式(2)刚好成立。n和x的值按如下公式(3)计算

如附图4，将水平方向超大细胞团A1A8B8B1沿水平方向按上述公式分割为A1A4B4B1、A2A7B7B2和A5A8B8B5三个子细胞团。

相邻子细胞团重合宽度需要合理设置，上述步骤中将其设置为2倍的平均细胞直径是基于下述考虑的：如图5，子块A2A5D5D2的边界区域A2A3D3D2中的细胞s1在相邻子子块A1A4D4D1中位于内部区域，类似地子块B1B4E4E1的边界区域B3B4E4E3中的细胞s3在相邻子块B2B5E5E2中位于内部区域，因此冗余能够降低边界效应，避免细胞处于图像的边界(影响细胞异常判定的精度)。过大的冗余会增加重复计算量，过小的冗余难以降低边界效应，因此将冗余宽度设置为平均细胞直径的两倍，这样单个细胞基本都会位于相邻两个细胞团中一个的内部区域。

如果细胞团的宽超过相应均值加2倍标准差，则沿垂直方向将该细胞团分为多个子细胞团。如果细胞团的长和宽均超过相应均值加2倍标准差，则同时沿水平和垂直方向将该细胞团分为多个子细胞团。拆分的细胞团长度和宽度、冗余宽度的设置、子细胞团数目的关系和上述公式(2)(3)一致。

c)经过上述拆分处理，细胞团之间尺度差异降低了，但是还不是完全相同大小。为便于后续可疑细胞团判定模型训练和应用，进一步对原有的非超大细胞团和拆分的子细胞团作边界填充处理，将其填充为统一的大小，长和宽分别是相应均值加2倍的标准差。

22)判断每个细胞团是否为可疑异常细胞团。

应用上述训练好的判定模型对每个细胞团填充子图进行是否可疑的判定。

作为优化，还进一步包括步骤：

c)挖掘没能被正确判断的细胞团，作为训练数据输入三通道神经网络模型重点训练；

d)重复步骤b)-c)多次，直至分类达到预定精度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种非规则宫颈细胞团图像分类系统，其特征在于，包括以下模块：

离线训练模块，用于离线建立可疑细胞团的训练样本集，采用多分辨率输入的三通道深度残差神经网络模型训练可疑细胞团判定模型；

在线分类模块，用于在宫颈病理切片图像上进行非规则分块提取单个的细胞团区域，应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定；

所述多分辨率输入的三通道深度残差神经网络模型，构造方式为：

对每个细胞团区域，使用双线性插值方法将其采样到三个分辨率；

对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；

将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团；

所述在线分类模块在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形；

所述在线分类模块还用于对提取细胞团区域后的超大细胞团进行拆分，超大细胞团的拆分包括步骤：

a)统计所有细胞团的长和宽的分布，分别计算其均值和标准差，将长或者宽超过相应均值加2倍标准差的细胞团视作超大细胞团；

b)对超大的细胞团，作冗余分块处理，冗余分块处理后的子细胞团长度、相邻细胞团重合宽度、子细胞团个数和原始超大父细胞团长度存在如下关系，

d·n-(n-1)·s＝L+x

其中d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是原始超大父细胞团的长度，x是需要对原始超大父细胞团水平方向扩充边界的宽度；

n和x的值按如下公式计算：

2.根据权利要求1所述的非规则宫颈细胞团图像分类系统，其特征在于，所述三个分辨率分别是原始图像的0.75,1和1.25倍。

3.根据权利要求1或2所述的非规则宫颈细胞团图像分类系统，其特征在于，所述三通道深度残差神经网络模型是ResNet34、ResNet50、ResNet101或ResNet151。

Images