CN109087283B - 基于细胞团的宫颈细胞病理切片病变细胞识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于细胞团的宫颈细胞病理切片图像病变细胞识别方法及系统，包括如下步骤：在宫颈病理切片图像上提取单个的细胞团区域；统计细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团；将超大细胞团拆分为子细胞团；将超大细胞团以外的细胞团区域和拆分得到的子细胞团作边界填充处理，得到待识别区域；在待识别区域中识别出病变细胞。本发明针对海量像素的全切片图像，以细胞团为处理和识别单位，而不是常规的图像分块融合框架，更加适合宫颈细胞病理切片图像的特点，同时提高了效率和精准度。

Description

基于细胞团的宫颈细胞病理切片病变细胞识别方法及系统

技术领域

本发明属于医学细胞病理图像处理领域，更具体地，涉及一种基于细胞团的宫颈细胞病理切片病变细胞识别方法及系统。

背景技术

宫颈癌是女性群体中高发的一种恶性肿瘤。宫颈液基细胞病理学是当前预防和筛查宫颈癌的最重要手段。对细胞病理切片图像中病变细胞进行精确判读是医生确定病人病情和制定治疗方案的重要依据。当前，基于人工的细胞病理图像判读不仅耗时，而且判读结果非常依赖于医生的经验。因此，自动地判读病理切片中的病变细胞不仅能提高诊断的效率而且能给医生更加统一客观的诊断依据。自动阅片技术的这些优点对于在我国普及宫颈筛查具有重大的意义。

病理图像判读的主要依据是细胞核和细胞质的精细形态。这要求数字化的病理切片达到亚微米的分辨率。而单张切片尺寸一般在厘米尺度，因此一张数字化的切片图像通常含有10⁴x 10⁴–10⁵x 10⁵的像素。自动算法通常难以直接处理包含如此海量像素的数字切片，所以会采用大体积图像分块处理融合子块结果的计算方案。如美国Hologic公司将数字切片按视野分块，然后在每个视野块内计算图像特征，最终挑选22个最可疑的视野块供人工进一步判读。但是这种分块融合的方案有如下不足：子块的边界处细胞被人为切开，降低识别精度；字块太大依然难以直接处理，字块太小带来更多边界问题并增加处理开销；子块边界处邻近块处理结果的不一致性。常规的分块融合是一种规则的划分策略，对于细胞病理切片图像，由于制片原理，细胞大部分是成团聚集或者孤立存在。因此，如果能利用细胞病理切片图像的这一图像特点，对全切片进行非规则划分，这种处理方案将更有效：避免边界问题，减少冗余计算。

综上所述，全切片病理图像的图像分析和理解的一个关键环节是如何高效处理海量像素。常规的图像分块融合策略虽然能处理全切片图像，但是同时引入了冗余计算和子块边界问题。结合细胞病理图像特点进行非规则划分的处理方式更加合理。

发明内容

为了解决现有技术的不足，本发明提出了一种基于细胞团的宫颈细胞病理切片病变细胞识别方法，该方法以细胞团为处理和识别单位，同时提高了识别精度和识别效率。

为实现上述目的，本发明提供了一种基于细胞团的宫颈细胞病理切片图像病变细胞识别方法，包括如下步骤：

在宫颈病理切片图像上提取单个的细胞团区域；

统计细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团；

将超大细胞团拆分为子细胞团；

将超大细胞团以外的细胞团区域和拆分得到的子细胞团作边界填充处理，得到待识别细胞团；

在待识别细胞团中识别出病变细胞。

进一步地，所述将超大细胞团拆分为子细胞团的具体实施方式为：如果细胞团区域的长度超过预定阈值，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余，每个子细胞团的长设定为固定的值；子细胞团长度、相邻子细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系：

d·n-(n-1)·s＝L+x

x＝d·n-(n-1)·s-L；

其中，d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。

如果细胞团的宽度超过预定阈值，则同时沿垂直方向将该细胞团分为多个子细胞团。拆分的细胞团宽度、冗余宽度的设置、子细胞团数目的关系与水平方向拆分一致。

进一步地，所述相邻子细胞团重合宽度为2倍的平均细胞直径。

进一步地，所述在宫颈病理切片图像上提取单个的细胞团区域的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

一种基于细胞团的宫颈细胞病理切片图像病变细胞分割系统，包括如下模块：

细胞团提取模块，用于在宫颈病理切片图像上提取单个的细胞团区域；

细胞团拆分模块，用于统计细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团,用于将超大细胞团拆分为子细胞团；

填充模块，用于将超大细胞团以外的细胞团区域和拆分得到的子细胞团作边界填充处理，得到待识别区域；

识别模块，用于在待识别区域中识别出病变细胞。

进一步地，所述拆分模块的具体实施方式为：如果细胞团区域的长度超过预定阈值，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余，每个子细胞团的长设定为固定的值；子细胞团长度、相邻子细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系：

d·n-(n-1)·s＝L+x

x＝d·n-(n-1)·s-L；

其中，d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。

如果细胞团的宽度超过预定阈值，则同时沿垂直方向将该细胞团分为多个子细胞团。拆分的细胞团宽度、冗余宽度的设置、子细胞团数目的关系与水平方向拆分一致。

进一步地，所述相邻子细胞团重合宽度为2倍的平均细胞直径。

进一步地，所述细胞团提取模块的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

总体而言，本发明的有益效果：

本发明提出的基于细胞团的宫颈细胞病理切片图像病变细胞识别方法及系统，针对海量像素的全切片图像，以细胞团为处理和识别单位，而不是常规的图像分块融合框架，这种处理方法更加适合细胞病理切片图像的特点，本质上是对整个切片进行不规则形状地分块，而不是常规的矩形分块。以细胞团为处理和识别单位的优点：

a)细胞团作为识别单位，细胞不会被分隔在两个相邻的子块中，因而不会因为图像分块边界问题而损失识别精度；

b)常规的图像分块融合框架要求训练集中切片的每个子块的所有像素均被标注类别，而以细胞团为识别单位则无需对切片进行完全地标注，可以选择性地标注部分细胞团，极大节约标注成本同时不损失样本的代表性；

c)细胞团之间可以独立处理和识别的特性，使得识别算法可以并行地进行，同时处理多个细胞团。细胞团作为处理单位带来的不利影响是不同细胞团之间大小不一致，为了解决避免这种不一致影响识别效果，本发明提出了超大细胞团拆分模型降低了细胞团间尺度的差异，并改进原有的神经网络模型使之适应细胞团间尺度的差异。

附图说明

图1为本发明基于细胞团的宫颈细胞病理切片图像病变细胞识别方法的流程图；

图2为本发明提出的基于细胞团为处理和识别单位的示意图；

图3为本发明提出的超大细胞团在水平方向进行冗余拆分的示意图；

图4为本发明提出的超大细胞团在水平和垂直两个方向同时进行冗余拆分的示意图；

图5为本发明多分辨率输入的深度残差神经网络模型结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明基于细胞团的宫颈细胞病理切片图像病变细胞识别方法，包括以下步骤：

步骤1)在宫颈细胞病理切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。

常规的前景分割可采用灰度图全局阈值方法、自适应阈值OTSU方法、基于学习的前景分割方法等。本发明优选一种基于红绿蓝三个颜色通道的阈值方法。宫颈细胞切片图像中细胞呈现红色和蓝色，背景区域呈现灰白色，因此越是彩色的区域越可能是细胞组织区域。考虑到细胞切片图像的这种颜色特点，本发明提出一种基于红绿蓝三个通道信号强度极差的阈值方法，来提取切片图像中的细胞区域。该方法比基于灰度的全局阈值鲁棒，比自适应阈值OTSU方法和基于学习的前景分割方法简单高效，适合细胞病理切片图像。具体为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像，并对该二值化图像作空洞填充和滤除噪声像素处理，具体如公式1

其中I是切片RGB数字图像，

和

表示对每个像素点求RGB三个颜色通道的最大像素值和最小像素值，thre_RGB是设定的阈值，本次实例中设置为10，I_binary是得到的二值化图像。这种二值化方式是基于：宫颈细胞切片图像中上皮细胞呈现红色中下层细胞呈现蓝绿色，而背景区域则呈现白色和灰色，因此越是彩色的区域越可能是细胞组织区域。RGB三通道像素值差异越大其显示的颜色越彩。

在该二值化图像中，部分深黑色的细胞核会被计算为背景，出现空洞，所以进一步使用空洞填充操作填充二值化图像中的空洞区域。另由于制片过程，切片图像中存在部分粘液或非细胞的杂质颗粒，所以可以进一步对二值化图像滤除其中小体积的孤立前景区域。

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团。在切片图像中取出每个连通域对应的图像(不规则形状)，同时将不规则的连通域用背景像素填充为矩形。附图2a，在一个小块切片图像上提取了23个细胞团，附图2b是其中第6号细胞团作矩形填充得到的子块图像。

步骤2)统计细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团，将超大细胞团拆分为子细胞团；

对于提取到的不规则细胞团，对其边界作背景像素填充处理变成矩形子图。不同的细胞团区域又大有小，尺度的不一致会增加判定的难度，影响深度残差网络的分类精度。因此将超大的细胞团进一步拆分为小的细胞团，减少不同细胞团尺度的差异。同时，将原始的深度残差网络改进为多分辨率输入的三通道网络模型，使网络能够表征不同尺度细胞图像的形态特点，适应细胞团间尺度的差异。

具体而言,超大细胞团的拆分模型如下步骤：

a)统计所有细胞团的尺寸(长和宽)的分布，分别计算其均值和标准差，将长或者宽超过相应均值加2倍标准差的细胞团视作超大细胞团。

b)对超大的细胞团，作冗余分块处理。如果细胞团的长超过相应均值加2倍标准差，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余。每个子细胞团的长设定为固定的值，均值加2倍标准差；冗余宽度设置为固定的值，单个细胞直径平均值的2倍(先统计单个细胞直径的分布)。子细胞团长度、相邻细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系，

d·n-(n-1)·s＝L+x (2)

其中d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。因为n是整数，所以可以扩充L使得等式(2)刚好成立。n和x的值按如下公式(3)计算

如附图4，将水平方向超大细胞团A1A8B8B1沿水平方向按上述公式分割为A1A4B4B1、A2A7B7B2和A5A8B8B5三个子细胞团。

相邻子细胞团重合宽度需要合理设置，上述步骤中将其设置为2倍的平均细胞直径是基于下述考虑的：如图4，子块A2A5D5D2的边界区域A2A3D3D2中的细胞s1在相邻子子块A1A4D4D1中位于内部区域，类似地子块B1B4E4E1的边界区域B3B4E4E3中的细胞s3在相邻子块B2B5E5E2中位于内部区域，因此冗余能够降低边界效应，避免细胞处于图像的边界(影响细胞异常判定的精度)。过大的冗余会增加重复计算量，过小的冗余难以降低边界效应，因此将冗余宽度设置为平均细胞直径的两倍，这样单个细胞基本都会位于相邻两个细胞团中一个的内部区域。

如果细胞团的宽超过相应均值加2倍标准差，则沿垂直方向将该细胞团分为多个子细胞团。如果细胞团的长和宽均超过相应均值加2倍标准差，则同时沿水平和垂直方向将该细胞团分为多个子细胞团。拆分的细胞团长度和宽度、冗余宽度的设置、子细胞团数目的关系和上述公式(2)(3)一致。

步骤3)将超大细胞团以外的细胞团区域和拆分得到的子细胞团作边界填充处理，得到待识别区域。

经过上述拆分处理，细胞团之间尺度差异降低了，但是还不是完全相同大小。为便于后续可疑细胞团判定模型训练和应用，进一步对原有的非超大细胞团和拆分的子细胞团作边界填充处理，将其填充为统一的大小，长和宽分别是相应均值加2倍的标准差。

步骤4)判断待识别区域是否包含病变细胞。

待识别区域是否包含病变细胞是一个图像分类问题，有两种主流方法：传统的特征工程结合机器分类算法如支持向量机、随机森林等，第二大类是基于深度卷积神经网络的图像分类方法如AlexNet、VGG-Net，GoogLeNet，残差网络等经典图像分类网络。第二类方法相比第一类方法最大的特点是无需人工设计特征工程，深度网络模型可以自动从数据中学习到图像特征。结合细胞团的图像特点，本发明优选提供了一种多分辨率输入的三通道深度残差网络模型，用来分类待识别区域。细胞团大小不一带来的尺度不一致会影响网络模型的分类效果，虽然在步骤2)中引入了超大细胞团的拆分模块，但是细胞团的尺度并不是完全一致的。因此，将输入图像分别采样到三个分辨率，使用残差网络提取三个分辨率下的不同图像特征，并融合不同分辨率的特征，最终根据融合的特征对待识别图像进行分类。这种多分辨率输入的残差网络模型有效解决了细胞团尺度不一致带来的识别困难。具体为：

判断每个待识别细胞团是否为可疑异常细胞团。每个细胞团分为正常细胞团或潜在异常细胞团。采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型，其结构图如图5。

21)在数字切片上以细胞团为样本单位人工标注可疑细胞团和正常细胞团，建立训练样本集；

22)对样本集作旋转、位移、加噪声等样本增强变换；

23)在ImageNet数据集预训练好的参数基础上采用迁移学习的方式训练该网络模型，采用交叉熵作为目标函数和Adam学习算法，具体是，冻结附图3残差网络结构中的Stem、Residual Block A和Residual Block B三个模块(设置这些模块的权值参数的学习率为0，不更新这些参数)，通过Adam学习算法仅仅更新后面Residual Block C和Residual BlockD模块中的参数；

24)应用上述训练好的判定模型对每个细胞团填充子图进行是否可疑的判定。

具体而言,改进的多分辨率输入的三通道深度残差网络模型如下：

a)对每个细胞团子块图像，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75,1和1.25倍。

b)对每一个分辨率的输入图像，使用深度残差模型的特征提取模块，附图3中的Stem和Residual Block A-D网络模块，来提取该分辨率下的图像特征。

c)将三个通道内提取的图像特征组合在一起，得到融合的图像特征，进一步使用Softmax回归分类细胞团是否是可疑细胞团。

上述步骤中的基础深度残差网络模型，可以是ResNet34、ResNet50、ResNet101或者更深残差网络。在本实例中，优选使用ResNet50。细胞团是否异常的分类是个二分类问题，需要编码的语义类别比较少，因此使用层数相对少的ResNet50更合理。越深的残差网络层数其参数越多能编码的特征也越丰富，但是训练和应用的效率也越低。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于细胞团的宫颈细胞病理切片图像病变细胞识别系统，其特征在于，包括：

细胞团提取模块,用于在宫颈病理切片图像上提取单个的细胞团区域；

细胞团拆分模块,用于统计细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团,将超大细胞团拆分为子细胞团；如果细胞团区域的长度超过预定阈值，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余，每个子细胞团的长设定为固定的值；如果细胞团的宽度超过预定阈值，则同时沿垂直方向将该细胞团分为多个子细胞团；拆分的细胞团宽度、冗余宽度的设置、子细胞团数目的关系与水平方向拆分一致；

填充模块,用于将超大细胞团以外的细胞团区域和拆分得到的子细胞团作边界填充处理，得到待识别区域；

在待识别区域中识别出病变细胞。

2.根据权利要求1所述的基于细胞团的宫颈细胞病理切片图像病变细胞识别系统，其特征在于，细胞团拆分中，如果细胞团区域的长度超过预定阈值，其拆分的子细胞团长度、相邻子细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系：

d·n-(n-1)·s＝L+x

x＝d·n-(n-1)·s-L；

其中，d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。

3.根据权利要求2所述的基于细胞团的宫颈细胞病理切片图像病变细胞识别系统，其特征在于，所述相邻子细胞团重合宽度为2倍的平均细胞直径。

4.根据权利要求1-3任一项所述的基于细胞团的宫颈细胞病理切片图像病变细胞识别系统，其特征在于，所述细胞团提取模块的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

Images