CN109034208A - 一种高低分辨率组合的宫颈细胞病理切片分类方法 - Google Patents

Abstract

本发明公开了一种高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，包括如下步骤：在低分辨率的宫颈病理切片图像上提取单个的细胞团区域；从低分辨率的细胞团区域中辨识出可疑异常细胞团区域；将可疑异常细胞团区域映射到高分辨率切片图像中；在高分辨率的可疑细胞团区域中语义分割出病变细胞并判读其类型；根据分割出的病变细胞的类型、数量和置信度建立切片的特征集，进而对整张切片的病变类型进行了分类。本发明以细胞团为处理和识别单位，在低分辨率数字切片上利用分类神经网络模型快速识别可疑的异常细胞团，然后在高分辨率的可疑区域上分割出病变细胞并对其类型进行判断，同时提高了识别精度和识别效率。

Description

一种高低分辨率组合的宫颈细胞病理切片分类方法

技术领域

本发明属于医学细胞病理图像处理领域，更具体地，涉及一种高低分辨率组合的宫颈细胞病理切片自动判读方法。

背景技术

宫颈癌是女性群体中高发的一种恶性肿瘤。宫颈液基细胞病理学是当前预防和筛查宫颈癌的最重要手段。对细胞病理切片图像中病变细胞进行精确判读是医生确定病人病情和制定治疗方案的重要依据。当前，基于人工的细胞病理图像判读不仅耗时，而且判读结果非常依赖于医生的经验。因此，自动地判读病理切片中的病变细胞不仅能提高诊断的效率而且能给医生更加统一客观的诊断依据。自动阅片技术的这些优点对于在我国普及宫颈筛查具有重大的意义。

病理图像判读的主要依据是细胞核和细胞质的精细形态。这要求数字化的病理切片达到亚微米的分辨率。而单张切片尺寸一般在厘米尺度，因此一张数字化的切片图像通常含有10⁴ x 10⁴–10⁵ x 10⁵的像素。即使算法自动地判读所有的像素依然非常费时。美国Hologic公司在低倍显微镜下扫描整个切片，然后根据图像特征自动选择22个最可疑的视野供人工进一步判读。虽然在低倍镜扫描的数字切片上能快速判读整个切片，但是由于分辨率的限制自动算法只能识别可疑的病变区域而无法精确地分割出病变的细胞并判读其类型。

国内外一些研究者利用图像处理和机器学习算法在切片图像上分割出单个细胞，然后对单个细胞统计若干形态特征如胞浆比等，最后根据这些特征对细胞进行正常异常分类。但是这种方法会遇到一些挑战：病理切片中细胞大部分都是严重重合的，导致很难准确分割出单个细胞的细胞质和核；自定义的形态特征很难完整地表征细胞形态，如高度病变的鳞状上皮细胞核和非典型的子宫颈管腺细胞在形态上非常类似，难以通过简单地形态特征区分。基于深度学习的仿视觉识别算法能通过深层卷积网络自动学习和编码图像形态特征，这些学习到的高维特征能有效表征各种不同类型细胞的形态差异。深度卷积神经网络模型虽然对于识别图像中的特定结构非常有效，但是却很难编码图像中一些全局的信息或者人们关于待识别对象的特定知识经验，如细胞轮廓的光滑性、细胞轮廓处颜色的差异性和单个细胞内颜色的一致性等。

综上所述，细胞病理切片的自动判读对普及我国宫颈癌筛查和降低宫颈癌发病率非常重要。自动判读系统既需要达到高的识别精度同时也需要高的时间效率。人工设计的病理细胞特征工程虽然有效但是存在很大局限性。

发明内容

为了解决现有技术的不足，本发明提出了一种基宫颈细胞病理数字切片自动判读方法，该方法以细胞团为处理和识别单位，在低分辨率数字切片(譬如4倍或者10倍镜下扫描数字切片)上利用分类神经网络模型快速识别可疑的异常细胞团，然后将识别出的可疑异常细胞团映射到高分辨率切片(譬如20倍或者40倍镜下扫描数字切片)上，进一步在高分辨率的可疑区域上利用语义分割网络模型和形变变分模型精确地分割出病变细胞并对其类型进行分类，同时提高了识别精度和识别效率。

一种高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，包括如下步骤：

在低分辨率的宫颈病理切片图像上提取单个的细胞团区域；

从低分辨率的细胞团区域中辨识出可疑异常细胞团区域；

将可疑异常细胞团区域映射到高分辨率切片图像中；

在高分辨率的可疑细胞团区域中语义分割出病变细胞并判读其类型；

根据分割出的病变细胞类型、数量和置信度建立切片的特征集，进而对整张切片的病变类型进行了分类。

进一步地，所述步骤1)的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

进一步地，所述从低分辨率的细胞团区域中辨识出可疑异常细胞团区域的具体实施方式为：

离线建立低倍数字切片的训练样本集；

结合训练样本集，采用深度残差神经网络模型训练可疑细胞团判定模型；

应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。

进一步地，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：

对每个细胞团区域，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75、1和1.25倍；

对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；

将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

进一步地，还对所述细胞团区域进行拆分：

统计所有细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团；

将超大细胞团作为父细胞团，作冗余分块处理：如果细胞团区域的长度超过预定阈值，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余，每个子细胞团的长设定为固定的值；子细胞团长度、相邻子细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系：

d·n-(n-1)·s＝L+x

其中，d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。如果细胞团区域的宽度超过预定阈值，则沿垂直方向将该细胞团分为多个子细胞团，拆分的方式同水平方向。

进一步地，将可疑异常细胞团区域映射到高分辨率切片图像中的具体实施方式为：

输入的数字切片图像已经包含高低分辨率，将低分辨率切片中可疑异常细胞团区域对应到高分辨切片中；或者

输入的数字切片图像只包含低分辨率，记录可疑异常细胞团区域位置信息，将位置信息传给扫描成像系统，对该位置进行高分辨率成像。

进一步地，所述在高分辨率的可疑细胞团区域中语义分割出病变细胞并判读其类型的具体实施方式为：

离线建立高倍数字切片的训练样本集；

结合高倍数字切片的训练样本集，在深度残差网络的基础引入空洞卷积构造的语义分割网络训练语义分割模型；

应用训练好的语义分割模型在高分辨率的可疑细胞团区域上分割出病变细胞对其类型进行分类。

进一步地，所述的语义分割网络的构造方式如下：

将原始深度残差网络的前两个残差模块保留；将第三个残差模块中的卷积替换为空洞卷积，空洞间距设置为2；将第四个残差模块替换为三个不同空洞间距的空洞残差模块，且这三个空洞残差模块是并联结构的，然后融合三个空洞残差模块输出的特征图；最后接一个残差模块并输出多类语义分割结果图。

进一步地，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。

进一步地，还包括步骤：结合病变细胞形态特征，建立轮廓形变模型，应用轮廓形变模型优化语义分割结果，具体为；

在语义分割模型产生的分割结果中提取单个连通域，并滤除小于平均细胞面积一半的连通域；

对保留的每个连通域，提取轮廓曲线，并通过样条插值的方式使轮廓曲线上的散点等距；

以轮廓曲线点作为公式中优化问题的初始化解，通过欧拉-拉格朗日方式将该泛函优化问题转化为普通函数求极值优化问题，然后根据拟牛顿法求解；其中，C(s)表示参数化的轮廓曲线，s是轮廓曲线的参数，表示轮廓曲线的一阶导数，表示轮廓曲线的二阶导数，α，β是权重参数，I_{main_color}表示主颜色通道图，表示在主颜色通道图上轮廓曲线点附近颜色的差分，γ表示权重参数。

总体而言，本发明的有益效果：

(1)本发明提出的高低分辨率组合的宫颈细胞病理切片自动判读方法，有效解决了自动判读全切片在识别精度和时间效率上的矛盾，采用多层级递进的识别策略：在低分辨率切片(4倍或10倍镜下扫描的数字切片)上快速定位可疑的异常区域，然后仅仅对可疑的异常区域在高分辨率切片(20倍或40倍镜下扫描的数字切片)上精细地分割病变细胞并判断其类型。这种策略能有效兼顾判读的精度和效率。

(2)本发明提出的本发明提出的高低分辨率组合的宫颈细胞病理切片自动判读方法，针对海量像素的全切片图像，以细胞团为处理和识别单位，而不是常规的图像分块融合框架，这种处理方法更加适合细胞病理切片图像的特点，本质上是对整个切片进行不规则形状地分块，而不是常规的矩形分块。以细胞团为处理和识别单位的优点：a)细胞团作为识别单位，细胞不会被分隔在两个相邻的子块中，因而不会因为图像分块边界问题而损失识别精度；b)常规的图像分块融合框架要求训练集中切片的每个子块的所有像素均被标注类别，而以细胞团为识别单位则无需对切片进行完全地标注，可以选择性地标注部分细胞团，极大节约标注成本同时不损失样本的代表性；c)细胞团之间可以独立处理和识别的特性，使得识别算法可以并行地进行，同时处理多个细胞团。细胞团作为处理单位带来的不利影响是不同细胞团之间大小不一致，为了解决避免这种不一致影响识别效果，本发明提出了超大细胞团拆分模型降低了细胞团间尺度的差异，并改进原有的神经网络模型使之适应细胞团间尺度的差异。

(3)本发明提出的本发明提出的高低分辨率组合的宫颈细胞病理切片自动判读方法，结合深度语义分割网络模型和形变变分模型在高分辨率数字切片上对可疑细胞团区域进一步分割出不同类型的病变细胞，深度语义分割模型能有效识别出不同病变类型的细胞区域，但是识别出的细胞轮廓可能不是非常符合细胞的形态特点，因此通过变分模型将细胞的形态特点(细胞轮廓的光滑性、轮廓处颜色的差异性和细胞内颜色的单一性等特点)融合进模型，进一步优化深度语义分割模型的识别结果。

(4)本发明提出的本发明提出的高低分辨率组合的宫颈细胞病理切片自动判读方法，不仅能分割出数字切片内多种类型的病变细胞，而且根据分割出的病变细胞类型数量置信度建立切片的特征集，进而对整张切片的病变类型进行了分类。这种对整张切片的分类方式和医生判读切片的过程是一致的，相比直接对切片进行分类的方法更加合理。

本发明提出的本发明提出的高低分辨率组合的宫颈细胞病理切片自动判读方法，是一种通用的细胞病理切片自动判读方法，不仅对宫颈细胞病理适用，对其他癌症的细胞病理筛查只要建立新的标注训练库亦可适用。

附图说明

图1为本发明的高低分辨率组合的宫颈细胞病理切片自动判读方法的流程图；

图2为本发明提出的基于细胞团为处理和识别单位的示意图；

图3为本发明改进的多分辨率输入的三通道深度残差网络模型结构图；

图4和5为本发明提出的超大细胞团冗余拆分模型的示意图；

图6为本发明中用于分割多种类型病变细胞的深度语义分割网络模型；

图7为空洞卷积和传统卷积的对比示意图，其中图7(a)为传统间距为1的3x3卷积，图7(b)为间距为2的3x3空洞卷积。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供的高低分辨率组合的宫颈细胞病理切片自动判读方法，包括以下步骤：

步骤1)在10倍镜下扫描的数字切片上进行前景分割，在分割出的前景图像中提取多个细胞团区域。细胞质相连的细胞集合称为一个细胞团，另为方便统一处理，孤立的细胞也看作一个细胞团。

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像，并对该二值化图像作空洞填充和滤除噪声像素处理，具体如公式1

其中I是切片RGB数字图像，和表示对每个像素点求RGB三个颜色通道的最大像素值和最小像素值，thre_RGB是设定的阈值，本次实例中设置为10，I_binary是得到的二值化图像。这种二值化方式是基于：宫颈细胞切片图像中上皮细胞呈现红色中下层细胞呈现蓝绿色，而背景区域则呈现白色和灰色，因此越是彩色的区域越可能是细胞组织区域。RGB三通道像素值差异越大其显示的颜色越彩。

在该二值化图像中，部分深黑色的细胞核会被计算为背景，出现空洞，所以进一步使用空洞填充操作填充二值化图像中的空洞区域。另由于制片过程，切片图像中存在部分粘液或非细胞的杂质颗粒，所以可以进一步对二值化图像滤除其中小体积的孤立前景区域。

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团。在切片图像中取出每个连通域对应的图像(不规则形状)，同时将不规则的连通域用背景像素填充为矩形。附图2a，在一个小块切片图像上提取了23个细胞团，附图2b是其中第6号细胞团作矩形填充得到的子块图像。

步骤2)判断每个细胞团是否为可疑异常细胞团。

每个细胞团分为正常细胞团或潜在异常细胞团。采用多分辨率输入的深度残差神经网络模型训练可疑细胞团判定模型，其结构图如附图3。

21)在10倍镜数字切片上以细胞团为样本单位人工标注可疑细胞团和正常细胞团，建立训练样本集；

22)对样本集作旋转、位移、加噪声等样本增强变换；

23)在ImageNet数据集预训练好的参数基础上采用迁移学习的方式训练该网络模型，采用交叉熵作为目标函数和Adam学习算法，具体是，冻结附图3残差网络结构中的Stem、Residual Block A和Residual Block B三个模块(设置这些模块的权值参数的学习率为0，不更新这些参数)，通过Adam学习算法仅仅更新后面Residual Block C和Residual BlockD模块中的参数；

24)应用上述训练好的判定模型对每个细胞团填充子图进行是否可疑的判定。

对于提取到的不规则细胞团，对其边界作背景像素填充处理变成矩形子图。不同的细胞团区域又大有小，尺度的不一致会增加判定的难度，影响深度残差网络的分类精度。因此将超大的细胞团进一步拆分为小的细胞团，减少不同细胞团尺度的差异。同时，将原始的深度残差网络改进为多分辨率输入的三通道网络模型，使网络能够表征不同尺度细胞图像的形态特点，适应细胞团间尺度的差异。

具体而言,超大细胞团的拆分模型如下步骤：

a)统计所有细胞团的尺寸(长和宽)的分布，分别计算其均值和标准差，将长或者宽超过相应均值加2倍标准差的细胞团视作超大细胞团。

b)对超大的细胞团，作冗余分块处理。如果细胞团的长超过相应均值加2倍标准差，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余。每个子细胞团的长设定为固定的值，均值加2倍标准差；冗余宽度设置为固定的值，单个细胞直径平均值的2倍(先统计单个细胞直径的分布)。子细胞团长度、相邻细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系，

d·n-(n-1)·s＝L+x (2)

其中d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。因为n是整数，所以可以扩充L使得等式(2)刚好成立。n和x的值按如下公式(3)计算

如附图4，将水平方向超大细胞团A1A8B8B1沿水平方向按上述公式分割为A1A4B4B1、A2A7B7B2和A5A8B8B5三个子细胞团。

相邻子细胞团重合宽度需要合理设置，上述步骤中将其设置为2倍的平均细胞直径是基于下述考虑的：如附图5，子块A2A5D5D2的边界区域A2A3D3D2中的细胞s1在相邻子子块A1A4D4D1中位于内部区域，类似地子块B1B4E4E1的边界区域B3B4E4E3中的细胞s3在相邻子块B2B5E5E2中位于内部区域，因此冗余能够降低边界效应，避免细胞处于图像的边界(影响细胞异常判定的精度)。过大的冗余会增加重复计算量，过小的冗余难以降低边界效应，因此将冗余宽度设置为平均细胞直径的两倍，这样单个细胞基本都会位于相邻两个细胞团中一个的内部区域。

如果细胞团的宽超过相应均值加2倍标准差，则沿垂直方向将该细胞团分为多个子细胞团。如果细胞团的长和宽均超过相应均值加2倍标准差，则同时沿水平和垂直方向将该细胞团分为多个子细胞团，如附图5。拆分的细胞团长度和宽度、冗余宽度的设置、子细胞团数目的关系和上述公式(2)(3)一致。

c)经过上述拆分处理，细胞团之间尺度差异降低了，但是还不是完全相同大小。为便于后续可疑细胞团判定模型训练和应用，进一步对原有的非超大细胞团和拆分的子细胞团作边界填充处理，将其填充为统一的大小，长和宽分别是相应均值加2倍的标准差。

具体而言,改进的多分辨率输入的三通道深度残差网络模型如下：

a)对每个细胞团子块图像，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75,1和1.25倍。

b)对每一个分辨率的输入图像，使用深度残差模型的特征提取模块，附图3中的Stem和Residual Block A-D网络模块，来提取该分辨率下的图像特征。

c)将三个通道内提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

上述步骤中的基础深度残差网络模型，可以是ResNet34、ResNet50、ResNet101或者更深残差网络。在本实例中，优选使用ResNet50。细胞团是否异常的分类是个二分类问题，需要编码的语义类别比较少，因此使用层数相对少的ResNet50更合理。越深的残差网络层数其参数越多能编码的特征也越丰富，但是训练和应用的效率也越低。

步骤3)步骤2)中识别到的可疑异常细胞团映射到对应的40倍镜扫描的数字切片，得到对应的高分辨率可疑细胞团区域图像。仅仅映射矩形填充前不规则的细胞团区域，将得到的高分辨可以细胞团区域进一步使用背景像素填充为矩形图像。

映射方式可以是如下两种：一是输入的数字切片图像已经包含高低分辨率，直接将低分辨率切片中不规则区域的外轮廓位置对应到高分辨切片中，在高分辨率切片中得到对应的不规则区域；二是输入的数字切片图像只包含低分辨率，记录不规则区域的外轮廓位置信息，将位置信息传给扫描成像系统，对该位置进行高分辨率成像，得到相应的高分辨率不规则区域图像。

步骤4)在高分辨率可疑细胞团区域上分割出病变细胞并对其进行分类。

考虑的细胞类型包括肿瘤性病变类型、鉴别性细胞类型(和肿瘤病变形态类似但是不是肿瘤病变，会干扰识别)和正常细胞。其中肿瘤性病变包括：高度病变的鳞状上皮细胞(HSIL)、低度病变的鳞状上皮细胞(LSIL)、非典型鳞状上皮细胞(ASC-US)和非典型腺细胞(AGC)。鉴别性细胞类型包括：正常子宫颈管细胞(形态类似HSIL)，非肿瘤性的拥挤深染细胞团(形态类似HSIL)，非肿瘤性核的质比大深染的孤立小细胞(形态类似基底层高度病变的细胞)和正常鳞状上皮细胞。

建立基于空洞卷积的深度语义分割网络模型，其结构图如附图6。

41)在高分辨率切片图像上以细胞团为单位，精确标注细胞团区域中的病变细胞并记录其类型，建立训练样本集。

42)对样本作旋转、位移、加噪声等样本增强变换处理。

43)在深度残差网络的基础引入空洞卷积构造附图6的语义分割网络。在ImageNet数据集预训练好的残差网络模型的基础上通过迁移学习的方式训练该语义分割模型，采用Dice损失函数和Adam学习算法训练网络中的权值参数。

44)应用训练好的语义分割模型在高分辨率可疑细胞团区域上分割出病变细胞并对其类型进行判断。

基于深度残差网络和空洞卷积的语义分割网络具体的构造方式如下：将原始的深度残差网络前面部分层保留，然后将后面的层中的卷积和池化替换为空洞卷积。原始的深度残差网络是用来对图像进行分类，为了从图像中编码各种语义，使用了卷积和池化操作。卷积操作是对局部信息做编码和整合。池化操作有两方面作用，一是去掉局部的冗余信息降低特征图的维度，二是在低维度的特征图上，卷积操作能编码更加全局的信息。池化操作非常切合图像分类问题，但是池化操作会损失物体在图像中精确地位置信息，因而对图像语义分割问题(不仅关心物体类别信息还关心物体位置轮廓信息)不适用。为了既获取图像的语义信息又不损失图像中物体位置信息，空洞卷积操作被引入神经网络，其特点是在传统的卷积操作中引入输入间距的量。空洞卷积的作用是在不使用池化操作的情况下使得卷积仍然能够编码大尺度的图像信息。如附图7，传统卷积和输入间距为2的卷积。

上述步骤中的基础深度残差网络模型，可以是ResNet34、ResNet50、ResNet101或更深残差网络。在本实例中，优选使用ResNet50。预设的细胞类别数目是8，需要编码的语义类别较多，而且这8类中部分类别细胞形态相似度非常高(如鳞状上皮内高度病变细胞和非肿瘤的拥挤深染细胞团)，因此使用层数相对多的ResNet50网络，能够编码更复杂的特征。过深的残差网络层数训练和应用的效率也会受到影响。具体网络结构如附图6，将第3个残差模块中的卷积替换为空洞卷积，空洞间距设置为2；将第4个残差模块替换为三个不同空洞间距的空洞残差模块，且这三个空洞残差模块是并联结构的，然后融合三个空洞残差模块输出的特征图；最后接一个残差模块并输出多类语义分割结果图。

步骤5)结合病理细胞形态特征，建立轮廓形变模型，进一步优化步骤4)中的语义分割结果。

语义分割网络输出的分割图虽然能分割出病变的细胞，但是分割出的细胞轮廓存在一些问题：细胞轮廓不光滑、部分细胞轮廓位置有偏差等问题。因此下面结合病理细胞形态特征，建立变分模型，优化分割出的细胞的轮廓。

该变分模型的能量函数包含下面三项：细胞轮廓曲线的内在特性、细胞轮廓处颜色差异性和单个细胞内部颜色的一致性。

E_snake＝E_int+E_ext1+E_ext2 (4)

其中E_snake表示待优化的能量函数，E_int表示轮廓曲线的内在特性，E_ext1表示细胞轮廓处颜色的差异性，E_ext2表示单个细胞内部颜色的一致性。

细胞具有椭圆的形状，因此合理的细胞轮廓应该是光滑而且平坦的。细胞轮廓曲线的光滑和平坦特性可以通过曲线的一阶导数和二阶导数刻画。一阶导数刻画了曲线的连续、光滑，二阶导师刻画了曲线的曲率。最小化曲线的一阶导数和二阶导数则是要求轮廓曲线既光滑又平坦。具体如公式5：

其中E_int表示轮廓曲线的内在特性，C(s)表示参数化的轮廓曲线，s是轮廓曲线的参数，表示轮廓曲线的一阶导数，表示轮廓曲线的二阶导数，α，β是权重参数。

由于病理细胞切片的染色方式，中低层的细胞呈现蓝绿色，表层的细胞呈现红色。因此细胞轮廓处有两种情况：彩色的细胞与空白的背景、不同细胞相互重叠。要求细胞轮廓曲线经过颜色差异最大的区域，同时要求细胞内部的颜色尽量一致。这两个要求等价于：对每个细胞，确定其主颜色(蓝色或红色)，在主颜色通道图上寻找具有最大边界差异的轮廓曲线。其中主颜色通道是指该通道上主颜色细胞非常强烈而其他颜色细胞则弱化的通道，主颜色通道可以根据RGB三个通道线性拟合得到。

其中I_{main_color}表示主颜色通道图，表示在主颜色通道图上轮廓曲线点附近颜色的差分，γ表示权重参数。

上述模型综合起来即公式(7)

具体求解过程如下：

a)在语义分割模型产生的分割结果中提取单个连通域，并滤除小于平均细胞面积一半的连通域；

b)对保留的每个连通域，提取轮廓曲线，并通过样条插值的方式使轮廓曲线上的散点等距；

c)以轮廓曲线点作为公式中优化问题的初始化解，通过欧拉-拉格朗日方式将该泛函优化问题转化为普通函数求极值优化问题，然后根据拟牛顿法求解；其中，C(s)表示参数化的轮廓曲线，s是轮廓曲线的参数，表示轮廓曲线的一阶导数，表示轮廓曲线的二阶导数，α，β是权重参数，I_{main_color}表示主颜色通道图，表示在主颜色通道图上轮廓曲线点附近颜色的差分，γ表示权重参数。

步骤6)建立随机森林分类模型，根据识别出的病变细胞类别和数量预测整张切片的病变类别。

本实施例中具体建模求解过程如下：

61)收集不同类型数字切片1000张，其中包含高度鳞状上皮内病变切片150张，低度鳞状上皮内病变切片150张，非典型鳞状上皮细胞(意义不明确)100张，非典型鳞状上皮细胞50张(不排除高度鳞状上皮病变)，非典型腺细胞50张，阴性切片500张。整张切片的病变类别是局部的单个细胞的病变的综合结论。

62)对每张数字切片，根据之前的步骤1)-5)计算该切片内包含的病变细胞的类型和数量及置信程度。

63)构造每张切片的特征工程，每种类型的病变细胞(共8类，步骤4))计算如下的6个特征：该类型的病变细胞数目，该类型的病变细胞平均置信度，该类型的病变细胞置信度排名前N1(本实例N1＝10)的平均置信度，该类型的病变细胞置信度排名前N2(本实例N2＝5)的平均置信度，该类型的病变细胞置信度排名前N3(本实例N3＝3)的平均置信度，该类型的病变细胞的最大置信度。将所有类型的特征组合在一起构成多维度(本实例为48维度)的特征。

64)使用由50子树构成的随机森林模型，要求叶节点至少包括3个个体，拟合上述具有48维特征的800张切片(随机从1000张切片从抽取)。另外200张作为验证集调整该随机森林模型的部分超参数。

65)应用训练好的随机森林模型预测测试切片的整体病变类型。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，包括如下步骤：

在低分辨率的宫颈病理切片图像上提取单个的细胞团区域；

从低分辨率的细胞团区域中辨识出可疑异常细胞团区域；

将可疑异常细胞团区域映射到高分辨率切片图像中；

在高分辨率的可疑细胞团区域中语义分割出病变细胞并判读其类型；

根据分割出的病变细胞类型、数量和置信度建立切片的特征集，进而对整张切片的病变类型进行了分类。

2.根据权利要求1所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述步骤1)的具体实施方式为：

通过红绿蓝三个颜色通道的极差作阈值得到二值化前景图像；

对二值化图像作空洞填充和滤除噪声像素处理；

在最终得到的前景图像中计算连通区域，每个连通区域作为一个细胞团；

在切片图像中取出每个细胞团对应的图像，同时将不规则的细胞团区域用背景像素填充为矩形。

3.根据权利要求1所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述从低分辨率的细胞团区域中辨识出可疑异常细胞团区域的具体实施方式为：

离线建立低倍数字切片的训练样本集；

结合训练样本集，采用深度残差神经网络模型训练可疑细胞团判定模型；

应用训练好的可疑细胞团判定模型对每个细胞团进行异常细胞判定。

4.根据权利要求3所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述深度残差神经网络模型为多分辨率输入的三通道网络模型，构造方式为：

对每个细胞团区域，使用双线性插值方法将其采样到3个分辨率，分别是原始图像的0.75、1和1.25倍；

对每一个分辨率的输入图像，使用深度残差模型的特征提取模块提取该分辨率下的图像特征；

将三个分辨率提取的图像特征组合在一起，得到融合的图像特征，进一步使用逻辑回归分类细胞团是否是可疑细胞团。

5.根据权利要求1或2或3或4所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，还对所述细胞团区域进行拆分：

统计所有细胞团区域的尺寸，将尺寸超过预定阈值的细胞团视作超大细胞团；

将超大细胞团作为父细胞团，作冗余分块处理：如果细胞团区域的长度超过预定阈值，则沿水平方向将该细胞团分为多个子细胞团，且子细胞团间在水平方向存在冗余，每个子细胞团的长设定为固定的值；子细胞团长度、相邻子细胞团重合宽度、子细胞个数和原始超大父细胞团长度存在如下关系：

d·n-(n-1)·s＝L+x

其中，d是子细胞团的长度，n是划分的子细胞团数目，s是相邻子细胞团重合的宽度，L是父细胞团的长度，x是需要对父细胞团水平方向扩充边界的宽度。如果细胞团区域的宽度超过预定阈值，则沿垂直方向将该细胞团分为多个子细胞团，拆分的方式同水平方向。

6.根据权利要求1或2或3或4或5所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，将可疑异常细胞团区域映射到高分辨率切片图像中的具体实施方式为：

输入的数字切片图像已经包含高低分辨率，将低分辨率切片中可疑异常细胞团区域对应到高分辨切片中；或者

输入的数字切片图像只包含低分辨率，记录可疑异常细胞团区域位置信息，将位置信息传给扫描成像系统，对该位置进行高分辨率成像。

7.根据权利要求1或2或3或4或5或6所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述在高分辨率的可疑细胞团区域中语义分割出病变细胞并判读其类型的具体实施方式为：

离线建立高倍数字切片的训练样本集；

结合高倍数字切片的训练样本集，在深度残差网络的基础引入空洞卷积构造的语义分割网络训练语义分割模型；

应用训练好的语义分割模型在高分辨率的可疑细胞团区域上分割出病变细胞对其类型进行分类。

8.根据权利要求7所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述的语义分割网络的构造方式如下：

将原始深度残差网络的前两个残差模块保留；将第三个残差模块中的卷积替换为空洞卷积，空洞间距设置为2；将第四个残差模块替换为三个不同空洞间距的空洞残差模块，且这三个空洞残差模块是并联结构的，然后融合三个空洞残差模块输出的特征图；最后接一个残差模块并输出多类语义分割结果图。

9.根据权利要求8所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，所述深度残差网络模型是ResNet34、ResNet50、ResNet101或ResNet151。

10.根据权利要求1或2或3或4或5或6所述的高低分辨率组合的宫颈细胞病理切片自动判读方法，其特征在于，还包括步骤：结合病变细胞形态特征，建立轮廓形变模型，应用轮廓形变模型优化语义分割结果，具体为；

在语义分割模型产生的分割结果中提取单个连通域，并滤除小于平均细胞面积一半的连通域；

对保留的每个连通域，提取轮廓曲线，并通过样条插值的方式使轮廓曲线上的散点等距；

以轮廓曲线点作为公式中优化问题的初始化解，通过欧拉-拉格朗日方式将该泛函优化问题转化为普通函数求极值优化问题，然后根据拟牛顿法求解；其中，C(s)表示参数化的轮廓曲线，s是轮廓曲线的参数，表示轮廓曲线的一阶导数，表示轮廓曲线的二阶导数，α，β是权重参数，I_{main_color}表示主颜色通道图，表示在主颜色通道图上轮廓曲线点附近颜色的差分，γ表示权重参数。