CN109886179B - 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 - Google Patents

Abstract

本发明涉及一种基于Mask‑RCNN的子宫颈细胞涂片的图像分割方法和系统，包括步骤：a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；b、模型的构建和训练步骤，构建基于Mask‑RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。本发明利用大量数据训练的深度神经网络模型可以通过对大量数据所包含的信息进行建模和抽象，从而可以实现通过单个模型对子宫颈细胞学涂片图像中的细胞、细胞核进行定位、检测及实例分割。

Description

基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统

技术领域

本发明涉及计算机视觉和图像处理技术领域，特别涉及一种基于 Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统

背景技术

在世界范围内，子宫颈癌是女性第四大常见癌症死因。在病症早期及时发现，及时治疗可以很大程度上提高治愈率。因此，子宫颈癌的早期诊断对女性健康有重要的意义。现代最常用的诊断方式是巴氏涂片检查。

巴氏涂片检查(Pap Test)是一种子宫颈细胞学诊断方法，常用于检查子宫颈癌等疾病。随着医疗数字化的发展，现代医院逐渐摒弃了在显微镜下直接对巴氏涂片进行观察和诊断的传统方法，取而代之的是在计算机上通过检查巴氏涂片图像进行诊断。检查步骤是：

首先，取得少量子宫颈细胞样品，制作细胞涂片；

然后，通过高分辨率扫描仪扫描细胞涂片，生成子宫颈细胞涂片图像；

最后，医生及病理专家通过计算机阅图工具观察细胞有无异常并做出诊断。

数字化的图像具有易于存储管理，易于传输会诊，易于追溯回访且使用成本相对较低的优点。

在诊断过程中，子宫颈涂片图像中各类组织细胞及其细胞核的形态，大小对判别诊断病变细胞会起到非常重要的作用。因此，细胞图像自动分割技术对于计算机辅助筛查，辅助诊断将会有很大的帮助。

现有子宫颈细胞学图像分割技术主要有以下几种：

中国专利CN102831607B，其通过图像处理算法对子宫颈细胞学图像进行光照矫正，滤除噪声及像素聚类方法进行细胞分割；然后基于细胞分割的结果推测细胞核的位置和形状。

中国专利CN103984958A，其通过图像处理算法对子宫颈细胞学图像进行去噪，粗分割，色彩空间特征提取及聚类对图像区域进行粗分割，利用卷积神经网络分类器对粗分割的区域做分类。基于细胞分割的结果推测细胞核的大致位置，利用Sobel算子构造细胞核模板和细胞核细分割的结果。

中国专利CN104992435A提出了一种宫颈单细胞的分割方法，基于单个细胞的图像利用灰度梯度及灰度梯度补偿算法对单个子宫颈细胞进行图像分割。

中国专利CN104732229A提出了一种针对子宫颈细胞涂片图像中堆叠细胞的分割方法，该方法基于图像处理的方法，利用分水岭算法进行重叠区域粗分割，将每个粗分割子块进行组合，构建范函来得到最优化组合，从而实现重叠区域分割的结果。

上述现有的方法中，针对该问题的解决尚不完善。子宫颈细胞学涂片图像中细胞形态十分复杂，有单个细胞，有重叠细胞，有易混淆为子宫颈细胞的白细胞，微生物还有预示着癌变的核增细胞，核质比很高的细胞及裸核。因此，基于像素聚类的方法很难分割重叠在一起的细胞；基于细胞分割的结果定位细胞核的方法很难准确分割单个裸核；临床中又很少存在只有单个细胞或只有成团细胞的图片。现有的方案中，尚无单一模型或流程方案可以同时解决子宫颈细胞图片图像中细胞及细胞核的定位，分类及分割的方案。此外，上述基于图像处理的方式的细胞分割方法和模型，更依赖设计者对子宫颈细胞学涂片图像中细胞特征的提取，很难通过对细胞，细胞核的语义信息进行建模和抽象表达。

发明内容

基于此，有必要提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统，其利用大量数据训练的深度神经网络模型可以通过对大量数据所包含的信息进行建模和抽象，从而可以实现通过单个模型对子宫颈细胞学涂片图像中的细胞、细胞核进行定位、检测及实例分割。

为实现上述发明目的，本发明采用以下技术方案。

本发明首先提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法，包括以下步骤：

a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

b、模型的构建和训练步骤，构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；

c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。

上述方法中，步骤a中，所述训练数据集、验证数据集和测试数据集的准备与标注步骤具体包括：

a1、选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；

a2、将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为(6.5～7.5):1:(1.5～2.5)；

a3、对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；

a4、对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。

上述方法中，步骤a1中，所述子宫颈细胞涂片图像的数量为90～130张，所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。

上述方法中，步骤a1中，所述数据集的归一化及预处理的步骤具体包括：

获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。

上述方法中，步骤a还包括以下步骤：

a5、数据增强，将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

上述方法中，步骤a5具体包括以下步骤：

随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；

垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。

上述方法中，步骤b中所述构建基于Mask-RCNN的图像分割模型的步骤具体包括：

b1、构建特征提取网络，该特征提取网络为主要由重复堆砌的卷积层，采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；

b2、构建区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；

b3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；

b4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。

其次，本发明还提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割系统，其包括：

数据集构建模块，用于包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

模型的构建和训练模块，用于构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；和

模型的验证模块，用于利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。

上述系统中，所述数据集构建模块具体包括：

构图单元，用于选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；

分配单元，用于将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为 (6.5～7.5):1:(1.5～2.5)；

标注单元，用于对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；

生成单元，用于对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。

上述系统中，所述子宫颈细胞涂片图像的数量为90～130张，所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。

上述系统中，所述数据集构建模块还包括：

预处理单元，用于获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。

上述系统中，所述数据集构建模块还包括：

数据增强单元，用于将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

上述系统中，所述数据增强单元具体用于：

随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；

垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。

上述系统中，所述基于Mask-RCNN的图像分割模型包括：

特征提取网络，该特征提取网络为主要由重复堆砌的卷积层，采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；

区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；

构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；

构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。

相比于上述现有技术，本发明至少具备以下优点：

1、不限制子宫颈细胞涂片图像的输入状态，可以是单细胞，部分重叠细胞或者是成团细胞，均可以得到良好的分割结果。

2、可以对重叠细胞部分缺失的边界进行重构，获得较好的完整的细胞分割结果。

3、利用深度学习和有限的标注数据用数值方法获得模型，不需要人工设计特征，对复杂情况有通用性和鲁棒性。

4、无需对图像进行去噪、矫正等预处理，对微生物及白细胞等干扰噪声有较好的鲁棒性。

附图说明

图1为本实施例中子宫颈细胞涂片图像的标注样例；

图2为训练数据集中的子宫颈细胞涂片图像样张；

图3为训练数据集中的子宫颈细胞涂片图像轮廓标注样张；

图4为训练深度神经网络模型时，模型的输出图像样张；

图5为本实施例中分割网络的分割效果图；

图6为本实施例中基于Mask-RCNN的图像分割模型的整体架构示意图。

具体实施方式

下面结合附图及具体实施例做进一步说明。

本实施例提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法，其主要包括以下几个步骤：

a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

b、模型的构建和训练步骤，构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；

c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。

Mask-RCNN是基于深度学习的卷积神经网络的图像分割模型(如无特别说明，下文中的“模型”均指该图像分割模型)，本实施例采用深度学习和有限的标注数据用数值方法获得模型。深度学习是一种基于大量样本，通过反向传播算法对大量样本进行特征提取和模型参数调整的技术。为了解决细胞及细胞核的图像分割问题，本实施例构建了一个包含一定数量的符合临床标准的子宫颈细胞涂片图像，构成每张图片中细胞及细胞核的多边形分割全标注的数据集，再将该数据集分为训练数据集、测试数据集和验证样本集三部分，且它们所占的数量比约为(6.5～7.5):1:(1.5～2.5)。

由于数据集中的样本越多越好，而在实际应用中，对子宫颈细胞涂片图像的标注需要耗费大量的时间和精力，综合时间成本以及样本数量的考虑，结合在实测中模型训练所表现出的结果与训练数据集、测试数据集和验证数据集的数量的关系发现，数据集中子宫颈细胞涂片图像的数量为90～130张，且所述训练数据集、验证数据集和测试数据集的数量比为7:1:2时，可以得到较为满意的模型，同时可以尽可能地节约数据集的准备与标注时间。

在此之前，对于数据集中的每张图片，要在40倍镜分辨率下，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成数据集。再将所述数据集分为训练数据集、验证数据集和测试数据集，以90张图片为例， 63张用作模型训练，为训练数据集；9张用作模型验证，为验证数据集；18张用作模型测试，为测试数据集。训练数据集中的图像样张如图2和图3所示。

然后，对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核。在标注时，多边形的每个顶点均要保证紧贴在细胞与背景的分界像素上，顶点数量要充分密集(本实施例中，两顶点间欧几里德距离不多于20像素)使多边形标注的轮廓可以完整覆盖细胞区域，完整记录每个多边形的顶点坐标位置。标注样例如图1所示。

标注过程中，对边界较难区分的情况依据细胞边缘纹理形态进行人为推断，保证多边形为闭合区域。

最后，对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1；多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。

此即完成了数据集的准备与标注，数据集中包含了63张训练数据集；9张验证数据集和18张测试数据集。

由于选取的图像区域均采样于不同的子宫颈细胞涂片图像，而子宫颈涂片细胞图像可能由不同的扫描仪扫描成像，因不同扫描仪的硬件属性，软件参数设置的不同，每张图片单像素代表的实际物理尺寸也会有不同，上述数据归一化的目的在于尽可能保证使数据集中的图像具有相近的物理尺寸。本实施例给出了对数据集进行归一化及预处理的方案，例如：

通过读取图像的附加信息可以获得该图像的微米每像素(micron per pixel，mpp)参数。mpp代表了每个像素对应于子宫颈细胞涂片的实际距离。mpp为1 代表每个像素代表的实际横或纵向距离为1微米。

通过读取mpp，可以将数据集中的图像通过双线性插值法进行放大或缩小从而实现数据物理尺度上的归一化。

优选的方式是，本实施例将数据集mpp归一化系数设定为0.25，这样，每张图片的目标行(列)像素数由以下公式得出：

目标行(列)像素数＝0.25*原行(列)像素数/mpp。

如前所述，数据集中的样本数越多越好，为进一步扩充数据集，本实施例还可增加数据增强步骤，即：将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

具体包括以下三个步骤：

1、随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述模型时的标签，每张图随机切割10次，构成训练样本集一；

2、垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

3、水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述模型所使用的训练数据。

训练深度神经网络模型时，模型输入为512*512像素的子宫颈细胞涂片图像，输出为图像中，每个细胞、细胞核的类别标签及在其位置上所对应的轮廓分割模板(如图4所示)，训练的目标为图像的标注。

步骤b中，在构建基于Mask-RCNN的图像分割模型时，首先构建以下四个网络模型：

1、构建特征提取网络，该特征提取网络为主要由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；其中，卷积层之间无非线性激活层。特征提取网络的架构如表1所示(大括号表示括号中第一层的输入与括号内最后一层的输出之间存在恒等映射连接)：

表1

2、构建区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计。

3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景。区域选取网络和分类网络的架构如表2所示：

表2

4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。分割网络的网络架构如表3所示：

层名	输入维度	层参数	输出维度	描述
					卷积1	14×14×2048	3×3×256卷积层，滑动步长为1	14×14×256	中间层
转置卷积2	14×14×256	2×2×256卷积层，滑动步长为2	28×28×256	尺度扩大
					卷积3	28×28×256	1×1×1卷积层，滑动步长为1	28×28×1	输出分割模板

表3

本实施例的上述特征提取网络Resnet-50分类网络修改，输入为512*512的图像，输出为16*16*2048的高维张量。

上述区域选取网络的输入是3*3*2048的卷积核在16*16*2048张量上的沿着前两个维度滑窗，中间层为256维的特征向量，分类输出层为全连接层，256 维向量全连接输出当前区域包含目标的类别，由向量[0,0,1]代表背景，向量[0,1,0] 代表细胞，向量[1,0,0]代表细胞核，矩形框位置回归样同是全连接层，由256维向量全连接输出当前区域包含目标相对于子张量坐标中心的外接矩形框左上角坐标的橫，纵，长，宽的归一化在[0，1]之间的浮点值。

由于特征提取网络由输入到输出图像尺度缩小了32倍，所以区域选择网络所输出的橫纵长宽需要相应扩大32倍即为细胞或细胞核在原图像中的大小。通过区域选取网络的分类网络和区域选择网络，可以得到细胞核和细胞在特征提取网络输出的高维特征张量中与该细胞或细胞核位置对应的特征子张量。

参照图6所示，分割网络首先对该子张量进行双线性差值，获得固定尺寸为14*14*2048的特征张量，再将其作为分割网络的输入。该分割网络由一个卷积核为3*3*256常规卷积层和一个卷积核为2*2*256，步长为2的转置卷积层(接非线性激活层)和一个卷积核为1*1*1的卷积输出层组成，输出的结果为对应细胞或细胞核的分割模板(如图5所示)，获得分割好的模板后，通过双线性差值法将模板放大为原图像区域大小，从而获得细胞和细胞核的分割，输出图像。

需说明的是，以上神经网络架构，如未特殊说明，非线性激活层均采用线性整流函数(Rectified Linear Unit,ReLU)，卷积层和全连接层后均跟随ReLU 函数的非线性激活层。

且，上述模型训练采用深度学习中的反向传播算法，分类网络及区域选择网络的以目标真实类别向量和输入区域相对于输入张量坐标中心的坐标为标签，损失函数为交叉熵函数；分割网络以细胞、细胞核的多边形二进制图像标注为标签，损失函数为二进制交叉熵函数。

在应用时，特征提取网络的参数由在分类网络Imagenet预训练的网络去除全连接层的参数进行初始化，其它相关网络参数为[0，1]之间服从截断正态分布参数随机初始化。利用随机梯度下降反向传播算法在经过增强的训练数据集中以0.001的学习律训练90～130个周期。然后通过得到的模型在验证数据集上统计分割结果，将每张验证数据集中的图片的所有分割结果叠加在一起构成该图片的分割模板，计算模板与标注的欧几里德距离，该距离为单张图片的推断误差，将验证数据集中所有图片的推断误差加总在一起得到验证数据集误差，选取训练过程中，令验证数据集误差最低的模型作为最终训练获得的模型。

此外，分类网络的输出是该目标区域为背景、细胞或细胞核的概率。概率最高且高于阈值(本实施例设定为0.8)的区域被视为模型最终输出。模型输出的全部目标通过非极大抑制算法，消除高度重叠的检测和分割结果，视为算法的最终输出。

在步骤c中，利用上述验证数据集对最终训练获得的模型进行验证，可以观测到直观的细胞或细胞核的分割结构，并可以利用相似性系数评价分割结果。根据该分割结构是否满足预期值选择是否进入模型的应用与布署阶段。

本实施例还提供一种基于Mask-RCNN的子宫颈细胞涂片的图像分割系统，主要包括：

数据集构建模块，用于包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

模型的构建和训练模块，用于构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；和

模型的验证模块，用于利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果。

其中，所述数据集构建模块进一步包括：

构图单元，用于选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；

分配单元，用于将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为 (6.5～7.5):1:(1.5～2.5)；

标注单元，用于对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；

生成单元，用于对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片。

所述子宫颈细胞涂片图像的数量越多越好，但基于图片的准备与标注需要耗费大量的时间和精力，本实施例优选为90～130张，且所述训练数据集、验证数据集和测试数据集的数量比约为7:1:2。

上述数据集构建模块还包括：

预处理单元，用于获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。

此外，上述数据集构建模块还包括：

数据增强单元，用于将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

具体地，该数据增强单元用于对训练数据集进行：

随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；

垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。

本实施例采用的所述基于Mask-RCNN的图像分割模型主要包括以下四个部分：

1、特征提取网络，该特征提取网络为主要由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；

2、区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；

3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；

4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。

基于Mask-RCNN的图像分割模型构建完成后，可利用训练数据集中的图像进行训练，训练完成后，选取训练过程中，令验证集误差最低的模型作为最终训练获得的模型。并利用测试数据集对该最终模型进行测试，最后，利用上述验证数据集对最终训练获得的模型进行验证，可以观测到直观的细胞或细胞核的分割结构，并可以利用相似性系数评价分割结果。根据该分割结构是否满足预期值选择是否进入模型的应用与布署阶段。

综上所述，本发明的基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统，其利用大量数据训练的深度神经网络模型可以通过对大量数据所包含的信息进行建模和抽象，从而可以实现通过单个模型对子宫颈细胞学涂片图像的实例分割。即使图像中有单个细胞，重叠细胞，易混淆为子宫颈细胞的白细胞，微生物，及预示着癌变的核增细胞，核质比很高的细胞及裸核等复杂情况，也不会影响最终的实例分割精度，具有较好的通用性和鲁棒性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于Mask-RCNN的子宫颈细胞涂片的图像分割方法，其特征在于，包括以下步骤：

a、数据集构建步骤，包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

b、模型的构建和训练步骤，构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；

c、模型的验证步骤，利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果；

步骤a中，所述训练数据集、验证数据集和测试数据集的准备与标注步骤具体包括：

a1、选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；

a2、将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为(6.5~7.5):1:(1.5~2.5)；

a3、对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；

a4、对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片；

步骤b中，所述构建基于Mask-RCNN的图像分割模型的步骤具体包括：

b1、构建特征提取网络，该特征提取网络为主要由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；

b2、构建区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；

b3、构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；

b4、构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。

2.如权利要求1所述的图像分割方法，其特征在于，步骤a1中，所述子宫颈细胞涂片图像的数量为90~130张，且所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。

3.如权利要求1所述的图像分割方法，其特征在于，步骤a1中，所述数据集的归一化及预处理的步骤具体包括：

获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。

4.如权利要求1所述的图像分割方法，其特征在于，步骤a还包括以下步骤：

a5、数据增强，将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

5.如权利要求4所述的图像分割方法，其特征在于，步骤a5具体包括以下步骤：

随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；

垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。

6.一种基于Mask-RCNN的子宫颈细胞涂片的图像分割系统，其特征在于，包括：

数据集构建模块，用于包括训练数据集、验证数据集和测试数据集的准备与标注，以及数据集的归一化及预处理；

模型的构建和训练模块，用于构建基于Mask-RCNN的图像分割模型并利用所述训练数据集训练该模型，以及利用所述验证数据集验证该模型的图像分割结果；和

模型的验证模块，用于利用所述测试数据集测试该模型，同时利用相似性系数评价分割结果；其中，所述数据集构建模块具体包括：

构图单元，用于选取一定数量的符合临床标准的子宫颈细胞涂片图像，每张图像选取一个宽和高大约为1500像素的包含细胞的区域，用选取的区域构成所述数据集；

分配单元，用于将所述数据集分为训练数据集、验证数据集和测试数据集，并且所述训练数据集、验证数据集和测试数据集的数量比为(6.5~7.5):1:(1.5~2.5)；

标注单元，用于对区域中的细胞进行多边形标注，标注为闭合的多边形轮廓，存储多边形及多边形对应的类别为细胞；用同样的方法对区域中的细胞核进行多边形标注，存储多边形及多边形对应的类别为细胞核；

生成单元，用于对每个多边形标注生成相应的分割模板：多边形内定义为细胞或细胞核，填充1，多边形外定义为背景，填充0，对每一个标注的细胞及细胞核轮廓实例生成模板图片；

所述基于Mask-RCNN的图像分割模型包括：

特征提取网络，该特征提取网络为主要由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，基于深度学习中的反向传播算法，利用所述数据集中所含物体类别标签进行预训练，总结提取图像抽象特征，输出图像的高维特征张量；

区域选取网络，该区域选取网络主要由全连接层和非线性激活层组成，其通过在所述特征提取网络输出的高维特征张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含细胞或细胞核的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原图像中相应坐标位置，实现对细胞及细胞核的位置，大小，外接矩形框的长宽比进行估计；

构建分类网络，该分类网络主要由堆砌的全连接层和非线性激活层组成，用于对所述区域选取网络输出中，包含细胞及细胞核的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是细胞，细胞核或是背景；

构建分割网络，该分割网络主要由重复堆砌的卷积层组成，通过卷积及转置卷积，输入为所述区域选取网络中分类结果包含细胞和细胞核的区域所对应的所述特征提取网络输出结果中的高维张量的子张量，该子张量包含对原图中细胞及细胞核的形状和特征的抽象编码，该分割网络用于对该抽象编码进行解码和重构，输出重构后的分割模板，以完成细胞及细胞核的图像分割。

7.如权利要求6所述的图像分割系统，其特征在于，所述子宫颈细胞涂片图像的数量为90~130张，所述训练数据集、验证数据集和测试数据集的数量比为7:1:2。

8.如权利要求6所述的图像分割系统，其特征在于，所述数据集构建模块还包括：

预处理单元，用于获取数据集中图像的mpp参数，通过双线性插值法进行放大或缩小以使图像具有相近的物理尺寸。

9.如权利要求6所述的图像分割系统，其特征在于，所述数据集构建模块还包括：

数据增强单元，用于将所述训练数据集中的图像进行随机切割和镜像操作，以对训练数据集进行扩充。

10.如权利要求9所述的图像分割系统，其特征在于，所述数据增强单元具体用于：

随机切割，在所述训练数据集中的单张图像范围内，在随机位置切割尺寸大小为512*512像素的图片，同时对所切512*512像素范围内所对应的标注模板进行切割，生成训练所述图像分割模型时的标签，每张图随机切割10次，构成训练样本集一；

垂直镜像，对训练样本集一及其标注图像同时进行垂直镜像，与训练样本集一汇总形成训练样本集二；

水平镜像，对训练样本集二及其标注图像同时进行水平镜像，与训练样本集二汇总形成训练样本集三，训练样本集三为训练所述图像分割模型所使用的训练数据。

Images