CN109815888B - 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法 - Google Patents

Abstract

本发明公开了一种新型巴氏染色方法及异常宫颈细胞自动识别方法，包括两个模块：模块一：基于海量宫颈细胞数据集训练宫颈细胞分类模型；模块二：使用训练好的分类模型识别异常宫颈细胞。本发明提出来了一种新型的巴氏染色方法，从而很好的解决了传统巴氏染色方法所存在的问题，为实现计算机自动高精度的定位宫颈细胞核提供了可能。还提出来了一种异常宫颈细胞自动识别方法，实验表明，该方法实现了对异常宫颈细胞超高精度的自动识别，所以本发明极大地降低了病理医生的诊断负担，提高了宫颈类疾病的诊断效率和精度，具有很大的实用价值，社会效益巨大。

Description

一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法

技术领域

本发明涉及医疗图像诊断技术领域，具体为一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法。

背景技术

近年来深度学习发展的如火如荼，特别是自从以ResNet和DenseNet为代表的卷积神经网络模型的提出，使得卷积神经网络成为目前最早投入实际使用，也是使用最广泛的深度学习模型。ResNet及DenseNet之所以能够取得如此大的性能提升，其实都归因于网络结构中所采用的“跨越连接”的思想。虽然两者都采用了“跨越连接”，但其设计思想却是不同的，其中ResNet跨越连接主要是为了解决深层网络不容易拟合恒等映射的问题，ResNet通过跨越连接为残差块的输出提供一个合理的预测，从而使得残差块中网络参数只需要微小的调整就可以达到最优状态，这种做法一方面使得网络更加容易拟合恒等映射，同时也缓解了深层网络梯度消失的问题；另外一方面也加快了网络的训练过程。DenseNet和ResNet不同，DenseNet通过密集的“跨越连接”，最大限度的确保了网络层之间的信息流动，从而提高了网络的特征提取能力。两种模型各有优点，如何将两种模型的优点相互融合，产生收敛速度更快、特征提取能力更强的模型成为亟需解决的问题。

宫颈癌是常见的妇科恶性肿瘤之一，有着较长的癌前病变阶段，通常是由不典型性增生，发展为原位癌，再发展为早起浸润癌，最后发展为浸润癌。通过由癌前病变到宫颈癌有较长的过度时期，而且宫颈癌在所有的癌症中是最容易预防的一种，如果能够在癌前病变时期及时治疗，就可以将宫颈癌消灭在萌芽状态，因此宫颈癌筛查对于宫颈癌的预防和控制具有重大的意义。宫颈细胞涂片检查是发现宫颈癌前病变和早期宫颈癌的主要方法，病理医生通过在显微镜下进行细胞病理学分析，得出最终的诊断结果。

目前宫颈细胞学检查中使用的染色方法主要是巴氏染色，巴氏染色方法主要存在如下两个缺点：一、基底层宫颈细胞核质染色对比度低；二、盐酸乙醇分化的时间不好控制。另外，传统的巴氏人工阅片技术，要依靠人力在显微镜下从大量细胞中寻找若干病变细胞，工作强度巨大，极易使人疲劳，并且要求操作者具有较高的病理知识和临床经验，诊断结果受到操作者的主观因素等多方面的影响，人为误差不可避免。综上所述，目前急迫的需求由人工阅片向计算机自动阅片的转变，并且能够高精度、高效率的自动检测出异常宫颈细胞。另外，如何研发一种能够解决传统巴氏染色方法所存在问题的新型染色方法，也是一个亟待解决的技术问题。

发明内容

本发明的目的在于提供一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，它能有效的解决背景技术中存在的问题。

为实现上述目的，本发明提供如下技术方案：一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，包括两个模块：

模块一：基于宫颈细胞数据集训练宫颈细胞分类模型；

模块二：使用训练好的分类模型识别异常宫颈细胞。

进一步：所述的训练宫颈细胞分类模型，具体步骤如下所示：

步骤一：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

步骤二：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像；

步骤三：获取所有视野图像中的正常宫颈细胞和异常宫颈细胞，并基于每一个细胞核的中心产生一个固定大小的ROI图片；

步骤四：对上一步所有ROI图片进行预处理；

步骤五：将预处理后的两类ROI来图片使用卷积神经网络模型进行有监督的训练，从而得到训练好的宫颈细胞分类器，记为TbsClassifier。

进一步，所述的一种新型的巴氏染色方法，染色步骤如下：

a.染色增强剂浸泡2min；

b.水洗3次；

c.新苏木素浸泡1min；

d.常温流水返蓝10min；

e.95％乙醇浸泡2min；

f.95％乙醇浸泡2min；

g.橘黄G浸泡15s；

h.95％乙醇浸泡2min；

i.95％乙醇浸泡5min；

j.新EA50浸泡2min；

k.新EA50浸泡5min；

l.95％乙醇浸泡2min；

m.95％乙醇浸泡2min；

n.无水乙醇浸泡2min；

o.无水乙醇浸泡2min；

p.风干封片。

进一步，所述新型的巴氏染色方法，它是针对传统巴氏染色方法对宫颈细胞玻片染色中存在的核质染色对比度低问题的改进，相对于传统巴氏染色方法，所述的新型的巴氏染色方法主要包括如下三点改进：

改进一：使用染色增强剂增加宫颈细胞核的染色程度，所述的染色增强剂是由天青石蓝、铁明矾按照1：1的比例构成；

改进二：引入新苏木素染剂，所述的新苏木素为苏木精、硫酸铝钾、氯酸钠水合氯醛、柠檬酸按照1：50：0.2：50：1的比例构成，它是一种进行性染色试剂，对宫颈细胞核染色之后无需进行盐酸乙醇分化步骤，可以直接进行流水返蓝处理，并且染色时间也由以前的5-8min，降低至1min；

改进三：将传统巴氏染色流程中的EA50染剂替换为新EA50试剂，所述的新EA50为磷钨酸、亮绿、伊红冰醋酸按照4：4：1：1的比例构成，从而降低宫颈细胞浆的染色程度。

进一步，所述的使用训练好的分类模型识别异常宫颈细胞，具体步骤如下所示：

步骤一：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

步骤二：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像，记为VisualImage；

步骤三：对VisualImage进行预处理，然后使用MSER算法自动定位VisualImage中所有宫颈细胞核的质心坐标，记为NucleusPositions；

步骤四：根据NucleusPositions中每个细胞核的质心坐标生成一个固定大小的ROI图片，并将所有ROI图片作为分类模型TbsClassifier的输入，获取所有ROI图片对应的宫颈细胞的预测类别。

进一步，所述视野图像采用固定大小为1280*1280，步骤二中的视野图像是在显微镜下采图所得，显微镜的目镜放大倍数为10，物镜放大倍数为20。

进一步，所述的获取视野图像中的正常宫颈细胞和异常宫颈细胞，所述该过程由病理医生人工辨别正常宫颈细胞和异常宫颈细胞，其中异常宫颈细胞主要包括ASCUS、ASCH、LSIL、HSIL、宫颈癌类别。

进一步，所述的ROI图片是以所对应的细胞核质心坐标为中心的矩形，其大小固定为128*128。

进一步，所述的对ROI图片预处理，步骤主要包括双边滤波和均值方差归一化。

进一步，所述的卷积神经网络模型是为了融合ResNet和DenseNet两种网络模型的优点，提出了新的网络block，记为DR block，本发明卷积神经网络模型一共包括四个DRblock，每个block中包含的网络层分别是2、2、3、3，相应的feature map的维度数为：32、64、128、256。

进一步，所述的对视野图像进行预处理，该预处理步骤为双边滤波处理。

进一步，所述的使用MSER算法定位所有宫颈细胞核质心坐标，具体步骤如下所示：

第一步：首先使用MSER来算法求视野图像的最大稳来定极值区域，记为msers；

第二步：通过宫颈细胞病理学知识为msers设置面积阈值、圆形度阈值筛选掉不能代表细胞核的mser，筛选结果记为NucleusMsers；

第三步：求NucleusMsers中所有mser的质心坐标，结果即为所有宫颈细胞核的质心坐标，记为NucleusPositions。

与现有技术相比，本发明的有益效果是：

1.本发明中新型的巴氏染色方法通过染色增强剂提高了宫颈细胞核的染色程度，同时通过新EA50染剂降低了宫颈细胞浆的染色程度，从而显著提高了宫颈细胞核质染色的对比度，这为计算机精确自动定位宫颈细胞核提供了可能；

2.本发明中新型的巴氏染色方法还引入了一种进行性染色试剂新苏木素，该染剂对宫颈细胞核染色之后可直接进行流水反蓝处理，无需盐酸乙醇分化，从而大大的简化了染色步骤，缩短了染色时间；

3.本发明采用MSER算法自动定位宫颈细胞，解决了细胞核分割及细胞质分割效率低下的问题。

4.本发明融合了ResNet和DenseNet两种网络模型的优点，提出了新的卷积神经网络block，而且卷积神经网络模型不但具有DenseNet强大的特将征提取能力，还具有ResNet快速收敛、抑制梯度消失问题的能力，这极大的提高了本发明宫颈细胞分类模型的预测精度。

附图说明

图1是本发明的工作流程图；

图2是使用本发明新型巴氏染色方法和传统巴氏染色方法对鳞状上皮细胞染色对比图；

图3是使用本发明新型巴氏染色方法和传统巴氏染色方法对腺上皮细胞染色对比图；

图4是本发明宫颈细胞玻片视野图像灰度化图片和双边滤波图片；

图5是本发明MSER算法细胞核定位示意图；

图6是本发明由细胞核质心坐标产生ROI图片过程示意图；

图7是本发明根据细胞核质心坐标截取的ROI图片示例图；

图8是本发明DRblock结构图；

图9是本发明宫颈细胞分类模型网络结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-8，本发明提供如下技术方案：一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，包括步骤有：包括两个模块：

模块一：基于宫颈细胞数据集训练宫颈细胞分类模型；

模块二：使用训练好的分类模型识别异常宫颈细胞。

所述的训练宫颈细胞分类模型，具体步骤如下所示：

步骤一：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

步骤二：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像；

步骤三：获取所有视野图像中的正常宫颈细胞和异常宫颈细胞，并基于每一个细胞核的中心产生一个固定大小的ROI图片；所述的ROI图片是以所对应的细胞核质心坐标为中心的矩形，其大小固定为128*128。

步骤四：对上一步所有ROI图片进行预处理；

步骤五：将预处理后的两类ROI来图片使用卷积神经网络模型进行有监督的训练，从而得到训练好的宫颈细胞分类器，记为TbsClassifier。

一种新型的巴氏染色方法，染色步骤如下：

a.染色增强剂浸泡2min；

b.水洗3次；

c.新苏木素浸泡1min；

d.常温流水返蓝10min；

e.95％乙醇浸泡2min；

f.95％乙醇浸泡2min；

g.橘黄G浸泡15s；

h.95％乙醇浸泡2min；

i.95％乙醇浸泡5min；

j.新EA50浸泡2min；

k.新EA50浸泡5min；

l.95％乙醇浸泡2min；

m.95％乙醇浸泡2min；

n.无水乙醇浸泡2min；

o.无水乙醇浸泡2min；

p.风干封片。

一种新型的巴氏染色方法，它是针对传统巴氏染色方法对宫颈细胞玻片染色中存在的核质染色对比度低问题的改进，相对于传统巴氏染色方法，该方法主要包括如下三点改进：

改进一：使用染色增强剂增加宫颈细胞核的染色程度，所述的染色增强剂是由天青石蓝、铁明矾按照1：1的比例构成；

改进二：引入新苏木素染剂，所述的新苏木素为苏木精、硫酸铝钾、氯酸钠水合氯醛、柠檬酸按照1：50：0.2：50：1的比例构成，同时，它是一种进行性染色试剂，对宫颈细胞核染色之后无需进行盐酸乙醇分化步骤，可以直接进行流水返蓝处理，并且染色时间也由以前的5-8min，降低至1min；

改进三：将传统巴氏染色流程中的EA50染剂替换为新EA50试剂，所述的新EA50为磷钨酸、亮绿、伊红冰醋酸按照4：4：1：1的比例构成，从而降低宫颈细胞浆的染色程度。

所述的使用训练好的分类模型识别异常宫颈细胞，具体步骤如下所示：

步骤一：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

步骤二：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像，记为VisualImage；

步骤三：对VisualImage进行预处理，然后使用MSER算法自动定位VisualImage中所有宫颈细胞核的质心坐标，记为NucleusPositions；

步骤四：根据NucleusPositions中每个细胞核的质心坐标生成一个固定大小的ROI图片，并将所有ROI图片作为分类模型TbsClassifier的输入，获取所有ROI图片对应的宫颈细胞的预测类别。

所述的视野图像采用固定大小为1280*1280，步骤二中的视野图像是在显微镜下采图所得，显微镜的目镜放大倍数为10，物镜放大倍数为20。同时，所述的获取视野图像中的正常宫颈细胞和异常宫颈细胞，该过程由病理医生人工辨别正常宫颈细胞和异常宫颈细胞，其中异常宫颈细胞主要包括ASCUS、ASCH、LSIL、HSIL、宫颈癌等类别。

对ROI图片预处理，步骤主要包括双边滤波和均值方差归一化。

所述的卷积神经网络模型是为了融合ResNet和DenseNet两种网络模型的优点，提出了新的网络block，记为DRblock，其结构图如附图8所示，DR block主要是在Dense block的基础上做的改进，Dense block中密集连接实现的是每个网络层前面所有网络层的输出都将会作为当前网络层输入的一部分，通过这种方法极大的提高了模型的特征提取能力。为了将ResNet跨越连接的优点也融入到DenseNet中，本发明在Dense Block中每个网络层上加入了残差连接，通过这种方式，使得模型不但具有强大的特征提取能力，还具有ResNet快速收敛、抑制梯度消失问题等优点。

本发明卷积神经网络模型一共包括四个DRblock，每个block中包含的网络层数分别是2、2、3、3，相应的feature map的维度数为：32、64、128、256，具体的网络结构见附图9所示。

所述的对视野图像进行预处理，该预处理步骤为双边滤波处理。

所述的MSER算法，是基于分水岭算法发展而来，算法的原理流程是：对图像进行二值化，二值化阈值取[0,255]，这样二值化图像就经历一个全黑到全白的过程，类似于水位不断上升的俯瞰图。在这个过程中，有些连通域面积随阈值上升的变化很小，这种区域就叫做MSER，即最大稳定极值区域，它的数学定义为：

min.area<Q_i<max.area

其中Q_i表示第i个连通区域的面积，Δ表示微小的阈值变化(注水)，当v(i)小于给定的阈值max_variation，并且连通域的面积在给定的最小面积阈值min_area和最大面积阈值max_area范围内部时，则认为该区域是满足要求的MSER。优选地，本发明MSER算法Δ取值为2，max_variation取值为0.5，min_area取值为100，max_area取值为1500。

本发明使用MSER算法定位所有宫颈细胞核质心坐标，具体步骤如下所示：

第一步：首先使用MSER来算法求视野图像的最大稳来定极值区域，记为msers；

第二步：通过宫颈细胞病理学知识为msers设置面积阈值、圆形度阈值等筛选掉不能代表细胞核的mser，筛选结果记为NucleusMsers；

第三步：求NucleusMsers中所有mser的质心坐标，结果即为所有宫颈细胞核的质心坐标，记为NucleusPositions。

所述的宫颈细胞分类模型的效果如下：

数据集介绍：该数据集一共包含20000个单个宫颈细胞图像样本，其中正常宫颈细胞样本和异常宫颈细胞样本各10000例，样本的示例图片如附图7所示。

数据集划分：训练集：验证集：测试集＝6：2：2。

模型的效果：

训练集混淆矩阵：

	正常类别	异常类别
			正常类别	5969(TP)	96(FN)
异常类别	219(FP)	5719(TN)

验证集混淆矩阵：

	正常类别	异常类别
			正常类别	1876(TP)	95(FN)
异常类别	140(FP)	1889(TN)

测试集混淆矩阵：

	正常类别	异常类别
			正常类别	1868(TP)	96(FN)
异常类别	125(FP)	1911(TN)

实验结果表明，本发明宫颈细胞分类模型在训练集上取得了高于0.97的准确率，在测试集上也取得了0.94的高准确率，完全达到了资深病理医生的诊断水平。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：包括两个模块：

模块一：基于宫颈细胞数据集训练宫颈细胞分类模型；

模块二：使用训练好的分类模型识别异常宫颈细胞；

模块一中的训练宫颈细胞分类模型，具体步骤如下所示：

步骤一：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

步骤二：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像；

步骤三：获取所有视野图像中的正常宫颈细胞和异常宫颈细胞，并基于每一个细胞核的中心产生一个固定大小的ROI图片；

步骤四：对上一步所有ROI图片进行预处理；

步骤五：将预处理后的两类ROI来图片使用卷积神经网络模型进行有监督的训练，从而得到训练好的宫颈细胞分类器，记为TbsClassifier；

步骤一中新型的巴氏染色方法，染色步骤如下：

染色增强剂浸泡2min；

水洗3次；

新苏木素浸泡1min；

常温流水返蓝10min；

95%乙醇浸泡2min；

95%乙醇浸泡2min；

橘黄G浸泡15s；

95%乙醇浸泡2min；

95%乙醇浸泡5min；

新EA50浸泡2min；

新EA50浸泡5min；

95%乙醇浸泡2min；

95%乙醇浸泡2min；

无水乙醇浸泡2min；

无水乙醇浸泡2min；

风干封片；

染色增强剂为天青石蓝、铁明矾按照1：1的比例构成，用于增加宫颈细胞核的染色程度；

新苏木素为苏木精、硫酸铝钾、氯酸钠、水合氯醛、柠檬酸按照1：50：0.2：50：1的比例构成，用于宫颈细胞核染色之后无需进行盐酸乙醇分化步骤，直接进行流水返蓝处理，将染色时间从5-8min降低至1min；

新EA50为磷钨酸、亮绿、伊红、冰醋酸按照4：4：1：1的比例构成，用于降低宫颈细胞浆的染色程度；

模块二使用训练好的分类模型识别异常宫颈细胞的具体步骤如下所示：

S1：使用新型的巴氏染色方法对宫颈细胞玻片进行染色；

S2：使用显微镜自动扫描宫颈细胞玻片，将玻片图像进行均匀切割，从而获得固定尺寸的视野图像，记为VisualImage；

S3：对VisualImage进行预处理，然后使用MSER算法自动定位VisualImage中所有宫颈细胞核的质心坐标，记为NucleusPositions；

S4：根据NucleusPositions中每个细胞核的质心坐标生成一个固定大小的ROI图片，并将所有ROI图片作为分类模型TbsClassifier的输入，获取所有ROI图片对应的宫颈细胞的预测类别。

2.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：步骤二中的视野图像采用固定大小为1280*1280，步骤二中的视野图像是在显微镜下采图所得，显微镜的目镜放大倍数为10，物镜放大倍数为20。

3.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：步骤三中获取视野图像中的正常宫颈细胞和异常宫颈细胞的过程由病理医生人工辨别正常宫颈细胞和异常宫颈细胞，其中异常宫颈细胞主要包括ASCUS、ASCH、LSIL、HSIL、宫颈癌类别。

4.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：步骤三中的ROI图片是以所对应的细胞核质心坐标为中心的矩形，其大小固定为128*128。

5.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：步骤四中对ROI图片预处理步骤包括双边滤波和均值方差归一化。

6.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：步骤五中的卷积神经网络模型融合ResNet和DenseNet两种网络模型，提出了新的网络block，记为DR block，该卷积神经网络模型一共包括四个DR block，每个block中包含的网络层分别是2、2、3、3，相应的feature map的维度数为：32、64、128、256。

7.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：S3中所述的对视野图像进行预处理步骤为双边滤波处理。

8.根据权利要求1所述的一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法，其特征在于：S3中所述的使用MSER算法定位所有宫颈细胞核质心坐标，具体步骤如下所示：

第一步：首先使用MSER来算法求视野图像的最大稳来定极值区域，记为msers；

第二步：通过宫颈细胞病理学知识为msers设置面积阈值、圆形度阈值筛选掉不能代表细胞核的mser，筛选结果记为NucleusMsers；

第三步：求NucleusMsers中所有mser的质心坐标，结果即为所有宫颈细胞核的质心坐标，记为NucleusPositions。

Images