CN109272492A - 一种细胞病理涂片的处理方法及系统 - Google Patents

Abstract

本发明公开了一种细胞病理涂片的处理方法及系统，本发明实施例在对细胞病理涂片进行数字图像的处理时，引入了生成式对抗网络(GAN)技术，利用采用深度学习的GAN对细胞病理涂片中的不均匀染色进行调节生成调节后颜色统一的图像，且将调节后的图像应用于后续采用卷积神经网络技术的分类网络，进行病变细胞的识别。这样，就可以提高细胞病理涂片的数字图像的质量，为病理医生提供一个良好的可视化的细胞病理涂片的图像。

Description

一种细胞病理涂片的处理方法及系统

技术领域

本发明涉及医学细胞图像处理技术，特别涉及一种细胞病理涂片的处理方法及系统。

背景技术

活组织检查是最终确诊癌症的依据，是癌症诊断中重要的一步。制作细胞病理涂片是形态学检查中十分常用的方法，是病理诊断中的金标准，在科学研究和临床诊断中都有十分重要的意义。并且，随着理疗技术的发展，细胞病理涂片的判读对于癌症的治疗同样提供了十分重要的理论支持。

病理学发展中一个重要的转折点是将细胞病理涂片进行数字化图像处理。早期的细胞病理涂片的图像研究始于上个世纪的90年代，但是由于当时设备条件的制约，细胞病理涂片的图像对癌症诊断的作用并不明显。当前病理细胞或病理组织的细胞病理涂片成像技术已经相当成熟，首先从患者疑似患病部位取出活体组织，通过病理组织学方法或细胞学方法制成涂片；然后通过显微镜进行观察，转换成计算机可以识别的显微数字图像。这种技术的出现可以使得方便安全的保存和传输细胞病理涂片的图像成为可能。虽然病理学家对病理学诊断有着金标准，但是它的准确性和再现性已经被提出质疑。数字病理学的一个目标是自动区分病理结构，它使用大量的计算方法为病理学家提供定量数据的支持或直接为病理预测提供新的度量标准。

医学影像可以准确地、形象地、客观地反映患者的病灶位置，并提供相关医学信息。计算机辅助诊断将图像中的色彩纹理和眼睛无法捕捉到的信息形成数据呈现出来，对医生进行病理诊断有很重要的参考价值，从而成为临床辅助诊断的一个重要方法。数字病理图像分析是计算机辅助诊断中的一个重要分支，以往直接通过显微镜观察病理图像很容易使医生产生疲劳，同时由于医生主观因素的影响，诊断上可能会出现失误，影响癌症的诊断率。数字图像处理和识别在医学诊断上起到了重要的辅助作用，因此，把病理学家的实践经验和先进的计算机技术结合起来，对于提高病理学家或医生的诊断准确率和工作效率，有着很重要的意义。临床实践显示，计算机辅助设计(CAD)可以在很大程度上提高对细胞病理涂片诊断的敏感性和特异性，减少误诊及漏诊等现象，并且很大程度上提高了病理学家或医生的工作效率。

近年来，病理图像的研究有很大的进展，但是同样存在两个问题：第一，在细胞病理涂片的制作方面，由于不同病理机构和不同样本之间制作时存在着染色差异，会导致计算机辅助诊断中输入的细胞病理涂片图像差异，从而降低最终分类的准确率；第二，由于细胞病理涂片制作需要从患者病灶处提取组织，会在对病人造成一定程度的痛苦，再加上制片步骤繁复，不适宜大规模制取。同时，医学影像往往涉及到病人隐私问题，对于病理数据采集的要求十分苛刻，从而得到的细胞病理涂片较为匮乏，对数字病理诊断的发展影响很大。

因此，如何在有限的病理数据集上获取更多有效信息，成为了数字病理图像上需要解决的一个重要问题。

发明内容

有鉴于此，本发明实施例提供一种细胞病理涂片的处理方法，该处理方法能够提高细胞病理涂片的数字图像的质量。

本发明实施例还提供一种细胞病理涂片的处理系统，该系统能够提高细胞病理涂片的数字图像质量。

本发明实施例是这样实现的：

一种细胞病理涂片的处理系统，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测分割模块、细胞图像染色自动调节模块、及分级识别模块，其中，

细胞图像采集模块，用于扫描细胞病理涂片并保存；

细胞图像预处理模块，用于对保存的细胞病理涂片进行去噪过滤；

细胞图像检测分割模块，用于对去噪过滤的细胞病理涂片采用第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

细胞图像染色自动调节模块，用于对其中的单个细胞结构图像的染色采用设置的生成式对抗网络GAN进行颜色调节；

分级识别模块，用于采用设置的第二卷积神经网络将经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

一种细胞病理涂片的处理方法，包括：

扫描细胞病理涂片并保存；

对保存的细胞病理涂片进行去噪过滤；

对去噪过滤的细胞病理涂片采用设置的第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

对其中的单个细胞结构图像的染色采用设置的GAN进行颜色调节；

采用设置的第二卷积神经网络经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

如上可见，本发明实施例在对细胞病理涂片进行数字图像的处理时，引入了生成式对抗网络(GAN)技术，利用采用深度学习的GAN对细胞病理涂片中的不均匀染色进行调节生成调节后颜色统一的图像，且将调节后的图像应用于后续采用卷积神经网络技术的分类网络，进行病变细胞的识别。这样，就可以提高细胞病理涂片的数字图像的质量，为病理医生提供一个良好的可视化的细胞病理涂片的图像。

附图说明

图1为本发明实施例提供的一种细胞病理涂片的处理系统结构示意图；

图2为本发明实施例的一种细胞病理涂片的处理方法流程图。

图3为本发明实施例提供的GAN标准化图像的示意图；

图4为本发明实施例提供的GAN中的生成网络和判别网络的结构示意图；

图5为本发明实施例提供的VGG16网络结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

从背景技术可以看出，对于染色的细胞病理涂片，不同病理机构制作时存在很大的染色差异问题，这个问题的存在直接降低了病理医生的阅片效率，同时，低质量图像的细胞病理涂片会对计算机辅助诊断产生影响。为了解决这个问题，采用了本发明实施例提供的方案，在对细胞病理涂片进行数字图像的处理时，引入了GAN技术，利用采用深度学习的GAN对细胞病理涂片中的不均匀染色进行调节生成调节后颜色统一的图像，且将调节后的图像应用于后续采用卷积神经网络技术的分类网络，进行病变细胞的识别。这样，就可以提高细胞病理涂片的数字图像的质量，为病理医生提供一个良好的可视化的细胞病理涂片的图像，这对于科学研究和临床诊断的提高有极为重要的意义。

图1为本发明实施例提供的一种细胞病理涂片的处理系统，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测分割模块、细胞图像染色自动调节模块、及分级识别模块，其中，

细胞图像采集模块，用于扫描细胞病理涂片并保存；

细胞图像预处理模块，用于对保存的细胞病理涂片进行去噪过滤；

细胞图像检测分割模块，用于对去噪过滤的细胞病理涂片采用第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

细胞图像染色自动调节模块，用于对其中的单个细胞结构图像的染色采用设置的GAN进行颜色调节；

分级识别模块，用于采用设置的第二卷积神经网络将经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

在该系统中，所述细胞图像检测分割模块分割得到的其中单个细胞结构图像中，分割出了单个细胞中的细胞核、细胞质和背景区域，这是以第一卷积神经网络，具体的是在检测时以深度学习中快速区域卷积神经网络为基础，分割部分同时结合卷积神经网络提取特征和医学图像分割相关算法，并以细胞特征为辅助实现的。

在该系统中，所述其中的单个细胞结构图像存在染色过深和染色过浅的情况，细胞图像染色自动调节模块，在进行颜色调节时，基于设置标准化染色空间进行，这个标准化染色空间基于资深病理医生经验和计算机辅助分析的数据，对在设置的标准化染色空间外的单个细胞结构图像进行颜色调节，调节到设置的标准化染色空间内。调节后的图像细胞结果更加清晰，同时会提供更多的纹理和形态学信息。

在该系统中，分级识别模块，首先对单细胞进行阴阳两个类别的判断，如果为阴性，则直接输出结果，如果单个细胞判定为阳性，再进行分级识别。第二卷积神经网络同时融合卷积神经网络提取的特征和传统意义上提取的纹理及形态等特征，并结合细胞病理独有的特点，将容易混淆的级别加以区分，最终准确得到该染色调节的单个细胞结构图像所属的病理级别。进一步地，分级识别模块，还用于定量给出细胞形态学数据，提高在单个细胞分级判别过程中数据的可读性和结果的可解释性。

优选地，细胞图像采集模块在扫描细胞病理涂片时，可以采用显微目镜多倍放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围应完全覆盖细胞病理涂片所在范围，允许出现病理细胞区域外的少量空白区域。

优选地，细胞图像预处理模块在进行去噪过滤时，利用滤波器对保存的细胞病理涂片进行去噪，在这里，滤波器的构成要同时考虑到对所述细胞病理涂片的图像噪声特点，该噪声包括图像生成过程中产生的椒盐噪声处理及图像传输过程中产生的高斯噪声处理。滤波器采用中值滤波方法处理其中的椒盐噪声，采用高斯滤波方法处理其中的高斯噪声同时结合宫颈细胞病理特点，利用形态学方法对图像中结构边缘进行修复，最后使用直方图均衡化及灰度值拉伸等方法增强细胞结构间的对比度。

优选地，细胞图像检测分割模块进行检测及分割的过程为：

步骤一，对去噪过滤的细胞病理涂片进行粗分割，从背景区域中提取单个细胞所在区域；

步骤二，在粗分割基础上，使用快速区域卷积神经网络进行细分割，提取出单个细胞结构；

步骤三，结合细胞形态学特点，分割出细胞核；

步骤四，根据细胞核形态学等特点，筛选并确定细胞；

步骤五，根据邻域细胞位置关系判断细胞是否存在于团簇中，如果是，则结合细胞核与细胞质分割结果和病理细胞相关特点进行后处理，完成单个细胞的有效分割，如果不是，则使用设置的活动轮廓模型和细胞形态学先验模型进行细胞质区域的分割。

图2为本发明实施例的一种细胞病理涂片的处理方法流程图，其具备步骤为：

步骤201、扫描细胞病理涂片并保存；

步骤202、对保存的细胞病理涂片进行去噪过滤；

步骤203、对去噪过滤的细胞病理涂片采用设置的第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

步骤204、对其中的单个细胞结构图像的染色采用设置的GAN进行颜色调节；

步骤205、采用设置的第二神经网络经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

从本发明实施例提供的系统及方法可以看出，针对不同细胞病理涂片间存在染色差异的问题，在图像处理过程中引入深度学习的概念，利用GAN处理染色不均匀的图像，将其自动调节到同一染色水平上。调节后的图像一方面应用于后续分级识别模块，进行病变细胞的识别，另一方面，对于病理医生也可以有一个良好的可视化环境，这两方面对于科学研究和临床诊断的提高有极为重要的意义。

以下举具体例子对本发明实施例进行详细说明

在该例子中，以对宫颈细胞病理涂片的处理为例进行说明。

所述宫颈细胞病理涂片的处理系统，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测分割模块、细胞图像染色自动调节模块、及分级识别模块，其中，

细胞图像采集模块，用于使用扫描仪自动重叠式扫描宫颈细胞病理涂片并保存在被动。需要采用40倍目镜放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围完全覆盖宫颈细胞病理涂片所在范围，允许出现病理细胞区域外的少量空白区域。

细胞图像预处理模块，利用滤波器对数字图像进行去噪，滤波器的构成要同时考虑数字图像噪声特点，一个是图像生成过程中产生的椒盐噪声的处理，另一个是图像传输过程中产生的高斯噪声处理。

不同的噪声，根据其信号分布不同可以分为：高斯噪声、椒盐噪声和均匀噪声等，以下是这几种噪声的概率密度分布函数。

1)高斯噪声

其中，α表示z灰度值的标准差。

2)椒盐噪声

如果a>b，则灰度值a的值显示为一个暗点，为亮点。

3)均匀噪声

采用中值滤波方法处理图像生成过程中产生的椒盐噪声，采用高斯滤波方法处理图像传输过程中产生的高斯噪声。同时结合宫颈细胞病理特点，利用形态学方法对图像中结构边缘进行修复，最后使用直方图均衡化及灰度值拉伸等方法增强细胞结构间的对比度。

细胞图像检测分割模块，采用第一卷积神经网络实现对宫颈细胞病理涂片的图像检测及分割，具体实现步骤为：

步骤S1)对宫颈细胞病理涂片的图像进行粗分割，从背景区域中提取出宫颈细胞所在区域；

步骤S2)在粗分割的基础上，使用快速区域卷积神经网络进行细分割，提取出单个细胞结构；

步骤S3)结合细胞形态学特点，分割出细胞核；

步骤S4)根据细胞核心态学等特点，筛选并确定细胞；

步骤S5)根据邻域细胞位置关系判断细胞是否存在于团簇中，如果是，结合细胞核与细胞质分割结果和病理细胞相关特点进行后处理，完成单个宫颈细胞的有效分割。如果不是，使用活动轮廓模型和细胞形态学先验模型进行细胞质区域的分割。

细胞图像染色自动调节模块，用于对存在染色差异的细胞图像颜色自动调节，宫颈细胞病理涂片的图像往往存在染色过深和染色过浅的情况。结合资深病理医生经验和计算机辅助分析的数据，设置标准化染色空间。应用GAN对图像颜色进行自动调节，即将染色程度的图像转换到标准染色空间下。GAN有个很大的优势就不需要包含成对图像的训练集，就可以实现图像风格的转换。实现这个过程需要用到两步变换，首先将源图像转换到目标空间下，然后返回到源空间得到二次生成图像。GAN同样是使用了一个生成网络和一个判别网络进行联合对抗训练。生成网络从期望的分布中产生样本图像，判别网络预测该样本图像是源图像还是生成图像，经过迭代训练，最终使得生成网络学习后接近实际分布，而判别网络对生成的样本处于随机猜测状态。

图3为本发明实施例提供的GAN标准化图像的示意图。GAN将样本集分为A和B两个空间域，其中域A为待变化图像空间，域B为目标空间。GAN网络训练分为两部分交替进行，两组输入数据分别输入到对应的判别网络，如果被识别为生成图像，则判定为假。训练生成网络直到确保生成图像被判别网络接受。以图中的cycle1为例，生成器(Generator A2B)从域A中获取一个样本图像input_A，并将图像转换成对应图像generated_B。另一个生成器(Generator B2A)将域B下的generated_B变换到域A下，即生成cyclic_A。此过程的目的是图像之间可以共享一部分特征，使得它们之间存在有意义的关系。在本发明实施例中，域A为染色程度过深或过浅的宫颈细胞病理涂片的图像集，域B为选定的标准染色宫颈细胞病理涂片的图像集。本发明实施例目的是在不改变细胞形态和内部纹理的基础上，使得染色趋于标准化，因此生成网络在创建图像颜色空间映射的同时，要保证细胞到细胞这层关系的存在。

判别网络本身就是以卷积网络为基础，从图像中提取特征，然后进一步判定这些特征是否属于特定类别，其添加了一个产生一维输出的卷积层。图4为本发明实施例提供的GAN中的生成网络和判别网络的结构示意图。生成网络和判别网络第一层卷积核的个数都为64，batch_size为1，学习率为0.0002，最大epoch设置为200，最大图像池化大小为50，输入图像大小为256、损失函数设置分为三个部分，一是判别网络的损失，判别网络的训练目的是尽可能的分清真实图像和生成图像。二是生成网络的损失，生成网络的目的是最终让判别网络的输出值尽可能全指向真实图像。三是循环损失，判别原始图像和循环图像之间的差别，应使得两类图像之间差异尽可能的小。

分级识别模块，用以对单个细胞进行分级识别，在解决细胞判别为阴阳两个类别的基础上，如果细胞判定为阳性，要进行分级识别。同时融合卷积神经网络提取的特征和传统意义上提取的纹理及形态等特征，并结合细胞病理独有的特点，将容易混淆的级别加以区分，最终准确给出细胞所属病理级别。此外，该系统基于分级识别模块会给定细胞具体所属的级别，同时定量的计算出宫颈癌细胞形态学数据，作为辅助诊断的判定标准对判定结果进行补充。以视觉几何组(VGG)网络或残差(resnet)网络等具体的第二卷积神经网络为基础创建分类网络。图5为本发明实施例提供的VGG16网络结构图，由13个卷积层和3个全连接层构成，输入图像块大小为256*256，然后标准化大小到224*224并输入网络。

从本发明实施例可以看出，本发明实施例对细胞病理涂片的处理有以下优点：

1)颜色调节后的图像，可以显示出更加清晰的细胞形态纹理结构，这对于病理医生诊断是很有帮助的，大量的病理图像的审阅往往使医生产生疲劳，染色过深或过浅的图像会耗费医生更多不必要的精力，因此一个良好的可视化环境可以为病理医生临床诊断提升效率和准确率；

2)颜色调节后的图像，可以为计算机辅助诊断提供更多可分析的图像信息，增加分类网络准确率。计算机的优势在于定量计算，在给出辅助诊断结果的同时，提供数据支持。染色异常的细胞病理涂片图像会给计算机分析带来误差，影响诊断准确率；

3)为病理诊断提供更多有用的数据，细胞病理涂片的制作往往会给病人带来本合同程度的身体和心理负担，并不能大量制取。然而由于制片方式和操作方式不同，还会产生一部分不满意的细胞病理涂片，因此将存在染色差异图像调节到合适的颜色空间下，可增加病理诊断数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种细胞病理涂片的处理系统，其特征在于，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测分割模块、细胞图像染色自动调节模块、及分级识别模块，其中，

细胞图像采集模块，用于扫描细胞病理涂片并保存；

细胞图像预处理模块，用于对保存的细胞病理涂片进行去噪过滤；

细胞图像检测分割模块，用于对去噪过滤的细胞病理涂片采用第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

细胞图像染色自动调节模块，用于对其中的单个细胞结构图像的染色采用设置的生成式对抗网络GAN进行颜色调节；

分级识别模块，用于采用设置的第二卷积神经网络将经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

2.权利要求1所述的处理系统，其特征在于，细胞图像采集模块，还用于在扫描细胞涂片时，采用显微目镜多倍放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围完全覆盖细胞病理涂片所在范围。

3.如权利要求1所述的处理系统，其特征在于，细胞图像预处理模块，还用于采用中值滤波方式去除其中的椒盐噪声，采用高斯滤波方式区域其中的高斯噪声后，对去噪后的细胞病理涂片的图像进行边缘修复且采用直方图均衡化及灰度值拉伸。

4.如权利要求1所述的处理系统，其特征在于，细胞图像染色自动调节模块，还用于进行检测及分割为：

对去噪过滤的细胞病理涂片进行粗分割，从背景区域中提取单个细胞所在区域；

在粗分割基础上，采用第一卷积神经网络进行细分割，提取出单个细胞结构，分割出细胞核，筛选并确定细胞；

根据邻域细胞位置关系判断细胞是否存在于团簇中，如果是，则结合细胞核与细胞质分割结果和病理细胞相关特点完成单个细胞的有效分割，如果不是，则使用设置的活动轮廓模型和细胞形态学先验模型进行细胞质区域的分割。

5.如权利要求1所述的处理系统，其特征在于，细胞图像染色自动调节模块，用于颜色调节为：对在设置的标准化染色空间外的单个细胞结构图像进行颜色调节，调节到设置的标准化染色空间内。

6.如权利要求1所述的处理系统，其特征在于，分级识别模块，还用于对将经过染色调节的单个细胞结构图像进行阴阳两个类别的判断，如果为阴性，输出结果，如果单个细胞判定为阳性，再采用第二卷积神经网络进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

7.如权利要求6所述的处理系统，其特征在于，分级识别模块，还用于定量给出得到该染色调节的单个细胞结构图像的细胞形态学数据。

8.如权利要求1～7任一所述的处理系统，其特征在于，所述细胞病理涂片为宫颈细胞病理涂片。

9.一种细胞病理涂片的处理方法，其特征在于，包括：

扫描细胞病理涂片并保存；

对保存的细胞病理涂片进行去噪过滤；

对去噪过滤的细胞病理涂片采用设置的第一卷积神经网络进行检测，分割得到其中的单个细胞结构图像；

对其中的单个细胞结构图像的染色采用设置的GAN进行颜色调节；

采用设置的第二卷积神经网络经过染色调节的单个细胞结构图像进行分级识别，得到该染色调节的单个细胞结构图像所属的病理级别。

10.如权利要求9所述的方法，其特征在于，所述细胞病理涂片为宫颈细胞病理涂片。