CN108389198A - 一种宫颈细胞涂片中非典型异常腺细胞的识别方法 - Google Patents

Abstract

本发明提供了一种宫颈细胞涂片中非典型异常腺细胞的识别方法，所述方法将腺细胞分为结构清晰的腺细胞团簇、不可分的腺细胞团簇和单个腺细胞；对于结构清晰的腺细胞团簇，将腺细胞的排列信息和腺细胞外观信息作为双流神经网络模型的两个输入，对于单个腺细胞和不可分的腺细胞团簇分别输入卷积神经网络模型，两个模型输出识别结果。本发明的方法对于有效提高了具有明显排列结构的腺细胞的识别效果，加强了识别的完备性，降低了误识别和漏识别情况的发生。

Description

一种宫颈细胞涂片中非典型异常腺细胞的识别方法

技术领域

本发明涉及医学细胞图像处理领域，具体涉及一种宫颈细胞涂片中非典型异常腺细胞的识别方法。

背景技术

宫颈癌是一种可预防、可治愈的疾病。近期研究表明，腺癌与鳞癌的发病比例已经上升了一倍，特别是在青年女性中。与以往占宫颈癌10-15％的比例相比，腺癌的发病率已经增加了49.3％。在现有的临床诊断过程中，宫颈细胞影像的分析方法，主流的筛查影像技术像TCT、SurePath完全依赖阅片医生根据个人经验读片判断，通常仅能得出病变存在与否的定性结论。由于阅片医生的水平参差不一，高强度的阅片工作造成的视觉疲劳，非典型腺细胞的分级诊断需要反复确认等因素，造成阅片的工作效率低下和假阳性、假阴性太高的结果。从宫颈细胞涂片中首先检测到腺细胞成分，然后针对腺细胞进行快速分级识别，是完善宫颈细胞人工智能辅助筛查的重要部分。

针对涂片检测出的腺细胞如何进行分析是一个亟待解决的问题。一般的识别系统通常从细胞图像的颜色、形状和纹理中获取有效判别特征，从而实现细胞病变的度量。当前的一些主要分类器都被应用到宫颈细胞图像的分类，例如：基于贝叶斯规则的分类器、基于模糊逻辑的分类的分类器、支持向量机等，但这些分类器在针对大量数据容易过拟合，并且在腺细胞的识别方面效果不佳。而卷积神经网络作为一种深度学习模型，可以直接从输入数据中提取图像特征。世界各地的医学图像分析组正在迅速进入该领域，并将卷积神经网络和传统图像处理方法广泛的应用于医疗影像领域，但腺细胞的识别较为特殊，除了判读单个细胞的特征外，还需辅助一些邻域信息和排列信息。因此，目前针对非典型腺上皮细胞的检测普遍存在识别率不高的问题，亟待针对实际应用研究建立针对宫颈细胞涂片中腺细胞快速识别系统。

发明内容

本发明的目的在于，克服目前针对非典型腺上皮细胞的检测普遍存在识别率不高的问题，提供一种宫颈细胞涂片中非典型异常腺细胞的识别方法，通过充分解析宫颈腺细胞外观特征，利用图论方法、深度学习、图像理解技术，融合数据驱动方法和宫颈细胞领域知识的机制，最终实现对宫颈腺细胞的快速识别，并给出了腺细胞的识别结果的排列信息可视化，为完善宫颈细胞人工智能辅助筛查提供重要的系统框架。

为了实现上述目的，一种宫颈细胞涂片中非典型异常腺细胞的识别方法，所述方法将腺细胞分为结构清晰的腺细胞团簇、不可分的腺细胞团簇和单个腺细胞；对于结构清晰的腺细胞团簇，将腺细胞的排列信息和腺细胞外观信息作为双流神经网络模型的两个输入，对于单个腺细胞和不可分的腺细胞团簇分别输入卷积神经网络模型，两个模型输出识别结果。

作为上述方法的一种改进，所述方法具体包括以下步骤：

步骤1)构建和训练双流神经网络模型和卷积神经网络模型；

步骤2)针对分割后的腺细胞图像进行预处理，根据分割的区域获取图像的最小外接矩形；

步骤3)根据分割结果计算腺细胞形态信息，包括细胞核的大小、深度、形状以及细胞间的邻域信息；对细胞进行粗分类，分为三类：一类是结构清晰的腺细胞团簇I，第二类是不可分的腺细胞团簇，第三类是散落的单个腺细胞；

步骤4)依据腺细胞的排列方式，将结构清晰的腺细胞团簇I映射到二维殴氏空间生成一幅新的殴氏图像I′，将I和I′输入步骤1)的双流神经网络模型进行识别，输出识别结果；

步骤5)对于不可分的腺细胞团簇和散落的单个腺细胞，输入步骤1)的卷积神经网络模型进行识别，输出识别结果。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)构建双流神经网络模型，所述双流神经网络模型包括两个独立的第一级联组合和第二级联组合、融合单元和第一全连接层分类器；其中，从腺细胞团簇I中提取细胞核的染色深浅，细胞核伸长度，细胞核偏心率，细胞核的圆形度特征，作为第一级联组合的输入，所述第一级联组合包括：卷积、拟归一化和池化；殴氏图像I′作为第二级联组合的输入，所述第二级联组合包括：卷积、拟归一化和池化；所述融合单元用于对第一级联组合输出的细胞排列信息和第二级联组合输出的图像外观信息进行融合，然后输入第一全连接层分类器；

步骤1-2)构建卷积神经网络模型，所述卷积神经网络模型包括：第三级联组合和第二全连接层分类器，输入为不可分的腺细胞团簇或散落的单个腺细胞；

步骤1-3)建立训练集，对所述双流神经网络模型和卷积神经网络模型进行训练。

作为上述方法的一种改进，所述步骤2)具体包括：

步骤2-1)根据腺细胞核的形状和深度信息，实现腺细胞核检测。

步骤2-2)利用边界盒对整幅图像进行滑窗扫描，统计每个边界盒内细胞核的数目和细胞间的相对位置信息，从而得到细胞的最小外接矩形。

作为上述方法的一种改进，所述步骤4)中将结构清晰的腺细胞团簇I映射到二维殴氏空间生成一幅新的殴氏图像I′的具体过程为：

将结构清晰的腺细胞簇I按照细胞间的邻域信息构建图；设腺细胞团簇对应的图为G(V,E)，其中V是腺细胞构成的二维顶点集，E是通过构图规则建立的顶点集之间的边，然后将G映射到二维殴氏空间得到I′。

本发明的有益效果在于：

1、本发明的方法对于结构清晰的腺细胞团簇，将腺细胞的排列信息和腺细胞外观信息作为双流神经网络的两个输入，有效提高了具有明显排列结构的腺细胞的识别效果，与单个腺细胞和不可分割腺细胞簇分开识别，加强了识别的完备性，降低了误识别和漏识别情况的发生；

2、本发明的方法可以用做医疗影像中宫颈细胞涂片腺上皮细胞分级识别的通用框架，根据具体的对象，对参数进行调整即可得到理想的判读结果；

3、本发明的融合宫颈细胞学领域知识的分级识别，最终结果具备一定的可解释性，可以用做最终结果的审查。

附图说明

图1为本发明的宫颈细胞涂片中非典型异常腺细胞的识别方法的流程图；

图2为本发明的双流卷积神经网络模型的示意图；

图3为本发明的卷积神经网络模型的示意图。

具体实施方式

本发明充分解析宫颈腺细胞外观特征，利用图论方法、深度学习、图像理解技术，通过融合数据驱动方法和宫颈细胞领域知识的机制，最终实现对宫颈腺细胞的快速分级识别。创新性地提出了融合细胞排列信息和图像信息的双流神经网络模型，使得模型可以准确的判别结构清晰的腺细胞团簇的病变级别。将结构清晰的腺细胞团簇和散落的单个腺细胞与不可分腺细胞团簇分开进行识别，使得检测模型更具有普适性，兼顾了不同结构腺细胞的识别。

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，一种宫颈细胞涂片中非典型异常腺细胞的识别方法，解决了宫颈腺细胞识别的准确率低，难度大的问题。所述方法包括：

步骤1)针对分割后的宫颈细胞图像，利用计算机视觉知识对整个细胞图像进行扫描，统计图像中的腺细胞形态参数得到细胞的最小外接矩形。具体而言：

第一步根据腺细胞核的形状和深度信息(细胞图像中的细胞核体现深色，类圆状)，实现腺细胞核检测。

第二步利用边界盒对整幅图像进行滑窗扫描，统计每个边界盒内细胞核的数目和细胞间的相对位置信息。

步骤2)根据分割结果计算腺细胞形态信息，包括细胞核的大小、深度、形状以及细胞间的邻域信息；对细胞进行粗分类，分为三类：一类是结构清晰的腺细胞团簇I，第二类是不可分的腺细胞团簇，第三类是散落的单个腺细胞；

处理步骤1)中获得的信息，其中结构清晰的腺细胞簇细胞核数目大于2，并且相邻细胞核间距属于先验阈值范围。

步骤3)对结构清晰的腺细胞簇I按照细胞间的邻域信息构建图，具体而言：

设腺细胞团簇对应的图为G(V,E)，其中V是腺细胞构成的二维顶点集，E是通过构图规则建立的顶点集之间的边。考虑到G是非殴氏对象，因此将G映射到殴氏空间得到I′，I′很好地保留了腺细胞簇中细胞的排列信息。

步骤4)构建双流卷积神经网络进行腺细胞簇的识别；具体而言：

根据细胞学诊断报告TBS2014系统的细胞分级标准，腺细胞核的形态和纹理特征是细胞分级分类中最关键的因素，其中包括细胞核的染色深浅，细胞核伸长度，细胞核偏心率，细胞核的圆形度等特征。

如图2所示，所述双流神经网络模型包括两个独立的第一级联组合和第二级联组合、融合单元和第一全连接层分类器；其中，从腺细胞团簇I中提取细胞核的染色深浅，细胞核伸长度，细胞核偏心率，细胞核的圆形度特征，作为第一级联组合的输入，所述第一级联组合包括：卷积、拟归一化和池化；殴氏图像I′作为第二级联组合的输入，所述第二级联组合包括：卷积、拟归一化和池化；所述融合单元用于对第一级联组合输出的细胞排列信息和第二级联组合输出的图像外观信息进行融合，然后输入第一全连接层分类器。

将步骤2)计算所得的I′作为双流卷积神经网络的一路输入，I′维数可以根据需要设定，另外一路输入是腺细胞簇原始图像，分别经过第二级联组合和第一级联组合隐式地提取到细胞图像的特征图。

其中，第一级联组合的卷积操作具体做法如式(1)：

x_i,j＝f(W·I[i:i+h-1,j:j+h-1]+b) (1)

其中表示输入图像，三维权重张量，x_i,j表示特征图X∈R^{(n -h+1)×(n-h+1)}中的第i,j个元素，然后将提取的多维特征加上图分类计算的多维特征拼接到一起，输入到第一全连接分类层。

在卷积神经网络的基础上，处理基于不可分的腺细胞图像外观和细胞排列信息两个维度。将全连接层替换为卷积加全局平均池化层，用来减少网络的参数并降低过拟合情况的发生；每一路深度卷积神经网络都会经过分类层，然后通过分类结果融合层将两个维度的概率融合，输出最终的细胞类别与概率值。

步骤5)构建针对单个腺细胞和不可分细胞团簇的卷积神经网络进行识别；具体而言：

如图3所示，所述卷积神经网络模型包括：第三级联组合和第二全连接层分类器，输入为不可分的腺细胞团簇或散落的单个腺细胞；腺上皮细胞经过第三组合级联的隐式地提取到细胞图像的特征。

步骤6)根据两个模型的输出结果将腺细胞分为正常和异常；

综合分析结构清晰腺细胞簇和单个腺细胞的判读、两种网络模型分级识别结果等因素，给出最终的判读结果。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种宫颈细胞涂片中非典型异常腺细胞的识别方法，所述方法将腺细胞分为结构清晰的腺细胞团簇、不可分的腺细胞团簇和单个腺细胞；对于结构清晰的腺细胞团簇，将腺细胞的排列信息和腺细胞外观信息作为双流神经网络模型的两个输入，对于单个腺细胞和不可分的腺细胞团簇分别输入卷积神经网络模型，两个模型输出识别结果。

2.根据权利要求1所述的宫颈细胞涂片中非典型腺细胞分级识别方法，其特征在于，所述方法包括以下步骤：

步骤1)构建和训练双流神经网络模型和卷积神经网络模型；

步骤2)针对分割后的腺细胞图像进行预处理，根据分割的区域获取图像的最小外接矩形；

步骤3)根据分割结果计算腺细胞形态信息，包括细胞核的大小、深度、形状以及细胞间的邻域信息；对细胞进行粗分类，分为三类：一类是结构清晰的腺细胞团簇I，第二类是不可分的腺细胞团簇，第三类是散落的单个腺细胞；

步骤4)依据腺细胞的排列方式，将结构清晰的腺细胞团簇I映射到二维殴氏空间生成一幅新的殴氏图像I′，将I和I′输入步骤1)的双流神经网络模型进行识别，输出识别结果；

步骤5)对于不可分的腺细胞团簇和散落的单个腺细胞，输入步骤1)的卷积神经网络模型进行识别，输出识别结果。

3.根据权利要求2所述的宫颈细胞涂片中非典型腺细胞分级识别方法，其特征在于，所述步骤1)具体包括：

步骤1-1)构建双流神经网络模型，所述双流神经网络模型包括两个独立的第一级联组合和第二级联组合、融合单元和第一全连接层分类器；其中，从腺细胞团簇I中提取细胞核的染色深浅，细胞核伸长度，细胞核偏心率，细胞核的圆形度特征，作为第一级联组合的输入，所述第一级联组合包括：卷积、拟归一化和池化；殴氏图像I′作为第二级联组合的输入，所述第二级联组合包括：卷积、拟归一化和池化；所述融合单元用于对第一级联组合输出的细胞排列信息和第二级联组合输出的图像外观信息进行融合，然后输入第一全连接层分类器；

步骤1-2)构建卷积神经网络模型，所述卷积神经网络模型包括：第三级联组合和第二全连接层分类器，输入为不可分的腺细胞团簇或散落的单个腺细胞；

步骤1-3)建立训练集，对所述双流神经网络模型和卷积神经网络模型进行训练。

4.根据权利要求2所述的宫颈细胞涂片中非典型腺细胞分级识别方法，其特征在于，所述步骤2)具体包括：

步骤2-1)根据腺细胞核的形状和深度信息，实现腺细胞核检测；

步骤2-2)利用边界盒对整幅图像进行滑窗扫描，统计每个边界盒内细胞核的数目和细胞间的相对位置信息，从而得到细胞的最小外接矩形。

5.根据权利要求2所述的宫颈细胞涂片中非典型腺细胞分级识别方法，其特征在于，所述步骤4)中将结构清晰的腺细胞团簇I映射到二维殴氏空间生成一幅新的殴氏图像I′的具体过程为：

将结构清晰的腺细胞簇I按照细胞间的邻域信息构建图；设腺细胞团簇对应的图为G(V,E)，其中V是腺细胞构成的二维顶点集，E是通过构图规则建立的顶点集之间的边，然后将G映射到二维殴氏空间得到I′。