CN106991673A - 一种可解释性的宫颈细胞图像快速分级识别方法及系统 - Google Patents

Abstract

本发明公开了一种可解释性的宫颈细胞图像的快速分级识别方法，所述方法包括：步骤1)对分割后的宫颈细胞图像进行预处理；步骤2)判断预处理后的细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤7)；步骤3)计算细胞参数特征；步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到单个细胞的第一种分级结果；步骤5)构建附加领域知识的双流卷积神经网络模型，基于该模型得到单个细胞的第二种分级结果；步骤6)结合第一种分级结果和第二种分级结果得到单个细胞的分级结果；步骤7)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行细胞团簇的分级识别。

Description

一种可解释性的宫颈细胞图像快速分级识别方法及系统

技术领域

本发明涉及医学细胞图像处理领域，具体涉及一种可解释性的宫颈细胞图像快速分级识别方法及系统。

背景技术

现有的临床诊断过程中宫颈细胞影像的分析方法，如TCT、SurePath等主流的筛查影像技术，完全依赖于阅片医生的个人经验进行涂片判读，其通常仅能得出病变存在与否的定性结论。由于宫颈液基涂片制片染色质量不同、阅片医生的经验不同、高强度的阅片工作造成的视觉疲劳等因素，宫颈细胞影像的结果表现为阳性检出率低、癌变细胞的易漏诊和阅片的工作效率低下。从分割后的宫颈细胞图像中针对单个细胞和不可分的细胞团簇区域进行快速分级识别，是实现宫颈细胞人工智能辅助阅片的重要部分。

针对分割后的宫颈细胞如何进行分析是一个值得探讨的问题，选取的细胞特征应该能够反映出正常细胞与癌变细胞之间的差异。一般的识别系统通常从细胞图像的颜色、形状和纹理中获取有效判别特征，从而实现细胞病变的度量。当前应用到宫颈细胞图像的分类的一些主要分类器，像基于贝叶斯规则的分类器、基于模糊逻辑的分类器、支持向量机等都属于一般的识别系统，其直接针对输入的细胞图像给出个不可解释的输出结果，并且这些分类器在针对大量数据容易过拟合，在细胞图像的细粒度分级识别上效果不理想。目前世界各地的医学图像分析组正在迅速进入深度学习领域，并将卷积神经网络和医学图像处理方法广泛的应用于医疗影像领域，例如国外研究学者将深度卷积神经网络用在乳腺癌病理切片的研究上并得到了理想的识别结果，其中卷积神经网络作为一种深度学习模型，可以直接从输入数据中提取图像特征。一方面在医学图像处理领域一般需要给出模型可读性的判读结果，模型的输出类别无法解析分级识别的依据与过程，另一方面由于宫颈细胞的特殊性，其形态具有多变性，并存在不同分化时期的细胞，直接使用卷积神经网络模型是无法得到有效的分级识别结果。

目前任何单一一种细胞分级识别模型都难以获得满意的结果，并且直接使用分类器得到识别结果都不具备判读过程的可解释性，亟待针对实际应用研究建立针对宫颈癌细胞的可解释的快速分级识别系统。

发明内容

本发明主要解决的技术问题是提供一种可解释性的宫颈细胞图像快速分级识别方法，能够解决宫颈细胞快速分级识别的问题，同时又具备模型判读过程的可解释性。该发明充分解析宫颈细胞知识，利用深度学习、图像理解技术，通过融合数据驱动方法和宫颈细胞领域知识的机制，最终实现宫颈癌细胞快速分级识别；该发明另一关注点在于分类模型的可解释性，通过知识图谱、深度学习技术，最终实现了细胞的判读识别结果的可解释性和判读识别过程的可读性，为宫颈细胞人工智能辅助阅片提供重要的分级识别系统框架。

为了实现上述目的，本发明提供一种可解释性的宫颈癌细胞图像快速分级识别方法，所述方法包括：

步骤1)对分割后的宫颈细胞图像进行预处理操作；

步骤2)判断预处理后的细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤7)；

步骤3)确定可计算的细胞参数，然后计算细胞参数特征；

步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到细胞的第一种分级结果；

步骤5)构建附加领域知识的双流卷积神经网络模型，将细胞参数特征和细胞图像输入双流卷积神经网络模型，得到细胞的第二种分级结果；

步骤6)结合第一种分级结果和第二种分级结果进行判读，得到单细胞的分级结果；

步骤7)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行团簇细胞的分级识别，得到团簇细胞的分级结果。

上述技术方案中，所述方法进一步包括：

步骤8)利用知识图谱和类活动映射的方法实现宫颈细胞识别过程的可读性、宫颈细胞识别结果的可解释性。

上述技术方案中，所述步骤1)的预处理操作为：扫描分割后的宫颈细胞区域，并进行细胞边界像素值填充，将细胞边界外的像素值填充为0，然后将填充像素值后的细胞图像统一归一化至256*256的像素值大小。

上述技术方案中，所述步骤2)的判断上述细胞图像是否为单个细胞，采用图像处理中的分水岭算法实现，若细胞图像中的细胞核数目为1，则判断是单个细胞。

上述技术方案中，所述步骤3)的细胞参数包括细胞核的大小、深度、形状，细胞质的大小、形状和核浆比。

上述技术方案中，所述附加领域知识的双流卷积神经网络的一路输入为步骤3)得到的细胞参数特征，另外一路输入为单个细胞图像，大小统一归一化为256*256像素值，经过5个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用7*7大小，步长选择大小为1，特征图个数选取为96个，该卷积操作为：

上式中，M表示选择的输入特征图的集合，w_ij表示权重，b_j为每一个特征图输出加上的一个额外偏置，然后将提取的1096维特征加上细胞领域知识可计算的20维特征拼接到一起，输入到双流卷积神经网络的全连接层和分类层。

上述技术方案中，所述细胞团簇的双流卷积神经网络的一路输入为：细胞核之间的排列规则的特征，另外一路输入是与该细胞参数对应的细胞团簇的宫颈细胞，宫颈细胞输入大小统一归一化为512*512像素值，经过8个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用5*5大小，步长选择大小为2，特征图个数选取为108个。

一种可解释性的宫颈细胞图像快速分级识别系统，包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法的步骤。

本发明的有益效果是：

1、提出了基于领域知识的深度卷积神经网络和知识图谱的双重判读方法，使得宫颈癌细胞的分级识别最终达到了实时性和癌变细胞的高敏感性，降低了癌细胞误识别和漏识别情况的发生。该快速分级识别方法可以用做医疗影像中液基涂片细胞图像分级识别的通用框架，适用于各种质量的宫颈细胞液基涂片。根据不同种类和不同厂家的液基涂片只需对模型的超参数进行调整，即可得到理想的判读结果；

2、鉴于不可分的细胞团簇区域容易误诊以及漏诊的情况，本发明给出了妥善的处理方式，一方面是训练针对细胞团簇专有的卷积神经网络模型，从而完成细胞团簇癌变的分级识别；另一方面考虑到宫颈癌变的发生不只是存在单个细胞上，将细胞团簇区域与单个细胞的判读结果的进行合并，从而实现癌细胞的高敏感性以及非癌变细胞的高特异性；

3、一般识别系统模型不具备的可解释性，本发明利用知识图谱和CAM的方法实现了宫颈癌细胞识别过程的可读性、宫颈细胞识别结果的可解释。本发明的宫颈癌细胞快速分级识别完全依据TBS标准诊断的判读规则，可随时查阅任意某个细胞的审读过程，为宫颈细胞人工智能辅助阅片提供重要的可视化判读框架。

附图说明

图1为本发明的可解释性的宫颈细胞图像快速分级识别方法的流程图；

图2为本发明的附加领域知识的双流卷积神经网络模型的示意图；

图3为本发明的宫颈细胞知识图谱分级判读的示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，一种可解释性的宫颈细胞图像快速分级识别方法，所述方法包括：

步骤1)对分割后的宫颈细胞图像进行预处理操作：为了与双流卷积神经网络的输入数据格式相匹配，首先扫描分割后的宫颈细胞区域，并进行细胞边界像素值填充的方式，将细胞边界外的像素值填充为0，然后将填充像素值后的细胞图像统一归一化至256*256的像素值大小；

步骤2)判断上述细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤7)；

此处的判断主要依靠图像中细胞核的数目，而检测细胞核数目的方法采用图像处理中的分水岭算法，若细胞图像中的细胞核数目为1，则判断是单个细胞。

步骤3)确定可计算的细胞参数，包括细胞核的大小、深度、形状，细胞质的大小、形状和核浆比，然后计算细胞参数特征；

以细胞核的大小为例，细胞核的大小参数是通过直接计算细胞核区域边界内的像素的总和来表示：

其中f(x,y)为二值图像上某点(x,y)的像素值,取值为1时表示该像素点属于目标区域,取值为0时表示该像素点属于背景区域,其面积就是统计f(x,y)为1的像素个数。

步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到细胞的第一种分级结果；

步骤5)构建附加领域知识的双流卷积神经网络模型，将细胞参数特征和细胞图像输入双流卷积神经网络模型，得到细胞的第二种分级结果；

如图2所示，双流卷积神经网络的一路输入为步骤3)得到的细胞参数特征，另外一路输入为单个细胞图像，大小统一归一化为256*256像素值，经过5个级联的卷积池化组合模块隐式地提取到细胞图像的特征。其中最重要的卷积操作的卷积核大小采用7*7大小，步长选择大小为1，特征图个数选取为96个，该卷积操作为：

M表示选择的输入特征图的集合，w_ij表示权重，b_j为每一个特征图输出加上的一个额外偏置，然后将提取的1096维特征加上细胞领域知识可计算的20维特征拼接到一起，输入到双流卷积神经网络的全连接层和分类层。根据TBS标准诊断，将不同细胞的分级识别结合在一起，一共分为9类。

如图3所示，细胞学特征完全根据TBS判断标准，抽取是采用判断标准的语言。细胞可以在不同抽象层次上进行多种分类，从是否存在病变的层次上，细胞主要分为正常细胞和异常细胞两大类，正常细胞，包括柱状细胞、中层细胞、表层细胞；异常细胞包括轻度鳞状上皮内病变细胞、中度鳞状上皮内病变细胞、重度鳞状上皮内病变细胞、鳞状细胞癌细胞。

判读规则库也完全依据阅片医生的判读过程与思想，例如细胞质的颜色特征映射，对于宫颈病变有判读意义的颜色有蓝色、粉红色、橘黄色，细胞学术语通常称为嗜碱性、嗜酸性、嗜橘黄色，即嗜碱性的细胞细胞质表现为蓝色、嗜酸性细胞细胞质表现为粉红色、嗜橘黄色细胞细胞质表现为橘黄色。

步骤6)结合第一种分级结果和第二种分级结果，得到单细胞的分级结果；

判读合并主要综合分析单个细胞的判读、卷积神经网络模型分级识别结果等因素，作出单个细胞最终的分级识别判读结果。例如某个细胞的第一种分级结果和第二种分级结果都为鳞状细胞癌的结果，那么则判读该细胞为鳞状细胞癌。

冲突处理主要解决各种特征指向不同的判读结果时，综合各种因素，消除冲突，做出明确可靠的判读。例如某个细胞经过第一分级(双流卷积神经网络模型)得到的结果为鳞状细胞癌，而经过第二分级(知识图谱模型)得到的结果为低级别鳞状上皮内病变，此种情况属于结果冲突，针对冲突的处理本发明采用的方式是将该细胞标注出来，最终的结果可由阅片医师来决定。

步骤7)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行团簇细胞的分级识别；

细胞团簇的双流卷积神经网络的一路输入为：细胞核之间的排列规则的特征，另外一路输入是与该细胞参数对应的细胞团簇的宫颈细胞，本发明将宫颈细胞输入大小统一归一化为512*512像素值，经过8个级联的卷积池化组合模块隐式地提取到细胞图像的特征。其中最重要的卷积操作的卷积核大小采用5*5大小，步长选择大小为2，特征图个数选取为108个。

步骤8)利用知识图谱和CAM(Class Activation Mapping，类活动映射)的方法实现宫颈细胞识别过程的可读性、宫颈细胞识别结果的可解释性。

采用CAM的方法在得到识别结果后给出其对应的热度图，从而实现宫颈细胞识别结果的可解释性。

如图3所示，整个判读过程的可解释性具体采用了知识图谱的技术，本发明构建了图像特征的本体表示以及细胞特征的本体表示，采用推理规则进行判读。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种可解释性的宫颈细胞图像快速分级识别方法，所述方法包括：

步骤1)对分割后的宫颈细胞图像进行预处理操作；

步骤2)判断预处理后的细胞图像是否为单个细胞，如果是，转入步骤3)，否则，该图像为不可分的细胞团簇，转入步骤7)；

步骤3)确定可计算的细胞参数，然后计算细胞参数特征；

步骤4)建立细胞知识图谱推理判断模型，并将细胞参数特征输入该模型，得到单个细胞的第一种分级结果；

步骤5)构建附加领域知识的双流卷积神经网络模型，将细胞参数特征和细胞图像输入双流卷积神经网络模型，得到单个细胞的第二种分级结果；

步骤6)对第一种分级结果和第二种分级结果进行联合判读，得到单个细胞的分级结果；

步骤7)构建细胞团簇的双流卷积神经网络模型，并使用该模型对不可分细胞团簇进行细胞团簇的分级识别，得到细胞团簇的分级结果。

2.根据权利要求1所述的可解释性的宫颈细胞图像的快速分级识别方法，其特征在于，所述方法进一步包括：

步骤8)利用知识图谱和类活动映射的方法实现宫颈细胞识别过程的可读性、宫颈细胞识别结果的可解释性。

3.根据权利要求1或2所述的可解释性的宫颈细胞图像快速分级识别方法，其特征在于，所述步骤1)的预处理操作为：扫描分割后的宫颈细胞区域，并进行细胞边界像素值填充，将细胞边界外的像素值填充为0，然后将填充像素值后的细胞图像统一归一化至256*256的像素值大小。

4.根据权利要求1或2所述的可解释性的宫颈细胞图像快速分级识别方法，其特征在于，所述步骤2)的判断上述细胞图像是否为单个细胞，采用图像处理中的分水岭算法实现，若细胞图像中的细胞核数目为1，则判断是单个细胞。

5.根据权利要求1或2所述的可解释性的宫颈细胞图像快速分级识别方法，其特征在于，所述步骤3)的细胞参数包括细胞核的大小、深度、形状，细胞质的大小、形状和核浆比。

6.根据权利要求1或2所述的可解释性的宫颈细胞图像快速分级识别方法，其特征在于，所述附加领域知识的双流卷积神经网络的一路输入为步骤3)得到的细胞参数特征，另外一路输入为单个细胞图像，大小统一归一化为256*256像素值，经过5个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用7*7大小，步长选择大小为1，特征图个数选取为96个，该卷积操作为：

$x=f(\underset{i\∈M}{\mathrm{\Σ}}{x}_i*w_{ij}+b_j)---\left(2\right)$

上式中，M表示选择的输入特征图的集合，w_ij表示权重，b_j为每一个特征图输出加上的一个额外偏置，然后将提取的1096维特征加上细胞领域知识可计算的20维特征拼接到一起，输入到双流卷积神经网络的全连接层和分类层。

7.根据权利要求1或2所述的可解释性的宫颈细胞图像快速分级识别方法，其特征在于，所述细胞团簇的双流卷积神经网络的一路输入为：细胞核之间的排列规则的特征，另外一路输入是与该细胞参数对应的细胞团簇的宫颈细胞，宫颈细胞输入大小统一归一化为512*512像素值，经过8个级联的卷积池化组合模块隐式地提取到细胞图像的特征；其中最重要的卷积操作的卷积核大小采用5*5大小，步长选择大小为2，特征图个数选取为108个。

8.一种可解释性的宫颈细胞图像快速分级识别系统，包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～7所述方法的步骤。