CN110376198B - 一种宫颈液基细胞切片质量检测系统 - Google Patents

Abstract

本发明公开了一种宫颈液基细胞切片质量检测系统，具体涉及人工智能医学图像处理领域，包括切片数据处理模块、鳞状细胞数量评估模块、模糊检测模块、异常检测模块和综合模块，所述切片数据处理模块输出端与鳞状细胞数量评估模块输入端连接，所述鳞状细胞数量评估模块输出端与模糊检测模块输入端连接，所述模糊检测模块输出端与异常检测模块输入端连接，所述异常检测模块输出端与综合模块输入端连接。本发明主要针对扫描仪扫描的x切片图像，检测内容还包括清晰度、鳞状细胞数量，由于该切片图像包含切片整个视野，视野中不同地方可能存在不同的情况，所以该质检系统将会结合切片缩略图，针对整体图像做出一个客观的判断。

Description

一种宫颈液基细胞切片质量检测系统

技术领域

本发明涉及人工智能医学图像处理技术领域，更具体地说，本发明涉及一种宫颈液基细胞切片质量检测系统。

背景技术

宫颈癌是一种非常常见的妇科恶性肿瘤，其发病概率在女性恶性肿瘤中排名第二，仅次于女性乳腺癌的发病率。而且近年来宫颈癌的发病趋势也逐渐年轻化，因此宫颈癌的早期筛查以及预防研究已经成为世界范围内的热门话题。

作为病理诊断的三大支柱之一，细胞病理学在病理诊断中扮演者重要的角色。通过对病变部位进行取样并制作细胞涂片，在显微镜下进行细胞病理学分析，得到最终的诊断结果。但是传统的不是人工阅片技术，需要具有丰富经验和细胞学知识的专业人员在显微镜下寻找若干病变细胞。而诊断结果的准确性和可靠性往往受到操作者主观因素等多方面的影响，造成一些人为的误差。传统阅片的不足和先进的高通量扫描技术的发展使现代细胞学新技术的出现成为必然，即由人工阅片转向计算机辅助筛查自动化。

宫颈液基细胞切片在采集、制片、扫描的过程中常会出现人为因素导致的切片图像异常的情况。如采集细胞过少、胶水覆盖、染液未冲洗干净、切片间存在气泡、切片图像模糊等问题。然而，切片图像质量的好坏将直接影响计算机辅助筛查系统诊断的准确性。所以在切片图像经过辅助诊断系统前，必须建立一套完整的质检系统，过滤异常图像并给出提示，从而保证辅助诊断的准确性和可靠性。

其他类似的技术方案：对合格标本与正常标本图像进行视觉对比，通过观察，人为的找到各自的特征集合，运用图像处理技术自动提取图像中的各个特征，并引入粗糙集，建立检测模型，结合数据分析和统计对异常图像进行识别与检测。检测内容主要有：血污染、封片缺陷(胶水覆盖、气泡)、炎细胞覆盖。上述所提及的合格标本/不合格标图像均是在显微镜下，通过相关摄像头软件进行拍摄采集的。

不足之处：

1、不合格不满意的标本类型多且复杂，只是通过部分图像数据进行视觉对比，人为的分析特征是不全面的；

2、使用的参数条件多，对参数依赖大，对不同来源的切片数据兼容性不高；

3、检测内容主要是异物覆盖包括(炎细胞、血液、气泡、胶水)但未考虑由对焦错误或镜头模糊所造成的模糊切片以及鳞状细胞严重不足的切片；

4、由于处理的数据是在显微镜下摄像头拍摄的图像，是相对局部的，所以对整个切片图像没有全局的认知。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种宫颈液基细胞切片质量检测系统，通过切片数据处理模块对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，采用40x的图像，对整张切片图像进行抽样采集，可以很好的反应整体的信息，接着分别通过鳞状细胞数量评估模块和模糊检测模块对图像清晰度、鳞状细胞数量进行检测，能够更好的描述切片质量，异物覆盖和血液污染合成为一个模块——异常检测进行处理，最后经综合模块对上述模块检测的内容进行判断，能够对整个切片有一个总体的评价，而非只是切片的一部分，因此，整个质检系统结合切片缩略图，能够针对整体图像做出一个客观的判断。

为实现上述目的，本发明提供如下技术方案：一种宫颈液基细胞切片质量检测系统，包括切片数据处理模块、鳞状细胞数量评估模块、模糊检测模块、异常检测模块和综合模块，所述切片数据处理模块输出端与鳞状细胞数量评估模块输入端连接，所述鳞状细胞数量评估模块输出端与模糊检测模块输入端连接，所述模糊检测模块输出端与异常检测模块输入端连接，所述异常检测模块输出端与综合模块输入端连接；

所述切片数据处理模块用于针对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，对整张切片图像进行抽样采集，反应整体的信息；

所述鳞状细胞数量评估模块利用二值形态学的图像处理技术对鳞状细胞数量进行评估，计算鳞状细胞的数目；

所述模糊检测模块基于图像内容，结合二次模糊的方法来评价图像的模糊程度，用于对图像进行清晰度评估；

所述异常检测模块采用卷积神经网络自动提取特征，通过网络训练区分经血液污染、胶水覆盖以及气泡覆盖的异常图像；

所述综合模块用于通过细胞数量判断、图像模糊判断以及异物检测判断评价整个切片图像的质量；

所述切片数据处理模块处理的格式包括tif、kfb、TMAP，针对每一格式的数据，都分为两个阶段：1)数据读入阶段；2)数据标准化阶段；

数据读入阶段对每一种格式的切片开发一个独立的接口，用于数据读入内存。但这个阶段仅完成了数据从硬盘读入内存，被计算机识别的过程，并没有完成数据的标准化；

数据标准化阶段将读入内存的数据进行统一的处理，以便后续的评估检测工作，该阶段主要包含三个标准化操作：

1)通道顺序标准化，通道顺序按照R、G、B排列；

2)金字塔层级标准化，扫描得到的切片图像一般为金字塔状的多层级存储形式，为了统一标准，方便后续的处理，该系统均采用40x的图像；

3)数据采集标准化，即使只选用其中一层的切片数据，其图像大小仍然很大，一般可达到几百兆，为了在保证速度的前提下，对切片数据有一个宏观的把控，采用以下方法对其进行采样：

a.去掉图像空白范围或细胞零散的边缘；

b.在图像1中找到均匀间隔的16个点，16个点呈4行4列分布，

c.以这些点为所切图像的右上角，按照一定的长宽采集patch图像；

所述鳞状细胞数量评估模块包括图像预处理和细胞数量预估两部分；

a)图像预处理用于根据图像的深浅加强对比度，判断图像深浅的依据有：1.平均灰度值；2.灰度值大于220的占比；公式如下：

其中I_avg为平均灰度值，I_i,j为各处的灰度值；S_I＞220为灰度值大于220的占比，N_I＞220为灰度值大于220的像素点数目，w、h为图像宽和长；

根据以上两个指标就能够初步判断图像的颜色深浅；若I_avg＞220且S_I＞220＞0.8则说明图像颜色较浅，需要进行直方图均衡化，加强对比度；

b)细胞数量预估，通过上述方法对图像进行预处理后，就能预估大部分图像的鳞状细胞数量；将数学形态学的2个基本运算即腐蚀和膨胀相结合，采用先腐蚀后膨胀的开运算得到图像中的鳞状细胞，腐蚀操作能够消除小且无意义的目标，比如切片图像中散落的中性粒细胞；膨胀可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，腐蚀公式如下：

AΘB＝{x,y|B_xy∈A}

该式表示用结构B腐蚀A，由于细胞近似椭圆形，所以B选用的是椭圆形结构；

膨胀公式如下：

该式表示用结构B膨胀A，将与目标区域接触的背景点合并到该目标物中，使目标边界向外扩张，B仍然选用椭圆形结构；使用开运算得到了只有鳞状细胞的二值图像，通过寻找该图像的四邻域连通区域，计算鳞状细胞的数目。

在一个优选地实施方式中，所述模糊检测模块选用原始图像本身作为待评价图像，而将经过二次模糊的图像作为参考图像，具体检测步骤如下：

S1、为原始图像I构造参考图像I₁，使用7*7大小且σ²＝6的高斯滤波器对原图像进行高斯模糊；

S2、提取图像I、I₁的梯度信息G、G_r，包括水平方向和竖直方向的；

S3、确定梯度图像G中梯度信息最丰富的图像块数N的值，利用大津算法求出图像的前景，计算前景占整个图像块的比率r，设N的最大值为64，

S4、找出梯度图像G中梯度信息最丰富的N个模块，将图像G划分为8*8的小块，计算每块的方差，方差越大说明梯度信息越丰富，图像越清晰；

S5、计算原始图像的无参考结构清晰度，公式如下：

其中SSM是基于结构相似性的图像质量评价函数，得分越低，清晰度越差；

通过上述方法，即可对图像进行清晰度评估。

在一个优选地实施方式中，所述异常检测模块通过网络训练区分异常图像，网络的输出层有三个分类，分别为：

0——正常图像

1——血液污染的图像

2——胶水、气泡覆盖的图像；

卷积网络采用1个输入层，16个卷积层，2个全连接层，1个输出层的架构方式；其中中间的卷积层由卷积、激活、池化三个模块组成，两个输出层加入了Dropout模块，防止网络过拟合；为了保证输出层输出的所有类别概率和为1，输出层的激活函数采用softmax，公式如下：

其中Z为采用Softmax之前各个神经元的输出值，φ_i(z)表示输出层第i个神经元经过Softmax后的输出概率。

在一个优选地实施方式中，所述鳞状细胞评估模块、模糊检测模块、异物检测模块都是以一张patch为单位进行处理的，综合模块则是评价整个切片图像的质量；每个模块最终会得到16维的数组，数组中的值表示每一张patch对应模块的指标(如模糊检测模块，其最终得到的数组中的值代表每张patch的清晰度得分)，为了客观的评价整体情况，所有指标均去掉一个最低值和一个最高值，以平均值和方差来反应整体质量。

在一个优选地实施方式中，所述综合模块通过细胞数量判断、图像模糊判断以及异物检测判断对整个切片质量进行描述，实现质检，其中：

A)细胞数量，根据液基涂片细胞数量参考指南，物镜40x，总细胞数为5000的涂片中每一个视野的细胞数量约为9个，虽然扫描仪中的40x与物镜40x有一定的偏差，但这个数仍然具有参考意义。细胞数量判断如下：

其中x表示鳞状细胞评估模块得到的数组去掉最大值和最小值所得到的平均值；

B)模糊检测中的模糊得分越大表示图像越清晰，模糊判断如下：

C)异物检测的输出仍然是16维的数组，但数组里的0、1、2分别代表正常、血液覆盖、胶水/气泡覆盖；所以不用平均数描述整体，异物检测判断如下：

其中x₁，x₂，x₀分别代表数组里等于1的数量、2的数量、0的数量；每一个模块都会计算方差，方差代表每个图像指标的震荡情况，若方差大，则图像出现该情况的分布不均匀。

本发明的技术效果和优点：

1、本发明质检系统主要包括五大模块，分别为a)切片数据预处理、b)鳞状细胞数量评估、c)模糊检测、d)异常检测、e)综合模块；整个质检系统中，先通过切片数据处理模块对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，采用40x的图像，对整张切片图像进行抽样采集，可以很好的反应整体的信息，接着分别通过鳞状细胞数量评估模块和模糊检测模块对图像清晰度、鳞状细胞数量进行检测，能够更好的描述切片质量，异物覆盖和血液污染合成为一个模块——异常检测进行处理，最后经综合模块对上述模块检测的内容进行判断，能够对整个切片有一个总体的评价，而非只是切片的一部分，因此，整个质检系统结合切片缩略图，能够针对整体图像做出一个客观的判断；

2、本发明液基切片质量检测的内容更加丰富，增加了模糊检测和鳞状细胞检测的内容，能够更好的描述切片质量；

3、本发明在模糊检测中，加入了基于内容的二次模糊检测，使模糊检测不会因为细胞数量不同，而造成评分难以统一的问题；

4、本发明在异物检测模块引入了卷积神经网络自动提取特征，而非人为观察所得。所提取的特征更加全面，判断更加准确。

附图说明

图1为本发明的实施例1的整体系统框图。

图2为本发明的实施例2的整体系统检测流程图。

图3为本发明的实施例2的细胞切片扫描模糊的图像示意图。

图4为本发明的实施例2的细胞切片扫描清晰度不高的图像示意图。

图5为本发明的实施例2的细胞切片扫描清晰的图像示意图。

图6为本发明的实施例2的扫描图像中鳞状细胞少的部分视野图。

图7为本发明的实施例2的扫描图像中鳞状细胞少的全视野图。

图8为本发明的实施例2的扫描图像中鳞状细胞一般可用的部分视野图。

图9为本发明的实施例2的扫描图像中鳞状细胞一般可用的全视野图。

图10为本发明的实施例2的扫描图像中鳞状细胞多的部分视野图。

图11为本发明的实施例2的扫描图像中鳞状细胞多的全视野图。

图12为本发明的实施例2的血液污染的扫描图像部分视野图。

图13为本发明的实施例2的疑似血液污染的扫描图像部分视野图。

图14为本发明的实施例2的不是血液污染的扫描图像部分视野图。

图15为本发明的实施例2的异物覆盖的扫描图像全视野图。

图16为本发明的实施例2的去掉图像空白范围或细胞零散的边缘后的扫描图像示意图。

图17为本发明的实施例2的卷积网络结构示意图。

附图标记为：1切片数据处理模块、2鳞状细胞数量评估模块、3模糊检测模块、4异常检测模块、5综合模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

根据图1所示的一种宫颈液基细胞切片质量检测系统，包括切片数据处理模块1、鳞状细胞数量评估模块2、模糊检测模块3、异常检测模块4和综合模块5，所述切片数据处理模块1输出端与鳞状细胞数量评估模块2输入端连接，所述鳞状细胞数量评估模块2输出端与模糊检测模块3输入端连接，所述模糊检测模块3输出端与异常检测模块4输入端连接，所述异常检测模块4输出端与综合模块5输入端连接；

所述切片数据处理模块1用于针对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，对整张切片图像进行抽样采集，反应整体的信息；

所述鳞状细胞数量评估模块2利用二值形态学的图像处理技术对鳞状细胞数量进行评估，计算鳞状细胞的数目；

所述模糊检测模块3基于图像内容，结合二次模糊的方法来评价图像的模糊程度，用于对图像进行清晰度评估；

所述异常检测模块4采用卷积神经网络自动提取特征，通过网络训练区分经血液污染、胶水覆盖以及气泡覆盖的异常图像；

所述综合模块5用于通过细胞数量判断、图像模糊判断以及异物检测判断评价整个切片图像的质量。

实施方式具体为：整个系统主要包括五大模块，分别为a)切片数据预处理、b)鳞状细胞数量评估、c)模糊检测、d)异常检测、e)综合模块5；整个质检系统中，先通过切片数据处理模块1对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，对整张切片图像进行抽样采集，可以很好的反应整体的信息，接着分别通过鳞状细胞数量评估模块2和模糊检测模块3对图像清晰度、鳞状细胞数量进行检测，异物覆盖和血液污染合成为一个模块——异常检测进行处理，最后经综合模块5对上述模块检测的内容进行判断，评价整个切片图像的质量，实现质检，整个质检系统结合切片缩略图，能够针对整体图像做出一个客观的判断。

实施例2：

如图2所示，整个质检系统的检测方法如下：

首先，确定图像质量检测内容：

1、清晰度

2、鳞状细胞数含量

3、是否存在血液污染

4、是否存在异物覆盖(异常)

其中清晰度分为三级(模糊/可用/清晰)；鳞状细胞数含量分为三级(少/可用/多)；是否存在血液污染分为三级(是/疑似/否)；是否存在异常分为三级(是/疑似/否)；

以图文的形式解释说明各个质检内容的划分，该划分方案都是以是否能够用于辅助诊断为依据的：

1、清晰度

在使用扫描仪对细胞切片进行扫描时，可能会出现对焦错误、镜头模糊等情况，导致图像模糊，细胞细节丢失，严重影响诊断结果，清晰度分级如下：

a)模糊，几乎不能用于诊断，具体见图3；

b)可用：清晰度不高，但几乎不影响诊断，具体见图4；

c)清晰：图像边缘清晰，质量较好，具体见图5；

2、鳞状细胞数含量

造成标本不满意的最常见原因是鳞状上皮细胞数量太低。2001年Bethesda图谱中提到最低细胞的标准(5000个细胞)用于所有子宫颈细胞学的标本。但对于经过放疗或者化疗，绝经期后萎缩性改变的女性，细胞数量通常比普通人低。有研究人员建议对于这些病人，以2000个细胞作为最低标准。该质检系统以其为依据，判断鳞状细胞的数量情况，鳞状细胞数含量分级如下：

a)细胞数量少：切片内的细胞数量过少，未达到最低标准，部分视野图见图6，全视野图见图7；

b)细胞数量可用：切片内的细胞有一定的数量，细胞间几乎没有重叠，散布在视野各处；在辅助诊断中可用，但细胞量少，需要给出提示，若在此类诊断中，部分视野图见图8，全视野图见图9；

c)细胞数量多：切片内的细胞数量基本达到5000以上，整个视野内都有细胞分布，且细胞间有重叠，部分视野图见图10，全视野图见图11；

3、是否存在血液污染

在涂片过程中，标本瓶中过多的血液会堵塞过滤膜，影响液基制片，常会导致切片中的血液过多，造成血液污染，血液污染分级如下；

a)是血液污染：切片内的血液过多，严重影响智能诊断，部分视野图见图12；

b)疑似血液污染：类似血液覆盖的现象，可能是炎细胞覆盖，部分视野图见图13；

c)不是血液污染：切片中没有血液污染或者类似血液污染的情况的现象，部分视野图见图14；

4、是否存在异物覆盖(异常)

异物覆盖主要是指封片没有封好，导致切片间有许多气泡或者切片上覆盖有大量胶水的情况。异物覆盖严重时，将无法采集到有效目标进行诊断，是否存在异常分级如下

a)异常：切片中有胶水覆盖或者有气泡出现，严重覆盖了正常细胞，全视野图见图15；

b)疑似异常：切片中有少部分存在以上异常问题或类似现象；

c)无异常：切片中没有异物覆盖。

接着，进行质检，具体步骤如下：

(一)切片数据处理模块1

现实中，由于不同病理扫描仪厂家所产生的切片格式不尽相同，且由扫描生成的图像数据较大，所以需要开发一个单独的模块来对这些复杂的数据进行处理，目前该预处理模块可以处理的格式包括tif、kfb、TMAP；针对每一格式的数据，都分为两个阶段：

1)数据读入阶段；

2)数据标准化阶段；

数据读入阶段对每一种格式的切片开发一个独立的接口，用于数据读入内存；但这个阶段仅完成了数据从硬盘读入内存，被计算机识别的过程，并没有完成数据的标准化；

数据标准化阶段将读入内存的数据进行统一的处理，以便后续的评估检测工作，该阶段主要包含三个标准化操作：

1)通道顺序标准化，通道顺序按照R、G、B排列；

2)金字塔层级标准化，扫描得到的切片图像一般为金字塔状的多层级存储形式，为了统一标准，方便后续的处理，该系统均采用40x的图像；

3)数据采集标准化，即使只选用其中一层的切片数据，其图像大小仍然很大，一般可达到几百兆。为了在保证速度的前提下，对切片数据有一个宏观的把控，采用以下方法对其进行采样：

a.去掉图像空白范围或细胞零散的边缘，得到图像1，具体见图16；

b.在图像1中找到均匀间隔的16个点(4行4列)，

c.以这些点为所切图像的右上角，按照一定的长宽采集patch图像，图16中矩形框代表图像1的范围。

通过以上方法对整张切片图像进行抽样采集，可以很好的反应整体的信息；

(二)鳞状细胞数量评估模块2

该模块主要利用二值形态学的图像处理技术对鳞状细胞数量进行评估。主要由两部分组成a)图像预处理b)细胞数量预估；

a)在宫颈细胞切片制作过程中，由于存放时间、染色方案、染料供应商及制作技术等不同或者各种人为因素会导致切片图像深浅不一。为了减少在细胞数量预估时，图像深浅对其造成的影响，需要进行图像预处理，根据图像的深浅加强对比度，判断图像深浅的依据有：1.平均灰度值；2.灰度值大于220的占比；公式如下：

其中I_avg为平均灰度值，I_i,j为各处的灰度值；S_I＞220为灰度值大于220的占比，N_I＞220为灰度值大于220的像素点数目，w、h为图像宽和长；

根据以上两个指标就能够初步判断图像的颜色深浅；若I_avg＞220且S_I＞220＞0.8则说明图像颜色较浅，需要进行直方图均衡化，加强对比度；

b)细胞数量预估，通过上述方法对图像进行预处理后，就能预估大部分图像的鳞状细胞数量；将数学形态学的2个基本运算即腐蚀和膨胀相结合，采用先腐蚀后膨胀的开运算得到图像中的鳞状细胞，腐蚀操作能够消除小且无意义的目标，比如切片图像中散落的中性粒细胞；膨胀可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，腐蚀公式如下：

AΘB＝{x,y|B_xy∈A}

该式表示用结构B腐蚀A，由于细胞近似椭圆形，所以B选用的是椭圆形结构；

膨胀公式如下：

该式表示用结构B膨胀A，将与目标区域接触的背景点合并到该目标物中，使目标边界向外扩张，B仍然选用椭圆形结构；使用开运算得到了只有鳞状细胞的二值图像，通过寻找该图像的四邻域连通区域，计算鳞状细胞的数目。

(三)模糊检测模块3

该模块主要基于图像内容，结合二次模糊的方法来评价图像的模糊程度。由于我们无法找到原始图像本身的参考图像，所以选用原始图像本身作为待评价图像，而将经过二次模糊的图像作为参考图像。清晰的图像由于包含大量高频信息，经过低通滤波之后损失的信息多，得到的相似度就小。而模糊的图像则相反。但传统的无参考图像二次模糊方法NRSS适用于图像内容丰富的图像，对于细胞数量少(图像内容少)的图像，由于有许多白色区域类似于模糊部分，即使细胞边缘清晰，也容易误判为模糊的图像。所以该系统设计了基于图像内容的模糊检测，具体检测步骤如下：

S1、为原始图像I构造参考图像I₁，使用7*7大小且σ²＝6的高斯滤波器对原图像进行高斯模糊；

S2、提取图像I、I₁的梯度信息G、G_r，包括水平方向和竖直方向的；

S3、确定梯度图像G中梯度信息最丰富的图像块数N的值，利用大津算法求出图像的前景，计算前景占整个图像块的比率r，设N的最大值为64，

S4、找出梯度图像G中梯度信息最丰富的N个模块，将图像G划分为8*8的小块，计算每块的方差，方差越大说明梯度信息越丰富，图像越清晰；

S5、计算原始图像的无参考结构清晰度，公式如下：

其中SSM是基于结构相似性的图像质量评价函数，得分越低，清晰度越差；

通过上述方法，即可对图像进行清晰度评估。

(四)异常检测模块4

异物检测主要内容包括血液污染、胶水覆盖，气泡覆盖。之前类似的方案通过观察异常图像与正常图像之间的区别，选用了图像强度、散布均方差、颜色距离等特征进行两类图像的区分，但是这种人为的选取特征有一定的局限性。该系统的异常检测模块4采用卷积神经网络自动提取特征，通过网络训练区分这些异常图像；

网络的输出层有三个分类，分别为：

0——正常图像

1——血液污染的图像

2——胶水、气泡覆盖的图像；

卷积网络采用1个输入层，16个卷积层，2个全连接层，1个输出层的架构方式，具体见图17；其中中间的卷积层由卷积、激活、池化三个模块组成，两个输出层加入了Dropout模块，防止网络过拟合；为了保证输出层输出的所有类别概率和为1，输出层的激活函数采用softmax，公式如下：

其中Z为采用Softmax之前各个神经元的输出值，φ_i(z)表示输出层第i个神经元经过Softmax后的输出概率。

(五)综合模块5

所述鳞状细胞评估模块、模糊检测模块3、异物检测模块都是以一张patch为单位进行处理的，综合模块5则是评价整个切片图像的质量；每个模块最终会得到16维的数组，数组中的值表示每一张patch对应模块的指标(如模糊检测模块3，其最终得到的数组中的值代表每张patch的清晰度得分)，为了客观的评价整体情况，所有指标均去掉一个最低值和一个最高值，以平均值和方差来反应整体质量；

A)细胞数量，根据液基涂片细胞数量参考指南，物镜40x，总细胞数为5000的涂片中每一个视野的细胞数量约为9个，虽然扫描仪中的40x与物镜40x有一定的偏差，但这个数仍然具有参考意义，细胞数量判断如下：

其中x表示鳞状细胞评估模块得到的数组去掉最大值和最小值所得到的平均值；

B)模糊检测中的模糊得分越大表示图像越清晰，模糊判断如下：

C)异物检测的输出仍然是16维的数组，但数组里的0、1、2分别代表正常、血液覆盖、胶水/气泡覆盖；所以不用平均数描述整体，异物检测判断如下：

其中x₁，x₂，x₀分别代表数组里等于1的数量、2的数量、0的数量；每一个模块都会计算方差，方差代表每个图像指标的震荡情况，若方差大，则图像出现该情况的分布不均匀；

通过以上的综合模块5对整个切片质量进行描述，达到质检的目的。

最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；

其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种宫颈液基细胞切片质量检测系统，其特征在于：包括切片数据处理模块(1)、鳞状细胞数量评估模块(2)、模糊检测模块(3)、异常检测模块(4)和综合模块(5)，所述切片数据处理模块(1)输出端与鳞状细胞数量评估模块(2)输入端连接，所述鳞状细胞数量评估模块(2)输出端与模糊检测模块(3)输入端连接，所述模糊检测模块(3)输出端与异常检测模块(4)输入端连接，所述异常检测模块(4)输出端与综合模块(5)输入端连接；

所述切片数据处理模块(1)用于针对不同扫描仪扫描图像切片格式不同造成的数据较大且较为复杂的情况进行处理，对整张切片图像进行抽样采集，反应整体的信息；

所述切片数据处理模块(1)处理的格式包括tif、kfb、TMAP，针对每一格式的数据，都分为两个阶段：1)数据读入阶段；2)数据标准化阶段；

数据读入阶段对每一种格式的切片开发一个独立的接口，用于数据读入内存；

数据标准化阶段将读入内存的数据进行统一的处理，该阶段主要包含三个标准化操作：

1)通道顺序标准化，通道顺序按照R、G、B排列；

2)金字塔层级标准化，扫描得到的切片图像一般为金字塔状的多层级存储形式，且采用40x的图像；

3)数据采集标准化，采用以下方法对其进行采样：

a.去掉图像空白范围或细胞零散的边缘；

b.在图像1中找到均匀间隔的16个点，16个点呈4行4列分布，

c.以这些点为所切图像的右上角，按照一定的长宽采集patch图像；

所述鳞状细胞数量评估模块(2)利用二值形态学的图像处理技术对鳞状细胞数量进行评估，计算鳞状细胞的数目；

所述鳞状细胞数量评估模块(2)包括图像预处理和细胞数量预估两部分；

a)图像预处理用于根据图像的深浅加强对比度，判断图像深浅的依据有：1.平均灰度值；2.灰度值大于220的占比；公式如下：

其中I_avg为平均灰度值，I_i,j为各处的灰度值；S_I＞220为灰度值大于220的占比，N_I＞220为灰度值大于220的像素点数目，w、h为图像宽和长；

根据以上两个指标就能够初步判断图像的颜色深浅；若I_avg＞220且S_I＞220＞0.8则说明图像颜色较浅，需要进行直方图均衡化，加强对比度；

b)细胞数量预估，通过上述方法对图像进行预处理后，就能预估大部分图像的鳞状细胞数量；将数学形态学的2个基本运算即腐蚀和膨胀相结合，采用先腐蚀后膨胀的开运算得到图像中的鳞状细胞，腐蚀公式如下：

AΘB＝{x,y|B_xy∈A}

该式表示用结构B腐蚀A，由于细胞近似椭圆形，所以B选用的是椭圆形结构；

膨胀公式如下：

该式表示用结构B膨胀A，将与目标区域接触的背景点合并到该目标物中，使目标边界向外扩张，B仍然选用椭圆形结构；使用开运算得到了只有鳞状细胞的二值图像，通过寻找该图像的四邻域连通区域，计算鳞状细胞的数目；

所述模糊检测模块(3)基于图像内容，结合二次模糊的方法来评价图像的模糊程度，用于对图像进行清晰度评估；

所述异常检测模块(4)采用卷积神经网络自动提取特征，通过网络训练区分经血液污染、胶水覆盖以及气泡覆盖的异常图像；

所述综合模块(5)用于通过细胞数量判断、图像模糊判断以及异物检测判断评价整个切片图像的质量。

2.根据权利要求1所述的一种宫颈液基细胞切片质量检测系统，其特征在于：所述模糊检测模块(3)选用原始图像本身作为待评价图像，而将经过二次模糊的图像作为参考图像，具体检测步骤如下：

S1、为原始图像I构造参考图像I₁，使用7*7大小且σ²＝6的高斯滤波器对原图像进行高斯模糊；

S2、提取图像I、I₁的梯度信息G、G_r，包括水平方向和竖直方向的；

S3、确定梯度图像G中梯度信息最丰富的图像块数N的值，利用大津算法求出图像的前景，计算前景占整个图像块的比率r，设N的最大值为64，

S4、找出梯度图像G中梯度信息最丰富的N个模块，将图像G划分为8*8的小块，计算每块的方差；

S5、计算原始图像的无参考结构清晰度，公式如下：

其中SSM是基于结构相似性的图像质量评价函数；

通过上述方法，即可对图像进行清晰度评估。

3.根据权利要求1所述的一种宫颈液基细胞切片质量检测系统，其特征在于：所述异常检测模块(4)通过网络训练区分异常图像，网络的输出层有三个分类，分别为：

0——正常图像

1——血液污染的图像

2——胶水、气泡覆盖的图像；

卷积网络采用1个输入层，16个卷积层，2个全连接层，1个输出层的架构方式；其中中间的卷积层由卷积、激活、池化三个模块组成，两个输出层加入了Dropout模块；为了保证输出层输出的所有类别概率和为1，输出层的激活函数采用softmax，公式如下：

其中Z为采用Softmax之前各个神经元的输出值，φ_i(z)表示输出层第i个神经元经过Softmax后的输出概率。

4.根据权利要求1所述的一种宫颈液基细胞切片质量检测系统，其特征在于：所述鳞状细胞评估模块、模糊检测模块(3)、异物检测模块都是以一张patch为单位进行处理的，综合模块(5)则是评价整个切片图像的质量；每个模块最终会得到16维的数组，数组中的值表示每一张patch对应模块的指标，所有指标均去掉一个最低值和一个最高值，以平均值和方差来反应整体质量。

5.根据权利要求4所述的一种宫颈液基细胞切片质量检测系统，其特征在于：所述综合模块(5)通过细胞数量判断、图像模糊判断以及异物检测判断对整个切片质量进行描述，实现质检，其中：

A)细胞数量判断如下：

其中x表示鳞状细胞评估模块得到的数组去掉最大值和最小值所得到的平均值；

B)模糊检测中的模糊得分越大表示图像越清晰，模糊判断如下：

C)异物检测的输出仍然是16维的数组，但数组里的0、1、2分别代表正常、血液覆盖、胶水/气泡覆盖；所以不用平均数描述整体，异物检测判断如下：

其中x₁，x₂，x₀分别代表数组里等于1的数量、2的数量、0的数量；每一个模块都会计算方差，方差代表每个图像指标的震荡情况，若方差大，则图像出现该情况的分布不均匀。

Images