CN102831607A - 宫颈液基细胞图像分割方法 - Google Patents

Abstract

本发明公开了一种宫颈液基细胞图像分割方法。该方法包括：步骤1.细胞分割，首先对图像进行光照矫正，然后滤除噪声并增强细胞边界，再将图像分为细胞质、细胞核、背景三类以排除背景类区域；步骤2.细胞核分割，在细胞区域内检测各细胞核的中心，在中心附近估计细胞核大致形状，并修正得到精确边界。本发明提出的方法面向更大视野范围内的宫颈细胞及细胞群，能克服一定程度的光照变化、染色不均匀及噪声影响,能可靠而精确地同时实现对细胞质、单个细胞核及粘连核的分割。

Description

宫颈液基细胞图像分割方法

技术领域

本发明涉及细胞病理学、计算机视觉及图像处理方法，特别涉及一种宫颈液基细胞图像自动分割方法。

背景技术

宫颈癌是对妇女威胁最大的恶性肿瘤疾病之一，全世界每年有近250,000人死于宫颈癌。其实，宫颈癌是一种可以治愈的癌症，只要能早期发现癌变或HPV（人类乳头瘤病毒）感染。目前临床上检测早期宫颈癌最成熟、有效的方法是液基细胞学制片技术结合巴氏染色法。该制片技术能使大多数细胞均匀地平铺在玻片上，从而方便了对细胞核和细胞质的观察；该染色方法能使不同层的细胞显示不同的颜色，从而能对不同层的细胞进行有区别地识别。文献报道这样的方式诊断宫颈细胞病理学改变具有高度敏感性，可检出92.9%的高度病变和100%的瘤癌。

然而，人眼观测宫颈细胞图像对医生来说是一个沉重的负担，而且人工解读存在用户内和用户间差异。因此，传统人工方式筛查宫颈癌的假阴性率较高。假阴性患者如不能及时治疗，轻者引起法律诉讼，重者危及生命。计算机辅助判读宫颈癌已被证明是降低假阴性率的有效技术，如：2005年美国FDA发布报告显示，对于宫颈细胞学高度病变，使用ThinPrep Imaging System辅助判读能提高5.8%的敏感性；2009年美国FDA发布报告显示,对于癌变和高度细胞学病变,使用BDFocalPoint GS Imaging System辅助判读能分别提高24.5%和19.6%的敏感性。尽管如此，2011年，国际权威医学杂志《柳叶刀》上发表了对自动判读和人工判读宫颈癌的对比临床测试报告，认为对于CIN2和CIN3级病变，自动判读的敏感性还不如人工。因此，为进一步推动宫颈细胞学计算机辅助判读技术在临床上的应用，需要对计算机辅助判读技术进行更深入的研究。

计算机辅助判读技术包括两个主要任务：分割，识别。其中，精确分割是关键前提。因为只有较好的分割了细胞，才有可能可靠地获取与病理相关的细胞的形态学改变。迄今为止，对于宫颈细胞的分割已有较多文献报道，各种分割技术的应用层出不穷，但大部分都只能实现对细胞核的分割，或对于单个细胞的细胞质和细胞核的分割，另外，所有方法都未处理细胞核粘连的情况。

伊斯法罕理工大学的Harandi等人于2010年提出的方法能同时分割多个细胞的细胞质和细胞核。但Harandi等人采用的活动轮廓模型提取细胞质边界的方法对噪声敏感，当背景中存在杂质、气泡、炎症细胞等物体时，活动轮廓将停止收敛而得不到细胞质的边界。传统分割细胞核的方式通常是直接在细胞质区域内对图像进行二值化，这类基于区域的分割方式会造成许多假阳性目标的产生（如细胞质重叠部位），且当细胞核染色不均匀时难以提取准确的细胞核边界，此外也不能分割出粘连细胞核。粘连细胞核的分割已有较多技术，然而这些技术都存在一些不足，如：基于曲率的分割技术依赖于凹点对的定位，当凹点检测不准确时，分割性能难以保障；基于分水岭的分割技术常常导致过分割结果；基于距离图的分割技术不能分割重叠严重的细胞和细胞群；基于数学形态学的分割技术对于结构元和阈值的选择非常敏感。

有鉴于此，有必要研发一种能分割单个细胞及细胞群的细胞质和细胞核、且能分离粘连细胞核的方法。

发明内容

本发明的目的在于提供一种宫颈液基细胞图像分割方法，该方法能准确分割出单个细胞及细胞群的细胞质和细胞核，且能分离粘连细胞核。

为实现上述目的，本发明提供的宫颈液基细胞图像分割方法包括下列步骤：

步骤1.细胞分割。首先对图像进行光照矫正，然后滤除噪声并增强细胞边界，再将图像分为细胞质、细胞核、背景等三类以排除背景类区域；

步骤2.细胞核分割。在细胞区域内检测各细胞核的中心，在中心附近估计细胞核大致形状，并修正得到精确边界。

所述步骤1中，光照矫正的步骤为：首先将原始彩色图像从RGB彩色空间转换到Lab彩色空间，提取其中的L通道图像，对该图像进行顶帽变换得到光照均匀的图像。

所述步骤1中，滤除噪声并增强细胞边界的步骤为：采用均值移位（mean shift）滤波和中值滤波处理光照矫正后的图像。

所述步骤1中，将图像分为细胞质、细胞核、背景等三类的步骤为：将滤波后的图像用K均值聚类算法分为三类，从而引导图割（graph cuts）算法得到分割结果，最后排除背景类区域，剩下区域即为细胞区域。

所述的引导图割算法的步骤为：根据聚类中心构造三终端图网络，将网络中各像素值与各终端的差异赋给图割法能量函数中的数据项，将由Potts模型参数定义的相邻像素间的连接能量赋给图割法能量函数中的像素连续性项，进而用α扩展算法和最大流最小割算法优化能量函数，得到全局最优的像素类别标签。

所述步骤2中，检测各细胞核的中心的步骤为：求细胞区域内各像素的滑动带滤波（sliding band filter，SBF）响应，以大于给定阈值的局部极大响应的位置为细胞核中心。

所述步骤2中，估计细胞核大致形状的步骤为：对每一个细胞核，在其SBF滑动带中搜索各方向上最大响应的位置，连接这些位置即得到细胞核大致形状。

所述步骤2中，修正得到精确边界的步骤为：以细胞核大致形状为初始轮廓进行水平集（level set）演化，得到更精确的细胞核边界/区域。

所述的水平集演化的步骤为：将水平集能量函数外能项中的边缘指示函数定义为梯度收敛形式，并将细胞核大致形状向外扩张一定大小作为水平集演化的初始轮廓，水平集演化过程在滤波增强后的图像上进行。

与现有技术相比，本发明面向更大视野范围内的细胞及细胞群，能克服一定程度的光照变化、染色不均匀及噪声影响。对细胞质的分割联合了图像全局信息和局部信息；对细胞核的分割综合利用了图像底层信息——梯度收敛，细胞核先验信息——尺寸、形状等，高级模型——水平集活动轮廓模型。从而能可靠而精确地同时实现对细胞质、单个细胞核及粘连核的分割。本发明的技术能为全自动宫颈癌筛查系统提供更全面、可靠而精确的全自动分割结果。

附图说明

图1为本发明宫颈液基细胞图像分割方法的原理图。

具体实施方式

本发明的关键技术在于对宫颈液基细胞图像中的细胞质和细胞核进行分割。本发明的技术原理包括计算机视觉和图像处理技术。

图1是本发明用于宫颈液基细胞图像分割的一个较佳实施方案的原理图。该方案包括一个细胞分割模块11及一个细胞核分割模块12。细胞分割模块11用于实现自动排除背景区域，得到单个细胞和细胞群的细胞质，细胞核分割模块12用于实现自动提取细胞质区域内的所有细胞核区域，包括粘连细胞核。

本发明提供的宫颈液基细胞图像分割方法包括下列步骤：

步骤1.细胞分割。首先对图像进行光照矫正，然后滤除噪声并增强细胞边界，再将图像分为细胞质、细胞核、背景等三类以排除背景类区域；

步骤2.细胞核分割。在细胞区域内检测各细胞核的中心，在中心附近估计细胞核大致形状，并修正得到精确边界。

细胞分割步骤包括：光照矫正，滤波增强和排除背景。

步骤111.光照矫正。该步骤的目的是提高细胞与背景之间的对比度，并消除图像在获取过程中可能产生的光照不均匀现象。

宫颈液基涂片经过巴氏染色后，细胞被染成蓝色或红色，而背景不会被染色进而在图像中呈现白色。经观察发现，细胞和背景之间的亮度差别较明显，因此，本发明基于亮度差异来提高细胞与背景之间的对比度。最直接的提取亮度信息的方式是将图像从RGB（红绿蓝）彩色空间转换到Lab（颜色-对立）彩色空间，提取亮度（L）通道图像。实验发现，L通道图像的直方图分布具有较好的双峰特征，利于细胞核背景的区分。

为消除光照不均匀现象，本发明对L通道图像使用顶帽变换。采用顶帽变换是因为L通道图像中细胞与背景的亮度有明显差异，这满足顶帽变换进行前景提取的条件。顶帽变换计算过程为计算L通道图像与L通道开运算结果之差，采用公式为：

TH(I,K)＝I-(IοK)             （1）

式中，I代表L通道图像，K代表结构元，ο代表开运算。开运算能去掉与结构元K不符的部分即细胞。再用原始图像减去开图像，被去掉的细胞就能清晰地显示出来。这里选择圆盘状结构元，圆盘的大小需大于最大的细胞群。经顶帽变换后，图像中细胞比背景亮度高，且光照均匀。

步骤112.滤波增强。该步骤的目的是抑制噪声并增强细胞质及细胞核的边缘强度。

本发明采用由西门子研究院的Comaniciu等人提出的均值移位滤波技术，其优势在于能抑制噪声的同时增强图像中的边缘。均值移位算法关键公式如下：

$f_{k+1}\left(c\right)\←\frac{{\mathrm{\Σ}}_{i=1}^N{f}_k\left(c_i\right)G\left(\frac{f_k\left(c\right)-f_k\left(c_i\right)}{h_r}\right)}{{\mathrm{\Σ}}_{i-1}^{N}G\left(\frac{f_k\left(c\right)-f_k\left(c_i\right)}{h_r}\right)}---\left(2\right)$

式中，f_k(c)表示第k次迭代时的像素，f_k(c_i)(i＝1,2,...,N)表示以f_k(c)为中心、h_s为半径的窗口内的像素，h_r表示空域带宽，G为核函数。对于图像中的每一个像素，滤波算法迭代计算f_k+1(c)，直到|f_k+1(c)-f_k(c)|＜ε。这时，f_k+1(c)即为该像素处的滤波值。采用均值移位滤波技术的另一个优势在于其可以使细胞核染色质更加平滑，从而能在一定程度上克服对染色不均匀的细胞核的分割的难题。

对于经均值移位滤波后的图像，本发明再采用5×5模板的中值滤波器以使轮廓更加平滑。

步骤113.排除背景。该步骤的目的是将图像划分为细胞和背景（无细胞区域）两部分，进而获取细胞区域。

虽然经光照矫正后的图像有较好的双峰分布，但使用传统阈值法仍然不能很好的实现细胞和背景的分离。为此，本发明结合K均值聚类和图割法，将图像划分为三类。第一类包含细胞核、细胞质暗区、炎症细胞、杂质等；第二类是细胞质的较亮区域；第三类为背景区域。具体步骤为：

（1）设定聚类总数为3，并以64、128、192为初始聚类中心；

（2）将每一个像素分配到距离最近的聚类中心形成聚类，然后以每一类的均值

作为该类的新的聚类中心；

（3）以新的聚类中心重复步骤（2）中的过程，反复迭代直到聚类收敛；

（4）根据聚类中心构造图割法的能量函数，如下式：

$E_P\left(f\right)=\underset{\{p,q\}\∈N}{\mathrm{\Σ}}{\mathrm{\ω}}_{\{p,q\}}\·T(f_p\≠f_q)+\underset{p\∈P}{\mathrm{\Σ}}{D}_p\left(f_p\right)---\left(3\right)$

式中，f表示像素标签，T(·)在括号内条件满足时为1，反之为0，等式右边第一项是像素连续性项，由图网络中相邻像素间的连接能量n-link决定，赋值为：

${\mathrm{\ω}}_{\{p,q\}}=\mathrm{\ω}(I_p-I_q)=\left\{\begin{array}{cc}2K& \mathrm{if}|I_p-I_q|\≤5\\ K& \mathrm{if}|I_p-I_q|>5\end{array}\right.---\left(4\right)$

式中，K是Potts模型参数，I_p和I_q代表两相邻像素的灰度值；第二项是数据项，由图网络中的各像素与各终端（聚类中心）的连接能量t-link决定，赋值为各像素值与各终端的差异；

（5）采用由西门子研究院的Boykov等人提出的α扩展算法和最大流最小割算法优化公式（3）给出的能量函数，得到一个全局最优的像素类别标签f，从而完成对各像素类别的重新划分。

此分割方法中K均值聚类首先利用图像全局信息进行粗分割，图割算法再利用图像局部信息对粗分割结果进行优化，从而相比于传统阈值法或单独使用K均值聚类能得到更加精确的分割结果。这里，把图像分为3类比2类更加可靠，因为细胞质会由于互相重叠而造成亮度偏低，如果只分2类，就可能导致部分不重叠的细胞质被划分到背景类中。

为评价本发明提出的细胞分割方法，采用一种基于重叠面积的评价准则：将分割后的图像转化为黑白图像，其中白色像素表示细胞区域，用A表示自动分割出的黑白图像，用B表示手工分割出的模板图像，则细胞分割精度可通过下式计算：

$\mathrm{Acc}=\frac{A\∩B}{A\∪B}---\left(5\right)$

选用34例宫颈液基细胞涂片来评价此方法，其中16例为经活检验证为阳性的样本，18例为阴性样本。在20倍物镜下对每例样本采集20幅图像（采集阳性样本中的图像时，尽可能采集含有阳性细胞的视野）组成一个含680幅图像的库。邀请一位病理学专家对库中的细胞质及细胞核进行手工分割。实验结果显示，本发明提出的细胞分割方法的精度为92.7%。

细胞核分割步骤包括：中心检测、形状估计、形状修正。

针对传统单个细胞核及粘连细胞核分割技术的不足，本发明提出了一种分三步的、不受细胞核是否粘连影响的细胞核分割方法，包括：细胞核中心检测、形状估计、形状修正。

步骤121.中心检测。该步骤的目的是在细胞区域内检测细胞核可能出现的位置。

本发明采用一种新近的局部滤波技术来检测细胞核的中心：滑动带滤波器（SBF）。SBF要求待检测目标满足两个条件：形状总体上是凸的、大小位于一定范围内，这符合宫颈细胞核的特点。SBF的优势在于对低对比度且含噪声的图像有良好性能，其已成功应用到植物细胞、癌细胞、果蝇细胞的检测中。SBF定义了一个能在感兴趣像素点周围一定范围内滑动的有固定带宽的带，进而最大化该像素点的收敛指数（convergence index）。相比同类局部滤波技术，SBF滤波器能在更大范围内检测细胞核的形状，并且不受细胞核内噪声的影响，其定义为：

$\mathrm{SBF}(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\underset{R_{\min }\≤r\≤R_{\max }}{\max }\left(\frac{1}{d+1}\underset{m=r-(d-2)}{\overset{r+(d/2)}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{i,m}\right)\right)---\left(6\right)$

${\mathrm{\θ}}_i=\frac{2\mathrm{\π}}{N}(i-1)$

式中，N是从感兴趣像素点(x,y)引出的射线数量，d表示带宽，r表示射线上带的位置，cosθ_i，m是当前射线方向θ_i与点(θ_i,m)的梯度方向夹角的余弦值。

根据公式（6）即可计算每一个像素点的梯度收敛值。本发明仅计算细胞区域内的SBF值，并且跳过那些没有梯度信息的区域。这样可在加快计算速度的同时减少可能产生的假阳性检测结果。从SBF滤波响应图中，取大于给定阈值的局部极大响应的位置作为细胞核中心。这里，用非最大抑制滤波来获取局部极大。

步骤122.形状估计。该步骤的目的是在各细胞核中心附近估计出细胞核边界的大致形状。

根据中心检测得到的细胞核中心，本发明在其周围各方向上搜索能使响应最大化的滑动带的位置。这些位置就是细胞核边界的大致位置，用S_b＝{(x_b(θ_i)),(y_b(θ_i)),i＝1...N}表示，由下式计算得到：

x_b(θ_i)＝x+r_max(θ_i)×cos(θ_i)

y_b(θ_i)＝y+r_max(θ_i)×sin(θ_i)            （7）

$r_{\max }\left({\mathrm{\θ}}_i\right)=\arg \max \left(\frac{1}{d+1}\underset{m=r-(d-2)}{\overset{r+(d/2)}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{i,m}\right)$

R_min＜r＜R_max

式中，r_max(θ_i)为θ_i方向上最大响应带的径长，(x,y)是细胞核中心坐标。本发明中，射线数量N设置为36。R_min和R_max的设定与细胞核大小有关，根据20倍物镜下宫颈细胞的尺寸，本发明分别设置为10和60。

步骤123.形状修正。该步骤的目的是得到更精确的细胞核区域的边界。

基于SBF的细胞核形状估计虽然利用了细胞核形状是凸的这一先验，但估计出的细胞核边界常常起伏不平。真实的宫颈细胞核应该是类椭圆形的。为获取更加精确圆滑的细胞核形状，活动轮廓模型是一个较好的选择。使用活动轮廓模型的另一个好处是容易将形状先验加入到模型中。与大多数宫颈细胞核修正算法采用参数活动轮廓模型不同，本发明采用了一种效率较高的几何活动轮廓模型：由美国康涅狄格斯托斯大学的Li等人提出的无需重新初始化的水平集演化（DRLSE）算法。DRLSE能避免产生尖刺或者交叉边界，其定义了如下的能量函数：

E(φ)＝μE_int(φ)+E_ext(φ)             （8）

式中，μ＞0为权值。E_int是内能项，用于对水平集函数偏离符号距离函数进行惩罚，定义为：

$E_{\mathrm{int}}\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\frac{1}{2}{\left(\right|\▿\mathrm{\φ}|-1)}^2\mathrm{dxdy}---\left(9\right)$

E_ext是外能项，用于引导零水平集向着目标边界演化，定义为：

$E_{\mathrm{ext}}\left(\mathrm{\φ}\right)=\mathrm{\λ}{\∫}_{\mathrm{\Ω}}\mathrm{g\δ}\left(\mathrm{\φ}\right)|\▿\mathrm{\φ}|\mathrm{dxdy}+\mathrm{\υ}{\∫}_{\mathrm{\Ω}}\mathrm{gH}(-\mathrm{\φ})\mathrm{dxdy}---\left(10\right)$

式中，λ＞0和υ是常量，δ是单变量迪拉克（Dirac）函数，H是海维赛德（Heaviside）函数。g是图像I的边界指示函数，本发明根据宫颈细胞核的形状特点，将g的定义由图像梯度形式改为如下的梯度收敛形式：

$g=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{d+1}\underset{m=r_{\max }\left({\mathrm{\θ}}_i\right)-(d-2)}{\overset{r_{\max }\left({\mathrm{\θ}}_i\right)+(d/2)}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{i,m}\right)---\left(11\right)$

从而保证曲线在演化过程中的紧致度。

求解曲线的演化即是最小化公式（7）中的能量函数，采用Li等人推导的梯度流公式计算。对于初始轮廓的设定，考虑到有的粘连细胞核之间连接处的梯度可能并不明显，若将初始轮廓设置在细胞核内部使轮廓向外演化，则轮廓很可能跨过粘连区域，进入到其他细胞核内。故在调用DRLSE算法前，本发明先将步骤122估计得到的细胞核轮廓以质心为中心向外扩张n个像素。n的值由细胞核大小决定，若估计轮廓较大，则n＝5，反之n＝2。DRLSE参数设置为：μ＝0.04，λ＝5，υ＝1.5。由于DRLSE对噪声较敏感，故其演化过程在步骤112得到的滤波增强图像上进行。

为评价本发明提出的细胞核分割方法，采用查全率（recall）和查准率（precision）进行定量评价。当某自动分割出的细胞核和对应的手工分割出的细胞核的重叠量超过0.6，则认为细胞核分割正确（用TP表示），否则认为漏掉（用FN表示）；当某自动分割出的物体的对应位置没有手工分割出的细胞核，则认为是假阳性分割（用FP表示）。查全率和查准率计算如下：

$\mathrm{recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$ （12）

$\mathrm{precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$

实验于步骤113中所述的34例宫颈液基细胞涂片的结果显示，本发明提出的细胞核分割方法的查全率是84.6%，查准率是93.3%。

本发明提出的方法中，分别设计了基于Lab彩色空间和顶帽变换的光照矫正方法，能减轻光照变化对宫颈液基细胞图像的影响；K均值聚类引导的图割法，可靠地排除背景区域进而分割出细胞区域；基于滑动带滤波技术引导的水平集活动轮廓模型，精确地分割单个细胞核及粘连细胞核。本发明的技术面向更大视野范围内的宫颈细胞及细胞群，能克服一定程度的光照变化、染色不均匀及噪声影响，能可靠而精确地同时实现对细胞质、单个细胞核及粘连核的分割。

Claims (9)

1.一种宫颈液基细胞图像分割方法，其特征在于包括下列步骤：

步骤1. 细胞分割，首先对图像进行光照矫正，然后滤除噪声并增强细胞边界，再将图像分为细胞质、细胞核、背景三类以排除背景类区域；

步骤2. 细胞核分割，在细胞区域内检测各细胞核的中心，在中心附近估计细胞核大致形状，并修正得到精确边界。

2.如权利要求1所述的方法，其特征在于，步骤1中，所述光照矫正的步骤为：首先将原始彩色图像从RGB彩色空间转换到Lab彩色空间，提取其中的L通道图像，对该图像进行顶帽变换得到光照均匀的图像。

3.如权利要求1所述的方法，其特征在于，步骤1中，所述滤除噪声并增强细胞边界的步骤为：采用均值移位（mean shift）滤波和中值滤波处理光照矫正后的图像。

4.如权利要求1所述的方法，其特征在于，步骤1中，将图像分为细胞质、细胞核、背景三类的步骤为：将滤波后的图像用K均值聚类算法分为三类，从而引导图割（graph cuts）算法得到分割结果，最后排除背景类区域，剩下区域即为细胞区域。

5.如权利要求4所述的方法，其特征在于，所述引导图割算法的步骤为：根据聚类中心构造三终端图网络，将网络中各像素值与各终端的差异赋给图割法能量函数中的数据项，将由Potts模型参数定义的相邻像素间的连接能量赋给图割法能量函数中的像素连续性项，进而用扩展算法和最大流最小割算法优化能量函数，得到全局最优的像素类别标签。

6.如权利要求1所述的方法，其特征在于，步骤2中，检测各细胞核的中心的步骤为：求细胞区域内各像素的滑动带滤波（sliding band filter，SBF）响应，以大于给定阈值的局部极大响应的位置为细胞核中心。

7.如权利要求1所述的方法，其特征在于，步骤2中，估计细胞核大致形状的步骤为：对每一个细胞核，在其SBF滑动带中搜索各方向上最大响应的位置，连接这些位置即得到细胞核大致形状。

8.如权利要求1所述的方法，其特征在于，步骤2中，修正得到精确边界的步骤为：以细胞核大致形状为初始轮廓进行水平集（level set）演化，得到更精确的细胞核边界/区域。

9.如权利要求8所述的方法，其特征在于，所述的水平集演化的步骤为：将水平集能量函数外能项中的边缘指示函数定义为梯度收敛形式，并将细胞核大致形状向外扩张一定大小作为水平集演化的初始轮廓，水平集演化过程在滤波增强后的图像上进行。

Images