CN108615239B - 基于阈值技术和灰度投影的舌图像分割方法 - Google Patents

Abstract

本发明提供一种基于阈值技术和灰度投影的舌图像分割方法，其包括以下步骤：步骤S1：对获取的舌图像在HSI颜色空间中的色调分量进行变换，使得变换后舌体和上嘴唇的色调分量与其近邻组织间存在色调差异；步骤S2：将图像阈值分割技术运用在变换后的色调分量上获得二值化分割结果，对该结果执行形态学运算后提取出包含真实舌体和上嘴唇的初始舌体区域；步骤S3：运用灰度投影技术寻找舌根上边界对应的图像行，借助其剔除上嘴唇、舌根与上嘴唇之间间隙等虚假的舌体区域，修正舌体区域，将其边界作为初始的舌体轮廓；步骤S4：运用主动轮廓模型对舌体轮廓进行光滑化处理，从而得到舌图像的最终分割结果。本发明显著地改善了舌图像分割的效果。

Description

基于阈值技术和灰度投影的舌图像分割方法

技术领域

本发明属于图像处理领域，具体涉及一种基于阈值技术和灰度投影的舌图像分割方法。

背景技术

舌诊是传统中医“望诊”的主要内容之一，是具有中医特色的传统诊断方法之一。舌象是反映人体生理功能和病理变化最敏感的指标，在中医诊疗过程中具有重要的应用价值。应用图像处理技术，建立舌诊信息的客观量化、识别方法，实现中医舌诊的自动化，对中医现代化具有重要的现实意义。自动化舌诊系统中，病人的舌图像经过数字采集仪器(工业相机、摄像头等)获取后，必须首先对目标区域(舌体)进行自动的分割，然后才能根据舌体特征进行诊断与分析。因此，舌图像分割成了连接舌图像采集和舌体诊断的重要纽带，分割质量将直接影响到后续诊断的准确性。

舌图像分割的难点在于：(1)舌体的颜色与脸部的颜色特别是嘴唇的颜色很接近，容易混淆；(2)舌体作为一个软体，没有固定的形状，舌体形状的个体差异性大；(3)舌体不平滑，舌苔舌质因人而异，病理特征差异较大；(4)舌体的裂纹、舌苔色块可能影响舌体的准确分割。

鉴于舌图像分割的困难和挑战，单一的图像分割技术往往难以获得满意的分割效果。因此，人们开始研究多种分割技术的融合。在多种分割技术融合的框架下，国际主流的舌图像分割方法是基于主动轮廓模型(ACM,Active Contour Model)的方法。ACM又称为Snake模型，是一种流行的可变形状模型，广泛应用于轮廓提取中。给定一个初始轮廓曲线，主动轮廓模型在内外力的共同作用下将初始轮廓曲线朝真实目标轮廓处演化。基于ACM的分割方法主要研究点在初始轮廓的获取和曲线演化上。比如，Pang等提出一种双椭圆形变轮廓模型方法BEDC^[1]，其结合了双椭圆形变模板(BEDT)和主动轮廓模型。BEDC首先定义了一种称为BEDT的形变模板作为舌体的一种粗略描述，然后通过最小化BEDT能量函数来获得初始的舌体轮廓，最后利用模板能量代替传统内能量的主动轮廓模型来演化初始轮廓，进而获得最终的分割结果。Zhang等^[2]提出了一种融合极坐标边缘检测和主动轮廓模型的方法。此方法先对原始图像进行极坐标转化，利用边缘检测算子获得极坐标边缘图像，同时从舌图像中提取边缘模板；然后，利用边缘模板过滤掉舌体内部纹理造成的虚假舌体边缘；接着，利用图像二值化技术结合形态学滤波进一步剔除舌体以外的虚假舌体边缘(比如，脸部褶皱引起的边缘)；最后，将边缘检测结果作为初始的舌体轮廓，运用主动轮廓模型方法对初始轮廓进行演化，进而获得最终的分割结果。此方法对舌体与近邻部分(嘴唇和脸部)颜色近似造成的弱轮廓提取效果欠佳，而且在舌体与嘴唇的空隙处以及舌尖部分容易发生误分割。Ning等^[3]提出了一种融合梯度向量流(GVF,Gradient Vector Flow)、区域合并技术(RM,Region Merging)和主动轮廓模型的方法，简称为GVFRM。此方法先将传统的梯度向量流改造为标量扩散方程对舌图像进行扩散以期达到平滑图像，保留舌体轮廓结构的预处理目的；然后，利用分水岭算法将预处理过的舌图像分割成许多小区域；接着，运用基于最大相似性的区域合并算法结合目标、背景标记将小区域合并成大区域，从而形成初始的舌体轮廓；最后，利用主动轮廓模型对初始轮廓进行演化，得到最终的分割结果。当舌体靠近图像的边界时，错误的目标、背景标记容易造成错误的区域合并结果，从而导致误分割。此方法在舌体与嘴唇的间隙处以及颜色近似性造成的弱边缘处分割效果欠佳。

Shi等主要提出两种基于主动轮廓模型的舌图像分割方法，分别简称为C2G2F[4]和DGF[5]。C2G2F方法首先检测舌尖点、舌根点和左右舌体三角点共4个特征点，利用4个特征点结合舌体形状先验构成初始的舌体轮廓；然后将初始舌体轮廓分成上半部分轮廓和下半部分轮廓；接着用参数化GVF主动轮廓模型和测地线主动轮廓模型分别演化上半部分和下半部分初始轮廓；最后把演化后的上半部分和下半部分初始轮廓合并成最终的舌体轮廓。不幸的是，这种方法容易检测到不理想的特征点，甚至未能检测到部分特征点。在C2G2F方法基础上，Shi等人提出了一种改进的方法即DGF[5]。DGF方法首先利用显著目标检测算子来粗略地定位舌体所在的图像窗口；然后利用C2G2F方法思路在图像窗口内检测四个特征点，获取包含上半部分轮廓和下半部分轮廓的初始舌体轮廓；接着利用测地线主动轮廓模型和测地线-梯度向量流主动轮廓模型来分别演化上半部分初始轮廓和下半部分初始轮廓；最后合并上半部分初始轮廓和下半部分初始轮廓作为最终的舌体轮廓。DGF方法未能完全克服C2G2F方法的局限性，分割准确性和稳定性都有待提升。

综上所述，现有的舌图像分割方法均存在一定的局限性，分割效果有待进一步提升。

[1]Pang B,Zhang D,Wang K.The Bi-elliptical deformable contour and itsapplication to automated tongue segmentation in Chinese medicine[J].IEEETransactions on Medical Imaging,2005,24(8):946～956.

[2]Zhang H,Zuo W,Wang K,Zhang D.A snake-based approach to automatedsegmentation of tongue image using polar edge detector[J].InternationalJournal of Imaging Systems and Technology,2006,16(4):103～112.

[3]Ning J,Zhang D,Wu C,Yue F.Automatic tongue image segmentationbased on gradient vector flow and region merging[J].Neural Computing andApplications,2012,21(8):1819～1826.

[4]Shi M,Li G,Li F.C2G2FSnake:automatic tongue image segmentationutilizing prior knowledge[J].Science China:Information Sciences,2013,56(9):1–14.

[5]Shi M,Li G,Li F,Xu C.Computerized tongue image segmentation viathe double geo-vector flow[J].Chinese Medicine,2014,9(1):7-16.

发明内容

为了提高分割精度，本发明提供一种基于阈值技术和灰度投影的舌图像分割方法。

本发明采用以下技术方案实现：一种基于阈值技术和灰度投影的舌图像分割方法，其包括以下步骤：步骤S1：对获取的舌图像在HSI颜色空间中的色调Hue分量进行变换，使得变换后舌体和上嘴唇的色调分量与其近邻组织间存在色调差异；步骤S2：将图像阈值分割技术运用在变换后的色调分量上获得二值化分割结果，对二值化分割结果执行形态学运算后提取出包含真实舌体和上嘴唇的初始舌体区域；步骤S3：运用灰度投影技术寻找舌根上边界对应的图像行，借助其剔除上嘴唇、舌根与上嘴唇之间间隙等虚假的舌体区域，修正舌体区域，将其边界作为初始的舌体轮廓；步骤S4：运用主动轮廓模型对舌体轮廓进行光滑化处理，从而得到舌图像的最终分割结果。

在本发明一实施例中，步骤S1中颜色空间转换包括以下步骤：步骤S11：将一幅图像从RGB颜色空间转换到HSI颜色空间，即

其中，

在公式(1)-(4)中，R、G和B分别代表图像的红色、绿色和蓝色分量；H、S、I分别代表图像的色调、饱和度和亮度；步骤S12：对HSI颜色空间中一幅图像的色调分量执行如下变换：

H′(i,j)＝max{H(i,j),H_max-H(i,j)} (5)

其中，H_max表示图像所有像素点色调的最大值，(i,j)表示图像像素点坐标。

进一步的，图像阈值分割：在变换后的色调分量上执行如下的图像阈值分割，得到该图像的二值化结果，

其中，

T＝V_H′(αN). (7)在公式(7)中，V_H’表示降序排序后的向量H'，N表示H'中元素的总个数，α则是一个控制图像中目标像素点比例的参数。

较佳的，α设置为0.3。

在本发明一实施例中，步骤S2初始舌体区域的提取包括以下步骤：步骤S21：在图像二值化结果中搜索最大的目标区域，步骤S22：对最大目标区域进行膨胀、填充和腐蚀三种形态学操作后将其作为初始的舌体区域；膨胀和腐蚀操作采用圆盘状结构元；初始舌体区域对应的二值图像被记为

较佳的，膨胀和腐蚀操作采用半径为1的圆盘状结构元。

在本发明一实施例中，步骤S3包括以下步骤：步骤S31：确定舌根上边界；步骤S32：从图像二值化结果

中移除舌根上边界之上图像行的目标像素点，即将其重置为背景像素点；为避免此操作使得

中原本的单一目标区域变成两个或多个目标区域，需要选择最大目标区域作为修正后的舌体区域。

进一步的，步骤S31包括以下步骤：步骤S311：找出初始舌体区域提取结果中目标像素点的位置；步骤S312：将舌图像的红色分量作为灰度图像，计算每个包含目标像素点的图像行上目标像素点的平均灰度；步骤S313：将包含目标像素点的图像行中具有最低平均灰度值的行确定为舌根的上边界；如果有两个或多个具有相同最低平均灰度值的图像行存在，就将其中行数最大的图像行作为舌根上边界。

在本发明一实施例中，步骤S4中采用GVFRM算法中使用的主动轮廓模型来平滑初始的舌体轮廓。

与现有技术相比，本发明在HSI颜色空间舌图像特征的启发下，借助图像阈值分割、灰度投影和主动轮廓模型技术，提出一种简单而有效的舌图像分割方法，显著地改善了舌图像分割的效果。

附图说明

图1为本发明的主要流程示意图。

图2为本发明算法分步骤结果图。

图3为本发明算法在舌体区域修正过程中产生的中间结果：(a)原始舌图像，(b)提取的初始舌体区域，(c)含绿色舌根上边界指示线的舌图像，(d)修正后的舌体区域，(e)修正后的舌体轮廓。图4为舌体轮廓的平滑，其中：(a)原始舌图像，(b)初始舌体轮廓，(c)平滑后的舌体轮廓。

图5为四种算法在八幅典型的舌图像上分割结果比较。

图6为四种测度下四种分割算法所得分割结果平均分割精度的定量比较示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步解释说明。

参见图1，本发明提出一种基于阈值技术和灰度投影的舌图像分割方法，其包括以下步骤：步骤S1：对获取的舌图像在HSI颜色空间中的色调Hue分量进行变换，使得变换后舌体和上嘴唇的色调分量与其近邻组织间存在色调差异；步骤S2：将图像阈值分割技术运用在变换后的色调分量上获得二值化分割结果，对二值化分割结果执行形态学运算后提取出包含真实舌体和上嘴唇的初始舌体区域；步骤S3：运用灰度投影技术寻找舌根上边界对应的图像行，借助其剔除上嘴唇、舌根与上嘴唇之间间隙等虚假的舌体区域，修正舌体区域，将其边界作为初始的舌体轮廓；步骤S4：运用主动轮廓模型对舌体轮廓进行光滑化处理，从而得到舌图像的最终分割结果。

在本发明一实施例中，步骤S1中颜色空间转换包括以下步骤：步骤S11：将一幅图像从RGB颜色空间转换到HSI颜色空间，即

其中，

在公式(1)-(4)中，R、G和B分别代表图像的红色、绿色和蓝色分量；H、S、I分别代表图像的色调、饱和度和亮度；以图1(a)中的舌图像为例，由公式(1)计算所得的色调分量如图1(b)所示。从图1(b)可以看到，舌体和上嘴唇像素点通常比其周围的脸部像素点更暗或更亮，更亮的像素点拥有更大的色调值。由此，可以通过对高低色调像素点各设置一个色调阈值(参数)来提取包含真实舌体和上嘴唇区域的舌体初始区域。为了减少算法参数的个数，下一步将执行色调分量的变换。

步骤S12：对HSI颜色空间中一幅图像的色调分量执行如下变换：

H′(i,j)＝max{H(i,j),H_max-H(i,j)} (5)

其中，H_max表示图像所有像素点色调的最大值，(i,j)表示图像像素点坐标。

进一步的，图像阈值分割：在变换后的色调分量上执行如下的图像阈值分割，得到该图像的二值化结果，

其中，

T＝V_H′(αN). (7)

在公式(7)中，V_H’表示降序排序后的向量H'，N表示H'中元素的总个数，α则是一个控制图像中目标像素点比例的参数。图2(d)展示了在图2(c)所示的色调变换结果上执行阈值分割后所得的图像二值化结果。

在本发明一实施例中，步骤S2初始舌体区域的提取包括以下步骤：步骤S21：在图像二值化结果中搜索最大的目标区域，步骤S22：对最大目标区域进行膨胀、填充和腐蚀三种形态学操作后将其作为初始的舌体区域；初始舌体区域对应的二值图像被记为

由于舌体形状与圆盘相似，因此较佳的，膨胀和腐蚀操作采用半径为1的圆盘状结构元。图2(e)展示了所提取的初始舌体区域。半径为“1”的圆盘状结构元如下表所示。

表1

0	1	0
			1	1	1
0	1	0

如图2(e)所示，本发明算法提取初始舌体区域时，容易将上嘴唇、上嘴唇与舌根之间的间隙区域误分割为舌体区域。为了解决此问题，我们引入灰度投影技术来寻找舌根的上边界，并利用此界限去除上嘴唇和间隙区域。修正初始舌体区域的详细过程如下：

步骤S31：确定舌根上边界。进一步的，步骤S31包括以下步骤：步骤S311：找出初始舌体区域提取结果中目标像素点的位置；步骤S312：将舌图像的红色分量作为灰度图像，计算每个包含目标像素点的图像行上目标像素点的平均灰度；步骤S313：将包含目标像素点的图像行中具有最低平均灰度值的行确定为舌根的上边界；如果有两个或多个具有相同最低平均灰度值的图像行存在，就将其中行数最大的图像行作为舌根上边界。以图2中使用的舌图像为例，图3(a)和图3(b)显示了原始舌图像和本文算法提取的初始舌体区域。图3(c)在原始舌图像上用绿线展示了舌根上边界的位置。从图3(c)可以看出，本发明算法确定的舌根上边界非常接近真正舌体根部的顶端。

步骤S32：从图像二值化结果

中移除舌根上边界之上图像行的目标像素点，即将其重置为背景像素点；为避免此操作使得

中原本的单一目标区域变成两个或多个目标区域，需要选择最大目标区域作为修正后的舌体区域。图3(d)和图3(e)展示了修正后的舌体区域及其对应的轮廓。从图3(e)可以看出，舌体区域被有效地修正了。

上述舌体区域修正步骤的基本原理是：舌根和上嘴唇之间的间隙区域通常比舌体和上唇暗。因此，靠近舌根的过渡性目标像素比其他目标像素更暗。因此，在包含目标像素点的图像行中，具有最低平均灰度值的图像行可以视为舌根的上边界。

修正完初始舌体区域后，本发明用主动轮廓模型对初始的舌体轮廓进行平滑。较佳的，采用GVFRM算法中使用的主动轮廓模型来平滑初始的舌体轮廓。为了验证主动轮廓模型在轮廓平滑上的有效性，图4展示了初始舌体轮廓和平滑后的舌体轮廓。显然，平滑后的舌体轮廓比初始舌体轮廓更光滑。

为了评价舌图像分割算法的准确性，我们在一个由100幅舌图像组成的图像库上进行了实验。图像库中每幅图像的大小为110×130，每幅图像的手动理想分割结果由医院的专家给出。本发明算法首先与目前流行的三种舌图像分割方法进行了定性比较，即与GVFRM[3]，C2G2F[4]，DGF[5]在8幅有代表性的舌图像上进行分割性能的定性比较。然后，通过四个常见的分类测度，即错分类误差(misclassification error,ME)、假正率/虚警率(false positive rate,FPR)、假负率(false negative rate,FNR)以及kappa指数(kappaindex,KI)，对算法在整个图像库上的分割精度进行定量的比较。

其中，B_m和F_m分别代表手动标准分割结果的背景和目标，B_a和F_a分别代表自动分割算法所得分割结果中的背景和目标，|·|代表集合中元素的个数。四个测度的取值范围均为0～1。越低的ME、FPR和FNR值代表越好的分割效果，越高的KI值代表越好的分割效果。

实验中，本发明算法的参数α和r被分别设置为0.3和1。对于GVFRM，我们测试了几种迭代次数下基于梯度向量流的图像扩散对GVFRM算法分割性能的影响，选择具有最优迭代次数的分割结果(对应于整个舌像库最高平均KI值)作为GVFRM算法的最终分割结果。GVFRM算法[3]的其它参数参考其原文献。C2G2F[4]和DGF[5]算法的参数也参照它们各自的原文献。所有实验均在一台CPU为1.7G Intel Core i5-3317U、内存4G的笔记本电脑上进行。

1定性评价结果

为了定性地评价不同方法的分割效果，图5展示了8幅代表性舌图像的分割结果。从图中可以看到，4种方法中，GVFRM只在图5(d)所示的第4幅图像上取得了满意的分割效果，在其它几幅图像上产生了误分割。具体来说，GVFRM在图5(a)-(b)、(e)-(f)和(h)上产生了欠分割，在图5(a)～(e)和(g)上产生了过分割。相似地，C2G2F和DGF在大部分图像上产生了误分割。比如，C2G2F在图5(a)-(b)和(g)上产生了欠分割，在图5(a)～(h)上产生了过分割。DGF在图5(a)和(g)上产生了欠分割，在图5(a)～(h)上产生了过分割。相对于C2G2F而言，DGF减轻了过分割的程度。与上述三种方法相比，本发明算法在8幅代表性舌图像上均获得了更准确的分割结果。本发明算法提取的舌体轮廓与真实舌体轮廓非常接近。实验结果证实本发明算法对舌体个性化差异较大的舌图像分割效果稳定。

2定量评价结果

GVFRM、C2G2F、DGF和本发明算法在整个图像库上分割性能的定量评价通过ME、FPR、FNR和KI四种测度实现。图6(a)-(d)分别展示了ME、FPR、FNR和KI测度的比较结果。此外，四种方法获得的ME平均值和标准偏差分别为0.079±0.042、0.141±0.049、0.098±0.044和0.052±0.026。四种方法获得的FPR平均值和标准偏差分别为0.088±0.060、0.150±0.061、0.081±0.050和0.054±0.032。四种方法获得的FNR平均值和标准偏差分别为0.052±0.083、0.111±0.079、0.133±0.091和0.043±0.056。这些定量测试结果表明，本发明算法具有更低的错分割率和更强的稳定性。对于KI测度，四种方法所得分割结果对应的KI均值和标准偏差分别为0.869±0.067、0.777±0.083、0.826±0.080和0.906±0.047。KI测度的测试结果再次证明了本发明算法对分割精度的改善。

3参数选择

本发明算法有两个参数，即α和r。参数α控制舌图像中目标像素的比例，用于从变换后的舌图像色调分量中提取初始舌体区域。参数r用在提取初始舌体区域的最后一步中。我们研究了α和r对本发明算法在整个舌图像库上分割精度的影响，其中，α和r分别取自集合{0.1,0.2,0.3,0.4,0.5}和{1,2,3,4,5}。不同参数组合下舌像库的平均ME和KI值分别列在表2和表3中。ME值越低表示分割效果越好，而KI值越高表示分割效果越好。两张表格的数据表明，在每种参数r下，分割准确率随着参数α的增加先上升然后下降。每种参数r下，最低ME值和最高KI值对应的最佳分割效果取自α＝0.3时。当α＝0.3时，两张表格的数据均表明，随着r的增加分割精度在下降。当α＝0.3和r＝1时，本发明算法获得最低ME值和最高KI值。因此，实验中，我们设置参数α和r分别为0.3和1。

表2各种参数组合下本发明算法分割结果的平均ME值

表3各种参数组合下本发明算法分割结果的平均KI值

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于阈值技术和灰度投影的舌图像分割方法，其特征在于：包括以下步骤：

步骤S1：对获取的舌图像在HSI颜色空间中的色调Hue分量进行变换，使得变换后舌体和上嘴唇的色调分量与其近邻组织间存在色调差异；

步骤S2：将图像阈值分割技术运用在变换后的色调分量上获得二值化分割结果，对二值化分割结果执行形态学运算后提取出包含真实舌体和上嘴唇的初始舌体区域；

步骤S3：运用灰度投影技术寻找舌根上边界对应的图像行，借助其剔除虚假的舌体区域，修正舌体区域，将其边界作为初始的舌体轮廓；

步骤S4：运用主动轮廓模型对舌体轮廓进行光滑化处理，从而得到舌图像的最终分割结果；

步骤S3包括以下步骤：

步骤S31：确定舌根上边界；

步骤S32：从图像二值化结果

中移除舌根上边界之上图像行的目标像素点，即将其重置为背景像素点；为避免此操作使得

中原本的单一目标区域变成两个或多个目标区域，需要选择最大目标区域作为修正后的舌体区域；

步骤S31包括以下步骤：

步骤S311：找出初始舌体区域提取结果中目标像素点的位置；

步骤S312：将舌图像的红色分量作为灰度图像，计算每个包含目标像素点的图像行上目标像素点的平均灰度；

步骤S313：将包含目标像素点的图像行中具有最低平均灰度值的行确定为舌根的上边界；如果有两个或多个具有相同最低平均灰度值的图像行存在，就将其中行数最大的图像行作为舌根上边界。

2.根据权利要求1所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：步骤S1中颜色空间转换包括以下步骤：

步骤S11：将一幅图像从RGB颜色空间转换到HSI颜色空间，即

其中，

在公式(1)-(4)中，R、G和B分别代表图像的红色、绿色和蓝色分量；H、S、I分别代表图像的色调、饱和度和亮度；

步骤S12：对HSI颜色空间中一幅图像的色调分量执行如下变换：

H′(i，j)＝max{H(i，j)，H_max-H(i，j)} (5)

其中，H_max表示图像所有像素点色调的最大值，(i，j)表示图像像素点坐标。

3.根据权利要求2所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：

图像阈值分割：在变换后的色调分量上执行如下的图像阈值分割，得到该图像的二值化结果，

其中，

T＝V_H′(αN). (7)

在公式(7)中，V_H′表示降序排序后的向量H′，N表示H′中元素的总个数，α则是一个控制图像中目标像素点比例的参数。

4.根据权利要求3所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：α设置为0.3。

5.根据权利要求1所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：步骤S2初始舌体区域的提取包括以下步骤：

步骤S21：在图像二值化结果中搜索最大的目标区域，

步骤S22：对最大目标区域进行膨胀、填充和腐蚀三种形态学操作后将其作为初始的舌体区域；膨胀和腐蚀操作采用圆盘状结构元；初始舌体区域对应的二值图像被记为

6.根据权利要求5所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：膨胀和腐蚀操作采用半径r为1的圆盘状结构元。

7.根据权利要求1所述的基于阈值技术和灰度投影的舌图像分割方法，其特征在于：步骤S4中采用GVFRM算法中使用的主动轮廓模型来平滑初始的舌体轮廓。

Images