CN103745217A - 基于图像检索的中医舌色苔色自动分析方法 - Google Patents

Abstract

基于图像检索的中医舌色苔色自动分析方法，属于信息科学与传统中医学的交叉学科领域。本发明鉴于中医舌诊结果因人而异、主观性强，缺乏规范化和标准化的特点，设计了一种基于图像检索的中医舌色苔色自动分析方法。该发明的特征在于：用户输入待分析的舌图像，首先通过舌体分割技术对舌体区域进行分割，再将舌面进行区域划分，区分舌质区域和舌苔区域，在各区域内分别图像的视觉特征，构成特征向量，然后计算该特征向量与特征库中已标注舌图像的舌象特征的相似度，返回最相似的图像作为检索结果，最后使用统计决策的方法对检索结果进行判决，分别给出该舌象的舌色和苔色分类建议。本发明的分类结果较为准确，具有一定的实用价值。

Description

基于图像检索的中医舌色苔色自动分析方法

技术领域

本发明属于信息科学与传统中医学的交叉学科领域。以中医舌象为研究对象，结合中医专家的诊疗经验，利用基于内容的图像检索技术，重点分析舌象的颜色、纹理以及形状等视觉信息，分别提取相应的内容特征，形成描述舌象内容的特征向量进行检索。然后依据待分析舌图像与检索结果的相似性，利用统计决策方法对检索结果进行统计判决，来判断舌色、苔色属于哪一种类别，实现中医舌色苔色的自动分析。本发明将为中医舌色苔色的自动分析提供一种全新的手段和方法。

背景技术

舌诊是中医四诊中望诊的重要内容。长期以来，舌诊主要是通过医生的目测观察、经验来判断病证。与西医相比，中医以肉眼进行观察，缺乏定量化的度量与分析手段。受到医生知识水平和经验的限制，中医的诊断结果因人而异，主观性强，难以统一，可重复性差，直接影响了辩证施治的规范化和标准化，已经成为制约中医诊疗水平的提高和学术传承发展的关键问题。因此，对中医舌诊的客观化、定量化、标准化所进行的研究，对于中医辩证规范化及中医舌诊临床、教学、科研手段的现代化，具有重要的理论价值和实际意义。

舌诊是通过观察舌象的变化来了解机体的生理功能和病理变化。舌象包括舌质和舌苔的各种表现，舌苔和舌质的异常变化则构成病理舌象，是中医医生诊断的重要依据。舌苔是舌面上附着的一层苔状物；舌质，则是舌的肌肉脉络组织。舌诊时，医生着重观察患者舌质和舌苔两方面的变化，具体包括舌质的颜色、舌苔的颜色、舌苔的厚度、湿度、质地以及舌形、舌态等，这些统称作舌象特征。人体的正常舌象为淡红舌、薄白苔，即舌质淡红而鲜明润泽，柔软灵活，运动自如，胖瘦老嫩大小适中，无异常形态；舌苔薄白，颗粒均匀，干湿适中，不粘不腻，其下有根。

在现有的各种舌诊客观化的研究工作中，主流的方法是基于图像分析的方法。该方法是在一定的光照条件下，采集受试者的彩色舌图像，数字化后输入计算机，利用图象分析技术，对舌象特征进行自动分析，并将结果储存在计算机中。这种方法能够比较全面地反映舌象的情况，符合中医舌诊的习惯，便于舌诊资料的收集与保存，具有较好的实用价值。它还能够充分利用计算机的资源，实现舌图象的显示、处理、分析、存储、管理等，具有很大的灵活性。

另一方面，图象分析技术的应用非常广泛，一直是信息处理领域的研究热点，已形成了很多实用性的研究成果。因此，采用图象分析进行舌诊客观化的研究，能够集成最先进的信息处理技术，借鉴该领域的最新研究成果，具有较好的先进性和可行性。

发明内容

本发明将基于内容的图像检索技术以及统计决策方法引入到中医舌象的舌色和苔色的自动分析中，设计了一种新的中医舌象客观化分析方法，为中医大夫提供一种客观化的临床诊断辅助手段，为缺乏经验的年轻中医医生的诊断提供借鉴和参考。

用户输入待分析的舌图像，首先通过手动或自动的舌体分割技术对舌体区域进行分割，再根据中医舌诊的习惯将舌面进行区域划分，区分舌质区域和舌苔区域，在各区域内分别提取颜色、纹理等图像的视觉特征，构成特征向量，然后计算该特征向量与特征库中已标注舌图像的舌象特征的相似度，并按相似度大小返回最相似的图像作为检索结果。最后使用统计决策的方法对检索结果进行判决，给出该舌象的舌色和苔色分类建议。

本发明的流程如附图1所示。首先，建立中医舌象数据库，由中医专家对其中的所有舌象样本进行标注，确定每个舌象样本中舌色、苔色区域的分类结果。对每个样本分割出舌质区域和舌苔区域，并分别对每个区域提取特征，如颜色矩及颜色直方图等，建立舌质特征库和舌苔特征库。

接下来，对于待分析的舌图像，以相同的方法和步骤提取其舌色特征向量与苔色特征向量，分别将其舌色特征向量和苔色特征向量与舌象特征库中对应的每个特征向量计算相似度，将相似度进行排序，将最相似的10个舌色图像和10个苔色图像作为检索结果。

最后，依据待分析舌图像与检索结果的相似性，利用统计决策方法进行判决，并给出分类结果，即分别给出舌色和苔色所属的分类。

下面详细介绍每个部分的具体内容。

1、舌色苔色区域的划分

采集到的数字化舌图像中包括舌体区以及面部等背景区。为了对舌色苔色进行准确的分析处理，需要准确划分舌图像中的舌色区域和苔色区域。本发明将采用以下步骤进行划分：

（1）舌体分割

在分析舌象特征之前，需首先将舌体区分割出来。分割的效果将直接影响舌象特征分析的准确性，本发明采用基于Snakes模型的舌体区域分割技术对采集到的舌图像进行舌体分割，以避免采集的舌图像中其他背景区域对分析准确性的影响。图2所示的是舌体分割效果图。

（2）舌面区域划分

在完成舌体区域的分割后，为了更准确的提取舌质和舌苔的特征，必须要进一步确定舌质和舌苔的所在区域。为此，本发明根据中医专家的舌诊习惯将舌面划分为5个区域，分别为：舌根、舌中、舌尖、舌左侧和舌右侧5个区域。划分方法是以舌尖至人字形界沟中点划分为5等分，前1/5称为舌尖，中2/5称为舌中，后2/5称为舌根。另外分别在舌中线与舌边的中点画一线，线外部分称为舌侧，如图3所示。根据舌质和舌苔分布区域的不同，中医常常通过观察舌两侧和舌尖来判断患者舌质的颜色，而在舌中和舌根处观察舌苔的颜色。

（3）苔质分离

对于一些舌苔面积很大的或不规则的舌象来说，其舌两侧和舌尖的部分区域也覆盖着一些舌苔，本发明在完成舌面区域的5区划分后，又进一步进行了舌质区的苔质分离。由于已经将舌质区域定位在舌两侧和舌尖这三个区域之内，所以在本发明中设计了一种苔质分离方法。具体步骤如图4所示，可分为以下几步：

1）将舌体分割后的舌象从RGB颜色空间转换到HSV颜色空间，选取S分量构成S图，并对S图做直方图均衡，根据以下公式将直方图均衡后的S图像素值的取值范围化为[0,255]：

$s^{\′}=(s-\min )*\frac{255}{\max -\min }---\left(1\right)$

其中，s为直方图均衡后的S图中某像素点的像素值，s’为经过该变换后该像素点的像素值，max和min分别为当前S图中的最大值和和最小值；

2）对步骤1）中得到的变换取值范围后的S图的像素值取反

s”=255-s'；   （2）

其中，s’为经过步骤1）后某点的像素值，s”为取反后该点的像素值大小。

3）利用K均值聚类操作将步骤2）中得到的取反后的S图中像素值聚成4类，并将其中像素值最高的两类像素点合并为一类，最终共得到3类聚类结果，将这3类聚类结果对应的像素点的像素值赋值分别为0、85、200，如图5所示。

由于按照中医专家的习惯，通常从舌两侧和舌尖来观察舌质，所以在本发明中，将经过上述变换后得到的S图中像素值大小为0、且处于舌两侧和舌尖部的区域的像素点组成的区域作为舌质的区域。而将“舌面区域划分”中划分出的舌中和舌根两块区域作为舌苔区域，用于后续的特征提取。

2、基于CBIR的舌色苔色检索

本发明利用CBIR技术对舌色和苔色进行自动分析。在CBIR中，图像的内容通过颜色、纹理、形状等低层的视觉特征来进行表征，并利用这些特征之间的相似度来选择出视觉上最相似的图像作为检索结果。因此，特征提取和相似度匹配是CBIR的两个关键技术。

接下来将介绍如何实现基于CBIR技术，实现舌色苔色的检索。

（1）舌色和苔色的特征提取

中医舌象的物理特性主要反映在颜色上，中医医生通过舌色、苔色的颜色表现来进行诊断。因此，对于舌象来说，颜色特征是一种最重要的特征。本发明分别提取了舌色和苔色的颜色特征，来有效地表征舌象的内容。

①舌质区域：利用Lab空间的颜色矩特征描述舌色

在提取出舌质区域后，相比于舌苔区域的变化较大的特点，舌质区域内的颜色变化相对较小，所以本发明选用颜色矩来描述舌质的颜色。考虑到Lab颜色空间还具有色域宽阔，能描述人眼所能观察到的所有颜色的特点，本发明在Lab颜色空间提取颜色矩作为图像的特征。

对于舌质区域内所有的像素点，分别计算Lab三个分量中每一个分量的三个低阶矩，公式如下：

${\mathrm{\μ}}_i=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_{\mathrm{ij}}---\left(3\right)$

${\mathrm{\σ}}_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(f_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^2\right)}^{\frac{1}{2}}---\left(4\right)$

$s_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(f_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^3\right)}^{\frac{1}{3}}---\left(5\right)$

其中，f_ij表示第i个颜色分量的第j个像素点的像素值，μ_i表示第i个颜色分量的一阶矩特征，σ_i表示第i个颜色分量的二阶矩特征，s_i表示第i个颜色分量的三阶矩特征，而N表示该舌象中舌质区域总的像素点数。由于包含三个分量，并且经过上述计算后每一个分量得到三个低阶矩的特征值，从而构成9维的特征向量。

②舌苔区域：利用HSV空间的256维颜色直方图特征描述苔色

一些病人的舌苔是非均匀分布的，并且会出现两种甚至三种苔色出现在同一块舌苔区域内的情况。针对于舌苔的这种特点，本发明选用的HSV颜色空间的256维颜色直方图特征较好。

（2）相似度匹配

L1距离是CBIR中一种常用的特征相似度度量方法。本发明分别针对舌质区域和舌苔区域提取相应的颜色特征，得到特征向量，然后利用L1距离来度量待分析舌象与样本库中各舌象样本的特征向量之间的相似度，L1距离的计算公式如下所示：

$D_{L1}=\underset{i=1}{\overset{T}{\mathrm{\Σ}}}|Q_i-I_i|---\left(6\right)$

其中，T为特征向量的维数，D_L1为待分析舌象Q与样本库中舌象I的L1距离，Q_i和I_i为分别表示两个特征向量的第i维特征值。当计算舌色的相似度时，Q与I分别表示待查询舌象与数据库中舌象的舌质区域利用Lab空间的颜色矩所提取的9维特征向量；当计算苔色的相似度时，Q与I分别表示待查询舌象与数据库中舌象的舌苔区域利用HSV空间的256维颜色直方图所提取的256维特征向量。D_L1值越小，表明两幅图像越相似。

根据计算结果，按相似度值从小到大的顺序将样本库中的舌象进行排序，并将前10张舌色、苔色最相近的舌象返回作为检索结果。

3、检索结果的统计判决

在得到检索结果之后，本项目将根据样本库中的总样本数以及各类样本的数量、类别，选取合适数量的最相似检索结果来进行统计决策。各种统计决策的算法以及贝叶斯判决的方法都可以用在本发明的舌象检索系统中，而本发明考虑到各类颜色类别在样本库中的总数以及出现在检索结果中的数量，采用如下的判决公式进行判决：

ρ_i=n_i*w_i   （7）其中，ρ_i为第i类颜色的决策值，n_i为选取的进行判决的检索结果中第i类颜色出现的次数，w_i为第i类颜色的权重，计算公式为：

$w_i=\log \frac{M}{M_i}---\left(8\right)$

其中，M为样本库中的舌象样本总数，M_i为第i类颜色在样本库中的样本总数。在得到各类的决策值后，比较它们的大小，将其中决策值最大的颜色判定为待分析舌象舌色或苔色象的颜色类别。

在本发明中，根据中医大夫的标定结果，将舌色和苔色分为以下几类：

·舌色：淡、淡红、红、暗红、绛红、暗紫，共6类；

·苔色：薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔，共9类。

4、中医舌象数据库的建立

对于采集到的舌象样本，建立中医舌象数据库，由中医专家对其中的所有舌象样本均进行标注，确定每个舌象样本中舌色、苔色的分类结果。如前所述，舌色分为淡、淡红、红、暗红、绛红、暗紫6类，苔色分为薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔9类。对每个样本分割出舌质和舌苔区域，并分别对每个区域提取特征，如颜色矩及颜色直方图等，建立舌质特征库和舌苔特征库，用于检索时进行相似性匹配。

本发明的有益效果为：

本发明将图像处理技术引入到中医学领域，将基于内容的图像检索技术以及统计决策方法应用到中医舌象的客观分析中，实现对中医苔色和舌色的准确、自动分类。本发明的重点是，首先通过苔质分离技术确定舌质和舌苔的区域，针对不同区域的特点提取适合的视觉特征，然后利用提取的特征向量从标定好的中医舌象数据库中选择出最相似的舌色、苔色图像作为检索结果。最后利用检索结果来统计判决待分析舌图像的舌色、苔色属于哪一种分类结果。这是一个全新思路的分类方法，也是本发明最大的创新之处。

本发明将为中医舌色苔色的自动分析提供一种全新的手段和方法，也是CBIR技术的一种新应用。

附图说明：

图1、本发明实现的整体流程图

图2、舌体分割前后效果对比图

图3、中医舌面区域划分示意图

图4、苔质分离流程图

图5、苔质分离效果图

具体实施方式：

根据上述的描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。

本发明的流程图如图1所示，具体的工作流程为：

步骤1：建立中医舌象数据库和舌质、舌苔特征库。具体实现过程包括：

①由中医专家对其中的所有舌象样本进行标注，确定每个舌象样本中舌色、苔色区域的分类结果。

②对每个样本采用基于Snakes模型的舌体区域分割技术对采集到的舌图像进行舌体分割，确定舌体区域；

③将分割出的舌体区域再进一步划分成舌根、舌中、舌尖、舌左侧和舌右侧5个区域，并对每个区域进行苔质分离，确定舌质和舌苔区域；

④对于舌质区域，提取颜色矩特征；对于舌苔区域，提取颜色直方图特征，建立舌质特征库和舌苔特征库。

步骤2：将待分析的舌图像作为查询图像，对舌象数据库进行检索。具体实现过程包括：

①采用步骤1中的②、③、④分别提取代分析图像的其舌色特征向量与苔色特征向量；

②计算舌色特征向量和苔色特征向量与舌象特征库中的每一个特征向量之间的相似度；

③将相似度进行排序，将最相似的10个舌色和苔色图像作为检索结果。

步骤3：依据步骤2中待分析舌图像与检索结果的相似性，进行分类结果的判决，具体包括：

①利用公式（7）中的统计决策方法计算每类颜色的决策值；

②对各类颜色的决策值进行排序飞，将其中决策值最大的颜色判定为待分析舌象舌色或苔色的颜色，得到舌色和苔色的分类结果。采用上述方法进行舌色和苔色的自动分类，本发明对于舌色和苔色的分类准确率均可以达到90%以上，具有一定的参考价值。

以上对本发明所提供的基于图像检索的中医舌色苔色自动分析方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.基于图像检索的中医舌色苔色自动分析方法，其特征在于，包括以下步骤：

1)利用舌体分割技术分割出舌体区域；

2)通过苔质分离技术确定舌质和舌苔的区域；

3)针对不同区域的特点提取视觉特征；

4)利用提取的特征向量从标定好的中医舌象数据库中选择出最相似的舌色、苔色图像作为检索结果；

5)利用检索结果来统计判决待分析舌图像的舌色、苔色属于哪一种分类结果。

2.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，所述步骤1）中的舌体分割技术是采用基于Snakes模型的舌体区域分割技术对采集到的舌图像进行舌体区域分割。

3.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，

步骤2）具体为：

根据中医专家的舌诊习惯将舌面划分为5个区域，分别为：舌根、舌中、舌尖、舌左侧、舌右侧等5个区域；划分方法是以舌尖至人字形界沟中点划分为5等分，前1/5称为舌尖，中2/5称为舌中，后2/5称为舌根；另外分别在舌中线与舌边的中点画一线，线外部分称为舌侧；根据舌质和舌苔分布区域的不同，通过观察舌两侧和舌尖来判断舌质的颜色，而在舌中和舌根处观察舌苔的颜色；

在完成舌面区域的5区划分后，进一步对舌两侧和舌尖这三个区域进行苔质分离，具体步骤分为以下几步：

（1）将舌体分割后的舌象从RGB颜色空间转换到HSV颜色空间，对S图做直方图均衡，根据以下公式将直方图均衡后的S图像素值的取值范围化为[0,255]：

$s^{\′}=(s-\min )*\frac{255}{\max -\min }$

其中，max和min分别为当前S图中的最大值和和最小值；

（2）对S图像素值取反

s”=255-s'；

（3）利用K均值聚类操作将S图中像素值聚成4类，合并像素值最高的两类，得到3种聚类结果，具体量化为0、85、200；

（4）将得到的S图中0值、且处于舌两侧和舌尖部的区域作为舌质的区域，而将舌中和舌根两块区域划定为舌苔区域，用于后续的特征提取。

4.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，所述步骤3）对舌质区域在Lab颜色空间提取颜色矩特征构成特征向量，而对于舌苔区域在HSV颜色空间提取256维颜色直方图特征构成特征向量。

5.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，所述步骤4）中的在选择最相似的舌色、苔色图像时所使用的方法是基于L1距离的相似度度量方法。

6.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，所述步骤5）中的统计判决是根据各类颜色类别在样本库中的总数以及出现在检索结果中的数量，采用如下的判决公式进行判决：

ρ_i=n_i*w_i

其中，ρ_i为第i类颜色的决策值，n_i为选取的进行判决的检索结果中第i类颜色出现的次数，w_i为第i类颜色的权重，计算公式为：

$w_i=\log \frac{M}{M_i}$

其中，M为样本库中的舌象样本总数，M_i为第i类颜色在样本库中的样本总数。在得到各类的决策值后，比较它们的大小，将其中决策值最大的颜色判定为待分析舌象舌色或苔色象的颜色类别。

7.根据权利要求1所述的基于图像检索的中医舌色苔色自动分析方法，其特征在于，所述步骤5）中的分类结果是依据中医大夫的标定结果，将舌色和苔色分为以下几类：

舌色：淡、淡红、红、暗红、绛红、暗紫，共6类；

苔色：薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔，共9类。

Images