CN102426583A - 基于图像内容分析的中医舌象检索方法 - Google Patents

Abstract

基于内容的中医舌象检索方法，属于图像分析和检索领域。本发明鉴于中医舌诊缺乏客观定量化分析，并无法对分析结果进行有效查询和管理的特点，设计了一种基于多特征的中医舌象检索方法。该发明的特征在于：该方法包括特征库构建和舌象检索两大部分；特征库构建过程中，提取了舌象的颜色、纹理和形状信息；而在进行舌象检索时，首先基于舌象的文本标注信息进行初始检索，然后基于特征库的信息计算舌象间的相似度，得到最终检索结果。本发明可以得到令医生满意的查询结果，具有一定的实用价值。

Description

基于图像内容分析的中医舌象检索方法

技术领域

本发明以中医舌象为研究对象，运用计算机视觉理论与图像识别技术，重点分析舌象的颜色、纹理以及形状视觉信息，分别提取相应的内容特征，形成描述舌象内容的特征向量进行检索，为中医舌诊提供新的舌象客观化检索方法。 

背景技术

中医诊断的主要依据是“四诊”即“望、闻、问、切”，其中以“望”为先。舌诊，是通过观察舌象以了解人体生理功能和病理变化的一种诊察方法，是四诊中望诊的重要内容，也是应用最广、最有临床应用价值的诊法之一。但传统的中医舌诊主要由医生根据自己的知识和经验用眼睛观察，并做出判断，其诊断结果受医生的知识水平、思维方式及诊断技巧的限制，也受光线、温度等外界客观因素的影响，难免会出现偏差。此外，许多舌诊的经验也难以有效地进行保留，这既不利于中医舌诊技术的传承，也不利于舌诊病历的查询和管理。因此，对中医舌诊的客观化、数字化，即对客观的舌象分析方法进行研究，并对分析结果进行有效地管理，对于中医舌诊教学、科研手段的现代化，具有重要的理论价值和实际意义。 

图像检索技术自上个世纪以来已成为一个越来越受到人们关注的研究领域。伴随着数字化影像技术在医学临床工作中的普遍应用，大量的图像数据也随之产生。如何有效地组织、管理和检索舌象成为当前迫切需要解决的问题。传统的舌象检索方法通常采用基于文本信息的人工标注方法，这种方法费时费力，并且标注结果因人而异，检索结果往往与舌象的视觉内容差异较大，从而严重影响了图像在诊断过程中作用的发挥。基于内容的图像检索技术根据图像的颜色、纹理和形状视觉信息，建立特征向量空间进行检索，将其应用于舌象检索，可以为中医大夫提供一种方便直观的舌象客观化检索方法，对医学教学、科研以及图像归档和医学通信具有重要的研究意义。 

发明内容

本发明利用基于内容的图像检索技术，设计了一种基于多特征的中医舌象检索方法，以方便用户有效地获取所需的舌象。该方法主要分为两大部分：特征库构建和舌象检索。特征库构建过程中，提取了舌象的颜色、纹理和形状信息。而舌象检索又可细分为两个小部分：关键词检索和图像检索，前者基于舌象的文本标注信息进行初始检索，后者利用特征库，并采用相似度计算的方法进行基于内容的舌象客观化检索，流程框图如附图1所示。 

当用户输入关键词进行查询时，初始检索结果将返回数组推荐舌象，这些舌象的标注信息中往往包含该关键词及一个相关词汇，然后用户可以选择其中一幅舌象进行二次查询以获得更多相关舌象，本次检索主要根据该舌象与舌象库中舌象的相似度返回查询结果。 

本发明以中医舌象为研究对象，运用计算机视觉理论与图像识别技术，通过对舌象颜色、纹理和形状信息进行分析，获取相应的内容特征，从而建立舌象的计算机客观化检索方法。 

1.特征库构建部分： 

本发明从舌图像自身的特点出发，结合中医舌诊相关理论，采用客观化的图像处理分析方法，提取舌象的颜色、纹理以及形状特征，建立舌象特征库，其中舌象各个特征提取的过程如下所示： 

1.1舌象颜色特征提取： 

舌质和舌苔的分析是中医舌诊中重要的内容，包括舌质和舌苔颜色信息。因此，本发明采用客观化的图像分析与模式识别方法，提取图像中上述信息作为舌象的颜色特征。 

在提取颜色特征时，先使用基于聚类树的支持向量机(CT-SVM)方法对舌体的各个像素进行识别，具体做法是：对于图像库的每幅舌图像(如附图2所示)，取一个3×3大小的图像块，然后计算每个块的R、G、B三个分量的均值作为训练样本的特征矢量(3维数据)，将图像块标注为以下11种颜色类别的一种：舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、白苔、黄苔、灰苔、褐苔和黑苔。其中，前六种是舌质颜色，后五种是舌苔颜色。 

随后，根据训练样本的特征矢量，使用基于聚类树的多类支撑向量机算法(CT-SVM)建立分类模型，然后依次读取待处理舌图像 (如附图2)中舌体区域每个像素的R、G、B值，并根据分类模型，判断该像素的颜色类型，其中该类型对应于上述11类图像块所代表的颜色。 

获取各个像素点的识别结果后，结合附图3伪彩色图中舌色、苔色的颜色信息，将舌象转化为伪彩色图像(如附图3)，该图中只有11种颜色，它们的RG B三个分量与舌色、苔色的对应关系为：舌质淡{255，200，200}、舌质淡红{255，0，255}、舌质红{255，0，0}、舌质暗红{255，125，125}、舌质绛红{175，0，0}、舌质暗紫{125，50，200}、白苔{255，255，255}、黄苔{255，255，0}、灰苔{125，125，125}、褐苔{100，0，0}和黑苔{0，0，0}。然后，统计每幅图像舌体区域中11种RGB分量对应像素点出现的频率，据此建立形如附图4所示的11维的颜色直方图hist₁，hist₂，...，hist₁₁(对应图中1～11柱的纵坐标值)表征舌象的颜色特征信息。 

1.2舌象纹理特征提取： 

中医舌象表面经常出现各种形状的裂纹，裂沟，深浅不一，多少不等，统称为裂纹舌。其中裂纹的深浅与多少是舌诊中重要的参考指标。为此，本发明对舌象裂纹的深浅与多少进行定量分析，并设置裂纹指数用于表征舌体的纹理特征，裂纹分析流程见附图5，具体步骤如下：选定两个高斯滤波器(标准差分别为2和0.5)，对舌图像进行卷积得到两幅图像，然后使用Prewitt算子分别作卷积，获取舌体区各点的彩色梯度响应D和边缘方向θ，接着进行组合，取两幅图像中对应像素点梯度响应较大者为有效值D_max，同时计算两个梯度的均值 

，并统计大于100的像素数N_e，最后根据式(1)计算裂纹指数CRK。 

$\mathrm{CRK}=c\·\stackrel{\‾}{D}\·\sqrt{\frac{10\·N_e}{A}}---\left(1\right)$

式中c＝0.0125是归一化系数，A为舌体区域的像素总数。 

1.3舌象形状特征提取： 

舌的歪斜作为一种舌象形态特征，在中医舌诊领域得到了广泛的研究。中医理论中，将伸舌时舌体总偏向一侧，称为歪斜舌。歪斜舌常见于中风或中风后遗症，以及舌下神经损伤及周围性面神经麻痹 等神经系统损害。因此，本发明根据图像中舌体的方向以及嘴角的位置信息，利用图像分析处理的方法，研究舌体的歪斜状况，并进行定量分析获取歪斜指数作为舌体的形状特征。具体流程如下：首先将图像(如附图6所示)由RGB空间转换为HSV空间，然后进行阈值分割，保留分量H大于500的像素，这样就可得到嘴区范围，随后将区域左右边缘点选定为嘴角。接着采用半径+角度图对折比较法，确定舌体的对称轴，最后根据舌体中轴与嘴角的关系，得到歪斜指数，算法流程图如附图7所示。设嘴角连线的长度为L，嘴角连线的中点与舌体中轴线和嘴角连线的交点的距离为d，舌体中垂线和中轴线的夹角为φ，同时规定图像原点在左上角，横轴以向右为正，纵轴以向下为正，如附图8所示，则歪斜指数的定义为： 

式中max[g]为取括号内两个数的最大值，abs(g)为取括号内数值的绝对值。 

2.检索部分： 

2.1基于文本信息的关键词初始检索 

本发明使用的舌象均已进行了标记，标注信息包括：舌色(舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫)、苔色(白苔、黄苔、灰苔、褐苔和黑苔)、舌体形状(歪斜状况：左歪斜、右歪斜和不歪斜)以及纹理(有明显裂纹和无明显裂纹)，一共包含四大类信息，十六种标注词汇，根据上述信息本发明分别统计包含每个词汇对应舌象的数目，最后利用这些数据完成初始文本检索。关键词检索的基本思想是：首先输入关键词P，然后计算该词汇的相关度与信息度，最后根据上述结果完成其余词汇推荐值的计算，并根据推荐值按照从大到小的顺序返回与关键词语义相近的舌象，完成初步检索。其中，相关度是描述其它词汇p_i与P的关联程度，信息度是指其它词汇p_i与P组合在一起能够反映的信息量，这里的其它词汇与关键词P描述的舌象信息不同，如，若P描述的是舌色信息，那么其它词汇只能为描述苔色、舌体纹理或形状中的一种信息。 

在计算关键词的关联度时，首先计算标注信息中包含关键词P与其它词汇p_i的舌象在舌象库中出现的频率，如下式所示： 

$p\left(p_i\right|P)=\frac{I\left(p_i\right|P)}{I\left(P\right)}---\left(3\right)$

式中，I(p_i|P)为标注信息中包含关键词P与p_i的舌象的数目，I(P)为标注信息中包含关键词P的舌象的数目。然后计算P与p_i的关联度R(p_i，P)： 

R(p_i，P)＝f(p(p_i|P))           (4) 

式中，f(.)是一个单调递增的标准S型函数，形式为f(x)＝1/(1+e^-x)。 

关键词P与其它词汇p_i的信息度D(p_i，p_j，P)与相关度的计算过程相似，但前者采用了对称KL散度的计算方法，整个计算分为三步：词汇p_i和p_j的KL散度的计算，如式(5)所示；词汇p_j和p_i对称KL散度的计算，如式(6)所示；信息度D(p_i，p_j，P)的计算，如式(7)所示。 

$\mathrm{KL}\left(p_i\right|\left|p_j\right)={\mathrm{\Σ}}_{p}p\left(p\right|\mathrm{PU}\left\{p_i\right\})\log \frac{p\left(p\right|\mathrm{PU}\left\{p_i\right\})}{p\left(p\right|\mathrm{PU}\left\{p_j\right\})}---\left(5\right)$

式中KL(p_i||p_j)为词汇p_i和p_j的KL散度，p(p |PU{p_i})为标注信息中包含关键词P、p以及p_i的舌象在(标注信息中)包含关键词P以及p_i的舌象中出现的频率，p(p|PU{p_j})为标注信息中包含关键词P、p以及p_j的舌象在(标注信息中)包含关键词P以及p_j的舌象中出现的频率，其中P、p_j、p_i和p各代表一种不同的舌象描述信息(舌色(舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫)、苔色(白苔、黄苔、灰苔、褐苔和黑苔)、舌体形状(歪斜状况：左歪斜、右歪斜和不歪斜)以及纹理(有明显裂纹和无明显裂纹))，∑_p(g)是指对p对应的标注信息中所有词汇求和。 

式中KL(p_j||p_i)为词汇p_j和p_i的KL散度， 

为词汇p_i和p_j的对称散度。 

式中g(x)＝1/(1+e^-x)，根据得到的信息度D(p_i，p_j，P)与关联度R(p_i，P)，采用式(8)依次计算其余标注词汇与关键词P之间的推荐值L(p_i)，并按照这个数值的大小进行排序，这样可以获得数组词汇组合(包含两个词汇)，最后将标注信息中包含这些组合的图片作为初始检索的结果提供给用户，其中图片的个数是除去词汇组合后的其他两类信息包含的标注词汇的个数。 

$L\left(p_i\right)=\mathrm{\λR}(p_i,P)+\frac{(1-\mathrm{\λ})}{T}{\mathrm{\Σ}}_{p_j\∈E_p}D(p_i,p_j,P)---\left(8\right)$

式中D(p_i，p_j，P)为关键词P与词汇p_i的信息度，R(p_i，P)为关键词P与词汇p_i的相关度，λ∈[0.5，0.7]为常量，P、p_i和p_j为三种不同的舌象描述信息，T为标注词汇的总数目，E_p为除去关键词P和p_i对应标注信息后，其余两类信息对应标注词汇的集合。 

2.2基于特征库相似度计算的最终检索 

如上所述，若初始检索结果包含5组舌象，且每组舌象对应的标注信息如下：舌质淡、黄苔和左歪斜，舌质淡、黄苔和右歪斜，舌质淡、黄苔和不歪斜，舌质淡、黄苔和有明显裂纹，舌质淡、黄苔和无明显裂纹。则用户可以从初始结果显示的舌象中随机选择一幅作为关键图，并根据其在特征库中的颜色(颜色直方图)、形状(歪斜指数)以及纹理(裂纹指数)信息，分别计算与该图拥有相同标注信息(如舌质淡、黄苔和左歪斜)的舌象的相似度，并按照相似度大小返回最终检索结果。整个检索过程中，首先需要进行特征融合，将三种特征归一化合并，计算其相似度。具体步骤是：先进行基于单个特征(颜色直方图、裂纹指数或歪斜指数)的舌象检索，采用公式(9)分别计算关键图Y与图像X_m的单个特征的相似度S_nm(S_1m、S_2m和S_3m分别对应舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev的相似度，m＝1，2，...，M对应与关键图拥有相同标注信息的图像的个数)，然后依 照公式(10)对单个特征的相似度S_nm进行高斯归一化，以便将不同特征的相似度量化到同一个取值范围内，最后采用公式(13)将归一化后的单个特征对应的相似度S′_nm进行合并，接着按合并后的总的相似度S_m(数值越小与关键图的相似度越高)，对这些图像重新按S_m值从小到大排序，从中选出15幅排序靠前的舌象作为检索结果返回给用户。 

$\left(9\right),S_{\mathrm{nm}}=\underset{l}{\mathrm{\Σ}}|X_{\mathrm{nl}}-Y_{\mathrm{nl}}|(n=\mathrm{1,2,3})$

式中X_nl为舌象库中与关键图拥有相同标注信息的图像X_m的特征，Y_nl为从初始结果中选择的关键图Y的特征，/为舌象颜色(颜色直方图hist₁，hist₂，...，hist₁₁)、纹理(裂纹指数CRK)和形状(歪斜指数I_dev)特征各自对应的维数，其中颜色直方图(X_1l，X_1l＝{hist₁，hist₂，...，hist_l}，l＝11)11维，裂纹CRK(X_2l，Y_2l＝{CRK}，l＝1)和歪斜指数I_dev(X_3l，Y_3l＝{I_dev}，l＝1)各1维。 

$S_{\mathrm{nm}}^{\′}=[\frac{S_{\mathrm{nm}}-S_{\mathrm{nmean}}}{3\mathrm{\δ}}+1]/2---\left(10\right)$

$S_{\mathrm{nmean}}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{S}_{\mathrm{nm}}---\left(11\right)$

$\mathrm{\δ}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{(S_{\mathrm{nm}}-S_{\mathrm{nmean}})}^2---\left(12\right)$

公式(11)中S_nmean是舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征各自对应的一组相似度S_nm的均值，δ是舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征各自对应的一组相似度S_nm的方差，S_nm是归一化前两幅舌象的舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征的相似度。 

$S_m=\underset{n=1}{\overset{3}{\mathrm{\Σ}}}\left(w_{n}g{S}_{\mathrm{nm}}^{\′}\right)---\left(13\right)$

式中S′_nm是归一化后两幅舌象的舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征的相似度，w_n是分配到第n种特征)的权值(舌象的颜色(颜色直方图)w₁∈[0.5，0.7])、纹理(裂纹指数w₂∈[0.2，0.3])和形状(歪斜指数w₃∈[0.1，0.2]))，且满足以下条件 

$\underset{n=1}{\overset{3}{\mathrm{\Σ}}}{w}_n=1.$

本发明的特点 

本发明结合舌象的文本标注、图像的内容特征进行检索，使得检索结果在一定程度上可以满足医生的需求，方便其查询到所需舌象，用于医学领域的相关研究。本发明运用计算机视觉理论与图像识别技术，重点对舌象的颜色、纹理以及形状视觉信息进行分析，将这些特征进行融合后形成描述舌象内容的特征向量进行检索，从一定程度上提高了舌象检索的准确率。 

附图说明：

图1本发明提出的中医舌象检索流程图； 

图2颜色特征提取的输入舌象； 

图3舌色、苔色在伪彩色图中的颜色信息； 

图4舌象的颜色直方图； 

图5舌象裂纹指数计算流程图； 

图6歪斜指数计算的输入舌象； 

图7舌体歪斜指数计算流程图； 

图8舌体歪斜指数计算示意图； 

表1中医舌诊与数字化舌象处理的关系 

表1中医舌诊与数字化舌象处理的关系 

底层特征	舌诊描述
		区域	舌体尖、两侧、中、根的区域划分
颜色	舌色、苔色
		纹理	裂纹
形状	歪斜

具体实施方式

根据上述的描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。下面是本发明具体的工作流程：在构建特征库时，提取舌象的颜色、形状以及纹理信息，建立特征库；在进行检索时，首先根据标注的文本信息，进行关键词检索，获取初始结果，然后从中选择一幅舌图像作为关键图，根据特征库中该图像对应的相关特征，如舌象的颜色直方图、歪斜指数以及裂纹指数等，计算这幅舌图像与库中所有图像的相似度，并返回相似度高的多幅图片作为检索结果。 

本发明在进行检索时，需要调用舌象特征库，因此提取了舌象库所有图像的颜色(颜色直方图)、形状(歪斜指数)以及纹理(裂纹指数)信息，用于建立特征库，整个流程如下所示： 

1)舌象颜色特征提取：对于图像库的每幅舌图像(如附图2所示)，取一个3×3大小的图像块，然后计算每个块的R、G、B三个分量的均值作为训练样本的特征矢量(3维数据)，将图像块标注为以下11种颜色类别的一种：舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、白苔、黄苔、灰苔、褐苔和黑苔等。其中，前六种是舌质颜色，后五种是舌苔颜色。随后，根据训练样本的特征矢量，使用基于聚类树的多类支撑向量机算法(CT-SVM)建立分类模型，然后依次读取待处理舌图像(如附图2)中舌体区域每个像素的R、G、B值，并根据分类模型，判断该像素的颜色类型，其中该类型对应于上述11类图像块所代表的颜色。 

获取各个像素点的识别结果后，结合附图3伪彩色图中舌色、苔色的颜色信息，将舌象转化为伪彩色图像(如附图3)，该图中只有11种颜色，它们的RG B三个分量与舌色、苔色的对应关系为：舌质淡{255，200，200}、舌质淡红{255，0，255}、舌质红{255，0，0}、舌质暗红{255，125，125}、舌质绛红{175，0，0}、舌质暗紫{125，50，200}、白苔{255，255，255}、黄苔{255，255，0}、灰苔{125，125，125}、褐苔{100，0，0}和黑苔{0，0，0}。然后，统计每幅图像舌体区域中11种RGB分量对应像素点出现的频率，据此建立形如附图4所示的11维的颜色直方图hist₁，hist₂，...，hist₁₁(对应图中1～11柱的纵坐标值)表征舌象的颜色特征 信息。 

2)舌象纹理特征提取：首先选定两个高斯滤波器(标准差为2和0.5)，分别与舌图像(如附图5所示)进行卷积得到两幅图像，然后使用Prewitt算子分别作卷积，获取两幅图像中舌体区各点的彩色梯度响应D，取梯度响应较大者为有效值D_max，同时计算两个梯度的均值 

并统计 

大于100的像素数N_e，最后根据式(14)计算裂纹指数CRK。 

$\mathrm{CRK}=c\·\stackrel{\‾}{D}\·\sqrt{\frac{10\·N_e}{A}}---\left(14\right)$

式中c＝0.0125是归一化系数，A为舌体区域的像素总数。 

3)舌象形状特征提取：首先将图像(如附图6所示)由RGB空间转换为HSV空间，然后进行阈值分割，保留分量H大于500的像素，这样就可得到嘴区范围，随后将区域左右边缘点选定为嘴角。接着采用半径+角度图对折比较法，确定舌体的对称轴，最后根据舌体中轴与嘴角的关系，得到歪斜指数，算法流程图如附图7所示。设嘴角连线的长度为L，嘴角连线的中点与舌体中轴线和嘴角连线的交点的距离为d，舌体中垂线和中轴线的夹角为φ，同时规定图像原点在左上角，横轴以向右为正，纵轴以向下为正，如附图8所示，则歪斜指数的定义为： 

式中max[g]为取括号内两个数的最大值，abs(g)为取括号内数值的绝对值。 

提取上述三种特征信息后，我们将其存放到数据库，从而完成特征库的构建。下面详细介绍下基于该特征库的舌象检索： 

若输入关键词舌质淡，则将依次计算该词汇与苔色(白苔、黄苔、灰苔、褐苔和黑苔)、舌体形状(歪斜状况：左歪斜、右歪斜和不歪斜)以及纹理(有明显裂纹和无明显裂纹)等信息包含词汇之间的关联度和信息度。其中，相关度是上述词汇与关键词舌质淡的关联程度，信 息度是指上述词汇与关键词舌质淡组合在一起能够反映的信息量。 

在计算关键词舌质淡的相关度时，首先计算标注信息中包含关键词舌质淡P与词汇p_i(白苔、黄苔、灰苔、褐苔、黑苔、左歪斜、右歪斜、不歪斜、有明显裂纹或无明显裂纹)的舌象在舌象库中出现的频率，如下式所示： 

$p\left(p_i\right|P)=\frac{I\left(p_i\right|P)}{I\left(P\right)},$ i＝1，2，...，10         (16) 

式中，I(p_i|P)为标注信息中包含关键词P与p_i的舌象的数目，I(P)为标注信息中包含关键词P的舌象的数目。然后计算P与p_i的关联度R(p_i，P)： 

R(p_i，P)＝f(p(p_i|P))             (17) 

式中，f(.)是一个单调递增的标准S型函数，形式为f(x)＝1/(1+e^-x)。 

如果词汇p_i为黄苔，词汇p_j为左歪斜，则关键词舌质淡P与黄苔p_i的信息度D(p_i，p_j，P)的计算过程如下：首先计算黄苔p_i和左歪斜p_j的KL散度，如式(18)所示；然后计算左歪斜p_j和黄苔p_i对称KL散度，如式(19)所示；最后计算信息度D(p_i，p_j，P)，如式(20)所示。 

$\mathrm{KL}\left(p_i\right|\left|p_j\right)={\mathrm{\Σ}}_{p}p\left(p\right|\mathrm{PU}\left\{p_i\right\})\log \frac{p\left(p\right|\mathrm{PU}\left\{p_i\right\})}{p\left(p\right|\mathrm{PU}\left\{p_j\right\})}---\left(18\right)$

式中KL(p_i||p_j)为黄苔p_i和左歪斜p_j的KL散度，因为词汇p_i为黄苔表示苔色信息，词汇p_j为左歪斜表示形状信息，关键词为舌质淡P表示舌色信息，所以词汇p为有明显裂纹或无明显裂纹，∑_p(g)是将词汇p分别为明显裂纹或无明显裂纹时右式的计算结果相加求和，p(p|PU{p_i})为标注信息中包含关键词舌质淡P、词汇p(有明显裂纹或无明显裂纹)以及黄苔p_i的舌象在(标注信息中)包含关键词舌质淡P以及黄苔p_i的舌象中出现的频率，p(p|PU{p_j})为标注信息中包含关键词舌质淡P、词汇p(有明显裂纹或无明显裂纹)以及左歪斜 p_j的舌象在(标注信息中)包含关键词舌质淡P以及左歪斜p_j的舌象中出现的频率。 

式中KL(p_j||p_i)为黄苔p_j和左歪斜p_i的KL散度， 

为黄苔p_i和左歪斜p_j的对称散度。 

式中g(x)＝1/(1+e^-x)，根据信息度D(p_i，p_j，P)与关联度R(p_i，P)的计算方法，采用式(21)依次计算其余标注词汇(白苔、黄苔、灰苔、褐苔、黑苔、左歪斜、右歪斜、不歪斜、有明显裂纹或无明显裂纹)与关键词舌质淡P之间的推荐值L(p_i)，并按照这个数值的从大到小排序，这样可以获得数组词汇组合，如舌质淡和黄苔、舌质淡和白苔等等，最后将标注信息包含这些组合的舌象作为初始检索的结果提供给用户，其中返回图片包含的标注信息除了上述词汇组合外，还包含另一种信息，若词汇组合为舌质淡和黄苔(对应舌色和苔色)，则另一种信息将分别为左歪斜、右歪斜、不歪斜、有明显裂纹和无明显裂纹，因此返回结果包含5组舌象，每组舌象对应的标注信息如下：舌质淡、黄苔和歪斜，舌质淡、黄苔和右歪斜，舌质淡、黄苔和不歪斜，舌质淡、黄苔和有明显裂纹，舌质淡、黄苔和无明显裂纹。 

$L\left(p_i\right)=\mathrm{\λR}(p_i,P)+\frac{(1-\mathrm{\λ})}{T}{\mathrm{\Σ}}_{p_j\∈E_p}D(p_i,p_j,P)---\left(21\right)$

式中D(p_i，p_j，P)为关键词舌质淡P与词汇p_i(白苔、黄苔、灰苔、褐苔、黑苔、左歪斜、右歪斜、不歪斜、有明显裂纹或无明显裂纹)的信息度，R(p_i，P)为关键词舌质淡P与词汇p_i(白苔、黄苔、灰苔、褐苔、黑苔、左歪斜、右歪斜、不歪斜、有明显裂纹或无明显裂纹)的相关度，λ∈[0.5，0.7]为常量，P、p_i和p_j为三种不同的舌象描述信息，T＝16为标注词汇的总数目，S_p为除去关键词舌质淡P和p_i对应标注信息后，其余两类信息对应标注词汇的集合。如果词汇p_i为黄苔，那么E_p＝{左歪斜∪右歪斜∪不歪斜∪有明显裂纹∪无明显裂 纹}，p_j为S_p中任意一个词汇， 

是词汇p_j分别为左歪斜、右歪斜、不歪斜、有明显裂纹和无明显裂纹时，对关键词舌质淡P与词汇p_i的信息度求和。 

如上所述，若初始检索结果包含5组舌象，且每组舌象对应的标注信息如下：舌质淡、黄苔和左歪斜，舌质淡、黄苔和右歪斜，舌质淡、黄苔和不歪斜，舌质淡、黄苔和有明显裂纹，舌质淡、黄苔和无明显裂纹。则用户可以从初始结果显示的舌象中随机选择一幅作为关键图，并根据其在特征库中的颜色(颜色直方图)、形状(歪斜指数)以及纹理(裂纹指数)信息，分别计算与该图拥有相同标注信息(如舌质淡、黄苔和左歪斜)的舌象的相似度，并按照相似度大小返回最终检索结果。整个检索过程中，首先需要进行特征融合，将三种特征归一化合并，计算其相似度。具体步骤是：先进行基于单个特征(颜色直方图、裂纹指数或歪斜指数)的舌象检索，采用公式(22)分别计算关键图Y与图像X_m的单个特征的相似度S_nm(S_1m、S_2m和S_3m分别对应舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev的相似度，m＝1，2，...，M对应与关键图拥有相同标注信息的图像的个数)，然后依照公式(23)对单个特征的相似度S_nm进行高斯归一化，以便将不同特征的相似度量化到同一个取值范围内，最后采用公式(26)将归一化后的单个特征对应的相似度S′_nm进行合并，接着按合并后的总的相似度S_m(数值越小与关键图的相似度越高)，对这些图像重新进行从小到大的排序，从中选出15幅排序靠前的舌象作为检索结果返回给用户。 

$S_{\mathrm{nm}}=\underset{l}{\mathrm{\Σ}}|X_{\mathrm{nl}}-Y_{\mathrm{nl}}|(n=\mathrm{1,2,3})---\left(22\right)$

式中X_nl为舌象库中与关键图拥有相同标注信息的图像X_m的特征，Y_nl为从初始结果中选择的关键图Y的特征，I为舌象颜色(颜色直方图hist₁，hist₂，...，hist₁₁)、纹理(裂纹指数CRK)和形状(歪斜指数I_dev)特征各自对应的维数，其中颜色直方图(X_1l，Y_1l＝{hist₁，hist₂，...，hist_l}，l＝11)11维，裂纹CRK(X_2l，Y_2l＝{CRK}，l＝1)和歪斜指数I_dev(X_3l，Y_3l＝{I_dev}，l＝1)各 1维。 

$S_{\mathrm{nm}}^{\′}=[\frac{S_{\mathrm{nm}}-S_{\mathrm{nmean}}}{3\mathrm{\δ}}+1]/2---\left(23\right)$

$S_{\mathrm{nmean}}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{S}_{\mathrm{nm}}---\left(24\right)$

$\mathrm{\δ}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{(S_{\mathrm{nm}}-S_{\mathrm{nmean}})}^2---\left(25\right)$

公式(24)中S_nmean是舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征各自对应的一组相似度S_nm的均值，δ是舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征各自对应的一组相似度S_nm的方差，S_nm是归一化前两幅舌象的舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征的相似度。 

$S_m=\underset{n=1}{\overset{3}{\mathrm{\Σ}}}\left(w_{n}g{S}_{\mathrm{nm}}^{\′}\right)---\left(26\right)$

式中S′_nm是归一化后两幅舌象的舌象颜色(颜色直方图)、纹理(裂纹指数)和形状(歪斜指数)特征的相似度，w_n是分配到第n种特征的权值(舌象的颜色(颜色直方图w₁∈[0.5，0.7])、纹理(裂纹指数w₂∈[0.2，0.3])和形状(歪斜指数w₃∈[0.1，0.2]))，且要满足以下条件 

附图1是本发明设计的中医检索方法流程图。从图中可以看出，整个方法分为两个部分，即特征库构建和舌象检索。 

附表1描述了中医舌诊与数字化舌象处理的关系。从表中可以看出，舌象信息主要分成区域、颜色、纹理、形状四大类，这种分类方式是根据中医舌诊临床习用进行归纳的，涵盖了中医舌诊的具体内容。本发明主要结合舌色、纹理和形状特征进行综合分析。 

Claims (1)

1.基于内容的中医舌象检索方法，其特征在于该方法分为两大部分：特征库构建和舌象检索；而舌象检索又分为两个部分：关键词检索和图像检索，前者基于舌象的文本标注信息进行初始检索，后者利用特征库，并采用相似度计算的方法进行基于内容的舌象客观化检索；

当用户输入关键词进行查询时，初始检索结果将返回数组推荐舌象，这些舌象的标注信息中往往包含该关键词及一个相关词汇，然后用户可以选择其中一幅舌象进行二次查询以获得更多相关舌象，本方法根据该舌象与舌象库中舌象的相似度返回查询结果；

1).特征库构建：

提取舌象的颜色、纹理以及形状特征，建立舌象特征库，其中舌象各个特征提取的过程如下所示：

1.1舌象颜色特征提取：

在提取颜色特征时，先使用基于聚类树的支持向量机方法对舌体的各个像素进行识别，具体做法是：对于图像库的每幅舌图像，取一个同样大小的图像块，然后计算每个块的R、G、B三个分量的均值作为训练样本的特征矢量，将图像块标注为以下11种颜色类别的一种：舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、白苔、黄苔、灰苔、褐苔和黑苔；其中，前六种是舌质颜色，后五种是舌苔颜色；

随后，根据训练样本的特征矢量，使用基于聚类树的多类支撑向量机算法建立分类模型，然后依次读取待处理舌图像中舌体区域每个像素的R、G、B值，并根据分类模型，判断该像素的颜色类型，其中该类型对应于上述11类图像块所代表的颜色；

获取各个像素点的识别结果后，结合伪彩色图中舌色、苔色的颜色信息，将舌象转化为伪彩色图像，只有11种颜色，它们的RGB三个分量与舌色、苔色的对应关系为：舌质淡{255，200，200}、舌质淡红{255，0，255}、舌质红{255，0，0}、舌质暗红{255，125，125}、舌质绛红{175，0，0}、舌质暗紫{125，50，200}、白苔{255，255，255}、黄苔{255，255，0}、灰苔{125，125，125}、褐苔{100，0，0}和黑苔{0，0，0}；然后，统计每幅图像舌体区域中11种RGB分量对应像素点出现的频率，据此建立11维的颜色直方图hist₁，hist₂，...，hist₁₁表征舌象的颜色特征信息；

1.2舌象纹理特征提取：

选定标准差分别为2和0.5的两个高斯滤波器，对舌图像进行卷积得到两幅图像，然后使用Prewitt算子分别作卷积，获取舌体区各点的彩色梯度响应D和边缘方向θ，计算两个梯度的均值

并统计大于100的像素数N_e，根据式(1)计算裂纹指数CRK：

$\mathrm{CRK}=c\·\stackrel{\‾}{D}\·\sqrt{\frac{10\·N_e}{A}}---\left(1\right)$

式中c＝0.0125是归一化系数，A为舌体区域的像素总数；

1.3舌象形状特征提取：

先将图像由RGB空间转换为HSV空间，然后进行阈值分割，保留分量H大于500的像素，这样就可得到嘴区范围，随后将区域左右边缘点选定为嘴角；接着采用半径+角度图对折比较法，确定舌体的对称轴，最后根据舌体中轴与嘴角的关系，得到歪斜指数；设嘴角连线的长度为L，嘴角连线的中点与舌体中轴线和嘴角连线的交点的距离为d，舌体中垂线和中轴线的夹角为φ，同时规定图像原点在左上角，横轴以向右为正，纵轴以向下为正，则歪斜指数的定义为：

式中max[g]为取括号内两个数的最大值，abs(g)为取括号内数值的绝对值；

2).检索：

2.1基于文本信息的关键词初始检索

使用的舌象均已进行了标记，标注信息包括：舌色即舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫，苔色即白苔、黄苔、灰苔、褐苔和黑苔，舌体形状即歪斜状况：左歪斜、右歪斜和不歪斜，以及纹理即有明显裂纹和无明显裂纹，一共包含四大类信息，十六种标注词汇，根据上述信息分别统计包含每个词汇对应舌象的数目，最后利用这些数据完成初始文本初步检索；

先输入关键词P，然后计算该词汇的相关度与信息度，最后根据上述结果完成其余词汇推荐值的计算，并根据推荐值按照从大到小的顺序返回与关键词语义相近的舌象，完成初始文本初步检索；

其中，相关度是描述其它词汇p_i与P的关联程度，信息度是指其它词汇p_i与P组合在一起能够反映的信息量，这里的其它词汇与关键词P描述的舌象信息不同；

在计算关键词的关联度时，首先计算标注信息中包含关键词P与其它词汇p_i的舌象在舌象库中出现的频率，如下式所示：

$p\left(p_i\right|P)=\frac{I\left(p_i\right|P)}{I\left(P\right)}---\left(3\right)$

式中，I(p_i|P)为标注信息中包含关键词P与p_i的舌象的数目，I(P)为标注信息中包含关键词P的舌象的数目；然后计算P与p_i的关联度R(p_i，P)：

R(p_i，P)＝f(p(p_i|P))               (4)

式中，f(.)是一个单调递增的标准S型函数，形式为f(x)＝1/(1+e^-x)；

关键词P与其它词汇p_i的信息度D(p_i，p_j，P)采用了对称KL散度的计算方法，整个计算分为三步：词汇p_i和p_j的KL散度的计算，如式(5)所示；词汇p_j和p_i对称KL散度的计算，如式(6)所示；信息度D(p_i，p_j，P)的计算，如式(7)所示；

$\mathrm{KL}\left(p_i\right|\left|p_j\right)={\mathrm{\Σ}}_{p}p\left(p\right|\mathrm{PU}\left\{p_i\right\})\log \frac{p\left(p\right|\mathrm{PU}\left\{p_i\right\})}{p\left(p\right|\mathrm{PU}\left\{p_j\right\})}---\left(5\right)$

式中KL(p_i||p_j)为词汇p_i和p_j的KL散度，p(p|PU{p_i})为标注信息中包含关键词P、p以及p_i的舌象在(标注信息中)包含关键词P以及p_i的舌象中出现的频率，p(p|PU{p_j})为标注信息中包含关键词P、p以及p_j的舌象在(标注信息中)包含关键词P以及p_j的舌象中出现的频率，其中P、p_j、p_i和p各代表一种不同的舌象描述信息即舌色为舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫，苔色为白苔、黄苔、灰苔、褐苔和黑苔，舌体形状即左歪斜、右歪斜和不歪斜，以及纹理为有明显裂纹和无明显裂纹，∑_p(g)是指对p对应的标注信息中所有词汇求和；

式中KL(p_j||p_i)为词汇p_j和p_i的KL散度，

为词汇p_i和p_j的对称散度；

式中g(x)＝1/(1+e^-x)，根据得到的信息度D(p_i，p_j，P)与关联度R(p_i，P)，采用式(8)依次计算其余标注词汇与关键词P之间的推荐值L(p_i)，并按照这个数值的大小进行排序，这样可以获得数组词汇组合，将标注信息中包含这些组合的图片作为初始检索的结果提供给用户，其中图片的个数是除去词汇组合后的其他两类信息包含的标注词汇的个数；

$L\left(p_i\right)=\mathrm{\λR}(p_i,P)+\frac{(1-\mathrm{\λ})}{T}{\mathrm{\Σ}}_{p_j\∈E_p}D(p_i,p_j,P)---\left(8\right)$

式中D(p_i，p_j，P)为关键词P与词汇p_i的信息度，R(p_i，P)为关键词P与词汇p_i的相关度，λ∈[0.5，0.7]为常量，P、p_i和p_j为三种不同的舌象描述信息，T为标注词汇的总数目，E_p为除去关键词P和p_i对应标注信息后，其余两类信息对应标注词汇的集合；

2.2基于特征库相似度计算的最终检索

用户可以从初始结果显示的舌象中随机选择一幅作为关键图，并分别计算与该图拥有相同标注信息的舌象的相似度，并按照相似度大小返回最终检索结果；

整个检索过程中，先需要进行特征融合，将三种特征归一化合并，计算其相似度；具体步骤是：先进行基于单个特征的舌象检索，采用公式(9)分别计算关键图Y与图像X_m的单个特征的相似度S_nm(S_1m、S_2m和S_3m分别对应舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev的相似度，m＝1，2，...，M对应与关键图拥有相同标注信息的图像的个数)，然后依照公式(10)对单个特征的相似度S_nm进行高斯归一化，以便将不同特征的相似度量化到同一个取值范围内，最后采用公式(13)将归一化后的单个特征对应的相似度S′_nm进行合并，接着按合并后的总的相似度S_m，数值越小与关键图的相似度越高，对这些图像重新按S_m值从小到大排序，从中选出排序靠前的舌象作为检索结果返回给用户；

$\left(9\right),S_{\mathrm{nm}}=\underset{l}{\mathrm{\Σ}}|X_{\mathrm{nl}}-Y_{\mathrm{nl}}|(n=\mathrm{1,2,3})$

式中X_nl为舌象库中与关键图拥有相同标注信息的图像X_m的特征，Y_nl为从初始结果中选择的关键图Y的特征，I为舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev特征各自对应的维数，其中颜色直方图(X_1l，Y_1l＝{hist₁，hist₂，...，hist_l}，l＝11)11维，裂纹CRK(X_2l，Y_2l＝{CRK}，l＝1)和歪斜指数I_dev(X_3l，Y_3l＝{I_dev}，l＝1)各1维；

$S_{\mathrm{nm}}^{\′}=[\frac{S_{\mathrm{nm}}-S_{\mathrm{nmean}}}{3\mathrm{\δ}}+1]/2---\left(10\right)$

$S_{\mathrm{nmean}}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{S}_{\mathrm{nm}}---\left(11\right)$

$\mathrm{\δ}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{(S_{\mathrm{nm}}-S_{\mathrm{nmean}})}^2---\left(12\right)$

公式(11)中S_nmean是舌象颜色直方图、裂纹指数和歪斜指数特征各自对应的一组相似度S_nm的均值，δ是舌象颜色直方图、裂纹指数和歪斜指数特征各自对应的一组相似度S_nm的方差，S_nm是归一化前两幅舌象的舌象颜色颜色直方图、裂纹指数和歪斜指数特征的相似度；

$S_m=\underset{n=1}{\overset{3}{\mathrm{\Σ}}}\left(w_{n}g{S}_{\mathrm{nm}}^{\′}\right)---\left(13\right)$

式中S′_nm是归一化后两幅舌象的舌象颜色直方图、裂纹指数和歪斜指数特征的相似度，w_n是分配到第n种特征)的权值：舌象颜色直方图w₁∈[0.5，0.7]、裂纹指数w₂∈[0.2，0.3]和歪斜指数w₃∈[0.1，0.2]，且满足以下条件

Images