CN102426652A - 基于图像分析的中医面色识别和检索方法 - Google Patents

Abstract

基于图像分析的中医面色识别和检索方法，属于图像分析和识别领域。本发明鉴于中医面诊主观依赖性强，缺乏客观定量化依据的特点，设计了一个面向中医面诊的检索和识别平台。该发明的特征在于：当用户输入待查询面象，本发明通过人脸检测五官定位等技术分割人脸，提取脏腑对应区域的面色作为特征向量；在识别模块，将待查询面象的特征向量输入分类器，得到面色识别结果；在检索模块，计算待查询面象的特征向量与面象特征数据库中数据的相似度，按相似度从大到小排序，返回相似面象，并给出相似面象的病症描述。本发明的查准和查全率约为70％和65％，具有一定的参考价值。

Description

基于图像分析的中医面色识别和检索方法

技术领域

本发明以中医面象为研究对象，根据面色和脏腑健康状况的对应关系，利用计算机视觉理论以及图像分析和识别技术，提取输入面象的面色信息，根据颜色特征向量的相似度从数据库中检索出相似面象，并给出相似面象定性的诊断结果，提供客观化识别和检索平台。

背景技术

中医学之精髓在于“辨证施治”，而“望、闻、问、切”四种诊断方法又是完成“辨证施治”的重要依据。“望”是中医四诊的最重要内容之一，中医面诊是中医“望诊”中最为常用和最具临床应用价值的诊法之一，其现代化的程度对整个中医学的发展有着极其深远的意义。中医学认为，人体是一个有机的整体，面部犹如反映人体生理病理的一面镜子，望五官神色变化，可直接诊察脏腑病变。传统的望诊都是依靠医生的目视观察进行判断分析，并用语言文字描述，主观依赖性强，缺乏客观化、定量化的依据。望诊涉及病人所处环境、精神状态、医生的经验和主观因素等，造成了对颜色等的判别因人因地而异。受许多条件的限制，长期以来中医难以精确记录和保存舌象、面象等资料，这给临床、教学、科研带来很多不便，也不利于学术交流，使得中医在现代化的道路上举步维艰。

目前，人们对望诊(主要是观面色，故也可称为面诊或色诊)的信息化研究还很初步。为此，本发明针对中医面诊临床特点，建立了一个客观化的中医面色识别和检索系统，为中医面诊数字化提供定量化依据。本发明依靠计算机视觉方面的研究，建立了一个客观化、定量化的信息平台，利用各种统计方法，实现中医面色的自动识别。图像检索技术自上个世纪以来已成为一个越来越受到人们关注的研究领域。伴随着数字化影像技术在医学临床工作中的普遍应用，大量的图像数据也随之产生。如何有效地组织、管理和检索医学图像成为当前迫切需要解决的问题。传统的医学图像检索方法通常采用基于文本信息的人工标注方法，这种方法费时费力，并且标注结果因人而异。根据文本信息进行检索时，由于个人对图像内容的理解不同，检索结果往往不够理想，从而严重影响了图像在诊断过程中作用的发挥。本发明以基于内容的图像检索技术为依据，根据图像的颜色信息，建立特征向量空间进行检索，将其应用于面诊图像的检索，可以为中医大夫提供一种方便直观的图像检索方法，对医学临床、教学、科研以及图像归档和通信系统具有重要的研究意义。

发明内容

本发明的主要思想是：设计一个面向中医面诊的检索和识别平台，方便用户和医生进行查询。当用户输入待查询面象，通过人脸检测，五官定位等技术分割人脸，提取脏腑对应区域的面色作为特征向量，据此进行输入图像的面色识别，并计算其与面象特征库中的数据的相似度，排序后返回相似度高的面象，同时给出相似样本面象的病症描述。

1、面象的采集

面象的采集环境：

(1)选用代表日光的标准光源D65；

(2)显色指数为84～95，色温为6500K；

(3)照明光源的几何条件按照国际照明委员会推荐的45/0(照明/观测)安排光路；

(4)图像采集设备的彩色深度为24bit，白平衡为日光类型；

采集的面象通过USB接口输入到计算机中，对每个病人的样本图片进行面色类别，面色特征和病症标注，建立面象与症状数据库；

2、人脸检测与区域分割

人脸区域在中医领域被分成了五个部分，每个部分对应了不同的内脏，并且内脏的病变可以改变人脸对应区域的颜色的变化。因此一张样本面象，我们不需要使用全部作为诊断特征，只需要对应区域的一部分皮肤块。本发明将人脸图分割成五个部分(如图1)，需要提取五个部分相应的皮肤块。

2.1人脸检测

目前，人脸检测方面的技术相对比较成熟，可以借鉴已有的方法。本发明采用的是类Haar特征的人脸检测算法，因面象图片都是在同一环境下采集的背景相对简单的正面人脸图像，此算法处理速度较快，至多1s钟就可以得到人脸区域，满足我们的实时性要求。在该部分，我们输入在上述环境下采集的图像，使用类Haar人脸检测算法，去除背景干扰，得到图像的人脸区域，缩小后期的处理范围。

2.2瞳孔定位和图像旋转

本发明采用基于Gabor变换的人眼定位方法，利用Gabor变换后的图像在眼睛处幅值较大的特点，通过投影方法得到人眼的坐标。可以分为3步，如图2所示：

1)将提取的人脸区域图像进行直方图归一化处理；

2)对直方图归一化的人脸图像进行3级8方向的Gabor变换；

3)计算图像的水平投影和垂直投影，分析投影图的谷值和峰值，得到眼睛坐标。

得到瞳孔中心后，为了更好的定位人脸区域，需要对图像进行旋转校准，本发明用瞳孔坐标来计算图像的旋转角度。

$\mathrm{\θ}=\arctan \left(\frac{\mathrm{REye}\_y-\mathrm{LEye}\_y}{\mathrm{REye}\_x-\mathrm{LEye}\_x}\right)---\left(1\right)$

LEye_x为左瞳孔的横坐标，LEye_y为左瞳孔的纵坐标，REye_x为右瞳孔的横坐标，REye_y为右瞳孔的纵坐标，θ为需要旋转的角度。

2.3根据面部脏腑对应图提取皮肤块

本发明采用积分投影法对旋转后的人脸图像，进行人脸各部分区域的定位。积分投影法是针对灰度图像寻找灰度变化极大(小)值的算法，设I(x，y)表示图像点(x，y)处的灰度值，[x₁，x₂]区域的垂直积分投影H(y)表示为：

$H\left(y\right)=\frac{1}{x_2-x_1}\underset{x=x_1}{\overset{x_2}{\mathrm{\Σ}}}I(x,y)---\left(2\right)$

将旋转后的人脸图像，转换成灰度图，在水平方向进行积分投影，得到积分曲线，第一个明显的波谷对应着脸的左边界，最后一个明显的波谷对应着脸的右边界。得到脸的左右边界之后，再次对灰度图像进行局部的积分投影，同样在积分曲线上有四个明显的波谷，分别得到眉毛、眼睛、鼻孔和嘴的位置，获得4条水平线。按照上述的Gabor定位法精确定位瞳孔后，可以得到左右瞳孔的竖直位置，得到2条纵线，然后取左右瞳孔的中间位置，得到一条脸部的中线，这样共得到3条纵线。其中，纵线和水平线的获取没有顺序关系。分析脏腑与面部对应图(图1)相关部分的划分，确定人脸面诊块的位置。本发明提取了人脸的五个典型区域(额头、左脸颊、鼻面、右脸颊、下巴)的色块，人脸分割的流程如图3所示。

3根据面色特征进行面色识别和图像检索

3.1面色识别

中医面诊中颜色是一个重要的观察指标，而计算机中颜色是定义完好的对于图像的描述性指标，只有在这个特征(概念)上加以结合，才有能实现中医面诊的信息化。目前而言，中医面诊还是以观察整体面色为主，还只能做到用一种大概的人脸肤色整体值来进行判断。由于脏腑反射区域的色泽分辨很容易受其它因素的影响，如黑痣，密度较大的雀斑等，因此在提取对应脏腑区域的皮肤块后，需要剔除斑、痘的影响，有效避免其干扰。

由于，相对皮肤区域而言，黑痣和斑仍然占一小部分像素点，故本发明采用MEPG-7的主颜色描述子来提取皮肤区域的主色调，得到占主要分量的像素点，求取主像素点的均值作为肤色信息。本发明对每幅图像提取五个色块，每个色块均值用三个量表述其颜色值，即一个15维颜色向量作为该人脸图像的特征向量。为了缓和光照带来的影响，本发明在HSV空间求取色块均值。

本发明采用多分类向量机(SVM)来对面诊特征向量识别归类。按照前面所述的采集环境，采集大量样本面象后，由中医专家对每个病人的样本图片进行面色类别，面色特征和病症标注，建立面象与症状数据库。具体做法是：从数据库中选择500幅图片作为训练集，每幅图片都由中医专家进行过标定。提取每幅人脸图像的15维颜色特征矢量作为输入，人脸面色分为正常，黑，青，赤，白，黄(见附表1)作为输出，使用多类支撑向量机算法建立分类模型。当得到新采集的图像时，按上述方法提取其特征向量，输入分类器，得到识别结果。

3.2面象检索

对图像库中的样本图像按上述的方法进行分割，得到五个皮肤块的特征向量，采用欧氏距离计算输入图像与样本库图像特征向量间的相似度，相似度计算公式如下所示：

$D=\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|Q_i-I_i|}^2}---\left(3\right)$

D为新输入面象Q与数据库中面象I之间的距离；Q_i为输入面象Q的第i个特征矢量；I_i为面象库中一幅面象的第i个特征矢量；N为每幅图像对应的特征矢量的维数，此处N＝15；i＝0，1，2，3…14，指每维特征。根据计算结果，对相似度值从小到大进行排序，D值越小越相似，返回相似度较大的15幅样本图片。当用户选中其中一幅检索结果时，给出该图片相应的病症描述。

目前常用的评价检索系统准确率的标准是查准率(precision)和查全率(recall)。其定义如下：

$\mathrm{precision}=\frac{a}{a+c}---\left(4\right)$

$\mathrm{recall}=\frac{a}{a+b}---\left(5\right)$

其中a为该次检索过程中，和输入面象同属一个面色范畴的图像数目，b为该次检索过程中检索到的和输入面象面色不同的图像数目，c为面象库中和输入图像面色相同，但没有被检索到的面象数目。

本发明的特点

本发明结合人脸的特征对人脸进行脏腑反射区域划分，并对该区域的面色信息进行分析形成特征向量、通过多类SVM对面色进行识别归类，计算输入面象与数据库中样本面象的相似度，排序后得到检索结果，在一定程度上可以满足医生的需求，用于医学领域的相关研究。中医大夫通过本发明可以寻找具有相似性“外表”的面象，或者寻找与正常面象不相似的面象，根据相似面诊图像的内容特征，辅助医学诊断。

附图说明：

图1中医面部区域划分；

图2Gabor人眼定位算法流程；

图3面诊区域分割流程；

图4系统流程图；

图5人脸图像及其3级8方向的Gabor变换的幅度图

图6人眼区域投影图

表1面部五色主病表；

具体实施方式

根据上述的描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。下面是本发明具体的工作流程：在数据库模块，将采集到的图片由中医专家进行分类，建立面象与症状数据库，对各个样本图片进行人脸检测，区域分割，提取区域的颜色特征，建立特征库；在识别模块，采用多类SVM对输入面象进行面色识别，给出结果；在检索模块，提取输入的图像的面色特征，计算该面象与数据库中所有样本的相似度，返回相似度较大的面象。选中某一幅检索结果时，给出该图片的相病症描述。流程图如图4所示。

面象样本图像是在标准采集环境下用数码相机采集到的图像，输入图像是在相同的采集环境下采集的病人图片。采用多分类支撑向量机进行面色识别，并根据特征向量检索出相似面象样本，可以提供相似面象的病症描述。本发明所需照片是以面部为主的照片，头发隆起，耳朵露出，姿势端正，采用的是北京工业大学SIPL实验室舌象仪的采集环境：

(5)选用国际照明委员会(CIE)推荐使用的代表日光的标准光源D65；

(6)显色指数为84～95，色温为6500K；

(7)照明光源的几何条件按照CIE推荐的45/0(照明/观测)安排光路；

(8)图像采集设备的彩色深度为24bit，白平衡为日光类型。

采集的面象通过USB接口输入到计算机处理器中。目前，我们所采集的样本面象都是黄种人，所以该发明主要是面向黄色人种进行面色识别。

1.参考Paul Viola提出的类Haar特征的方法，构建基于多级分类器的人脸检测算法。目前该算法已封装成DLL。本发明中，我们在系统中调用该算法实现人脸检测，得到每个人脸所对应的矩形区域，由矩形的左上角坐标以及区域的宽、长构成。因为本发明中的人脸图片背景简单，且每幅图片中只有一个人脸，故用该方法可达到很高的识别率，约95％，满足我们的需求。

2.提取人脸区域，可以缩小五官的定位范围。首先通过瞳孔定位来旋转图像。用Gabor变换对人脸区域做3级8个方向的处理，图5给出的是一幅人脸图像的多级多方向Gabor小波描述。由于人脸区域经Gabor变换后在人眼处有明显的灰度特征，并在瞳孔位置有显著的间断。因人眼在人脸的上半部，因此投影时只对上半部图像进行处理。对Gabor幅度图像进行水平投影和垂直投影，垂直投影在瞳孔处有明显的谷值点，在两侧的峰值对应瞳孔两边的眼球区域。由此得到瞳孔的水平坐标x，而水平投影在眼睛位置也有明显的峰值点，由此得到瞳孔的垂直坐标y。如图6所示。在得到左右瞳孔的位置坐标之后，根据(1)式来旋转图像。

本发明采用积分投影法定位人脸五官。将旋转后的人脸图像转换成灰度图像，首先在水平方向进行积分投影，得到积分曲线，第一个明显的波谷对应着脸的左边界，最后一个明显的波谷对应着脸的右边界。在确定左右边界后，对旋转后的图像再次进行局部的积分投影，得到眉毛、眼睛、鼻孔和嘴的位置，由此获得4条水平线。对人脸图片进行Gabor变换后可以确定左右瞳孔的竖直位置，得到2条纵线，然后以左右瞳孔的中间位置，得到一条脸部的中线，这样得到3条纵线。水平线和纵线的获得没有先后顺序。分析脏腑与面部对应图(图1)相关部分的划分，本发明自动定位面诊块位置的确定方法为：

代表心的块位置取人脸的上边界到眉毛位置的中间，脸竖直中线的位置。

代表肺的块位置取眼睛和嘴水平线的中间，左瞳孔正下方的位置。

代表肝的块位置取眼睛和嘴水平线的中间，右瞳孔正下方的位置。

代表脾的块位置取从眼睛向下方移动眼睛到鼻孔距离二分之一的地方，脸竖直中线位置。

代表肾的块位置取从嘴的向下方移动嘴到鼻孔距离三分之二的地方，脸竖直中线位置。

计算各个块的中心的计算公式如下：

PosHeart_x＝(LEye_x+REye_x)/2

PosHeart_y＝(FaceUpBorder+PosEyebow)/2

PosLung_x＝LEye_x

PosLung_y＝(PosEye+PosMouth)/2

PosLiver_x＝REye_x

PosLiver_y＝(PosEye+PosMouth)/2    (4)

PosSpleen_x＝(LEye_x+REye_x)/2

PosSpleen_y＝PosEye+(PosNostril-PosEye)/2

PosKidney_x＝(LEye+REye)/2

PosKidney_y＝PosMouth+2(PosMouth-PosNostril)/3

其中：PosHeart_x，PosHeart_y为表示心的皮肤块的中心位置；PosLung_x，PosLung_y为表示肺的皮肤块的中心位置；PosLiver_x，PosLiver_y为表示肝的皮肤块的中心位置；PosSpleen_x，PosSpleen_y为表示脾的皮肤块的中心位置；PosKidney_x，PosKidney_y为表示肾的皮肤块的中心位置；LEye_x左瞳孔的x坐标，REye_x为右瞳孔的x坐标。FaceUpBorder表示人脸的上边界，PosEyeBow为眼眉的水平位置，PosEye为眼睛的水平位置，PosMouth为嘴的水平位置，PosNostril为鼻孔的水平位置。

如此，我们确定了要提取的皮肤区域块的定位中心，在相应区域取64×64大小皮肤块，至此完成人脸分割的过程。为了剔除提取皮肤块内斑、痘等对肤色识别的影响，要排除其干扰。本发明采用基于MPEG-7的主颜色描述符来提取皮肤块内占大多数的像素点，求取其均值作为该皮肤块的颜色向量。具体做法为：

！)将HSV空间进行非均匀量化，色调H分成8份，饱和度S和亮度V各分成三份，再将HSV空间的3个颜色分量合为一维特征矢量C＝9*H+3*S+V，C∈[0，71]。

2)计算量化后图像的颜色直方图，用P_i(i＝0，1，2…，71)表示第i个颜色矢量所占百分比；

3)对P_i进行降序排列，取前4个作为该图像的主颜色，非主颜色不再考虑，保存那些属于前四个颜色矢量的像素点，为主像素点。

4)求取主像素点的均值，作为该皮肤块的颜色特征。每个皮肤块可用3个颜色分量来表示，一幅人脸图像可以提取五个皮肤块，则一副人脸图像的特征向量长度就是15维。将特征向量按如下数据格式存储为：

[图片名][面色类别号]1：[H分量]2：[S分量]3：[V分量]4[H分量]…13：[H分量]14：[S分量]15：[V分量]。

3.从面象库中选择训练样本500例，其中200例用于交叉测试，300例用于训练SVM分类器。为了保证训练样本的正确性，在样本图像中手工划分脏腑反射区，利用上述方法提取皮肤块的颜色特征并保存，构成训练集。每幅图片都由中医专家标定其面色类别，面色特征和病症。提取每幅面象的15维颜色特征作为输入，人脸面色分为正常，黑，青，赤，白，黄(见附表1)作为输出，使用多类支撑向量机算法建立分类模型。当得到新采集的图像时，按上述方法提取其特征向量，输入分类器，得到识别结果。

4.在检索模块，按上述方法自动提取人脸各区域的皮肤块，并将其颜色特征存入特征数据库。按公式(3)计算新输入面象与样本面象特征向量的相似度，按相似度从大到小排序，得到一组检索结果。选中其中一幅面象后，在图片下方显示该样本图片的相关信息，包括病人的年龄，性别，面色类别，面色特征及其病症描述。采用上述方法进行面象检索，本发明的查准率可以达到70％，查全率约为65％，具有一定的参考价值。

表1  面部五色主病表

Claims (1)

1.基于图像分析的中医面色识别和检索方法，其特征在于步骤如下：

1)面象的采集

面象的采集环境：

(1)选用代表日光的标准光源D65；

(2)显色指数为84～95，色温为6500K；

(3)照明光源的几何条件按照国际照明委员会推荐的45/0(照明/观测)安排光路；

(4)图像采集设备的彩色深度为24bit，白平衡为日光类型；

采集的面象通过USB接口输入到计算机中，对每个病人的样本图片进行面色类别，面色特征和病症标注，建立面象与症状数据库；

2)、人脸检测与区域分割

将人脸图分割成五个部分，提取五个部分相应的皮肤块；

2.1人脸检测

采用的是类Haar特征的人脸检测算法进行人脸检测；

2.2瞳孔定位和图像旋转

采用基于Gabor变换的人眼定位方法，利用Gabor变换后的图像在眼睛处幅值较大的特点，通过投影方法得到眼睛瞳孔坐标；

对图像进行旋转校准，用瞳孔坐标来计算图像的旋转角度：

$\mathrm{\θ}=\arctan \left(\frac{\mathrm{REye}\_y-\mathrm{LEye}\_y}{\mathrm{REye}\_x-\mathrm{LEye}\_x}\right)---\left(1\right)$

LEye_x为左瞳孔的横坐标，LEye_y为左瞳孔的纵坐标，REye_x为右瞳孔的横坐标，REye_y为右瞳孔的纵坐标，θ为需要旋转的角度；

2.3根据面部脏腑对应图提取皮肤块

采用积分投影法对旋转后的人脸图像，进行人脸各部分区域的定位；

将旋转后的人脸图像，转换成灰度图，在水平方向进行积分投影，得到积分曲线，第一个明显的波谷对应着脸的左边界，最后一个明显的波谷对应着脸的右边界；得到脸的左右边界之后，再次对灰度图像进行局部的积分投影，同样在积分曲线上有四个明显的波谷，分别得到眉毛、眼睛、鼻孔和嘴的位置，获得4条水平线；按照上述的Gabor定位法精确定位瞳孔后，得到左右瞳孔的竖直位置，得到2条纵线，然后取左右瞳孔的中间位置，得到一条脸部的中线，这样共得到3条纵线；

提取了人脸的五个典型区域的色块，即额头、左脸颊、鼻面、右脸颊、下巴的色块；

3)根据面色特征进行面色识别和图像检索

3.1面色识别

采用MEPG-7的主颜色描述子来提取皮肤区域的主色调，得到占主要分量的像素点，求取主像素点的均值作为肤色信息；

对每幅图像提取五个色块，每个色块均值用三个量表述其颜色值，即一个15维颜色向量作为该人脸图像的特征向量；在HSV空间求取色块均值；

本发明采用多分类向量机来对面诊特征向量识别归类：提取上述面象与症状数据库每幅人脸图像的15维颜色特征矢量作为输入，人脸面色分为正常，黑，青，赤，白，黄作为输出，使用多类支撑向量机算法建立分类模型；

当得到新采集的图像时，按上述方法提取其特征向量，输入分类器，得到识别结果；

3.2面象检索

对图像库中的样本图像按上述的方法进行分割，得到五个皮肤块的特征向量，采用欧氏距离计算新采集图像与样本库图像特征向量间的相似度，相似度计算公式如下所示：

$D=\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|Q_i-I_i|}^2}---\left(3\right)$

D为新输入面象Q与数据库中面象I之间的距离；Q_i为输入面象Q的第i个特征矢量；I_i为面象库中一幅面象的第i个特征矢量；N为每幅图像对应的特征矢量的维数，此处N＝15；i＝0，1，2，3…14，指每维特征；根据计算结果，对相似度值从小到大进行排序，D值越小越相似，返回相似度较大的15幅样本图片；当用户选中其中一幅检索结果时，给出该新采集图像相应的病症描述。

Images