CN104573668A - 基于光谱反射率的面部色泽适应性自动识别方法 - Google Patents

Abstract

基于光谱反射率的面部色泽适应性自动识别方法属于中医色诊的客观化研究领域，用于实现面部色泽的分析，并针对不同人的正常色表现不同，进行面色及其清浊、微甚、散抟、泽夭的适应性识别。本发明通过采集各类面色的光谱反射率，采用有限维模型方法确定面色光谱反射率函数。将面部光谱反射率采用函数的线性组合来表示。以颈部肤色为参考色，将面色与参考色的函数系数差作为面色的特征向量。采用支持向量机识别方法，得到整体面色及色部面色所属类别。同时，通过反射率累积和、在系数空间特征向量位置、邻域系数变化幅值、系数图梯度变化规律，分别判断面色的清浊、微甚、散抟、泽夭。

Description

基于光谱反射率的面部色泽适应性自动识别方法

技术领域

本发明属于中医色诊的客观化研究领域，特别涉及中医面部色诊的定量化及自动分析领域，用于实现面部色泽的分析，并针对不同人的正常色表现不同，进行面色及其清浊、微甚、散抟、泽夭的适应性识别。

背景技术

面部色诊是通过观察病人颜面五官气色的变化以了解病情的诊断方法，它是中医独特的诊断方法，可以为疾病的定性、定位以及预后提供一定的诊断依据，具有重要的诊断意义。在传统中医色诊中，医生在自然光线下对病人目视观察，进行判断分析，并用语言文字描述病人症状。这种方法主观性强，易受时间、季节、气候等条件的影响，造成对面部颜色的判别因人因时因地而异，难以获得客观化、定量化的信息，给临床、教学和科研带来了诸多不便，也阻碍了学术交流。随着现代科学技术手段在中医诊断方面的发展，色诊客观化、标准化、自动化的研究也成为中医现代化的重要发展方向。

中医色诊中，将面色分为正常色以及白、黄、赤、青、黑六种，且局部面色(即色部)对应各脏腑的功能状态。正常面色为红黄隐隐，明润含蓄。不同病色及其清浊、微甚、散抟、泽夭反映了疾病的属性、病程长短、病势轻重、疾病转归等具体情况。医生通过对这些因素的综合判断进行疾病的诊断。其中，清浊表示色泽明亮还是晦暗，可辅助辨别疾病的阴阳属性；微甚表示色的浅淡还是深浓，可辅助辨别疾病的虚实；散抟表示色泽的疏离还是团聚，可辅助辨别病程的久新；泽夭表示色的明润还是枯槁，可辅助辨别疾病的预后转归。由于禀赋和生活条件不同，不同人的面色会有差异。考虑个人面色差异性，在面部色泽信息客观记录的基础上，进行面部色泽(包括面色及其清浊、微甚、散抟、泽夭)量化分析以及适应性识别，可以为中医色诊提供辅助依据。

发明内容

本发明是在面部光谱反射率图像采集或复原的基础上提出的。即：通过光谱反射率图像复原系统或光谱相机，采集得到各像素为面部对应点光谱反射率的图像。以此数据为基础，进行整体及色部的面色及其清浊、微甚、散抟、泽夭的量化分析以及适应性识别。

颜色是物体对照明光谱反射后在人眼中的视觉感受。因此，光谱反射率是物体颜色的本质属性，以面部光谱反射率为数据基础进行色泽分析，相比图像数据更为准确可靠。

本发明具体方案设计如下：通过采集各类面色的光谱反射率，采用有限维模型方法确定面色光谱反射率基函数。将面部光谱反射率采用基函数的线性组合来表示。以颈部肤色为参考色，将面色与参考色的基函数系数差作为面色的特征向量。采用支持向量机识别方法，得到整体面色及色部面色所属类别。同时，通过反射率累积和、在系数空间特征向量位置、邻域系数变化幅值、系数图梯度变化规律，分别判断面色的清浊、微甚、散抟、泽夭。依次包括如下步骤：

1)面色光谱反射率基函数的确定：

由于可见光范围的光谱反射率是一个高维向量(以5nm采样间隔计算，在380nm-780nm的可见光光谱范围内，为81维向量)，因此在数据分析中需采用一定方式对其进行降维处理。基于有限维模型理论，皮肤的光谱反射率可相当精确地用有限维线性模型来近似。因此，通过对面部光谱反射率分析，确定线性模型中的主要基函数，即可用这些基函数的系数表示光谱反射率。本发明在实际面部光谱反射率样本基础上，通过主成分分析(PCA)方法，确定面色光谱反射率基函数。具体步骤如下：

(1)、采集各类中医面色的光谱反射率样本，需要包含正常色、白色、黄色、赤色、青色、黑色各类用例，共6类；每类用例需要包含100例以上的实例，且由三位以上中医医师给出所属类型标定。

(2)、采用PCA方法，对采集到的所有面色光谱反射率提取能量最为集中(能量占总能量99.5％以上)的基函数。

2)面色特征向量的提取：

在基函数确定的基础上，面部光谱反射率可采用其在基函数空间的投影系数表示。由于肤色受到地域、年龄、性别、季节、生活习惯等多方面的影响，表现为正常面色的个体差异性较大。研究表明，颈部肤色比较准确地反映了个体正常肤色状态。因此本发明以颈部肤色作为个体正常对照参考色，将面色与参考色的基函数系数差作为面色的特征向量。此外，中医面色诊察包含各色部色以及整体面色，因此本发明针对两者分别提取特征向量。具体步骤如下：

(1)、将被测面部各色部光谱反射率与被测者颈部光谱反射率均采用基函数的线性组合表示。即计算它们在基函数空间的投影系数，该投影系数即为线性组合中的基函数加权系数。

(2)、以颈部光谱反射率为参考色，将面色与参考色的基函数系数差作为面色的特征向量。其中，各色部与参考色的基函数系数差作为色部色特征向量；各色部光谱反射率平均值与参考色的基函数系数差作为整体面色特征向量。

3)面部面色属性识别：

(1)、采用支持向量机方法构建多类分类模型，采用各类面色特征向量样本集训练分类器。

(2)、利用训练好的分类器，对整体面色和色部色进行所属类别判断。

4)面色清浊的识别与量化：

清浊表示面色的色泽明亮还是晦暗，在同一类面色中色泽明亮表现为反射率数值较高，色泽晦暗则表现为反射率数值较低。因此，本发明根据反射率与同类面色正常反射率的差值，对面色清浊进行识别和量化。具体步骤如下：

若被测面色识别为某一类面色，则计算该面色各波段光谱反射率和。计算被测面色反射率和与正常反射率和的差值，即为清浊程度。若差值为正，则为清；若差值为负，则为浊；差值越大，清浊程度越重。其中，正常反射率和通过计算正常色样本集中样本的各波段光谱反射率之和，并求平均值来确定。

5)面色微甚的识别与量化：

微甚表示面色的浅淡还是深浓，表示面色在所属类别上偏离正常色的程度。因此，本发明采用在特征向量空间，被测面色与正常面色中心的欧式距离，对面色微甚进行识别与量化。具体步骤如下：

若被测面色识别为某一类面色，则计算该面色特征向量与正常色特征向量的欧式距离，即为该类面色的微甚程度。距离越大，表示属该类面色越甚，反之则表示属该类面色越微。其中，正常色特征向量通过计算正常色样本集中样本的特征向量的平均值来确定。

6)面色泽夭的识别与量化：

泽夭表示面色的明润还是枯槁，在物理特征上表现为面色分布的均匀性。面色均匀则较明润，面色差异大则较枯槁。因此，本发明采用色部领域范围内特征向量的变化幅度，对面色的泽夭进行识别与量化。具体步骤如下：

若被测面色识别为某一类面色，则提取色部邻域多点的光谱反射率，并计算各点的特征向量。求所有点的特征向量平均值，计算各点特征向量与平均特征向量的差向量。计算所有点差向量绝对值的平均值，得到平均差向量。平均差向量各元素的平均值，即为面色泽夭程度。该平均值越大，表示面色越夭，反之越泽。

7)面色散抟的识别与量化

散抟表示面部色泽的疏离还是团聚，在物理特征上表现为颜色分布的分散与聚合。本发明采用邻域特征向量梯度图，得到颜色变化分布，并根据分块区域中的颜色变化分布，判断颜色的分散程度。若颜色变化分布在各个分块，则表示颜色分布分散；若分布在少数分块，则表示颜色分布聚合。具体步骤如下：

若被测面色识别为某一类面色，则提取色部邻域多点的光谱反射率，并计算各点的特征向量。各点特征向量的对应元素，构成基元素图。计算各基元素图的梯度图，阈值分割得到各基元素梯度二值图。将各基元素梯度二值图采用并操作合并。将合并二值图分块，计算各块像素平均值，并计算最大平均值与最小平均值之差。计算合并二值图像素整体平均值。计算整体平均值与分块平均值差的比值，即为面色散抟程度。比值越大表示面色越散，反之越抟。

以上步骤4)-7)步骤为并列关系。

有益效果

光谱反射率反映颜色的本质，能充分描述颜色属性和差异。目前，中医面色的识别通常采用数字图像数据，将反映颜色本质的光谱信息通过滤色阵列用R、G、B三原色通道表示。因此，面色信息有所损失，会出现数据相同但光谱性质不同的情况。在分析方法方面，一般仅对面色属性直接识别，忽视个体肤色的差异，做出的判断往往不准确。此外，未针对中医色诊中面色的明暗、浅浓、散聚、润枯等属性进行分析，给出量化参考。

本方法可基于面部光谱反射率及其分布，结合颈部参考色，实现中医整体面色及色部色的适应性自动识别。同时，提取面色明暗特征进行清浊的量化分析；提取面色的深浅特征进行微甚的量化分析；提取面色的散聚特征进行散抟的量化分析；提取面色的润枯特征进行泽夭的量化分析。从而给出疾病的阴阳、虚实、久新、转归的数据参考依据。本方法从中医面部色诊角度，对疾病性质、程度、发展趋势同时提供定性及定量的依据，有利于推动舌诊客观化研究。

附图说明

图1：基于光谱反射率的中医面部色泽适应性识别方法流程图。

具体实施方式

本方法基于面部及颈部光谱反射率图像数据提出。光谱反射率图像是指各像素数据为对应点光谱反射率的图像，可通过光谱反射率图像复原系统或光谱相机采集获得。以此数据为基础，进行整体及色部的面色及其清浊、微甚、散抟、泽夭的量化分析以及适应性识别。具体实施过程参见附图1，如下：

1.面色光谱反射率基函数的确定：

(1)、通过光谱反射率图像或单点测量方式，采集各类中医面色的光谱反射率样本，需要包含正常色、白色、黄色、赤色、青色、黑色各类用例，共6类；每类用例需要包含100例以上的实例，且由三位以上中医医师给出所属类型标定。

(2)、基于有限维模型理论，采用PCA方法，对采集到的所有面色光谱反射率提取能量最为集中的k个基函数，如对应特征值能量和占总能量的99.5％以上的k个基函数(一般k<5)。具体过程如下：

设光谱反射率样本集的协方差矩阵为：

$\mathrm{\&Sigma;}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}(x_i-\mathrm{\&mu;}){(x_i-\mathrm{\&mu;})}^T=\frac{1}{M}{\mathrm{XX}}^T---\left(4\right)$

其中，X＝[x₁-μ,x₂-μ,…,x_M-μ]，x_i为第i个样本向量，μ为样本集的平均向量，M为样本数目。计算矩阵Σ的特征值和相应的特征向量，选择特征值能量和占总能量的99.5％以上的的k个特征向量u_i，确定为光谱反射率样本集的基函数。

2.面色特征向量的提取：

(1)、采集被测面部各色部光谱反射率与被测者颈部光谱反射率，计算它们在基函数空间的投影系数，该投影系数即为线性组合中的基函数加权系数。对于光谱反射率样本F，其在基函数子空间的投影系数：

Y＝U^TF

其中，U＝[u₁,u₂,…,u_k]为k个基函数构成的矩阵。

(2)、以颈部光谱反射率为参考色，将面色与参考色的基函数系数差作为面色特征向量L。其中，各色部与参考色的基函数系数差作为色部色特征向量L_Si(i为色部序号)；各色部光谱反射率平均值与参考色的基函数系数差作为整体面色特征向量L_Z。

3.面部面色属性识别：

(1)、采用支持向量机方法构建多类分类模型，采用各类面色特征向量样本集训练分类器。

(2)、利用训练好的分类器，对整体面色和色部色进行所属类别判断。

4.面色清浊的识别与量化：

若被测面色识别为某一类面色，则计算该面色各波段光谱反射率和其中，Δλ是波长间隔，f_i是各波段光谱反射率，m为波段采样数。

计算正常色样本集中所有样本的平均光谱反射率和，记为正常反射率和。其中，N为正常样本数，Δ_i为各正常样本光谱反射率和。

计算被测面色反射率和与正常反射率和的差值，即为清浊程度。若差值为正，则为清；若差值为负，则为浊；差值越大，清浊程度越重。

5.面色微甚的识别与量化：

若被测面色识别为某一类面色，则计算该面色特征向量L与正常色特征向量的欧式距离，即为面色的微甚程度。

距离越大，表示面色越甚，反之则表示面色越微。其中，正常色特征向量通过计算正常色样本集中样本的特征向量的平均值来确定，

6.面色泽夭的识别与量化：

若被测面色识别为某一类面色，则提取色部邻域m×n点的光谱反射率，并计算各点的特征向量L_ij。

求所有点的特征向量平均值，

计算各点特征向量与平均特征向量的差向量，

计算所有点差向量绝对值的平均值，得到平均差向量，

平均差向量各元素的平均值，即为面色泽夭程度。该平均值越大，表示面色越夭，反之越泽。

7.面色散抟的识别与量化

若被测面色识别为某一类面色，则提取色部邻域m×n点的光谱反射率，并计算各点的面色特征向量L_ij＝[l₁,l₂,…l_k]_ij，i＝1,2,…m；j＝1,2,…n。

各点特征向量的对应元素，构成基元素图T_x＝[l_ijx]，x＝1,2,…k。

计算各基元素图的梯度图，阈值分割得到各基元素梯度二值图D_x＝[d_ijx]，x＝1,2,…k。

将各基元素梯度二值图采用并操作合并，得到合并二值图，B＝[b_ij]＝[d_ij1∪d_ij2…∪d_ijk]，i＝1,2,…m；j＝1,2,…n。

将合并二值图分为4*4的小块，计算各块像素平均值，并计算最大平均值与最小平均值之差d。

计算合并二值图像素整体平均值a。计算整体平均值与分块平均值差的比值，即为面色散抟程度。比值越大表示面色越散，反之越抟。

Claims (1)

1.基于光谱反射率的面部色泽适应性自动识别方法，其特征在于，步骤如下：

1)面色光谱反射率基函数的确定：

(1)、采集各类中医面色的光谱反射率样本，需要包含正常色、白色、黄色、赤色、青色、黑色各类用例，共6类；每类用例需要包含100例以上的实例，且由三位以上中医医师给出所属类型标定；

(2)、采用PCA方法，对采集到的所有面色光谱反射率提取能量占总能量99.5％以上的基函数；

2)面色特征向量的提取：

(1)、将被测面部各色部光谱反射率与被测者颈部光谱反射率均采用基函数的线性组合表示；，即计算它们在基函数空间的投影系数，该投影系数即为线性组合中的基函数加权系数；

(2)、以颈部光谱反射率为参考色，将面色与参考色的基函数系数差作为面色的特征向量；其中，各色部与参考色的基函数系数差作为色部色特征向量；各色部光谱反射率平均值与参考色的基函数系数差作为整体面色特征向量；

3)面部面色属性识别：

(1)、采用支持向量机方法构建多类分类模型，采用各类面色特征向量样本集训练分类器；

(2)、利用训练好的分类器，对整体面色和色部色进行所属类别判断；

4)面色清浊的识别与量化：

若被测面色识别为某一类面色，则计算该面色各波段光谱反射率和；计算被测面色反射率和与正常反射率和的差值，即为清浊程度；若差值为正，则为清；若差值为负，则为浊；差值越大，清浊程度越重；其中，正常反射率和通过计算正常色样本集中样本的各波段光谱反射率之和，并求平均值来确定；

5)面色微甚的识别与量化：

若被测面色识别为某一类面色，则计算该面色特征向量与正常色特征向量的欧式距离，即为该类面色的微甚程度；距离越大，表示属该类面色越甚，反之则表示属该类面色越微；其中，正常色特征向量通过计算正常色样本集中样本的特征向量的平均值来确定；

6)面色泽夭的识别与量化：

若被测面色识别为某一类面色，则提取色部邻域多点的光谱反射率，并计算各点的特征向量；求所有点的特征向量平均值，计算各点特征向量与平均特征向量的差向量；计算所有点差向量绝对值的平均值，得到平均差向量；平均差向量各元素的平均值，即为面色泽夭程度；该平均值越大，表示面色越夭，反之越泽；

7)面色散抟的识别与量化

若被测面色识别为某一类面色，则提取色部邻域多点的光谱反射率，并计算各点的特征向量；各点特征向量的对应元素，构成基元素图；计算各基元素图的梯度图，阈值分割得到各基元素梯度二值图；将各基元素梯度二值图采用并操作合并；将合并二值图分块，计算各块像素平均值，并计算最大平均值与最小平均值之差；计算合并二值图像素整体平均值；计算整体平均值与分块平均值差的比值，即为面色散抟程度；比值越大表示面色越散，反之越抟；

以上步骤4)-7)步骤为并列关系。2 -->