CN102496002A - 基于图像的人脸美貌度评价方法 - Google Patents

Abstract

本发明涉及一种基于图像的人脸美貌度评价方法。它是根据人脸所具有的类Haar特征，定位人脸区域，提取人脸面部的眉毛、人眼、鼻子、嘴巴特征并确定其位置，结合人脸肤色的聚类性确定人脸边界。根据人脸面部的眉毛、人眼、鼻子、嘴巴等特征以及人脸边界特征之间所具有的不同比例及其评分权重，通过计算所提取的人脸面部特征各比例与人脸的美学特征比例之间的差异度，对人脸美貌度进行自动评价。从而快速有效地评价人脸美貌度，满足人脸美貌的评价要求。本发明的方法简便、灵活、易实现。

Description

基于图像的人脸美貌度评价方法

技术领域

本发明涉及一种基于图像的人脸美貌度评价方法，用于视频数字图像分析与理解。属于智能信息处理技术领域。

背景技术

随着社会的发展，人们不单仅满足于物质生活，还不断关注娱乐、艺术等。在满足物质生活的同时，人们正越来越多地寻求不同方法，力图使其美貌度上升。目前人脸美貌度主要是通过主观评价进行评分，主观评价缺乏客观统一准则，且易受生理、心理等因素影响；为克服上述不足，现有人脸的美貌度评价方法可分为两类：一类是基于模型方法，该方法使用设定好的椭圆模型进行人脸美貌度评价，受椭圆模型的设定影响大，且适应性有限。二是基于机器学习方法，通过训练样本得到评价人脸美貌度的标准，再对人脸面部相貌进行分类、评价，该类方法明显受所训练样本的多样性的影响，且人脸的美貌度受分类器的设定影响明显。

本发明的目的在于针对现有人脸美貌度评价方法存在需要有关人脸模型的先验知识或多样化的训练样本，以及人工判断，既耗时又受人为因素影响等问题，提供一种改进的基于图像的人脸美貌度评价方法。它是根据人脸面部特征自动计算人脸的美貌度，从而提高人脸美貌度评价的灵活性和简便性。

为达到上述目的，本发明的构思是：根据人脸面部所具有的类Haar特征以及人脸肤色的聚类性，定位人脸面部相关特征以及人脸边界，通过计算所提取的人脸相关特征各比例与人脸的美学特征比例之间的差异度，对人脸美貌度进行自动评价，从而快速有效地评价人脸美貌度，满足人脸美貌度的评价要求。

根据上述发明构思，本发明采用下述技术方案：

一种基于图像的人脸美貌度评价方法。它是根据人脸面部特征，自动计算人脸的美貌度，具体步骤如下：

1)启动人脸美貌度评价图像采集系统：采集人脸图像；

2)定位人脸图像区域

根据人脸面部所具有的类Haar人脸特征，采用Haar人脸特征分类器，定位人脸区域； 

3)定位人脸面部特征； 

4)确定人脸面部边界；

5)评价人脸美貌度。

上述步骤3)的具体操作步骤如下：

(1)人眼特征定位：

a)利用步骤2)所定位的人脸区域，根据人眼所具有的类Haar人眼特征，采用Haar人眼特征分类器，定位初始的人眼位置；

b)根据人脸面部特征分布满足三分之一比例，将步骤a)中满足特征分布在人脸上半部1/3区域的特征点，确定为人眼位置(x _e , y _e )；

c)根据已确定的人眼位置(x _e , y _e )，若左、右人眼的纵坐标的差值大于一个像素，表明人脸图像存在倾斜，需校正，并由此确定人脸图像倾斜角θ；根据倾斜角θ，对图像进行反向旋转以得到正向人脸图像，并由此确定正向人脸图像的人眼位置(x, y)，作为人眼的最终位置：

x=x _e cosθ+y_esinθ; y= -x _e  sinθ+y_e cosθ

否则，人脸图像不需校正，并将步骤b)所确定的人眼位置(x _e , y _e )，确定为最终的人眼位置(x, y)；

(2)鼻子特征定位

d)利用步骤2)与步骤(1)所确定的人脸图像区域，根据鼻子所具有的类Haar鼻子特征，采用Haar鼻子特征分类器，定位初始的鼻子位置；

e)根据人脸面部特征分布满足三分之一比例，将步骤d)中满足特征分布在人脸中部1/3区域的特征点，确定为最终的鼻子位置；

(3)嘴巴特征定位

f)利用步骤2)与步骤(1)所确定的人脸图像区域，根据嘴巴所具有的类Haar嘴巴特征，采用Haar嘴巴特征分类器，定位初始的嘴巴位置；

g)根据人脸面部特征分布满足三分之一比例，将步骤f)中满足特征分布在人脸下部1/3区域的特征点，确定为最终的嘴巴位置；

(4)眉毛特征定位

h)利用步骤2)与步骤(1)所确定的人脸图像区域，以及步骤(1)与步骤(2)所确定的人眼位置与鼻子位置，截取人脸图像区域中的上1/3区域；

i)对步骤h)所得区域进行水平方向投影，得到两个明显的波谷，分别对应人眼和眉毛的垂直方向位置；

j)根据步骤1)所确定的人眼位置，将步骤i)投影曲线中的另一波谷，确定为眉毛的位置；

上述步骤4)的具体操作步骤如下：

(1)彩色空间转换，计算色彩值Cr，Cb：由RGB彩色空间的红R、绿G、蓝B三分量，计算YCbCr色彩空间的色彩值Cr，Cb：

Cr = 0.5×R - 0.4187×G – 0.0813×B

Cb= -0.1687×R – 0.3313×G + 0.5×B

(2)肤色区域提取：分别确定色彩值Cr，Cb以及Cr/Cb的阈值T ₁，T ₂，T ₃，T ₄，T ₅，将满足下式的所有像素组成的区域，确定为肤色区域S

S = (Cr≥T ₁∩Cr≤T ₂) ∩（Cb≥T ₃∩Cb≤T ₄）∩ (Cr/Cb≥T ₅）

其中， ∩为“逻辑与”操作符；

(3)肤色区域人脸图像的边缘检测：将同时满足步骤2)与步骤(2)的图像区域，作为人脸图像区域，对该图像区域进行边缘检测；

(4)投影：对步骤(3)所得的边缘图像，分别进行水平和垂直方向投影，根据投影曲线中的峰值和步骤3)中所确定的人脸面部特征，分别确定人脸的左、右边界和头顶以及下巴的边界，将此边界作为人脸边界；

上述步骤5)的具体操作步骤如下：

(1)根据步骤3)与步骤4)所确定的人脸面部特征和人脸边界，分别计算眼睛到下巴的垂直距离与额头到眼睛的垂直距离的比值、额头到鼻尖的垂直距离与鼻子到下巴轮廓线的垂直距离的比值、眼睛到嘴唇的垂直距离与嘴唇到下巴轮廓线的垂直距离的比值、鼻子到下巴的垂直距离与眼睛到鼻子的垂直距离的比值、眼睛到鼻了的垂直距离与鼻子到嘴唇的垂直距离的比值、嘴唇到下巴的垂直距离与鼻子到嘴唇的垂直距离的比值、脸的左右宽度与头顶到下巴的垂直距离的比值、人眼的水平距离与人脸的左右宽度的比值、眉毛到鼻子的垂直距离与头顶到下巴的垂直距离的比值、鼻子到下巴的垂直距离与头顶到下巴的垂直距离的比值、头顶到眉毛的垂直距离与头顶到下巴的垂直距离的比值；

(2)计算距离人脸的美学特征标准值的偏差，计算人脸美貌度：

其中，M为步骤(1)中所计算的各特征之间的比值，P为美学比例标准值，r为步骤(1)中各特征之间的比例权值。

本发明的原理如下：

在本发明的技术方案中，人脸相貌虽因人而异，且随着年龄增长将发生变化，但其面部各特征之间的比例却保持不变性，其人脸的美学特征比例标准值如下：

由上表知，为基于人脸图像评价人脸美貌度，关键是如何有效提取上述人脸面部的眉毛、人眼、鼻子、嘴巴特征及其人脸边界。

由于人脸面部具有较明显的类Haar人脸特征，因此，可根据Haar人脸特征分类器方法，检测人脸区域。在此基础上，根据人眼所具有的类Haar人眼特征，定位人眼的初始位置。由于人脸面部下巴等区域也具有与人眼近似的类Haar人眼特征，易出现误检。为克服上述不足，根据人脸面部相关特征的分布具有三分之一比例，人眼区域分布在人脸上半部的1/3区域，因此，可设置感兴趣区域，消除人眼的误定位，以得到正确的人眼位置。

基于已确定的人眼位置，若左、右人眼的纵坐标的差值大于一个像素，表明人脸图像存在倾斜，需校正，并由此确定人脸图像倾斜角。根据倾斜角对图像进行反向旋转，得到正向人脸图像。并由此根据上述已确定的人眼位置以及人脸图像倾斜角，按下式确定人眼位置：

x=x _e cosθ+y_esinθ; y= -x _e  sinθ+y_e cosθ

式中，θ为人脸图像倾斜角，(x _e ，y _e )为校正前检测的人眼位置，(x，y)为校正后的人眼位置。

根据上述确定的人脸图像，基于鼻子、嘴巴也分别具有的相应类Haar鼻子和嘴巴特征，以及人脸面部相关特征的分布满足三分之一比例，分别确定鼻子与嘴巴的感兴趣区域，并最终定位鼻子与嘴巴的位置。

根据检测出的人脸区域中已确定的人眼与鼻子位置，截取人脸区域中的上1/3区域，进行水平方向投影，由于人眼、眉毛与人脸其它区域特征具有明显的灰度差异，因此，在投影曲线上将出现两个明显的波谷，分别对应眉毛和眼睛的垂直方向位置。根据已确定的人眼位置，另一波谷即为眉毛的垂直位置。

在确定人脸边界时，由于肤色是人脸重要的特征之一，它不受人体姿态、面部和人体部分遮挡等影响，且人脸肤色虽多种多样，但在一定的颜色空间内具有良好的聚类特性，即在某一颜色空间，肤色收敛于一个较小的色度区域，因此，可根据人脸肤色的聚类特性，定位人脸边界。其中，在YCbCr空间中，人脸肤色具有良好的聚类特性，与非肤色点的重叠部分较少，尤其在CbCr子空间上，人脸肤色聚类于类椭圆范围内，分布集中。在YCbCr 模型中，Y分量表示颜色的亮度信息，Cr和Cb 分量分别表示红色和蓝色的色度。从RGB 空间转换到YCbCr 空间的转换公式如下：

在YCbCr 空间中，肤色在Cb、Cr以及Cr/Cb的分布上，处在一个稳定的范围内，即，在当前获取的图像中，将满足(Cr≥T ₁∩Cr≤T ₂) ∩（Cb≥T ₃∩Cb≤T ₄）∩ (Cr/Cb≥T ₅）条件的像素，作为当前人脸图像的肤色区域，其中，∩为“逻辑与”操作符。

根据所得人脸图像的肤色区域，获取肤色区域人脸图像，并对该肤色人脸图像进行边缘检测，将得到有关人脸面部中的头顶、下巴以及人脸左、右边缘轮廓线等边缘特征。通过对上述肤色人脸图像的边缘检测二值图分别进行水平、垂直方向投影，根据投影曲线中的峰值，可确定人脸左、右以及上、下的边界。

基于已确定的人脸相关特征、人脸的左、右以及上、下边界，确定人脸特征各比例值，根据人脸特征各比例值与人脸的美学特征比例标准值之间存在差异，对一幅人脸图像，利用下式，由提取的人脸特征，计算人脸美貌度：

式中，M为根据人脸特征定位值所计算的各特征之间的比值，P为美学比例标准值，r为检测的人脸各特征之间的比例权值，其取值如下：

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据人脸所具有的类Haar特征以及人脸肤色的聚类性，提取人脸面部的眉毛、人眼、鼻子、嘴巴特征并确定确定人脸边界，利用人脸面部各特征之间所具有的不同比例及其评分权重，通过计算所提取的人脸特征各比例与人脸的美学比例之间的差异度，对人脸美貌进行自动评价，运算简便、灵活，容易实现，解决了在评价人脸相貌的美貌度时需要有关人脸模型的先验知识或多样化的训练样本，以及人工判断，既耗时又受人为因素影响等的不足；提高了人脸美貌度评价的鲁棒性，可适应多种复杂背景条件下的人脸美貌度的自动评价，满足人脸美貌的评价要求。本发明的方法简便、灵活、易实现。

附图说明

图1是本发明方法的操作程序框图。

图2 是本发明一个实施例的原始人脸图像。

图3是本发明一个实施例的人脸检测图像。

图4是本发明一个实施例的人眼定位图像。

图5是本发明一个实施例的鼻子定位图像。

图6是本发明一个实施例的嘴巴定位图像。

图7是本发明一个实施例的眉毛定位图像。

图8是本发明一个实施例的人脸肤色二值图像。

图9是本发明一个实施例的肤色人脸图像的边缘检测二值图像。

图10是本发明一个实施例的人脸边界定位图像。

图11是本发明一个实施例的彩色对比图像。

具体实施方式

本发明的一个具体实施例是：操作程序如图1所示。本例的原始人脸图像如图2所示，根据人脸面部所具有的类Haar人脸特征，采用人脸Haar分类器，定位人脸区域，如图3圆圈所示。对图3所检测人脸区域进行眼睛、鼻子、嘴巴、眉毛以及左、右和上、下边界定位。具体步骤如下：

1)启动人脸美貌度评价图像采集系统：采集人脸图像；

2)定位人脸图像区域

根据人脸面部所具有的类Haar人脸特征，采用Haar人脸特征分类器，定位人脸区域，如图3圆圈所示； 

3)定位人脸面部特征

具体操作步骤如下：

(1)人眼特征定位：

a)利用图3所定位的人脸区域，根据人眼所具有的类Haar人眼特征，采用Haar人眼特征分类器，定位初始的人眼位置；

b)根据人脸面部特征分布满足三分之一比例，将步骤a)中满足特征分布在人脸上半部1/3区域的特征点，确定为人眼位置，如图4中圆点所示；

(2)鼻子特征定位

c)利用图3所定位的人脸区域，根据鼻子所具有的类Haar鼻子特征，采用Haar鼻子特征分类器，定位初始的鼻子位置；

d)根据人脸面部特征分布满足三分之一比例，将步骤c)中满足特征分布在人脸中部1/3区域的特征点，确定为最终的鼻子位置，如图5中圆点所示；

(3)嘴巴特征定位

e)利用图3所定位的人脸区域，根据嘴巴所具有的类Haar嘴巴特征，采用Haar嘴巴特征分类器，定位初始的嘴巴位置；

f)根据人脸面部特征分布满足三分之一比例，将步骤e)中满足特征分布在人脸下部1/3区域的特征点，确定为最终的嘴巴位置，如图6中圆点所示；

(4)眉毛特征定位

g)利用图3所定位的人脸区域，以及图4与图5所确定的人眼位置与鼻子位置，截取人脸图像区域中的上1/3区域；

h)对步骤g)所得区域进行水平方向投影，得到两个明显的波谷，分别对应人眼和眉毛的垂直方向位置；

i)根据图4所确定的人眼位置，将步骤h)投影曲线中的另一波谷，确定为眉毛的位置，如图7中圆点所示； 

4)确定人脸面部边界

具体操作步骤如下：

(1)彩色空间转换，计算色彩值Cr，Cb：由RGB彩色空间的红R、绿G、蓝B三分量，计算YCbCr色彩空间的色彩值Cr，Cb：

Cr = 0.5×R - 0.4187×G – 0.0813×B

Cb= -0.1687×R – 0.3313×G + 0.5×B

(2)肤色区域提取：分别确定色彩值Cr，Cb以及Cr/Cb的阈值范围，将满足下式的所有像素组成的区域，确定为肤色区域S，如图8所示；

S = (Cr≥87∩Cr≤133) ∩（Cb≥78∩Cb≤127）∩ (Cr/Cb≥1.05)

其中，阈值87，133，78，127，1.05为人脸肤色区域的实验经验值，∩为“逻辑与”操作符。

(3)肤色区域人脸图像的边缘检测：对图8所示的人脸肤色区域的图像进行边缘检测，如图9所示； 

(4)投影：对图9所得的边缘图像，分别进行水平和垂直方向投影，根据投影曲线中的峰值和已确定的人眼、眉毛、鼻子、嘴巴位置，分别确定人脸的左、右边界和头顶以及下巴的边界，如图10中方框所示；

5)评价人脸美貌度

具体操作步骤如下：

(1)根据上述所确定的人脸面部的人眼、眉毛、鼻子、嘴巴特征位置和人脸边界，分别计算眼睛到下巴的垂直距离与额头到眼睛的垂直距离的比值、额头到鼻尖的垂直距离与鼻子到下巴轮廓线的垂直距离的比值、眼睛到嘴唇的垂直距离与嘴唇到下巴轮廓线的垂直距离的比值、鼻子到下巴的垂直距离与眼睛到鼻子的垂直距离的比值、眼睛到鼻了的垂直距离与鼻子到嘴唇的垂直距离的比值、嘴唇到下巴的垂直距离与鼻子到嘴唇的垂直距离的比值、脸的左右宽度与头顶到下巴的垂直距离的比值、人眼的水平距离与人脸的左右宽度的比值、眉毛到鼻子的垂直距离与头顶到下巴的垂直距离的比值、鼻子到下巴的垂直距离与头顶到下巴的垂直距离的比值、头顶到眉毛的垂直距离与头顶到下巴的垂直距离的比值；

(2)计算距离人脸的美学特征比例标准值的偏差，计算人脸美貌度：

其中，M为步骤(1)中所计算的各特征之间的比值，P为美学比例标准值，r为上述步骤(1)中各特征之间的比例权值。

为了更清楚的说明问题，本实施例的一个彩色对比图如图11所示。

Claims (4)

1.一种基于图像的人脸美貌度评价方法，其特征在于利用人脸面部特征，自动评价人脸美貌度；其操作步骤如下：

1)启动人脸美貌度评价图像采集系统：采集人脸图像；

2)定位人脸图像区域

根据人脸面部所具有的类Haar人脸特征，采用Haar人脸特征分类器，定位人脸区域； 

3)定位人脸面部特征； 

4)确定人脸面部边界；

5)评价人脸美貌度。

2.根据权利要求1所述的基于图像的人脸美貌度评价方法，其特征在于所述步骤3）定位人脸面部特征的具体操作步骤如下：

(1)人眼特征定位：

a)利用步骤2)所定位的人脸区域，根据人眼所具有的类Haar人眼特征，采用Haar人眼特征分类器，定位初始的人眼位置；

b)根据人脸面部特征分布满足三分之一比例，将步骤a)中满足特征分布在人脸上半部1/3区域的特征点，确定为人眼位置(x _e , y _e )；

c)根据已确定的人眼位置(x _e , y _e )，若左、右人眼的纵坐标的差值大于一个像素，表明人脸图像存在倾斜，需校正，并由此确定人脸图像倾斜角θ；根据倾斜角θ，对图像进行反向旋转以得到正向人脸图像，并由此确定正向人脸图像的人眼位置(x, y)，作为人眼的最终位置：

x=x _e cosθ +y_esinθ; y= -x _e  sinθ +y_e cosθ

否则，人脸图像不需校正，并将步骤b)所确定的人眼位置(x _e , y _e )，确定为最终的人眼位置(x, y)；

(2)鼻子特征定位

d)利用步骤2)与步骤(1)所确定的人脸图像区域，根据鼻子所具有的类Haar鼻子特征，采用Haar鼻子特征分类器，定位初始的鼻子位置；

e)根据人脸面部特征分布满足三分之一比例，将步骤d)中满足特征分布在人脸中部1/3区域的特征点，确定为最终的鼻子位置；

(3)嘴巴特征定位

f)利用步骤2)与步骤(1)所确定的人脸图像区域，根据嘴巴所具有的类Haar特征，采用嘴巴Haar分类器，定位初始的嘴巴位置；

g)根据人脸面部特征分布满足三分之一比例，将步骤f)中满足特征分布在人脸下部1/3区域的特征点，确定为最终的嘴巴位置；

(4)眉毛特征定位

h)利用步骤2)与步骤(1)所确定的人脸图像区域，以及步骤(1)与步骤(2)所确定的人眼位置与鼻子位置，截取人脸图像区域中的上1/3区域；

i)对步骤h)所得区域进行水平方向投影，得到两个明显的波谷，分别对应人眼和眉毛的垂直方向位置；

j)根据步骤1)所确定的人眼位置，将步骤i)投影曲线中的另一波谷，确定为眉毛的位置。

3.根据权利要求1所述的基于图像的人脸美貌度评价方法，其特征在于所述步骤4)确定人脸面部边界的具体操作步骤如下：

(1)彩色空间转换，计算色彩值Cr，Cb：由RGB彩色空间的红R、绿G、蓝B三分量，计算YCbCr色彩空间的色彩值Cr，Cb：

Cr = 0.5×R - 0.4187×G – 0.0813×B

Cb= -0.1687×R – 0.3313×G + 0.5×B

(2)肤色区域提取：分别确定色彩值Cr，Cb以及Cr/Cb的阈值T ₁，T ₂，T ₃，T ₄，T ₅，将满足下式的所有像素组成的区域，确定为肤色区域S

S = (Cr≥T ₁∩Cr≤T ₂) ∩（Cb≥T ₃∩Cb≤T ₄）∩ (Cr/Cb≥T ₅）

其中， ∩为“逻辑与”操作符；

(3)肤色区域人脸图像的边缘检测：将同时满足步骤2)与步骤(2)的图像区域，作为人脸图像区域，对该图像区域进行边缘检测；

(4)投影：对步骤(3)所得的边缘图像，分别进行水平和垂直方向投影，根据投影曲线中的峰值和步骤3)中所确定的人脸面部特征，分别确定人脸的左、右边界和头顶以及下巴的边界，将此边界作为人脸边界。

4.根据权利要求1所述的基于图像的人脸美貌度评价方法，其特征在于所述步骤5）评价人脸美貌度的具体操作步骤如下：

(1)根据步骤3)与步骤4)所确定的人脸面部特征和人脸边界，分别计算眼睛到下巴的垂直距离与额头到眼睛的垂直距离的比值、额头到鼻尖的垂直距离与鼻子到下巴轮廓线的垂直距离的比值、眼睛到嘴唇的垂直距离与嘴唇到下巴轮廓线的垂直距离的比值、鼻子到下巴的垂直距离与眼睛到鼻子的垂直距离的比值、眼睛到鼻了的垂直距离与鼻子到嘴唇的垂直距离的比值、嘴唇到下巴的垂直距离与鼻子到嘴唇的垂直距离的比值、脸的左右宽度与头顶到下巴的垂直距离的比值、人眼的水平距离与人脸的左右宽度的比值、眉毛到鼻子的垂直距离与头顶到下巴的垂直距离的比值、鼻子到下巴的垂直距离与头顶到下巴的垂直距离的比值、头顶到眉毛的垂直距离与头顶到下巴的垂直距离的比值；

(2)计算距离人脸的美学特征比例标准值的偏差，计算人脸美貌度：

其中，X为步骤(1)中所计算的各特征之间的比值，P为美学比例标准值，r为步骤(1)中各特征之间的比例权值。

Images