CN101305913B - 一种基于视频的人脸美丽评价方法 - Google Patents

Abstract

本发明提供了一种基于视频的人脸美丽评价方法，通过如下步骤实现：(1)视频捕捉人脸信息；(2)对视频捕捉到的信息进行人脸检测，采用基于类haar特征的级联分类器实现对人脸的有效检测；(3)在人脸检测的基础上，进行眼睛和嘴唇定位，包括采用Sobel边缘检测算子和区域生长的方法来检测眼睛，以及利用人脸图像中的红色像素点的投影来确定嘴唇边界；(4)脸部轮廓提取，采用Snake模型进行轮廓的提取；(5)将提取到的信息与人脸美丽标准库进行比对，以确定人脸美丽评价结果。本发明使得计算机通过视频捕获人脸图像，并结合大量的人脸样本，训练出美丽分类的标准，从而实现实时的人脸美丽程度的评价。

Description

一种基于视频的人脸美丽评价方法

技术领域

本发明涉及计算机图像数据处理及模式识别技术，特别涉及一种计算机客观评价人脸美丽程度的系统。

技术背景

评价一个人是否美丽，不可避免的要受到评判人主观因素的影响，一般认为这是一个较抽象的任务。不同的民族有着自己评价的标准，以女人为例，欧洲以嘴大为美，但东方人却认为嘴巴小巧才是美丽的。而同一个民族，在不同时期的审美标准也大相径庭，汉朝的人喜欢像赵飞燕那样的瘦，到了唐朝却喜欢杨玉环般的丰满。即使是同一个民族，同一个时代，不同的个体对美丽的评价也是千差万别，因此，对美丽的评价难以产生一个统一的标准。然而，人们对于美丽的欣赏还是有一定的共性的因素，一张美丽的人的脸上总是存在着某些特征，这些特征承载着“美丽密码”。因此，美丽标准并非绝对抽象，随着人们对于人体美学研究的深入，对于人脸的美丽度，已经产生了一些量化的成果。这些量化的标准使得利用计算机对人脸是否美丽作一个客观的测评成为可能。然而，如何让计算机客观的评价一个人的美丽程度，目前这方面国内外相关的研究还比较少，有做过类似的研究也只是在基于静态图片上，基于视频的动态人脸美丽评价系统目前在国内尚没有先例。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视频的人脸美丽评价方法，具体通过建立人脸美丽程度的客观评价系统，该系统使得计算机通过视频捕获人脸图像，并结合大量的人脸样本，训练出美丽分类的标准，从而实现实时的人脸美丽程度的评价。

为了实现上述发明目的，采用的技术方案如下：

一种基于视频的人脸美丽评价方法，通过如下步骤实现：

(1)、视频捕捉人脸信息；

(2)、对视频捕捉到的信息进行人脸检测，采用基于类haar特征的级联分类器实现对人脸的有效检测；

(3)、在人脸检测的基础上，进行眼睛和嘴唇定位，包括采用Sobel边缘检测算子和区域生长的方法来检测眼睛，以及利用人脸图像中的红色像素点的投影来确定嘴唇边界；

(4)、脸部轮廓提取，采用Snake模型进行轮廓的提取；

(5)、将提取到的信息与人脸美丽标准库进行比对，以确定人脸美丽评价结果。

上述技术方案中，所述步骤步骤(3)对嘴唇的定位具体操作如下：

设一个阈值Thresh，以及一个用于表征红色比例的变量RedProp，RedProp＝((R-G)+(R-B))/(G+B)，其中R、G和B分别为像素点的红、绿和蓝色分量值，当RedProp＞Thresh时判定该点为红色像素点，并作标记；

定义红色像素点的垂直投影图的纵坐标为图像一列上所有被判断为红色的像素点个数之和，横坐标为列号，纵坐标长度为N，横坐标长度为M，它反映了图像在水平方向上红色像素点的变化，设红色点的标记由函数I(x，y)表示，则红色像素点垂直投影函数为：

$P_x\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\Σ}}}I(x,y)$

红色象素点的水平投影函数为：

$P_y\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}I(x,y)$

得到投影函数后，通过查找函数波峰，再往波谷方向扩展的方法来得到嘴唇区域的坐标。

所述步骤(3)对阈值Thresh大小的确定具体如下：

设人脸下半脸图像的高度为Height宽度为Width，在每次垂直投影的计算后，都计算由垂直投影波峰MaxRow到MaxRow/10的宽度LipHeight，即由波峰向两边扩展，若LipHeight大于Height/2，则增大阈值，并重新计算投影行投影计算，直到取到合适的阈值，在使用合适的阈值进行计算后便可采用从波峰向两侧波谷扩展的办法来获取嘴唇区域的上、下两个纵坐标及左、右两个横坐标。

所述步骤(4)还包括对Snake模型进行改进以进行下巴轮廓提取，具体采用了分段抛物线的初始曲线进行逼近，通过修改能量函数，以及让曲线在整幅图像中进行遍历伸缩，寻找到最匹配的曲线。

所述步骤(5)的人脸美丽标准库的制定如下：

采集多张标准的美丽脸部图片，对每一幅照片的眉，眼，鼻，嘴，耳特征点进行采集，并计算得到一组用于衡量美丽程度的特征值，即将每一幅图片映射到特征空间的一个点，再对这些特征值数据进行整理分析，以机器学习算法进行分类，得出各个部位美丽的标准指标。

本发明可运用到如下应用领域：

1、辅助医院进行美容整形，给出人脸各部分改进的最佳方案；

2、给动画、游戏设计人员设计虚拟人提供参照；

3、辅助进行选美赛事，使选美比赛多了一个客观评价标准；

除了上述的领域，还可以应用到医学，娱乐，生活等各个方面。与现有技术相比，本发明具有如下的优点：

1、提出了人脸美丽度的量化方法，使得运用技术手段客观地评价一个人的美丽程度成为可能；

2、综合视频处理、图像处理等技术手段稳定提取人脸的五官特征，为相应的分类算法提供用于分类的几何特征；

3、采用灰度熵用于度量人脸的皮肤粗糙度；

4、采用改进的Snake模型提取人脸的轮廓；

5、采用机器学习的方法，以一定规模的样本为训练集，基于上述皮肤信息和五官结构，脸形等结构信息，建立评判的标准。

附图说明

图1为本发明的流程图；

图2为本发明的类Haar特征示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

本发明的流程示意图如附图1所示，通过视频捕捉人脸信息后，进行人脸检测，再根据人脸检测的数据进行眼睛定位、眉毛定位、嘴唇定位、脸部轮廓提取、皮肤粗糙度计算，然后将处理后的数据通过识别分类与评价与标准人像数据进行比对，得出人脸美丽评价结果。

具体包括如下主要技术点：

1、视频捕获

本发明的第一步是建立实时视频捕获系统。为提高视频采集的速度，满足实时的要求，本发明采用DirectShow技术进行视频采集。Microsoft DirectShow应用程序界面(API)是Microsoft Windows平台的一种媒体流体系。它提供高品质的媒体流捕捉和回放并支持宽松的格式变化，包括高级流格式(ASF)，Motion Picture Experts Group(MPEG)，Audio-Video Interleaved(AVI)，MPEG声音层-3(MP3)和WAV文件。此外，它还支持使用Windows驱动模块(WDM)或老的Windows视屏驱动捕捉。采用DirectShow技术后，视频采集速度得到了提高，可以更好地满足实时性要求。

2、人脸检测

为实现有效的人脸检测，本发明采用基于类haar特征的级联分类器的检测方法。类Haar特征是由Papageorgiou等人在利用Haar小波变换从人脸中提取特征时，提出的局部Haar特征。类Haar特征通常由2至4个矩形组成，分别检测边界、细线或对角线特征，如附图2所示。该算法的检测效果很稳定，可以容忍人脸一定角度的倾斜以及复杂背影的干扰。

3、眼睛定位

根据对图像灰度的分析可知，眼睛区域的灰度和周围像素的灰度有较大差异，因此在定位出入脸的基础上将人脸分成四个区域，采用Sobel边缘检测算子和区域生长的方法来检测眼睛，实验效果比较理想，即使是戴着眼镜也能很好地检测到眼睛的位置。具体采用分层接近的方法，即在先定位出人脸的基础上，再在人脸中可能出现眼睛的地方寻找眼睛的位置。先用参数可变形模板进行眼睛位置的粗匹配，匹配结果作为Snake模型的初值，再对眼睛位置进行精匹配，以达到精确匹配眼睛轮廓的目的。

眼睛位置的粗匹配，首先，对可能包含眼睛的区域(人脸上2/3的区域)进行同态滤波，以最大限度减少光照对图像轮廓的影响。接着用动态阈值进行二值化，阈值应尽量使虹膜部分标记为1，而眼球的其余部分标记为0。接着根据人脸区域的位置和大小，确定图像中包含第一只眼睛的位置。这个位置为人脸区域的上2/3区域，左1/2区域，在这个区域里面调用参数可变形模板进行眼睛位置的粗匹配，即让模板遍历每一个位置，计算模板和图像在每个位置的相似程度，相似程度最大的模板的坐标即标记为眼睛的位置。标记出第一只眼睛位置后，根据第一只眼睛匹配的位置和角度，运用视角图像组合的方法，确定另一只眼睛的可能的位置，在这些可能的位置再进行匹配。

眼睛位置的精匹配，上述眼睛位置粗匹配的结果可能跟实际眼睛轮廓还会存在一些误差，为了更精准地匹配眼睛轮廓，将上述模板匹配的结果作为Snake模型的初值，运用Snake算法再进行精匹配。实验结果表明，采用这种算法后可能更精准地匹配到眼睛轮廓，而且误匹配率很低。

4、眉毛定位

在连续视频抓帧的测试过程中，该算法的快速性得到了很好的体现，能够达到实时提取嘴唇区域，并且识别正确率比经典算法有了很大提高。在定位出眼睛的区域后，在眼睛的上方采用区域生长的方法搜索眉毛区域，并定位出眉毛的几个特征点。

5、嘴唇定位

嘴唇区域的定位方面，为了将光线强度的影响也考虑进来，本发明设一阈值Thresh，再设-变量RedProp用于表征红色比例，RedProp＝((R-G)+(R-B))/(G+B)，其中R、G和B分别为像素点的红、绿和蓝色分量值，当RedProp＞Thresh，时则判定该点为红色像素点，并作标记。然后利用图像中的红色像素点的投影来确定嘴唇边界。定义红色像素点的垂直投影图的纵坐标为图像一列上(长度为N)所有被判断为红色的像素点个数之和，横坐标为列号(长度为M)，它反映了图像在水平方向上红色像素点的变化。设红色点的标记由函数I(x，y)表示，则红色像素点垂直投影函数为：

$P_x\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\Σ}}}I(x,y)$

同理有红色象素点的水平投影函数为：

$P_y\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}I(x,y)$

在得到投影函数后，便可通过查找函数波峰，再往波谷方向扩展的方法来得到嘴唇区域的坐标。

此算法中最重要的一步在于阈值的确定，本发明采取的方法是：

设人脸下半脸图像的高度为Height宽度为Width，在每次垂直投影的计算后，都计算由垂直投影波峰MaxRow到MaxRow/10的宽度LipHeight(由波峰向两边扩展)，由于正常人的嘴唇高度不可能大于Height/2，因此若LipHeight大于Height/2，则增大阈值，并重新计算投影行投影计算，直到取到合适的阈值。在使用合适的阈值进行计算后便可采用从波峰向两侧波谷扩展的办法来获取嘴唇区域的上、下两个纵坐标及左、右两个横坐标。

6、脸部轮廓提取

轮廓提取的方法很多，比如先通过边缘检测，二值化，再进行轮廓跟踪等。但是很多方法受光照影响比较大，且人脸信息丰富，要准确提取各部位轮廓用传统算法显得十分困难。人脸下巴和脖子的对比度比较小，很多时候检测不出边缘，有效的轮廓跟踪难以实现。本发明采用改进后的Snake模型来进行轮廓的提取。Snake模型又称为主动轮廓模型，是一种能量函数最小化的变形轮廓线，简单的来说，Snake是一条可变型的曲线，它的控制点在图象力，自身刚性力和自身弹性力共同约束下移动，最终使得三力平衡。

但是传统的Snake模型存在一些缺点，如对初始曲线比较敏感，对假边缘的抗干扰能力不够强，这些都最终影响了轮廓的准确提取。为实现有效的轮廓跟踪，本发明对Snake模型进行了一些改进。对于下巴轮廓提取，采用了分段抛物线的初始曲线进行逼近。通过修改能量函数，以及让曲线在整幅图像中进行遍历伸缩，寻找到最匹配的曲线。

7、皮肤粗糙度的计算

皮肤的粗糙度表征为其图像上纹理的复杂度，我们使用了计算图像局部熵再求和的方法来计算皮肤的粗糙度。根据熵的计算公式

$H\left(z\right)=-\underset{j=1}{\overset{J}{\mathrm{\Σ}}}P\left(a_j\right){\log }_{2}P\left(a_j\right)$

其中a_j代表皮肤象素点的灰度，P(a_j)为皮肤象素点的灰度的分布概率；直接计算全局图像灰度熵的方法只能体现出灰度分布的复杂性而无法体现出空间上的复杂性。因此我们对计算方法进行了改进。为了去除光照影响，我们先使用同态滤波器对图像进行滤波。为了使统计结果能够表征图像的空间复杂度，我们对图像进行分块，并分别计算每一块的熵，最后将所有块的熵值累加起来，作为描述粗糙度的统计量。由于粗糙的皮肤会在局部图像上造成灰度级的复杂分布，故进行分块统计后，粗糙皮肤的求和熵值会明显高于光滑皮肤的熵。

8、人脸美丽标准的制订

人脸主观上美丽程度可通过一些科学的量化标准来衡量，如理想瓜子脸的长宽比为1.619∶1，眼裂高宽比29％～42％等等。本发明搜集了三百多张标准的美女脸部图片，每一幅均对眉，眼，鼻，嘴，耳等21个特征量进行采集，通过计算获得一组用于衡量美丽程度的特征值，即将每一幅图片映射到特征空间的一个点。接下来我们要做的就是对这些数据进行整理分析，以机器学习算法进行分类，以得出各个部位美丽的标准指标。

21个特征量如下表所示：

序号	特征量
		1	左眉的厚度与长度之比
2	右眉的厚度与长度之比
		3	左眉头与内眼角在X方向上的距离
4	右眉头与内眼角在X方向上的距离
		5	眉峰与眉梢之间距离与眉峰眉头之间距离之比
6	眉厚度与眉峰下点到上眼睑点之间距离之比
		7	左眉长与眼睑长度之比

序号	特征量
		8	右眉长与眼睑长度之比
9	左眼睑长与高之比
		10	右眼睑长与高之比
11	脸宽与脸长之比
		12	两内眼角距离与眼睑长度之比
13	脸长与眼睑长度之比
		14	两瞳孔与两嘴角在X方向上之比
15	两嘴角与鼻宽在X方向上长度之比
		16	内眼角到鼻底在Y方向上距离/鼻底到下巴点在Y方向上的距离
17	内眼角到鼻底点在Y方向上距离/鼻宽
		18	瞳孔问距离/瞳孔到鼻底在Y方向上距离
19	嘴角线上面颊宽度/嘴角线与下巴点在Y方向上的距离
		20	张开的牙齿高度/眼睑长度(表示张开的牙齿有多大，眼睛长度比较稳定，固作为基准)
21	嘴唇高度/嘴唇长度

本发明可根据不同的审美标准，赋予上述21个特征的具体取值范围，并将检测到的人脸相关信息与之比对，来进行美丽评价，从而可以适应不同审美观的美丽评价。

Claims (9)

1.一种基于视频的人脸美丽评价方法，其特征在于通过如下步骤实现：

(1)、视频捕捉人脸信息；

(2)、对视频捕捉到的信息进行人脸检测，采用基于类haar特征的级联分类器实现对人脸的有效检测；

(3)、在人脸检测的基础上，进行眼睛和嘴唇定位，包括采用Sobel边缘检测算子和区域生长的方法来检测眼睛，以及利用人脸图像中的红色像素点的投影来确定嘴唇边界；

(4)、脸部轮廓提取，采用Snake模型进行轮廓的提取；

(5)、将提取到的信息与人脸美丽标准库进行比对，以确定人脸美丽评价结果。

2.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(1)采用DirectShow技术进行视频采集。

3.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(3)对嘴唇的定位具体操作如下：

设一个阈值Thresh，以及一个用于表征红色比例的变量RedProp，RedProp＝((R-G)+(R-B))/(G+B)，其中R、G和B分别为像素点的红、绿和蓝色分量值，当RedProp＞Thresh时判定该点为红色像素点，并作标记；

定义红色像素点的垂直投影图的纵坐标为图像一列上所有被判断为红色的像素点个数之和，横坐标为列号，纵坐标长度为N，横坐标长度为M，它反映了图像在水平方向上红色像素点的变化，设红色点的标记由函数I(x，y)表示，则红色像素点垂直投影函数为：

$P_x\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\Σ}}}I(x,y)$

红色象素点的水平投影函数为：

$P_y\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}I(x,y)$

得到投影函数后，通过查找函数波峰，再往波谷方向扩展的方法来得到嘴唇区域的坐标。

4.根据权利要求3所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(3)对阈值Thresh大小的确定具体如下：

设人脸下半脸图像的高度为Height宽度为Width，在每次垂直投影的计算后，都计算由垂直投影波峰MaxRow到MaxRow/10的宽度LipHeight，即由波峰向两边扩展，若LipHeight大于Height/2，则增大阈值，并重新计算投影行投影计算，直到取到合适的阈值，在使用合适的阈值进行计算后便可采用从波峰向两侧波谷扩展的办法来获取嘴唇区域的上、下两个纵坐标及左、右两个横坐标。

5.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(4)还包括对Snake模型进行改进以进行下巴轮廓提取，具体采用了分段抛物线的初始曲线进行逼近，通过修改能量函数，以及让曲线在整幅图像中进行遍历伸缩，寻找到最匹配的曲线。

6.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(5)的人脸美丽标准库的制定如下：

采集多张标准的美丽脸部图片，对每一幅照片的眉，眼，鼻，嘴，耳特征点进行采集，并计算得到一组用于衡量美丽程度的特征值，即将每一幅图片映射到特征空间的一个点，再对这些特征值数据进行整理分析，以机器学习算法进行分类，得出各个部位美丽的标准指标。

7.根据权利要求6所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(5)所述的衡量美丽程度的特征值采用如下21个：

左眉的厚度与长度之比、右眉的厚度与长度之比、左眉头与内眼角在X方向上的距离、右眉头与内眼角在X方向上的距离、眉峰与眉梢之间距离与眉峰眉头之间距离之比、眉厚度与眉峰下点到上眼睑点之间距离之比、左眉长与眼睑长度之比、右眉长与眼睑长度之比、左眼睑长与高之比、右眼睑长与高之比、脸宽与脸长之比、两内眼角距离与眼睑长度之比、脸长与眼睑长度之比、两瞳孔与两嘴角在X方向上的距离之比、两嘴角与鼻宽在X方向上长度之比、内眼角到鼻底在Y方向上距离/鼻底到下巴点在Y方向上的距离、内眼角到鼻底点在Y方向上距离/鼻宽、瞳孔间距离/瞳孔到鼻底在Y方向上距离、嘴角线上面颊宽度/嘴角线与下巴点在Y方向上的距离、张开的牙齿高度/眼睑长度、嘴唇高度/嘴唇长度。

8.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(3)还包括眉毛定位操作，所述眉毛定位操作在定位出眼睛的区域后，在眼睛的上方采用区域生长的方法搜索眉毛区域，并定位出眉毛。

9.根据权利要求1所述的基于视频的人脸美丽评价方法，其特征在于所述步骤(4)脸部轮廓提取后还进行皮肤粗糙度的计算操作，具体如下：

对图像进行分块，并分别计算每一块的熵，最后将所有块的熵值累加起来，作为描述粗糙度的统计量，熵的计算公式为

其中a_j代表皮肤象素点的灰度，P(a_j)为皮肤象素点的灰度的分布概率。

Images