CN106548160A - 一种人脸微笑检测方法 - Google Patents

Abstract

一种人脸微笑检测方法，其特征在于：包括如下步骤：1）、人脸图片获取：通过人脸检测算法获取人脸；2）、人脸特征部位检测：检测第一图像帧中的第一人脸，定位到脸部嘴巴的特征位置；3）、微笑特征提取：获取微笑特征通过对输入的人脸图片对该微笑部位进行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方图HOG特征提取方式；4）、微笑识别；本发明的有益效果为：微笑捕捉准确率、漏检率、误检率均在5%以下，并且具有分级管理的标准，可以根据不同的检测对象，给予客观的评价，而且可以根据需求长时间捕捉，这是人工无法达到的。

Description

一种人脸微笑检测方法

技术领域

本发明属于人脸检测技术领域，尤其涉及一种人脸微笑检测方法。

背景技术

在微笑技术开发之前，微笑检测和考核主要依靠人工考核，人工考核存在较大的缺陷，考核人员主观的情绪极大程度的影响了最终考核的分数，被考核人员也对考核结果经常出现疑议，从而导致管理矛盾的升级，不利于相关企业，行业的管理与进步。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种人脸微笑检测方法，微笑捕捉准确率、漏检率、误检率均在5％以下，并且具有分级管理的标准，可以根据不同的检测对象，给予客观的评价，而且可以根据需求长时间捕捉，这是人工无法达到的。

本发明的目的是通过如下技术方案来完成的，包括如下步骤：

1)、人脸图片获取：通过人脸检测算法获取人脸；

2)、人脸特征部位检测：检测第一图像帧中的第一人脸，定位到脸部嘴巴的特征位置；在每个图像帧中，使用光流以0.01像素的精度跟踪左嘴角和右嘴角的位置，并通过嘴巴位置的跟踪和检测来更特征位置；如果被跟踪的左嘴角和右嘴角之间的x方向距离大于标准距离加上阈值Tsmile，则声明检测到微笑；

3)、微笑特征提取：获取微笑特征通过对输入的人脸图片对该微笑部位进行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方图HOG特征提取方式；对嘴巴部位分别获取到的LBP和HOG特征分别叠加到一起形成一个新的特征维度，将新的特征向量放入支持向量机SVM进行训练，获得训练结果的分类器，根据特征部位检测获取到嘴巴部位的位置，对这些部位的信息进行特征信息提取；

4)、微笑识别：对于初始化的人脸图片，采用中性面部表情的用户脸图像，在初始化时建立用户的嘴位置灰色图像，嘴矩形位置由四个特征点包围：右嘴角，上嘴唇中心点，左嘴角，下嘴唇中心点；实际上，将矩形扩大和扩大到每个方向上的一个标准偏差；对于每个后续图像，使用归一化互相关NCC块匹配方法来计算与新嘴区周围的图案图像的最佳匹配块，并计算它们的互相关值，NCC方程为：

如果相关值大于某一阈值，意味着嘴状态非常接近中性的，而不是张开的嘴巴，微笑或其他状态；然后将重新定位特征位置，为了不在寻找匹配块上花费太多的计算时间，通过初始位置设置搜索区域中心，为了克服非子像素块匹配，将搜索范围设置为三乘三块，并且找到最大的相关值作为最终结果。

作为优选，所述的局部二值模式LBP特征向量提取方式，包括如下步骤：

1)、将检测人脸图像窗口划分为16×16的小区域cell；

2)、对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该人脸图像窗口中心像素点的LBP值；

3)、然后计算每个cell的直方图，即每个数字出现的频率；并对该直方图进行归一化处理；

4)、最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。

作为优选，所述的梯度方向直方图HOG特征提取方式，包括如下步骤：

1)、将检测目标图像或扫描窗口图像灰度化，既将图像看做一个x,y,z灰度的三维图像；

2)、采用Gamma校正法对输入图像进行颜色空间的标准化、归一化；

3)、计算图像每个像素的梯度、大小和方向；

4)、将图像划分成小cells；

5)、统计每个cell的梯度直方图，即可形成每个cell的descriptor；

6)、将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

7)、将图像检测目标内的所有块的HOG特征descriptor串联起来就可以得到该检测目标的HOG特征descriptor，这个就是最终的可供分类使用的特征向量。

本发明的有益效果为：1、评分客观，不带感情色彩；2、24小时全天候检测；3、可统一标准、也可按个人建库，方便管理；4、打分有依据，有录像、存在异议的地方有据可查；5、节约人工成本、管理成本；6、多路同时分析，节约考核成本；7、领导在办公室可以直接看到现场的情况以及考核的分数。

附图说明

图1是本发明的LBP特征提取步骤中的直方图示意图。

图2是本发明的LBP的捕捉近邻示意图。

图3是本发明的HOG特征提取步骤中的直方图示意图。

图4是本发明的block的HOG特征的示意图。

具体实施方式

下面将结合附图对本发明做详细的介绍：本发明包括如下步骤：

1)、人脸图片获取：通过人脸检测算法获取人脸；

2)、人脸特征部位检测：检测第一图像帧中的第一人脸，定位到脸部嘴巴的特征位置；在每个图像帧中，使用光流以0.01像素的精度跟踪左嘴角和右嘴角的位置，并通过嘴巴位置的跟踪和检测来更特征位置；如果被跟踪的左嘴角和右嘴角之间的x方向距离大于标准距离加上阈值Tsmile，则声明检测到微笑；

3)、微笑特征提取：获取微笑特征通过对输入的人脸图片对该微笑部位进行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方图HOG特征提取方式；对嘴巴部位分别获取到的LBP和HOG特征分别叠加到一起形成一个新的特征维度，将新的特征向量放入支持向量机SVM进行训练，获得训练结果的分类器，根据特征部位检测获取到嘴巴部位的位置，对这些部位的信息进行特征信息提取；

4)、微笑识别：对于初始化的人脸图片，采用中性面部表情的用户脸图像，在初始化时建立用户的嘴位置灰色图像，嘴矩形位置由四个特征点包围：右嘴角，上嘴唇中心点，左嘴角，下嘴唇中心点；实际上，将矩形扩大和扩大到每个方向上的一个标准偏差；对于每个后续图像，使用归一化互相关NCC块匹配方法来计算与新嘴区周围的图案图像的最佳匹配块，并计算它们的互相关值，NCC方程为：

如果相关值大于某一阈值，意味着嘴状态非常接近中性的，而不是张开的嘴巴，微笑或其他状态；然后将重新定位特征位置，为了不在寻找匹配块上花费太多的计算时间，通过初始位置设置搜索区域中心，为了克服非子像素块匹配，将搜索范围设置为三乘三块，并且找到最大的相关值作为最终结果。

所述的局部二值模式LBP特征向量提取方式，包括如下步骤：

1)、将检测人脸图像窗口划分为16×16的小区域cell；

2)、对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该人脸图像窗口中心像素点的LBP值；

3)、然后计算每个cell的直方图，即每个数字(假定是十进制数LBP值)出现的频率；并对该直方图进行归一化处理；

4)、最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。

局部二值模式是广泛用于图像分类的一种图像特征，它的特点是，在图像发生光照变化时，提取的特征仍然能够不发生大的改变。提取LBP的过程首先是将原始图像转换为LBP图，然后统计LBP图的LBP直方图，并以这个向量形式的直方图来表示原始的图像。LBP的基本思想是定义于像素的8邻域中，以中心像素的灰度值为阈值，将周围8个像素的值与其比较，如果周围的像素值小于中心像素的灰度值，该像素位置就被标记为0，否则标记为1；每个像素得到一个二进制组合，就像00010011，每个像素有8个相邻的像素点，即有2^8种可能性组合，如附图1所示。

因此，LBP操作可以被定义为

其中(x_c，y_c)是中心像素，亮度是i_c；而i_n则是相邻像素的亮度。s是一个符号函数：

这种描述方法可以很好的捕捉到图像中的细节。实际上，可以用它在纹理分类上得到最先进的水平。正如刚才描述的方法被提出后，固定的近邻区域对于尺度变化的编码失效。所以，使用一个变量的扩展方法，注意是使用可变半径的圆对近邻像素进行编码，这样可以捕捉到如附图2所示的近邻：

对一个给定的点(x_c，y_c)，他的近邻点(x_p，y_p)，p∈P可以由如下计算：

其中，R是圆的半径，而P是样本点的个数。这个操作是对原始LBP算子的扩展，所以有时被称为扩展LBP(又称为圆形LBP)。如果一个在圆上的点不在图像坐标上，我们使用他的内插点。LBP均匀模式LBP(uniform LBP)

基本地LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生P2种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。均匀模式就是一个二进制序列从0到1或是从1到0的变过不超过2次(这个二进制序列首尾相连)。比如：10100000的变化次数为3次所以不是一个uniformpattern。所有的8位二进制数中共有58个uniform pattern.为什么要提出这么个uniformLBP呢，例如：5×5邻域内20个采样点，有2^20＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。

为了解决二进制模式过多的问题，提高统计性，采用一种“等价模式”(UniformPattern)来对LBP算子的模式种类进行降维。在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111(共四次跳变)。通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的2P种减少为P(P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，即：它把值分为59类，58个uniform pattern为一类，其它的所有值为第59类。这样直方图从原来的256维变成59维。这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。

所述的梯度方向直方图HOG特征提取方式，包括如下步骤：

1)、将检测目标图像或扫描窗口图像灰度化，既将图像看做一个x,y,z灰度的三维图像；

2)、采用Gamma校正法对输入图像进行颜色空间的标准化、归一化；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3)、计算图像每个像素的梯度、大小和方向；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰；

4)、将图像划分成小cells(例如6*6像素/cell)；

5)、统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor；

6)、将每几个cell组成一个block(例如3*3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

7)、将图像检测目标内的所有块的HOG特征descriptor串联起来就可以得到该检测目标的HOG特征descriptor，这个就是最终的可供分类使用的特征向量。

具体每一步的详细过程如下：

(1)标准化gamma空间和颜色空间

为了减少光照因素的影响，首先需要将整个图像进行规范化(归一化)。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大，通常先转化为灰度图；

Gamma压缩公式：

I(x，y)＝I(x，y)^gamma

比如可以取Gamma＝1/2；

(2)计算图像梯度

计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。

图像中像素点(x，y)的梯度为：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

式中G_x(x，y)，G_y(x，y)，H(x，y)分别表示输入图像中像素点(x，y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x，y)处的梯度幅值和梯度方向分别为

最常用的方法是：首先用[-1，0，1]梯度算子对原图像做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量gradscalx，然后用[1，0，-1]^T梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。

(3)为每个细胞单元构建梯度方向直方图

第三步的目的是为局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。

我们将图像分成若干个“单元格cell”，例如每个cell为6*6个像素。假设我们采用9个bin的直方图来统计这6*6个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块，如图所示：例如：如果这个像素的梯度方向是20-40度，直方图第2个bin的计数就加一，这样，对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个cell的梯度方向直方图(如附图3所示)，就是该cell对应的9维特征向量(因为有9个bin)。

像素梯度方向用到了，那么梯度大小呢？梯度大小就是作为投影的权值的。例如说：这个像素的梯度方向是20-40度，然后它的梯度大小是2，那么直方图第2个bin的计数就不是加一了，而是加二。

(4)把细胞单元组合成大的块(block)，块内归一化梯度直方图

由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。

采取的办法是：把各个细胞单元组合成大的、空间上连通的区间(blocks)。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征(如附图4所示)。这些区间是互有重叠的，这就意味着：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符(向量)就称之为HOG描述符。

(5)收集HOG特征

最后一步就是将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量供分类使用。

(6)训练样本的的HOG特征维数

HOG维数，16*16像素组成的block，8*8像素的cell。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种人脸微笑检测方法，其特征在于：包括如下步骤：

1)、人脸图片获取：通过人脸检测算法获取人脸；

2)、人脸特征部位检测：检测第一图像帧中的第一人脸，定位到脸部嘴巴的特征位置；在每个图像帧中，使用光流以0.01像素的精度跟踪左嘴角和右嘴角的位置，并通过嘴巴位置的跟踪和检测来更特征位置；如果被跟踪的左嘴角和右嘴角之间的x方向距离大于标准距离加上阈值Tsmile，则声明检测到微笑；

3)、微笑特征提取：获取微笑特征通过对输入的人脸图片对该微笑部位进行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方图HOG特征提取方式；对嘴巴部位分别获取到的LBP和HOG特征分别叠加到一起形成一个新的特征维度，将新的特征向量放入支持向量机SVM进行训练，获得训练结果的分类器，根据特征部位检测获取到嘴巴部位的位置，对这些部位的信息进行特征信息提取；

4)、微笑识别：对于初始化的人脸图片，采用中性面部表情的用户脸图像，在初始化时建立用户的嘴位置灰色图像，嘴矩形位置由四个特征点包围：右嘴角，上嘴唇中心点，左嘴角，下嘴唇中心点；实际上，将矩形扩大和扩大到每个方向上的一个标准偏差；对于每个后续图像，使用归一化互相关NCC块匹配方法来计算与新嘴区周围的图案图像的最佳匹配块，并计算它们的互相关值，NCC方程为：

$C=\frac{\underset{(x,y)\∈R,(u,v)\∈R^{\′}}{\mathrm{\Σ}}\left(f\right(x,y)-\stackrel{\‾}{f})\left(g\right(u,v)-\stackrel{\‾}{g})}{\sqrt{\underset{(x,y)\∈R}{\mathrm{\Σ}}{\left(f\right(x,y)-\stackrel{\‾}{f})}^2}\sqrt{\underset{(u,v)\∈R^{\′}}{\mathrm{\Σ}}{\left(g\right(u,v)-\stackrel{\‾}{g})}^2}}$

如果相关值大于某一阈值，意味着嘴状态非常接近中性的，而不是张开的嘴巴，微笑或其他状态；然后将重新定位特征位置，为了不在寻找匹配块上花费太多的计算时间，通过初始位置设置搜索区域中心，为了克服非子像素块匹配，将搜索范围设置为三乘三块，并且找到最大的相关值作为最终结果。

2.根据权利要求1所述的人脸微笑检测方法，其特征在于：所述的局部二值模式LBP特征向量提取方式，包括如下步骤：

1)、将检测人脸图像窗口划分为16×16的小区域cell；

2)、对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该人脸图像窗口中心像素点的LBP值；

3)、然后计算每个cell的直方图，即每个数字出现的频率；并对该直方图进行归一化处理；

4)、最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。

3.根据权利要求1所述的人脸微笑检测方法，其特征在于：所述的梯度方向直方图HOG特征提取方式，包括如下步骤：

1)、将检测目标图像或扫描窗口图像灰度化，既将图像看做一个x,y,z灰度的三维图像；

2)、采用Gamma校正法对输入图像进行颜色空间的标准化、归一化；

3)、计算图像每个像素的梯度、大小和方向；

4)、将图像划分成小cells；

5)、统计每个cell的梯度直方图，即可形成每个cell的descriptor；

6)、将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

7)、将图像检测目标内的所有块的HOG特征descriptor串联起来就可以得到该检测目标的HOG特征descriptor，这个就是最终的可供分类使用的特征向量。