CN102842033A - 基于人脸识别进行人物表情情感语义识别方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。该方法可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。

Description

基于人脸识别进行人物表情情感语义识别方法

技术领域

本发明属于人物图像语义识别技术领域，具体涉及一种基于人脸识别进行人物表情情感语义识别方法。

背景技术

图像语义分为三个层次，分别是底层的特征语义层，中层的对象语义层，上层的抽象语义层。目前研究的热点在底层的特征语义层，研究图像的底层特征如颜色、纹理及形状等及其组合来提取相关语义描述，简单语义特征的提取与分析需要利用复杂语义信息，而且通过单一的特征分析，是不能准确确定图像语义的。图像的语义不单是图像的底层特征所能表达的，图像语义是个复杂的系统表达，例如一副人物图像，是不能只根据图像的背景颜色，人物的轮廓就可以判断图像语义的，如果将重点放在图像的对象、场景的含义和目标进行高层推理，研究抽象语义层，能更好地得到相关的语义描述。

研究抽象语义层将重点放在人物面部表情识别上，研究目标是能够自动地识别出人的表情，分析出人的情感，进而得到图像情感语义。计算机自动识别人脸表情是困难的，因为人脸是一个柔性体，为人脸表情特征建立精确数学模型难度较高。脸部器官的位置稍有变动，表情就会发生巨大的变化，因而需要选择最重要的特征来决定表情的识别。

面部表情识别是情感识别的初级，而情感识别是最高级的识别，超出了人工智能的模糊识别，有着广泛的应用前景和发展前景。在汽车、飞机、车间等重要岗位上的监控系统设备中，通过感应设备对司机、飞行员、工人等进行脸部监控，通过其表情的痛苦或不适表现得疲劳、压力过大等精神状态信息，及时报警提示，避免事故发生；在医疗中，表情分析可作为辅助手段，帮助医生分析病人的精神状态，对病人的精神问题做出正确的诊断；在电脑游戏中，能够根据游戏者的喜、怒、哀、乐来做出实时的反应，那么电脑游戏会比传统规定好规则的游戏更逼真；此外，在安全保密，公安侦查，医疗辅助等其他需要解释面部信号的领域和行业中都会有广泛的应用。本发明因此而来。

发明内容

本发明目的在于提供一种基于人脸识别进行人物表情情感语义识别方法，解决了现有技术中图像中面部表情识别不能较好的进行识别等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：

（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

优选的，所述方法步骤（3）通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。

优选的，所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建立X,Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较结果。

本发明的另一目的在于提供一种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括：

人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

优选的，所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。

本发明首先对人脸进行检测与定位，采取一定策略，从未知的图像背景中提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征，并返回人脸的位置。然后从人脸图像中提取能够表征输入表情本质的信息，用来描述表情图像，在提取特征数据的过程中，为了避免维数危机需要警醒特征降维，特征分解等一系列步骤；最后分析特征的关系，将输入的人脸面部表情分类到相应的类别。

传统的人脸识别的特征提取方法是基于PCA和2D PCA方法，本发明通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。将抽象的对象含义与底层的轮廓相结合，是将图像的特征语义与抽象语义相结合。

相对于现有技术中的方案，本发明的优点是：

本发明技术方案可以实现人脸检测、定位和跟踪，可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于人脸识别进行人物表情情感语义识别的识别系统的架构示意图；

图2为基于人脸识别进行人物表情情感语义识别方法中图像预处理流程图；

图3为基于人脸识别进行人物表情情感语义识别方法中特征提取的处理流程图；

图4为基于人脸识别进行人物表情情感语义识别方法中正面人脸投影的效果图；

图5为基于人脸识别进行人物表情情感语义识别方法中嘴唇部位投影的效果图；

图6为基于人脸识别进行人物表情情感语义识别方法中表情的识别流程图。

图7为人脸嘴唇轮廓的坐标点显示图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

本实施例的基本目标是进行人脸检测、定位和跟踪，表情的特征提取，表情识别，识别出开心、悲伤、平静三种情感。

人物表情情感语义分析研发主要包含人脸检测模块，图像预处理模块，特征提取模块，面部表情识别模块，如图1。通过人脸检测模块、图像预处理模块、特征提取模块、面部表情识别模块的分工协作由计算机自动获取图像人脸的表情识别。

下面简单介绍每个模块的具体功能。

（1）人脸检测模块：

人脸检测是人脸分析的第一步，指对于任意一幅给定的图像，采用AdaBoost算法对其进行搜索以确定其中是否含有人脸，如果含有则返回人脸的位置、大小和姿态。

AdaBoost算法是一种循环迭代方法，给每一个人脸图像样本设置一个初始权重，在每轮的迭代过程中，按照分类结果对图像样本的权重进行调整，正确分类的样本权重降低，被错误分类的样本权重增加，在下一轮的循环中，算法会集中学习分类错误的样本，即权重值较大的样本，最终将每次迭代产生的弱分类器按照加权投票的方式合并为强分类器。

AdaBoost训练强分类器的算法描述如下：

①给定一系列训练样本（x₁,y₁）,(x₂,y₂),…,(x_n,y_n)，其中y_i=0表示其为负样本（非人脸），y_i=1表示其为正样本（人脸）。n为一共的训练样本数量。

②初始化权重w_1，i＝D(i)；

③对t=1，...,T：

a.归一化权重：

$q_{t,i}=\frac{w_{t,i}}{{\mathrm{\Σ}}_{j=1}^n{w}_{t,j}}$

b.对每个特征f，训练一个弱分类器h(x,f,p,θ)；计算对用特有特征的弱分类器的加权(q_t)错误率ε_f：

ε_f＝∑_iq_i|h(x_i，f，p，θ)-y_i|

c.选取最佳的弱分类器h_t(x)（拥有最小错误率ε_t）：

ε_t＝min_f，p，θ∑_iq_i|h(x_i，f，p，θ)-y_i|＝∑_iq_i|h(x_i，f_t，p_t，θ_t)-y_i|

h_t(x)＝h(x，f_t，p_t，θ_t)

d.按照这个最弱分类器，调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中e_i=0表示x_i被正确地分类，e_i=1表示x_i被错误地分类；

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}$

④最后的强分类器为：

其中

${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}$

（2）图像预处理模块：

一般情况下，系统获得的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像预处理阶段对其进行灰度校正，噪声过滤等处理。具体过程如下，如图2。原始图像经灰度校正，获得红绿蓝三色分量，然后计算像素点的灰度，根据预先设定的阈值对像素点着色分量进行重新赋值，得到需要的灰色图像，以利于特征提取和表情识别。

（3）特征提取模块：

如图3。人脸灰度图像在HSV空间上提取V分量，然后经高斯滤波、中值滤波，对人脸灰度图像进行腐蚀膨胀，然后进行二值化处理和混合投影，提取特征值，定位人脸图像上人脸各个器官的位置。

具体按照如下进行，首先进行人脸分割。人脸分割是为了区域增长利用图像的梯度、方差等信息对人脸图像的分割显示了很好的性能。把一幅人脸图像等以大小相同的份额分成N个区域Rt，在Rt中选出一颗种子像素s（i，j），初始化增长区域Ct为1，定义能反映该区域内成员隶属程度的梯度参数G。分别计算s（i，j）与它的8个相邻域像素的梯度值G＝|s(i，j)-s(i-1，j)|＜0。

当G小于给定的阈值θ，增长区域Ct的像素个数增加1，并对增加的像素加以标记，依次迭代可以把图像分割成小于或等于2N个区域，再对相邻的区域边界进行考`查，允许强边界存在，消除弱边界，合并增长的区域，最终从原图像中分割出人脸图像，对分割出的人脸图像进行开运算和闭运算，平滑区域增长的人脸图像和消除增长过程中引入噪声，确定人脸的基本轮廓。

如图4所示，对正面人脸图像进行水平积分投影和垂直积分投影，通过对投影曲线的分析可知，人脸的主要器官眼睛、鼻子和嘴巴的位置分别对应曲线的某个谷值区域和峰值区域。由此可粗略的检测出人眼、鼻子和嘴巴的位置。

设I(x,y)表示图像点(x,y)处的灰度值，在图像[y₁,y₂]区域的水平积分投影V(x)和[x₁，x₂]区域的垂直积分投影H(y)表示为：

$\left\{\begin{array}{c}V\left(x\right)=\frac{1}{y_2-y_1}\underset{y_1}{\overset{y_2}{\mathrm{\Σ}}}I(x,y)\\ H\left(y\right)=\frac{1}{x_2-x_1}\underset{x_1}{\overset{x_2}{\mathrm{\Σ}}}I(x,y)\end{array}\right.$

但是在有些情况下，投影积分具有一定的局限性。如对一幅具有3种灰度值的图像，垂直积分投影是一条直线，体现不了图像内在灰度值间变化。定义水平方差投影和垂直方差投影为：

${\mathrm{\σ}}_v^2\left(x\right)=\frac{1}{y_2-y_1}\underset{y_j=y_1}{\overset{y_2}{\mathrm{\Σ}}}{[I(x,y_i)-V\left(x\right)]}^2$

${\mathrm{\σ}}_h^2\left(y\right)=\frac{1}{x_2-x_1}\underset{x_j=x_1}{\overset{x_2}{\mathrm{\Σ}}}{[I(x_i,y)-H\left(x\right)]}^2$

从水平方差投影和垂直方差投影曲线可以看到，由于人的上下嘴唇图像的灰度值与嘴唇缝隙的灰度值对比强烈，所以在嘴唇边缘处投影曲线形成明显的4个谷值区域，如图5。计算方差投影曲线的极小值点，从而确定嘴唇的区域位置。

在定位嘴唇的过程中，先进行水平积分投影，将高于平均值的点取为峰值点，两个最大峰值点间为嘴唇的高度。确定出嘴唇高度时，先对垂直边缘图作垂直投影，分析所得结果并确定阈值，将大于阈值的点保留，左右两边界点可定出嘴唇的大致宽度。进一步缩小搜索区域，从人脸图像上可以看出，两个嘴角是较明显的特征点，因此重点提取两嘴角。先对嘴唇框的灰度图求得水平投影。接着，求出垂直梯度图和原图像的乘积图，在乘积图上计算垂直投影。若局部谷值点周围的水平投影分布呈明显的高值区域，则可检测到嘴角的垂直位置。

（5）面部表情识别模块：

如图6所示为面部表情的识别流程。原始表情特征经特征提取和降维后，特征分解计算，通过混合投影函数获得x坐标，通过圆差异平均波动投影函数确定Y坐标，根据坐标点判断人物情感语义。

提取面部器官特征，分解出特征形状，使用方差过滤器，建立X,Y坐标，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件，分为三个逻辑，分别是嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较；嘴角两坐标纵坐标点与中间坐标点纵坐标点比较；嘴角两坐标纵坐标点与最大、最小纵坐标点比较，根据坐标点判断人物情感语义。

如图7，显示了人脸嘴唇轮廓的坐标点，其中包括嘴唇轮廓的所有像素点、所有像素坐标的纵坐标点、嘴角两坐标纵坐标点、轮廓坐标点平均纵坐标点，轮廓中心坐标点的纵坐标点以及小于中间点纵坐标的个数和大于中间点纵坐标的个数。由于原点设在图像左上角，所以坐标点越小，表明轮廓位置越高。首先权衡嘴角两纵坐标点与平均纵坐标点的大些，图7中嘴角两坐标点为4和3，平均纵坐标点为7，判断轮廓呈上弦月型，继续比较嘴角两纵坐标点与中间点纵坐标，图7中间点纵坐标为6，即符合前一个判断条件，既能判断表情为“开心”。同理相反即得到“悲伤”的表情。若两次判断条件相悖，则比较小于中间点纵坐标点的个数和大于中间点纵坐标点的个数，小于中间点纵坐标点的个数越多即判断为“悲伤”，个数越少即判断为“开心”，相等即判断为“平静”。由于人的表情姿态各异，所以方法是基于普遍知识进行的实验。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤：

（1）对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

（2）对步骤（1）检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

（3）提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

2.根据权利要求1所述的方法，其特征在于所述方法步骤（3）通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。

3.根据权利要求1所述的方法，其特征在于所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建X,Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较结果。

4.一种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括：

人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；

特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；

面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。

5.根据权利要求4的识别系统，其特征在于所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。

Images