CN108960201A - 一种基于人脸关键点提取和稀疏表达分类的表情识别方法 - Google Patents

Abstract

本发明公开了一种基于人脸关键点提取和稀疏表达分类的表情识别方法,包括以下步骤：S1.采集人脸表情图像；S2.对采集的人脸表情图像进行预处理；S3.根据预处理得到的图像进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量；S4.采用稀疏表示分类对人脸关键点所对应特征向量进行分类识别。本发明提供的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，不仅可以通过标记人脸器官和脸颊的轮廓，还能实时跟踪这些器官的形变，形变的过程正好可以反映人脸表情，结合稀疏表达分类，有效提高了表情识别的准确性。

Description

一种基于人脸关键点提取和稀疏表达分类的表情识别方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种基于人脸关键点提取和稀疏表达分类的表情识别方法。

背景技术

人脸表情识别是计算机视觉研究和生物识别的重要组成。它主要是研究通过向计算机传递含有人脸的图像或视频来使计算机可以自动、高效地识别人脸蕴含的情绪，这在人机智能交互、游戏娱乐、公众安全等领域有着广泛应用。人脸表情识别的研究内容主要包括图像获取、图像预处理、特征提取和分类识别，这些也是人脸表情识别的过程。其中，特征提取和分类识别尤为关键。

表情特征提取是指从含有面部表情的图像中获取到表情的整体信息和细微局部信息,并以此来表达出相应的情感状态。目前,表情特征提取算法可以分为以下几种基于形状特征的提取方法：(1)基于形状特征的提取方法,指通过标记在面部表情特征点的几何形状关系来获取情感状态特征信息。面部中的眉毛、眼睛、鼻子、嘴巴能够丰富的表现出表情状态,这些器官会随着不同表情的出现发生形变。通常可以对这些器官进行关键点描述，进而进行特征提取,其特征主要包含器官的位置、尺度和它们之间的比率等等，将这些特征以一组向量的形式来表示一张具有表情的脸。这种特征对内存需求小,但要求提取的特征点要十分准确。(2)基于纹理特征的提取方法,它是指获取到表情图像中含有情感状态的内在信息,以获得描述面部整体或者局部变化的表情特征。该方法具有计算简单快捷,特征信息较丰富,但易受光照和噪声等其他因素的影响。例如局部二值法,Gabor小波。(3)基于混合特征的方法,混合特征是将局部特征和全局特征结合起来作为表情的特征。(4)基于运动特征序列的提取方法,常用于提取动态表情特征。分类识别是指在提取表情特征后,通过分类器将未知表情的特征划分为相应的已知表情类别，相关的分类方法有很多，如k邻近算法、支持向量机SVM、基于贝叶斯网络、基于神经网络和基于稀疏表示的分类方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于人脸关键点提取和稀疏表达分类的表情识别方法，不仅可以通过标记人脸器官和脸颊的轮廓，还能实时跟踪这些器官的形变，形变的过程正好可以反映人脸表情，结合稀疏表达分类，有效提高了表情识别的准确性。

本发明的目的是通过以下技术方案来实现的：一种基于人脸关键点提取和稀疏表达分类的表情识别方法，包括以下步骤：

S1.采集人脸表情图像；

S2.对采集的人脸表情图像进行预处理；

S3.根据预处理得到的图像进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量；

S4.采用稀疏表示分类对人脸关键点所对应特征向量进行分类识别。

进一步地，所述步骤S2包括：对整张人脸表情图像进行灰度化、直方图均衡化，以消除光照噪声因素对人脸检测和人脸关键点检测的影响，提高图像质量。

进一步地，所述步骤S3包括：

S301.通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；

S302.通过LBF算法训练并检测得到人脸关键点：

使用LBF算法得到68个人脸关键点，包含了人的脸颊、双眼、鼻子和嘴唇；

利用人脸表情变化时，这些特征点会随着这些器官做出相对变化这一特征，求取它们相对于彼此的位置来表示该图像的表情；

人脸关键点的表情特征提取过程中，为得到68个关键点彼此间的相对变化，将这68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量。

进一步地，所述步骤S3中，通过滑动窗口检测时，利用经典的面向倾斜梯度图特征与线性分类器来对人脸表情图像的所有子窗口进行二分类。

进一步地，所述LBF算法是基于随机树的方法，学习每个关键点的局部二值特征，然后将特征组合起来，使用线性回归检测关键点。

具体地，步骤S4包括：

S401.根据得到样本的特征向量构建特征矩阵A＝[A₁，A₂，...A_k]∈R^m×n，m是特征维数，n是训练样本总数，将一个测试样本y∈R^m和将特征矩阵输入稀疏表示分类模型中；

S402.求解L₁范数问题的稀疏解

S403.计算每个类别的训练样本与测试样本y的重构残差其中i＝1，2，...，k；

S404.输出测试样本y的类别identify(y)＝argminr_i(y)。

本发明的有益效果是：本发明不仅可以通过标记人脸器官和脸颊的轮廓，还能实时跟踪这些器官的形变，形变的过程正好可以反映人脸表情，结合稀疏表达分类，有效提高了表情识别的准确性。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示。一种基于人脸关键点提取和稀疏表达分类的表情识别方法，包括以下步骤：

S1.采集人脸表情图像；

S2.对采集的人脸表情图像进行预处理；

S3.根据预处理得到的图像进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量；

S4.采用稀疏表示分类对人脸关键点所对应特征向量进行分类识别。

进一步地，所述步骤S2包括：对整张人脸表情图像进行灰度化、直方图均衡化，以消除光照噪声因素对人脸检测和人脸关键点检测的影响，提高图像质量。

进一步地，所述步骤S3包括：

S301.通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；

S302.通过LBF算法训练并检测得到人脸关键点：

使用LBF算法得到68个人脸关键点，包含了人的脸颊、双眼、鼻子和嘴唇；

利用人脸表情变化时，这些特征点会随着这些器官做出相对变化这一特征，求取它们相对于彼此的位置来表示该图像的表情；

人脸关键点的表情特征提取过程中，为得到68个关键点彼此间的相对变化，将这68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量。

进一步地，所述步骤S3中，通过滑动窗口检测时，利用经典的面向倾斜梯度图特征与线性分类器来对人脸表情图像的所有子窗口进行二分类。

进一步地，所述LBF算法是基于随机树的方法，学习每个关键点的局部二值特征，然后将特征组合起来，使用线性回归检测关键点。

稀疏学习主要包含稀疏表示和字典学习等方法，稀疏表示在机器学习和计算机视觉领域备受关注,其在人脸识别、图像分类等方面的性能表现非常突出,主要原因是该理论中需要一个能够准确地描述图像内在结构信息和本质属性的超完备字典,并用尽稀疏的数据表示图像信息。稀疏表示分类(SRC)主要基于线性组合思想：假设每类对象有足够多的样本，待测样本可由所有对象完备字典线性组合表示。如果待测样本属于第i类，则只能由第i类样本线性组合表示，即线性组合系数非0项全部集中在第i类，其他类全为0。因此，可通过适当的稀疏约束求解线性组合方程组，利用求解系数的非0项分布进行分类。字典学习是利用训练样本的先验知识学习出一组性能更佳的基向量,使字典更利于分类。

具体地，所述步骤S4包括：

给定超完备字典A和为第i类某测试样本，由稀疏表示理论可知，该类样本y可由Ai线性表示为：

y＝A_ix＝x_i,1a_i,1+x_i,2a_i,2+...+x_i,na_i,n；

其中,x为线性组合的系数,且x＝[0，...0，x_i，1，x_i，1，...，x_i，ni，0，...0]∈R，理想状态下，希望得到除了第i类字典相对应的系数以外其它类别的系数为0的x。而在实际中，由于图像噪声等误差因素的存在，理想状态大都不可实现。

y可被分解为不同图像特征的组合，稀疏表示系数矩阵x对应于各图像特征的分量，则图像分类问题就转化为求解线性方程y＝Ax的问题；由压缩感知理论，并考虑噪声等误差因素的存在，此问题可转化为：

argmin||x₁s.t.||y-Ax||₂≤ε

现实中，由于噪声和其它误差的干扰，稀疏投影系数向量x本该在不同类别上的系数为0，但却出现了有系数不为0的情形；并且，因为所提取的特征向量存在共线性，影响泛化能力可能导致过拟合。可以通过引入正则项对损失函数施加惩罚来解决以上问题；考虑到算法运行速度、计算量等情况，应当采用Lasso算法，即引入一个L1范数惩罚。

其中t≥0是一个调节参数。

然后得到每类训练样本对测试样本的近似表示，根据每类训练样本与测试样本的逼近程度所呈现表示的判别差，最后可以使用重构误差对y判别所属类别：

identify(y)＝argminr_i(y)

故步骤S4可表示为：

S401.根据得到样本的特征向量构建特征矩阵A＝[A₁，A₂，...A_k]∈R^m×n，m是特征维数，n是训练样本总数，将一个测试样本y∈R^m和将特征矩阵输入稀疏表示分类模型中；

S402.求解L₁范数问题的稀疏解

S403.计算每个类别的训练样本与测试样本y的重构残差其中i＝1，2，...，k；

S404.输出测试样本y的类别identify(y)＝argminr_i(y)。

综上，本发明不仅可以通过标记人脸器官和脸颊的轮廓，还能实时跟踪这些器官的形变，形变的过程正好可以反映人脸表情，结合稀疏表达分类，有效提高了表情识别的准确性。

需要说明的是，本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：包括以下步骤：

S1.采集人脸表情图像；

S2.对采集的人脸表情图像进行预处理；

S3.根据预处理得到的图像进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量；

S4.采用稀疏表示分类对人脸关键点所对应特征向量进行分类识别。

2.根据权利要求1所述的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：所述步骤S2包括：对整张人脸表情图像进行灰度化、直方图均衡化，以消除光照噪声因素对人脸检测和人脸关键点检测的影响，提高图像质量。

3.根据权利要求1所述的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：所述步骤S3包括：

S301.通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；

S302.通过LBF算法训练并检测得到人脸关键点：

使用LBF算法得到68个人脸关键点，包含了人的脸颊、双眼、鼻子和嘴唇；

利用人脸表情变化时，这些特征点会随着这些器官做出相对变化这一特征，求取它们相对于彼此的位置来表示该图像的表情；

人脸关键点的表情特征提取过程中，为得到68个关键点彼此间的相对变化，将这68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量。

4.根据权利要求3所述的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：所述步骤S3中，通过滑动窗口检测时，利用经典的面向倾斜梯度图特征与线性分类器来对人脸表情图像的所有子窗口进行二分类。

5.根据权利要求3所述的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：所述LBF算法是基于随机树的方法，学习每个关键点的局部二值特征，然后将特征组合起来，使用线性回归检测关键点。

6.根据权利要求1所述的一种基于人脸关键点提取和稀疏表达分类的表情识别方法，其特征在于：所述步骤S4包括：

S401.根据得到样本的特征向量构建特征矩阵A＝[A₁，A₂，...A_k]∈R^m×n，m是特征维数，n是训练样本总数，将一个测试样本y∈R^m和将特征矩阵输入稀疏表示分类模型中；

S402.求解L₁范数问题的稀疏解

S403.计算每个类别的训练样本与测试样本y的重构残差其中i＝1，2，...，k；

S404.输出测试样本y的类别identify(y)＝argminr_i(y)。