CN104732216A - 基于关键点和局部特征的表情识别方法 - Google Patents

Abstract

本发明涉及一种基于关键点和局部特征的表情识别方法，其包括如下步骤：步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；步骤2、利用上述关键点信息对人脸图像进行归一化；步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform lbp特征，并将所有分块的uniform lbp特征组合成一个高维特征；步骤4、利用主成份分析法抽取上述高维特征中的主成份并降低维度，以得到包含主成份的低维特征；步骤5、对上述低维特征利用支持向量机进行分类，并输出识别人脸图像的表情。本发明利用人脸面部的几何特征以及外观特征，能够更准确的进行表情识别。

Description

基于关键点和局部特征的表情识别方法

技术领域

本发明涉及一种识别方法，尤其是一种基于关键点和局部特征的表情识别方法，属于人脸识别的技术领域。

背景技术

面部表情是人传达自己情绪的最自然，最具有表达力的方式，人脸面部表情的自动识别是一个有趣同时也是一个比较有挑战性的问题。由于表情识别在人机交互、情感计算以及计算机视觉领域的广泛应用，近几年引起了工业界和学术界的极大注意。尽管国内外学者针对表情识别领域的研究取得了显著的成果，由于人脸表情的微妙性，复杂性和多变性，人脸表情识别仍然面临着许多需要解决的问题。

表情识别分为两种，一种是动态表情识别，主要针对视频中的表情，另外一种是静态表情识别。从初始的人脸图片提取有效的面部特征是表情识别中很重要的一步。通常有两种通用的方法来抽取面部特征：一种是基于几何特征，几何特征依赖于可靠的面部关键点的检测以及跟踪，另外一种是基于外观的特征，比如Gabor-wavelet特征。然而这些方法随着不同照片的光照，背景，人脸大小，人物种族的不同，会导致表情识别的准确率偏差很大。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于关键点和局部特征的表情识别方法，其利用人脸面部的几何特征以及外观特征，利用人脸的关键点的坐标信息来进行人脸尺度归一化，然后进一步提取归一化后的人脸的外观特征，通过结合基于位置的特征和基于外观的特征，综合宏观和微观上的特征，能够更准确的进行表情识别。

按照本发明提供的技术方案，一种基于关键点和局部特征的表情识别方法，所述表情识别方法包括如下步骤：

步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；

步骤2、利用上述关键点信息对人脸图像进行归一化；

步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform lbp特征，并将所有分块的uniform lbp特征组合成一个高维特征；

步骤4、利用主成份分析法抽取上述高维特征中的主成份并降低维度，以得到包含主成份的低维特征；

步骤5、对上述低维特征利用支持向量机进行分类，并输出识别人脸图像的表情。

所述步骤1中，利用级联回归法来检测人脸图像的关键点信息。

所述步骤2包括如下步骤：

步骤2.1、根据人脸图像中两眼睛中心横坐标、纵坐标，得到右眼相对水平的偏转角，并根据所述偏转角对人脸图像进行旋转，以使得两个眼睛位于同一水平线上；

步骤2.2、计算两眼睛之间的距离，并根据所述两眼睛之间的距离得到缩放比例，且根据所述缩放比例对上述的人脸图像进行缩放；

步骤2.3、在缩放后的人脸图像上，根据眼睛坐标以及嘴巴坐标进行图像截取，以得到归一化的人脸图像。

所述步骤4包括如下步骤：

步骤4.1、将高维特征按列组成n行m列的矩阵X；

步骤4.2、将矩阵X的每一行进行零均值化，以得到矩阵Z；

步骤4.3、计算上述矩阵Z的协方差矩阵，并所述协方差矩阵的特征值以及与特征值对应的特征向量；

步骤4.4、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；

步骤4.5、根据上述矩阵P，得到低维特征矩阵Y，所述低维特征矩阵Y=PX。

所述识别的表情包括高兴、生气、害怕、惊讶、悲伤或厌恶。

本发明的优点：结合人脸的几何特征以及外观特征，从宏观和微观上获得更为详细的特征，使用几何特征进行的归一化可以消除人脸大小的不同，位置的不同，以及角度的不同带来的变化，同时从微观上提取的局部特征如(Uniform lbp特征)可以消除光照的不同，lbp特征具有光照不变性，还有旋转不变性等特征。同时通过划分分块的方式可以提取到更为细腻的特征，从而能够更准确的进行表情识别。

附图说明

图1为本发明的流程图。

图2为LBP算子的示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示：为了能够实现对人脸表情进行准确的识别，本发明表情识别方法包括如下步骤：

步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；

在具体实施时，利用级联回归法来检测人脸图像的关键点信息。人脸图像的关键点包括眉毛、眼睛、鼻梁、鼻子、嘴巴以及嘴唇等的横纵坐标的信息。

步骤2、利用上述关键点信息对人脸图像进行归一化；

所述归一化的过程包括如下步骤：

步骤2.1、根据人脸图像中两眼睛中心横坐标、纵坐标，得到右眼相对水平的偏转角，并根据所述偏转角对人脸图像进行旋转，以使得两个眼睛位于同一水平线上；此步骤中，以人眼为中心对人脸图片进行对齐。

步骤2.2、计算两眼睛之间的距离，并根据所述两眼睛之间的距离得到缩放比例，且根据所述缩放比例对上述的人脸图像进行缩放；

在具体实施时，在得到两眼睛之间的距离后，再除以一个数值，即得到缩放比例，设置缩放的比例决定了归一化后人脸图像的分辨率的大小，如果设置为50，则意味着将图片缩放到两眼之间的距离是50像素，人脸的宽度也就是100像素左右。同时人脸的宽度也决定了步骤3中分块宽度的设置，通常可以设置分块宽度为人脸宽度的1/10。具体数值的设置，可以看具体情况调整，具体为本技术领域人员所熟知，此处不再赘述。

步骤2.3、在缩放后的人脸图像上，根据眼睛坐标以及嘴巴坐标进行图像截取，以得到归一化的人脸图像。对图像截取，以去除人脸图像中的无用信息，从而能对人脸图像进行归一化。

步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform lbp特征，并将所有分块的uniform lbp特征组合成一个高维特征；

如图2所示，原始的LBP算子定义在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度与其进行比较，若周围像素值大于中心像素值，则该像素点的位置为1，否则是0。这样3*3邻域内的8个点经比较可产生8位二进制数。为了解决二进制模式过多的问题，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。所有的8位二进制数中共有58(变化次数为0的有2种，变化次数为1的有0种，变化次数为2的有56种)个uniform pattern，在这58种之中的占90%以上，除等价模式类以外的模式都归为另一类，称为混合模式类。通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。通过这样的改进uniform lbp降为了59维，如果每一张图片是100*100大小1每个patch（10*10的分块）是10*10，则这样特征维度是59*100维，即得到的高维特征的维度为59*100维。

步骤4、利用主成份分析法抽取上述高维特征中的主成份并降低维度，以得到包含主成份的低维特征；

在具体实施时，高维特征的维度太高，不便于进行后续的分类，因此，通过主成份分析法（PCA）进行降维，所述过程包括如下步骤：

步骤4.1、将高维特征按列组成n行m列的矩阵X；

步骤4.2、将矩阵X的每一行进行零均值化，以得到矩阵Z；所述零均值化是指减去所在行的均值；

步骤4.3、计算上述矩阵Z的协方差矩阵，并所述协方差矩阵的特征值以及与特征值对应的特征向量；

步骤4.4、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；具体的K值可以根据需要进行设定，一般地，K可以设定为100。

步骤4.5、根据上述矩阵P，得到低维特征矩阵Y，所述低维特征矩阵Y=PX。

上述过程中的计算均为本技术领域的常规计算，具体的过程此处不再赘述。

步骤5、对上述低维特征利用支持向量机进行分类，并输出识别人脸图像的表情。所述支持向量机可以采用LIBSVM，所述识别的表情包括高兴、生气、害怕、惊讶、悲伤或厌恶。

本发明结合人脸的几何特征以及外观特征，从宏观和微观上获得更为详细的特征，使用几何特征进行的归一化可以消除人脸大小的不同，位置的不同，以及角度的不同带来的变化，同时从微观上提取的局部特征如(Uniform lbp特征)可以消除光照的不同，lbp特征具有光照不变性，还有旋转不变性等特征。同时通过划分分块的方式可以提取到更为细腻的特征。

为了验证表情识别的准确度，具体测试时选择了JAFFE以及CK+两个数据集，具体为：

JAFFE数据集包含213张图片，包含7类表情，这213张图片同时作为训练集以及测试集，采用了10折交叉验证，将所有数据平均分成10份，随机选择其中的9份作为训练集，剩下的1份作为测试集，重复10次，取10次测试的平均值作为最后的结果。实施中Libsvm使用的是rbf（高斯核）核，libsvm高斯核有两个参数是c和g，采用grid search的方式暴力对c和g进行尝试，查找到的最优的c是0.4，g是0.125，最终10折交叉验证的表情识别的准确度是95.77%。

CK+数据集中的是图片序列，包含从中性表情到最终的表情的序列，为了更有效地测试对不同人的表情识别情况，每个人的每个表情只选择一张图片，一共309张图片，包含不同种族，不同性别，不同年龄的人群。仍然采用了10折交叉验证，libsvm仍然使用的是rbf核，c和g分别是32和0.001953125，最终交叉验证的结果是89.32%。

实验结果表明，本发明对人脸图像中的表情识别具有较好的效果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于关键点和局部特征的表情识别方法，其特征是，所述表情识别方法包括如下步骤：

步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；

步骤2、利用上述关键点信息对人脸图像进行归一化；

步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform lbp特征，并将所有分块的uniform lbp特征组合成一个高维特征；

步骤4、利用主成份分析法抽取上述高维特征中的主成份并降低维度，以得到包含主成份的低维特征；

步骤5、对上述低维特征利用支持向量机进行分类，并输出识别人脸图像的表情。

2.根据权利要求1所述的基于关键点和局部特征的表情识别方法，其特征是：所述步骤1中，利用级联回归法来检测人脸图像的关键点信息。

3.根据权利要求1所述的基于关键点和局部特征的表情识别方法，其特征是，所述步骤2包括如下步骤：

步骤2.1、根据人脸图像中两眼睛中心横坐标、纵坐标，得到右眼相对水平的偏转角，并根据所述偏转角对人脸图像进行旋转，以使得两个眼睛位于同一水平线上；

步骤2.2、计算两眼睛之间的距离，并根据所述两眼睛之间的距离得到缩放比例，且根据所述缩放比例对上述的人脸图像进行缩放；

步骤2.3、在缩放后的人脸图像上，根据眼睛坐标以及嘴巴坐标进行图像截取，以得到归一化的人脸图像。

4.根据权利要求1所述的基于关键点和局部特征的表情识别方法，其特征是，所述步骤4包括如下步骤：

步骤4.1、将高维特征按列组成n行m列的矩阵X；

步骤4.2、将矩阵X的每一行进行零均值化，以得到矩阵Z；

步骤4.3、计算上述矩阵Z的协方差矩阵，并所述协方差矩阵的特征值以及与特征值对应的特征向量；

步骤4.4、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；

步骤4.5、根据上述矩阵P，得到低维特征矩阵Y，所述低维特征矩阵Y=PX。

5.根据权利要求1所述的基于关键点和局部特征的表情识别方法，其特征是：所述识别的表情包括高兴、生气、害怕、惊讶、悲伤或厌恶。