CN104298981A - 人脸微表情的识别方法 - Google Patents

Abstract

本发明人脸微表情的识别方法，涉及应用电子设备进行识别图形的方法，是在对人脸微表情图像序列预处理完成之后，使用Birnbaum-Saunders分布曲线建立回归模型，再使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征，最后使用分类器进行训练和预测，该方法克服了现有人脸微表情的识别方法存在对人脸微表情图像的亮点、边缘和白色噪声微小特征较为敏感，因而识别性能低的缺陷。

Description

人脸微表情的识别方法

技术领域

本发明的技术方案涉及应用电子设备进行识别图形的方法，具体地说是人脸微表情的识别方法。

背景技术

微表情是人类内在的情感信息加工过程，它无法伪造，不受意识控制，是识别谎言的有效线索，可以被广泛的应用于安全、司法、临床等领域。但微表情持续时间短且难以识别。即使是受过良好训练的人，进行微表情识别时，准确率仅在40％左右。因此，研发微表情识别系统，实现计算机自动识别微表情，对微表情的机理研究和实际应用都是非常必要的。

目前，国内外很多团队都在开展微表情研究。Ekman和Friesen于1969首次发现微表情的重要性，并且一直是微表情研究的主要力量之一，但他们的大部分研究工作成果至今并未见到公开发表。日本筑波大学Polikovsky团队使用3D梯度直方图方法进行微表情的检测识别，对200fps的视频序列进行处理,首先将人脸表情按照特定区域进行分块，然后在每一个区域提取3D直方图特征描述运动方向，在检测到微表情之后，根据一些给定的规则诸如FACS编码进行分类，该方法使用的数据库是研究人员自己构建的，参与人员被要求以尽可能低的表情强度、尽可能快的速度做出面部表情，论文并没有给出最终的识别率，该方法的人脸跟踪效果不好，没有足够的测试集进行测试，分类算法无法适应复杂的人脸变化。美国南佛罗里达大学Shreveport团队把光流法用于微表情研究，该方法使用应变模式处理连续的、不断变化的长视频。对面部表情的自动分割，通过对面部划分成的8个兴趣区域计算得到的光学应力与训练等得到的某一阈值进行比较，实现了对表情和微表情的分割。虽然该方法对光照不均匀和大量移动问题是鲁棒性的，但较为依赖于面部皮肤中形变的大小。芬兰奥卢大学的赵国英团队使用时间差值模型和LBP-TOP算法提取微表情序列的特征，通过提取序列图像或视频在时域和空域方向上的动态LBP纹理特征进行微表情的识别，算法测试库样本量相对较小，识别率较低。CN 103258204A公开了一种基于Gabor和EOH特征的自动微表情识别方法，使用Gabor和EOH特征进行微表情特征提取，但Gabor和EOH表征全局的能力较弱，且需要结合改进后的GentleSVM分类器才能进行微表情的分类识别，所需的硬件设备性能要求较高，而识别性能低于人们的期望。总之，现有人脸微表情的识别方法存在对人脸微表情图像的亮点、边缘和白色噪声微小特征较为敏感，因而识别性能低的缺陷。

发明内容

本发明所要解决的技术问题是：提供人脸微表情的识别方法，是在对人脸微表情图像序列预处理完成之后，使用Birnbaum-Saunders分布曲线建立回归模型，再使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征，最后使用分类器进行训练和预测，该方法克服了现有人脸微表情的识别方法对人脸微表情图像的亮点、边缘和白色噪声这些微小特征较为敏感，因而识别性能低的缺陷。

上述CBP-TOP是Centralized Binary Patterns from Three Orthogonal Panels的缩写。

本发明解决该技术问题所采用的技术方案是：人脸微表情的识别方法，是一种使用CBP-TOP算法提取微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：

第一步，人脸微表情图像预处理：

使用Adaboost算法检测微表情图像中的人脸，并进行裁剪，采用双线性差值算法实现图像的尺寸归一化，经过人脸微表情图像预处理后的人脸微表情图像大小为180×180像素；

第二步，人脸微表情检测：

使用Birnbaum-Saunders分布曲线建立回归模型，用于标记人脸微表情图像序列，其中包括人脸微表情出现的开始帧Apex1，持续时间和结束帧Apex2，由此完成人脸微表情检测；

第三步，使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征：

利用CBP-TOP算法对第二步标记完成的人脸微表情图像序列进行分块时空域纹理特征的提取，将第二步得到的有效描述人脸微表情序列的8帧图像分成16×16个非重叠的块，在每一子块上提取CBP-TOP特征，并对该子块进行CBP-TOP特征的直方图统计，最后将所有子块的特征直方图串联成整个人脸微表情序列的特征直方图，由此提取人脸微表情序列的动态时空纹理特征，即获取人脸微表情序列在XY平面的形变信息，以及在XT平面和YT平面的运动信息，所述CBP-TOP特征是图像本身存在的纹理特征，提取过程是通过CBP码计算得到的；

第四步，使用ELM分类器进行训练和预测：

使用ELM分类器进行训练和预测，一则是用以验证CBP-TOP算法的有效性，二则是对人脸微表情序列的特征进行分类识别，判断提取的特征究竟属于哪类人脸微表情。

上述人脸微表情的识别方法，所述CBP-TOP算法如下：

$\mathrm{CBP}-\mathrm{TOP}=\underset{x,y,t}{\mathrm{\Σ}}I\{f_j(x,y,t)=i\},i=0,...,n_j-1;j=\mathrm{0,1,2}---\left(1\right),$

其中：n_j为CBP算子在第j个平面产生的模式数目，j＝0，1,2分别表示XY、XT和YT平面，f_j(x,y,t)表示中心像素点(x,y,t)在第j个平面的CBP码的十进制值，函数I_(f)的定义如下：

$I_{\left(f\right)}=\left\{\begin{array}{c}1,\mathrm{if\; f\; is\; True}\\ 0,\mathrm{if\; f\; is\; False}\end{array}\right.---\left(2\right).$

上述人脸微表情的识别方法，所述“Adaboost算法、Birnbaum-Saunders分布曲线、和ELM分类器”都是公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明方法采用CBP-TOP算法提取人脸微表情序列特征，考虑中心像素点的作用，并显著降低直方图的维度，并降低白色噪音对识别结果的影响。

(2)本发明方法采用ELM分类器进行人脸微表情的训练和预测，ELM可以直接应用于回归分析和多分类应用。对于数据量非常大的图像序列和多类分类问题，ELM的处理速度和准确率显著高于现有的SVM分类器。

(3)本发明方法克服了现有人脸微表情的识别方法存在对人脸微表情图像的亮点、边缘和白色噪声微小特征较为敏感，因而导致识别性能低的缺陷，并充分考虑中心像素点的作用，给予最高权重，同时降低了白色噪声对图像的影响，最后使用ELM分类器对提取到的特征进行训练和预测，ELM随机产生隐层结点参数，利用得到的外权决定输出，大大简化了传统神经网络复杂的迭代过程，可以直接应用于回归分析和多类分类中，能够描述人脸局部的运动变化信息，分类识别算法大大简化了传统神经网络复杂的迭代过程。

(4)本发明方法提高了人脸微表情识别的准确性，提高了训练的速度和效率，使得人脸微表情识别进入可应用的领域。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明人脸微表情的识别方法的流程示意框图。

图2是本发明人脸微表情的识别方法中的人脸微表情图像预处理前后的对比示意图，其中：2(a)是人脸微表情预处理前的图像；图2(b)是使用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像；图2(c)是人脸微表情最终处理后的图像。

图3是本发明人脸微表情的识别方法中的人脸微表情检测后的效果示意图，其中，图3(a)是人脸微表情序列的第一帧；图3(b)是图3(a)到图3(c)之间的过渡表情图；图3(c)是人脸微表情出现的第一帧；图3(d)和图3(e)是人脸微表情持续帧；图3(f)是人脸微表情结束的最后一帧；图3(g)是人脸微表情序列的最后一帧。

图4是本发明人脸微表情的识别方法中的CBP-TOP计算过程示意图，其中图4(a)是图像序列中的XY、XT和YT三个平面图；图4(b)是每个平面的直方图；图4(c)是串联后的直方图。

图5是本发明人脸微表情的识别方法中的分块CBP-TOP计算过程示意图，其中，图5(a)是人脸微表情图像序列；图5(b)是人脸微表情序列分块；图5(c)是生成分块CBP-TOP特征的示意图。

图6是本发明人脸微表情的识别方法中的不同分块大小的识别率。

图7是本发明人脸微表情的识别方法中的CBP-TOP取不同阈值D₀的实验结果。

具体实施方式

图1所示实施例表明，本发明人脸微表情的识别方法的流程是：开始→人脸微表情图像预处理→人脸微表情检测→使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征→使用分类器进行训练和预测→结束。

图2所示实施例表明，在本发明方法中，人脸微表情图像预处理前后的对比如下：图2(a)是人脸微表情预处理前的图像，图2(b)是使用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像，图2(c)是人脸微表情最终处理后的图像，主要过程是对裁剪后的人脸区域，使用双线性差值算法进行图像的尺寸归一化，经过处理后的人脸微表情图像大小为180×180像素。

图3所示实施例显示了本发明人脸微表情的识别方法的人脸微表情检测后的效果，具体地说是使用Birnbaum-Saunders分布曲线建立回归模型，用于标记人脸微表情图像序列，其中包括：人脸微表情出现的开始帧Apex1，持续时间和结束帧Apex2。其中，图3(a)是人脸微表情序列的第一帧；图3(b)是图3(a)到图3(c)之间的过渡表情图；图3(c)是人脸微表情出现的第一帧；图3(d)和图3(e)是人脸微表情持续帧；图3(f)是人脸微表情结束的最后一帧；图3(g)是人脸微表情序列的最后一帧。

图4所示实施例表明，在本发明方法中CBP-TOP特征提取算法的计算过程是，CBP通过比较中心像素点环形邻域中的近邻点对来计算图像的CBP码。CBP码的定义如下：

$\mathrm{CBP}(P,R)=\underset{p=0}{\overset{(P/2)-1}{\mathrm{\Σ}}}s(g_p-g_{p+P/2})2^p+s(g_c-\frac{1}{P+1}(\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}{g}_p+g_c))2^{P/2}---\left(3\right)$

其中，P、R分别表示环形邻域中近邻点的个数和半径；g_c表示中心像素点的灰度值；g_p(p＝0,1,...,P-1)表示g_c近邻点的灰度值；s(x)为符号函数，定义如下：

$s\left(x\right)=\left\{\begin{array}{cc}1& \left|x\right|\&GreaterEqual;D_0\\ 0& \left|x\right|<D_0\end{array}\right.$ D₀是阈值常数                    (4)

人脸微表情序列中的每一幅处于中间部分的图像上的每个像素点，都可以看做是XY、XT和YT三个正交平面的交点。因此，对于人脸微表情序列的特征提取，就以图像序列中的一幅处于序列中间部分的图像为基准，计算该图像上每个像素点作为中心像素点分别在XY、XT和YT三个正交平面上的环形邻域的CBP码。如果近邻点对的连线穿过中心像素点，则比较该对近邻点的灰度值。对于那些没有落在像素点中心的近邻点，采用双线性插值法估计灰度值。在XY、XT和YT三个正交平面上提取所有中心像素点的CBP码并进行直方图的统计，分别记作XY-CBP，XT-CBP和YT-CBP；将统计后的直方图串联起来，形成一个直方图，即为H_i＝{XY-CBP，XT-CBP，YT-CBP}。由于人脸微表情序列的特殊性，设置XY平面的半径等于XT、YT平面的半径是不合理的。如果图像序列是在高分辨率和低帧速的情况下获得的话，在X轴和Y轴方向上图像纹理变化不是很大，但在T轴方向上，图像纹理变化是巨大的，所以对时间和空间的半径需要设置不同的参数。在XY、XT、YT平面上的相邻点的半径和数目分别记作R_X，R_Y和R_T，P_XY，P_XT和P_YT，对应的特征表示为

在X-Y-T三维坐标系中，假设中心像素点的坐标为x_c、y_c和t_c(x_c∈{0，…，X-1}，y_c∈{0，…，Y-1}，t_c∈{0，…，T-1})。中心像素点在各平面的环形邻域上的第p个相邻像素点g_XY,P、g_XT,P和g_YT,P分别记作：

(x_c-R_X sin(2πp/P_XY),y_c+R_Y cos(2πp/P_XY),t_c)，其中P∈{0，1，…，P_XY-1}；

(x_c-R_X sin(2πp/P_XT),y_c,t_c-R_T cos(2πp/P_XT))，其中P∈{0，1，…，P_XT-1}；

(x_c,y_c-R_Y cos(2πp/P_YT),t_c-R_T sin(2πp/P_YT))，其中P∈{0，1，…，P_YT-1}。

获取中心像素点在三个正交平面上的相邻像素点后，就可以分别计算该中心像素点在三个正交平面上的CBP码了。计算出所有中心像素点在三个正交平面上的CBP码后，再分别统计三个平面的CBP直方图，最后串联起三个直方图，就得到图像序列的直方图，定义如下

H_i,j＝Σ_x,y,tI{f_j(x,y,t)＝i},i＝0,...,n_j-1；j＝0,1,2.          (5)

其中：n_j为CBP算子在第j个平面产生的模式数目，j＝0，1，2分别表示XY，XT，YT平面，f_i(x,y,t)表示中心像素点(x,y,t)在第j个平面的CBP码的十进制值，函数I_(f)的定义如下：

$I_{\left(f\right)}=\left\{\begin{array}{c}1,\mathrm{if\; f\; is\; True}\\ 0,\mathrm{if\; f\; is\; False}\end{array}\right.---\left(6\right)$

正交化直方图的计算公式为：

$N_{i,j}=\frac{H_{i,j}}{{\mathrm{\&Sigma;}}_{k=0}^{n_j-1}{H}_{k,j}}---\left(7\right)$

在该直方图中，可以有效获取CBP在各平面的纹理特征。XY平面获得形变信息，XT和YT平面获得水平、垂直方向的运动信息。因此CBP-TOP可以获取图像序列的时空动态纹理特征的全局信息。CBP显著地降低了直方图的维度，通过考虑中心像素点并赋予最高权重，降低了白色噪音的敏感性。图4(a)是图像序列中的XY、XT和YT三个平面图；图4(b)是每个平面的直方图；图4(c)是串联后的直方图。

图5所示实施例表明，本发明人脸微表情的识别方法的分块CBP-TOP计算过程是在考虑像素级、区域级和时间信息后，提出对图像分块并提取CBP-TOP的方法。如果不对图像序列分块而直接使用CBP-TOP算子提取人脸微表情序列特征，这样就不能获取反映人脸部微小变化的位置特征。为了能够描述人脸局部的运动变化信息，要对人脸微表情图像序列进行合理分块，将人脸微表情图像分成4×3的非重叠块。在每一小块上提取CBP-TOP特征并对该小块进行CBP-TOP特征的直方图统计，这样就能获取人脸微表情序列的形变和运动特征。

提取完人脸微表情序列特征之后，本发明使用ELM分类器的Sigmoidal函数作为分类函数，进行多类分类。

本发明在CASME人脸微表情数据库进行实验。从CASME库中，选取142个图像序列进行实验，这些人脸微表情序列总周期小于500ms或者人脸微表情启动时间(从开始帧到最大帧)小于250ms。实验中人脸微表情序列被分为厌恶，高兴，压抑，惊讶和紧张，分别包含32，10，40，17，43个图像序列，每个图像序列包含8帧，共1136幅图像。本发明是在Windows 7环境下的MATLAB R2013a平台上运行完成。图5(a)是人脸微表情图像序列；图5(b)是人脸微表情序列分块；图5(c)是生成分块CBP-TOP特征的示意图。

图6所示人脸微表情的识别方法中的不同分块大小的识别率的实施例表明，在本发明方法中，当分块大小在16×16时，效果最好，识别率能够达到78.5％。实验基础是P_XY＝P_XT＝P_YT＝8，R_X＝R_Y＝R_T＝1，阈值常数D₀＝10。该图中横坐标表示人脸微表情图像序列中每张图片分块的块大小，纵坐标表示对应分块大小的算法识别率(％)。

图7所示人脸微表情的识别方法中的CBP-TOP取不同阈值D₀的实验结果的实施例表明，在本发明方法中，阈值在D₀＝14时，识别率最好，达到80.0％。实验基础是P_XY＝P_XT＝P_YT＝8和块大小16×16。图中横坐标表示CBP-TOP公式中不同的阈值D₀，纵坐标表示对应不同阈值的识别率(％)。

确定阈值D₀和分块大小后，需要确定中心像素点在各平面的半径和邻域点数量。由于本实施例的每个图像序列是8帧，因此R_T最大取2，最小取1。表1表明，P_XY＝P_XT＝P_YT＝8和R_T＝2，R_X＝R_Y＝1，即邻域点为8个，XY平面半径为2，XT和YT平面半径为1时，效果是最好的，识别率能达到82.07％。

表1 CBP-TOP在不同的R_T，R_X，R_Y的平均识别率

CBP-top参数	平均识别率(％)	CBP-top参数	平均识别率(％)
				CBP-top8,8,8,1,1,1	78.5	CBP-top4,4,4,1,1,1	76.4
CBP-top8,8,8,2,2,1	80.2	CBP-top4,4,4,2,1,1	79.3
				CBP-top8,8,8,2,1,1	82.07

比较VLBP、LBP-TOP和CBP-TOP三种方法在人脸微表情特征提取的结果如表2所示。

表2 在CASME数据库上，不同方法的识别率

方法	厌恶	高兴	压抑	惊讶	紧张	平均识别率(％)
							VLBP+ELM	75.00	40.00	81.25	60.00	79.25	67.10
LBP-top+ELM	75.00	50.00	92.86	70.00	81.25	73.82
							CBP-top+ELM	83.33	66.67	92.86	80.00	87.50	82.07

结果表明，本发明提取CBP-TOP特征的识别方法明显优于提取VLBP和LBP-TOP特征的识别方法，识别率达到82.07％。

实施例1

人脸微表情的识别方法，是一种使用CBP-TOP算法提取微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：

第一步，人脸微表情图像预处理：

使用Adaboost算法检测微表情图像中的人脸，并进行裁剪，采用双线性差值算法实现图像的尺寸归一化，经过人脸微表情图像预处理后的人脸微表情图像大小为180×180像素；该步人脸微表情图像预处理的结果如上述图2实施例所示。

第二步，人脸微表情检测：

使用Birnbaum-Saunders分布曲线建立回归模型，用于标记人脸微表情图像序列，其中包括人脸微表情出现的开始帧Apex1，持续时间和结束帧Apex2，由此完成人脸微表情检测；该步人脸微表情检测的结果如上述图3实施例所示。

第三步，使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征：

利用CBP-TOP算法对第二步标记完成的人脸微表情图像序列进行分块时空域纹理特征的提取，将第二步得到的有效描述人脸微表情序列的8帧图像分成16×16个非重叠的块，在每一子块上提取CBP-TOP特征，并对该子块进行CBP-TOP特征的直方图统计，最后将所有子块的特征直方图串联成整个人脸微表情序列的特征直方图，由此提取人脸微表情序列的动态时空纹理特征，即获取人脸微表情序列在XY平面的形变信息，以及在XT平面和YT平面的运动信息，所述CBP-TOP特征是图像本身存在的纹理特征，提取过程是通过CBP码计算得到的；该步使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征的结果如上述图4-图7实施例所示。

第四步，使用ELM分类器进行训练和预测

使用ELM分类器进行训练和预测，一则是用以验证CBP-TOP算法的有效性，二则是对人脸微表情序列的特征进行分类识别，判断提取的特征究竟属于哪类人脸微表情。

上述人脸微表情的识别方法，所述CBP-TOP算法如下：

$\mathrm{CBP}-\mathrm{TOP}=\underset{x,y,t}{\mathrm{\&Sigma;}}I\{f_j(x,y,t)=i\},i=0,...,n_j-1;j=\mathrm{0,1,2}---\left(1\right),$

其中：n_j为CBP算子在第j个平面产生的模式数目，j＝0，1,2分别表示XY、XT和YT平面，f_j(x,y,t)表示中心像素点(x,y,t)在第j个平面的CBP码的十进制值，函数I_(f)的定义如下：

$I_{\left(f\right)}=\left\{\begin{array}{c}1,\mathrm{if\; f\; is\; True}\\ 0,\mathrm{if\; f\; is\; False}\end{array}\right.---\left(2\right).$

上述实施例中所述Adaboost算法、Birnbaum-Saunders分布曲线和ELM分类器都是公知的。

Claims (2)

1.人脸微表情的识别方法，其特征在于：是一种使用CBP-TOP算法提取微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：

第一步，人脸微表情图像预处理

使用Adaboost算法检测微表情图像中的人脸，并进行裁剪，采用双线性差值算法实现图像的尺寸归一化，经过人脸微表情图像预处理后的人脸微表情图像大小为180×180像素；

第二步，人脸微表情检测

使用Birnbaum-Saunders分布曲线建立回归模型，用于标记人脸微表情图像序列，其中包括人脸微表情出现的开始帧Apex1，持续时间和结束帧Apex2，由此完成人脸微表情检测；

第三步，使用CBP-TOP算法提取人脸微表情序列的动态时空纹理特征

利用CBP-TOP算法对第二步标记完成的人脸微表情图像序列进行分块时空域纹理特征的提取，使用第二步得到的有效描述人脸微表情序列的8帧图像，将其分成16×16个非重叠的块，在每一子块上提取CBP-TOP特征，并对该子块进行CBP-TOP特征的直方图统计，最后将所有子块的特征直方图串联成整个人脸微表情序列的特征直方图，由此提取人脸微表情序列的动态时空纹理特征，即获取人脸微表情序列在XY平面的形变信息，以及在XT平面和YT平面的运动信息，所述CBP-TOP特征是图像本身存在的纹理特征，提取过程是通过CBP码计算得到的；

第四步，使用ELM分类器进行训练和预测

使用ELM分类器进行训练和预测，一则是用以验证CBP-TOP算法的有效性，二则是对人脸微表情序列的特征进行分类识别，判断提取的特征究竟属于哪类人脸微表情。

2.根据权利要求1所述人脸微表情的识别方法，其特征在于所述CBP-TOP算法如下：

$\mathrm{CBP}-\mathrm{TOP}=\underset{x,y,t}{\mathrm{\&Sigma;}}I\{f_j(x,y,t)=i\}i=0,...,n_j-1;j=0,1,2$

其中：n_j为CBP算子在第j个平面产生的模式数目，j＝0，1,2分别表示XY、XT和YT平面，f_j(x,y,t)表示中心像素点(x,y,t)在第j个平面的CBP码的十进制值，函数I_(f)的定义如下：

$I_{\left(f\right)}=\left\{\begin{array}{c}1,\mathrm{iffisTrue}\\ 0,\mathrm{iffisFalse}\end{array}\right.---\left(2\right).$