CN103886317A - 一种基于人脸表情图像的局部特征表征方法 - Google Patents

Abstract

本发明公开了一种基于人脸表情图像的局部特征表征方法，其特征包括如下步骤：1.利用海尔检测器和人脸三庭五眼关系分割出人脸表情图像的眉毛子图像、眼睛子图像和嘴巴子图像；2.获得充分矢量三角形编码；3.利用充分矢量三角形编码对眉毛子图像、眼睛子图像和嘴巴子图像进行局部特征统计。本发明能有效表征人脸表情图像的局部特征，降低计算复杂度，提高特征提取的实时性和精确性。

Description

一种基于人脸表情图像的局部特征表征方法

技术领域

本发明涉及一种特征提取方法，属于图像处理领域，具体地说是一种基于人脸表情图像的精确局部特征描述方法。

背景技术

随着情感计算等学科领域的不断发展，表情识别作为其中的一个重要组成部分，已经成为了当前研究的热点。表情识别通常可分为图像预处理、特征提取和表情分类识别三个步骤。其中，特征提取是表情识别过程中的关键所在，近年来用于特征提取的优秀算法层出不穷，大致可分为：

基于几何特征的特征提取方法，主要用来提取脸部各器官的形状和位置变化特征，如眉毛、眼睛、嘴巴等在人脸表情变化时改变显著的器官，通过确定上述器官的相互比例、形状、大小和距离，构成特征向量。但基于几何特征的特征提取方法特征维数较高，为了降低维数往往会丢失一些重要的特征表征信息。

基于统计特征的特征提取方法，主要基于图像的全局灰度特征，要求尽量保存原始人脸表情图像中的信息，通过整幅人脸图像的变换获得各种人脸表情特征。代表性的方法如主成份分析（Principal Component Analysis,PCA）。但基于统计特征的特征提取方法特征维数较高，运算量较大。

基于频率域的特征提取方法，主要是基于时间-频率的方法，将图像从平面域转换到了频率域，所提取的特征对光照和噪声的敏感度较低。代表性的方法如Gabor小波。但基于频率域的特征提取方法特征冗余度较高且实时性较低。

基于模型的特征提取方法，主要是以面部对象的形状以及纹理结构作为基础，建立二维或三维模型，通过模型参数的改变来适配人脸图像。代表性的方法如主动外观模型（ActiveAppearance Model,AAM）和主动形状模型（Active Shape Model,ASM）。但基于模型的特征提取方法存在初始参数难以确定，运算量较大的问题，时间复杂度较高。

发明内容

本发明为避免上述现有技术存在的不足之处，提供一种基于人脸表情图像的精确局部特征表征方法，能有效表征人脸表情图像的局部特征，降低计算复杂度，提高特征提取的实时性和精确性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于人脸表情图像的局部特征表征方法的特点是按如下步骤进行：

步骤一、利用海尔检测器和人脸三庭五眼关系对人脸表情图像进行分割，获得所述人脸表情图像的子图像，所述子图像包括眉毛子图像、眼睛子图像和嘴巴子图像；

步骤二、获得充分矢量三角形编码；

步骤1、获得四类直角三角形；

1.1、在二维坐标系XoY中，对所述子图像中任意一点（x₀,y₀)作为直角顶点A，当保持y轴上的坐标点不变，x轴上的坐标点变化时，获得顶点B（x₁,y₀)；当保持x轴上的坐标点不变，y轴上的坐标点变化时，获得顶点C（x₀,y₁)；由所述直角顶点A（x₀,y₀)、顶点B（x₁,y₀)和顶点C（x₀,y₁)获得直角三角形ABC；

1.2、将所述直角三角形ABC以直角边AC为对称轴进行镜像翻转获得直角三角形AB′C；将所述直角三角形AB′C以直角边AB′为对称轴进行镜像翻转获得直角三角形AB′C′；将直角三角形AB′C′以直角边AC′为对称轴进行镜像翻转获得直角三角形ABC′；由此获得四类直角三角形；

步骤2、对所述直角三角形ABC进行55种矢量三角形编码；

2.1、利用式(1)获得所述直角三角形ABC的编码类型c(ABC)：

c(ABC)＝s₁(y₁-y₀)+2s₁(x₁-x₀)    (1)

令x＝x₁-x₀，则有二值描述函数s₁(x)：

$s_1\left(x\right)\left\{\begin{array}{c}0,x>0\\ 1,x<0\end{array}\right.---\left(2\right)$

令y＝y₁-y₀，则有二值描述函数s₁(y)：

$s_1\left(y\right)\left\{\begin{array}{c}0,y>0\\ 1,y<0\end{array}\right.---\left(3\right)$

2.2、获得所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差与所述三个顶点像素的灰度均值的关系；

2.2.1、通过式(4)获得所述直角三角形ABC的三个顶点像素的灰度均值

$\stackrel{\&OverBar;}{I}=\frac{(I_0+I_1+I_2)}{3}---\left(4\right)$

式(4)中，I₀、I₁、I₂分别表示所述直角三角形ABC的三个顶点像素的灰度值；

2.2.2、利用式(5)获得所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差d：

$d=\left\{\begin{array}{c}{d}_1=I_0-I_1\\ d_2=I_1-I_2\\ d_3=I_0-I_2\end{array}\right.---\left(5\right)$

2.2.3、利用式(6)获得所述灰度值之差d与灰度均值

之间的关系s₂(d)：

$s_2\left(d\right)=\left\{\begin{array}{c}2,d>\stackrel{\&OverBar;}{I}\\ 1,\stackrel{\&OverBar;}{I}\&GreaterEqual;d\&GreaterEqual;0\\ 0,d=0\\ -1,-\stackrel{\&OverBar;}{I}\&le;d<0\\ -2,d<-\stackrel{\&OverBar;}{I}\end{array}\right.---\left(6\right)$

2.3、获得55种矢量三角形；

a、当所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都不相等时，利用式(7)将述直角三角形ABC划分为六种子类k；

$k=\left\{\begin{array}{c}{k}_1,I_0<I_1<I_2\\ k_2,I_0<I_2<I_1\\ k_3,I_1<I_0<I_2\\ k_4,I_1<I_2<I_0\\ k_5,I_2<I_0<I_1\\ k_6,I_0<I_1<I_0\end{array}\right.---\left(7\right)$

利用式(8)将所述六种子类k中每一个子类划分为七种从属子类j：

通过式(7)和式(8)获得6×7＝42种矢量三角形类型；

b、当所述三个顶点像素的灰度值I₀、I₁、I₂中有且仅有两个顶点灰度值相等时，利用式(9)将述直角三角形ABC划分为十二种子类l：

c、当所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都相等时，仅存在一种类型n,I₀＝I₁＝I₂；

通过步骤a、b和c共获得6×7+12+1＝55种矢量三角形类型；

2.4、利用式（10）获得所述55种矢量三角形编码v(I₀,I₁,I₂)：

并有：

$\mathrm{\&alpha;}=\left\{\begin{array}{c}10,\left|d_2\right|>\stackrel{\&OverBar;}{I}\\ 16,\left|d_2\right|\&le;\stackrel{\&OverBar;}{I}\end{array}\right.---\left(11\right)$

$s_3\left(d_2\right)=\left\{\begin{array}{c}1,d_2>0\\ -1,d_2<0\end{array}\right.---\left(12\right)$

步骤3，将所述直角三角形AB′C、直角三角形AB′C′和直角三角形ABC′按照步骤2获得各自的55种矢量三角形编码；

步骤4、利用式(13)获得4×55=220种充分矢量三角形编码T_Δx,Δy(x₀,y₀)：

T_Δx,Δy(x₀,y₀)＝56c((x₀,y₀),(x₀,y₁),(x₁,y₀))+s₄(v(I₀,I₁,I₂))-1    （13）

并有：

$s_4\left(v(I_0,I_1,I_2)\right)=\left\{\begin{array}{c}v(I_0,I_1,I_2)+30,v<0\\ v(I_0,I_1,I_2)+27,v>0\end{array}\right.---\left(14\right)$

步骤三、利用所述充分矢量三角形编码T_Δx,Δy(x₀,y₀)对所述子图像进行局部特征统计；

步骤3.1、利用式(15)统计所述眉毛子图像的充分矢量三角形统计直方图

$H^{b_i}=\{H_0^{b_i},...,H_{54}^{b_i};H_{55}^{b_i},...,H_{109}^{b_i};H_{110}^{b_i},...,H_{164}^{b_i};H_{165}^{b_i},...,H_{219}^{b_i}\}---\left(15\right)$

式（15）中，i＝0或1，

和

分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤3.2、利用式(16)统计所述眼睛子图像的充分矢量三角形统计直方图

$H^{e_p}=\{H_0^{e_p},...,H_{54}^{e_p};H_{55}^{e_p},...,H_{109}^{e_p};H_{110}^{e_p},...,H_{164}^{e_p};H_{165}^{e_p},...,H_{219}^{e_p}\}---\left(16\right)$

式（16）中，p＝0或1，

和分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤3.3、利用式(17)统计所述嘴巴子图像的充分矢量三角形统计直方图

$H^{m_q}=\{H_0^{m_q},...,H_{54}^{m_q};H_{55}^{m_q},...,H_{109}^{m_q};H_{110}^{m_q},...,H_{164}^{m_q};H_{165}^{m_q},...,H_{219}^{m_q}\}---\left(17\right)$

式（17）中，q＝0或1或2，

和

分别表示充分矢量三角形取得不同尺度时三个统计直方图。

与已有技术相比，本发明的有益效果体现在：

1、本发明利用充分矢量三角形进行特征提取，通过改变充分矢量三角形直角边长度，可以灵活的表征图像中各种位置关系的像素点之间的信息，使得图像信息的表征更加充分。

2、本发明利用充分矢量三角形进行特征提取，考察三角形任意两顶点灰度值之差与三个顶点平均灰度值的大小关系，两顶点灰度值之差大于平均灰度值的充分矢量三角形反映了图像的轮廓特征，两顶点灰度值之差小于平均灰度值的充分矢量三角形反映了图像的细节特征，将所述子图像的轮廓特征与细节特征区分统计，对图像特征的表征更加完全。

3、本发明针对人脸图像中的眉毛子图像、眼睛子图像和嘴巴子图像进行特征提取，既减少了图像中对表情识别影响较弱的冗余信息对表情识别的干扰性，又降低了识别时间；对提高表情识别效率，更好的满足实时交互起到了很大的作用。

4、本发明对于眉毛子图像、眼睛子图像和嘴巴子图像选取不同尺度的充分矢量三角形进行特征表征，对于同一子图像使用多种尺度的充分矢量三角形相结合共同表征特征，从而发挥了充分矢量三角形模式的灵活性，使得提取出的特征更加精确。

附图说明

图1为本发明流程框图；

图2为本发明人脸图像几何关系分割图；

图3a为本发明人脸表情图像中分割出的眉毛子图像的示意图；

图3b为本发明人脸表情图像中分割出的眼睛子图像的示意图；

图3c为本发明人脸表情图像中分割出的嘴巴子图像的示意图；

图4为本发明中三角形像素点选取图；

图5a为本发明四类直角三角形中的直角三角形ABC；

图5b为本发明四类直角三角形中的直角三角形AB′C；

图5c为本发明四类直角三角形中的直角三角形AB′C′；

图5d为本发明四类直角三角形中的直角三角形ABC′；

图6为本发明中55种充分矢量三角形的几何图形与对应编码；

图7a为本发明分割出的生气表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7b为本发明分割出的厌恶表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7c为本发明分割出的恐惧表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7d为本发明分割出的高兴表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7e为本发明分割出的中性表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7f为本发明分割出的悲伤表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图7g为本发明分割出的惊讶表情下的眉毛子图像、眼睛子图像和嘴巴子图像示例；

图8为本发明各子图像提取特征时所使用的充分三角形尺度参数。

具体实施方式

本实施例中，如图1所示，一种基于人脸表情图像的局部特征表征方法是按如下步骤进行：

步骤一、对人脸表情图像进行预处理；

步骤1.1、参见图2，利用海尔检测器确定人脸表情图像中人眼的位置，左眼中心位置记作：E_l，右眼中心位置记作：E_r；将E_l、E_r间距离记作：d；

步骤1.2、对人脸表情图像进行裁剪，按照从人眼中心位置所在水平线向上0.6d的距离，以及人眼中心位置所在水平线向下1.6d的距离，从左眼中心位置E_l位置向左0.4d的距离，从右眼中心位置E_r位置向右0.4d的距离进行裁剪后，形成大小为2.2d×1.8d的裁剪图像；

步骤1.3、对裁剪图像进行直方图均衡化，获得预处理后的人脸表情图像；

步骤二、利用人脸三庭五眼关系对处理后的人脸表情图像进行分割，获得人脸表情图像的子图像，该子图像包括眉毛子图像、眼睛子图像和嘴巴子图像；

按照图2，根据人脸部器官几何关系，以左眼中心位置E_l和右眼中心位置E_r的连线的中点为中心点，向上0.15d作为上边界，向下0.15d作为下边界，向左0.75d作为左边界，向右0.75d作为右边界，在上述人脸表情图像中分割出眼睛子图像；以眼睛子图像的上边界作为眉毛子图像的下边界，向上0.3d作为眉毛子图像的上边界，眼睛子图像的左边界作为眉毛子图像的左边界，眼睛子图像的右边界作为眉毛子图像的右边界，从而获得眉毛子图像；以左眼中心位置E_l和右眼中心位置E_r的中心点为起点，向左0.45d作为嘴巴子图像的左边界，向右0.45d作为嘴巴子图像的右边界，向下0.6d作为嘴巴子图像的上边界，向下1.2d作为嘴巴子图像的下边界，从而从人脸表情图像中分割出嘴巴子图像；最终获得如图3a所示的大小为1.5d×0.3d的眼睛子图像；如图3b所示的大小为1.5d×0.3d的眉毛子图像，如图3c所示的大小为0.9d×0.6d的嘴巴子图像；

步骤三、获得充分矢量三角形编码；

步骤3.1、获得四类直角三角形；

步骤3.1.1、如图4所示，在二维坐标系XoY中，对子图像中任意一点（x₀,y₀)作为直角顶点A，当保持y轴上的坐标点不变，x轴上的坐标点变化时，获得顶点B（x₁,y₀)；当保持x轴上的坐标点不变，y轴上的坐标点变化时，获得顶点C（x₀,y₁)；由直角顶点A（x₀,y₀)、顶点B（x₁,y₀)和顶点C（x₀,y₁)获得如图5a所示的直角三角形ABC；

步骤3.1.2、将直角三角形ABC以直角边AC为对称轴进行镜像翻转获得如图5b所示的直角三角形AB′C；将直角三角形AB′C以直角边AB′为对称轴进行镜像翻转获得如图5c所示的直角三角形AB′C′；将直角三角形AB′C′以直角边AC′为对称轴进行镜像翻转获得如图5d所示的直角三角形ABC′；由此获得四类直角三角形；

步骤3.2、对直角三角形ABC进行55种矢量三角形编码；

步骤3.2.1、利用式(1)获得直角三角形ABC的编码类型c(ABC)：

c(ABC)＝s₁(y₁-y₀)+2s₁(x₁-x₀)    (1)

令x＝x₁-x₀，则有二值描述函数s₁(x)：

$s_1\left(x\right)\left\{\begin{array}{c}0,x>0\\ 1,x<0\end{array}\right.---\left(2\right)$

令y＝y₁-y₀，则有二值描述函数s₁(y)：

$s_1\left(y\right)\left\{\begin{array}{c}0,y>0\\ 1,y<0\end{array}\right.---\left(3\right)$

步骤3.2.2、获得三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差与三个顶点像素的灰度均值的关系；

步骤a、通过式(4)获得直角三角形ABC的三个顶点像素的灰度均值

$\stackrel{\&OverBar;}{I}=\frac{(I_0+I_1+I_2)}{3}---\left(4\right)$

式(4)中，I₀、I₁、I₂分别表示直角三角形ABC的三个顶点像素的灰度值；

步骤b、利用式(5)获得三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差d：

$d=\left\{\begin{array}{c}{d}_1=I_0-I_1\\ d_2=I_1-I_2\\ d_3=I_0-I_2\end{array}\right.---\left(5\right)$

步骤c、利用式(6)获得灰度值之差d与灰度均值

之间的关系s₂(d)：

$s_2\left(d\right)=\left\{\begin{array}{c}2,d>\stackrel{\&OverBar;}{I}\\ 1,\stackrel{\&OverBar;}{I}\&GreaterEqual;d\&GreaterEqual;0\\ 0,d=0\\ -1,-\stackrel{\&OverBar;}{I}\&le;d<0\\ -2,d<-\stackrel{\&OverBar;}{I}\end{array}\right.---\left(6\right)$

步骤3.2.3、获得55种矢量三角形；

步骤A、当三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都不相等时，利用式(7)将述直角三角形ABC划分为六种子类k；

$k=\left\{\begin{array}{c}{k}_1,I_0<I_1<I_2\\ k_2,I_0<I_2<I_1\\ k_3,I_1<I_0<I_2\\ k_4,I_1<I_2<I_0\\ k_5,I_2<I_0<I_1\\ k_6,I_0<I_1<I_0\end{array}\right.---\left(7\right)$

利用式(8)将六种子类k中每一个子类划分为七种从属子类j：

在式(8)中不存在d₁、d₂、d₃的绝对值均大于

的情况；其证明如下：

假设存在d₁、d₂、d₃的绝对值均大于

的情况，即当0≤I₂＜I₁＜I₀≤255时，存在：

$\left\{\begin{array}{c}\frac{I_0+I_1+I_2}{3}<|I_0-I_1|\\ \frac{I_0+I_1+I_2}{3}<|I_1-I_2|\\ \frac{I_0+I_1+I_2}{3}<I_0-I_2|\end{array}\right.---\left(9\right)$

从而推出：

$\left\{\begin{array}{c}{I}_0+I_1+I_2<3I_0-3I_1\left(1\right)\\ I_0+I_1+I_2<3I_1-3I_2\left(2\right)\\ I_0+I_1+I_2<3I_0-{3I}_2\left(3\right)\end{array}\right.---\left(10\right)$

于是有：

$\left\{\begin{array}{c}{4I}_1+I_2<2I_0\left(4\right)\\ I_0<2I_1-4I_2\left(5\right)\\ {4I}_2+I_1<2I_0\left(6\right)\end{array}\right.---\left(11\right)$

由式(11)中的式(4)和式(5)可推出-9I₂＞0，显然与0≤I₂＜I₁＜I₀≤255矛盾，故不存在d₁、d₂、d₃的绝对值均大于I的情况。

通过式(7)和式(8)获得6×7＝42种矢量三角形类型；

步骤B、当三个顶点像素的灰度值I₀、I₁、I₂中有且仅有两个顶点灰度值相等时，利用式(12)将述直角三角形ABC划分为十二种子类l：

步骤C、当三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都相等时，仅存在一种类型n,I₀＝I₁＝I₂；

通过步骤A、B和C共获得6×7+12+1＝55种矢量三角形类型，其55种矢量三角形的几何表示与代数编码如图6所示，几何表示中所有的箭头都指向灰度值较大的顶点，单箭头→表示两顶点灰度值之差的绝对值小于或等于

双箭头

表示两顶点灰度值之差绝对值大于

若两顶点灰度值大小相等，则用直线连接两个顶点；每一列矢量三角形的几何表示都有相对应的代数编码，代数编码是通过式（13）获得的；

步骤3.2.4、利用式（13）获得55种矢量三角形编码v(I₀,I₁,I₂)：

并有：

$\mathrm{\&alpha;}=\left\{\begin{array}{c}10,\left|d_2\right|>\stackrel{\&OverBar;}{I}\\ 16,\left|d_2\right|\&le;\stackrel{\&OverBar;}{I}\end{array}\right.---\left(14\right)$

$s_3\left(d_2\right)=\left\{\begin{array}{c}1,d_2>0\\ -1,d_2<0\end{array}\right.---\left(15\right)$

步骤3.3，将直角三角形AB′C、直角三角形AB′C′和直角三角形ABC′按照步骤3.2获得各自的55种矢量三角形编码；

步骤4、利用式(16)获得4×55=220种充分矢量三角形编码T_Δx,Δy(x₀,y₀)：

T_Δx,Δy(x₀,y₀)＝56c((x₀,y₀),(x₀,y₁),(x₁,y₀))+s₄(v(I₀,I₁,I₂))-1    （16）

并有：

$s_4\left(v(I_0,I_1,I_2)\right)=\left\{\begin{array}{c}v(I_0,I_1,I_2)+30,v<0\\ v(I_0,I_1,I_2)+27,v>0\end{array}\right.---\left(17\right)$

利用充分矢量三角形模式所提取的特征可以更加全面的表征图像信息，充分矢量三角形模式中，两顶点灰度值之差的绝对值小于或等于

的特征三角形反映了图像的细节特征，两顶点灰度值之差绝对值大于

的特征三角形反映了图像的轮廓特征，这样轮廓信息与细节特征区分统计，使得图像信息表征更加充分；

步骤四、利用充分矢量三角形编码T_Δx,Δy(x₀,y₀)对子图像进行局部特征统计；

步骤4.1、利用式(18)统计眉毛子图像的充分矢量三角形统计直方图

$H^{b_i}=\{H_0^{b_i},...,H_{54}^{b_i};H_{55}^{b_i},...,H_{109}^{b_i};H_{110}^{b_i},...,H_{164}^{b_i};H_{165}^{b_i},...,H_{219}^{b_i}\}---\left(18\right)$

式（18）中，i＝0或1，

分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤4.2、利用式(19)统计眼睛子图像的充分矢量三角形统计直方图

$H^{e_p}=\{H_0^{e_p},...,H_{54}^{e_p};H_{55}^{e_p},...,H_{109}^{e_p};H_{110}^{e_p},...,H_{164}^{e_p};H_{165}^{e_p},...,H_{219}^{e_p}\}---\left(19\right)$

式（19）中，p取值为0或1，分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤4.3、利用式(20)统计嘴巴子图像的充分矢量三角形统计直方图

$H^{m_q}=\{H_0^{m_q},...,H_{54}^{m_q};H_{55}^{m_q},...,H_{109}^{m_q};H_{110}^{m_q},...,H_{164}^{m_q};H_{165}^{m_q},...,H_{219}^{m_q}\}---\left(20\right)$

式（20）中，q取值为0、1或2，

分别表示充分矢量三角形取得不同尺度时三个统计直方图；

从图3a、图3b和图3c中可以看出，眉毛子图像、眼睛子图像和嘴巴子图像三幅图像的长宽比例各不相同，因此采用不同尺度的充分矢量三角形来表征这些局部区域的特征；并且如图7a、图7b、图7c、图7d、图7e、图7f和图7g所示，在生气、悲伤、高兴、厌恶、惊讶、中性、愤怒七种不同的表情下，嘴部变化最明显，对表情识别的贡献也最大，故采用三种尺度的充分矢量三角形来表征嘴巴子图像的特征；本发明中各子图像提取特征时选取的充分矢量尺度如图8所示；对于眉毛子图像特征的提取，采用尺度为7×4和7×6的两种充分矢量三角形，对于眼睛图像特征的提取，采用尺度为5×7和3×4的两种充分矢量三角形，对于嘴巴图像特征的提取，采用尺度为7×7、11×11和8×8的三种充分矢量三角形。

针对眉毛、眼睛和嘴巴三个对表情识别影响最大的器官，分别采用不同尺度的充分矢量三角形联合提取特征，最后用直方图统计特征的方法减少了表情识别时对于与表情识别相关度较弱的图像信息的关注度，充分表征了对于表情识别起关键作用的区域的特征，使得所得到的局部特征更加精确，更有利于表情识别。

Claims (1)

1.一种基于人脸表情图像的局部特征表征方法，其特征，按如下步骤进行：

步骤一、利用海尔检测器和人脸三庭五眼关系对人脸表情图像进行分割，获得所述人脸表情图像的子图像，所述子图像包括眉毛子图像、眼睛子图像和嘴巴子图像；

步骤二、获得充分矢量三角形编码；

步骤1、获得四类直角三角形；

1.1、在二维坐标系XoY中，对所述子图像中任意一点（x₀,y₀)作为直角顶点A，当保持y轴上的坐标点不变，x轴上的坐标点变化时，获得顶点B（x₁,y₀)；当保持x轴上的坐标点不变，y轴上的坐标点变化时，获得顶点C（x₀,y₁)；由所述直角顶点A（x₀,y₀)、顶点B（x₁,y₀)和顶点C（x₀,y₁)获得直角三角形ABC；

1.2、将所述直角三角形ABC以直角边AC为对称轴进行镜像翻转获得直角三角形AB′C；将所述直角三角形AB′C以直角边AB′为对称轴进行镜像翻转获得直角三角形AB′C′；将直角三角形AB′C′以直角边AC′为对称轴进行镜像翻转获得直角三角形ABC′；由此获得四类直角三角形；

步骤2、对所述直角三角形ABC进行55种矢量三角形编码；

2.1、利用式(1)获得所述直角三角形ABC的编码类型c(ABC)：

c(ABC)＝s₁(y₁-y₀)+2s₁(x₁-x₀)    (1)

令x＝x₁-x₀，则有二值描述函数s₁(x)：

$s_1\left(x\right)\left\{\begin{array}{c}0,x>0\\ 1,x<0\end{array}\right.---\left(2\right)$

令y＝y₁-y₀，则有二值描述函数s₁(y)：

$s_1\left(y\right)\left\{\begin{array}{c}0,y>0\\ 1,y<0\end{array}\right.---\left(3\right)$

2.2、获得所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差与所述三个顶点像素的灰度均值的关系；

2.2.1、通过式(4)获得所述直角三角形ABC的三个顶点像素的灰度均值

$\stackrel{\&OverBar;}{I}=\frac{(I_0+I_1+I_2)}{3}---\left(4\right)$

式(4)中，I₀、I₁、I₂分别表示所述直角三角形ABC的三个顶点像素的灰度值；

2.2.2、利用式(5)获得所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点像素的灰度值之差d：

$d=\left\{\begin{array}{c}{d}_1=I_0-I_1\\ d_2=I_1-I_2\\ d_3=I_0-I_2\end{array}\right.---\left(5\right)$

2.2.3、利用式(6)获得所述灰度值之差d与灰度均值

之间的关系s₂(d)：

$s_2\left(d\right)=\left\{\begin{array}{c}2,d>\stackrel{\&OverBar;}{I}\\ 1,\stackrel{\&OverBar;}{I}\&GreaterEqual;d\&GreaterEqual;0\\ 0,d=0\\ -1,-\stackrel{\&OverBar;}{I}\&le;d<0\\ -2,d<-\stackrel{\&OverBar;}{I}\end{array}\right.---\left(6\right)$

2.3、获得55种矢量三角形；

a、当所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都不相等时，利用式(7)将述直角三角形ABC划分为六种子类k；

$k=\left\{\begin{array}{c}{k}_1,I_0<I_1<I_2\\ k_2,I_0<I_2<I_1\\ k_3,I_1<I_0<I_2\\ k_4,I_1<I_2<I_0\\ k_5,I_2<I_0<I_1\\ k_6,I_0<I_1<I_0\end{array}\right.---\left(7\right)$

利用式(8)将所述六种子类k中每一个子类划分为七种从属子类j：

通过式(7)和式(8)获得6×7＝42种矢量三角形类型；

b、当所述三个顶点像素的灰度值I₀、I₁、I₂中有且仅有两个顶点灰度值相等时，利用式(9)将述直角三角形ABC划分为十二种子类l：

c、当所述三个顶点像素的灰度值I₀、I₁、I₂中任意两个顶点灰度值都相等时，仅存在一种类型n,I₀＝I₁＝I₂；

通过步骤a、b和c共获得6×7+12+1＝55种矢量三角形类型；

2.4、利用式（10）获得所述55种矢量三角形编码v(I₀,I₁,I₂)：

并有：

$\mathrm{\&alpha;}=\left\{\begin{array}{c}10,\left|d_2\right|>\stackrel{\&OverBar;}{I}\\ 16,\left|d_2\right|\&le;\stackrel{\&OverBar;}{I}\end{array}\right.---\left(11\right)$

$s_3\left(d_2\right)=\left\{\begin{array}{c}1,d_2>0\\ -1,d_2<0\end{array}\right.---\left(12\right)$

步骤3，将所述直角三角形AB′C、直角三角形AB′C′和直角三角形ABC′按照步骤2获得各自的55种矢量三角形编码；

步骤4、利用式(13)获得4×55=220种充分矢量三角形编码T_Δx,Δy(x₀,y₀)：

T_Δx,Δy(x₀,y₀)＝56c((x₀,y₀),(x₀,y₁),(x₁,y₀))+s₄(v(I₀,I₁,I₂))-1    （13）

并有：

$s_4\left(v(I_0,I_1,I_2)\right)=\left\{\begin{array}{c}v(I_0,I_1,I_2)+30,v<0\\ v(I_0,I_1,I_2)+27,v>0\end{array}\right.---\left(14\right)$

步骤三、利用所述充分矢量三角形编码T_Δx,Δy(x₀,y₀)对所述子图像进行局部特征统计；

步骤3.1、利用式(15)统计所述眉毛子图像的充分矢量三角形统计直方图

$H^{b_i}=\{H_0^{b_i},...,H_{54}^{b_i};H_{55}^{b_i},...,H_{109}^{b_i};H_{110}^{b_i},...,H_{164}^{b_i};H_{165}^{b_i},...,H_{219}^{b_i}\}---\left(15\right)$

式（15）中，i＝0或1，

和

分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤3.2、利用式(16)统计所述眼睛子图像的充分矢量三角形统计直方图

$H^{e_p}=\{H_0^{e_p},...,H_{54}^{e_p};H_{55}^{e_p},...,H_{109}^{e_p};H_{110}^{e_p},...,H_{164}^{e_p};H_{165}^{e_p},...,H_{219}^{e_p}\}---\left(16\right)$

式（16）中，p＝0或1，

和

分别表示充分矢量三角形取得不同尺度时的两个统计直方图；

步骤3.3、利用式(17)统计所述嘴巴子图像的充分矢量三角形统计直方图

$H^{m_q}=\{H_0^{m_q},...,H_{54}^{m_q};H_{55}^{m_q},...,H_{109}^{m_q};H_{110}^{m_q},...,H_{164}^{m_q};H_{165}^{m_q},...,H_{219}^{m_q}\}---\left(17\right)$

式（17）中，q＝0或1或2，

和

分别表示充分矢量三角形取得不同尺度时三个统计直方图。

Images