CN102402683B - 一种人脸非对称性计算方法 - Google Patents

Abstract

本发明一种人脸非对称性计算方法，首先通过眼睛检测进行人脸仿射校正，并确定人脸中线，获得以人脸中线为中心垂直线的人脸图像并计算其映射图像，然后分别计算人脸图像的密度差和边缘方向对称性，并进行二值化，最后加权得到人脸非对称性度量值。

Description

一种人脸非对称性计算方法

(一)技术领域

本发明涉及一种图像处理方法，尤其是人脸非对称性计算方法。

(二)背景技术

人脸表情在人类的交流中起着重要作用。由于面部运动的非对称性以及面部结构的非对称性，造成了人脸表情的非对称。情感表情具有偏侧性，人的左脸比右脸有更强的情感表现力，左脸体现了更多专有文化的情感规范，而右脸体现了更多普遍的情感信号。

随着人脸表情分析技术的发展，研究者们开始关注非对称人脸表情。人脸面部的非对称性十分普遍，但左脸和右脸的平均差异是轻微的(约为3％)，并且一般右脸较左脸大。研究结果显示，男性中性脸的结构非对称性高于女性。人脸结构的非对称性可由面部标记点到中心点的距离近似，根据标记点的度量不同，平均差异一般为4％至12％。研究者们一般使用结构非对称性的总体度量，如面部宽度、半脸面积、面部标记点的距离。Liu等人提出了面部非对称的量化度量方法，包括密度差异D-face和边缘方向相似性S-face。密度差异D-face值越大，人脸非对称性越强；边缘方向相似性S-face值越大，人脸对称性越强。但还缺乏一种较为全面的人脸非对称性度量方法。本发明提出一种人脸非对称性计算方法，结合了人脸纹理的非对称性和边缘非对称性，对人脸的非对称性进行度量，可应用于人脸识别、人脸表情分析与识别等领域。

(三)发明内容

本发明的目的是：为了给出一种较为全面的人脸非对称性度量方法，提出一种人脸非对称性计算方法，能够对人脸非对称性进行度量。

本发明一种人脸非对称性计算方法，能够对人脸非对称性进行度量。

关于一种人脸非对称性计算方法，其步骤如下：

步骤1：给定一个人脸图像，对其进行灰度化，获得灰度图象I₀，其高为H₀，宽为W₀，I₀(x，y)代表图像I₀在坐标点(x，y)处的密度值，0≤x＜W₀，0≤y＜H₀。采用类Haar小波特征提取和AdaBoost分类器对人脸图像进行眼睛检测(参考文献：Lienhart(利恩哈特)等人于2002年在International Conference on Image Processing(图像处理国际会议)上发表的论文An extended set of Haar-like features for rapid object detection(基于扩展的类Haar特征的快速目标检测))，设检测到的左眼的中心点为e_L，坐标为(x_L，y_L)；设检测到的右眼的中心点为e_R，坐标为(x_R，y_R)。则左眼中心点和右眼中心点之间的中点坐标为(x₀，y₀)，x₀＝[(x_L+x_R)/2]，y₀＝[(y_L+y_R)/2]。

计算人脸的倾斜角θ，如式(1)所示：

$\mathrm{\θ}=\arctan (-\frac{y_L-y_R}{x_L-x_R})---\left(1\right)$

其中θ＞0表示人脸逆时针倾斜了θ角，θ＜0表示人脸顺时针倾斜了-θ角，θ＝0表示人脸未倾斜。

步骤2：将人脸图像I₀进行以(x₀，y₀)为轴心顺时针旋转θ弧度的仿射变换，得到人脸图像I_a，其高为H₀，宽为W₀。

步骤3：确定人脸中线为人脸图像I_a中x＝x₀的垂直线，在人脸图像I_a上截取人脸图像I，使其尽量少的包含人脸以外的背景信息，并使人脸中线为通过图像I中心点的垂直线，I高为H，宽为W，H≤H₀，W≤W₀。

步骤4：计算人脸图像I关于人脸中线的垂直映射图像I′，如式(2)所示：

I′(x，y)＝I((W-x-1)，y)    (2)

其中0≤x＜W，0≤y＜H。

步骤5：计算密度差D，如式(3)所示：

D(x，y)＝I(x，y)-I′(x，y)    (3)

其中D(x，y)为坐标点(x，y)处的D值，0≤x＜W，0≤y＜H。

步骤6：设定一个阈值p1，0＜p1＜255，对密度差D进行二值化，如式(4)所示；

$D^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& \left|D(x,y)\right|\&GreaterEqual;p1\\ 0& \left|D(x,y)\right|<p1\end{array}\right.---\left(4\right)$

其中0≤x＜W，0≤y＜H。

步骤7：在人脸图像I上运行一个标准的边缘检测算法得到边缘图像I_e及其梯度方向

然后得到边缘图像I_e的垂直映射图像I′_e及其梯度方向

计算表征人脸两边的边缘方向差异的角度

如式(5)所示：

${\mathrm{\&phi;}}_{I_e(x,y),I_e^{\&prime;}(x,y)}={\mathrm{\&phi;}}_e(x,y)-{\mathrm{\&phi;}}_e^{\&prime;}(x,y)$ (5)

其中0≤x＜W，0≤y＜H。

计算边缘方向对称性S，如式(6)所示：

$S(x,y)=\cos \left({\mathrm{\&phi;}}_{I_e(x,y),I_e^{\&prime;}(x,y)}\right)---\left(6\right)$

其中S(x，y)为坐标点(x，y)处的S值，0≤x＜W，0≤y＜H。

步骤8：设定一个阈值p2，-1＜p2＜1，对边缘方向对称性S进行二值化，如式(7)所示：

$S^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& S(x,y)\&GreaterEqual;p2\\ 0& S(x,y)<p2\end{array}\right.---\left(7\right)$

其中0≤x＜W，0≤y＜H。

步骤9：设定权值q_D和q_S，0＜q_D＜1，0＜q_S＜1，q_D+q_S＝1，计算人脸的非对称性指标A，如式(8)所示：

$A=\frac{q_D\&times;\underset{0\&le;x<W,0\&le;y<H}{\mathrm{\&Sigma;}}{D}^{\&prime;}(x,y)+q_S\&times;\underset{0\&le;x<W,0\&le;y<H}{\mathrm{\&Sigma;}}(1-S^{\&prime;}(x,y))}{W\&times;H}---\left(8\right)$

本发明的积极效果和优点在于：

1.本发明结合了人脸纹理的非对称性和边缘非对称性，能够对人脸非对称性进行度量，符合现实生活中人脸表情非对称的真实情况，避免了人脸表情信息的丢失，对于人脸表情的情感识别具有积极的意义。

(四)附图说明

图1方法步骤方框图。

图2人脸图像I。

图3密度差D图像。

图4D′图像。

图5图像I的水平边缘图像I₁。

图6图像I的垂直边缘图像I₂。

图7边缘图像I_e。

图8边缘方向对称性S图像。

图9S′图像。

(五)具体实施方法

本发明一种人脸非对称性计算方法(方法步骤方框图如图1所示)，能够对人脸非对称性进行度量。

关于一种人脸非对称性计算方法，其步骤如下：

步骤1：给定一个人脸图像，对其进行灰度化，获得灰度图象I₀，其高为H₀，宽为W₀，I₀(x，y)代表图像I₀在坐标点(x，y)处的密度值，0≤x＜W₀，0≤y＜H₀；采用类Haar小波特征提取和AdaBoost分类器对人脸图像进行眼睛检测(参考文献：Lienhart(利恩哈特)等人于2002年在International Conference on Image Processing(图像处理国际会议)上发表的论文An extended set of Haar-like features for rapid object detection(基于扩展的类Haar特征的快速目标检测))，设检测到的左眼的中心点为e_L，坐标为(x_L，y_L)；设检测到的右眼的中心点为e_R，坐标为(x_R，y_R)。则左眼中心点和右眼中心点之间的中点坐标为(x₀，y₀)，x₀＝[(x_L+x_R)/2]，y₀＝[(y_L+y_R)/2]。

计算人脸的倾斜角θ，如式(1)所示：

$\mathrm{\&theta;}=\arctan (-\frac{y_L-y_R}{x_L-x_R})---\left(1\right)$

其中θ＞0表示人脸逆时针倾斜了θ角，θ＜0表示人脸顺时针倾斜了-θ角，θ＝0表示人脸未倾斜。

步骤2：将人脸图像I₀进行以(x₀，y₀)为轴心顺时针旋转θ弧度的仿射变换，将原坐标(x，y)变换为新坐标(x′，y′)，如式(2)所示：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& (x_0-x_0\cos \mathrm{\&theta;}+y_0\sin \mathrm{\&theta;})\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& (y_0-x_0\sin \mathrm{\&theta;}-y_0\cos \mathrm{\&theta;})\end{array}\right]\&CenterDot;\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

设仿射变换后的人脸图像为I_a，其高为H₀，宽为W₀，则I_a(x′，y′)＝I₀(x，y)，填充人脸图像I_a的所有像素，如果部分像素落在人脸图像I₀的边界外，那么它们的值设定为0。

步骤3：确定人脸中线为人脸图像I_a中x＝x₀的垂直线，在人脸图像I_a上截取人脸图像I，如图2所示，使其尽量少的包含人脸以外的背景信息，并使人脸中线为通过图像I中心点的垂直线，I高为H，宽为W，H≤H₀，W≤W₀。

步骤4：计算人脸图像I关于人脸中线的垂直映射图像I′，如式(3)所示：

I′(x，y)＝I((W-x-1)，y)    (3)

其中0≤x＜W，0≤y＜H。

步骤5：计算密度差D，如式(4)所示：

D(x，y)＝I(x，y)-I′(x，y)    (4)

其中D(x，y)为坐标点(x，y)处的D值，0≤x＜W，0≤y＜H。

将D以图像的形式显示，如图3所示。

步骤6：设定一个阈值p1，0＜p1＜255，例如p1＝30，对密度差D进行二值化，如式(5)所示：

$D^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& \left|D(x,y)\right|\&GreaterEqual;p1\\ 0& \left|D(x,y)\right|<p1\end{array}\right.---\left(5\right)$

其中0≤x＜W，0≤y＜H。

将D′以图像的形式显示，如图4所示。

步骤7：在人脸图像I上使用水平和垂直的两个Sobel算子分别对图像I进行扫描生成边缘图像I₁和I₂，分别如图5和图6所示。对于原图像I中像素I(x，y)，对应边缘图像I₁中相应位置的像素值为G_h(x，y)，而对应边缘图像I₂中相应位置的像素值为G_v(x，y)。它们分别是像素点I(x，y)的水平梯度和垂直梯度值。

用Canny算子对图像I进行边缘检测，获得人脸图像的边缘图像I_e，如图7所示。当边缘图像I_e中的某一点I_e(x，y)为边缘，且G_h(x，y)≠0，计算图像I中对应点I(x，y)的梯度方向

否则

I′_e为边缘图像I_e的垂直映射，I′_e(x，y)＝I_e((W-x-1)，y)，则与边缘图像I′_e对应的梯度方向

计算表征人脸两边的边缘方向差异的角度

如式(6)所示：

${\mathrm{\&phi;}}_{I_e(x,y),I_e^{\&prime;}(x,y)}={\mathrm{\&phi;}}_e(x,y)-{\mathrm{\&phi;}}_e^{\&prime;}(x,y)---\left(6\right)$

其中0≤x＜W，0≤y＜H。

计算边缘方向对称性S，如式(7)所示：

$S(x,y)=\cos \left({\mathrm{\&phi;}}_{I_e(x,y),I_e^{\&prime;}(x,y)}\right)---\left(7\right)$

其中S(x，y)为坐标点(x，y)处的S值，0≤x＜W，0≤y＜H。

将S以图像的形式显示，如图8所示。

步骤8：设定一个阈值p2，-1＜p2＜1，例如p2＝0.5，对边缘方向对称性S进行二值化，如式(8)所示：

$S^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& S(x,y)\&GreaterEqual;p2\\ 0& S(x,y)<p2\end{array}\right.---\left(8\right)$

其中0≤x＜W，0≤y＜H。

将S′以图像的形式显示，如图9所示。

步骤9：设定权值q_D和q_S，0＜q_D＜1，0＜q_S＜1，q_D+q_S＝1，例如q_D＝0.5，q_S＝0.5，计算人脸的非对称性指标A，如式(9)所示：

$A=\frac{q_D\&times;\underset{0\&le;x<W,0\&le;y<H}{\mathrm{\&Sigma;}}{D}^{\&prime;}(x,y)+q_S\&times;\underset{0\&le;x<W,0\&le;y<H}{\mathrm{\&Sigma;}}(1-S^{\&prime;}(x,y))}{W\&times;H}---\left(9\right)$

则计算得到该人脸图像I的非对称性指标A值为0.053985，说明该人脸的非对称性不强。

Claims (1)

1.一种人脸非对称性计算方法，其特征在于：其步骤如下：

步骤1：给定一个人脸图像，对其进行灰度化，获得灰度图象I₀，其高为H₀，宽为W₀，I₀(x，y)代表图像I₀在坐标点(x，y)处的密度值，0≤x＜W₀，0≤y＜H₀；采用类Haar小波特征提取和AdaBoost分类器对人脸图像进行眼睛检测，设检测到的左眼的中心点为e_L，坐标为(x_L，y_L)；设检测到的右眼的中心点为e_R，坐标为(x_R，y_R)；则左眼中心点和右眼中心点之间的中点坐标为(x₀，y₀)，x₀＝[(x_L+x_R)/2]，y₀＝[(y_L+y_R)/2]；

计算人脸的倾斜角θ，如式(1)所示：

其中θ＞0表示人脸逆时针倾斜了θ角，θ＜0表示人脸顺时针倾斜了-θ角，θ＝0表示人脸未倾斜；

步骤2：将人脸图像I₀进行以(x₀，y₀)为轴心顺时针旋转θ弧度的仿射变换，得到人脸图像I_a，其高为H₀，宽为W₀；

步骤3：确定人脸中线为人脸图像I_a中x＝x₀的垂直线，在人脸图像I_a上截取人脸图像I，使其尽量少的包含人脸以外的背景信息，并使人脸中线为通过图像I中心点的垂直线，I高为H，宽为W，H≤H₀，W≤W₀；

步骤4：计算人脸图像I关于人脸中线的垂直映射图像I′，如式(2)所示：

I′(x，y)＝I((W-x-1)，y)    (2)

其中0≤x＜W，0≤y＜H；

步骤5：计算密度差D，如式(3)所示：

D(x，y)＝I(x，y)-I′(x，y)    (3)

其中D(x，y)为坐标点(x，y)处的D值，0≤x＜W，0≤y＜H；

步骤6：设定一个阈值p1，0＜p1＜255，对密度差D进行二值化，如式(4)所示；

其中0≤x＜W，0≤y＜H； 

步骤7：在人脸图像I上运行一个标准的边缘检测算法得到边缘图像I_e及其梯度方向 

然后得到边缘图像I_e的垂直映射图像I′_e及其梯度方向 

计算表征人脸两边的边缘方向差异的角度 

如式(5)所示：

(5)

其中0≤x＜W，0≤y＜H；

计算边缘方向对称性S，如式(6)所示：

(6)

其中S(x，y)为坐标点(x，y)处的S值，0≤x＜W，0≤y＜H；

步骤8：设定一个阈值p2，-1＜p2＜1，对边缘方向对称性S进行二值化，如式(7)所示：

其中0≤x＜W，0≤y＜H；

步骤9：设定权值q_D和q_S，0＜q_D＜1，0＜q_S＜1，q_D+q_S＝1，计算人脸的非对称性指标A，如式(8)所示

。

Images