CN103927554A - 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法 - Google Patents

Abstract

本发明公开了一种基于拓扑结构的图像表征面部表情特征提取系统和方法，可应用于基于面部图像的模式识别问题。本发明利用图的拓扑结构描述原始图像空间样本点之间的空间关联性，利用惩罚机制调整样本点之间的关联性，并采用L1范数对基图像的系数进行稀疏性约束，且分解后矩阵中的数据元素均为非负值。同时，采用迭代梯度法求解稀疏性和拓扑结构约束条件下的矩阵分解优化问题，克服了传统迭代优化方法常常收敛到局部最小值的不足。因此，本发明的图像特征提取方法可以更好的表征面部局部特征，对有遮挡、姿态变化等自然条件下的人脸图像识别效果很好。

Description

一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法

技术领域

本发明属于模式识别领域，涉及一种用于基于面部图像的表情识别的系统和方法，尤其涉及一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法。 

背景技术

表情是人们非语言交流的一种重要方式，包含丰富的情感信息，是情感最主要的载体，是人们理解情感的重要途径。在人类交往中，除了通过自然语言来传递信息外，还可以利用很多其它形体语言如脸部表情、身体动作来进行交流。 

人脸图像处理属于高维数据分析，直接对原始图像进行分析计算复杂度很高。学界普遍认为存在低维人脸图像空间，可以很好地表征原始的高维人脸图像空间。因此，寻找有效地特征提取方法对于准确识别面部表情是非常重要的。此外，有效的表情特征提取工作将使识别的性能大大提高，并可以简化分类器的设计。 

常用的提取表情图像特征的方法可分为基于几何特征的方法、基于表观特征的方法和基于混合特征的方法等。基于几何特征的方法用于表征面部区域(包括眼睛，眉毛，鼻子，嘴巴等)的形状和位置，提取出的局部面部区域特征点作为特征向量代表人脸。基于表观的特征表征人脸外貌(皮肤纹理)的变化。基于表观的特征可以从整幅人脸中提取也可以从人脸图像的某个特定区域中提取。几何特征能够简洁的表示出人脸宏观的结构变化，而表观特征则侧重于提取皮肤纹理的细微变化，一些研究者将多种特征结合起来，用混合特征进行表情识别，取得了较好的识别效果。 

传统的矩阵分解方法得到的分解后矩阵中常包含负数，而负数在很多数据处理问题中没有物理意义。非负矩阵分解算法将表征面部各部分的基图像进行线性组合从而表征整个面部图像，它与主成分分析算法的区别在于非负矩阵分解算法得到的分解后的基图像矩阵和线性系数权重矩阵中的元素都是非负的。Lee和Seung指出非负矩阵分解算法可以得到基于局部面部特征的人脸表示，即分解图像矩阵后得到的基图像可以表征眼睛，鼻子，嘴巴等面部局部特征。但是，非负矩阵分解算法并不能总是得到表征面部局部特征的图像矩阵分解。一些研究指出非负矩阵分解算法在某些人脸库上得到的基图像表征人脸的全局特征。此外，常用的求解NMF分解的算法是Lee和Seung提出的乘法更新方法(multiplicative update method)。NMF优化问题是非凸性优化问题，更新算法在经过多次循环后通常会得到很多局部最小值。常有的误解是局部最小值即为最优值。在优化理论中，局部最小值必须是平稳点，乘法更新 方法无法保证平稳性和收敛性。 

发明内容

为了解决上述问题，本发明提供一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法，可应用于表情识别问题。 

本发明的目的是通过如下技术方案实现的。 

提供一种基于拓扑结构的图像稀疏表征面部表情特征提取系统，包括：预处理单元，对输入的原始图像进行灰度归一化、尺度归一化等预处理，其中该原始图像仅包含人脸面部信息；函数构建单元，用于建立表情图像特征空间目标函数，具体地，利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度；特征空间构建单元，采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间；特征提取单元，通过线性映射将原始图像样本和待测图像样本投影到稀疏特征空间中，从而得到样本特征向量；模式分类单元，根据得到的样本特征向量进行表情模式的分类。 

还提供了一种基于拓扑结构的图像稀疏表征面部表情特征提取方法，包括：输入包含人脸面部信息的原始图像，首先对原始图像进行灰度归一化、尺度归一化等预处理，其中该原始图像仅包含面部信息；建立表情图像特征空间目标函数，利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度；采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间；通过线性映射将原始图像样本和待测图像样本投影到稀疏特征空间中，从而得到样本特征向量，根据得到的样本特征向量进行表情模式的分类。 

本发明克服了传统非负矩阵分解方法无法表征面部局部特征的不足，利用图像样本点的拓扑结构描述图像样本点之间的空间关联性，并利用惩罚因子调整样本点之间的关联性，保证原始图像空间中相近的样本经过投影后仍保持近邻关系；并利用L1范数对矩阵分解后的基图像系数进行约束，通过平衡稀疏性、非负性、判别性等特点对最小化矩阵分解的目标函数。此外，本发明采用迭代梯度法求解目标函数的求解问题，利用目标函数不同阶次的梯度进行分解后矩阵的迭代，克服乘法更新法常收敛到局部最小值的不足，确保分解结果的平稳性和收敛性。因此，本发明的图像特征提取方法可以更好的表征面部局部特征，对有遮挡、姿态 变化等自然条件下的人脸表情图像识别效果很好。 

附图说明

图1为本发明的自动表情识别系统的流程图； 

图2为利用本发明的计算方法对人脸表情图像进行特征提取的流程图； 

图3为不同算法在表情图像上得到的正确识别率比较示意图。 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。 

根据技术方案，我们可以将本发明应用于面部表情自动识别系统中，对人脸表情图像进行特征提取及情感模式判定。如图1所示，本发明实施例提供的基于拓扑结构的图像稀疏表征面部表情特征提取系统主要包括以下几个部分：图像输入单元、预处理单元、函数构建单元、特征空间构建单元、特征提取单元以及模式分类单元。预处理单元对输入的原始图像进行灰度归一化、尺度归一化等预处理；函数构建单元用于建立表情图像特征空间目标函数，具体地，利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度；特征空间构建单元采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间；特征提取单元通过线性映射将原始图像样本和待测图像样本投影到稀疏特征空间中，从而得到样本特征向量；模式分类单元根据得到的样本特征向量进行表情模式的分类。 

下面结合附图1和附图2，具体说明利用本发明的计算方法对人脸表情图像进行特征提取的步骤。 

一、原始图像矩阵预处理 

输入包含人脸面部信息的原始图像，该原始图像仅包含面部信息。对原始图像样本进行预处理，进行灰度、尺度归一化，并消除光照、仿射变换等影响因素的干扰。此外，为了消除常数向量对矩阵分解的影响，需在进行分负矩阵分解之前从原始图像矩阵中减去常数向量。 

首先对原始图像进行尺度归一化，可使用灰度仿射方法将样本图像统一成一定尺寸(如120×120)大小，且对两眼中心和嘴巴中心坐标进行归一化。具体方法如下： 

(1)在原始样本图像上手工标定三点，两眼中心及嘴巴中心的位置分别记为 

(X₁,Y₁)(X₂,Y₂)(X₃,Y₃). 

(2)计算变换后的坐标位置 

计算缩放系数： 

S_x＝WW₀,S_y＝HH₀

其中：W₀＝X₂-X₁,H₀＝Y₃-(Y₂+Y₁)/2。 

计算旋转校正参数： 

$a=\sqrt{{(X_2-X_1)}^2+{(Y_2-Y_1)}^2}$

$\cos \mathrm{\θ}=\frac{X_2-X_1}{a},\sin \mathrm{\θ}=\frac{Y_1-Y_2}{a}$

任一点经过缩放了旋转校正后的坐标： 

$P\′=\left[\begin{array}{c}x\′\\ y\′\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}{S}_x& 0\\ 0& S_y\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

平移矢量： 

$b=\left[\begin{array}{c}50\\ 66\end{array}\right]-\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{cc}{S}_x& 0\\ 0& S_y\end{array}\right]\left[\begin{array}{c}{X}_3\\ Y_3\end{array}\right]$

截取部分最终坐标： 

$P=\left[\begin{array}{c}x\\ y\end{array}\right]=P\′-b$

(3)将原坐标的灰度值赋给变换后的最终坐标，实现灰度的仿射变换。 

此外，X中的所有列向量中都包含常数部分，因此需在非负矩阵分解前对数据矩阵X进行预处理。即从数据矩阵X中减去一个常数矩阵，从而得到精确的矩阵分解W和H，矩阵(X-K₀1^T)被用作新的数据矩阵输入。其中K₀为m维向量，其中的元素为X中每行向量的最小值。1为N维向量，元素值均为1。 

二、构建稀疏特征空间 

利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度。 

将每幅人脸图像x_i由m维向量x_i＝[x_i,1,x_i,2,…,x_i,m]^T表示，N个人脸图像组成数据矩阵X＝[x₁,x₂,‖,x_N]，则图像数据库可由m×N的矩阵X表示。通过矩阵分解将X表示为两个非 负矩阵的乘积，即X≈WH。分解后得到的投影矩阵为W＝[w₁,w₂,…,w_p]，其中W的列向量代表顶点的投影方向。 

以图像样本间的拓扑结构描述原始图像空间样本点之间的空间距离，并利用惩罚因子调整样本点之间的关联性，即通过对矩阵分解条件进行约束，保证原图像空间的近邻关系在新的特征空间仍然具有近邻关系。采用L1范数对矩阵分解后的基图像系数进行稀疏性约束，以L1范数近似代替L0范数对矩阵稀疏性的表示，矩阵的L1范数为||W||₁＝∑_k,j|w_k,j|，通过最小化L1范数确保提取的特征空间可以表征面部局部区域的典型特征。 

将具有L1范数约束、样本点拓扑结构约束的矩阵分解目标函数定义为 

$f\left(X\right|\left|\mathrm{WH}\right)={\left|\right|X-\mathrm{WH}\left|\right|}_F^2+\mathrm{\λ}{\mathrm{\Σ}}_{k,j}{w}_{k,j}+\mathrm{\η}\left({\mathrm{\Σ}}_{i,j}{\left|\right|{\tilde{x}}_i-{\tilde{x}}_j\left|\right|}^2{S}_{\mathrm{ij}}\right)$

其中，||·||_F为Frobenius范数，λ为控制分解后矩阵稀疏度的正常数，η为控制分解后矩阵局部性的正常数。和代表投影到图像基矩阵W后的数据向量，S_ij为相似度系数。 

为了求解满足目标函数最小化的矩阵分解最优值，需要求解目标函数的一阶梯度和二阶梯度。固定矩阵W得到函数f_W(H)，固定矩阵H得到函数f_H(W)。将基于图的稀疏非负矩阵分解算法的代价函数表示为D＝J₁+λJ₂+ηJ₃，其中J₁＝||X-WH||²，J₂＝∑_k,jw_k,j， f_W(H)和f_H(W)的一阶和二阶梯度可由这三个函数的一阶和二阶梯度组成。J₁是关于W和H的函数，J₂和J₃是关于W的函数。即 

$f_H\left(W\right)=J_1^W+{\mathrm{\λJ}}_2^W+{\mathrm{\ηJ}}_3^W$

其中， 

$J_2^w={\mathrm{\Σ}}_{k,j}{w}_{k,j}$

的一阶梯度和二阶梯度分别为： 

的一阶梯度和二阶梯度分别为： 

的一阶梯度和二阶梯度分别为： 

${\▿J}_2^W=\frac{{\∂J}_2^W}{\∂W}=1_m{1}_p^T,{\▿}^2{J}_2^W=0$

的一阶梯度和二阶梯度分别为： 

则得到函数f_W(H)和f_H(W)的一阶和二阶梯度，如下： 

${\▿f}_W\left(H\right)={2W}^T(\mathrm{WH}-X)$

${\▿f}_H\left(W\right)=2(\mathrm{WH}-X)H^T+{\mathrm{\λ}1}_m{1}_p^T+2\mathrm{\ηXL}{\tilde{x}}^T$

三、迭代梯度法求解分解矩阵 

采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间。 

利用迭代梯度法求解最优分解矩阵，首先定义分解矩阵的初始值，可利用生成随机数的方法确定矩阵迭代初始值。随后定义参数λ和η，参数λ和η可通过实验来选择，将λ和η从较小值开始试验，逐渐增大，直到取得较好的识别效果。本实验中λ和η的取值在[0.5,1]范围内时，通常会得到较好的分类结果。矩阵分解的主要步骤如下： 

(1)H矩阵优化值迭代过程 

利用迭代准则进行矩阵更新，t为迭代次数，令则 为满足下列条件的第一个非负数： 

通过下面的条件判断优化值是否接近平稳点，如果满足下述条件，则迭代结束。 

${\left|\right|{\▿}^P{f}_w\left(H^{\left(t\right)}\right)\left|\right|}_F\≤{\mathrm{\ϵ}}_H{\left|\right|{\▿f}_w\left(H^{\left(1\right)}\right)\left|\right|}_F$

其中||·||_F为Frobenius范数，ε_H为决定迭代次数的阈值。 

(2)W矩阵优化值迭代过程 

同样采用迭代梯度方法求解W矩阵优化值，迭代原则为其中t为迭代次数，令则为满足下列条件的第一个非负数： 

若满足下述条件，则迭代结束。 

${\left|\right|{\▿}^P{f}_H\left(H^{\left(t\right)}\right)\left|\right|}_F\≤{\mathrm{\ϵ}}_H{\left|\right|{\▿f}_H\left(H^{\left(1\right)}\right)\left|\right|}_F$

至此，可得到图像矩阵的分解矩阵优化值W_opt和H_opt，X＝W_optH_opt。 

四、提取鲁棒性人脸表情稀疏表征特征 

经过预处理之后的表情图像组成原始样本集合，通过迭代梯度法得到优化的分解矩阵W_opt和H_opt，通过线性映射规则将表情图像样本投影到稀疏表征投影空间中，即从而得到新的表情图像特征向量，形成p×N维人脸表情稀疏表征空间。 

对于待检测的人脸表情图像，以m维向量y_i表示，则待测人脸表情图像向量可通过 进行线性投影，从而得到待测表情图像缩减后的p维特征向量。 

五、表情模式分类判定 

由于本发明所提取的表情特征向量性能较好，因此本发明在分类器的选取方面具有较高的灵活性。以识别速度高、计算复杂度小为选择依据，建议选取最近邻分类器。本发明以最近邻分类器说明具体分类方法。 

对于待测图像样本和训练图像样本，计算待测图像样本与训练图像样本之间的相似度  $d(\widetilde{x_i},\widetilde{y_i}):$

$d({\tilde{x}}_i,\widetilde{y_i})=\sqrt{\underset{l=1}{\overset{d}{\mathrm{\Σ}}}{({\tilde{x}}_l^i-{\tilde{y}}_l^i)}^2}$

若样本属于类别k，则测试样本被决策为类别k。 

为了验证本发明在人脸面部表情识别中的有效性，将本发明和其他一些非负矩阵分解方法及稀疏表征方法进行了比较。实验中对五千多幅标准及自然状态下的人脸表情图像进行的特征提取分析并进行了模式判定，本发明给出了本发明和其他非负矩阵分解方法的识别精度曲线图，如图3所示。本发明的方法展示出了其优越性，对于部分遮挡的面部表情识别等到了比现有技术方法优越的识别效果，对自然表情识别(包括光照、姿态、容貌等影响因素)中也得到了很好的识别效果。由此可见，基于拓扑结构的图像稀疏表征方法可以有效表示表情图像，其局部特性可以容忍一定的头部运动。 

以上所述仅是本发明的较优实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，根据本发明做出的各种相应的改变和变形，都应属于本发明所附的权利要求的保护范围。 

Claims (8)

1.一种基于拓扑结构的图像稀疏表征面部表情特征提取系统，其特征在于包括： 

预处理单元，对输入的原始图像进行灰度归一化、尺度归一化等预处理，其中该原始图像仅包含人脸面部信息； 

函数构建单元，用于建立表情图像特征空间目标函数，具体地，利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度； 

特征空间构建单元，采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间； 

特征提取单元，通过线性映射将原始图像样本和待测图像样本投影到稀疏特征空间中，从而得到样本特征向量； 

模式分类单元，根据得到的样本特征向量进行表情模式的分类。 

2.根据权利要求1所述的系统，其特征在于所述函数构建单元利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性具体包括：以图像样本间的拓扑结构描述原始图像空间样本点之间的空间距离，并利用惩罚因子调整样本点之间的关联性，即通过对矩阵分解条件进行约束，保证原图像空间的近邻关系在新的特征空间仍然具有近邻关系，其中和代表投影到图像基矩阵W后的数据向量，S_ij为相似度系数。 

3.根据权利要求1所述的系统，其特征在于所述函数构建单元采用L1范数对矩阵分解后的基图像系数进行稀疏性约束，以L1范数近似代替L0范数对矩阵稀疏性的表示，矩阵的L1范数为||W||₁＝∑_k,j|w_k,j|，通过最小化L1范数确保提取的特征空间可以表征面部局部区域的典型特征。 

4.根据权利要求1所述的系统，其特征在于所述特征空间构建单元采用迭代投影法求解稀疏性和拓扑结构约束下的矩阵分解问题；利用迭代准则求解系数矩阵H的优化值，迭代终止条件为利用迭代准则 求解基图像矩阵W的优化值，迭代终止条件为 其中t为迭代次数，ε_H和ε_W为决定迭代次数的阈值。 

5.一种基于拓扑结构的图像稀疏表征面部表情特征提取方法，可以对基于图像的人脸面部表 情特征进行描述，其特征在于包含以下步骤： 

(1)输入包含人脸面部信息的原始图像，首先对原始图像进行灰度归一化、尺度归一化等预处理，其中该原始图像仅包含面部信息； 

(2)建立表情图像特征空间目标函数，利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性，以及分解后的基图像满足系数的稀疏性和非负性，构建约束条件下原始图像矩阵的分解优化问题，计算约束条件下矩阵分解目标函数的不同梯度； 

(3)采用迭代梯度法求解原始图像矩阵分解后的基图像矩阵及系数矩阵，通过对约束函数的梯度进行迭代更新，得到表征面部稀疏表征模式的特征空间； 

(4)通过线性映射将原始图像样本和待测图像样本投影到稀疏特征空间中，从而得到样本特征向量，根据得到的样本特征向量进行表情模式的分类。 

6.根据权利要求5所述的方法，其特征在于所述步骤(2)中的利用图像样本的拓扑结构描述原始图像空间样本点之间的关联性具体包括：以图像样本间的拓扑结构描述原始图像空间样本点之间的空间距离，并利用惩罚因子调整样本点之间的关联性，即通过对矩阵分解条件进行约束，保证原图像空间的近邻关系在新的特征空间仍然具有近邻关系，其中和代表投影到图像基矩阵W后的数据向量，S_ij为相似度系数。 

7.根据权利要求5所述的方法，其特征在于所述步骤(2)中采用L1范数对矩阵分解后的基图像系数进行稀疏性约束，以L1范数近似代替L0范数对矩阵稀疏性的表示，矩阵的L1范数为||W||₁＝∑_k,j|w_k,j|，通过最小化L1范数确保提取的特征空间可以表征面部局部区域的典型特征。 

8.根据权利要求5所述的方法，其特征在于采用迭代投影法求解稀疏性和拓扑结构约束下的矩阵分解问题；利用迭代准则求解系数矩阵H的优化值，迭代终止条件为利用迭代准则求解基图像矩阵W的优化值，迭代终止条件为其中t为迭代次数，ε_H和ε_W为决定迭代次数的阈值。