CN103942572A - 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置 - Google Patents

Abstract

本发明公开了一种基于双线压缩数据空间维度缩减的面部表情特征提取方法和装置，属于模式识别技术领域。本发明采用欧氏距离模糊判定方法计算隶属度描述两两样本之间近邻关系，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，得到的特征空间具有更强的代表性和判别性。此外，本发明基于图像二维矩阵直接进行处理，对图像矩阵的行方向和列方向分别进行维数压缩，避免了矩阵分解奇异值和维数过高等问题，在保证识别精度的基础上降低计算量和计算复杂度。

Description

一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置

技术领域

本发明属于模式识别领域，涉及一种用于人脸基本表情的图像识别的方法和装置，尤其涉及一种基于二维图像矩阵的双向压缩数据空间维度缩减的面部表情特征提取方法和装置。 

背景技术

人脸面部表情特征提取是影响表情识别效果的重要环节。研究表明，好的特征提取方法可以减小分类器对表情识别系统的影响。特征提取的目的在于分析表情图像之间的相关性和差异性，挖掘表情图像的特性。一般来说，人脸面部表情图像的维数较高，特征提取可以适当降低表征图像特征的维数，从而降低计算量和计算复杂度。 

常用的提取表情图像特征的方法可分为基于几何特征的方法、基于表观特征的方法和基于混合特征的方法等。基于几何特征的方法用于表征面部区域(包括眼睛，眉毛，鼻子，嘴巴等)的形状和位置，提取出的局部面部区域特征点作为特征向量代表人脸。基于表观的特征表征人脸外貌(皮肤纹理)的变化。基于表观的特征可以从整幅人脸中提取也可以从人脸图像的某个特定区域中提取。几何特征能够简洁的表示出人脸宏观的结构变化，而表观特征则侧重于提取皮肤纹理的细微变化，一些研究者将多种特征结合起来，用混合特征进行表情识别，取得了较好的识别效果。 

基于表观的特征是表情识别领域最重要的特征，常用的基于表观的特征提取方法主要包括主成分分析法、线性判别分析法、局部线性映射法、近邻保留映射法等。主成分分析法和线性判别分析法只能反映人脸空间的全局结构，而局部线性映射法、近邻保留映射法则保留了人脸图像空间的局部结构。Shan等对常用的线性子空间方法在表情识别中的应用进行了比较，研究表明监督型局部线性映射算法对人脸表情的识别效果优于其它常用子空间算法。在Cohn-Kanade表情库和JAFFE表情库上进行实验，分别对原始表情图像、LBP特征、BoostLBP特征进行降维，通过低维图像样本分布图可以看出，经监督型局部线性映射算法降维后样本的分离性最好。可见其在表情识别中的有效性。 

然而，局部线性映射算法并不适合复杂的人脸表情识别，其应用于面部表情识别时具有以下不足之处： 

(1)局部线性映射算法是基于向量的降维方法，需将二维图像矩阵拉伸成一维向量进行各种变换处理，而这个一维向量的维数一般都很高，进行各种矩阵变换的计算量和计算复杂度是相当大的。此外，由于特征向量维数过于庞大而样本数相对过少，从而导致矩阵奇异问 题，导致优化问题的求解过程精度不够。 

(2)局部线性映射算法在构建权重矩阵的过程中，将每个样本精确归类到对应基础表情类别，而面部表情通常包含多种表情类别的信息，硬性归类使得相关表情类别的信息丢失导致特征混淆，此外也忽略了影响表情分类的一些外在环境因素(如个体差异等)。 

(3)局部线性映射的优化函数原则是，将样本投影到线性子空间中，使得原样本空间中的近邻点经过投影后样本点之间的距离尽可能的小。可以看出，局部线性映射算法只强调了投影后近邻点间的距离尽可能小，而忽视了不同类别间的判别信息。从而使得距离较远的类别分类效果较好，而距离较近的不同类别之间容易出现较大混叠。 

发明内容

为了解决上述问题，本发明公开了一种基于双向压缩的数据空间维度缩减的表情特征空间提取方法和装置。本发明直接对二维图像矩阵进行信息挖掘处理，不需要将二维图像矩阵拉伸成一维向量进行各种变换处理，避免了矩阵变换中维数高、计算量大的缺点，得到的特征表示更为精确，计算量也大大减少。进而，从图像矩阵的行方向和列方向进行双向维数压缩，在保证精度的基础上降低了特征维数和计算复杂度。 

本发明的目的是通过如下技术方案实现的。 

一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，包括：预处理单元，接收输入的原始表情图像，其中该原始表情图像是只包含人脸面部信息的二维表情图像，预处理单元对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元；模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元，利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间；模式分类单元，将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出表情类别决策结果。 

本发明还提供了一种基于双向压缩数据空间维度缩减的面部表情特征提取方法，包括：输入原始表情图像，该原始表情图像只包含人脸面部信息，对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输入；采用欧氏距 离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵；利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间；将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类器进行类别归属判断，输出表情类别决策结果。 

本发明利用欧氏距离模糊判定法对每个样本的类别归属进行隶属度确定，从而分散相似类别之间的近似特征，减弱影响图像识别的外在因素影响，这种软分类方式可以加强样本归属于各表情类别的程度。 

本发明利用样本本身的近邻关系以及已知样本类别之间的离散性对特征提取进行约束，增加模型构建中的样本先验知识，以监督型实施模式保留原图像样本类别信息并增强图像特征的有效性。此外，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，如果原图像空间的近邻点经投影后被分离的很远，则权重矩阵会产生很大的惩罚。同时在目标优化函数中同时考虑类内离散度和类间离散度的约束，使图像特征尽可能满足使类内离散度小而类间离散度大的条件。既保留了相邻样本之间的近邻关系，也保留了不同类别之间样本的分散性，因此得到的特征空间具有更强的代表性和判别性。 

附图说明

图1是本发明图像识别流程关键环节的示意图； 

图2是利用本发明的计算方法进行表情特征提取的流程图； 

图3是不同特征提取算法在表情识别中的比较结果示意图。 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。 

根据技术方案，我们可以将本发明应用于面部表情识别问题中，对表情图像样本进行特征空间提取，用精简后的特征表示表情图像的有效信息。 

本发明实施例提供一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，主要包括预处理单元、模糊矩阵构建单元、函数优化单元、特征提取单元和模式分类单元。将图 像输入到预处理单元，经过预处理获得规范化的二维图像矩阵；模糊矩阵构建单元采用欧氏距离模糊判定法计算每个图像样本的类别归属的模糊隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数简约的表情特征空间；模式分类单元输出表情类别决策结果。 

下面结合附图1和附图2，具体说明利用本发明的计算方法对面部表情图像进行特征提取的步骤。 

一、图像输入与预处理 

本发明是针对二维表情图像进行特征空间提取的方法，因此要求输入的表情图像样本仅包括人脸面部信息，可预先通过人脸检测得到人脸面部图像。针对输入图像样本的不同条件，可对图像样本进行不同的图像预处理。 

若图像为彩色图像，则进行灰度归一化处理，转化成灰度图像后进行分析； 

若图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响； 

若图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响； 

若图像有旋转、角度变化等因素影响，则采用仿射变换消除干扰；若对图像尺寸大小有特殊要求，则采用尺度归一化方法对图像大小进行规范。 

二、模糊权重矩阵的构建 

本发明采用模糊类别标识方法代替传统的两类标识方法(“属于”和“不属于”)，每个样本归属于各类别的隶属度通过欧氏距离模糊判定法得到。 

令A_i和A_j分别表示w×h大小的图像矩阵，隶属度矩阵用U＝{μ_ij}表示，其中i＝1,2,…,c，j＝1,2,…,N。c代表模式类别数，N代表图像样本总数。μ_ij表示样本j归属于类别i的程度，μ_ij值越大，表示样本j归属于类别i的程度越高。 

具体实施步骤为： 

1)计算两个图像样本矩阵A_i和A_j之间的欧氏距离：dis(A_i,A_j)＝||A_i-A_j||₂，相同样本之间的欧氏距离设为无穷大； 

2)两两样本之间的相似度按从小到大排序，选择距离该样本最近的k个近邻样本，统计k个近邻样本中属于每个模式类别的个数； 

3)计算第j个样本归属于类别i的程度，即 

其中n_ij代表样本j的近邻点中属于类别i的样本数。若n_ij＝k，则代表所有近邻点都属于同一个类别，这时μ_ij的值为1。 

4)根据每个样本归属于各个表情类别的隶属度系数构建模糊权重矩阵对于样本j，样本j和样本k之间的权重系数表示为则(样本k属于类别i) 

5)计算对角矩阵及模糊拉普拉斯矩阵： 

$\tilde{L}=\tilde{D}-\tilde{S}$

其中是对角矩阵，其对角线元素是模糊权重矩阵每行的和，即

三、优化映射目标函数 

模糊拉普拉斯矩阵通过第二步已经得到，仍需计算不同类别样本的均值矩阵F，代表不同类别之间关联性的权重矩阵W等，进而求解目标函数的最优解。具体步骤如下： 

(1)计算不同模式类别间的惩罚因子，计算方法为： 

W_ij＝exp(-||F_i-F_j||²/t)(其中t为经验常数值) 

模式类间权重矩阵W由每两个类别均值矩阵之间的惩罚因子组成。计算权重矩阵W的每行(或每列)元素之和，令E_ii＝∑_jW_ji，则E是对角矩阵，H＝E-W。 

(2)计算不同类别样本的均值矩阵：令F_i表示第i类的均值矩阵，则

(3)利用矩阵分解方法对优化目标函数的广义特征值进行求解： 

$A^T(\tilde{L}\⊗I_w)\mathrm{AQ}={\mathrm{\λF}}^T(H\⊗I_w)\mathrm{FQ}$

得到上式的前d个最小特征值对应的特征向量Q＝[q₁,q₂,…,q_d]，该特征向量组成了对图 像矩阵进行行方向降维的线性映射方向。 

(4)求解下面的广义特征值分解问题： 

$A(\tilde{L}\⊗I_h)A^{T}U=\mathrm{\λF}(H\⊗I_h)F^{T}U$

求解上式得到的前q个最小特征值对应的特征向量组成了映射矩阵U＝[u₁,u₂,…,u_q]，该特征向量组成了对图像矩阵进行列方向降维的线性映射方向。 

四、构建双向维数压缩后的特征空间 

通过行方向的线性映射可将w×h大小的图像投影到w×d的低维特征空间，而列方向的线性映射可将w×h的图像投影到q×h的低维特征空间。同时将图像进行行方向和列方向的维数压缩，即得到双向降维的模糊判别性保局映射算法。 

对经过预处理后的已知图像样本，同时投影到U和Q方向，通过下面的线性变换映射到本发明得到的特征空间： 

A_i→P_i＝U^TA_iQ 

Q＝[q₁,q₂,…,q_d],U＝[u₁,u₂,…,u_q] 

P_i为投影到特征空间后的图像矩阵，大小为q×d，用以表征原始图像的特征，可直接输入分类器应用于下一步的模式分类。 

对于经过预处理后的待测图像样本A′，同样利用线性变换将其投影到特征空间：P′＝U^TA′Q，即可得到待测图像样本的特征表达。 

五、模式分类结果输出 

对经过特征提取后的图像样本进行比较，依据不同的判别标准对待测图像样本的类别归属进行判断。由于本发明所提取的表情特征向量性能较好，因此本发明在分类器的选取方面具有较高的灵活性。以识别速度高、计算复杂度小为选择依据，建议选取最近邻分类器。本发明以最近邻分类器说明具体分类方法。 

对于待测图像样本P′和训练图像样本P_i，计算待测图像样本与训练图像样本之间的相似度d(P_i,P_j)： 

$d(P^{\′},P_i)=\sqrt{\underset{k=1}{\overset{q}{\mathrm{\Σ}}}\underset{l=1}{\overset{d}{\mathrm{\Σ}}}{(P_{\mathrm{kl}}^{\′}-P_{\mathrm{kl}}^i)}^2}$

若g_i(P′)＝mind(P′,P_i)，样本P_i属于类别k，则测试样本P′被决策为类别k。 

本发明所提出的特征提取算法的实施例是基于图像的模式识别问题的关键环节，直接影响模式识别的效果。好的特征提取方法可以减小分类器对识别系统性能的影响。特征提取的目的在于分析图像样本之间的相关性和差异性，尽可能地从原始图像信息中挖掘可以有效表征图像样本间差异性的信息。另一方面，基于图像的模式识别问题通常维数较高，特征提取可以适当降低图像特征的维数，从而降低计算量和计算复杂度。 

本发明可广泛应用于基于图像的模式识别问题，如人脸识别、手写字识别、表情识别、车牌识别、遥感图像识别等。为了验证本发明的有效性，将本发明和其他线性子空间特征提取方法进行了比较，对六种基本面部表情图像进行识别，主要包括愤怒、厌恶、高兴、恐惧、悲伤、惊讶。实验在Cohn-Kanade表情库上进行，人脸图像被归一化为统一大小，原始图像的背景被消除。实验结果表明，本发明的特征提取算法可以得到比传统线性子空间算法更有效的识别效果，表情特征可以在一定程度上消除外部影响因素对模式判别的影响，可以容忍一定的图像平移、旋转、缩放等因素。 

以上所述仅是本发明的较优实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，根据本发明做出的各种相应的改变和变形，都应属于本发明所附的权利要求的保护范围。 

Claims (12)

1.一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，包括： 

预处理单元，接收输入的原始表情图像，其中该原始表情图像是只包含人脸面部信息的二维表情图像，预处理单元对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元； 

模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵； 

函数优化单元，利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； 

特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间； 

模式分类单元，将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出表情类别决策结果。 

2.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于该特征提取装置直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。 

3.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于模糊矩阵构建单元采用欧氏距离模糊判定法计算隶属度，具体包括：利用图像样本A_i和A_j之间的欧氏距离dis(A_i,A_j)＝||A_i-A_j||₂计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μ_ij＝0.51+0.49(n_ij/k)；若样本j不归属于类别i，则μ_ij＝0.49(n_ij/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表示为则(样本k属于类别i)。 

4.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于函数优化单元采用惩罚机制对投影后归属于不同表情类别的图像样本之间的关联性进行制约，惩罚因子由两两表情类别均值矩阵之间的权重系数组成，即相应的对角线矩阵为E，对角线元素为E_ii＝∑_jW_ji。 

5.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于函数优化单元同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目 标函数的最优解，分别求解行方向降维的最优函数的前d个最小特征值，对应的特征向量组成映射矩阵Q＝[q₁,q₂,…,q_d]；以及列方向降维的最优函数 的前q个最小特征值，对应的特征向量组成映射矩阵U＝[u₁,u₂,…,u_q]。 

6.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于特征提取单元将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，A_i→P_i＝U^TA_iQ，投影后的特征向量用于输入模式分类单元应用于模式决策。 

7.一种基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于包含以下步骤： 

(1)输入原始表情图像，该原始表情图像只包含人脸面部信息，对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输入； 

(2)采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵； 

(3)利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； 

(4)利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间； 

(5)将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类器进行类别归属判断，输出表情类别决策结果。 

8.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。 

9.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(2)中包括利用图像样本A_i和A_j之间的欧氏距离dis(A_i,A_j)＝||A_i-A_j||₂计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μ_ij＝0.51+0.49(n_ij/k)；若样本j不归属于类别i，则μ_ij＝0.49(n_ij/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表示为则 (样本k属于类别i)。 

10.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(3)中包括采用惩罚机制对投影后归属于不同表情类别的图像样本之间的关联性进行制约，惩罚因子由两两表情类别均值矩阵之间的权重系数组成，即W_ij＝exp(-||F_i-F_j||²/t)，相应的对角线矩阵为E，对角线元素为E_ii＝∑_jW_ji。 

11.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(3)中还包括同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目标函数的最优解，分别求解行方向降维的最优函数的前d个最小特征值，对应的特征向量组成映射矩阵Q＝[q₁,q₂,…,q_d]；以及列方向降维的最优函数的前q个最小特征值，对应的特征向量组成映射矩阵U＝[u₁,u₂,…,u_q]。 

12.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(4)中包括将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，A_i→P_i＝U^TA_iQ，投影后的特征向量用于输入模式分类单元应用于模式决策。