CN110516557A - 基于低秩张量分解的多样本人脸表情识别方法 - Google Patents

Abstract

本发明提供了一种基于低秩张量分解的多样本人脸表情识别方法，包括图像预处理步骤、特征提取步骤、张量建模步骤、低秩学习步骤、张量分解步骤和特征分类步骤。本发明利用张量表示特征空间能保留图像的非线性特征；通过低秩张量分解技术对不同个体的人脸子空间区域特征进行学习，得到了不同维度下的人脸信息，再对所有子空间下的张量进行分解，聚类重构得到表情特征的有效表示，对人脸表情信息表示能力更强，从而提高人脸表情识别率。

Description

基于低秩张量分解的多样本人脸表情识别方法

技术领域

本发明涉及人脸表情识别技术领域，具体涉及一种基于低秩张量分解的多样本人脸表情识别方法。

背景技术

人脸表情在人类的日常交流中，通过语言传递的信息仅占7％，而人脸表情传递的信息却高达55％。研究计算机如何能够像人类具有理解和表达情感的能力，并能够自主适应环境，这将从根本上改变人与计算机之间的联系，因而，人脸表情识别具有广泛的应用前景。一是能够推动人机交互、人工智能、心理学以及计算机视觉等多个课题的发展，二是在服务业、侦察学的应用方面及基础学科研究的巨大作用。

表情识别主要目标为获取人们对同一表情的共同点，但其中存在诸多的信息干扰，获取表情信息中往往含有表情变化与自身特征。即同类表情易受不同个体的影响，且在实际应用的研究中，表情特征的变化信息存在非线性、连续性这两个特点，传统降维技术难以保留表情非线性特征变化。因此急需新方法解决此类问题。

发明内容

本发明所要解决的技术问题是，针对多个体、多样本人脸数据情况提供一种更精确、更便捷的人脸表情识别方法。

本发明采用的技术方案是，一种基于低秩张量分解的多样本人脸表情识别方法，包括如下步骤：

S1：图像预处理，利用人脸检测算法截取图像中的人脸区域；

S2：特征提取，通过多种模式下的特征算子对人脸区域进行特征提取；

S3：张量建模，根据提取到的人脸区域的特征，利用张量表示特征空间；特征空间张量中每一阶对应一个特征子空间；

S4：低秩学习，对特征空间张量进行低秩学习得到子空间下的使得张量模型聚类重构的低秩矩阵；

S5：张量分解，对子空间下的低秩矩阵进行分解、降维，从而得到不同维度下的投影矩阵；

S6：特征分类，对经过投影矩阵映射后提取到的特征进行分类。

本发明的有益效果是，张量表示特征空间能保留图像的非线性特征；通过低秩张量分解技术对不同个体的人脸子空间区域特征进行学习，得到了不同维度下的人脸信息，再对所有子空间下的张量进行分解，聚类重构得到表情特征的有效表示，对人脸表情信息表示能力更强，从而提高人脸表情识别率。

附图说明

图1：本发明总体框架示意图。

图2：本发明中低秩模型示意图。

图3：本发明中实施例中的张量分解示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明做进一步地详细描述。

本发明提出基于低秩张量分解的多样本人脸表情识别方法总体框架示意图参照图1所示。

本发明提供一种人脸表情识别方法，包括如下步骤：

对样本集与测试集分别进行S1至S5步：

S1：图像预处理，利用人脸检测算法截取图像中的人脸区域；

S2：特征提取，通过多种模式下的特征算子对人脸表情图像进行特征提取；

S3：张量建模，根据提取到的人脸区域的算子特征，构建基于算子与实验对象的张量模型；

S4：低秩学习，对张量表示的表情样本空间进行低秩学习得到子空间下的低秩矩阵；

S5：张量分解，对子空间下低秩样本进行分解和聚类学习，得到不同维度下的投影矩阵；

S6：特征分类，对经过投影矩阵映射后提取到的特征进行对比和分类。

其中，步骤S1包括如下步骤：

S11：将图像从彩色空间转换到灰度空间；

S12：利用人脸检测算法将人脸区域进行截取；

S13：对人脸区域图像进行尺度缩放。

步骤S2包括如下步骤：

S21：对人脸区域表情图片提取局部二值模式LBP算子特征；

S22：对人脸区域表情图片提取Gabor算子特征。

步骤S1、S2中的人脸检测方法以及算子特征提取方法均为现有技术中通用的方法，本发明不多加以限制。

张量建模方式是通过寻找影响表情识别效果的因素，如不同个体，不同的算子模式，从而可以找到张量的各个坐标轴所代表的物理意义。其中后续所建立的低秩模型主要围绕特征样本子空间来实现，最后，利用张量分解实现与表情相关影响维度上的来进行有效提取，步骤S3包括如下步骤：

S31：把步骤S2中各种模式下的特征算子提取的特征拉伸化为矢量并标准成同样长度，然后以算子通道维度进行级联形成特征矩阵；

S32：以人脸身份和表情属性为新的坐标轴，将不同人脸身份和表情的特征矩阵以新建立的坐标轴进行堆叠，建立特征空间张量

其中，I₁代表特征维度，I₂表示LBP、Gabor算子提取特征的通道的维度，I₃表示人脸身份维度，I₄表示表情信息维度。后续只对前3个维度进行处理。人脸对应具体的人，人脸身份这里表示人的身份标签。

本发明中，低秩模型围绕样本子空间将矩阵的秩信息作为一种稀疏测度的秩函数最小化正则的方法，能够有效刻画数据子空间以及噪声部分。

步骤S4包括如下步骤：

S41：利用特征空间张量构建特征子空间以及噪声部分的低秩模型，如图2所示：

其中，为特征空间张量，rank表示求解目标矩阵的秩，Z表示描述特征子空间的低秩重构矩阵，λ表示用于平衡低秩项和稀疏误差项的惩罚参数，‖·‖_2,1表示l_2,1范数，E为稀疏噪声部分，D表示特征的张成空间中的字典；

S42：对S41中的低秩模型进行凸优化为：

线性张成空间中的字典使用张量取代，‖·‖_*表示核范数；

S43：对于高阶张量数据，低秩模型需考虑不同维度下的子空间表示方法。对凸优化后的低秩模型使用不同维度下的子空间表示，对在人脸身份维度子空间下的低秩矩阵使用张量表征：

E＝[E⁽¹⁾；E⁽²⁾；…；E^(N)]

其中，分别表示Z,E在人脸身份维度子空间下矩阵数据，N为人脸身份这一阶的维度数，Ψ(·)表示对人脸身份维度子空间下的低秩矩阵Z⁽ⁿ⁾进行堆叠得到低秩张量

S44：通过增广拉格朗日交替乘子法对S43中的模型进行迭代优化得到低秩张量利用低秩张量中的人脸身份维度子空间下的低秩矩阵Z⁽ⁿ⁾对S3中的特征空间张量进行聚类重构编码得到的特征空间张量的低秩表征

步骤S5包括如下步骤：

S51：对S4中低秩表示的高阶张量构建张量Tucker分解模型，如图3所示：

其中，×_n表示张量模式n乘，为特征数据、算子通道、人脸身份维度上的投影矩阵；为核心张量，保留原张量的主要信息，代表了各个维度上的交互作用，并具有一定的稳定性；

S52：利用非负Tucker分解将非负张量分解，该分解可通过求解最优化问题得到各个维度上的投影矩阵，其优化问题如下；

‖·‖₂表示l₂范数，优化可得到各个维度上投影矩阵U_n；

S53：根据S52得到的各个维度上的投影矩阵U_n对低秩表征的特征空间张量进行各个维度上的降维提取有效表征。

得到了样本集与测试集的人脸图片在不同维度下的投影矩阵后，进入步骤S6,步骤S6包括如下步骤：

S61：计算样本人脸i和测试人脸j的对应人脸区域提取到的特征距离为：

^T为矩阵转置；

S62：根据特征距离得到整体人脸之间相似度从而对该测试人脸进行分类。

本发明的人脸表情识别算法在高阶张量的前提下，对JAFFE人脸表情库包含的不同个体的七种表情进行测试，平均识别率达到92.3％，而当前同类方法平均识别率为89.5％；在不同受验个体的前提下，对CK+人脸库包含的表情变化人脸序列进行测试，平均识别率达到93.4％，而当前同类方法平均识别率为91.6％。可见本发明的人脸识别方法提高了不同个体下人脸表情识别的准确率，具有较好的推广应用前景。

Claims (7)

1.一种基于低秩张量分解的多样本人脸表情识别方法，其特征在于，包括如下步骤：

S1：图像预处理，利用人脸检测算法截取图像中的人脸区域；

S2：特征提取，通过多种模式下的特征算子对人脸区域进行特征提取；

S3：张量建模，根据提取到的人脸区域的特征，利用张量表示表情特征空间；

S4：低秩学习，对特征空间张量进行低秩学习得到描述特征子空间的低秩重构矩阵；所述描述特征子空间的低秩重构矩阵为特征子空间下的使得张量模型聚类重构的低秩矩阵；

S5：张量分解，对子空间下的低秩矩阵进行分解、降维，从而得到不同维度下的投影矩阵；

S6：特征分类，对经过投影矩阵映射后提取到的特征进行分类。

2.如权利要求1所述方法，其特征在于，所述步骤S1包括如下步骤：

S11：将图像从彩色空间转换到灰度空间；

S12：利用人脸检测算法将人脸区域进行截取；

S13：对人脸区域图像进行尺度缩放。

3.如权利要求1所述方法，其特征在于，步骤S2包括如下步骤：

S21：对人脸区域表情图片提取局部二值模式LBP算子特征；

S22：对人脸区域表情图片提取Gabor算子特征。

4.如权利要求1所述方法，其特征在于，步骤S3包括如下步骤：

S31：把步骤S2中各种模式下的特征算子提取的特征拉伸化为矢量并标准成同样长度，然后以算子通道维度进行级联形成特征矩阵；

S32：以人脸身份和表情属性为新的坐标轴，将不同人脸身份和表情的特征矩阵以新建立的坐标轴进行堆叠，建立特征空间张量

其中，I₁代表特征维度，I₂表示利用特征算子提取特征的通道维度，I3表示人脸身份维度，I₄表示表情信息维度。

5.如权利要求1所述方法，其特征在于，步骤S4包括如下步骤：

S41：利用特征空间张量构建特征子空间以及噪声部分的低秩模型：

其中，为特征空间张量，rank表示求解目标矩阵的秩，Z表示描述特征子空间的低秩重构矩阵，λ表示用于平衡低秩项和稀疏误差项的惩罚参数，‖·‖_2,1表示l_2,1范数，E为稀疏噪声部分，D表示特征的张成空间中的字典；

S42：对S41中的低秩模型进行凸优化为：

线性张成空间中的字典使用张量取代，‖·‖_*表示核范数；

S43：对凸优化后的低秩模型使用不同维度下的子空间表示，对在人脸身份维度子空间下的低秩矩阵使用张量表征：

E＝[E⁽¹⁾；E⁽²⁾；…；E^(N)]

其中，Z⁽ⁿ⁾,E⁽ⁿ⁾分别表示Z,E在人脸身份维度子空间下矩阵数据，N为人脸身份这一阶的维度数，Ψ(·)表示对人脸身份维度子空间下的低秩矩阵Z⁽ⁿ⁾进行堆叠得到低秩张量

S44：通过增广拉格朗日交替乘子法对S43中的模型进行迭代优化得到低秩张量利用低秩张量中的人脸身份维度子空间下的低秩矩阵Z⁽ⁿ⁾对S3中的特征空间张量进行聚类重构编码得到的特征空间张量的低秩表征

6.如权利要求1所述的基于低秩张量分解的多样本人脸表情识别方法，其特征在于，所述步骤S5包括如下步骤：

S51：对S4中低秩表示的高阶张量构建张量Tucker分解模型：

其中，×_n表示张量模式n乘，为特征数据、算子通道、人脸身份维度上的投影矩阵；为核心张量；

S52：分解特征空间张量的低秩表征得到各个维度上的投影矩阵U_n：

‖·‖₂表示l₂范数；

S53：根据S52得到的各个维度上的投影矩阵U_n对低秩表征的特征空间张量进行各个维度上的降维提取有效表征。

7.如权利要求1所述的基于低秩张量分解的多样本人脸表情识别方法，其特征在于，所述步骤S6包括如下步骤：

S61：由于本算法均为子空间学习方法，需计算样本人脸i和测试人脸j的对应人脸区域提取到的特征距离为：

T为矩阵转置；

S62：根据特征距离得到整体人脸之间相似度从而对该测试人脸进行分类。