CN111444859A - 一种无监督跨域人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种无监督跨域人脸表情识别方法，通过找到一个特征变换矩阵将源域和目标域样本映射到一个公共子空间，引入无参数的最大均值差异MMD来度量源域和目标域数据之间边缘分布和条件分布的距离，在该子空间中联合对齐边缘分布和条件分布，最小化域之间的分布距离。然后对变换的特征进行训练得到一个域适应分类器，来对目标域中的数据标签进行预测。本发明克服了目前存在的大多数人脸表情识别需要满足所用的测试集与训练集均来自于同一个数据集，即训练样本与测试样本满足独立同分布的假设，且不需要在目标域中带有标签样本，提高了跨域人脸表情的识别效果。

Description

一种无监督跨域人脸表情识别方法

技术领域

本发明涉及一种无监督跨域人脸表情识别方法，特别是一种基于联合分布对齐的无监督跨域人脸表情识别方法，属于人工智能，目标检测和图像分类领域。

背景技术

传统的人脸表情识别任务中训练样本和测试样本通常来自于同一个数据库，其任务是通过一系列有标签训练样本预测没有给定标签的测试样本来学习一个分类器。在实际情况中，训练集和测试集往往来自不同的表情数据库。例如，通过不同设备采集的样本，或者在不同环境下采集的样本具有不同的特征分布。这就造成了一个比传统的人脸表情识别更具有挑战性的问题，即跨域人脸表情识别。为了在跨域面部表情识别问题中区分训练和测试表情库，将这两个库分别称为源域数据库和目标域数据库。根据目标域(测试)人脸表情样本所提供的标签信息，跨域问题大致可以分为半监督和无监督两种情况。在半监督情况下，目标域人脸表情样本的标签是可以得到的，但在无监督的情况下，目标域人脸表情样本的标签是完全未知的。有监督的学习技术为机器学习和计算机视觉做出了巨大的贡献，促进了识别算法在实际场景中应用的发展。虽然这些技术已经显著地提高了现有的技术水平，但是其性能也常常受训练数据库中带标签数据量限制。由于获取人工标注标签的代价十分昂贵，在很大程度上限制了这些算法的通用性。因此，本发明提出一种基于联合分布对齐的无监督跨域人脸表情识别方法，提高了跨域人脸表情识别精度。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种高精度的无监督跨域人脸表情识别方法。

为解决上述技术问题，本发明的一种无监督跨域人脸表情识别方法，包括以下步骤：

S1：数据集的划分：将一个表情数据集作为训练数据集，即源域，另外一个表情数据集作为测试数据集，即目标域；

S2：对训练数据集和测试样本数据集中图像进行人脸检测并提取脸部区域，之后进行预处理，主要包括灰度化、尺寸归一化、直方图均衡化，消除图像中存在的冗余和干扰信息；

S3：对预处理后的脸部区域图像采用特征提取算法提取特征；

S4：对提取后的特征采用基于联合分布对齐的迁移学习方法，减小不同域间的差异性；

S5：对变换后的源域特征数据进行训练得到分类模型来预测目标域标签。

本发明还包括：

S4对提取后的特征采用基于联合分布对齐的迁移学习方法，减小不同域间的差异性，具体包括：

S4.1：通过无参的最大均值差异，对齐源域和目标域之间的边缘分布；

S4.2：通过在源域上训练的基分类器f来得到目标域中每个样本的伪标签，并采用目标域实例选择算法得到具有高精度伪标签的目标域数据；

S4.3：在有了真实标签的源域样本和带有高精度伪标签的目标域样本之后，对MMD进行修改对齐源域和目标域之间的条件分布；

S4.4：为保留源域的判别信息，对源域样本进行域不变聚类；

S4.5：根据S4.1、S4.2、S4.3和S4.4中的目标函数得到最终的优化模型，并对其进行求解得到变换矩阵A，判断是否收敛，如果收敛执行S5，否则跳转至S4.2。

本发明的有益效果：

1、本发明一种基于联合分布对齐的无监督跨域人脸表情识别方法，在公共子空间中引入无参的最大的均值差异MMD来度量域之间的分布距离，联合对齐域之间的边缘分布和条件分布，进一步减小域之间的分布差异。

2、为克服现有方法中预测的目标域伪标签不精确的问题，提出了一种新的目标域实例选择算法，提高了预测的目标域伪标签精度。

3、为保留源域的判别信息，通过对源域样本进行域不变聚类在给定的类之间提供更多的可分离性和决策区域，提高了跨域人脸表情识别的精度。

附图说明

图1是本发明一种基于联合分布对齐的无监督跨域人脸表情识别方法的基本框架。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明是为了解决目前存在的大多数人脸表情识别需要满足所用的测试集与训练集均来自于同一个数据集，即训练样本与测试样本满足独立同分布的假设，且不需要在目标域中带有标签样本。现在提供一种基于联合分布对齐的无监督跨域人脸表情识别方法，通过找到一个特征变换矩阵将源域和目标域投影到一个公共子空间，在该子空间中引入无参的最大的均值差异MMD来度量域之间的分布距离，联合对齐域之间的边缘分布和条件分布，进一步减小域之间的分布差异。为克服现有方法中预测的目标域伪标签不精确的问题，提出了一种新的目标域实例选择算法，提高了预测的目标域伪标签精度。为保留源域的判别信息，通过对源域进行域不变聚类在给定的类之间提供更多的可分离性和决策区域，提高了跨域人脸表情识别的精度。

下面对本发明具体实施步骤作进一步详细描述。令A∈R^m×k为转换矩阵，X_s，X_t分别为源域和目标域样本集合。

1.通过引入无参的最大均值差异MMD，对齐源域和目标域之间的边缘分布。

该方法的主要问题是通过显式最小化经验距离度量来减小域间的分布差异。由于带参数的度量准则计算起来比较复杂，因此我们引入一个无参的度量准则：最大均值差异(MMD)。MMD计算源域样本均值与目标域样本均值在k维嵌入中的距离。因此，对于域之间的边缘分布对齐的目标函数可以写成:

其中，Dist₁表示域之间的边缘分布差异，n_s和n_t分别表示源域和目标域中的样本个数。

通过进一步优化式(1)可以写成：

Dist₁(X_s,X_t)＝argmin_Atr(A^TXW₀X^TA) (2)

其中，

tr(·)是矩阵的迹，W₀表示边缘分布MMD系数矩阵，可计算为：

2.由于目标域没有标签，提出提出利用目标域数据的伪标签，但是，由于不同域之间的分布差异，这些伪标签可能不是太准确。因此，采用一种新的目标域实例选择算法，并进行迭代优化，提高了预测的目标域伪标签精度。

虽然通过式(2)减少了域间边缘分布的差异，但不能保证条件分布之间的差异也会减少，实际上最小化条件分布之间的差异对于跨域识别问题来说也是至关重要的。该方法的目标是同时对齐不同域之间的边缘分布和条件分布。然而，对齐条件分布并不是很容易，由于在目标域中没有标签数据，因此，对条件分布P_t(Y_t|X_t)直接进行求解是行不通的。由此想到可以使用类条件分布的充分统计量P_t(X_t|Y_t)来近似P_t(Y_t|X_t)。现有方法中提出利用目标域数据的伪标签，但是，由于不同域之间的分布差异，这些伪标签可能不是太准确。因此，提出了一种新的目标域实例选择算法，并进行迭代优化，提高了预测的目标域伪标签精度。具体方式如下：

首先在无标签的目标域中进行k＝C的K均值聚类，同时目标域中每个样本的伪标签通过在源域上训练的基分类器f来确定。因此，可以将目标域数据初始化为：

u表示样本实例所属聚类簇，1≤u≤C，

表示样本实例的伪标签，

C＝{1,2,…,C}表示样本标签的总类数。因此，有了

之后，我们可以根据下式执行目标域实例选择：

其中，mode(u)表示在聚类簇u中观察到的伪标签居多，由式(5)可以看出，只有伪标签与相关聚类簇的模式相同的实例将被选中，提高了伪标签的精度。

3.在有了真实标签的源域样本和带有伪标签的目标域样本之后，对MMD进行修改对齐源域和目标域域之间的条件分布；

在有了真实标签的源域样本和带有伪标签的目标域样本之后，就可以利用类条件分布来近似条件分布来完成条件分布对齐，为了测量类条件分布之间的距离，需要对MMD进行了修改。因此，对于条件分布对齐的目标函数可以写成：

其中，Dist₂表示域之间的条件分布差异，

表示源域样本中属于第c类的样本个数，∑α^c是在目标中选择的属于第c类样本的个数。通过进一步优化式(6)可以写成：

Dist₂(X_s,X_t)＝argmin_Atr(A^TXW_cX^TA) (7)

其中，W_c是条件分布MMD系数矩阵，可以计算为：

4.为保留源域的判别信息，对源域样本进行域不变聚类

为保留源域的判别信息，对源域样本进行域不变聚类，通过最小化其类内每个样本与该类中样本均值之间的距离进而在给定的类之间提供更多的可分离性和决策区域。令S_w∈R^m×m表示类内分散矩阵，可以将该步骤形式化为：

Dist₃(X_s,ζ^c)＝argmin_A(A^TS_wA) (9)

其中，

ζ^c表示第c类中的样本均值。

5.联合步骤1，2，3，4中的目标函数得到最终的优化模型，并对其进行求解得到变换矩阵A；

通过将式(2)(7)(9)结合起来得到该方法的总体优化模型：

优化问题得到一个变换矩阵A，通过最小化重构误差来学习变换后的特征表示。该方法利用主成分分析法进行数据重构，使得A^TXHX^TA在A^TA＝I处最大化，其中

表示中心矩阵，1表示全一列向量。

为求解式(10)，令φ＝diag(φ₁,...,φ_k)∈R^k×k表示拉格朗日乘子，则可推出式(10)的拉格朗日函数：

令

可以得到：

对式(12)进行特征值分解，选择前k个最小的特征值对应的特征向量即为变换矩阵A的解。

6.对变换后的源域特征数据进行训练得到分类模型来预测目标域标签；

在得到变换矩阵A后，执行2去更新目标域的伪标签，并根据式(3)和式(8)更新W₀和W_c，然后再求解式(10)得到A，重复6直至收敛，返回最终在{A^TX_S,y_S}训练的分类器f，来预测目标域的标签。

本发明联合对齐不同域之间的边缘分布和条件分布，进一步减小不同域之间的分布差异。在条件分布对齐中，提出了一种新的目标域实例选择算法，提高了预测的目标域伪标签精度。通过域不变聚类在给定的类之间提供更多的可分离性和决策区域，提高了跨域人脸表情识别的精度。本发明在公共子空间中引入无参的最大的均值差异MMD来度量域之间的分布距离，联合对齐域之间的边缘分布和条件分布，进一步减小域之间的分布差异。本发明为克服现有方法中预测的目标域伪标签不精确的问题，提出了一种新的目标域实例选择算法，提高了预测的目标域伪标签精度。本发明为保留源域的判别信息，通过对源域样本进行域不变聚类在给定的类之间提供更多的可分离性和决策区域，提高了跨域人脸表情识别的精度。

Claims (2)

1.一种无监督跨域人脸表情识别方法，其特征在于，包括以下步骤：

S1：数据集的划分：将一个表情数据集作为训练数据集，即源域，另外一个表情数据集作为测试数据集，即目标域；

S2：对训练数据集和测试样本数据集中图像进行人脸检测并提取脸部区域，之后进行预处理，主要包括灰度化、尺寸归一化、直方图均衡化，消除图像中存在的冗余和干扰信息；

S3：对预处理后的脸部区域图像采用特征提取算法提取特征；

S4：对提取后的特征采用基于联合分布对齐的迁移学习方法，减小不同域间的差异性；

S5：对变换后的源域特征数据进行训练得到分类模型来预测目标域标签。

2.根据权利要求1所述的一种无监督跨域人脸表情识别方法，其特征在于：S4所述对提取后的特征采用基于联合分布对齐的迁移学习方法，减小不同域间的差异性，具体包括：

S4.1：通过无参的最大均值差异，对齐源域和目标域之间的边缘分布；

S4.2：通过在源域上训练的基分类器f来得到目标域中每个样本的伪标签，并采用目标域实例选择算法得到具有高精度伪标签的目标域数据；

S4.3：在有了真实标签的源域样本和带有高精度伪标签的目标域样本之后，对MMD进行修改对齐源域和目标域之间的条件分布；

S4.4：为保留源域的判别信息，对源域样本进行域不变聚类；

S4.5：根据S4.1、S4.2、S4.3和S4.4中的目标函数得到最终的优化模型，并对其进行求解得到变换矩阵A，判断是否收敛，如果收敛执行S5，否则跳转至S4.2。

Images