CN112270208A - 一种基于特征子空间分离的交叉数据域微表情分类方法 - Google Patents

Abstract

本发明公开了一种基于特征子空间分离的交叉数据域微表情分类方法，包括：构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分类一致；引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对源域、目标域数据进行处理，用于建立深度学习网络模型；对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化器训练网络；将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。本发明解决了微表情识别场景中建立模型使用的训练数据和实际应用中使用的测试数据存在特征分布差异的问题，通过分析微表情在面部表达上动作单元的一致性，以及面部背景的差异性，解决交叉数据域微表情分类的问题。

Description

一种基于特征子空间分离的交叉数据域微表情分类方法

技术领域

本发明涉及图像分类识别分析领域，尤其涉及一种基于特征子空间分离的交叉数据域 微表情分类方法。

背景技术

近年来，随着计算机视觉、模式识别等学科的迅速发展，面部表情的研究趋于成熟， 微表情的研究引起了国内外很多专家学者的关注。识别微表情可以帮助获取人们真实的心 理活动信息，具有广泛的应用价值。在司法刑侦领域，警察可以根据嫌疑人的微表情来综 合考虑供词的真实性；在教育领域，老师可以通过观察学生的微表情，对学生的学习态度 和学习情况有更好的了解，从而更好的对学生进行因材施教；在商业领域，商人可以观察 对手的微表情推测对方的心理波动，有助于掌握商业战略的主动性。

作为一种特殊的动态面部表情，微表情可以揭示人类试图掩盖的隐藏情感。但是，相 比普通的动态面部表情，微表情具有较低的肌肉运动强度和较短的持续时间，这使得自动 微表情识别成为一项非常困难的任务。尽管存在很多挑战，微表情识别仍然成为最近比较 有吸引力的研究主题之一，近年来已经提出了广泛有效的方法来应对这项艰巨的任务。但 可以注意到，大多数目前开发的微表情识别方法的训练样本和测试样本属于相同的微表情 数据库，在这情况下，可以认为训练样本和测试样本遵守相同或相似的特征分布。

然而，在实际应用中，训练和测试的微表情样本可能来自两个不同的数据库。显然， 它们是在不同环境下记录的，所使用的设备也可能不同。在这种情况下，会出现训练模型 使用的样本数据与实际测试使用的样本数据的特征分布存在一定的差异。因此，目前大多 数微表情分类方法在实际测试情况下的性能可能会有所降低。

发明内容

本发明旨在解决微表情识别场景中建立模型使用的训练数据和实际应用中使用的测 试数据存在特征分布差异的问题，通过分析微表情在面部表达上动作单元的一致性，以及 面部背景的差异性，解决交叉数据域微表情分类的问题，本发明提供了一种基于特征子空 间分离的交叉数据域微表情分类方法，详见下文描述：

一种基于特征子空间分离的交叉数据域微表情分类方法，所述方法包括：

构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重 定义，用于两个数据域的标签分类一致；

引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对 源域、目标域数据进行处理，，用于建立深度学习网络模型；

根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获得多分类交 叉熵损失函数，根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得 到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公共域子 空间编码得到的特征向量，进行计算获取域对抗的相似度损失函数；

对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化 器训练网络；

将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。

其中，所述将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分 类一致具体为：

对每一个微表情序列，将顶点帧图像划分到测试数据，其他图像划分到训练数据，序 列内图像数据标签与序列标签保持一致，得到每一个数据域的训练数据和测试数据，两个 数据域的数据进行交叉组合充当源域数据或目标域数据。

进一步地，所述引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域 私有空间分别对源域、目标域数据进行处理，用于建立深度学习网络模型具体为：

模型由三条卷积神经网络支路组成，中间为公共域子空间，对源域和目标域数据进行 处理；剩下两条支路为私有域子空间，分别对源域数据和目标域进行处理；

每条卷积神经网络支路的结构与VGG16保持一致，包含5组卷积，每组卷积包含的卷积层的层数分别是2、2、3、3、3，中间网络支路还包含两个全连接层和一层用于分类 的归一化指数函数层；每组卷积后面加入了池化操作以及每个卷积层后面加上了修正线性 单元操作。

本发明提供的技术方案的有益效果是：

1、本发明通过使损失函数最小化，提高了私有域子空间和公共域子空间的正交性， 同时也提高了源域和目标域在公共域子空间编码后特征的相似性；

2、本发明通过降低源域真实标签和预测标签的交叉熵损失，可以更好地提高无标签 的目标域视频标签生成的准确性；

3、本发明通过使用迁移学习的原理和端到端的神经网络的方法，使用有标签的源域 图像数据指导无标签的目标域分类结果的生成。

附图说明

图1为一种基于特征子空间分离的交叉数据域微表情分类方法的流程图；

图2为深度学习网络模型结构以及三部分损失函数的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详 细描述。

为了解决背景技术中存在的问题，开发更实用的微表情识别方法，研究交叉数据库的 微表情识别问题就很有必要，其中训练和测试样本属于两个不同的微表情数据库。

为了方便起见，本发明实施例将带有标签的数据库称为源域(数据库)，并且将测试 数据库作为交叉数据库微表情识别分类的目标域(数据库)。

实施例1

本发明实施例提供了一种基于特征子空间分离的交叉数据域微表情分类方法，参见图 1，该方法包括以下步骤：

步骤101：构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性 进行标签重定义，保证两个数据域的标签分类一致；

步骤102：引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有 空间分别对源域、目标域数据进行处理，以此为基础建立深度学习网络模型；

步骤103：根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获 得第一部分的损失函数，根据源域、目标域的数据分别在公共域子空间和该域私有子空间 编码得到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公 共域子空间编码得到的特征向量，进行计算获取第三部分的损失函数；

步骤104：对三部分的损失函数进行加权求和获取最终的目标损失函数，使用SGD(Stochastic Gradient Descent，随机梯度下降)优化器训练网络；

步骤105：将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。

综上所述，本发明实施例通过使损失函数最小化，通过降低源域真实标签和源域预测 标签的交叉熵损失、私有域子空间特征向量和公共域子空间特征向量的相异性损失以及源 域和目标域在公共域子空间编码后特征的相似性损失，使得公共域对源域和目标域数据的 运动信息的特征编码更具相似性和泛化性，进而提高对目标域测试样本的分类准确率。

实施例2

下面结合计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：构建源域和目标域的训练数据和测试数据；

本发明实施例使用了两个公开的微表情数据库，SMIC和CASMEII，均为本领域研究人员所知。使用到SMIC数据库其中两种类型的数据集，即是SMIC(HS)，SMIC(VIS)，分 别由帧率为100FPS的高速(HS)相机，帧率为25FPS的普通视觉(VIS)相机记录。SMIC(HS) 包含来自16个测试者的164个微表情片段，SMIC(VIS)和SMIC(NIR)包含来自8个测试者 的71个微表情片段。SMIC数据库的微表情被分为积极、消极和惊讶三大类。CASMEII 数据库包含来自26个测试者的246个微表情片段，被分为开心、惊讶、厌恶、压抑和其 他五大类。为了使CASMEII与SMIC数据集保持微表情分类的一致，从CASMEII选取开 心、惊讶、厌恶和抑制四种微表情样本，将开心重标记为积极，厌恶和压抑重标记为消极， 惊讶仍标记为惊讶，进行两种类型的交叉数据域微表情分类实验。

本发明实施例的实验中使用的是微表情图像数据而非视频序列，是考虑到算法的实时 性处理要求以及鲁棒性。图片选择的规则是：对于标签一致的数据集，在各自的数据域里 构建训练集和测试集，具体方式为对于每一个微表情序列，将顶点帧图像划分到测试数据， 序列中的其他图像划分到训练数据，序列内图像数据标签与序列标签保持一致，得到每一 个数据域的训练数据和测试数据，并且两个数据域的数据可以进行交叉组合充当源域数据 或目标域数据。

202：引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间 分别对源域、目标域数据进行处理，以此为基础建立深度学习网络模型；

其中，特征子空间分离的交叉域微表情分类方法解决的是训练集和测试集不属于同一 数据集的情况，即有可能两部分的数据不满足同一特征分布，因此希望利用带有标签的源 域数据训练得到的分类器对于目标域的数据仍然适用。根据微表情分类使用的显著特征是 面部单元的运动信息，这是不同数据库都包含的公有信息，而面部结构(面部背景)属于不 必要特征且为每个数据库的私有信息，因此为数据域的共享信息和私有信息建模，引入公 共域子空间和私有域子空间，公共域子空间提取不同数据域的公有特征表达，私有域提取 不同数据域的私有特征表达。

通过这种方式，在公共域上训练的分类器可以更好地对目标域数据进行分类，因为其 提取的公有特征不受数据其他特征的影响。利用深度学习的卷积神经网络进行模型的建立， 如图2所示，模型由三条卷积神经网络支路组成，中间支路为共享支路，即公共域子空间， 对源域和目标域数据进行处理；剩下两条支路为私有支路，即私有域子空间，分别对源域 数据和目标域进行处理。每条卷积神经网络支路的结构与VGG16保持一致，包含5组卷 积，每组卷积包含的卷积层的层数分别是2、2、3、3、3，网络还包含两个全连接层和一 层用于分类的Softmax(归一化指数函数)层。每组卷积后面加入了池化操作以及每个卷 积层后面加上了ReLU(Rectified Linear Unit，修正线性单元)操作，提高了网络的非线性 表达能力。

使用

代表有标签的源域数据，

为源域第i个图像数据，

为第i个图 像数据的标签，N_s代表源域的数据数量，

D_s表示源域数据；

代表没有标签的目标域数据，

为目标域第i个图像数据，N_t代表目标域的数据数量，

D_T为目标域数据。

采用E_c(x；θ_c)表示公共域特征提取函数，由θ_c参数化，该函数使图像x映射到隐藏表 示h_c，h_c表示公共域子空间提取到的共享的特征。E_p(x；θ_p)是一个类似函数，由θ_p参数化，该函数使图像x映射到隐藏表示h_p，h_p表示私有域子空间提取到的每个域的私有特征。最后，G(h；θ_g)表示特定任务的函数，由θ_g参数化，该函数使隐藏表示h映射到特定任务的 预测

这里的隐藏表示h_c，h_p是五组卷积之后输出的特征向量。

203：使用分类损失训练网络模型以此实现网络能预测数据的分类标签；

目标域的数据是没有经过标记的数据，分类损失函数仅仅作用在源域数据的训练。本 发明实施例要最小化每个源域样本的预测标签与真实标签之间的负对数似然估计，即多分 类交叉熵损失，表示如下：

其中，

是源域输入样本i标签独热编码向量，而

是模型的Softmax预测输出的标 签向量：

为共享支路对源域图像数据的特征提取过程，G表示特定任务函数，将特征映射为分类标签。

差异损失对两个域的数据都进行作用。网络模型的主要目的是满足数据的不同特征子 空间的分离，利用差异性损失来促进公共域子空间和私有域子空间对输入数据的不同方面 的特征进行编码，通过每个数据域的数据在公共域子空间的公共特征和私有域子空间的私 有特征之间的软正交约束来定义差异性损失。每条卷积神经网络支路五组卷积之后的输出 的特征维度为b,c,w,h，其中b表示的是训练过程中batchSize(批大小)，c是输出的特征 图的个数，w,h是特征图的尺寸。将特征变换成二维矩阵，大小为b×cwh，即把每个特征 图展开成一维向量，当作二维矩阵的行。

用

和

分别表示源域数据样本和目标域数据样本在中间共享支路的特征输出，则

用

和

来表示源域数据和目标域数据在自支路的私有表 示，则

E_c(x^s)为共享支路对源域数据的特征提取过程，E_c(x^t) 为共享支路对目标域数据的特征提取过程，E_p(x^s)为源域私有支路对源域数据的特征提取 过程，E_p(x^t)为目标域私有支路对目标域数据的特征提取过程。

差异性损失提升了每个数据域的公共表示和私有表示的正交性，旨在提高了三条支路 对输入数据的不同层面特征的提取能力，使用l_difference进行表示，其计算如下：

其中，

表示矩阵F范数的平方，是矩阵元素绝对值平方的和，如果特征向量越满 足正交性，则差异性损失越小，因此通过差异性损失函数训练网络可以达到不同支路提取 不同层面特征的目的。

域对抗的相似度损失用于训练模型来产生分类器无法可靠预测图像来自哪一个域的 特征编码。域分类器的作用是对公共支路提取的特征进行二分类，判断其来自源域还是目 标域。公共域的特征编码与上述符号保持一致，即h_c＝E_c(x；θ_c)，x为图像。

通过域对抗的相似度损失训练中间支路的模型参数θ_c，使其对源域图像和目标域图像 的公共特征的编码最大程度保持一致，域分类器无法区分特征编码是来自哪一个域的图像 产生的，则中间支路共享模型对数据域的公共特征有很好的表达。域对抗的相似度损失表 示如下：

其中，i为数据的序号，N_s为源域图像的总数，N_t为目标域图像的总数，d_i为图像所在域的真实标签变量，

是图像所在域的预测标签变量。

通过最小此损失函数，使公共域子空间对源域和目标域图像的公共部分有相似的特征 表达。

204：对网络模型的三种损失函数进行加权求和，作为网络最终的损失函数。通过调 整三类损失的系数大小，使得网络模型达到最优的性能。

l_total＝l_classify+αl_difference+βl_DANN (4)

其中，α,β是损失函数的权重系数，是一种需要在实验过程中根据实际情况进行调整 的超参数，这里将α设为0.75，β设为0.25。

实施例3

下面结合具体的实验数据对实施例1和2中的方案进行效果评估，详见下文描述：

301：数据组成

为了对本方法的算法性能做基本的评测，本发明实施例使用来自CASMEII的数据作 为源域，即使用该数据域的标签，来自SMIC(HS)的数据作为目标域，不使用该数据域的标签。对源域和目标域的数据进行整理得到每个数据域的训练数据和测试数据，CASMEII的训练数据包含10149张图像数据，测试集为146张单一表情序列的峰值图像数据。 SMIC(HS)的训练数据包含5527张图像数据，测试集为164张单一表情序列的峰值图像数 据。对模型性能进行评估使用的是目标域的测试数据，即SMIC(HS)的164张单一表情序 列的峰值图像数据。

302：评估准则

本发明实施例的分类性能通过模型对目标域的测试数据的预测标签与真实标签之间 的分类准确度(Accuracy)进行衡量。

其中，N_test是测试数据的总个数，N_ture是测试数据中标签预测正确的样本个数。

303：实验对比

实验部分包含两部分，一组是为证明本发明实施例提出的一种基于特征子空间分离的 交叉数据域微表情分类方法的有效性的消融实验，另一组是与其他经典交叉数据域微表情 分类方法的对比。消融实验为仅使用源域数据对公共域支路进行训练，且损失函数只包含 多分类交叉熵，将此实验结果与使用完整框架和三部分损失函数的实验进行对比。

实验中将本发明与两种方法进行比较，分别是：

1)TRSG(学习用于跨数据库微表情识别的目标样本重新生成器，Target SampleRe-Generator)；2)DRFS-T(保持目标域特征空间不变的跨数据库微表情识别，DomainRegeneration in the original Feature Space with unchanged Target domain)。

表1是相应的消融实验结果，其中Source_only表示使用源域CASMII数据直接训练的模型对SMIC(HS)的测试数据进行分类处理，feature_Sepreation表示利用本发明的方法训 练出来的模型对SMIC(HS)的测试数据进行分类处理。从表1可以看出特征子空间分离的方法提高了模型的泛化能力，证明了本方法的有效性。

表2显示了不同算法在以CASMEII为源域，SMIC(HS)为目标域的测试结果。本发明提出的方法对于交叉域微表情识别更加有效。

表1

表2

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要 能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号 仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于特征子空间分离的交叉数据域微表情分类方法，其特征在于，所述方法包括：

构建源域和目标域的训练数据和测试数据，将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分类一致；

引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对源域、目标域数据进行处理，，用于建立深度学习网络模型；

根据得到的源域预测标签和源域真实标签，利用交叉熵函数进行计算，获得多分类交叉熵损失函数，根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得到的特征向量，进行计算获取差异损失函数，根据源域图像和目标域图像分别在公共域子空间编码得到的特征向量，进行计算获取域对抗的相似度损失函数；

对三部分的损失函数进行加权求和获取最终的目标损失函数，使用随机梯度下降优化器训练网络；

将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。

2.根据权利要求1所述的一种基于特征子空间分离的交叉数据域微表情分类方法，其特征在于，所述将不同数据域按照标签一致性进行标签重定义，用于两个数据域的标签分类一致具体为：

对每一个微表情序列，将顶点帧图像划分到测试数据，其他图像划分到训练数据，序列内图像数据标签与序列标签保持一致，得到每一个数据域的训练数据和测试数据，两个数据域的数据进行交叉组合充当源域数据或目标域数据。

3.根据权利要求1所述的一种基于特征子空间分离的交叉数据域微表情分类方法，其特征在于，所述引入公共域对源域和目标域的数据进行处理，源域私有空间和目标域私有空间分别对源域、目标域数据进行处理，用于建立深度学习网络模型具体为：

模型由三条卷积神经网络支路组成，中间为公共域子空间，对源域和目标域数据进行处理；剩下两条支路为私有域子空间，分别对源域数据和目标域进行处理；

每条卷积神经网络支路的结构与VGG16保持一致，包含5组卷积，每组卷积包含的卷积层的层数分别是2、2、3、3、3，中间网络支路还包含两个全连接层和一层用于分类的归一化指数函数层；每组卷积后面加入了池化操作以及每个卷积层后面加上了修正线性单元操作。

Images