CN110610138A - 一种基于卷积神经网络的面部情感分析方法 - Google Patents

Abstract

本发明公开的一种基于卷积神经网络的面部情感分析方法，包括选择训练样本和验证样本；输入训练样本，得到归一化人脸图像以及归一化人脸特征点；将归一化人脸图像送入卷积神经网络模型提取情感特征，将归一化人脸特征点信息送入全连接层得到位置特征，将情感特征与位置特征进行拼接；将情感特征映射为二维的预测标签，定义损失函数，衡量损失，使网络反向传播，完成模型训练，再通过验证样本验证即可。本发明面部情感分析方法采用卷积神经网络模型和多输出均方根误差提取情感特征，同时加入人脸特征点，即克服了人为定义特征丢失情感信息的问题，又描述情感维度之间的相关性，提高了模型的预测性能准确性。

Description

一种基于卷积神经网络的面部情感分析方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的面部情感分析方法。

背景技术

情感计算的概念最早于上世纪90年代被MIT媒体实验室提出，科学家们试图把“主观的情感”变为计算机可以认知计算的信息，情感计算可以实现人机之间的无障碍交流，使计算机趋向于智能化。情感计算大致可分为识别和传达两个过程，识别即让机器通过学习能准确的分析出人类的情感状态，表达即让机器可以在合适的载体上准确的传达出情感，现阶段研究重心在于如何让机器准确识别面部情感进而分析。

传统基于机器学习的面部情感识别大多主要集中于人脸表情特征的选择与提取方面，按照人为预先定义的对面部情感特征进行分析。但自然状态下的人脸，具有相同情感的两个面部图像往往存在较大的差异(姿态以及人脸固有的外观差异)，按照统一预定义的规则提取特征，会造成同种情感的不同样本提取的情感特征差异较大；其次手动提取特征实质就是按照预定义的规则对高维图像降维，这个过程往往会造成情感信息丢失。

随着深度学习的发展，基于深度卷积网络的面部情感逐渐成为热门研究领域，让网络自行学习所需情感特征并进行分析替代了传统人为定义的方式。但当下的深度学习分析方法都忽略了描述情感所用维度之间的相关性，研究面部情感信息时将描述维度Arousal(兴奋度)，Valence(活跃度)等独立于彼此进行计算，这导致忽略了两个维度之间的正相关关系，降低了模型的预测性能。

发明内容

本发明的目的是提供一种基于卷积神经网络的面部情感分析方法，解决了现有模型进行面部情感分析时，忽略情感维度之间相关性、降低预测的准确性的问题。

本发明所采用的技术方案是，一种基于卷积神经网络的面部情感分析方法，包括以下步骤：

步骤1，选择训练样本和验证样本；

基于Affect-Net数据库的九种离散标签，选取对应的九类离散样本，每类离散样本均取不少于10500个样本，不少于10000个作为训练样本，不少于500个作为验证样本；因此，选取不少于90000个作为训练样本，不少于4500个作为验证样本，在Affect-Net数据集提供的测试集上测试模型的性能；

步骤2，输入步骤1中的训练样本作为的待处理人脸图像，预处理，得到归一化人脸图像以及归一化人脸特征点；

步骤3，将步骤2的归一化人脸图像送入卷积神经网络模型提取情感特征，并将归一化人脸特征点信息送入卷积神经网络模型全连接层得到位置特征，最终情感特征与位置特征进行拼接；

步骤4，将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，定义卷积神经网络的损失函数，衡量损失，使网络反向传播，直至网络模型训练完成；

步骤5，将步骤1中验证样本中的图像作为输入，重复步骤2-4，完成验证。

本发明的特征还在于，

步骤2具体为：

步骤2.1，输入步骤1中的训练样本作为待处理人脸图像，利用决策树人脸特征点检测算法确定人脸的特征点位置land_i＝(x_i,y_i)(i＝1,2,...,68)，利用人脸的特征点位置框出人脸区域，人脸区域由矩形表示：矩形左上顶点坐标记为(X,Y)，矩形长度和宽度分别记为W,V，具体如公式(1)所示：

步骤2.2，基于步骤2.1的人脸区域，将人脸归一化为像素96*96，归一化人脸的面部特征点记为new_land_i＝(new_x_i,new_y_i)，参数s c a_xl＝e96/W、scale_y＝96/Y分别为X轴和Y轴图像缩放尺寸，得到归一化人脸图像，具体如公式(2)所示，

new_x_i＝(x_i-X)*scale_x

new_y_i＝(y_i-Y)*scale_y (2)

步骤2.3，将步骤2.2的归一化人脸图像的每个通道的像素值都再次归一化到[-1,1]之间，有利于后续网络的收敛，如公式(3)所示，

I₀(x,y)＝(I(x,y)-128)/128 (3)

其中参数I(x,y)为归一化人脸图像像素值，参数I₀(x,y)为再次归一化后的归一化人脸图像像素值。

步骤3具体为：

步骤3.1，定义卷积神经网络模型结构，卷积神经网络模型结构包括5个卷积层C1、C2、C3、C4、C5，5个池化层S1、S2、S3、S4、S5，以及全连接层F6、F7、F8；

同时按照0为均值，0.01为标准方差的高斯分布来随机初始化所有卷积层的3×3的像素块作为卷积核模板，偏置项统一初始化为0，将经过步骤2再次归一化后的得到的96×96×3的图像送入卷积神经网络模型结构；

5个卷积层C1、C2、C3、C4、C5对应的特征图每个特征图由输入图像或上一层的输出X_i分别与对应个数的卷积模版K_ij进行卷积运算，最后再加上偏置项b_j，特征图的具体计算公式为公式(4)，

其中公式(4)中，参数i＝1、2、3、4、5，表示对应的卷积层数；参数j＝64、128、256、512、512，表示各个层对应的卷积模版的个数；符号代表步长为1的卷积运算，卷积核大小都为3×3；

步骤3.2，对于步骤3.1中的池化层S1、S2、S3、S4、S5，采用最大值采样对对应的卷积层得到的结果进行采样；

步骤3.3，最终经过步骤3.1中的全连接层F6、F7、F8，得到待处理人脸图像的128维特征表示情感特征；再将步骤2中的归一化人脸特征点输入全连接层F7、F8，最终输出128维特征表示位置特征，最终情感特征与位置特征进行拼接即可。

步骤3.1中卷积神经网络模型结构具体为：

步骤3.2中，每个池化采样区域大小为2×2，步长为2。

步骤4具体为：

将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，由损失函数衡量损失，使网络反向传播，共迭代20个epoch，直至网络模型训练完成；

其中，采用的损失函数为多输出均方根误差，具体为公式(6)，

公式(6)中参数n为描述情感的维数，令中n＝2，P(x)为情感的真实标签，M为映射函数，表示训练得到的深度模型，M(x)为情感估计值，

令L＝P(x)-M(x)，可得公式(8)：

公式(8)中，参数表示兴奋度(arousal)真实值和预测值之间整体的均方误差，参数表示活跃度(valence)真实值和预测值之间整体的均方误差，参数L_i*L_j表示情感两个自由度arousal和valence之间的关联关系。

本发明的有益效果是：本发明一种基于卷积神经网络的面部情感分析方法采用卷积神经网络模型，网络的损失函数采用多输出均方根误差，利用网络先对输入的人脸图像提取情感特征，同时在全连接层加入了人脸特征点这一语义信息，一方面克服了人为定义特征丢失情感信息的问题，另一方面在充分利用人脸面部情感信息的同时，也考虑了描述情感信息时情感维度之间的相关性，提高了模型的预测性能准确性，有很好的实用性。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明一种基于卷积神经网络的面部情感分析方法，包括以下步骤：

步骤1，选择训练样本和验证样本。

本发明基于Affect-Net数据库进行，Affect-Net数据集中提供维度标签和离散标签，其中共有九种离散标签都对应有连续情感标签值。为了保证挑选的训练样本的平衡性，本发明针对九种离散标签，选取九类离散样本，每类离散样本均取10500个样本，10000个作为训练样本，500个作为验证样本；因此，选取90000个作为训练样本，4500个作为验证样本，在Affect-Net数据集提供的测试集上测试模型的性能。

针对九种离散标签，例如其中某些离散类如沮丧、蔑视等样本少于10000的，采用镜像的方法进行数据增强。

步骤2，输入步骤1中的训练样本作为的待处理人脸图像，预处理，得到归一化人脸图像以及归一化人脸特征点。

步骤2.1，输入步骤1中的训练样本作为待处理人脸图像，利用决策树人脸特征点检测算法确定人脸的特征点位置land_i＝(x_i,y_i)(i＝1,2,...,68)，利用人脸的特征点位置框出人脸区域，人脸区域由矩形表示：矩形左上顶点坐标记为(X,Y)，矩形长度和宽度分别记为W,V，具体如公式(1)所示：

步骤2.2，基于步骤2.1的人脸区域，将人脸区域图像归一化为像素96*96，归一化人脸的面部特征点记为new_land_i＝(new_x_i,new_y_i)，参数scale_x＝96/W、scale_y＝96/Y分别为X轴和Y轴图像缩放尺寸，得到归一化人脸图像，具体如公式(2)所示，

new_x_i＝(x_i-X)*scale_x

new_y_i＝(y_i-Y)*scale_y (2)

步骤2.3，将步骤2.2的归一化人脸图像的每个通道的像素值都再次归一化到[-1,1]之间，有利于后续网络的收敛，如公式(3)所示，

I₀(x,y)＝(I(x,y)-128)/128 (3)

其中参数I(x,y)为归一化人脸图像像素值，参数I₀(x,y)为再次归一化后的归一化人脸图像像素值。

步骤3，将步骤2的归一化人脸图像送入卷积神经网络模型提取情感特征，并将归一化人脸特征点信息送入卷积神经网络模型全连接层得到位置特征，最终情感特征与位置特征进行拼接。

步骤3.1，如表1所示，定义了卷积神经网络模型结构，同时按照0为均值，0.01为标准方差的高斯分布来随机初始化所有卷积层的3×3的像素块作为卷积核模板，偏置项统一初始化为0，将经过步骤2再次归一化后的得到的96×96×3的图像送入卷积神经网络模型结构。

表1卷积神经网络模型结构参数表

由表1可知，对于5个卷积层C1、C2、C3、C4、C5，其对应的特征图总数分别为64、128、256、512、512，每个特征图由输入图像或上一层的输出X_i分别与对应个数的卷积模版K_ij进行卷积运算，最后再加上偏置项b_j。特征图的具体计算公式为公式(4)，

其中公式(4)中，参数i＝1、2、3、4、5，表示对应的卷积层数；参数j＝64、128、256、512、512，表示各个层对应的卷积模版的个数；符号代表步长为1的卷积运算，卷积核大小都为3×3；

步骤3.2，对于表1中池化层S1、S2、S3、S4、S5，采用最大值采样对对应的卷积层得到的结果进行采样，本发明池化采样区域大小为2×2，步长为2。

例如，卷积层C1的第1个特征图谱的第一个采样区域2×2，采样结果得到池化层S1的第1个特征图谱的第一个输入y₁，其中采样方法为取2×2区域中的最大值，即如公式(5)：

y₁＝max(x₁,x₂,x₃,x₄)(5)

采样后的水平和垂直空间分辨率变为原来的1/2。

步骤3.3，最终经过全连接层F6、F7、F8，得到待处理人脸图像的128维特征表示情感特征；再将步骤2中的归一化人脸特征点输入全连接层F7、F8，最终输出128维特征表示位置特征，最终情感特征与位置特征进行拼接即可。

步骤4，将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签兴奋度(arousal)值和活跃度(valence)值，定义卷积神经网络的损失函数，衡量损失，使网络反向传播，直至网络模型训练完成。具体为：

将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，由损失函数衡量损失，使网络反向传播，共迭代20个epoch，直至网络模型训练完成，

其中，本发明采用的损失函数为多输出均方根误差，如公式(6)，

公式(6)中参数n为描述情感的维数，本发明中n＝2，P(x)为情感的真实标签，M为映射函数，表示训练得到的深度模型，M(x)为情感估计值，整理上式可得：

令L＝P(x)-M(x)，公式(7)化简为公式(8)：

公式(8)中，参数表示兴奋度(arousal)真实值和预测值之间整体的均方误差，参数表示活跃度(valence)真实值和预测值之间整体的均方误差，参数L_i*L_j表示情感两个自由度arousal和valence之间的关联关系，通过优化目标项，使得模型的情感预测值与情感真实值误差最小，通过优化目标L_i*L_j项，使得模型充分利用arousal维度和valence维度之间的相关性。

步骤5，将步骤1中验证样本中的图像作为输入，重复步骤2-4，完成验证。

本发明通过采用多输出均方根误差损失函数，在充分利用人脸面部情感信息的同时，也考虑了描述情感信息时情感维度之间的相关性，提高了模型的预测性能。

实验结果对比：

1)面部特征点对情感分析的影响

面部特征点是一种有效的情感描述子，特征点的位置对情感具有很强的表征能力，为研究面部特征点对情感分析的作用，本发明分别以face和face+landmark作为输入，损失函数采用均方误差损失函数，卷积网络部分采用VGG16网络模型，实验结果对比如表2所示：

表2不同输入数据对情感分析的影响表

实验结果采用相同的网络结构，相同的参数设置，对比面部特征点对情感识别性能的影响，其中RMSE值越低越好，CORR和ICC越高越好，结果显示采用face+landmark作为输入时，情感分析准确率优于face。由于面部特征点集中分布在嘴巴和眼睛等器官周围，对情感具有很强的表征能力，且面部特征点对光照具有鲁棒性，因此结合了人脸和面部特征点训练的网络对情感的预测能力更强。

2)损失函数对情感分析准确率的影响

以face和landmark作为输入，人脸卷积部分采用VGG16网络模型，相同的实验设置，损失函数分别采用均方损失函数(MSE)和多输出均方损失函数(MMSE)，实验结果对比如表3所示：

表3采用不同损失函数结果对比

实验证明采用相同的网络结构，相同的参数设置，对比均方误差损失函数和多输出均方损失函数对情感识别性能的影响，结果显示采用MMSE损失函数结果全面优于MSE损失函数，即利用情感维度之间的相关性能提升情感识别的性能。

3)本发明方法与常用情感方法对比

对比本发明提出的网络情感分析方法、传统基于机器学习的HOG+SVR方法、基于Alex-Net情感分析方法、VGG网络+landmarks情感分析方法，相同的实验设置，训练样本为90000个，测试样本都为4500个，结果对比如表4所示：

表4Affect数据集上不同方法对比

由实验结果可知，由于数据集提供了大量的训练样本，相比于手工特征HOG，深度网络能够学习到更具判别力的特征；相比于Alex-Net网络，本发明方法对情感识别准确率提升显著，其中预测Arousal标签时，预测标签和真实标签之间的皮尔逊相关系数(CORR)提升了10.1％，该指标提升最为显著。

Claims (6)

1.一种基于卷积神经网络的面部情感分析方法，其特征在于，包括以下步骤：

步骤1，选择训练样本和验证样本；

基于Affect-Net数据库的九种离散标签，选取对应的九类离散样本，每类离散样本均取不少于10500个样本，不少于10000个作为训练样本，不少于500个作为验证样本；因此，选取不少于90000个作为训练样本，不少于4500个作为验证样本，在Affect-Net数据集提供的测试集上测试模型的性能；

步骤2，输入步骤1中的训练样本作为的待处理人脸图像，预处理，得到归一化人脸图像以及归一化人脸特征点；

步骤3，将步骤2的归一化人脸图像送入卷积神经网络模型提取情感特征，并将归一化人脸特征点信息送入卷积神经网络模型全连接层得到位置特征，最终情感特征与位置特征进行拼接；

步骤4，将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，定义卷积神经网络的损失函数，衡量损失，使网络反向传播，直至网络模型训练完成；

步骤5，将步骤1中验证样本中的图像作为输入，重复步骤2-4，完成验证。

2.根据权利要求1所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤2具体为：

步骤2.1，输入步骤1中的训练样本作为待处理人脸图像，利用决策树人脸特征点检测算法确定人脸的特征点位置land_i＝(x_i,y_i)(i＝1,2,...,68)，利用所述人脸的特征点位置框出人脸区域，所述人脸区域由矩形表示：所述矩形左上顶点坐标记为(X,Y)，矩形长度和宽度分别记为W,V，具体如公式(1)所示：

步骤2.2，基于步骤2.1的人脸区域，将人脸归一化为像素96*96，归一化人脸的面部特征点记为new_land_i＝(new_x_i,new_y_i)，参数scale_x＝96/W、scale_y＝96/Y分别为X轴和Y轴图像缩放尺寸，得到归一化人脸图像，具体如公式(2)所示，

new_x_i＝(x_i-X)*scale_x

new_y_i＝(y_i-Y)*scale_y (2)

步骤2.3，将步骤2.2的归一化人脸图像的每个通道的像素值都再次归一化到[-1,1]之间，有利于后续网络的收敛，如公式(3)所示，

I₀(x,y)＝(I(x,y)-128)/128 (3)

其中参数I(x,y)为归一化人脸图像像素值，参数I₀(x,y)为再次归一化后的归一化人脸图像像素值。

3.根据权利要求2所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤3具体为：

步骤3.1，定义卷积神经网络模型结构，所述卷积神经网络模型结构包括5个卷积层C1、C2、C3、C4、C5，5个池化层S1、S2、S3、S4、S5，以及全连接层F6、F7、F8；

同时按照0为均值，0.01为标准方差的高斯分布来随机初始化所有卷积层的3×3的像素块作为卷积核模板，偏置项统一初始化为0，将经过步骤2 再次归一化后的得到的96×96×3的图像送入卷积神经网络模型结构；

所述5个卷积层C1、C2、C3、C4、C5对应的特征图每个特征图由输入图像或上一层的输出X_i分别与对应个数的卷积模版K_ij进行卷积运算，最后再加上偏置项b_j，特征图的具体计算公式为公式(4)，

其中公式(4)中，参数i＝1、2、3、4、5，表示对应的卷积层数；参数j＝64、128、256、512、512，表示各个层对应的卷积模版的个数；符号代表步长为1的卷积运算，卷积核大小都为3×3；

步骤3.2，对于步骤3.1中的池化层S1、S2、S3、S4、S5，采用最大值采样对对应的卷积层得到的结果进行采样；

步骤3.3，最终经过步骤3.1中的全连接层F6、F7、F8，得到待处理人脸图像的128维特征表示情感特征；再将步骤2中的归一化人脸特征点输入全连接层F7、F8，最终输出128维特征表示位置特征，最终情感特征与位置特征进行拼接即可。

4.根据权利要求3所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤3.1中卷积神经网络模型结构具体为：

5.根据权利要求4所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤3.2中，每个池化采样区域大小为2×2，步长为2。

6.根据权利要求5所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤4具体为：

将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，由损失函数衡量损失，使网络反向传播，共迭代20个epoch，直至网络模型训练完成；

其中，损失函数为多输出均方根误差，具体为公式(6)，

公式(6)中参数n为描述情感的维数，令中n＝2，P(x)为情感的真实标签，M为映射函数，表示训练得到的深度模型，M(x)为情感估计值，

令L＝P(x)-M(x)，可得公式(8)：

公式(8)中，参数表示兴奋度(arousal)真实值和预测值之间整体的均方误差，参数表示活跃度(valence)真实值和预测值之间整体的均方误差，参数L_i*L_j表示情感两个自由度arousal和valence之间的关联关系。