CN113688799A - 一种基于改进深度卷积生成对抗网络的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于改进深度卷积生成对抗网络的人脸表情识别方法，该方法包括：1获取人脸图像数据集并进行预处理；2构建生成对抗网络，用预处理后的人脸数据集训练网络获取合成图像；3构建人脸表情分类网络，使用带表情标签的人脸图像数据集进行训练；4由生成对抗网络和表情分类模块连接构成整个表情识别网络模型，并将待识别的人脸图像裁剪成设定尺寸，输入人脸表情识别网络模型，获取输出结果确定人脸图像中的人脸表情。本发明用改进的生成对抗网络处理原始人脸图像，能够提取更细微的有效信息，从而提升了人脸表情识别准确率。

Description

一种基于改进深度卷积生成对抗网络的人脸表情识别方法

技术领域

本发明涉及深度学习和图像处理相关领域，具体为一种基于改进深度卷积生成对抗网络的人脸表情识别方法。

背景技术

根据研究表明，人类的情感表达多数通过面部表情传递，人类表情识别技术在人机交互、情感分析、公共安全监控等领域有着重要等意义。目前一般把人脸表情分为七类，即“生气、厌恶、害怕、高兴、伤心、惊讶、中性”。传统人脸表情识别方法通过手工提取特征并分类，同时，传统技术存在鲁棒性差等不足。随着计算机技术的发展，深度学习成为近年来的研究热点之一，深度学习的应用使人脸表情识别技术也有较大突破。

然而现有技术中基于深度学习面部表情识别方法也存在一定的问题，现有的表情识别方法通常需要从人脸图像中直接提取特征，但在实际生活中采集但图像可能存在光线不均、图像模糊、面部有遮挡物等问题而不能很好等提取特征信息。同时，识别算法中的训练策略可能会导致过拟合问题，降低目标数据库的性能，降低面部识别准确率。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于改进深度卷积生成对抗网络的人脸表情识别方法，以期能提取更细微的有效信息，从而能提升人脸表情识别准确率。

为实现上述目的，本发明提供如下技术方案：

本发明一种基于改进深度卷积生成对抗网络的人脸表情识别方法的特点在于，包括以下步骤：

步骤1、获取人脸图像数据集并进行预处理：

获取真实人脸图像数据集并分别裁剪成尺寸为M×M的人脸图像，再对裁剪后的人脸图像随机添加

的掩码，得到预处理后的人脸图像数据集记为X＝{x₁,x₂,...,x_i,...,x_N}，其中，x_i表示第i张人脸图像，i＝1,2,...,N，N为人脸图像数据集中人脸图像的总数；

步骤2、构建生成网络G和双判别网络组成的改进深度卷积生成对抗网络：

步骤2.1、构建包括编码器和解码器组成的生成网络G；

所述编码器包括m层卷积层，所述解码器包括m层反卷积层；

设置所有卷积层的步长为2c、反卷积层的步长设为c；

设置卷积层的激活函数采用LeakyRelu函数，反卷积层的激活函数采用Relu函数；

在所述编码器的第1层卷积层与所述解码器的第m层反卷积层之间加入跳跃连接；在所述编码器的第2层卷积层与所述解码器的第m-1层反卷积层之间加入跳跃连接；依次类推，在所述编码器的第m层卷积层与所述解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；

所述第i张人脸图像x_i经过所述生成网络G的编码和解码处理后得到维度为M×M的合成图像s_i；

步骤2.2、建立如式(1)所示的重构损失L_rec：

L_rec＝||s_i-x_i|| (1)

步骤2.3、采用如式(2)所示的最小二乘损失函数来建立生成网络G的损失函数L(G)：

式(2)中，E表示数学期望，x_i～px_i表示第i张人脸图像x_i服从数据集中的人脸图像分布；D(s_i)表示双判别网络对合成图像s_i的预测值；

步骤2.4、利用式(3)构建生成网络G的总损失L_s(G)：

L_s(G)＝L_rec+L(G) (3)

步骤2.5、构建包括局部判别网络D_loc和全局判别网络D_glo的双判别网络：

所述局部判别网络D_loc是由w层卷积神经网络构成，且每个卷积层后采用LeakyRelu函数作为激活函数；

将所述维度为M×M的合成图像s_i中维度为

的局部人脸图像输入所述局部判别网络D_loc中，并经过卷积操作后得到维度为1×1×h的特征向量；

所述全局判别网络D_glo是由w+1层卷积神经网络构成，且每个卷积层后采用Leaky Relu函数作为激活函数；

将所述维度为M×M的合成图像s_i输入所述全局判别网络D_glo中，并经过卷积操作后得到维度为1×1×h的特征向量；

调用Concat函数和Reshape函数将所述局部判别网络D_loc输出的特征向量和所述全局判别网络D_glo输出的特征向量进行连接并调整成维度为1×2h的特征向量，再经过一个全连接层处理后得到一个输出值，然后使用sigmod函数将所述输出值映射到[0,1]范围内，从而得到映射后的值，用于判断所述合成图像s_i的真假；

步骤2.6、采用如式(4)所示的最小二乘损失函数来建立双判别网络的损失函数L(D)：

步骤2.7、利用式(5)构建双判别网络的总损失L_s(D)：

L_s(D)＝L(D_loc)+L(D_glo) (5)

式(5)中，L(D_loc)表示局部判别网络D_loc的损失函数，L(D_glo)表示全局判别网络D_glo的损失函数；

步骤2.8、利用式(6)构建全局目标函数L_all：

L_all＝L_s(G)+L_s(D) (6)

步骤2.9、基于所述全局目标函数L_all，采用预处理后的人脸图像数据集X对所述改进深度卷积生成对抗网络进行训练，直到双判别网络无法判断输入图像的真假时，得到最优网络模型，并输出合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}；其中，s′_i表示第i张人脸图像x_i输出的最优合成图像；

步骤3、构建表情分类网络，并使用带表情标签的人脸表情数据集进行训练：

步骤3.1、获取带表情标签的人脸表情图像数据集并分别裁剪成尺寸M×M的表情图像，得到裁剪后的表情数据集记为Y＝{y₁,y₂,...,y_j,...,y_T}，其中，y_j表示第j张裁剪后的表情图像，j＝1,2,...,T，T为裁剪后的数据集中图像的总数；

步骤3.2、构建由K个卷积层和v个全连接层构成的表情分类网络；

其中，K个卷积层中的前k个卷积层后设置有平均池化层，后K-k个卷积层后设置最大池化层；各个全连接层之间设置有dropout层；

将维度为M×M的第j张裁剪后的表情图像y_j输入所述表情分类网络中并输出F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}；其中，R_j,t表示第j张裁剪后的表情图像y_j输出的第t个预测值；

将F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}输入Softmax分类器中转换为对应的概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}；其中，Q_j,t表示第t个预测值R_j,t的概率分布；

选取概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}中最大值所对应的表情标签作为第j张裁剪后的表情图像y_j的人脸表情识别结果；

步骤4、将改进深度卷积生成对抗网络输出的合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}与预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}进行融合后作为训练后的表情分类网络的输入，并由所述训练后的表情分类网络输出分类结果，并将分类结果作为预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}的人脸表情识别结果。

与现有技术相比，本发明的有益效果在于：

1.本发明方法是先用生成对抗网络模型对人脸图像进行处理，生成更高质量的人脸面部图像，从而克服了实际生活采集人脸图像的光线不均、图像模糊、面部有遮挡物等问题，提高了表情识别准确率。

2.本发明在对人脸图像数据集进行训练优化生成对抗网络时，损失函数选择的是最小二乘损失函数，解决了网络训练中存在的不稳定、网络崩溃问题。同时，生成对抗网络模型采用双层判别网络，在有效提取图像整体有效信息的同时能够提取更细微的局部特征信息，提升了网络的学习性能，从而更有助于人脸表情的识别和捕捉。

附图说明

图1为本发明的流程示意图；

图2为本发明的改进深度卷积生成对抗网络模型中的生成网络结构图；

图3为本发明的改进深度卷积生成对抗网络模型中的双判别网络结构图。

具体实施方式

本实施例中，一种基于改进深度卷积生成对抗网络的人脸表情识别方法，如图1所示，是按如下步骤进行：

步骤1、获取人脸图像数据集并进行预处理：

获取真实人脸图像数据集并分别裁剪成尺寸为M×M的人脸图像，再对裁剪后的人脸图像随机添加

的掩码来模拟现实中人脸图像的光线不均、图像破损、面部遮挡等情况，得到预处理后的人脸图像数据集记为X＝{x₁,x₂,...,x_i,...,x_N}，其中，x_i表示第i张人脸图像，i＝1,2,...,N，N为人脸图像数据集中人脸图像的总数，本实施例中在VGGFace数据集中选取人脸正面图片作为训练数据集，将收集的图像统一裁剪成128×128的图像。

步骤2、构建生成网络G和双判别网络组成的改进深度卷积生成对抗网络：

步骤2.1、构建包括编码器和解码器组成的生成网络G；

生成网络结构如图2所示，编码器包括m层卷积层，解码器包括m层反卷积层，具体实施中m取6；

设置所有卷积层的步长为2c、反卷积层的步长设为c，具体实施中c取1；

设置卷积层的激活函数采用LeakyRelu函数，反卷积层的激活函数采用Relu函数；

在编码器的第1层卷积层与解码器的第m层反卷积层之间加入跳跃连接；在编码器的第2层卷积层与解码器的第m-1层反卷积层之间加入跳跃连接；依次类推，在编码器的第m层卷积层与解码器的第1层反卷积层之间加入跳跃连接；跳跃连接把经过卷积层后的特征映射与经过反卷积层对应的大小相同的特征映射连接起来，能提升生成图像的质量，且每层卷积层和每层反卷积层后均设置有Padding操作以保持输出图片和输入图片大小一致；

第i张人脸图像x_i经过生成网络G的编码和解码处理后得到维度为128×128的合成图像s_i；

步骤2.2、建立如式(1)所示的重构损失L_rec，重构损失表示生成图像和输入图像的差异，在生成网络中引入重构损失可以使生成器的生成图像尽可能接近目标图像：

L_rec＝||s_i-x_i|| (1)

步骤2.3、采用如式(2)所示的最小二乘损失函数来建立生成网络G的损失函数L(G)，最小二乘函数在混淆判别器的同时还能使生成器把距离决策边界较远的生成图像拉向边界，使生成网络不断优化，提高生成图片的质量：

式(2)中，E表示数学期望，x_i～px_i表示第i张人脸图像x_i服从数据集中的人脸图像分布；D(s_i)表示双判别网络对合成图像s_i的预测值；

步骤2.4、利用式(3)构建生成网络G的总损失L_s(G)：

L_s(G)＝L_rec+L(G) (3)

步骤2.5、构建包括局部判别网络D_loc和全局判别网络D_glo的双判别网络，：

双判别网络结构如图3所示，局部判别网络D_loc是由w层卷积神经网络构成，且每个卷积层后采用LeakyRelu函数作为激活函数，具体实施中w取5；

将维度为128×128的合成图像s_i中维度为64×64的局部人脸图像输入局部判别网络D_loc中，并经过卷积操作后得到维度为1×1×1024的特征向量；

全局判别网络D_glo是由w+1层卷积神经网络构成，且每个卷积层后采用LeakyRelu函数作为激活函数；

将维度为128×128的合成图像s_i输入全局判别网络D_glo中，并经过卷积操作后得到维度为1×1×1024的特征向量；

调用Concat函数和Reshape函数将局部判别网络D_loc输出的特征向量和全局判别网络D_glo输出的特征向量进行连接并调整成维度为1×2048的特征向量，再经过一个全连接层处理后得到一个输出值，然后使用sigmod函数将输出值映射到[0,1]范围内，从而得到映射后的值，用于判断合成图像s_i的真假；

步骤2.6、采用如式(4)所示的最小二乘损失函数来建立双判别网络的损失函数L(D)：

步骤2.7、利用式(5)构建双判别网络的总损失L_s(D)：

L_s(D)＝L(D_loc)+L(D_glo) (5)

式(5)中，L(D_loc)表示局部判别网络D_loc的损失函数，L(D_glo)表示全局判别网络D_glo的损失函数；

步骤2.8、利用式(6)构建全局目标函数L_all：

L_all＝L_s(G)+L_s(D) (6)

步骤2.9、基于全局目标函数L_all，采用预处理后的人脸图像数据集X对改进深度卷积生成对抗网络进行训练，直到双判别网络无法判断输入图像的真假时，得到最优网络模型，并输出合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}；其中，s′_i表示第i张人脸图像x_i输出的最优合成图像；

步骤3、构建表情分类网络，并使用带表情标签的人脸表情数据集进行训练：

步骤3.1、获取带表情标签的人脸表情图像数据集并分别裁剪成尺寸M×M的表情图像，具体实施中使用CK+表情数据集来训练分类网络，将收集的图像统一裁剪成128×128的图像，得到裁剪后的表情数据集记为Y＝{y₁,y₂,...,y_j,...,y_T}，其中，y_j表示第j张裁剪后的表情图像，j＝1,2,...,T，T为裁剪后的数据集中图像的总数；

步骤3.2、构建由K个卷积层和v个全连接层构成的表情分类网络，具体实施中K取3；

其中，3个卷积层中的前2个卷积层后设置有平均池化层，最后1个卷积层后设置最大池化层，平均池化层可以提供更多细节变化，最大池化层可以加快神经网络收敛速度；各个全连接层之间设置有dropout ratio为40％的dropout层以加快收敛速度；

将维度为M×M的第j张裁剪后的表情图像y_j输入表情分类网络中并输出F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}，具体实施中F取7；其中，R_j,t表示第j张裁剪后的表情图像y_j输出的第t个预测值；

将7个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,7}输入Softmax分类器中转换为对应的概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,7}；其中，Q_j,t表示第t个预测值R_j,t的概率分布；

选取概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,7}中最大值所对应的表情标签作为第j张裁剪后的表情图像y_j的人脸表情识别结果；

步骤4、为减少合成人脸图像表情信息的丢失，将改进深度卷积生成对抗网络输出的合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}与预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}进行融合后作为训练后的表情分类网络的输入，并由训练后的表情分类网络输出分类结果，并将分类结果作为预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}的人脸表情识别结果。

为了验证本发明方法的有效性，在python中基于pytorch框架构建网络模型并使用扩充的CK+数据集进行表情识别验证。表1为几种表情识别方法的识别率对比。

表1与其他算法的对比

本发明在进行人脸表情识别时，先用改进的生成对抗网络模型对人脸图像进行处理，生成更高质量的人脸面部图像。克服了实际生活采集人脸图像的光线不均、图像模糊、有遮挡物等问题，能更好的提取面部特征，提高了表情识别准确率。在对人脸图像数据集进行训练优化生成对抗网络时，损失函数选择的是最小二乘损失函数，解决了网络训练中存在的不稳定、网络崩溃问题。同时，生成对抗网络模型采用双层判别网络，在有效提取图像整体有效信息的同时能够提取更细微的局部特征信息，提升网络的学习性能。

Claims (1)

1.一种基于改进深度卷积生成对抗网络的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1、获取人脸图像数据集并进行预处理：

获取真实人脸图像数据集并分别裁剪成尺寸为M×M的人脸图像，再对裁剪后的人脸图像随机添加

的掩码，得到预处理后的人脸图像数据集记为X＝{x₁,x₂,...,x_i,...,x_N}，其中，x_i表示第i张人脸图像，i＝1,2,...,N，N为人脸图像数据集中人脸图像的总数；

步骤2、构建生成网络G和双判别网络组成的改进深度卷积生成对抗网络：

步骤2.1、构建包括编码器和解码器组成的生成网络G；

所述编码器包括m层卷积层，所述解码器包括m层反卷积层；

设置所有卷积层的步长为2c、反卷积层的步长设为c；

设置卷积层的激活函数采用LeakyRelu函数，反卷积层的激活函数采用Relu函数；

在所述编码器的第1层卷积层与所述解码器的第m层反卷积层之间加入跳跃连接；在所述编码器的第2层卷积层与所述解码器的第m-1层反卷积层之间加入跳跃连接；依次类推，在所述编码器的第m层卷积层与所述解码器的第1层反卷积层之间加入跳跃连接；且每层卷积层和每层反卷积层后均设置有Padding操作；

所述第i张人脸图像x_i经过所述生成网络G的编码和解码处理后得到维度为M×M的合成图像s_i；

步骤2.2、建立如式(1)所示的重构损失L_rec：

L_rec＝||s_i-x_i|| (1)

步骤2.3、采用如式(2)所示的最小二乘损失函数来建立生成网络G的损失函数L(G)：

式(2)中，E表示数学期望，x_i～px_i表示第i张人脸图像x_i服从数据集中的人脸图像分布；D(s_i)表示双判别网络对合成图像s_i的预测值；

步骤2.4、利用式(3)构建生成网络G的总损失L_s(G)：

L_s(G)＝L_rec+L(G) (3)

步骤2.5、构建包括局部判别网络D_loc和全局判别网络D_glo的双判别网络：

所述局部判别网络D_loc是由w层卷积神经网络构成，且每个卷积层后采用Leaky Relu函数作为激活函数；

将所述维度为M×M的合成图像s_i中维度为

的局部人脸图像输入所述局部判别网络D_loc中，并经过卷积操作后得到维度为1×1×h的特征向量；

所述全局判别网络D_glo是由w+1层卷积神经网络构成，且每个卷积层后采用LeakyRelu函数作为激活函数；

将所述维度为M×M的合成图像s_i输入所述全局判别网络D_glo中，并经过卷积操作后得到维度为1×1×h的特征向量；

调用Concat函数和Reshape函数将所述局部判别网络D_loc输出的特征向量和所述全局判别网络D_glo输出的特征向量进行连接并调整成维度为1×2h的特征向量，再经过一个全连接层处理后得到一个输出值，然后使用sigmod函数将所述输出值映射到[0,1]范围内，从而得到映射后的值，用于判断所述合成图像s_i的真假；

步骤2.6、采用如式(4)所示的最小二乘损失函数来建立双判别网络的损失函数L(D)：

步骤2.7、利用式(5)构建双判别网络的总损失L_s(D)：

L_s(D)＝L(D_loc)+L(D_glo) (5)

式(5)中，L(D_loc)表示局部判别网络D_loc的损失函数，L(D_glo)表示全局判别网络D_glo的损失函数；

步骤2.8、利用式(6)构建全局目标函数L_all：

L_all＝L_s(G)+L_s(D) (6)

步骤2.9、基于所述全局目标函数L_all，采用预处理后的人脸图像数据集X对所述改进深度卷积生成对抗网络进行训练，直到双判别网络无法判断输入图像的真假时，得到最优网络模型，并输出合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}；其中，s′_i表示第i张人脸图像x_i输出的最优合成图像；

步骤3、构建表情分类网络，并使用带表情标签的人脸表情数据集进行训练：

步骤3.1、获取带表情标签的人脸表情图像数据集并分别裁剪成尺寸M×M的表情图像，得到裁剪后的表情数据集记为Y＝{y₁,y₂,...,y_j,...,y_T}，其中，y_j表示第j张裁剪后的表情图像，j＝1,2,...,T，T为裁剪后的数据集中图像的总数；

步骤3.2、构建由K个卷积层和v个全连接层构成的表情分类网络；

其中，K个卷积层中的前k个卷积层后设置有平均池化层，后K-k个卷积层后设置最大池化层；各个全连接层之间设置有dropout层；

将维度为M×M的第j张裁剪后的表情图像y_j输入所述表情分类网络中并输出F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}；其中，R_j,t表示第j张裁剪后的表情图像y_j输出的第t个预测值；

将F个预测值{R_j,1,R_j,2,...,R_j,t,...,R_j,F}输入Softmax分类器中转换为对应的概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}；其中，Q_j,t表示第t个预测值R_j,t的概率分布；

选取概率分布{Q_j,1,Q_j,2,...,Q_j,t,...,Q_j,F}中最大值所对应的表情标签作为第j张裁剪后的表情图像y_j的人脸表情识别结果；

步骤4、将改进深度卷积生成对抗网络输出的合成人脸图像S＝{s′₁,s′₂,...,s′_i,...,s′_N}与预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}进行融合后作为训练后的表情分类网络的输入，并由所述训练后的表情分类网络输出分类结果，并将分类结果作为预处理后的人脸图像数据集X＝{x₁,x₂,...,x_i,...,x_N}的人脸表情识别结果。

Images