CN110119702A - 基于深度学习先验的人脸表情识别方法 - Google Patents

Abstract

本发明基于深度学习先验的人脸表情识别方法，通过先使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测，后对人脸图像I进行关键点定位、计算人脸旋转角度θ、人脸图像I逆向旋转得到人脸正面图像I1，接着对人脸正面图像I1进行剪切得到人脸图像I2，重复此过程得到数据集E，然后将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络，最后将得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。本发明通过对人脸面部标准化处理以及更深层的网络训练，使得识别过程更加稳定可靠。

Description

基于深度学习先验的人脸表情识别方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习先验的人脸表情识别方法。

背景技术

人类面部行为是人类之间情感交流的最重要渠道之一，其所携带的情感信息可以被视觉感官直接接收和翻译，因此可以从人类面部行为了解一个人的心理状态和社会行为。因此在人与物或物与物之间交流时，如果物体能够模拟出人脸表情来表达自身情感，无疑会使人类和物体之间的差距缩短，加快信息的传递速度。

由于面部行为在人机交互方面的巨大潜力，近年来引起越来越多研究者的关注。对于面部行为大多数研究者采用面部表达类别和面部动作编码系统作为描述方式。对于面部表达类别，经常使用的面部表达类别是Ekman提出的六个基本类别(即愤怒，厌恶，恐惧，快乐，悲伤和惊讶)；但是到目前为止，还没有确定的完整表达类别用以实现。与表达类别不同，面部动作编码系统(FACS)仅描述了几种有限的面部行为，将面部行为描述为面部动作单元(AU)的组合，每个动作单元均与一组人脸面部肌肉的收缩相关，因此，FACS能够描述人类所有的面部行为，近年来研究者几乎都采用了面部动作编码系统(FACS)，但是往往获得的人脸面部动作单元稳定性较差，识别效果差。

发明内容

本发明的目的是提供一种基于深度学习先验的人脸表情识别方法，解决了现技术中存在的面部识别稳定性差、识别率不高的问题。

本发明所采用的技术方案是基于深度学习先验的人脸表情识别方法，具体按照以下步骤实施：

步骤1：使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测；

步骤2：对步骤1中检测到的人脸图像I进行关键点定位；

步骤3：根据步骤2中定位之后的关键点计算人脸旋转角度θ，并根据旋转角度θ对人脸图像I进行逆向旋转，得到人脸正面图像I1；

步骤4：对步骤3得到的人脸正面图像I1进行二次检测，得到人脸左上角和右下角的坐标，并根据坐标对人脸正面图像I1进行剪切，得到人脸图像I2，并保存人脸图像I2；

步骤5：重复步骤1-4得到数据集E，将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络；

步骤6：将步骤5得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。

本发明的特点还在于：

步骤2关键点为5个关键点，分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or。

步骤3的人脸旋转角度θ具体计算过程如下：

其中，(x₁₁，y₁₁)，(x₁₂，y₁₂)，(x₂₁，y₂₁)，(x₂₂，y₂₂)分别表示El、Er、Ol、Or的坐标。

步骤5深度网络训练的具体过程如下：

步骤5.1：从数据集中读取若干幅图像记为Ins，将Ins中的每幅图像重置成大小为224*224得到图像集Ins1，并将网络中所有参数进行随机初始化；

步骤5.2：对于Ins1中所有图像进行卷积与最大池化处理，获得处理之后的特征图像A62；

步骤5.3：将5.2中得到的特征图像A62重置为25088×1的特征序列N7，使用维度为25088×2048的权重矩阵W₇和维度为2048×1的偏置矩阵b₇分别与特征序列N7计算可得维度为2048×1的特征序列N8，特征序列N8通过LeakyRelu激活函数得到特征矩阵A8，维度为2048×28的使用权重矩阵W₈和维度为28×1的偏置矩阵b₈分别与特征矩阵A8作运算可得到维度为28×1的特征矩阵N9，使用sigmoid函数激活特征矩阵N9得到网络输出A9，此时，A9表示人脸面部动作单元识别网络对标签；

其中N9、N8计算公式为：

Q＝(w^T*Q′)+b

其中，w为权重矩阵的转置，b表示偏置矩阵，Q网络下一层的输入，Q′为网络上一层的输入，T为网络个数；

sigmoid计算公式为：

其中A_j表示输出A9的第j个元素，n_k表示N9的第k个元素；

步骤5.4：使用多标签交叉信息熵作为损失函数，并通过批处理梯度下降法最优化步骤5.3得到的预测的人脸面部动作单元AUII的对标签，获得人脸面部动作单元识别网络。

步骤5.2的卷积过程如下：

步骤5.2.1：使用32个大小为3行3列的卷积核W₁对Ins1进行步长为1的卷积操作，得到特征图Z1，使用LeakyRelu函数激活Z1，得到结果A1，其中卷积的公式如下：

其中i＝1，...，m，j＝1，...，n，表示图像像素下标，k＝1，...，s，表示第k个卷积核，f(x，y)表示x，y处的像素值，w_k表示卷积核，Z_k为第k个卷积核卷积操作得到的特征图；

LeakyRelu函数公式为：

其中α取0.001，x为特征图Z1中的任一个单元的值，A为特征图Z1经过激活函数的输出。

步骤5.2的最大池化过程如下：

步骤5.2.2：将5.1.1中得到的A1进行最大池化操作，选取池化过滤大小为2*2，步长为2，得到操作后结果为P1，最大池化公式为：

其中r和c为池化过滤的行和列的长度，i′，j′为对应池化后的结果P中的下标，i，j指池化前的特征图的下标；

步骤5.2.3：将步骤5.2.2中得到的P1分别使用如下结构做处理：

对P1经过1次卷积和1次最大池化操作作为输入，再进行3次卷积和1次最大池化操作，接着进行3次卷积和1次最大池化操作，后进行5次卷积和1次最大池化操作，最后进行2次卷积操作得到特征图A62。

步骤6的识别具体过程如下：

通过步骤5中得到的人脸面部动作单元识别网络作为输出值和表情先验人脸面部动作单元序列，计算可得是否包含面部表情，使用如下公式计算是否包含人脸基本表情：

其中，p_c表示人脸面部动作单元识别网络输出值，λ_c表示表情先验人脸面部动作单元序列，Ec＝1，表示包含d类表情，反之没有包含。

d类表情包括高兴、悲伤、惊讶、恐惧、愤怒、厌恶。

本发明的有益效果是：本发明一种基于深度学习先验的人脸表情识别方法通过识别人脸面部动作单元，进行先验表情判别从而识别出表情。需要判别新的表情时，通过对新表情的面部动作单元的划分，只添加判别新的判别规则，无需重新更改网络结构，同时，本发明一种基于深度学习先验的人脸表情识别方法通过对人脸面部标准化处理以及更深层的网络训练，使得识别过程更加稳定可靠。

附图说明

图1是本发明基于深度学习先验的人脸表情识别方法的流程图；

图2是需要识别的六种表情示例图像；

图3是本发明进行深度网络训练中的部分图像；

图4是任意一张人脸图像；

图5是针对图4进行一次检测的人脸图像；

图6是针对图5的关键点定位的人脸图像；

图7是针对图6逆向旋转后的人脸图像；

图8是针对图7剪切后的人脸图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于深度学习先验的人脸表情识别方法，如图1所示，具体按照以下步骤实施：

步骤1：使用带人脸面部动作单元标记的数据集CK+，对于其中每一幅图像I进行人脸检测；

具体为：将待检测的彩色图像转换为灰度图像I_gray，然后将灰度图像I_gray输入人脸检测器进行检测。RGB转换灰度图像公式为：

其中I_r、I_g、I_b分别为彩色图像的RGB三通道。

步骤2：对步骤1中检测到的人脸图像I进行关键点定位；

其中，可以使用DCNN作为人脸关键点检测器，，DCNN检测人脸5个关键点，分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or；

步骤3：根据步骤2中定位之后的关键点计算人脸旋转角度θ，并根据旋转角度θ对人脸图像I进行逆向旋转，得到人脸正面图像I1；

其中，人脸旋转角度θ具体计算过程如下：

其中，(x₁₁，y₁₁)，(x₁₂，y₁₂)，(x₂₁，y₂₁)，(x₂₂，y₂₂)分别表示El、Er、Ol、Or的坐标；

步骤4：对步骤3得到的人脸正面图像I1进行二次检测，得到人脸左上角和右下角的坐标，并根据坐标对人脸正面图像I1进行剪切，得到人脸图像I2，并保存人脸图像I2；

步骤5：重复步骤1-4得到数据集E，将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络；

其中，深度网络训练的具体过程如下：

步骤5.1：从数据集中读取若干幅图像记为Ins，将Ins中的每幅图像重置成大小为224*224得到图像集Ins1，并将网络中所有参数进行随机初始化；

步骤5.2：对于Ins1中所有图像进行卷积与最大池化处理，获得处理之后的特征图像A62；

卷积和最大池化处理过程按照表I进行：

表1卷积网络结构表

其中，M为图像长度，N为图像宽度，选取M与N的范围均为112-448mm以内，优选224mm。

步骤5.2.1：使用32个大小为3行3列的卷积核W₁对Ins1进行步长为1的卷积操作，得到特征图Z1，使用LeakyRelu函数激活Z1，得到结果A1，其中卷积的公式如下：

其中i＝1，...，m，j＝1，...，n，表示图像像素下标，k＝1，...，s，表示第k个卷积核，f(x，y)表示x，y处的像素值，w_k表示卷积核，Z_k为第k个卷积核卷积操作得到的特征图；

LeakyRelu函数公式为：

其中α取0.001，x为特征图Z1中的任一个单元的值，A为特征图Z1经过激活函数的输出；

步骤5.2.2：将5.1.1中得到的A1进行最大池化操作，选取池化过滤大小为2*2，步长为2，得到操作后结果为P1，最大池化公式为：

其中r和c为池化过滤的行和列的长度，i′，j′为对应池化后的结果P中的下标，i，j指池化前的特征图的下标；

步骤5.2.3：将步骤5.2.2中得到的P1分别使用如下结构做处理：

对P1经过1次卷积(卷积核大小为64*3*3)和1次最大池化(池化大小为2*2，步长为2)操作作为输入，再进行3次卷积(卷积核大小分别为128*3*3、64*1*1、128*3*3)和1次最大池化(池化大小为2*2，步长为2)操作，接着进行3次卷积(卷积核大小分别为256*3*3、128*1*1、256*3*3)和1次最大池化(池化大小为2*2，步长为2)操作，后进行5次卷积(卷积核大小分别为512*3*3、256*1*1、512*3*3、256*1*1、512*3*3)和1次最大池化(池化大小为2*2，步长为2)操作，最后进行2次卷积(卷积核大小分别为1024*3*3、512*1*1)操作得到特征图A62；

步骤6：将步骤5得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别：

通过步骤5中得到的人脸面部动作单元识别网络作为输出值和表情先验人脸面部动作单元序列，计算可得是否包含面部表情，使用如下公式计算是否包含人脸基本表情：

其中，p_c表示人脸面部动作单元识别网络输出值，λ_c表示表情先验人脸面部动作单元序列，Ec＝1，表示包含d类表情，反之没有包含，其中，d类表情包括高兴、悲伤、惊讶、恐惧、愤怒、厌恶。

其中，需要识别的六种表情示例图像如图2所示，进行深度网络训练中的部分图像如如图3所示，任意一张人脸图像如如图4所示，针对图4进行一次检测的人脸图像如如图5所示，针对图5的关键点定位的人脸图像如图6所示，针对图6逆向旋转后的人脸图像如图7所示，针对图7剪切后的人脸图像如图8所示。

步骤6中人脸表情识别结果如下表II：

表II识别结果

其中：面部动作单元(AU)组合中的各数值分别表示人脸面部动作单元识别网络输出值。

本发明基于深度学习先验的人脸表情识别方法，通过先使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测，后对人脸图像I进行关键点定位、计算人脸旋转角度θ、人脸图像I逆向旋转得到人脸正面图像I1，接着对人脸正面图像I1进行剪切得到人脸图像I2，重复此过程得到数据集E，然后将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络，最后将得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。本发明通过对人脸面部标准化处理以及更深层的网络训练，使得识别过程更加稳定可靠。

Claims (8)

1.基于深度学习先验的人脸表情识别方法，其特征在于，具体按照以下步骤实施：

步骤1：使用带人脸面部动作单元标记的数据集CK+，对于其中每一幅图像I进行人脸检测；

步骤2：对步骤1中检测到的人脸图像I进行关键点定位；

步骤3：根据步骤2中定位之后的关键点计算人脸旋转角度θ，并根据旋转角度θ对人脸图像I进行逆向旋转，得到人脸正面图像I1；

步骤4：对步骤3得到的人脸正面图像I1进行二次检测，得到人脸左上角和右下角的坐标，并根据坐标对人脸正面图像I1进行剪切，得到人脸图像I2，并保存人脸图像I2；

步骤5：重复步骤1-4得到数据集E，将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络；

步骤6：将步骤5得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。

2.根据权利要求1所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤2关键点为5个关键点，分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or。

3.根据权利要求2所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤3的人脸旋转角度θ具体计算过程如下：

其中，(x₁₁，y₁₁)，(x₁₂，y₁₂)，(x₂₁，y₂₁)，(x₂₂，y₂₂)分别表示El、Er、Ol、Or的坐标。

4.根据权利要求1所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤5深度网络训练的具体过程如下：

步骤5.1：从数据集中读取若干幅图像记为Ins，将Ins中的每幅图像重置成大小为224*224得到图像集Ins1，并将网络中所有参数进行随机初始化；

步骤5.2：对于Ins1中所有图像进行卷积与最大池化处理，获得处理之后的特征图像A62；

步骤5.3：将5.2中得到的特征图像A62重置为25088×1的特征序列N7，使用维度为25088×2048的权重矩阵W₇和维度为2048×1的偏置矩阵b₇分别与特征序列N7计算可得维度为2048×1的特征序列N8，特征序列N8通过LeakyRelu激活函数得到特征矩阵A8，维度为2048×28的使用权重矩阵W₈和维度为28×1的偏置矩阵b₈分别与特征矩阵A8作运算可得到维度为28×1的特征矩阵N9，使用sigmoid函数激活特征矩阵N9得到网络输出A9，此时，A9表示人脸面部动作单元识别网络的对标签；

其中N9、N8计算公式为：

Q＝(w^T*Q′)+b

其中，w为权重矩阵的转置，b表示偏置矩阵，Q网络下一层的输入，Q′为网络上一层的输入，T为网络个数；

sigmoid计算公式为：

其中A_j表示输出A9的第j个元素，n_k表示N9的第k个元素；

步骤5.4：使用多标签交叉信息熵作为损失函数，并通过批处理梯度下降法最优化步骤5.3得到的人脸面部动作单元识别网络对标签，获得人脸面部动作单元识别网络。

5.根据权利要求4所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤5.2的卷积过程如下：

步骤5.2.1：使用32个大小为3行3列的卷积核W₁对Ins1进行步长为1的卷积操作，得到特征图Z1，使用LeakyRelu函数激活Z1，得到结果A1，其中卷积的公式如下：

其中i＝1，...，m，j＝1，...，n，表示图像像素下标，k＝1，...，s，表示第k个卷积核，f(x，y)表示x，y处的像素值，w_k表示卷积核，Z_k为第k个卷积核卷积操作得到的特征图；

LeakyRelu函数公式为：

其中α取0.001，x为特征图Z1中的任一个单元的值，A为特征图Z1经过激活函数的输出。

6.根据权利要求5所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤5.2的最大池化过程如下：

步骤5.2.2：将5.1.1中得到的A1进行最大池化操作，选取池化过滤大小为2*2，步长为2，得到操作后结果为P1，最大池化公式为：

其中r和c为池化过滤的行和列的长度，i′，j′为对应池化后的结果P中的下标，i，j指池化前的特征图的下标；

步骤5.2.3：将步骤5.2.2中得到的P1分别使用如下结构做处理：

对P1经过1次卷积和1次最大池化操作作为输入，再进行3次卷积和1次最大池化操作，接着进行3次卷积和1次最大池化操作，后进行5次卷积和1次最大池化操作，最后进行2次卷积操作得到特征图A62。

7.根据权利要求1所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述步骤6的识别具体过程如下：

通过步骤5中得到的人脸面部动作单元识别网络作为输出值和表情先验人脸面部动作单元序列，计算可得是否包含面部表情，使用如下公式计算是否包含人脸基本表情：

其中，p_c表示人脸面部动作单元识别网络输出值，λ_c表示表情先验人脸面部动作单元序列，Ec＝1，表示包含d类表情，反之没有包含。

8.根据权利要求7所述的基于深度学习先验的人脸表情识别方法，其特征在于，所述d类表情包括高兴、悲伤、惊讶、恐惧、愤怒、厌恶。