CN111178312B - 基于多任务特征学习网络的人脸表情识别方法 - Google Patents

Abstract

本发明提供了一种基于多任务特征学习网络的人脸表情识别方法。首先，对数据集中的数据进行人脸检测及裁剪，再进行LDP和HOG手工特征处理，分别得到深度学习网络的输入数据集；然后，分别以原始图像、LDP、HOG图像作为多任务特征学习网络模型中三个子网络的输入，进行网络训练；最后，利用训练好的网络对图像进行人脸识别，得到人脸表情所属类别。由于本发明基于三个并行的卷积神经网络，构建出多任务特征学习网络模型，提取更丰富的人脸表情信息，降低了无关特征对表情识别的干扰从而导致表情错判的风险，提高人脸表情识别的可靠性，实现了对人脸表情的高效识别。

Description

基于多任务特征学习网络的人脸表情识别方法

技术领域

本发明属人脸表情识别技术领域，具体涉及一种基于多任务特征学习网络的人脸表情识别方法。

背景技术

在人脸表情识别系统中，表情特征提取是确保表情正确识别的关键。而传统的手工特征提取方法需要耗费大量的时间和人力，并且无法过滤与表情无关的其他特征，对识别结果造成干扰。而基于深度学习网络的人脸表情识别自动提取高层抽象特征，无需大量资源浪费就可以得到较高的性能。

文献“Yang,Biao,et al."Facial Expression Recognition using WeightedMixture Deep Neural Network Based on Double-channel Facial Images."IEEEAccess(2017):1-1.”公开了一种基于深度学习网络的人脸表情识别方法，该方法提出了一个双分支网络。首先，对原始数据库中的图像进行人脸检测和裁剪等预处理操作，在预处理后的图像中提取局部二值模式(Local Binary Pattern，LBP)手工特征；然后，将原始图像输入到部分VGG16网络中，而将经LBP处理后的图像输入到一个浅层卷积神经网络中；最后，将两分支的权重进行融合并分类成六种基本表情。但是，该方法存在以下问题：首先，LBP描述子只考虑中心像素与相邻像素之间的大小关系，描述的特征较为单一；其次，使用经典的浅层网络虽然能够提取到一些表情相关的特征，但也会忽略一些高层特征，无法更完整的提取所需的表情信息，对人脸表情识别系统的性能造成影响。

发明内容

为了克服现有基于深度学习网络的人脸表情识别方法表情信息提取不足、表情识别准确率低的不足，本发明提供一种基于多任务特征学习网络的人脸表情识别方法。首先，对数据集中的数据进行人脸检测及裁剪，再进行LDP和HOG手工特征处理，分别得到深度学习网络的输入数据集；然后，分别以原始图像、LDP、HOG图像作为多任务特征学习网络模型中三个子网络的输入，进行网络训练；最后，利用训练好的网络对图像进行人脸识别，得到人脸表情所属类别。由于本发明基于三个并行的卷积神经网络，构建出多任务特征学习网络模型，提取更丰富的人脸表情信息，降低了无关特征对表情识别的干扰从而导致表情错判的风险，提高人脸表情识别的可靠性，实现了对人脸表情的高效识别。

一种基于多任务特征学习网络的人脸表情识别方法，其特征在于步骤如下：

步骤1：对公开的人脸表情数据集CK+，按照其已经标定好的人脸68个基准点，采用AdaBoost算法对数据集中所有图像进行人脸检测，再利用基于基准点的最小外接矩形框进行人脸裁剪，裁剪后的所有图像构成实验用人脸图像数据集；然后，对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°，所有旋转前和旋转后图像共同构成训练用原始图像数据集；对训练数据集中的每一幅图像采用LDP方法进行特征提取，得到训练用LDP特征数据集，对练数据集中的每一幅图像采用HOG方法进行特征提取，得到训练用HOG特征数据集；

步骤2：将训练用原始图像数据集输入到密集连接卷积神经网络，将训练用LDP特征数据集输入到浅层卷积神经网络一，将训练用HOG特征数据集输入到浅层卷积神经网络二，三个网络的输出分别转换为一维向量并连接后输入到一个全连接层，再经softmax分类器得到网络输出，即预测类别的准确率；设定网络的损失函数为交叉熵函数，采用随机梯度下降法进行网络训练，训练次数为200，得到训练好的多输入单输出的多任务特征学习网络；

所述的密集卷积神经网络包含3个顺序连接的密集块，每一个密集块包含12层网络，每一层卷积核大小为3×3，步长为1，激活函数为ReLU，每一层的输出直接作为下一层的输入，除最后一个密集块后接步长为2的全局平均池化以外，其余两个密集块后都接步长为2的平均池化；

所述的浅层卷积神经网络一包含10层卷积层和5层最大池化层，每层卷积层的卷积核大小为3×3，步长为1，激活函数为ReLU，每两层卷积层后接一层步长为2的最大池化层，每一层的输出直接作为下一层的输入；

所述的浅层卷积神经网络二包含13层卷积层和5层最大池化层，每层卷积层的卷积核大小为3×3，步长为1，激活函数为ReLU；以最大池化层为界分为五个部分，前两个部分的结构是每两层卷积层后接一层步长为2的最大池化，后个三部分的结构是每三层卷积层后接一层步长为2的最大池化；每一层的输出直接作为下一层的输入；

步骤3：将待识别人脸表情图像输入到训练好的多任务特征学习网络中，得到表情所属类别，完成图像的人脸表情识别。

特别地，步骤1中所述的LDP方法特征提取具体过程如下：

对图像上的每一个像素点，其坐标记为(x,y)，选取以该像素点为中心，大小为3×3的邻域块，按下式计算得到该邻域块第i个方向的梯度值m_i：

其中，i为方向序号，i＝0,…,7，m_i表示该3×3邻域块在第i个方向上的边缘梯度值，a为像素横坐标序号，b为像素纵坐标序号，I表示像素灰度值，M_i表示计算i方向梯度的Kirsch模板；

按照下式计算得到该像素点的LDP特征值：

其中，m_k是第k个最大的边缘梯度值，k的可取值范围为1到7；

按照上述过程计算得到图像中每个像素点的LDP特征值，以所有像素点的LDP特征值为像素值，即得到该图像的LDP特征图像。

步骤1中所述的HOG方法特征提取具体过程如下：

将图像看成基于每个像素横、纵坐标的二维离散函数，对该二维离散函数求导，得到图像中每个像素的梯度，再将整幅图像分割成若干4×4大小的不重叠区域，每个4×4区域记为一个cell，统计每个cell的梯度方向直方图作为该cell的特征描述子，将每2×2个连续的cell组成一个块，将每个块内的所有cell的特征描述子进行归一化处理后得到归一化直方图向量，将图像内所有块的直方图向量串联，得到整幅图像的HOG特征。

本发明的有益效果是：由于采用了经LDP和HOG手工特征处理的图像与原始图像一起作为深度神经网络的输入，充分考虑了图像的方向和梯度信息；由于基于三个不同的深度卷积神经网络构建了多任务特征学习网络模型，能够提取更丰富的人脸表情信息，有效地避免无关特征对表情识别的干扰，提高人脸表情识别的可靠性。

具体实施方式

下面结合实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供了一种基于多任务特征学习网络的人脸表情识别方法，其具体实现过程如下：

1、数据预处理和手工特征提取

本发明采用国际上公开发布的人脸表情数据集CK+为基础数据集，该数据集包含118个不同个体的981幅包含愤怒、厌恶、恐惧、快乐、悲伤和惊讶6种表情的人脸图像，并且，已经标定好人脸的68个基准点。

由于数据集包含的图像数量不足以提供深度学习网络训练所需的大量数据，因此，本发明首先采用图片旋转和随机裁剪的方法来增加图片数量。具体包括：首先，采用文献“Viola P,Jones M."Robust Real Time Object Detection."Proceedings of 2^ndInternational Workshop on Statistical and Computational Theories of Vision,2001”中的AdaBoost算法对CK+数据集中的每一幅图像进行人脸检测，并进一步基于基准点的最小外接矩形框进行人脸裁剪操作，得到实验所用的人脸图像数据集。然后，对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°，所有旋转前后的图像共同构成训练用原始图像数据集。

由于传统手工特征在描述局部纹理形状时具有很大的优越性，本发明在原始图像数据集的基础上分别提取局部方向模式(Local Directional Pattern，LDP)和方向梯度直方图(Histogram of Oriented Gradient，HOG)特征共同作为深度学习网络的输入。

LDP特征提取具体过程如下：

对图像上的每一个像素点，其坐标记为(x,y)，选取以该像素点为中心，大小为3×3的邻域块，将该邻域块的灰度值与8个Kirsch模板相乘得到相应方向的梯度值(m₀,...,m₇)：

其中，i为方向序号，i＝0,…,7，m_i表示该3×3邻域块在第i个方向上的边缘梯度值，a为像素横坐标序号，b为像素纵坐标序号，I表示像素灰度值，M_i表示计算i方向梯度的Kirsch模板。

然后，选择k个最重要的梯度值进行LDP编码，前k大的梯度值对应的二进制位置编码为1，其余(8-k)位编码为0，得到一个8位的二进制编码，本实施例选取k＝3。再将此二进制编码转换为一个十进制值，即得到该像素点的LDP特征值。

因此，对于一个像素点，其LDP特征值计算公式表示为：

其中，m_k是第k个最大的边缘梯度值。

以图像中所有像素点的LDP特征值为像素值，即得到该图像的LDP特征图像。

HOG描述子表示的是边缘梯度的结构特征。给定图像I，将整幅图像分割成小的连接区域，称为cell，统计每个cell的梯度直方图即可形成每个cell的描述子，然后将每几个cell组成一个block，串联每个cell中的特征描述子即可得到该block的HOG特征描述子，串联所有block的特征描述子即可得到图像I的HOG特征。本实施例设定每个cell的像素大小为4×4，每个block中有2×2个cell。

2、构建和训练多任务特征学习网络

本发明的多任务特征学习网络由三个子网络、一个全连接层和softmax分类器组成。基于现有的经典卷积神经网络，充分利用各种网络的优势，构建出具有三个并行子网的多任务特征学习网络，每个子任务网络提取不同的人脸表情特征，再将每个子网络输出的特征聚合后输入到一个全连接层进行特征融合，在全连接层后基于经典softmax分类器判定表情类别。

三个子网络分别为：密集连接卷积神经网络、浅层卷积神经网络一和浅层卷积神经网络二。将训练用原始图像数据集中的图像输入到密集连接卷积神经网络，经LDP特征提取后的图像输入到浅层卷积神经网络一，经HOG特征提取后的图像输入到浅层卷积神经网络二。

密集卷积神经网络包含3个顺序连接的密集块，每一个密集块包含12层网络，每一层卷积核大小为3×3，步长为1，每一层的激活函数为ReLU，以提取原始图像中更完整更深层次的特征。除了网络中的全局平均池化层外，其余的池化层都是步长为2，核大小为2×2的平均池化。网络的每一层直接与前面层相连，即每一层的输出直接作为下一层的输入，使每一层都可以从之前的层中获取信息，减轻了深层网络普遍存在的梯度消失和梯度弥散的问题。另外，每一层的特征都穿比到后续层，实现了特征重用，减少了不必要的计算量。

浅层卷积神经网络一包含10层卷积层和5层最大池化层，每层卷积层的卷积核大小为3×3，步长为1，激活函数为ReLU，每层最大池化层的步长为2，核大小为2×2。每两层卷积层后接一层步长为2的最大池化层，每一层的输出直接作为下一层的输入。因此以最大池化层为界分为五个部分。

浅层卷积神经网络二包含13层卷积层和5层最大池化层，每层卷积层和池化层的参数同浅层卷积神经网络一。浅层卷积神经网络二和浅层卷积神经网络一都以最大池化层为界分为五个部分，但是每部分的卷积层个数略有不同。浅层卷积神经网络二的前两部分的结构为：每两层卷积层后接一层步长为2的最大池化；后三部分的结构为：每三层卷积层后接一层步长为2的最大池化，每一层的输出直接作为下一层的输入。

将每一个子网络输出的多维向量平铺为一维向量，记为V₁、V₂和V₃，便于特征融合。将V₁、V₂和V₃连接得到聚合后的特征向量V_c，具体表达式为：

将聚合后的特征向量V_c送入全连接层中进行特征融合，再经分类器，判定表情类别。本发明采用softmax作为分类器，计算公式为：

其中，S_i表示第i类的softmax预测值，i和j均为类别序号。

在进行表情类别预测时，每一个类别都对应一个小于1的计算值，且总和为1，最大计算值所对应的类别则为预测类。将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的人脸表情图像数量占图像总数量的比例，输出即为本次训练的多任务特征学习网络的准确率。采用损失函数来计算预测错误类别的损失，本发明设定网络的损失函数为交叉熵函数Loss，函数定义为：

其中，M表示类别数量，c表示类别序号，y_c表示真实标签，p_c表示softmax的输出。本发明的网络参数都通过反向传播使用随机梯度下降法进行更新使损失不断减少，直至达到设定的最大训练次数200次，得到训练好的多输入单输出的多任务特征学习网络。

3、人脸表情识别

将待识别人脸表情图像输入到训练好的多任务特征学习网络中，输出为愤怒、厌恶、恐惧、快乐、悲伤和惊讶6种表情类别之一，即该待识别人脸表情图像的表情所属类别，从而完成图像的人脸表情识别。

本发明的基于多任务特征学习网络的人脸表情识别方法，由于经LDP和HOG手工特征处理的图像，充分考虑了图像的方向和梯度信息，将其与原始图像一起作为深度神经网络的输入，基于三个不同的深度卷积神经网络，构建多任务特征学习网络模型，提取更丰富的人脸表情信息，有效的避免了无关特征对表情识别的干扰，提高人脸表情识别的可靠性。本发明对人脸六种基本表情的识别率高达98.44％，相比于背景技术中文献方法的识别率97.02％具有显著的优越性。

Claims (3)

1.一种基于多任务特征学习网络的人脸表情识别方法，其特征在于步骤如下：

步骤1：对公开的人脸表情数据集CK+，按照其已经标定好的人脸68个基准点，采用AdaBoost算法对数据集中所有图像进行人脸检测，再利用基于基准点的最小外接矩形框进行人脸裁剪，裁剪后的所有图像构成实验用人脸图像数据集；然后，对人脸图像数据集中的图像分别顺时针旋转15°、30°、45°、60°和75°，所有旋转前和旋转后图像共同构成训练用原始图像数据集；对训练数据集中的每一幅图像采用LDP方法进行特征提取，得到训练用LDP特征数据集，对练数据集中的每一幅图像采用HOG方法进行特征提取，得到训练用HOG特征数据集；

步骤2：将训练用原始图像数据集输入到密集连接卷积神经网络，将训练用LDP特征数据集输入到浅层卷积神经网络一，将训练用HOG特征数据集输入到浅层卷积神经网络二，三个网络的输出分别转换为一维向量并连接后输入到一个全连接层，再经softmax分类器得到网络输出，即预测类别的准确率；设定网络的损失函数为交叉熵函数，采用随机梯度下降法进行网络训练，训练次数为200，得到训练好的多输入单输出的多任务特征学习网络；

所述的密集卷积神经网络包含3个顺序连接的密集块，每一个密集块包含12层网络，每一层卷积核大小为3×3，步长为1，激活函数为ReLU，每一层的输出直接作为下一层的输入，除最后一个密集块后接步长为2的全局平均池化以外，其余两个密集块后都接步长为2的平均池化；

所述的浅层卷积神经网络一包含10层卷积层和5层最大池化层，每层卷积层的卷积核大小为3×3，步长为1，激活函数为ReLU，每两层卷积层后接一层步长为2的最大池化层，每一层的输出直接作为下一层的输入；

所述的浅层卷积神经网络二包含13层卷积层和5层最大池化层，每层卷积层的卷积核大小为3×3，步长为1，激活函数为ReLU；以最大池化层为界分为五个部分，前两个部分的结构是每两层卷积层后接一层步长为2的最大池化，后个三部分的结构是每三层卷积层后接一层步长为2的最大池化；每一层的输出直接作为下一层的输入；

步骤3：将待识别人脸表情图像输入到训练好的多任务特征学习网络中，得到表情所属类别，完成图像的人脸表情识别。

2.如权利要求1所述的一种基于多任务特征学习网络的人脸表情识别方法，其特征在于：所述的LDP方法特征提取具体过程如下：

对图像上的每一个像素点，其坐标记为(x,y)，选取以该像素点为中心，大小为3×3的邻域块，按下式计算得到该邻域块第i个方向的梯度值m_i：

其中，i为方向序号，i＝0,…,7，m_i表示该3×3邻域块在第i个方向上的边缘梯度值，a为像素横坐标序号，b为像素纵坐标序号，I表示像素灰度值，M_i表示计算i方向梯度的Kirsch模板；

按照下式计算得到该像素点的LDP特征值：

其中，m_k是第k个最大的边缘梯度值，k的可取值范围为1到7；

按照上述过程计算得到图像中每个像素点的LDP特征值，以所有像素点的LDP特征值为像素值，即得到该图像的LDP特征图像。

3.如权利要求1所述的一种基于多任务特征学习网络的人脸表情识别方法，其特征在于：所述的HOG方法特征提取具体过程如下：

将图像看成基于每个像素横、纵坐标的二维离散函数，对该二维离散函数求导，得到图像中每个像素的梯度，再将整幅图像分割成若干4×4大小的不重叠区域，每个4×4区域记为一个cell，统计每个cell的梯度方向直方图作为该cell的特征描述子，将每2×2个连续的cell组成一个块，将每个块内的所有cell的特征描述子进行归一化处理后得到归一化直方图向量，将图像内所有块的直方图向量串联，得到整幅图像的HOG特征。