CN111652171B - 一种基于双分支网络的面部表情识别模型的构建方法 - Google Patents

Abstract

本发明公开了一种基于双分支网络的面部表情识别模型的构建方法，包括：S1，样本集预处理并数值化；S2，样本集划分为训练集和测试集；S3，构建双分支网络；S4，定义目标函数；S5，利用训练集训练所述双分支网络得到面部表情识别模型；S6，利用测试集验证所述面部表情识别模型的准确率。本发明通过构建双分支网络分别对脸部区域图像和眉眼区域图像进行特征提取和分类，以解某些特定因素的影响导致脸部的表情差异较大而降低识别率，以及单一卷积神经网络不能充分利用表情变换蕴含的时间序列信息造成资源浪费的问题。

Description

一种基于双分支网络的面部表情识别模型的构建方法

技术领域

本发明涉及基于人工智能的人脸识别技术领域，尤其是一种基于双分支网络的面部表情识别模型的构建方法。

背景技术

随着人工智能的迅猛发展，给人们生活带来了诸多的便利，其在人脸表情识别领域的应用日趋成熟。但是仍然面临地区差异性、个体差异性、视觉差异性、遮挡、角度等诸多难题。为处理以上难题，目前普遍采用深度神经网络方法进行主机入侵检测。卷积神经网络在面部表情识别任务上取得了很好的成果，但是仍然存在以下问题：

一、由于不同区域的人类个体受到某些特定因素的影响，其脸部的表情差异较大，对于少量样本训练得到的模型，识别正确率较低，误报率较高；

二、表情是一个动态变化的过程，卷积神经网络不能充分利用表情变化蕴含的时间序列信息，造成资源的浪费。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于双分支网络的面部表情识别模型的构建方法。

本发明采用的技术方案如下：

一种基于双分支网络的面部表情识别模型的构建方法，包括：

S1，样本集预处理并数值化；

S2，样本集划分为训练集和测试集；

S3，构建双分支网络；

S4，定义目标函数；

S5，利用训练集训练所述双分支网络得到面部表情识别模型；

S6，利用测试集验证所述面部表情识别模型的准确率。

进一步地，步骤S1包括如下子步骤：

S11，对表情图像序列进行人脸对齐，提取人脸68个面部特征点位置；

S12，根据所述68个面部特征点位置，将表情图像序列中连续16帧表情图像裁剪出脸部区域图像，并把16帧裁剪出的脸部区域图像作为一个样本的 A部分；同时，选取裁剪后的16帧表情图像中的表情峰值图像帧，通过对所述68个面部特征点的相对位置进行比较裁剪出眉眼区域图像，并把所述眉眼区域图像作为一个样本的B部分；

S13，分别对所述A部分和B部分通过resize操作进行尺寸变换，使图像大小一致；

S14，对经过尺寸变换后的A部分和B部分通过Scikit-image图像处理包读取：

S141，将A部分的16帧裁剪出的脸部区域图像转化为具有16个元素的列表，以及将B部分的眉眼区域图像转化为具有1个元素的列表，并将A部分和B部分分别以A、B作为key值，对应的所述列表作为value值，组成字典形式的数据；将该字典形式数据添加至表情属性列表X中；

S142，根据A部分和B部分对应的表情类别，构建1X7的一维矩阵，该一维矩阵的列从左到右分别对应愤怒、厌恶、恐惧、高兴、伤心、惊讶、中性，然后将对应表情实际识别类别的列的值设为1，其余列的值设为0，最后将一维矩阵添加至表情标签列表Y中；

S143，经过S141和S142的数值化，每个样本由表情属性列表X以及对应的表情标签列表Y构成，其中，表情属性列表X包含了A部分和B部分。

进一步地，步骤S2的方法为，将经过步骤S1得到的样本集按设定比例划分为训练集和测试集。

进一步地，步骤S3包括如下子步骤：

S31，构建卷积神经网络模块，用于提取B部分中的眉眼区域图像的特征并初步分类；

S32，构建C3D网络模块，用于提取A部分中的脸部区域图像的特征并初步分类；

S33，将所述卷积神经网络模块和C3D网络模块输出的初步分类结果线性先加并折半后，作为所述双分支网络输出的分类结果。

进一步地，所述卷积神经网络模块由1个卷积层一、16个移动翻转瓶颈卷积模块、1个卷积层二、1个全局平均池化层、1个全连接层和1个softmax层组成；

所述16个移动翻转瓶颈卷积模块的结构为：

1个MBConv1，扩张比例为1，卷积核大小为3X3，步长为1X1；

2个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

2个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为5X5，步长为1X1；

4个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

1个MBConv6，扩张比例为6，卷积核大小为3X3，步长为1X1；

所述卷积层一的结构为：卷积核为32个3X3，步长为2X2；

所述卷积层二的结构为：卷积核为1280个1X1，步长为1X1；

所述全连接层有7个输出单元。

进一步地，所述卷积神经网络模块对样本进行的操作表示为：

其中，x_i表示卷积神经网络模块的输入，即第i个样本中B部分的眉眼区域图像；

表示x_i经卷积神经网络模块对其进行特征提取和初步分类后得到的结果，

为卷积神经网络模块要学习的参数。

进一步地，所述C3D网络模块依次由卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全连接层一、全连接层二和softmax层组成；

所有卷积层的3D卷积核均为3×3×3，步长为1×1×1；

第一个最大池化层的3D池化核大小为1×2×2、步长1×2×2，其余最大池化层的3D池化核均为2×2×2，步长为2×2×2；

全连接层一有4096个输出单元；

全连接层二有7个输出单元。

进一步地，所述C3D网络模块对样本进行的操作表示为：

其中，r表示从一个样本的A部分的脸部区域图像序列中提取的特征，K 表示该脸部区域图像序列的长度，K＝16，y_i,j为第i个样本中A部分的脸部区域图像序列的第j帧图像，

表示y_i,j经过C3D网络模块进行特征提取及初步分类后得到的结果，

为C3D网络模块要学习的参数。

进一步地，所述目标函数为：

其中，S为表情类别的数量，S＝7，N为样本的数量，y_i,s为样本实际类别， p_i,s为第i个样本预测为第s个表情标签的概率。

进一步地，步骤S5包括如下子步骤：

S51，设置训练迭代次数episode；

S52，在每次迭代过程中从训练集(即步骤S2得到的训练集)中抽取C 个样本，每个样本包含K+1个图像；其中，属于A部分的图像K个，属于B 部分的图像1个，则总共有C(K+1)个图像；

S53，将选取的C(K+1)个图像样本输入C3D网络模块以及卷积神经网络模块，得到C个

和C个

S54，将C个

和C个

通过线性相加并折半，得到最终各个表情类别对应的概率值组成的分类分数矩阵；

S55，根据步骤4定义的目标函数，进行参数更新；

S56，将步骤S52～S55重复执行episode次，得到面部表情识别模型。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过构建双分支网络分别对脸部区域图像和眉眼区域图像进行特征提取和分类，以解决因某些特定因素的影响导致脸部的表情差异较大而降低识别率，以及单一卷积神经网络不能充分利用表情变换蕴含的时间序列信息造成资源浪费的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的基于双分支网络的面部表情识别模型的构建方法的流程框图。

图2为本发明的双分支网络中卷积神经网络模块的结构示意图。

图3为本发明的双分支网络中C3D网络模块的结构示意图。

图4为应用本发明的面部表情识别模型的原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于双分支网络的面部表情识别模型的构建方法，包括：

S1，样本集预处理并数值化；

S2，样本集划分为训练集和测试集；

S3，构建双分支网络；

S4，定义目标函数；

S5，利用训练集训练所述双分支网络得到面部表情识别模型；

S6，利用测试集验证所述面部表情识别模型的准确率。

本发明的核心是，通过构建双分支网络分别对脸部区域图像和眉眼区域图像进行特征提取和分类，以解决因某些特定因素的影响导致脸部的表情差异较大而降低识别率，以及单一卷积神经网络不能充分利用表情变换蕴含的时间序列信息造成资源浪费的问题。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

如图1所示，一种基于双分支网络的面部表情识别模型的构建方法，包括：

S1，样本集预处理并数值化；

采用的样本集的表情图像序列由中性到峰值表情的一系列连续变化图像组成，但是由于其中表情图像通常包含一些不必要的背景元素，且图像的大小不一，因此，需要对表情图像进行预处理。通过人脸对齐技术，裁剪出人脸区域，并将图像进行resize操作使其大小一致，然后进行数值化以便于构建的双分支网络使用。具体地，步骤S1包括如下子步骤：

S11，对表情图像序列进行人脸对齐，提取人脸68个面部特征点位置；

其中，人脸对齐可以采用Adrian Bulat等人在How far are we from solvingthe 2D&3D Face Alignment problem？-(and a dataset of 230,000 3D faciallandmarks)中提出的2D-FAN方法；

S12，根据所述68个面部特征点位置，将表情图像序列中连续16帧表情图像裁剪出脸部区域图像，并把16帧裁剪出的脸部区域图像作为一个样本的 A部分；同时，选取裁剪后的16帧表情图像中的表情峰值图像帧(即16帧表情图像中的最后一帧)，通过对所述68个面部特征点的相对位置进行比较裁剪出眉眼区域图像，并把所述眉眼区域图像作为一个样本的B部分；

S13，分别对所述A部分和B部分通过resize操作进行尺寸变换，使图像大小一致；

其中，可以采用用openCV计算机视觉库的resize方法进行尺寸变换，脸部区域图像大小为112*112，眉眼区域图像大小为224*224；

S14，对经过尺寸变换后的A部分和B部分通过Scikit-image图像处理包读取：

S141，将A部分的16帧裁剪出的脸部区域图像转化为具有16个元素的列表(一帧图像对应列表中的一个元素)，以及将B部分的眉眼区域图像转化为具有1个元素的列表，并将A部分和B部分分别以A、B作为key值，对应的所述列表作为value值，组成字典形式的数据；将该字典形式数据添加至表情属性列表X中；

S142，根据A部分和B部分对应的表情类别，构建1X7的一维矩阵，该一维矩阵的列从左到右分别对应愤怒、厌恶、恐惧、高兴、伤心、惊讶、中性，然后将对应表情实际识别类别的列的值设为1，其余列的值设为0，最后将一维矩阵添加至表情标签列表Y中；

S143，经过S141和S142的数值化，每个样本由表情属性列表X以及对应的表情标签列表Y构成，其中，表情属性列表X包含了A部分和B部分。

需要说明的是，以上7种表情标签(类别)仅是本实施例举例，不应以此限定本发明。

S2，样本集划分为训练集和测试集；

具体地，将经过步骤S1得到的样本集按设定比例划分为训练集和测试集。一般比例为，训练集:测试集＝7:3或8:2，训练集和测试集的样本不重复。

S3，构建双分支网络；

本发明的双分支网络包括卷积神经网络模块(convolutional neural networksmodule)和C3D网络模块(C3D networks module)；具体地，步骤S3包括如下子步骤：

S31，构建卷积神经网络模块，用于提取B部分中的眉眼区域图像的特征并初步分类；

如图2所示，本发明的卷积神经网络模块采用同时具备精度与速度的EfficientNet-B0基线网络模型，所述卷积神经网络模块由1个卷积层一Conv1、 16个移动翻转瓶颈卷积模块(mobile inverted bottleneck，记为MBConv)、1个卷积层二Conv2、1个全局平均池化层(Global Max Pooling)、1个全连接层FC 和1个softmax层组成；

所述16个移动翻转瓶颈卷积模块的结构为：

1个MBConv1，扩张比例为1，卷积核大小为3X3，步长为1X1；

2个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

2个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为5X5，步长为1X1；

4个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

1个MBConv6，扩张比例为6，卷积核大小为3X3，步长为1X1；

所述卷积层一Conv1的结构为：卷积核为32个3X3，步长为2X2；

所述卷积层二Conv2的结构为：卷积核为1280个1X1，步长为1X1；

所述全连接层FC有7个输出单元。

所述卷积神经网络模块对样本进行的操作表示为：

其中，x_i表示卷积神经网络模块的输入，即第i个样本中B部分的眉眼区域图像；

表示x_i经卷积神经网络模块对其进行特征提取和初步分类后得到的结果，

为卷积神经网络模块要学习的参数。

S32，构建C3D网络模块，用于提取A部分中的脸部区域图像的特征并初步分类；

如图3所示，所述C3D网络模块依次由卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全连接层一FC1、全连接层二FC2和softmax 层组成；

所有卷积层的3D卷积核均为3×3×3，步长为1×1×1；

第一个最大池化层的3D池化核大小为1×2×2、步长1×2×2，其余最大池化层的3D池化核均为2×2×2，步长为2×2×2；

全连接层一FC1有4096个输出单元；

全连接层二FC2有7个输出单元。

所述C3D网络模块对样本进行的操作表示为：

其中，r表示从一个样本的A部分的脸部区域图像序列中提取的特征，K 表示该脸部区域图像序列的长度，K＝16，y_i,j为第i个样本中A部分的脸部区域图像序列的第j帧图像，

表示y_i,j经过C3D网络模块进行特征提取及初步分类后得到的结果，

为C3D网络模块要学习的参数。

S33，将所述卷积神经网络模块和C3D网络模块输出的初步分类结果线性先加并折半(相当于一一对应相加然后除以2)后，作为所述双分支网络输出的分类结果，该分类结果是一个分类分数矩阵。

S4，定义目标函数；

表情识别问题属于分类问题，其预测结果为1X7的矩阵，每一列的值分别对应该类别的预测概率(从左到右分别对应愤怒、厌恶、恐惧、高兴、伤心、惊讶、中性)，因此采用交叉熵损失(Cross Entropy Loss)作为目标函数。所述目标函数为：

其中，S为表情类别的数量，S＝7，N为样本的数量，y_i,s为样本实际类别， p_i,s为第i个样本预测为第s个表情标签的概率。

S5，利用训练集训练所述双分支网络得到面部表情识别模型；

具体地，步骤S5包括如下子步骤：

S51，设置训练迭代次数episode；

S52，在每次迭代过程中从训练集中抽取C个样本，每个样本包含K+1个图像；其中，属于A部分的图像K个，属于B部分的图像1个，则总共有C(K+1) 个图像；

S53，将选取的C(K+1)个图像样本输入C3D网络模块以及卷积神经网络模块，得到C个

和C个

S54，将C个

和C个

通过线性相加并折半，得到最终各个表情类别对应的概率值组成的分类分数矩阵；

S55，根据步骤4定义的目标函数，进行参数更新；

S56，将步骤S52～S55重复执行episode次，得到面部表情识别模型；

S6，利用测试集验证所述面部表情识别模型的准确率。

所述面部表情识别模型的应用如图4所示：

(1)获取表情图像序列，采用步骤S1的方法进行预处理并数值化；

(2)将预处理并数值化后的表情图像序列输入所述面部表情识别模型；

(3)经过所述面部表情识别模型输出识别结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双分支网络的面部表情识别模型的构建方法，其特征在于，包括：

S1，样本集预处理并数值化；

S2，样本集划分为训练集和测试集；

S3，构建双分支网络；

S4，定义目标函数；

S5，利用训练集训练所述双分支网络得到面部表情识别模型；

S6，利用测试集验证所述面部表情识别模型的准确率；

步骤S1包括如下子步骤：

S11，对表情图像序列进行人脸对齐，提取人脸68个面部特征点位置；

S12，根据所述68个面部特征点位置，将表情图像序列中连续16帧表情图像裁剪出脸部区域图像，并把16帧裁剪出的脸部区域图像作为一个样本的A部分；同时，选取裁剪后的16帧表情图像中的表情峰值图像帧，通过对所述68个面部特征点的相对位置进行比较裁剪出眉眼区域图像，并把所述眉眼区域图像作为一个样本的B部分；

S13，分别对所述A部分和B部分通过resize操作进行尺寸变换，使图像大小一致；

S14，对经过尺寸变换后的A部分和B部分通过Scikit-image图像处理包读取：

S141，将A部分的16帧裁剪出的脸部区域图像转化为具有16个元素的列表，以及将B部分的眉眼区域图像转化为具有1个元素的列表，并将A部分和B部分分别以A、B作为key值，对应的所述列表作为value值，组成字典形式的数据；将该字典形式数据添加至表情属性列表X中；

S142，根据A部分和B部分对应的表情类别，构建1X7的一维矩阵，该一维矩阵的列从左到右分别对应愤怒、厌恶、恐惧、高兴、伤心、惊讶、中性，然后将对应表情实际识别类别的列的值设为1，其余列的值设为0，最后将一维矩阵添加至表情标签列表Y中；

S143，经过S141和S142的数值化，每个样本由表情属性列表X以及对应的表情标签列表Y构成，其中，表情属性列表X包含了A部分和B部分；

步骤S2的方法为，将经过步骤S1得到的样本集按设定比例划分为训练集和测试集；

步骤S3包括如下子步骤：

S31，构建卷积神经网络模块，用于提取B部分中的眉眼区域图像的特征并初步分类；

S32，构建C3D网络模块，用于提取A部分中的脸部区域图像的特征并初步分类；

S33，将所述卷积神经网络模块和C3D网络模块输出的初步分类结果线性相加并折半后，作为所述双分支网络输出的分类结果。

2.根据权利要求1所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，所述卷积神经网络模块由1个卷积层一、16个移动翻转瓶颈卷积模块、1个卷积层二、1个全局平均池化层、1个全连接层和1个softmax层组成；

所述16个移动翻转瓶颈卷积模块的结构为：

1个MBConv1，扩张比例为1，卷积核大小为3X3，步长为1X1；

2个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

2个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为3X3，步长为2X2；

3个MBConv6，扩张比例为6，卷积核大小为5X5，步长为1X1；

4个MBConv6，扩张比例为6，卷积核大小为5X5，步长为2X2；

1个MBConv6，扩张比例为6，卷积核大小为3X3，步长为1X1；

所述卷积层一的结构为：卷积核为32个3X3，步长为2X2；

所述卷积层二的结构为：卷积核为1280个1X1，步长为1X1；

所述全连接层有7个输出单元。

3.根据权利要求2所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，所述卷积神经网络模块对样本进行的操作表示为：

其中，x_i表示卷积神经网络模块的输入，即第i个样本中B部分的眉眼区域图像；

表示x_i经卷积神经网络模块对其进行特征提取和初步分类后得到的结果，

为卷积神经网络模块要学习的参数。

4.根据权利要求3所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，所述C3D网络模块依次由卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全连接层一、全连接层二和softmax层组成；

所有卷积层的3D卷积核均为3×3×3，步长为1×1×1；

第一个最大池化层的3D池化核大小为1×2×2、步长1×2×2，其余最大池化层的3D池化核均为2×2×2，步长为2×2×2；

全连接层一有4096个输出单元；

全连接层二有7个输出单元。

5.根据权利要求4所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，所述C3D网络模块对样本进行的操作表示为：

其中，r表示从一个样本的A部分的脸部区域图像序列中提取的特征，K表示该脸部区域图像序列的长度，K＝16，y_i,j为第i个样本中A部分的脸部区域图像序列的第j帧图像，

表示y_i,j经过C3D网络模块进行特征提取及初步分类后得到的结果，

为C3D网络模块要学习的参数。

6.根据权利要求5所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，所述目标函数为：

其中，S为表情类别的数量，S＝7，N为样本的数量，y_i,s为样本实际类别，p_i,s为第i个样本预测为第s个表情标签的概率。

7.根据权利要求6所述的基于双分支网络的面部表情识别模型的构建方法，其特征在于，步骤S5包括如下子步骤：

S51，设置训练迭代次数episode；

S52，在每次迭代过程中从步骤S2得到的训练集中抽取C个样本，每个样本包含K+1个图像；其中，属于A部分的图像K个，属于B部分的图像1个，则总共有C(K+1)个图像；

S53，将选取的C(K+1)个图像样本输入C3D网络模块以及卷积神经网络模块，得到C个

和C个

S54，将C个

和C个

通过线性相加并折半，得到最终各个表情类别对应的概率值组成的分类分数矩阵；

S55，根据步骤4定义的目标函数，进行参数更新；

S56，将步骤S52～S55重复执行episode次，得到面部表情识别模型。

Images