CN108304826A - 基于卷积神经网络的人脸表情识别方法 - Google Patents

Abstract

本发明公开基于卷积神经网络的人脸表情识别方法。所述方法包括人脸表情图像数据集预处理、改进型卷积神经网络的构建、权值优化和训练，以及人脸表情的分类处理。本发明将连续卷积引入到常规卷积神经网络中得到改进型卷积神经网络，所述改进型卷积神经网络采用小尺度的卷积核进行特征提取，可以使提取到的人脸表情特征更精密，同时两个连续的卷积层也增强了网络的非线性表达能力，此外，本发明还将卷积神经网络和SOM神经网络级联构成预训练网络进行预学习，将最优学习结果的神经元用于初始化改进型卷积神经网络，本发明提供的方法能有效提高人脸表情图像识别精度。

Description

基于卷积神经网络的人脸表情识别方法

技术领域

本发明涉及图像识别技术领域，尤其涉及基于卷积神经网络的人脸表情识别方法。

背景技术

人脸表情识别技术是指从给定的人脸表情图像中提取人脸表情特征，并将其归于某类特定的人脸表情。人脸表情识别研究有广泛的应用价值，快速的人脸表情识别有助于分析被识别对象的情绪，能实现智能机器领域机器与人之间带情感的交流。人脸表情识别还可应用于互联网兴趣捕捉领域，人脸表情识别是计算机读懂人类感情的前提，高效准确的人脸表情识别有利于计算机针对不同人群推荐音乐、电影和切换主题等。

人脸表情识别的步骤一般包含人脸表情图像的获取和对原始人脸表情图像的剪裁、归一化、表情特征提取、模型训练和表情分类，其中的关键步骤是表情特征提取，提取的特征的有效性决定着人脸表情识别性能的高低。传统的特征提取和构建方法有活动外观模型、Gabor小波变换、局部二值模式等，这些方法的相同点是使用了人为设定的特征，利用人的经验来进行特征提取，容易导致部分表情特征信息的丢失，在一定程度上损失了原有的特征信息，使得所取得的识别性能不太令人满意，此外提取到的特征维数都非常大，不利于下阶段的分类。

发明内容

针对现有技术的不足，本发明提供基于卷积神经网络的人脸表情识别方法，其将人脸表情图像直接输入卷积神经网络，避免了复杂的特征提取，能有效提高人脸表情图像的识别精度。

本发明是通过以下技术方案实现的：

基于卷积神经网络的人脸表情识别方法，包括以下步骤：

步骤1、从现有的人脸表情库中获取人脸表情图像数据集，进行数据集预处理；

步骤2、改进型卷积神经网络的构建：在卷积神经网络中引入两个连续的卷积层，并使用小尺度的卷积核进行特征提取，构建出改进型卷积神经网络；

步骤3、改进型卷积神经网络的权值优化：将卷积神经网络和自组织映射 (Self-organizing Maps,SOM)神经网络级联组成预训练网络，通过所述卷积神经网络对步骤1中预处理过的数据集进行特征提取，并将提取的特征作为所述SOM神经网络的学习样本，利用所述学习样本对所述SOM神经网络进行训练，得到所述改进型卷积神经网络的权值初始值；

步骤4、改进型卷积神经网络的训练：通过输入信号的前向传播计算每个节点的值，比较所述权值初始值与期望值，计算出误差，然后进行误差的反向传播，由输出层开始逐层计算各层神经元的输出误差，根据误差梯度下降法来调节各层的权值和阈值，使修改后的改进型卷积神经网络的最终输出能接近期望值，所述改进型卷积神经网络的输出以矩阵形式存在；

步骤5、表情分类识别：在所述改进型卷积神经网络的最后一层使用分类器进行人脸表情图像的分类识别，在进行人脸表情图像的分类识别前先对分类器进行有监督的学习以获取分类能力。

本发明将连续卷积引入到常规卷积神经网络中得到改进型卷积神经网络，所述改进型卷积神经网络采用小尺度卷积核使得提取到的人脸表情特征更精密，并且两个连续的卷积层增强了所述改进型卷积神经网络的非线性表达能力，此外，本发明还将卷积神经网络和 SOM神经网络级联构成预训练网络进行预学习，将最优学习结果的神经元用于初始化所述改进型卷积神经网络。

优选地，步骤1进一步包括以下步骤：

①图像灰度化：将三维彩色图像转换为灰度值表示的二维灰度图像，具体地，通过某种转换机制将R、G、B这三个分量表示的图像转换为一个灰度值表示的图像，这里的转换机制可以通过直方图、灰度变化、正交变换等来实现，还可通过将原始三维彩色图像进行分割变成二值图像来实现；

②图像归一化：将所述二维灰度图像进行归一化处理，得到96×96像素的图像，这里的归一化处理是为了归纳统一图像样本的统计分布性，使具有不同物理意义和量纲的输入能够平等使用，具体地，使用线性归一化算法进行处理，所述线性归一化算法是一个标准的线性采样过程，采用线性插值获得最终的图像结果。

优选地，在步骤2中，

将经步骤1处理后的图像输入到所述改进型卷积神经网络，所述改进型卷积神经网络中的多个卷积层和池化层自动地进行特征提取，其中，常规卷积神经网络中的两个池化层之间只有一层卷积层，第l层降采样层的第j个特征图表示式为：

当采用连续两个卷积层时，前一卷积层得到的特征图输出被再次进行卷积操作，从而得到的输出特征图的表达式为:

具体地，从网络结构设计角度来说，在满足网络所需表达能力的前提下，尽量使用小的网络规模，减小网络学习时间和复杂性；从作用范围看，使用多个小尺度卷积核获得的感受野能够与一个大尺度卷积核获得的感受野相同；而采取连续卷积能够在控制网络规模的前提下提升网络的表达能力，在本专利中，在连续的两层卷积层中，我们使用3*3的卷积核大小，这被认为是能够捕捉空间信息的最小的卷积核大小，在图像周围加入1个像素的衬垫，并把卷积步长固定为1，这样卷积前后的输入输出图像保持分辨率不变。由于在采样之前经过连续两次卷积，使得图像得到两次非线性激活函数计算，增强了对函数的复杂程度和非线性程度的表达，进而有利于增强局部模型的抽象能力。

优选地，步骤3进一步包括以下步骤：

所述卷积神经网络、SOM神经网络级联组成预训练网络，将有标记的人脸表情图像样本作为所述卷积神经网络的输入，提取所述样本的特征并将所述样本的特征作为所述SOM 神经网络的学习样本，然后利用所述学习样本对所述SOM神经网络进行训练，然后对有标记的人脸表情图像进行对比，计算出正确率r，获得最优样本分布，所述最优样本分布作为所述SOM神经网络的输出；

具体地，所述SOM神经网络采用的学习算法是属于无监督聚类法，会有误差存在，但是之前引入的卷积神经网络的特征所对应的人脸表情图像都是有标签的，通过标签的对比计算出正确率r，即为，分类正确的人脸表情图像数除以全部图像数。通过所述SOM神经网络进行多次训练，把正确率最高那次训练所对应的SOM神经网络模型参数作为改进型卷积神经网络模型的初始参数。

将所述SOM神经网络的输出输入到步骤2中的改进型卷积神经网络的全连接层，然后训练所述改进型卷积神经网络，并验证样本的错误率，当错误率最小时，所述改进型卷积神经网络的模型最佳，并以此最佳模型下的网络权值参数再次初始化所述改进型卷积神经网络。

优选地，步骤4进一步包括以下步骤：

1)前向传播阶段：样本x是训练样本集中的一个样本，记y为对应的类别标签，将x从输入层输入到所述改进型卷积神经网络中，然后通过当前层的激活函数，计算出当前层的输出，在所述改进型卷积神经网络中，除最后一层外，每一层的输出都作为下一层的输入，一层一层传递下去,最后得到Softmax层的输出其中，是一个7维向量，7维向量中每一维向量代表着x成为对应类别的概率；

2)误差传播阶段：计算Softmax层的输出与给定样本的类别标签向量y的误差，并使用最小化均方误差代价函数的方法调整权值参数。

优选地，步骤5进一步包括以下步骤：

当给定输入样本后，每一个神经元输出一个取值在0到1之间的数值，所述数值代表了输入样本属于该类的概率，选取输出值最大的神经元所对应的类别作为分类的结果。

优选地，所述分类器为Softmax分类器。Softmax是Logistic回归在多分类上的推广，其包括一个对于每一个样本估计其所属的类别的概率的假设函数，通过计算获得该样本属于某个类别的概率。

与现有技术相比，本发明的有益效果在于，1)将连续卷积引入到卷积神经网络模型中，改进后的卷积神经网络模型采用小尺度的卷积核，使得提取到的人脸表情特征更精密，同时两个连续的卷积层也增强了改进后模型的非线性表达能力；2)构建SOM网络和卷积神经网络级联组成的预训练网络对人脸表情样本进行预学习，确定改进后的卷积神经网络的权值初始值，将最优学习结果的神经元用于初始化改进后的卷积神经网络，提高了人脸表情识别的精度；3)本发明对原始的三维图像进行灰度化处理得到二维图像，所述二维图像直接输入到卷积神经网络中，大大减少了数据集预处理的难度；4)本发明将二维图像数据直接输入到卷积神经网络，卷积神经网络可以直接从输入的图像中自动学习模式特征，避免了复杂的特征提取和数据重建过程。

附图说明

图1是本发明的基于卷积神经网络的人脸表情识别方法的流程图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图所示，图1是本发明的基于卷积神经网络的人脸表情识别方法的流程图，其主要包括：

步骤1、获取人脸表情图像数据集，进行数据集预处理；

步骤2、改进型卷积神经网络的构建；

步骤3、改进型卷积神经网络的权值优化；

步骤4、改进型卷积神经网络的训练；

步骤5、人脸表情图像的分类识别。

本发明每一个步骤的实现，结合实施例具体表述如下：

1)获取人脸表情图像数据集，进行数据集预处理

首先，从JAFFE人脸表情库和CK+人脸表情库中提取人脸表情图像，其中，JAFFE人脸表情库包含中性、高兴、悲伤、惊奇、生气、讨厌和害怕7种表情图像，这七种表情图像由10个人提供，每个人7种表情，每种表情有大约3、4副图像，总共213副图像，每个图像的像素为256×256；CK+人脸表情库是在CK的基础上扩展而来，包含的人脸表情由 210名成年人构成，其中69％是女性，81％是欧美人，13％是美国黑人，6％来自于其它团体，参与者的年龄从18到50岁，其中也包含了生气、高兴、悲伤、惊奇、讨厌、害怕和中性这7种表情。

其次，对提取的人脸表情数据集进行图像灰度化和图像归一化处理，使所述数据集有统一规范，易于后面的网络训练，具体地，①图像灰度化：通过某种转换机制将R、G、B这三个分量表示的三维彩色图像转换为一个灰度值表示的二维灰度图像，这里的转换机制可以通过直方图、灰度变化、正交变换等来实现，还可通过将原始三维彩色图像进行分割变成二值图像来实现，进行图像灰度化处理会大大减少后续工作的计算量，因为彩色图像虽然比灰度图像含有更多的信息，给人的视觉效果更好，但是彩色图像受光照影响很大，所需的存储空间也较大，极大地影响后续工作的处理效率；②图像归一化：使用线性归一化算法对所述二维灰度图像进行归一化处理，最终得到96×96像素的图像，进行图像归一化处理是为了归纳统一图像样本的统计分布性，使具有不同物理意义和量纲的输入能够平等使用。

进行数据集预处理操作是为了通过相关数字图像处理方法，对输入的人脸表情图像进行一定的处理，弥补由于采集环境的不同，如光照、设备性能差等因素对所述图像的影响，去除干扰信息，提高图像对比度。

2)改进型卷积神经网络的构建

在卷积神经网络的输入层和池化层间多加一层卷积层，总共两层卷积层，并且使用小尺度的卷积核进行特征提取，构建出改进型卷积神经网络，其中，将一副经预处理操作后的人脸表情图像输入到所述改进型卷积神经网络中，所述模型中多个卷积层和池化层自动地进行特征提取，常规卷积神经网络模型中，两个池化层之间只有一层卷积层，第l层降采样层的第j个特征图表示式为：

当采用连续两个卷积层时，前一卷积层得到的特征图输出被再次进行卷积操作，从而得到的输出特征图的表达式为:

从网络结构设计角度来说，在满足网络所需表达能力的前提下，尽量使用小的网络规模，减小网络学习时间和复杂性；从作用范围看，使用多个小尺度卷积核获得的感受野能够与一个大尺度卷积核获得的感受野相同；而采取连续卷积能够在控制网络规模的前提下提升网络的表达能力，由于在采样之前经过连续两次卷积，使得图像得到两次非线性激活函数计算，增强了对函数的复杂程度和非线性程度的表达，进而有利于增强局部模型的抽象能力。

3)改进型卷积神经网络的权值优化

卷积神经网络和SOM神经网络级联组成预训练网络，将有标记的人脸表情图像样本作为所述卷积神经网络的输入，提取所述人脸表情图像样本的特征并将所述人脸表情图像样本的特征作为所述SOM神经网络的学习样本，利用所述学习样本对所述SOM神经网络进行训练，然后对有标记的人脸表情图像进行对比，计算出正确率r，获得最优样本分布，所述最优样本分布作为所述SOM神经网络的输出；将所述SOM神经网络的输出输入到所述改进型卷积神经网络的全连接层，然后训练所述改进型卷积神经网络，并验证样本的错误率，当错误率最小时，所述改进型卷积神经网络的模型最佳，并以此最佳模型下的网络权值参数再次初始化所述改进型卷积神经网络。

具体地，所述SOM神经网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到网络输出层中的邻近神经元，这里是将高维输入数据映射到二维空间，所述SOM 神经网络中的输出层神经元以矩阵方式排列在二维空间中，每个神经元都拥有一个权向量，网络在接收输入向量后，将会确定输出层获胜神经元，它决定了该输入向量在二维空间中的位置，SOM训练的目标就是为每个输出层神经元找到合适的权向量，以达到保持拓扑结构的目的。

在具体实施中，利用所述学习样本对所述SOM神经网络进行训练，所述SOM神经网络的训练过程为：在接收到一个学习样本后，每个输出层神经元会计算所述学习样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元，然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入的学习样本的距离缩小，这个过程不断迭代，直至收敛。

4)改进型卷积神经网络的训练

通过信号的前向传播计算每个节点的值，通过比较所述权值初始值与期望值，计算出误差，然后进行误差的反向传播，由输出层开始逐层计算各层神经元的输出误差，根据误差梯度下降法来调节各层的权值和阈值，使修改后的改进型卷积神经网络的最终输出能接近期望值。

所述训练过程进一步包括：

①前向传播阶段：样本x是训练样本集中的一个样本，记y为对应的类别标签，将x从输入层输入到所述改进型卷积神经网络中，然后通过当前层的激活函数，计算出当前层的输出，在所述改进型卷积神经网络中，除最后一层外，每一层的输出都作为下一层的输入，一层一层传递下去,最后得到Softmax层的输出其中，是一个7维向量，7维向量中每一维向量代表着x成为对应类别的概率；

②误差传播阶段：计算Softmax层的输出与给定样本的类别标签向量y的误差，并使用最小化均方误差代价函数的方法调整权值参数。

5)人脸表情图像的分类识别

在所述改进型卷积神经网络的最后一层使用分类器进行人脸表情图像的分类识别，在进行人脸表情图像分类识别前，对所述分类器先进行有监督的学习以获取分类能力，所述分类器可为SoftMax分类器、SVM分类器等，这里使用SoftMax分类器，给定输入样本，每一个神经元输出一个取值在0到1之间的数值，该数值代表了输入样本属于该类的概率，因此选取输出值最大的神经元所对应的类别作为分类的结果。

如表1所示，将从JAFFE人脸表情库中获取的人脸表情图像作为输入样本，将所述输入样本分别输入常规卷积神经网络和改进型卷积神经网络进行人脸表情识别，结果显示，所述改进型卷积神经网络进行人脸表情识别的平均准确率为90.6％，高于常规卷积神经网络88.2％的平均准确率；将从CK+人脸表情库中获取的人脸表情图像作为输入样本，将所述输入样本分别输入常规卷积神经网络和改进型卷积神经网络进行人脸表情识别，结果显示，所述改进型卷积神经网络进行人脸表情识别的平均准确率为86.7％，高于常规卷积神经网络84.5％的平均准确率。综上可知，利用本发明的基于卷积神经网络的人脸表情识别方法进行人脸表情识别，提高了人脸表情识别的平均准确率，提升了识别精度。

	常规卷积神经网络的平均正确率	改进型卷积神经网络的平均正确率
			JAFFE人脸表情库	88.2％	90.6％
CK+人脸表情库	84.5％	86.7％

表1常规卷积神经网络与改进型卷积神经网络的识别的平均准确

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (7)

1.基于卷积神经网络的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1、从现有的人脸表情库中获取人脸表情图像数据集，进行数据集预处理；

步骤2、改进型卷积神经网络的构建：在卷积神经网络中引入两个连续的卷积层，并使用小尺度的卷积核进行特征提取，构建出改进型卷积神经网络；

步骤3、改进型卷积神经网络的权值优化：将卷积神经网络和SOM神经网络级联组成预训练网络，通过所述卷积神经网络对步骤1中预处理过的数据集进行特征提取，并将提取的特征作为所述SOM神经网络的学习样本，利用所述学习样本对所述SOM神经网络进行训练，得到所述改进型卷积神经网络的权值初始值；

步骤4、改进型卷积神经网络的训练：通过输入信号的前向传播计算每个节点的值，比较所述权值初始值与期望值，计算出误差，然后进行误差的反向传播，由输出层开始逐层计算各层神经元的输出误差，根据误差梯度下降法来调节各层的权值和阈值，使修改后的改进型卷积神经网络的最终输出能接近期望值，所述改进型卷积神经网络的输出以矩阵形式存在；

步骤5、表情分类识别：在所述改进型卷积神经网络的最后一层使用分类器进行人脸表情图像的分类识别，在进行人脸表情图像的分类识别前先对分类器进行有监督的学习以获取分类能力。

2.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，步骤1进一步包括以下步骤：

①图像灰度化：将三维彩色图像转换为灰度值表示的二维灰度图像；

②图像归一化：将所述二维灰度图像进行归一化处理，得到96×96像素的图像。

3.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，在步骤2中，

将经步骤1处理后的图像输入到所述改进型卷积神经网络，所述改进型卷积神经网络中的多个卷积层和池化层自动地进行特征提取，其中，常规卷积神经网络中的两个池化层之间只有一层卷积层，第l层降采样层的第j个特征图表示为：

当采用连续两个卷积层时，前一卷积层得到的特征图输出被再次进行卷积操作，从而得到的输出特征图的表达式为:

4.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，步骤3进一步包括以下步骤：

所述卷积神经网络、SOM神经网络级联组成预训练网络，将有标记的人脸表情图像样本作为所述卷积神经网络的输入，提取所述样本的特征并将所述样本的特征作为所述SOM神经网络的学习样本，然后利用所述学习样本对所述SOM神经网络进行训练，然后对有标记的人脸表情图像进行对比，计算出正确率r，获得最优样本分布，所述最优样本分布作为所述SOM神经网络的输出；

将所述SOM神经网络的输出输入到步骤2中的改进型卷积神经网络的全连接层，然后训练所述改进型卷积神经网络，并验证样本的错误率，当错误率最小时，所述改进型卷积神经网络的模型最佳，并以此最佳模型下的网络权值参数再次初始化所述改进型卷积神经网络。

5.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，步骤4进一步包括以下步骤：

1)前向传播阶段：样本x是训练样本集中的一个样本，记y为对应的类别标签，将x从输入层输入到所述改进型卷积神经网络中，然后通过当前层的激活函数，计算出当前层的输出，在所述改进型卷积神经网络中，除最后一层外，每一层的输出都作为下一层的输入，一层一层传递下去,最后得到Softmax层的输出其中，是一个7维向量，7维向量中每一维向量代表着x成为对应类别的概率；

2)误差传播阶段：计算Softmax层的输出与给定样本的类别标签向量y的误差，并使用最小化均方误差代价函数的方法调整权值参数。

6.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，步骤5进一步包括以下步骤：

当给定输入样本后，每一个神经元输出一个取值在0到1之间的数值，所述数值代表了输入样本属于该类的概率，选取输出值最大的神经元所对应的类别作为分类的结果。

7.如权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于，所述分类器为Softmax分类器。