CN112329701A - 一种用于低分辨率图像的人脸表情识别方法 - Google Patents

Abstract

本发明公开的一种用于低分辨率图像的人脸表情识别方法，属于模式识别和情感识别领域。本发明实现方法为：提取人脸区域和特征点信息，根据特征点将人脸区域对齐，裁剪得到人脸特征区域；提取特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，累加处理得到情感特征矩阵，去除冗余区域特征信息，保留显著区域特征信息；利用情感特征矩阵构建深度卷积神经网络强化对人脸特征区域中特征的提取，充分利用低分辨率图像的显著特征信息对卷积神经网络模型训练，提高低分辨率图像的情感特征识别精度；通过卷积神经网络模型降低模型训练参数量，提升训练、识别速度；采用Softmax回归模型对情感特征进行识别，实现基于低分辨率图像的高精度情感识别。

Description

一种用于低分辨率图像的人脸表情识别方法

技术领域

本发明属于模式识别和情感识别领域，尤其涉及一种用于低分辨率图像的人脸表情识别方法。

背景技术

面部表情是传达人类情绪的基本方式。赋予计算机识别、理解和表达人的情感的能力，是实现良好人机交互的重要保障。随着深度学习特别是卷积神经网络在图像识别领域的广泛运用，使得图像中人脸表情识别具备越来越高的识别速率和准确率。然而，图像分辨率有高低之分，低分辨率面部图像通常缺乏足够的用于提取特征的视觉信息，从而导致面部表情识别方法的性能下降。低分辨率图像在情感计算领域中普遍存在，比如常用的CK+和JAFFE数据集中的人脸图像、距离镜头较远的人脸图像等。充分利用低分辨率图像的信息特征是提高低分辨率图像识别率的关键。

发明内容

本发明的目的是充分考虑低分辨率图像对表情识别的影响，提供用于低分辨率图像的人脸表情识别方法，该方法对人脸特征区域进行处理分析获得情感特征矩阵，并应用到深度卷积神经网络模型中来强化对人脸特征区域中特征的提取，能够充分利用低分辨率图像的特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感识别精度。

本发明的目的是通过下述技术方案实现的。

本发明公开的一种用于低分辨率图像的人脸表情识别方法，包括以下步骤：

步骤1：读取表情数据集图像，提取人脸区域和特征点信息，并根据特征点将人脸区域对齐，裁剪得到人脸特征区域；

步骤2：提取人脸特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，通过单图像特征矩阵累加处理得到情感特征矩阵，去除冗余区域特征信息，保留显著区域特征信息。

步骤3：利用情感特征矩阵构建深度卷积神经网络强化对人脸特征区域中特征的提取，充分利用低分辨率图像的显著特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感特征识别精度，此外，由于卷积神经网络模型仅需要相对高分辨图像较少的层数即能提取低分辨率图像特征信息，进而降低模型训练参数量，提升训练速度和识别速度。

步骤4：采用Softmax回归模型对步骤3的情感特征进行识别，得到情感类别，即实现低分辨率图像的高精度情感识别。

步骤1实现方法为：

步骤1.1：读取表情数据集图像，对输入图像进行人脸检测以及关键点检测，获取人脸区域并校准对齐；

步骤1.2：截取人脸区域并归一化为统一尺寸获得人脸特征区域；

步骤1.3：按照步骤1.1、步骤1.2的操作处理数据集中全部用于训练的图像，得到预处理之后的人脸特征区域数据集L1。

步骤2实现方法为：

步骤2.1：根据输入图像尺寸以及卷积神经网络模型确定特征矩阵维度，将统一尺寸的图像划分为n×n数量的特征块；

步骤2.2：对特征块进行边缘提取，对存在边缘的特征块将其单图像特征矩阵G中的对应位置系数置为1，不存在边缘的特征块置为0；

步骤2.3：从人脸特征区域数据集L1中随机选取l张图像，分别获得单图像特征矩阵G。情感特征矩阵M由公式(1)获得：

其中，f(α)为非线性函数

β为阈值，B为相关的偏置方便人为控制特征处理。

步骤3实现方法为：

步骤3.1：人脸特征区域数据集L1中的图像先输入到由p个大小为q×q步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为b×b步长为2的最大池化层、Dropout层，之后再次输入到由p个大小为q×q步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为b×b步长为2的最大池化层、Dropout层得到情感特征A1；

步骤3.2：将情感特征A1输入到由2p个大小为q×q步长为1的卷积滤波器组成的卷积层、大小为b×b步长为2的最大池化层得到情感情感特征A2，得到无差别人脸区域特征，并将情感特征A1与步骤2得到的情感特征矩阵数乘后输入到由2p个大小为q×q步长为1的卷积滤波器组成的卷积层、大小为b×b步长为2的最大池化层得到情感特征A3，保留显著区域特征，去除冗余区域特征；

步骤3.3：将情感特征A2和情感特征A2相加输入到Relu激活层，最后通过两个由c个神经元构成的全连接层得到最终情感特征A，加大显著区域特征信息比重，充分利用低分辨率人脸图像显著特征信息。以四层卷积层实现情感特征的提取，降低模型参数量，提高训练速度和识别速度。

作为进一步优选，当处理的低分辨图像像素为128时，步骤3实现方法为：

步骤3.1：人脸特征区域数据集L1中的图像先输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层，之后再次输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层得到情感特征A1；

步骤3.2：将情感特征A1输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感情感特征A2，得到无差别人脸区域特征，并将情感特征A1与步骤2得到的情感特征矩阵数乘后输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感特征A3，保留显著区域特征，去除冗余区域特征；

步骤3.3：将情感特征A2和情感特征A2相加输入到Relu激活层，最后通过两个由512个神经元构成的全连接层得到最终情感特征A，加大显著区域特征信息比重，充分利用低分辨率人脸图像显著特征信息。以四层卷积层实现情感特征的提取，降低模型参数量，提高训练速度和识别速度。

步骤4实现方法为：

步骤4.1：训练神经网络的同时对Softmax回归模型的进行参数优化，使得代价函数J(θ)最小，其中，

其中，(x¹,x²,…，x^m)为输入的情感特征，(y¹,y²,…,y^k)为情感特征对应的标签值，m为情感特征数目，k为情感类别数目，1{y⁽ⁱ⁾＝j}为示性函数，

为该Softmax回归模型的参数值，

为权重衰减项。

步骤4.2：采用预设的函数h_θ(xⁱ)估计输入的情感特征xⁱ属于k类情感类别的概率p(y＝j|x)，概率值最大对应的情感类别即为输入的情感特征xⁱ的情感识别结果，即实现低分辨率图像的高精度情感识别。

h_θ(xⁱ)的计算公式为：

其中，k为情感类别数目，p(yⁱ＝j|xⁱ；θ)为输入情感特征xⁱ属于情感类别j的概率值，所有的概率值和为1。

有益效果：

1、本发明公开的一种用于低分辨率图像的人脸表情识别方法，对人脸特征区域进行处理分析获得情感特征矩阵，并应用到深度卷积神经网络模型中来强化对人脸特征区域中特征的提取，能够充分利用低分辨率图像的特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感识别精度。

2、本发明公开的一种用于低分辨率图像的人脸表情识别方法，充分利用低分辨率图像的显著特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感特征识别精度，此外，由于卷积神经网络模型仅需要相对高分辨图像较少的层数即能提取低分辨率图像特征信息，进而降低模型训练参数量，提升训练速度和识别速度。

3、本发明公开的一种用于低分辨率图像的人脸表情识别方法，Softmax回归模型在保证精度的基础上与卷积神经网络更加契合，输出形式简单且计算量很小，因此，采用Softmax回归模型对情感特征进行识别，提高情感类别识别效率和精度。

附图说明

下面结合附图与实施例对本发明进一步说明，附图中：

图1为本发明实施例中一种用于低分辨率图像人脸表情识别方法的流程图；

图2为本发明实施例中一种用于低分辨率图像人脸表情识别方法的框架图；

图3为本发明实施例中一种用于低分辨率图像人脸表情识别方法的特征矩阵；

图4为本发明实施例中一种用于低分辨率图像人脸表情识别方法的深度卷积网络模型结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细描述：本发明的实施例提供了一种用于低分辨率图像的人脸表情识别方法。

图1为本发明实施例中一种用于低分辨率图像人脸表情识别方法的流程图，图2为本发明实施例中一种用于低分辨率图像人脸表情识别方法的框架图。一种用于低分辨率图像的人脸表情识别方法共分为四个部分，即数据集预处理，情感特征矩阵计算，情感特征提取以及情感分类识别。本实施例公开的一种用于低分辨率图像的人脸表情识别方法，具体实现步骤如下：

步骤1：读取表情数据集图像，提取人脸区域和特征点信息，并根据特征点将人脸区域对齐，裁剪得到人脸特征区域；

对CK+(The Extended Cohn-Kanade)数据集和JAFFE数据集进行处理，获得人脸区域对齐并归一化统一尺寸128×128，与表情标签对应保存获得数据集L1。

步骤2：提取人脸特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，通过单图像特征矩阵累加处理得到情感特征矩阵；

根据输入图像尺寸以及卷积神经网络模型分析，随机从数据集L1中选取l＝50的图像，将其划分为32×32的特征快；对特征块进行边缘提取，对存在边缘的特征块将其单图像特征矩阵G中的对应位置系数置为1，不存在边缘的特征块置为0；根据上述公式(1)矩阵累加并分析处理得到特征矩阵，其中，公式(1)中的参数设置为：β＝25，矩阵B由经验获得，简易勾勒五官形状，五官位置系数置为1，其余位置置为0。根据上述方法，本实施例中计算获得的特征矩阵如图3所示。

步骤3：利用情感特征矩阵构建深度卷积神经网络对人脸特征区域进行特征提取；

本实施例中一种用于低分辨率图像人脸情感识别的深度卷积网络结构图由图4所示，数据集L1中的图像输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层，之后再次输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层得到情感特征A1；将情感特征A1输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感特征A2，并将情感特征A与步骤2得到的特征矩阵数乘，再输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感特征A3；将情感特征A2和情感特征A2相加输入到Relu激活层，最后通过两个由512个神经元构成的全连接层得到最终情感特征A。

步骤4：采用Softmax回归模型对情感特征进行识别，得到情感类别。

表情种类设为7类，即m＝7。使用Softmax回归模型对情感特征识别，获得愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶7类表情概率，概率最大者为表情识别结果。

通过上述步骤分别使用CK+数据集和JAFFE数据集进行实验，随机划分为训练集和验证集，其中训练集占总数量的70％，验证集占15％，测试集占15％。使用Adam(Adaptivemoment estimation)算法进行优化，在训练过程中使用数据增强算法，对训练图像进行扩充，提高模型泛化能力，最终在CK+数据集上获得98.94％的准确率，在JAFFE数据集上获得98.63％的准确率。模型结构较为简单，训练参数量为17558727。在使用图片测试时，单张图片的识别时间为毫秒级别；在使用视频测试时，能有效获取远距离人脸图像并准确识别情感，满足实时性要求。本实施例证明本发明提出的方法能够对低分辨率人脸图像实现准确有效的表情识别。

上述实施例为本发明较佳的识别方式，但本发明的实施方式并不受上述实施例的限制，凡是在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于低分辨率图像的人脸表情识别方法，其特征在于：包括以下步骤，

步骤1：读取表情数据集图像，提取人脸区域和特征点信息，并根据特征点将人脸区域对齐，裁剪得到人脸特征区域；

步骤2：提取人脸特征区域边缘信息，通过判断有无边缘信息获得单图像特征矩阵，通过单图像特征矩阵累加处理得到情感特征矩阵，去除冗余区域特征信息，保留显著区域特征信息；

步骤3：利用情感特征矩阵构建深度卷积神经网络强化对人脸特征区域中特征的提取，充分利用低分辨率图像的显著特征信息对卷积神经网络模型进行训练，提高低分辨率图像的情感特征识别精度，此外，由于卷积神经网络模型仅需要相对高分辨图像较少的层数即能提取低分辨率图像特征信息，进而降低模型训练参数量，提升训练速度和识别速度；

步骤4：采用Softmax回归模型对步骤3的情感特征进行识别，得到情感类别，即实现低分辨率图像的高精度情感识别。

2.如权利要求1所述的一种用于低分辨率图像的人脸表情识别方法，其特征在于：步骤1实现方法为，

步骤1.1：读取表情数据集图像，对输入图像进行人脸检测以及关键点检测，获取人脸区域并校准对齐；

步骤1.2：截取人脸区域并归一化为统一尺寸获得人脸特征区域；

步骤1.3：按照步骤1.1、步骤1.2的操作处理数据集中全部用于训练的图像，得到预处理之后的人脸特征区域数据集L1。

3.如权利要求2所述的一种用于低分辨率图像的人脸表情识别方法，其特征在于：步骤2实现方法为，

步骤2.1：根据输入图像尺寸以及卷积神经网络模型确定特征矩阵维度，将统一尺寸的图像划分为n×n数量的特征块；

步骤2.2：对特征块进行边缘提取，对存在边缘的特征块将其单图像特征矩阵G中的对应位置系数置为1，不存在边缘的特征块置为0；

步骤2.3：从人脸特征区域数据集L1中随机选取l张图像，分别获得单图像特征矩阵G；情感特征矩阵M由公式(1)获得：

其中，f(α)为非线性函数

β为阈值，B为相关的偏置方便人为控制特征处理。

4.如权利要求3所述的一种用于低分辨率图像的人脸表情识别方法，其特征在于：步骤3实现方法为，

步骤3.1：人脸特征区域数据集L1中的图像先输入到由p个大小为q×q步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为b×b步长为2的最大池化层、Dropout层，之后再次输入到由p个大小为q×q步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为b×b步长为2的最大池化层、Dropout层得到情感特征A1；

步骤3.2：将情感特征A1输入到由2p个大小为q×q步长为1的卷积滤波器组成的卷积层、大小为b×b步长为2的最大池化层得到情感情感特征A2，得到无差别人脸区域特征，并将情感特征A1与步骤2得到的情感特征矩阵数乘后输入到由2p个大小为q×q步长为1的卷积滤波器组成的卷积层、大小为b×b步长为2的最大池化层得到情感特征A3，保留显著区域特征，去除冗余区域特征；

步骤3.3：将情感特征A2和情感特征A2相加输入到Relu激活层，最后通过两个由c个神经元构成的全连接层得到最终情感特征A，加大显著区域特征信息比重，充分利用低分辨率人脸图像显著特征信息；以四层卷积层实现情感特征的提取，降低模型参数量，提高训练速度和识别速度。

5.如权利要求4所述的一种用于低分辨率图像的人脸表情识别方法，其特征在于：步骤4实现方法为：

步骤4.1：训练神经网络的同时对Softmax回归模型的进行参数优化，使得代价函数J(θ)最小，其中，

其中，(x¹,x²,…，x^m)为输入的情感特征，(y¹,y²,…,y^k)为情感特征对应的标签值，m为情感特征数目，k为情感类别数目，1{y⁽ⁱ⁾＝j}为示性函数，

为该Softmax回归模型的参数值，

为权重衰减项；

步骤4.2：采用预设的函数h_θ(xⁱ)估计输入的情感特征xⁱ属于k类情感类别的概率p(y＝j|x)，概率值最大对应的情感类别即为输入的情感特征xⁱ的情感识别结果，即实现低分辨率图像的高精度情感识别；

h_θ(xⁱ)的计算公式为：

其中，k为情感类别数目，p(yⁱ＝j|xⁱ；θ)为输入情感特征xⁱ属于情感类别j的概率值，所有的概率值和为1。

6.如权利要求4或5所述的一种用于低分辨率图像的人脸表情识别方法，其特征在于：当处理的低分辨图像像素为128时，步骤3实现方法为，

步骤3.1：人脸特征区域数据集L1中的图像先输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层，之后再次输入到由64个大小为5×5步长为1的卷积滤波器组成的卷积层，通过Relu函数激活后输入到大小为3×3步长为2的最大池化层、Dropout层得到情感特征A1；

步骤3.2：将情感特征A1输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感情感特征A2，得到无差别人脸区域特征，并将情感特征A1与步骤2得到的情感特征矩阵数乘后输入到由128个大小为5×5步长为1的卷积滤波器组成的卷积层、大小为3×3步长为2的最大池化层得到情感特征A3，保留显著区域特征，去除冗余区域特征；

步骤3.3：将情感特征A2和情感特征A2相加输入到Relu激活层，最后通过两个由512个神经元构成的全连接层得到最终情感特征A，加大显著区域特征信息比重，充分利用低分辨率人脸图像显著特征信息；以四层卷积层实现情感特征的提取，降低模型参数量，提高训练速度和识别速度。

Images