CN107729835A - 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 - Google Patents

Abstract

本发明公开了一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，使用传统的局部二值模式特征、局部方向数特征等与深度神经网络特征分别训练人脸表情分类器，然后利用这些分类器投票，进行人脸表情识别。该表情识别方法使用了近年来流行的深度学习方法，收集大量人脸表情数据解决训练神经网络困难的问题，使用了一个简单卷积神经网络提取深度特征，并创新地与人脸关键点区域的传统生物特征进行融合，进行人脸表情的识别。本发明主要有人脸表情数据预处理、人脸区域检测、人脸表情特征提取、人脸表情分类器训练等步骤。使用该表情识别方法得到的识别率，相比只使用传统特征表情识别方法的识别率提升1％‑2％。

Description

一种基于人脸关键点区域传统特征和人脸全局深度特征融合 的表情识别方法

技术领域

本发明涉及机器学习、深度学习和模式识别等科研领域，尤其涉及一种二维人脸表情识别传统特征与深度特征相融合的识别方法。

背景技术

人脸表情识别是人脸识别技术中的一块，人脸表情作为人类交流中一种重要方式，具有重要的研究意义。表情识别目前已经成为了生物学、心理学和机器学习等多领域的交叉性课题，在人机交互，辅助医疗，辅助驾驶等方面被大量应用。

人脸表情识别相关技术主要有人脸表情图像的预处理，人脸区域检测，人脸表情特征提取，表情的分类等。预处理内容主要是进行图像灰度化，降低光照对人脸表情识别的影响。人脸区域检测技术属于图像目标检测技术中的一部分，传统的人脸检测方法主要是通过模板匹配或者检测人脸关键点来检测人脸区域。近些年来，基于深度学习的目前检测算法也开始被广泛研究，一些优秀的技术也被提出来。人脸表情特征的提取是表情识别中最重要的一步，目前主要存在基于几何特征提取的方法，基于外貌轮廓特征提取的方法，基于特征子空间特征提取的方法和基于深度学习的特征提取方法等等。表情识别的最后一步为分类器设计，常用的表情分类方法有kNN，支持向量机等等。

总的来说目前的表情识别算法研究着重于特征的提取和分类器的设计，绝大部分方法使用的是表情图片的全局特征。实际上，只有一些部位(眉毛、眼睛、鼻子和嘴等)决定着一个人的表情，大部分区域对表情是没有贡献的，可能还存在一些噪声影响识别。

发明内容

本发明的目的在于针对目前表情识别方法存在的不足，提出使用关键局部区域特征并融合深度学习提取的特征，进行表情的识别。

本发明的目的是通过以下技术方案来实现的：一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，该方法收集大量表情数据训练了深度神经网络提取低维的全局深度特征，并结合使用高维的关键点周围局部区域传统生物特征，进行多特征融合分类识别，提升了人脸表情识别方法。目前现有人脸表情数据库数量小，训练出的神经网络识别率很低，该方法收集大量数据提升了深度神经网络的识别率，提升了深度特征的表征能力。该方法包括以下步骤：

(1)人脸表情数据预处理：

从网上下载公开的人脸表情数据集，或者通过网络爬虫收集非公开的人脸表情数据；将表情数据分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0-6做好标签，然后把图像灰度化；

(2)人脸区域检测：

使用dlib库中人脸关键点检测算法对人脸表情数据进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个人脸关键点获取人脸区域；将人脸全局区域校准归一化为固定大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴特征；

(3)人脸表情特征提取：

提取传统表情特征：局部二值模式(LBP)特征、局部方向数(LDN)特征和曲波特征；

所述LBP特征定义在图像3×3像素邻域内，将邻域中心像素值作为阈值，分别将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3×3邻域内的像素点经比较产生8位二进制数，即得到该邻域中心像素点的LBP编码值，并用这个值来反映该区域的纹理信息；对图像的LBP编码值进行直方图统计，得到相应的LBP特征向量，每个样本的特征向量为1×256维；

所述LDN特征通过Kirsch边缘模板计算得到；Kirsch边缘模板包括8个方向，在图像3×3像素邻域内，利用Kirsch边缘模板计算得到8个方向的边缘响应值{m₀,…,m₇}，然后在8个响应值中找出最大值的位置编号i和最小值的位值编号j，即：

i＝argmax{m_i|0≤i≤7}

j＝argmin{m_j|0≤i≤7}

则像素点的LDN响应值为i×8+j；对图像的LDN值进行直方图统计，得到相应的LDN特征向量，每个样本的特征向量为1×64维；

所述曲波特征描述了人脸表情图像曲线轮廓，直接利用Curvlab开源库得到系数特征；

根据步骤(2)，获取收集的人脸表情数据集的人脸全局区域，训练一个深度神经网络来获取深度学习特征；所述深度学习特征是指把表情图像输入到训练好的神经网络，得到的卷积层或者全连接层的向量值；

(4)人脸表情分类器训练：

使用了k近邻算法，主要步骤如下：

(a)计算特征距离：输入表情特征，计算它与训练集中的每个表情特征的欧式距离；

(b)寻找最近距离：找出距离最近的k个训练数据特征，作为输入表情的近邻；

(c)进行表情分类：根据这个k个近邻的类别，对输入表情进行分类；

对于输入表情的3种传统特征和1种深度特征，都能得到一个分类结果，然后将所有特征得到的分类结果进行投票，选取结果中最多的标签作为输入表情的标签，得到最终的表情分类结果。

本发明的有益效果是：本发明使用传统的局部二值模式(LBP)特征、局部方向数(LDN)特征等与深度特征分别训练人脸表情分类器，然后利用这些分类器投票，进行人脸表情识别。该表情识别方法使用了近年来流行的深度学习方法提取深度特征，并创新地与人脸关键点(眉毛、眼睛、鼻子和嘴巴)区域的传统生物特征进行融合，进行人脸表情的识别。本发明主要有人脸表情数据预处理、人脸区域检测、人脸表情特征提取、人脸表情分类器训练等步骤。使用该表情识别方法得到的识别率，相比只使用传统特征表情识别方法的识别率可提升1％-2％。

附图说明

图1是人脸关键点展示图；

图2是LBP编码过程示意图；

图3是Kirsch边缘模板；

图4是LDN响应值位置及计算过程；

图5是获取表情深度特征流程图；

图6是人脸表情识别的主要流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供的一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，该方法主要内容：1)关键局部区域特征的提取：在人脸表情识别中，只有人脸关键局部区域特征决定着表情的类别，所以我们着重提取这些区域的特征，主要提取了眉毛、眼睛、鼻子和嘴巴区域的LBP特征、LDN特征以及Curve特征；2)表情的深度特征提取：设计了一个简单的卷积神经网络，使用大量的数据集进行网络参数训练；输入表情图片后，提取神经网络全连接层的向量值作为表情图像的深度特征。3)表情的分类：将提取的表情特征分别进行分类，然后将所有特征得到的分类结果进行投票，选取结果中做多的标签作为输入表情的标签，得到最终的表情分类结果。详细步骤如下：

(1)人脸表情数据预处理：

从网上下载公开人脸表情数据集，如CK+和Jaffe等，以及使用网络爬虫收集2万张左右非公开的人脸表情数据；将人脸表情数据根据心理学常用分类方法，分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0-6做好标签，然后把图像灰度化，降低光照和色差对表情识别的影响；

(2)人脸区域检测：

使用dlib库中人脸关键点检测算法对数据集进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个关键点获取人脸区域；将人脸全局区域校准归一化到固定大小，这里归一化到120x100像素大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴区域特征，如图1所示；

(3)人脸表情特征提取：

提取传统表情特征的局部二值模式(Local Binary Pattern,LBP)特征、局部方向数(Local Directional Number,LDN)特征，曲波(Curvelet)特征；

LBP编码值定义在图像3×3像素邻域内，将邻域中心像素值作为阈值，分别将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的像素点经比较产生8位二进制数，即得到该邻域中心像素点的LBP编码值，并用这个值来反映该区域的纹理信息。邻域中心点LBP编码方法如图2所示。得到了图像的LBP值之后，对其进行直方图统计，即可得到相应的LBP特征向量，每个样本的特征向量为1×256维。

LDN特征通过Kirsch边缘模板计算得到；Kirsch边缘模板包括8个方向，在图像3×3像素邻域内，利用Kirsch边缘模板计算得到8个方向的边缘响应值{m₀,…,m₇}，然后在8个响应值中找出最大值的位置编号i和最小值的位值编号j，即：

i＝argmax{m_i|0≤i≤7}

j＝argmin{m_j|0≤i≤7}

则像素点的LDN响应值为i×8+j；LDN响应值位置及计算过程如图4所示。得到了图像的LDN值之后，对其进行直方图统计，即可得到相应的LDN特征向量，每个样本的特征向量为1×64维；

曲波特征描述了人脸表情图像曲线轮廓，这里直接利用Curvlab开源库得到系数特征；

根据步骤(2)，获取收集的人脸表情数据集的人脸全局区域，训练一个深度神经网络来获取深度学习特征；所述深度学习特征是指把表情图像输入到训练好的神经网络，得到的卷积层或者全连接层的向量值，在识别技术中，可以使用该向量作为图像的深度特征向量。获取深度特征流程如图5所示；

(4)人脸表情分类器训练：

得到了人脸表情特征后即可进行表情分类。这里使用了k近邻(kNN)算法，主要步骤如下：

(a)计算特征距离：输入表情特征，计算它与训练集中的每个表情特征的欧式距离；

(b)寻找最近距离：找出距离最近的k个训练数据特征，作为输入表情的近邻；

(c)进行表情分类：根据这个k个近邻的类别，对输入表情进行分类；

对于输入表情的3种传统特征和1种深度特征，都能得到一个分类结果，然后将所有特征得到的分类结果进行投票，选取结果中最多的标签作为输入表情的标签，得到最终的表情分类结果。

应当说明的是：以上实施例仅用以说明本发明的技术流程而不是对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应该涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，其特征在于，收集大量表情数据训练深度神经网络提取低维的全局深度特征，并结合使用高维的关键点周围局部区域传统生物特征，进行多特征融合分类识别，该方法包括以下步骤：

(1)人脸表情数据预处理：

从网上下载公开的人脸表情数据集，或者通过网络爬虫收集非公开的人脸表情数据；将表情数据分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0-6做好标签，然后把图像灰度化；

(2)人脸区域检测：

使用dlib库中人脸关键点检测算法对人脸表情数据进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个人脸关键点获取人脸区域；将人脸全局区域校准归一化为固定大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴特征；

(3)人脸表情特征提取：

提取传统表情特征：局部二值模式(LBP)特征、局部方向数(LDN)特征和曲波特征；

所述LBP特征定义在图像3×3像素邻域内，将邻域中心像素值作为阈值，分别将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3×3邻域内的像素点经比较产生8位二进制数，即得到该邻域中心像素点的LBP编码值，并用这个值来反映该区域的纹理信息；对图像的LBP编码值进行直方图统计，得到相应的LBP特征向量，每个样本的特征向量为1×256维；

所述LDN特征通过Kirsch边缘模板计算得到；Kirsch边缘模板包括8个方向，在图像3×3像素邻域内，利用Kirsch边缘模板计算得到8个方向的边缘响应值{m₀,…,m₇}，然后在8个响应值中找出最大值的位置编号i和最小值的位值编号j，即：

i＝argmax{m_i|0≤i≤7}

j＝argmin{m_j|0≤i≤7}

则像素点的LDN响应值为i×8+j；对图像的LDN值进行直方图统计，得到相应的LDN特征向量，每个样本的特征向量为1×64维；

所述曲波特征描述了人脸表情图像曲线轮廓，直接利用Curvlab开源库得到系数特征；

根据步骤(2)，获取收集的人脸表情数据集的人脸全局区域，训练一个深度神经网络来获取深度学习特征；所述深度学习特征是指把表情图像输入到训练好的神经网络，得到的卷积层或者全连接层的向量值；

(4)人脸表情分类器训练：

使用了k近邻算法，主要步骤如下：

(a)计算特征距离：输入表情特征，计算它与训练集中的每个表情特征的欧式距离；

(b)寻找最近距离：找出距离最近的k个训练数据特征，作为输入表情的近邻；

(c)进行表情分类：根据这个k个近邻的类别，对输入表情进行分类；

对于输入表情的3种传统特征和1种深度特征，都能得到一个分类结果，然后将所有特征得到的分类结果进行投票，选取结果中最多的标签作为输入表情的标签，得到最终的表情分类结果。