CN110969073B - 一种基于特征融合与bp神经网络的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于特征融合与BP神经网络的人脸表情识别方法，包括：首先对表情数据库中的原始图像的背景区域进行裁剪，裁剪并灰度化得到只有人脸部分的图片；使用图片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维；将预处理特征和降维后的特征进行串行特征融合，将特征融合后的特征向量经过神经网络的训练后得到分类模型，通过建立好的分类模型对表情进行预测及识别。本发明既能使得图像的信息量丰富，又能突出核心重点的人脸特征，模型简易，不需要较大数据量，兼顾全局特征和降维后的人脸特征能对几类基本表情进行有效识别。

Description

一种基于特征融合与BP神经网络的人脸表情识别方法

技术领域

本发明涉及一种模式识别技术领域，更具体地，涉及一种基于特征融 合与BP神经网络的人脸表情识别方法。

背景技术

人脸表情是我们表达情感的重要方式之一，同时表情识别也是社会交 际中最强大、最具挑战性的任务之一。如今的人脸检测技术最近几年发展 趋近成熟，而面部表情识别也正处于飞速发展和研究的阶段，表情识别涉 及到诸多学科领域，如人工智能、模式识别、生理学和医学等，人脸表情 识别同样在心理学研究、车辆安全驾驶、临床医学、人机交互设备等诸多 领域具有广泛的发展前景。

表情识别一般可以分为三个步骤：人脸表情图像的收集、表情的特征 提取、训练表情模型和识别，其中特征提取和训练表情模型是整个识别系 统中最为重要的两部分。Bashyal、Zhang和Hegde等人用Gabor小波基于 纹理特征提取方法作了深入研究,还有2016年Cossetin通过中心像素和其位 置像素之间的阈值化得到的LBP特征和韦伯局部人脸纹理特征(WLD), 由2014年Taylor提出了一种独立分量分析(ICA)利用多通道观测提取局 部特征的特征提取方法。各学者大多在特征提取的单一特征下研究，而单 一的特征往往不能准确描述图像内容，无法描述表情中细微的特性和变化。 如何在图像的表征上取得更好的描述关键特征，对于原始特征，它的信息 量比较丰富，但缺点是数据冗余，除了主要关键特征，其他北京、噪声等 干扰因素也多，会导致重点不突出。而PCA特征提取降维后的特征能够突 出核心重点的人脸特征，但是在变换过程中损失了一些细微的人脸信息量。

中国专利公开CN109858467A于2019年6月07日公开了“一种基于 关键点区域特征融合的人脸识别方法及装置”，其是将提取的特征进行融 合，是将脸部几个关键点进行融合，其使用的模型较复杂，需要大量数据 训练，容易忽略整体与部分之间的关联。在人脸表情识别过程中往往容易 受到人脸、年龄、性别、种族、遮挡等变化的影响，而传统方法中对单一 特征进行识别，这种缺点是不能对人脸整体的信息作为特征训练到网络中。

发明内容

本发明的目的在于克服上述缺点提供的一种既能使得图像的信息量丰 富，又能突出核心重点的人脸特征，模型简易，不需要较大数据量，兼顾 全局特征和降维后的人脸特征能对几类基本表情进行有效识别的基于特征 融合与BP神经网络的人脸表情识别方法。

为了实现上述目的，本发明的技术方案如下：

本发明的一种基于特征融合与BP神经网络的人脸表情识别方法，包括 以下步骤：

(1)图片预处理：首先对表情数据库中的原始图像的背景区域进行裁 剪，利用matlab中的工具包face parts detection，对人脸表情图库中的图像 进行批量读取，读取完后就进行人脸检测，检测完对人脸区域进行分割， 使用imcrop()函数裁剪并灰度化得到只有人脸部分的图片，接着使用 imresize()函数对图片的大小进行缩小，最后得到对图片的预处理特征；

(2)在PCA(主成分分析法principal component analysis)中，使用图 片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维， 通过样本协方差矩阵进行奇异值分解并构造降维投影轴。对于合适的降维 维数k，可通过主成分贡献率来确定；

(3)将步骤(1)得到的预处理特征和PCA特征提取降维后的特征进 行串行特征融合，融合前进行数据平衡性调整，确保两种数据是维数相等 的，将步骤(2)得到的数据集增加到预处理后数据集的左边，实现串行融 合；

(4)将特征融合后的特征向量分为训练集、验证集和测试集，利用训 练集作为BP(back-propagation)神经网络的输入，通过验证集与实际输出 修正连接权值和阈值，待训练完毕后，将测试集提供给网络以验证网络分 类的正确性，通过建立好的分类模型对表情进行预测及识别。

上述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第 (2)步所述的PCA过程如下：对经过预处理后的人脸表情图像进行主成 分分析处理，n个特征空间中利用映射向量提取权值向量P(k)＝[P₁,P₂,P₃,LP_N]， 来产生主成分Q(i)＝Q₁,Q₂,Q₃,LQ_n，给出Q(J)＝X_K(j)×P_K(j)，计算协方差矩阵X^TX进 行奇异值分解并构造降维投影轴为：

[U，S，V]＝svd(∑)，式 中：m为样本数量，n为样本维数，x⁽ⁱ⁾表示第i个样本，降维距离误差为

式中，

为第i个样本的降维输出，误差系数ε通常小 于0.01。而对于合适的降维维数k，通过主成分贡献率

来确定，贡献 率取值为0.99。

上述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第 (4)步所述BP神经网络的步骤如下：首先进行初始化，给每个连接权值w_ij、 w_jk和阈值θ₁、θ₂赋予随机量，随机选取一组训练和验证集提供给网络；然后， 用训练样本、连接权值和阈值计算隐含层各单元的输入S_j和输出层各单元的 输出L_t，通过传递函数计算隐含层各单元的输出b_j和输出层各单元的响应Y_t； 接着，计算每个样本的激活值后，计算验证集与网络的实际输出Y_t的误差和 隐含层的误差

得到的误差与输出比较修正连接权值w_jk和阈值θ₂，再用隐 含层的误差和输入比较来修正连接权值w_ij和阈值θ₁；最后，直到训练和验证 样本训练完毕后，将测试样本提供给网络以验证网络分类的正确性。

本发明与现有技术相比，具有明显的有益效果，从以上技术方案可知： 本发明通过对图片的预处理，得到预处理特征，再对预处理特征进行主成 分分析得到降维后的特征，将两种特征进行串行融合，这样既能使得图像 的信息量丰富，又能突出核心重点的人脸特征，克服除了人脸的其他背景、 姿态、光照、遮挡等因素，使用预处理后的特征真实反映了数据间的相互 关系和本质特征，且从整体出发描述数据概况，使用主成分分析后的特征 一方面提高了数据区分度，对模式识别带来正面效应，另一方面也能够突 出核心重点的人脸特征，采用这种基于从粗到细策略的特征融合方法，使 得融合后的特征在尽可能保留数据间真实信息和整体认知的同时引入对于 部分重要特征的关注，并加强分类能力。本发明的方案中，通过两种特征 的互补性，再利用误差反向传播神经网络进行网络构建、训练和训练，达 到提高表情识别率的目的。本发明既能使得图像的信息量丰富，又能突出 核心重点的人脸特征，模型简易，不需要较大数据量，能更好地用于神经 网络进行人脸表情识别，兼顾全局特征和降维后的人脸特征能对几类基本 表情进行有效识别。

具体实施方式

以下结合较佳实施例，对依据本发明提出的一种基于特征融合与BP神 经网络的人脸表情识别方法具体实施方式、结构、特征及其功效，详细说 明如后。

本发明一种基于特征融合与BP神经网络的人脸表情识别方法，包括步 骤如下：

(1)首先对表情数据库中的原始图像的背景区域进行裁剪，利用matlab 中的工具包face parts detection，对人脸表情图库中的图像进行批量读取， 读取完后就进行人脸检测，检测完对人脸区域进行分割，使用imcrop()函数 裁剪并灰度化得到只有人脸部分的图片，接着使用imresize()函数对图片的 大小进行缩小，最后得到对图片的预处理特征；

(2)利用PCA(主成分分析法principal component analysis)对预处理 数据进行特征提取及降维得到PCA特征；

PCA(主成分分析法principal component analysis)过程如下：对经过 预处理后的人脸表情图像进行主成分分析处理，n个特征空间中利用映射向 量提取权值向量P(k)＝[P₁,P₂,P₃,LP_N]，来产生主成分Q(i)＝Q₁,Q₂,Q₃,LQ_n，给出 Q(J)＝X_K(j)×P_K(j)，计算协方差矩阵X^TX进行奇异值分解并构造降维投影轴为：

[U,S,V]＝svd(∑)，式中：m为样本数量，n为样本维数，x⁽ⁱ⁾表示第i个样本，降维距离误差为

式中，

为第i个样 本的降维输出，误差系数ε通常小于0.01。而对于合适的降维维数k，通过主成分贡献率

来确定，贡献率取值为0.99。

(3)将步骤(1)得到的预处理特征和PCA特征提取降维后的特征数 据进行特征融合，融合前进行数据平衡性调整，确保两种数据是维数相等 的，将步骤(2)得到的数据集增加到预处理后数据集的左边，实现串行融 合。

(4)将特征融合后的特征向量分为训练集、验证集和测试集，利用训 练集作为BP(back-propagation)神经网络的输入，通过验证集与实际输出 修正连接权值和阈值，待训练完毕后，将测试集提供给网络以验证网络分 类的正确性，通过建立好的分类模型对表情进行预测和识别。

所述BP神经网络的步骤如下：首先进行初始化，给每个连接权值w_ij、 w_jk和阈值θ₁、θ₂赋予随机量，随机选取一组训练和验证集提供给网络；然后， 用训练样本、连接权值和阈值计算隐含层各单元的输入S_j和输出层各单元的 输出L_t，通过传递函数计算隐含层各单元的输出b_j和输出层各单元的响应Y_t； 接着，计算每个样本的激活值后，计算验证集与网络的实际输出Y_t的误差和 隐含层的误差

得到的误差与输出比较修正连接权值w_jk和阈值θ₂，再用隐 含层的误差和输入比较来修正连接权值w_ij和阈值θ₁；最后，直到训练和验证 样本训练完毕后，将测试样本提供给网络以验证网络分类的正确性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式 上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以 上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方 案的范围内。

Claims (3)

1.一种基于特征融合与BP神经网络的人脸表情识别方法，包括以下步骤：

(1)图片预处理：首先对表情数据库中的原始图像的背景区域进行裁剪，利用matlab中的工具包face parts detection，对人脸表情图库中的图像进行批量读取，读取完后就进行人脸检测，检测完对人脸区域进行分割，使用imcrop()函数裁剪并灰度化得到只有人脸部分的图片，接着使用imresize()函数对图片的大小进行缩小，最后得到对图片的预处理特征；

(2)在PCA中，使用图片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维，通过样本协方差矩阵进行奇异值分解并构造降维投影轴，对于合适的降维维数k，通过主成分贡献率来确定；

(3)将步骤(1)得到的预处理特征和PCA特征提取降维后的特征进行串行特征融合，融合前进行数据平衡性调整，确保两种数据是维数相等的，将步骤(2)得到的数据集增加到预处理后数据集的左边，实现串行融合；

(4)将特征融合后的特征向量分为训练集、验证集和测试集，利用训练集作为BP神经网络的输入，通过验证集与实际输出修正连接权值和阈值，待训练完毕后，将测试集提供给网络以验证网络分类的正确性，通过建立好的分类模型对表情进行预测及识别。

2.如权利要求1所述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第(2)步所述的PCA过程如下：对经过预处理后的人脸表情图像进行主成分分析处理，n个特征空间中利用映射向量提取权值向量P(k)＝[P₁,P₂,P₃,…P_N]，来产生主成分Q(i)＝Q₁,Q₂,Q₃,…Q_n，给出Q(J)＝X_K(j)×P_K(j)，计算协方差矩阵X^TX进行奇异值分解并构造降维投影轴为：

[U,S,V]＝svd(∑)，式中：m为样本数量，n为样本维数，x⁽ⁱ⁾表示第i个样本，降维距离误差为

式中，

为第i个样本的降维输出，误差系数ε小于0.01； 而对于合适的降维维数k，通过主成分贡献率

来确定，贡献率取值为0.99。

3.如权利要求1所述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第(4)步所述BP神经网络的步骤如下：首先进行初始化，给每个连接权值w_ij、w_jk和阈值θ₁、θ₂赋予随机量，随机选取一组训练和验证集提供给网络；然后，用训练样本、连接权值和阈值计算隐含层各单元的输入S_j和输出层各单元的输出L_t，通过传递函数计算隐含层各单元的输出b_j和输出层各单元的响应Y_t；接着，计算每个样本的激活值后，计算验证集与网络的实际输出Y_t的误差和隐含层的误差

得到的误差与输出比较修正连接权值w_jk和阈值θ₂，再用隐含层的误差和输入比较来修正连接权值w_ij和阈值θ₁；最后，直到训练和验证样本训练完毕后，将测试样本提供给网络以验证网络分类的正确性。