CN107273845B - 一种基于置信区域和多特征加权融合的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于置信区域和多特征加权融合的人脸表情识别方法，包括：1、获得人脸置信区域图像以及人脸区域图像，所述人脸置信区域图像至少包括眼睛眉毛区域和嘴部区域；2、对所述人脸置信区域图像及人脸区域图像进行特征提取以获得所对应的初始特征；3、对所述初始特征进行降维及数据归一化处理后并组成融合特征F；4、将所述融合特征F作为分类识别特征送入分类器进行识别；5、选定训练集特征数据以及测试集特征数据并将所述训练集特征数据输入到GRNN神经网络进行训练以获得相应的训练参数；6、基于所述训练参数，采用密度函数对测试集特征数据进行预测输出以获得最终的分类识别特征数据。本发明具有更高的识别效率以及识别准确率。

Description

一种基于置信区域和多特征加权融合的人脸表情识别方法

技术领域

本发明属于计算机视觉领域，具体的是涉及一种基于置信区域和多特征加 权融合的人脸表情识别方法。

背景技术

人脸识别从20世纪70年代开始兴起，是计算机视觉领域迄今为止最热门 的研究方向之一，是涉及到图像处理、模式识别、计算机视觉、人工智能、计 算机图像、信息论、数学与统计学、神经科学、认知科学、心理学等众多学科 的前沿理论和算法的多学科交叉研究课题。人脸识别包括人脸检测和跟踪，人 脸验证以及各类识别等相关技术，其广泛应用于智能视频、智能机器人、门禁 系统、监控系统中。人脸识别技术不仅具有着重要的学术价值，而且应用价值 较高。表情识别技术作为情感计算研究的主要内容之一，是计算机视觉、心理 学、人工心理理论、生理学、生物特征识别、情感计算等多学科交叉的一个极 具挑战性的研究课题，它的发展对于人机交互、安全驾驶、远程教育、辅助医 疗等都有重要的作用和意义。

国外最早的表情识别研究可以追溯到20世纪70年代，美国心理学家Ekman 和Friesen通过充分的研究实验，定义了人类的6种基本表情：高兴、吃惊、 生气、恐惧、厌恶和悲伤。随后Ekman和Keltner细化并完善了人脸表情，并 提出了基于一系列运动单元来描述人脸表情的面部动作编码系统。2011年， L.Oliveira等用2DPCA提取特征，并且使用基于多目标遗传算法的特征选择算 法来分析和丢弃不相关的特征，提供了减少数据量的解决方案，提高了识别率。 2013年，Thiago等将Gabor小波与LBP特征融合作为特征分别在Jaffe和Cohn-Kanade数据库中进行人脸表情识别实验，相比单一特征，融合特征达到了 更好的识别性能。2017年，E.Sariyanidi等认为面部表情是动作单元基本运 动的组合，提出将面部表情表示为局部基函数的线性组合，其系数与运动强度 成正比，通过用Gabor相位计算面部视频，训练得到稀疏线性模型，可以获得 所提出的框架的线性基函数，解决了现有方法的泛化问题，在Cohn-Kanade+数 据库上达到了96.02％的平均识别率，验证了算法的优异性能。

而国内，Zhang Y等将FACS技术结合了动态贝叶斯网络，展现了与表情相 关的时域和空域信息，实现实时表情识别。2010年，F.Cheng等结合贝叶斯技 术和核算法，构造高斯过程分类器(Gaussian process，GP)，为小样本的识别 分类开发，通过leave-one-out交叉验证的策略，GP分类器的识别率达到了 93.43％。2011年，Zhao等用LBP提取表情特征，基于流行学习算法KDIsomap 来进行降维，在CK+数据集上达到了94.88％的最高识别率。2014年，J.Yi等^[利 用隐藏在图像空间中的结构和纹理信息，提出了一种新的FER算法，首先用主 动外观模型(ASM)标注特征点，然后提出了三个面部新特征，分别是特征点距 离比例系数、连接角比例系数、皮肤变形比例参数，用以消除个体间差异，利 用径向基函数神经网络作为分类器，在Cohn-Kanade数据集和BHU数据集上做 实验，识别率分别为88.7％和87.8％。2016年，S.Khan等提出一种基于联合聚 类的方法进行特征选择，处理维度灾难的问题，使用Gabor滤波器提取特征， 然后用提出的联合聚类算法进行特征选择，在JAFFE数据集上实验，交叉验证 的识别率达到了96.25％。2017年，Q.Mao等提出基于姿态的分层贝叶斯主题模 型来解决这个问题，在识别表情之前，本地外观特征和全局几何信息组合起来学习得到一个中间脸的表情。该模型为多重FER提供一个统一的解决方案，并 且不需要为每个姿态单独训练和参数调整，因此在现实世界中是可扩展的。

但是已有算法尚存下述不足：

(1)在特征提取方面，针对静态表情图像，单一的整体模版匹配方法含有 较多无关区域特征，影响总体特征的判别特性，很难达到较好的识别效果。

(2)传统分类器对于非线性数据映射效果不佳，同时训练时间较长，识别 效率不高。

发明内容

鉴于已有技术存在的缺陷，本发明的目的是要提供一种基于置信区域和多 特征的加权融合的人脸表情识别方法，该方法具有更高的识别效率以及识别准 确率。

为了实现上述目的，本发明的技术方案：

一种基于置信区域和多特征加权融合的人脸表情识别方法，其特征在于， 包括如下步骤：

步骤1、对待识别的人脸表情图像进行标准化处理以获得人脸置信区域图像 和人脸区域图像，所述人脸置信区域图像至少包括眼睛眉毛区域图像和嘴部区 域图像；

步骤2、对所述人脸区域图像进行特征提取以获得所对应的初始特征，所述 的初始特征至少包括基于二维Gabor小波对所述人脸区域图像进行特征提取所 获得的人脸特征、基于HOG算子对所述人脸置信区域图像中的眼睛眉毛区域图 像进行特征提取所获得的眼睛眉毛特征以及基于HOG算子对所述人脸置信区域 图像中的嘴部区域图像进行特征提取所获得的嘴部特征；

步骤3、对所述初始特征进行降维及数据归一化处理后，基于加权融合公式 将人脸特征、眼睛眉毛特征以及嘴部特征组成融合特征F，所述加权融合公式为

式中，f₁,f₂,f₃分别表示经过降维及数据归一化处理后的人脸特征、眼睛眉 毛特征、嘴部特征，α,β,χ分别是与f₁,f₂,f₃相对应的加权系数，且三者满足加权 约束条件α+β+χ＝1和argmax|R|，R表示识别率的约束条件即所设定的最终分类 识别率；

步骤4、将所述融合特征F作为分类识别特征，送入分类器进行识别；

步骤5、自识别后的特征数据中随机选择出若干个样本数据，以分别作为训 练集特征数据以及测试集特征数据并将所述训练集特征数据输入到GRNN神经 网络进行训练以获得相应的训练参数；

步骤6、基于所述训练参数，采用GRNN神经网络中的密度函数对测试集 特征数据进行预测输出以获得最终的分类识别特征数据。

进一步优选的，所述步骤1中的标准化处理是指使用基于Adaboost的人脸 检测算法对待识别的人脸表情图像进行人脸及其置信区域图像检测并对检测后 的图像进行裁剪和几何、灰度归一化处理以获得标准的人脸置信区域图像和人 脸区域图像。

与现有技术相比，本发明的有益效果：

本发明提出了基于人脸置信区域加权融合的特征提取算法，其考虑人脸几 何位置信息并且给出相应的敏感度数值，并结合二维Gabor小波和HOG算子进 行特征提取，得到更具判别特性的特征数据；并针对传统分类器对小样本非线 性数据拟合的局限性，通过对人脸表情数据特点的分析，将将融合特征作为 GRNN神经网络分类器网络的输入，以获得更优的分类性能。

附图说明

图1为本发明所述方法对应的步骤流程图；

图2(a)为本发明所述JAFFE数据集样本分布图；

图2(b)为本发明所述CK+数据集样本分布图；

图3为本发明所述加权不同子区域识别率比较图；

图4(a)为本发明所述调整嘴部区域加权系数图；

图4(b)本发明所述调整眼睛眉毛区域加权系数图；

图4(c)本发明所述调整人脸区域加权系数图；

图5本发明所述三种组合加权系数对比图；

图6本发明所述JAFFE数据集采用本专利算法与Gabor算法对比图；

图7本发明所述CK+数据集采用本专利算法与Gabor算法对比图；

图8本发明所述分类器参数对识别率的影响图；

图9本发明所述JAFFE数据集三种分类器性能比较图；

图10本发明所述CK+数据集三种分类器性能比较图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施 例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本发明保护的范围。

本发明对应的技术原理说明：常规的静态图片的表情识别只针对整幅人脸区 域，但是人脸区域不仅包含表情识别需要的一些重要信息，比如眼睛眉毛以及 嘴部等区域，这些区域对于表情识别的作用是正面的，与此同时还有很多无关 信息，比如脸部的一些区域、前额以及下巴区域，这些部分对于表情识别来说 是冗余甚至负面的，所以引入本发明的第一个特征提取策略：基于置信区域的 加权融合；另，如果仅用2D-Gabor小波对一副人脸区域图像进行特征提取，即 经过5个尺度8个方向共40个滤波器组卷积操作之后，可产生40幅Gabor滤 波图像，卷积图像的幅值串联起来作为最终提取的特征值，但是综合以上分析， 这些特征会包含一些与表情识别无关的大量冗余信息，而且单一特征是从单一 方面表征图像，像Gabor小波就是采用最终卷积后的幅值作为特征，而HOG更 多关注梯度的变化信息，为此引入本发明所述的第二个特征提取策略：基于多 特征提取算法融合方法，采用多方向多尺度的2D-Gabor核函数卷积人脸区域图 像得到第一部分特征即人脸特征，并从梯度信息变化的角度表征置信区域，包 括区域一(眼睛眉毛区域)以及区域二(嘴部区域)，得到另外两部分特征即眼 睛眉毛特征以及嘴部特征，由于鼻子、下巴以及前额等区域与表情识别关联较 小，不作为本发明的研究范畴。

基于上述原理，本发明所述的一种基于置信区域和多特征加权融合的人脸 表情识别方法，其特征在于，如图1，包括如下步骤：

步骤1、对待识别的人脸表情图像进行标准化处理以获得人脸置信区域图像 及人脸区域图像，所述人脸置信区域图像至少包括眼睛眉毛区域图像和嘴部区 域图像；进一步优选的，所述步骤1中的标准化处理是指使用基于Adaboost的 人脸检测算法对待识别的人脸表情图像进行人脸及其置信区域图像检测并对检 测后的图像进行裁剪和几何、灰度归一化处理以获得标准的人脸置信区域图像 和人脸区域图像。

步骤2、对所述人脸置信区域图像及人脸区域图像进行特征提取以获得所对 应的初始特征，所述的初始特征至少包括基于二维Gabor小波(5个尺度以及8 个方向)对所述人脸区域图像进行特征提取所获得的人脸特征、基于优化投影 权重的HOG算子对所述人脸区域图像中的眼睛眉毛区域图像进行特征提取所获 得的眼睛眉毛特征以及基于HOG算子对所述人脸区域图像中的嘴部区域图像进 行特征提取所获得的嘴部特征；

步骤3、对所述初始特征进行降维及数据归一化处理后，基于置信区域先验 知识的加权融合公式，设置相应的加权系数α,β,χ，然后加权到相应的表情区域 当中，进而将人脸特征、眼睛眉毛特征以及嘴部特征组成融合特征F，所述加权 融合公式为

式中，最终的特征F表征为{α·f₁,β·f₂,χ·f₃}，采用加权系数加权后然后线性连接起来，作为最终的特征送入分类器，其中f₁,f₂,f₃分别表示经过降维及数据归 一化处理后的人脸特征、眼睛眉毛特征、嘴部特征，α,β,χ分别是与f₁,f₂,f₃相对 应的加权系数，且三者满足加权约束条件α+β+χ＝1和argmax|R|，R表示所设定 最终的分类识别率，代表其需要满足识别率最高的约束条件；综上所述可见融 合特征F作为一个整体，是由三个分部特征加权融合而成，并设置加权系数其和 为1，每个加权系数代表着每个部分的信息在整个表情图像中所占的比例，即反 映了各部分的先验概率，所以本发明所对应的融合方法是基于表情置信区域先 验概率的加权融合。同时对于人脸识别，眼睛区域特征占据主导地位，而对于 表情识别，嘴部区域更能反映表情差异。但是通过对JAFFE数据集裁剪图片的 观察可知，该数据集中同一类的表情图片，眼睛眉毛区域具有更加相似的特征， 占有更高的权重，嘴部区域部分图片同类表情反而相似性较差，不同个体之间 同类表情也有较大差异，不能作为主导特征，容易被误认为其他类别的表情， 所以基于以上分析，优选的，对于嘴部区域相应的先验概率χ应最小。

步骤4、将所述融合特征F作为分类识别特征，送入分类器进行识别；

步骤5、自识别后的特征数据中随机选择出若干个样本数据，以分别作为训 练集特征数据以及测试集特征数据并将所述训练集特征数据输入到GRNN神经 网络进行训练以获得相应的训练参数；鉴于已有的表情识别领域分类算法基本 上都集中在SVM、分类树、近邻算法以及卷积神经网络等算法，或多或少都存 在不足，为了针对传统分类器对小样本非线性数据拟合的局限性，通过对人脸 表情数据特点的分析，本步骤首次将GRNN神经网络分类器应用于人脸表情识 别领域，并结合上述融合特征作为其网络的输入，由于GRNN极强的非线性映 射能力以及很快的学习速度，因此其相较传统分类器能实现更优的分类性能。具体的，首先引入神经网络分类器概念，基于神经网络的研究在很大程度上是 受生物大脑仿生学的启发，它由一系列基本的人工神经元密集连接而成，每个 神经元的输入信号来自另外的神经元的输出，该神经元的输出又可以作为另外 神经元的输入，正如大脑可以不断调节神经元连接方式从而不断进步,人工神经 网络也可以通过不断调整连接权值使得网络与训练集拟合性更好。而GRNN神 经网络作为径向基神经网络的一种特殊形式，不仅继承了神经网络的基本特点， 还具有自己的一些优点，与目前流行的前馈网络相比，突出优势体现在以下几 点：(1)GRNN的网络结构相对简单，共有4层结构，去掉输入和输出层之外，只包含模式层求和层这2个隐含层。而模式层中隐藏单元的数量，与训练样本 个数相同，因此建模需要的样本较少，符合本发明研究对象的特点。(2)GRNN 的网络训练相对比较简单。网络连接权值的学习使用的是BP神经网络算法，由 于网络隐含层节点中的作用函数采用的是高斯函数，因此局部逼近较强，这也 是GRNN网络学习速度较快的原因。当训练样本通过模式层和求和层时，网络 的训练随即完成，前馈神经网络则需要较长的训练时间和较高的计算成本，所 以GRNN用于表情识别将会有较快的识别速度，从而提高算法的识别效率。(3) 由于GRNN网络结构简单，所以不需要对网络隐含层和隐含单元的个数进行预 测和估算，并且广义回归神经网络学习算法在训练时不用调整神经元之间的连 接权重，训练学习完全取决于样本数据。同时由于GRNN中人为可调参数很少， 只需要确定平滑因子，该特点使网络能够最大限度的避免主观因素对预测结果 的影响。(4)GRNN作为径向基神经网络的重要分支，具有很好的非线性映射 能力，人脸表情数据一般有多个类别，并且在原始空间是否线性可分也是未知， 对于这种不可控的条件，GRNN神经网络能够有较好的分类能力，分类结果更 加接近真实值。进一步优选的，将特征数据随机分成10份，每次取其中任意9份作为训练集特征，剩下的1份作为测试集特征，共计进行10次，同时保证所 有样本特征都经过训练和测试，并且测试集和训练集相互独立，将每次的训练 集特征输入GRNN神经网络进行训练得到结果，该算法直接拟合，而不需要进 行权值训练。如将两个JAFFE和CK+数据集对应的特征数据送入分类器，两个 人脸表情数据集样本在三维空间的分布情况如图2所示，图中不同标志代表不 同类别的表情样本，共有7种标志代表7种表情，两两分类的话，由于有的类 别样本混叠较为严重，很难找出线性空间的一个分类超平面将表情类别完全分开，所以对两个数据集不同类别分布的分析可知，表情样本数据并非完全线性 可分，而GRNN神经网络具有良好的非线性映射能力，因此基于GRNN神经网 络的表情分类，理论分析表明能够实现较好的分类效果。

步骤6、基于所述训练参数，采用GRNN神经网络中的密度函数对测试集 特征数据进行预测输出以获得最终的分类识别特征数据。进一步优选的，所述 步骤6中的密度函数若为已知数值而未知分布的密度函数，则使用Parzen非参 数估计方法对测试集特征数据进行预测输出，且窗口函数选择为高斯窗口，然 后设置参数光滑因子进而得到分类结果。

下述以具体的实现数据对本发明做进一步论述：首先本发明将Windows7 64 位系统、Matlab R2014a作为实验平台，实验数据采用JAFFE和CK+人脸表情 数据集的图像，融合特征对应的部分设置了以下四组实验，分别是加权不同置 信区域实验、加权参数的影响与分析、JAFFE数据集对比实验以及CK+数据集 对比实验。

1、实验参数设定：对于JAFFE人脸表情数据集，共有人脸表情图像230 幅，预处理的人脸表情图像大小为64×64，眼睛眉毛子区域尺寸为104×32，嘴部 子区域尺寸是56×32；提取特征的Gabor小波相关参数设置：给定Gabor滤波器 的卷积模版窗口大小为31×31，滤波器宽度取值2π，滤波器尺度选择5，方向设 置为8，共有40个不同方向或尺度的Gabor滤波器对人脸表情图像进行卷积， 得到数据维度是64×64×40，采样处理的采样因子为2；HOG算子选取4×4个像 素作为一个cell，方向直方图的方向个数设置为18，同时采用优化的投影权重 进行投影，经过LLE降维算法降低维度之后，进行基于置信区域的加权系数融 合，α,β,χ分别取值0.4、0.4和0.2。对于CK+数据集，共有327个带情感标签 的图像，本专利选取了其中237幅作为实验数据，人脸区域、眼睛眉毛区域、 嘴部区域尺寸分别设置为64×64、128×64以及56×32，Gabor滤波器的参数保持不 变，HOG算子选取8×8个像素作为一个cell，方向直方图方向个数设置为9，同 样采用优化的投影权重，降维之后进行加权系数融合得到最终特征，α,β,χ分别 取值0.4、0.2、0.4，这些取值的不同是根据不同数据集的先验信息以及实验数 据得到的，例如CK+数据集中，不同类表情嘴部区域特征区别较为显著，同类 表情相似性较高，更能产生判别力的特征，所以相应的加权系数就较高。

2、加权不同置信区域实验：本实验是基于JAFFE数据集人脸区域特征的基 础上，加权不同子区域即置信区域的实验，实验采用Gabor小波对人脸区域提 取特征，HOG算子对两个子区域分别提取特征，共有四种组合方式，第一组是 单独的人脸区域特征，第二组是人脸区域和嘴部区域的组合特征，第三组是人 脸区域和眼睛眉毛区域组合特征，第四组是人脸区域和以上两个子区域的组合 特征，采用十折交叉验证的方式进行实验，取随机一次分包结果(保证加权不 同区域的可比性)把数据集共210个样本数据随机分为10份，每次取其中九份 作为训练集剩下的一份作为测试集，循环10次，保证每一个样本都做过测试集和训练集，且训练集和测试集相互独立。总共产生了四组实验数据，将各类表 情的识别率及平均识别率进行比对，如表1和图3所示。

表1加权不同区域识别率对比

表1中显示了四组实验对于不同表情以及平均识别率的结果，从结果来看加 权不同的子区域会有不同的结果，单独人脸的识别率最低，而融合嘴部和眼睛 眉毛区域的识别率均高于单独的人脸区域，这说明了本发明基于子区域加权策 略的有效性及必要性，融合嘴部特征平均识别率低于融合眼睛眉毛的识别率， 这也验证了本发明基于先验信息加权的合理性，对于JAFFE表情数据集，眼睛 眉毛区域具有更多的表情信息，而嘴部区域同类表情差别较大，容易误判为其 他类表情，所以嘴部特征没有眼睛眉毛特征更具判别力，基于这种先验信息， 本发明给出最后一种融合眼睛眉毛和嘴部的加权特征，实验表明平均识别率最 高达到了97.14％，高于以上三种方法，验证了本专利算法的优越性。图3显示 了四种方法不同表情识别率的比较结果，四条折线分别代表四种组合方法，其 中，本发明给出的融合置信区域特征方法(第四种组合方式)在各个类别表情 的识别中表现均较为优异，对于中性、惊讶和生气类别的识别率达到了100％， 特别对于惊讶表情，较其他几种方法提升明显，平均识别率较均高于前面几种 组合方式，证明了本发明基于表情置信区域先验信息加权策略的正确性。

3、加权参数的影响与分析即分析加权参数对系统性能的影响：本实验基于 JAFFE人脸表情数据集，为了较为完整的讨论加权参数对识别率的影响，设置 了两组实验来分析这个问题，第一组通过分别改变嘴部、眼睛和人脸三个区域 加权系数，同时使另外两个部分加权系数保持相等，来观察嘴部、眼睛眉毛以 及人脸区域特征对表情识别性能的影响，旨在验证基于先验信息加权策略的正 确性。由于加权系数共有三部分，且每部分系数必须满足本文提出的公式(1) 如果讨论每个系数的变化会比较繁琐，所以设置第二组实验，选取具有代表性 的权重系数作为对比，思路就是保持任意一部分特征为较低权重，另外两部分 按照约束条件均分得到相应的加权系数，这样的好处就是通过对比可以得到每 部分的特征对于表情信息的重要程度，按照这种划分，共有三种权重分配方式， 方式一人脸和眼部特征占主导，弱化嘴部区域特征，方式二人脸和嘴部区域特 征占主导，弱化眼部区域特征，方式三眼部和嘴部区域特征占主导，弱化人脸 区域特征，通过这三种组合方式，可以得到表情子区域特征对于表情识别的贡 献率。本实验同样采用10折交叉验证的方式作为实验方法，然后基于同一种数 据划分方法，分别对以上两种实验方案进行实验，得到了图4和图5。图4中横 坐标表示不同区域的加权系数，纵坐标表示识别率，从图4(a)可知，随着嘴部区域所占权重逐渐变大，相应的人脸和眼部区域权重逐渐变小，代表正确识 别率的曲线(Accuracy，ACC)呈现出一个明显的递减趋势，而且当嘴部特征加 权系数最小为0.2时，对应的识别率却是最高的，图4(b)代表着改变眼部区 域加权系数对应的识别率曲线,该曲线有一个明显的上升和下降的趋势，类似于 抛物线的形状，而且当加权系数为0.4时对应的识别率达到最高。图4(c)是 调整人脸区域加权系数对应的融合特征识别率曲线，整体趋势也是类似抛物线 状，而且当系数等于0.35时对应的识别率最高。图4(a)、(b)和(c)横向比较，平均识别率(c)最大(b)次之(a)最小，说明人脸区域特征判别信息大于 眼睛区域大于嘴部区域，而且图4(a)和(b)纵向比较时，人脸区域特征所占 比例相等，当加权系数较小时，图4(a)识别率高于(b)，这是因为眼睛区域 相比嘴部区域占据更多的判别信息，当加权系数较大时，虽然两者识别率都在 下降，但是(b)的识别率明显高于(a)，同样说明了在两个子区域中，眼睛区 域比嘴部具有更多的表情信息。通过以上的分析可知，嘴部区域特征的信息对 于表情识别来说，占据的比重小于人脸和眼部眉毛区域特征，所以本发明基于先验信息的嘴部加权系数也必然小于眼部和人脸区域对应的权重，这也符合前 文对于JAFFE表情库裁剪结果的分析，即嘴部区域特征对于表情信息的占比应 该小于人脸和眼睛眉毛区域，验证了本发明对应的加权策略的合理性。图5是 选择了三种具有代表性的加权系数组合，三个区域(顺序依次为人脸、眼睛眉 毛以及嘴部区域)，组合一α,β,χ分别取值0.4、0.4、0.2，组合二分别取值0.4、 0.2、0.4，组合三分别取值0.2、0.4、0.4，由图可知三种组合识别性能依次为组 合一>组合二>组合三，基于以上分析，本发明设置基于子区域信息先验的加权 系数为组合一，保证识别性能最优。

4、JAFFE数据集实验对比与分析：本发明通过设置一组本算法和Gabor小 波的对比实验来验证本发明的优越性，数据集同样是基于构建的JAFFE表情数 据集，实验方式采用10折交叉验证，随机做10次，共有100次训练过程，通 过大量实验，保证实验数据的可信度，实验结果如表2和图6所示。

表2 JAFFE数据集十次十折交叉验证对比

通过表2可知，本发明基于子区域加权融合算法在JAFFE数据集做10次 10折交叉验证实验的平均识别率为95.8％，Gabor特征算法平均识别率为93.1％， 识别率提高了2.7个百分点。图6表示10次结果识别率的变化，横向比较时， 本发明平均识别率高于Gabor算法的识别率，纵向比较时，对于每一次的交叉 验证实验，本发明的加权融合特征表现均优于传统Gabor算法，验证了本发明 的优越性。以上实验都是基于JAFFE数据集，为了验证本专利算法的鲁棒性， 本实验使用CK+数据集，这个数据集共有327张序列图像有对应的情感标签， 随机选择236张图像作为样本，采用同样的人脸检测及裁剪预处理方式构建对 应的CK+数据集，同样选取七种表情，与JAFFE人脸表情库不同的是，多了蔑 视表情少了中性表情图像，这是因为CK+数据集没有中性表情的情感标签，然 后采用交叉验证的方法进行对比实验，共计进行十次，对比算法分别是本发明 基于置信区域加权融合算法和Gabor特征提取算法，实验结果如表3和图7所 示。

表3 CK+数据集十次十折交叉验证对比

由表3可知，基于CK+数据集的10次交叉验证实验中，Gabor特征平均识别 率为90.8％，采用本发明基于置信区域加权融合特征提取算法之后，10次试验 的平均识别率达到了95.3％，平均识别率提高了4.5个百分点，而且在图7中纵 向比较时，本发明的表现均优于传统的Gabor算法，证明了本发明的有效性及 鲁棒性。而分类器识别部分，设置以下三组实验，分别是GRNN算法参数对识 别率的影响实验、不同分类器在JAFFE数据集上的对比实验以及不同分类器在 CK+数据集上的对比实验。

5、GRNN算法参数对识别率的影响实验：首先讨论参数对识别率的影响， 通过调整GRNN神经网络分类器参数光滑因子σ，测试不同参数对识别率的影 响。本节、实验基于JAFFE表情数据集，并且经过本发明基于置信区域融合算 法得到的特征作为实验数据，采用十折交叉验证的实验方式，对样本数据进行 随机分包。为了分析参数变化的对识别率的影响，随机选取交叉验证结果作为 样本分包方式，保证参数变化时分包方式保持不变，测试参数在变化区间内对 应识别率的变化趋势，进而得到最优参数，实验结果如图8和表4所示。

表4不同参数对应的各个表情类别的识别率

图4表示GRNN参数对平均识别率的影响，由折线的走势可知，当光滑因 子小于0.1时识别率保持不变，而且达到最高，随着光滑因子的逐渐增大，相应 的识别率有逐渐递减的趋势，表4反映了不同参数对应的7种表情单独的识别 率变化，表格最后一列表示平均识别率大小，可以看出随着参数大小的增加， 各个类别的识别率也是呈现一个递减的趋势，因此根据实验结果能够确定 GRNN分类器的最优参数，即光滑因子小于0.1时，对应的识别率最佳，而且保 持不变，本发明最终取值0.015。

6、不同分类器在JAFFE数据集上的实验对比与分析：不同分类器对比实验 采用JAFFE数据集。本实验将支持向量集(SVM)和K最近邻(K-Nearest Neighbour，KNN)分类器作为对比算法，随机做十次十折交叉验证实验，经过 本发明基于置信区域融合算法得到的特征作为实验数据，送入分类器分别进行 预测输出，实验结果如图9所示。由图9可知，三种折线图分别代表三种分类 器在10次10折交叉验证实验中的表现，其中带倒三角的折线表示GRNN神经 网络分类器，带圆形的折线表示SVM分类器，带正三角的折线表示KNN分类 器，横坐标n表示交叉验证的次数，纵坐标表示的是识别率，本发明SVM分类 器选择的是RBF核函数，共有核函数自身参数γ以及错误代价系数C两个参数 需要确定，优化策略采用的是LibSVM中基于交叉验证和网格搜索的参数选择 方法，使用参数搜索工具grid.py以及本发明特征数据得到C和γ值分别为8和 0.0078125，KNN分类器最近邻个数取值为5。GRNN的表现要优于SVM和KNN 分类器，这是因为GRNN分类器非常适合小样本分类问题，而且非线性映射能 力较强。具体每种表情的识别率及平均识别率如表3所示。

表5 JAFFE数据集三种分类器对应的识别率

由表5可知，GRNN对于惊讶和生气表情的识别率明显高于SVM和KNN， 而且在10次结果的平均识别率中，GRNN大于KNN大于SVM，验证了本发明 算法的有效性。

7、不同分类器在CK+数据集上的实验对比与分析：为了测试算法在不同数 据集上的适应性，增加算法的可信度，本发明接下来测试算法在CK+数据集上 的表现，实验同样采用交叉验证的方式，和SVM以及KNN分类器进行比较， 实验结果如图10所示，图中三种折线图分别代表三种分类器在10次10折交叉 验证实验中的表现，其中带倒三角的折线表示GRNN神经网络分类器，带圆形 的折线表示SVM分类器，带正三角的折线表示KNN分类器，横坐标n代表交 叉验证的次数，纵坐标表示识别率，本例SVM分类器选择的是RBF核函数， 共有两个参数需要确定，分别是核函数自身参数γ以及错误代价系数C，优化策 略采用的是LibSVM中基于交叉验证和网格搜索的参数选择方法，使用参数搜 索工具grid.py得到C和γ值分别为32和0.0078125，KNN分类器最近邻个数取 值为5。CK+数据集实验结果表明，GRNN的表现要优于SVM和KNN分类器， 这是因为GRNN分类器非常适合小样本分类问题，而且非线性映射能力较强， 所以整体表现要优于KNN和SVM分类器。具体每种表情的识别率及平均识别 率如表6所示。

表6 CK+数据集三种分类器对应的识别率

由表6可知，与SVM和KNN相比，GRNN神经网络分类器对每类表情的 识别，表现优异，综合性能最佳，而且最终的平均识别率也达到了95.1％，实验 结果表明，在CK+数据集上本专利算法有较好的表现，验证了本发明的有效性， 从而表明将GRNN神经网络分类器用于表情识别是切实可行的。

从上述实验可知：根据人脸及其置信区域检测的结果，经过图像提取即裁剪 和预处理之后，得到人脸、眼睛眉毛以及嘴部三个区域，之后采用本发明提出 的一种基于置信区域和多特征的加权融合特征提取方法；即针对人脸图像存在 表情无关区域并且单一特征描绘不准确的特点，采用Gabor小波对人脸区域进 行特征提取，HOG对置信区域进行特征提取，通过研究置信区域在人脸表情中 的先验信息(敏感度)并且实验加以论证，最终给不同的置信区域设置相应权 值，得到加权融合特征。在不同数据集上进行实验，验证了本发明算法的有效 性。同时针对传统分类器识别效率不高，以及非线性映射能力较弱的缺点，本 发明提出构造一种GRNN神经网络分类器将应用于人脸表情识别领域的方法， 其将融合特征作为网络的输入，经过模式层和求和层之后训练随即完成，在不 同数据集上进行实验，验证了算法的有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本 发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护 范围之内。

Claims (2)

1.一种基于置信区域和多特征加权融合的人脸表情识别方法，其特征在于，包括如下步骤：

步骤1、对待识别的人脸表情图像进行标准化处理以获得人脸置信区域图像和人脸区域图像，所述人脸置信区域图像至少包括眼睛眉毛区域图像和嘴部区域图像；

步骤2、对所述人脸置信区域图像及人脸区域图像进行特征提取以获得所对应的初始特征，所述的初始特征至少包括基于二维Gabor小波对所述人脸区域图像进行特征提取所获得的人脸特征、基于HOG算子对所述人脸置信区域图像中的眼睛眉毛区域图像进行特征提取所获得的眼睛眉毛特征以及基于HOG算子对所述人脸置信区域图像中的嘴部区域图像进行特征提取所获得的嘴部特征；

步骤3、对所述初始特征进行降维及数据归一化处理后，基于加权融合公式将人脸特征、眼睛眉毛特征以及嘴部特征组成融合特征F，所述加权融合公式为

式中，f₁,f₂,f₃分别表示经过降维及数据归一化处理后的人脸特征、眼睛眉毛特征、嘴部特征，α,β,χ分别是与f₁,f₂,f₃相对应的加权系数，且三者满足加权约束条件α+β+χ＝1和argmax|R|，R表示识别率的约束条件即所设定的最终分类识别率；

步骤4、将所述融合特征F作为分类识别特征，送入分类器进行识别；

步骤5、自识别后的特征数据中随机选择出若干个样本数据，以分别作为训练集特征数据以及测试集特征数据并将所述训练集特征数据输入到GRNN神经网络进行训练以获得相应的训练参数；

步骤6、基于所述训练参数，采用GRNN神经网络中的密度函数对测试集特征数据进行预测输出以获得最终的分类识别特征数据。

2.根据权利要求1所述的方法，其特征在于：

所述步骤1中的标准化处理是指使用基于Adaboost的人脸检测算法对待识别的人脸表情图像进行人脸及其置信区域图像检测并对检测后的图像进行裁剪和几何、灰度归一化处理以获得标准的人脸置信区域图像和人脸区域图像。

Images