CN109190490A - 基于小数据集下的面部表情bn识别方法 - Google Patents

Abstract

本发明涉及一种基于小数据集下的面部表情BN识别方法，首先提取面部表情图像的几何特征和HOG特征，经特征融合和归一化等处理构成动作单元（AU）标签样本集，其次构建面部表情识别BN结构，并将定性专家经验转化为BN条件概率之间的约束集合，随后引入目标函数,利用凸优化对最大化形式的目标函数求解，完成面部表情识别BN模型参数的估算，最后利用联合树推理算法识别出面部表情。与现有技术比较，本发明提出的面部表情识别方法可在小规模数据集的条件下大大提高了面部表情识别的精度，可广泛应用于人机交互、安保系统、医疗健康诊断、视频通信和驾驶员身份识别和疲劳驾驶等领域。

Description

基于小数据集下的面部表情BN识别方法

技术领域

本发明涉及人工智能、图像工程与安保系统等的目标识别应用领域，具体涉及一种基于小数据集下的面部表情BN识别方法。

背景技术

贝叶斯网络(Bayesian Network，BN)可以表示为B(G，θ)，其中G是一个具有n个节点的有向无环图，G中的n个节点代表n个随机变量，节点间的有向边代表随机变量之间的依赖关系；θ是与每个节点相关的条件概率表，表示为P(X_i|P_a(X_i))。θ定量地表达了节点X_i同其父节点P_a(X_i)之间的依赖程度，式(1)为BN的联合概率分布：

其中，P_a(X_i)表示G中X_i的父节点集合条件概率分布,P(X_i|P_a(X_i))表示包含在G中给定父节点值的变量的每个值的概率。

P(X_i|P_a(X_i))第k个概率值表示为θ_ijk＝P(X_i＝k|P_a(X_i)＝j)即是节点X_i的一个参数，其中，θ_ijk∈θ，1≤i≤n，1≤j≤q_i，1≤k≤r_i。r_i表示X_i的状态数量，q_i表示X_i父节点组合P_a(X_i)的势。显然，节点X_i一共有r_i×q_i个参数，它们构成了一个r_i×q_i维的矩阵，称之为节点X_i的参数θ，即条件概率分布表(Condition Probability Table,CPT)。

CPT准确高效地确定，是有效利用BN模型解决实际问题的基础。CPT学习是根据确定BN的结构(有向无环图)，利用样本信息与先验知识来学习结点变量的条件概率分布(条件概率表)。目前在BN的CPT学习的领域已经研究发展了许多经典实用的算法，但这些方法的实现和应用都是基于大规模数据集(完备或者经补充后完备)，而在实际工程应用中，受限于环境、材料、时间等因素，很多试验往往不能够多次重复，使得能够获得的试验数据较少，样本规模很小，这样的小样本数据集里能够表达的信息不够完整，由此进行的BN参数学习的准确性和可靠性无法保证。由此衍生出基于小样本数据集的BN的CPT学习，即BN模型参数建模问题的研究。

将问题域转化为BN模型表示后，便可利用BN理论完成推理任务。其中，联合树(Junction tree)算法是目前计算速度快、应用最广的BN精确推理算法之一。由于BN有机地结合了概率论与图论的理论成果，是解决不确定性和不完备信息问题处理的有效方法，是可应用于面部表情识别的理想工具。

发明内容

本发明的目的是提供一种基于小数据集下的面部表情BN识别方法，是一种利用面部表情动作单元(AU)小数据集进行贝叶斯网络结构与参数建模与推理的面部表情识别方法，利用动作单元(AU)小样本数据集与定性专家经验有机结合，完成面部表情识别BN的结构建模和参数建模，最后利用面部表情识别BN推理结果来反映面部表情的状态，提高了面部表情识别的准确性和有效性。

本发明所采用的技术方案为：

基于小数据集下的面部表情BN识别方法，其特征在于：

由以下步骤实现：

首先提取面部表情图像的几何特征和HOG特征，经特征融合和归一化等处理构成动作单元AU标签样本集；

其次构建面部表情识别BN结构，并将定性专家经验转化为BN条件概率之间的约束集合；

随后引入目标函数，利用凸优化对最大化形式的目标函数求解，完成面部表情识别BN模型参数的估算；

最后利用联合树推理算法识别出面部表情。

具体由以下步骤实现：

第1步：基于HOG方法提取面部表情的特征向量，经特征融合和归一化等处理构成相应的AU标签样本数据集D；

第2步：判断面部表情BN是否已经结构建模；若已建模，则跳转至第3步；否则，根据专家经验建立BN模型结构G；

第3步：判断BN参数CPT是否已经参数建模；若已参数建模，则跳转至第4步；若没有参数建模则利用参数学习算法，得到BN模型参数CPT；

第4步：在BN模型中，由D得到待识别的观测证据ev，利用联合树算法进行推理，从而得到面部表情属性概率Ω'；

第5步：判断目标属性概率Ω'是否大于等于阈值Ω；若不满足则返回第1步；若满足则输出面部表情属性，即面部表情识别结果。

第2步中，模型结构G具体为：

依次以父节点Expression作为14条有向边的箭尾，箭头分别指向子节点AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU12、AU15、AU17、AU23、AU24、AU25、AU27。

第3步中，参数学习算法的具体步骤为：

A、根据样本数据集D统计样本量N_ijk，即样本数据中父节点状态为j、第i个节点取第k个状态的统计值，再根据公式(2)计算得到θ_ijk；

若θ_ijk为0，则令θ_ijk＝0.002；

B、将专家经验根据公式(3)形成约束集合ξ；BN节点参数描述为等式和不等式集合，即：

其中，θ_A表示参数序列，α_A是相应的常数序列，α是一个常数且α≥0；

C、根据θ_ijk，约束集合ξ，即公式(3)以及目标函数公式(4)进行参数优化确定出BN参数CPT；

CPT求解利用凸优化求解工具完成，然后返回第1步。

本发明具有以下优点：

基于BN的面部表情识别方法，结构建模方面以有向边和条件概率表的形式分别描述了变量之间定性与定量依赖关系，表达形象直观，理论基础坚实，推理能力强大，是不确定性问题建模和推理的有效工具。本发明利用提取的面部表情图像的几何特征和HOG特征，经特征融合和归一化等处理构成动作单元(AU)标签样本集，基于BN理论中建模方法、学习算法和成熟的推理算法完成面部表情识别所需的建模和推理任务。在参数学习方面，充分利用了表情识别专家经验的等式和不等式约束条件，在一定程度上弥补了数据不足对参数学习精度的影响，又避免了对面部表情识别过程进行复杂的数学建模。与现有技术比较，本发明提出的面部表情识别方法可在小数据集的条件下大大提高面部表情识别的精度，可广泛应用于人机交互、安保系统、医疗健康诊断、视频通信、驾驶员身份识别和疲劳驾驶等领域。

附图说明

图1为本发明的流程图；

图2为本发明的BN模型结构图；

图3为本发明参数学习算法的流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明涉及一种基于小数据集下的面部表情BN识别方法，由以下步骤实现：

首先提取面部表情图像的几何特征和HOG特征，经特征融合和归一化处理构成动作单元AU标签样本集；

其次构建面部表情识别BN结构，并将定性专家经验转化为BN条件概率之间的约束集合；

随后引入目标函数，利用凸优化对最大化形式的目标函数求解，完成面部表情识别BN模型参数的估算；

最后利用联合树推理算法识别出面部表情。

上述方法的步骤具体为：

第1步：基于HOG方法提取面部表情的特征向量，经特征融合和归一化等处理构成相应的AU标签样本数据集D；

第2步：判断面部表情BN是否已经结构建模。若已建模，则跳转至第3步；否则，根据专家经验建立BN模型结构G，结构模型如图2所示，即依次以父节点Expression作为14条有向边的箭尾，箭头分别指向子节点AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU12、AU15、AU17、AU23、AU24、AU25、AU27；(动作单元AU含义可参见：Valstar M F,Almaev T,Girard J M,etal.FERA 2015-second facial expression recognition and analysis challenge[C]//IEEE,International Conference and Workshops on Automatic Face and GestureRecognition.2015:1-8)其中动作单元AU6表示“下嘴轮廓上翘”发生与否、AU25代表“双唇分开暴露牙齿”发生与否事件等；

第3步：判断BN参数CPT是否已经参数建模。若已参数建模，则跳转至第7步；否则利用如图3所描述的参数学习算法(第4步至第6步)，得到BN模型参数CPT；

第4步：根据样本数据集D统计样本量N_ijk，即样本数据中父节点状态为j、第i个节点取第k个状态的统计值，再根据公式(2)计算得到θ_ijk；

若θ_ijk为0，则令θ_ijk＝0.002；

第5步：将专家经验根据公式(3)形成约束集合ξ；BN节点参数可方便描述为等式和不等式集合，即：

其中，θ_A表示参数序列，α_A是相应的常数序列，α是一个常数且α≥0；

第6步：根据θ_ijk，约束集合ξ，即公式(3)以及目标函数公式(4)进行参数优化确定出BN参数CPT；

CPT求解可利用凸优化求解工具完成，然后返回第1步；

第7步：在BN模型中，由D得到待识别的观测证据ev，利用联合树算法(参见JudeaPearl著《Causality:Models，Reasoning and Inference(第2版)》，Cambridge UniversityPress,2009)进行推理，从而得到面部表情属性概率Ω'；

第8步：判断目标属性概率Ω'是否大于等于阈值Ω。若不满足则返回第1步；若满足则输出面部表情属性，即面部表情识别结果。

本发明使用的数据库是Cohn-Kanade表情数据库，选取6种基本表情的图像：1＝“快乐”，2＝“惊讶”，3＝“害怕”，4＝“愤怒”，5＝“厌恶”，6＝“悲伤”。凸优化求解选用的是CVX凸优化工具包(http://www.cvxr.com/cvx/)完成。

实验平台为Windows10系统，处理器为Intel CPU 2.6GHz，编程工具为MATLABR2014a。BN推理软件采用Kevin Murphy开发的Bayesian Network Tool(简称BNT)工具包。目标属性概率阈值Ω取0.78。

以下为具体操作时本发明的实现步骤：

第1步：基于HOG方法提取面部表情的特征向量，经特征融合和归一化等处理构成相应的AU标签样本数据集D。提取HOG特征：将112*112像素的图像，分解成14*14个8*8像素大小的cell，由2*2个cell组成一个block，可以得到12*12个block，每个block可以提取31维特征，于是每幅图像可得12*12*31＝4464维特征向量，采用主成分分析(PCA)降到1391维特征向量，再处理得到AU样本集。

可选的，利用OpenFace工具(参见：Baltrusaitis T，Robinson P，Morency LP.OpenFace:an open source facial behavior analysis toolkit[C]//IEEE WinterConference on Applications of Computer Vision.2016:1-10)构成AU样本集。

第2步：判断面部表情BN是否已经结构建模。若已建模，则跳转至第3步；否则，根据专家经验建立BN模型结构G，如图2所示，用面部表情作为父节点Expression，Expression有6个取值事件，分别对应着“快乐”，“惊讶”，“厌恶”，“愤怒”，“害怕”，“悲伤”的表情，分别用“1”，“2”，“3”，“4”，“5”，“6”表示；以14个AU作为子节点，每个AU有两个取值事件，分别为“不发生”和“发生”，用“1”，“2”表示。用有向边依次连接父节点和子节点，即依次以Expression作为14条有向边的箭尾，箭头分别指向AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU12、AU15、AU17、AU23、AU24、AU25、AU27；

第3步：判断BN参数CPT是否已经参数建模。若已参数建模，则跳转至第7步；若没有参数建模则利用如图3所描述的参数学习算法(第4步至第6步)，得到BN模型参数CPT；

第4步：根据样本数据集D，得到统计样本量N_ijk，即样本数据中父节点状态为j、第i个节点取第k个状态的统计值，再根据公式(2)计算得到θ_ijk；此处以AU25为例：N_i12表示在快乐的表情下，AU25节点“发生”的次数，再由公式(2)计算得到θ_ijk，若θ_ijk＝0，则令θ_ijk＝0.002，选取140组AU样本用于参数学习建模实验；

第5步：将专家经验根据实施例一中的公式(3)形成约束集合ξ；以AU25为例得到6组等式约束和4组不等式约束，如表1所示。编号1的解释为：根据专家经验，在“快乐”的表情下，AU25“发生”的概率与“不发生”的概率之和为1；编号7“P(AU25＝1|Expression＝1)-P(AU25＝2|Expression＝1)<0”的意义为：根据专家经验，在“快乐”的表情下，AU25“发生”的概率大于“不发生”的概率；类似的，可以得到形如公式(3)描述的一组约束集合ξ。

表1 AU25节点参数的约束集合

第6步：根据θ_ijk，约束集合ξ，即公式(3)以及目标函数公式(4)进行参数优化确定出BN参数，然后返回第1步，直至BN所有参数CPT全部求解完成，即BN建模完成，然后，进行第7步的识别过程。

第7步：在BN模型中，由D得到待识别的观测证据ev，利用BN推理算法进行推理，从而完成待识别类型节点信度Ω'更新；选取122组中任一组AU样本作为观测证据ev用于推理实验，完成面部表情识别任务；

可选的，利用Pearl的联合树算法进行完成推理；

第8步：判断目标属性概率Ω'是否大于等于阈值Ω＝0.78。若不满足则返回第1步；若满足则输出面部表情属性，即面部表情识别结果。

本用例中进行了小数据集下的BN结构建模和参数学习，通过对面部表情识别，验证了本发明提出的学习建模方法的正确性和有效性：

采用小样本集分别利用经典的支持向量机(Support Vetor Machine，SVM)法、卷积神经网络(Convolutional Neural Network，CNN)法、Adaboost法和本发明方法进行面部表情识别BN模型，利用联合树算法进行推理验证。推理识别结果列于表2。

表2算法识别率结果对比

对比表2可以看出：在小数据集条件下，用本发明方法正判率高于SVM法、CNN法、Adaboost法，说明了本发明方法正确性。在小样本条件下，仍然能够取得比较好的面部表情识别结果，表明本发明的方法在面部表情识别推理的有效性方面，具有较大的优势。

基于小数据集下的面部表情BN识别方法，适用于不确定性、动态的环境，该方法可大大提表情识别的识别率，是解决面部表情识别问题的有效途径，可广泛应用于人机交互、安保系统、医疗健康诊断、视频通信、驾驶员身份识别和疲劳驾驶等领域。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (4)

1.基于小数据集下的面部表情BN识别方法，其特征在于：

由以下步骤实现：

首先提取面部表情图像的几何特征和HOG特征，经特征融合和归一化等处理构成动作单元AU标签样本集；

其次构建面部表情识别BN结构，并将定性专家经验转化为BN条件概率之间的约束集合；

随后引入目标函数，利用凸优化对最大化形式的目标函数求解，完成面部表情识别BN模型参数的估算；

最后利用联合树推理算法识别出面部表情。

2.根据权利要求1所述的基于小数据集下的面部表情BN识别方法，其特征在于：

具体由以下步骤实现：

第1步：基于HOG方法提取面部表情的特征向量，经特征融合和归一化等处理构成相应的AU标签样本数据集D；

第2步：判断面部表情BN是否已经结构建模；若已建模，则跳转至第3步；否则，根据专家经验建立BN模型结构G；

第3步：判断BN参数CPT是否已经参数建模；若已参数建模，则跳转至第4步；若没有参数建模则利用参数学习算法，得到BN模型参数CPT；

第4步：在BN模型中，由D得到待识别的观测证据ev，利用联合树算法进行推理，从而得到面部表情属性概率Ω'；

第5步：判断目标属性概率Ω'是否大于等于阈值Ω；若不满足则返回第1步；若满足则输出面部表情属性，即面部表情识别结果。

3.根据权利要求1所述的基于小数据集下的面部表情BN识别方法，其特征在于：

第2步中，模型结构G具体为：

依次以父节点Expression作为14条有向边的箭尾，箭头分别指向子节点AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU12、AU15、AU17、AU23、AU24、AU25、AU27。

4.根据权利要求1所述的基于小数据集下的面部表情BN识别方法，其特征在于：

第3步中，参数学习算法的具体步骤为：

A、根据样本数据集D统计样本量N_ijk，即样本数据中父节点状态为j、第i个节点取第k个状态的统计值，再根据公式(2)计算得到θ_ijk；

若θ_ijk为0，则令θ_ijk＝0.002；

B、将专家经验根据公式(3)形成约束集合ξ；BN节点参数描述为等式和不等式集合，即：

其中，θ_A表示参数序列，α_A是相应的常数序列，α是一个常数且α≥0；

C、根据θ_ijk，约束集合ξ，即公式(3)以及目标函数公式(4)进行参数优化确定出BN参数CPT；

CPT求解利用凸优化求解工具完成，然后返回第1步。