CN103366153A - 一种面部语义认知特征识别方法 - Google Patents

Abstract

本发明公开了一种面部语义认知特征识别方法。包括以下步骤：面部语义认知特征构建步骤，抽取面部语义认知特征，建立面部语义认知特征与面部运动单元之间的映射关系；面部语义认知特征提取计算模型设计步骤，根据面部外显的生理特性，建立分层、动态、多分辨率的面部语义认知特征提取计算模型；面部语义认知特征提取实现步骤，利用多级阈值以及隐马尔可夫算法实现面部运动单元检测和面部语义认知特征提取。该方法借鉴人类认知经验实现面部外显的信息表征，可以使面部外显的信息描述更加符合人的主观认识。本发明用于人机交互领域，尤其是多模态人机交互领域的行为理解。

Description

一种面部语义认知特征识别方法

技术领域

本发明涉及人机交互行为理解技术领域，尤其涉及一种面部语义认知特征识别方法。

背景技术

人的面部包含了丰富的信息，是反映人类心理活动的重要指示器，也是人际交流中经常使用、不可或缺的表达方式，作为一种重要的非语言通道，对理解用户的态度和意图具有不可替代的重要作用。因此在多模态人机接口以及人机交互下的动作和行为理解等方面，面部外显的表征就成为一个重要的研究课题。

当前面部外显表征方法可以分为两大类：包括基于面部运动编码系统（Facial Action Coding System,FACS：面部运动编码系统）的符号描述与基于纹理、灰度、颜色、形状等的数学描述。上述描述的不足之处在于：(1)尽管大量研究都采用数学表达方式来表述面部线索，但是认知科学的研究成果表明：人类推理是典型的符号推理，数据驱动方式只有与模型推理相结合，才能取得更好的效果。(2)FACS运动单元（Action Units,AUs：运动单元）是描述精细面部肌肉运动的主流方式，研究者往往直接利用运动单元及其组合作为面部外显的表征。而在现实生活中，人们往往倾向于利用比肌肉运动更为直观/感性的方式来描述面部的状态，例如“目不转睛”、“目瞪口呆”、“摇头晃脑”、“呲牙咧嘴”等。可见，直接用面部肌肉运动来描述面部的运动还不是非常符合人类已有的认知机制。

发明内容

本发明解决的技术问题在于借鉴人类认知经验实现面部外显的信息表征（我们称之为面部外显的语义认知特征），从而使面部外显的信息描述符合人的主观认识，并建立面部外显语义认知特征提取的计算模型和实现方案。

为了解决以上问题，一种面部语义认知特征识别方法，包括以下步骤：

面部语义认知特征构建步骤，抽取面部语义认知特征，建立面部语义认知特征与面部运动单元之间的映射关系；

面部语义认知特征提取计算模型设计步骤，根据面部外显的生理特性，建立分层、动态、多分辨率的面部语义认知特征提取计算模型；

面部语义认知特征提取实现步骤，利用多级阈值以及隐马尔可夫算法实现面部运动单元检测和面部语义认知特征提取。

进一步，作为一种优选，所述面部语义认知特征提取实现步骤具体包括：

运动单元序列分割步骤，对面部运动单元进行时空分析，形成面部语义认知特征的输入序列；

模型训练步骤，利用训练样本集的运动单元序列获取隐马尔可夫模型参数和模型门限阈值；

认知特征检测步骤，输入运动单元序列和训练好的隐马尔可夫模型，判断该序列是否归属于模型所代表的面部认知语义特征。

进一步，作为一种优选，所述运动单元序列分割步骤，进一步包括：

预处理步骤，利用Ad boost算法检测每帧图像中是否包含人脸，然后利用主动形状模型（Active Shape Model，ASM：主动形状模型）算法计算人脸的面部关键特征点位置，利用面部关键特征点位置获取各种关键区域的位置；

帧内运动单元分析步骤，采用多级阈值决策法将面部信息映射为相应的运动单元符号描述；

帧间运动单元检测步骤，对上述帧内运动单元进行时域分析，采用最大值法将每F1帧的帧内运动单元映射成1个帧间运动单元。

进一步，作为一种优选，所述运动单元序列分割步骤具体为：对视频流中出现的帧内运动单元采用多级阈值决策法进行识别，并暂存识别结果；当输入流里的帧内运动单元长度达到F₁时，就触发一个帧间运动单元检测事件；当帧间运动单元长度积累到F₂时，则形成一个面部语义认知特征输入序列。

进一步，作为一种优选，所述最佳阈值确定具体为：所有阈值的最优值均采用遍历法确定，也就是说在每个阈值的取值范围内，以一定的步长遍历所有可能的取值，取识别率最高的一组参数作为最终的阈值参数。

进一步，作为一种优选，所述隐马尔可夫模型（Hidden Markovmodel,HMM：隐马尔可夫模型）参数获取步骤，采用Baum-welch算法进行，为每个认知特征建立了1个隐马尔可夫模型，拓扑结构为遍历型HMM拓扑结构，在模型训练过程中，采用经验最小概率法确定概率门限阈值。

进一步，作为一种优选，所述模型概率门限阈值训练步骤具体为：

将训练样本的N条帧间运动单元序列{AU_i[1:F₂]}依次通过Baum-welch算法，得到每个序列AU_i[1:F₂]属于该类HMM的概率P_i；

计算所有观察序列输出概率值集合P={P_i}的均值m与标准方差σ，

$m=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{P}_i/N$

${\mathrm{\σ}}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(P_i-M)}^2/(N-1);$

排除偏差大于2倍方差的概率值，得到新的输出概率值集合P'={P_i|{|P_i-m|)≤2σ}；

将新集合P'的最小值作为该类HMM的门限阈值δ＝min{P_j∈P′}。

进一步，作为一种优选，所述认知特征检测步骤具体为：输入的帧间运动单元流作为观察序列送入训练好的某个隐马尔可夫模型，计算出观察序列属于该模型的概率，如果该后验概率大于给定的阈值，则将该序列归属于该模型所代表的面部语义认知特征。

进一步，作为一种优选，所述判断一个观察值序列是否属于某种面部语义认知特征的具体步骤如下：

由当前视频流中提取一个运动单元序列AU_i[1:F₂]作为一个隐马尔可夫模型检测过程的输入变量；

采用Viterbi算法，利用训练好的隐马尔可夫模型，得到该序列属于该模型的概率P_i；

根据P_i与该模型阈值δ的关系判断当前时间段内是否包含该面部语义认知特征：若P_i＞δ，则判定当前时间片包含该类型的面部语义认知特征；

重复上述3个步骤，直至对当前时间片内的视频流进行了所有认知特征的判决；

重复步骤上述4个步骤，直至整个视频流结束。

本发明的有益效果在于，借鉴人类认知经验实现面部外显的信息表征（我们称之为面部外显的语义认知特征），从而使面部外显的信息描述符合人的主观认识。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1本发明实施例识别方法流程图；

图2本发明面部语义认知特征提取实现步骤流程图；

图3为运动单元序列分割步骤实施例流程图；

图4为面部语义认知特征与面部运动编码系统中面部运动单元的映射关系示意图；

图5为面部语义认知特征分析模型示意图。

具体实施方式

以下参照图1-5对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，一种面部语义认知特征识别方法，包括以下步骤：

S1、面部语义认知特征构建步骤，抽取面部语义认知特征，建立面部语义认知特征与面部运动单元之间的映射关系；

S2、面部语义认知特征提取计算模型设计步骤，根据面部外显的生理特性，建立分层、动态、多分辨率的面部语义认知特征提取计算模型；

S3、面部语义认知特征提取实现步骤，利用多级阈值以及隐马尔可夫算法实现面部运动单元检测和面部语义认知特征提取。

如图2所示，所述S3步骤进一步包括：

S31、运动单元序列分割步骤，对面部运动单元进行时空分析，形成面部语义认知特征的输入序列；

S32、模型训练步骤，利用训练样本获得隐马尔可夫模型参数和模型门限阈值；

S33、认知特征检测步骤，输入运动单元序列和训练好的模型，判断该序列是否归属于该模型所代表的面部语义认知特征。

如图3所示，所述S31步骤进一步包括：

S311、预处理步骤，利用Ad boost算法检测每帧图像中是否包含人脸，然后利用ASM算法计算人脸的面部关键点位置，利用面部关键点位置获取各种关键区域的位置；

S312、帧内运动单元分析步骤，采用多级阈值决策法将面部信息映射为相应的运动单元符号描述；

S313、帧间运动单元检测步骤，对帧内运动单元进行时域分析，将F1帧的帧内运动单元映射成一个帧间运动单元。

面部语义认知特征及其描述：

采用符合人主观认识经验的方式描述面部外显信息。经过资料查阅、观察与讨论，我们抽取了如下几种常见的面部语义认知特征：点头（head nod）、摇头（head shake）、转头（head turn）、偏头（headtilt），咧嘴（lip corner pull）、嘟嘴（lip pucker）、张嘴（mouth open）、呲牙（teeth present）、闪眉（eyebrow flash）、目光移动（eye move）和注视（eye stare）。目前，面部运动单元编码系统是一种公认的可对面部运动进行客观、可靠和量化的评价手段，它还能够用来区分面部运动的一些微小差异，已经成为一种测量面部行为的主流方法。因此我们选择利用面部运动编码系统运动单元来构建面部语义认知特征。根据每种认知特征的特点以及肌肉运动的特点，我们确立了他们与相应的运动单元之间的映射关系，如图4所示，图中的AU51表示运动单元在面部运动编码系统运动单元编码系统中的具体编号。

面部语义认知特征的分析模型：

如图5所示，人的心理活动是一个典型的动态过程，具有短时稳定性的特点，根据面部外显的动态性与短时稳定性的特点。

整个模型主要分为4部分：预处理、帧内运动单元分析、帧间运动单元检测以及面部语义认知特征识别。其中预处理主要是获取各种关键区域的位置，帧内运动单元分析则根据人脸各个关键区域的形状、纹理等特征，将面部信息的数学描述映射为相应的面部运动编码系统运动单元定性符号描述。帧间运动单元检测则完成F1帧内的运动单元类型检测，最后利用时序信号分析方法将某个时间段内的帧间运动单元特征序列转换为面部语义认知特征。

假设某种基本运动单元表示为

（其中下标k表示运动单元的类型编号，i表示第i（1≤i≤F₁）帧图像的基本运动单元，Z_k[t]表示1个F1时间片内的帧间运动单元，t表示底层第t个时间片，Y_j表示第j种面部语义认知特征，则整个过程可以描述为：对每帧图像，根据预处理过程获取各个运动单元区域子图像，然后根据每个子区域的形状、灰度以及纹理等信息，计算基本的帧内运动单元分析

每F₁帧图像的运动单元编码

经非线性映射后输出1个时间片的帧间AU特征Z_k[t]；每F₂个帧间时间片信息组成1个高层认知特征的输入信号，经某种识别算法，输出该时间片的认知行为特征Y_j[t]。

面部语义认知特征识别：

基本运动单元检测：

采用阈值法实现运动单元的检测。

头部运动单元检测：

假设鼻子中心点的坐标为(x_n,y_n)，整个特征点的中心坐标为(x_g,y_g)，D为两眼间距离，(x_p1,y_p1)和(x_p2,y_p2)分别表示两个眼睛的中心坐标，H_α、H_β和H_γ分别表示三组头部运动单元决策的阈值常数，则头部运动单元的判决方法如表1所示。

表1帧内头部运动单元识别方法

如果每组的输出分别在(-H_α，+H_α)、(-H_β，+H_β)与(-H_γ，+H_γ)之间，则输出null，表明头部处于该组的中间状态。

唇部运动单元检测：

假设L为自然表情下的嘴唇长度，L_a和L_β为两个阈值常数，则唇部运动单元的检测方法可以描述为：

嘴部运动单元检测：

假设H为嘴巴自然闭合时的距离，H_β表示嘴巴最小开度的经验阈值，h＝|p₆₄.y-p₆₁.y|/H表示当前帧中内嘴唇距离与自然嘴唇的高度之比，g₀表示嘴巴区域中分别属于牙齿的灰度阈值，n_t表示属于牙齿的像素总数，N为当前帧嘴部区域的像素之和，n_a和n_β分别表示两个嘴巴牙齿露出与否的百分比经验阈值，则嘴部运动单元检测算法可以描述为：

眉毛运动单元检测：

利用眉毛与眼角/下眼皮的位置变化来检测眉毛运动单元。假设E为眉毛自然状态时关键点22到27、点23到30、点24到27的距离之和，则眉毛运动单元的检测方法可以描述为：

眼睛视线运动单元检测：

为了精确描述眼球的运动，我们在伊克曼博士所提的4种基本视线运动单元的基础上，将其扩展成9种，即居中、偏左、偏右、偏上、偏下、左上、左下、右上、右下。若瞳孔位置为(C_x，C_y)，眼睛中心的横、纵坐标值(p_c.x，p_c.y)，令dx＝p_c.x-C_x，dy＝p_c.y-C_y，lx＝p₂₉.x-p₂₇.x，ly=p₃₀.y-p₂₈.y，Δw=dx/lx，Δh＝dy/ly，E_a和E_β是两个眼睛区域判断阈值，视线运动单元的判决规则如表2所示。

表2视线运动单元测量方法

视线AU	X轴	Y轴
			null	-Ea≤Δw≤Ea	-Eβ≤Δh ≤Eβ
AU61	Δw>Eα	-Eβ≤Δh≤Eβ
			AU62	Δw<-Eα	-Eβ≤Δh≤Eβ
AU63	-Eα≤Δw≤Eα	Δh>Eβ
			AU64	-Eα≤Δw≤Eα	Δh<Eβ
AU61+64	Δw>Eα	Δh<Eβ
			AU61+63	Δw>Eα	Δh>Eβ
AU62+64	Δw<-Eα	Δh<Eβ
			AU63+64	Δw<-Eα	Δh>Eβ

最优阈值的确定：

所有阈值的最优值均采用遍历法确定。也就是说在每个阈值的取值范围内，以一定的步长遍历所有可能的取值，取识别率最高的一组参数作为最终的阈值参数。

帧间运动单元检测：

为了满足实时性应用的需求，采用最大值法实现帧间运动单元决策。也就是说，每F₁帧统计一次属于某种运动单元的帧数，将当前F₁帧的运动单元类型判别为拥有最多帧数的类型。

基于HMM的面部语义认知特征识别：

面部语义认知特征采取HMM进行分析，其识别过程可以分为运动单元序列分割、模型训练以及认知特征检测。

运动单元分割序列是指对视频流中出现的帧间运动单元进行识别，并暂存识别结果。当输入流里的帧内运动单元长度达到F₁时，就触发一个帧间运动单元检测事件；当帧间运动单元长度积累到F₂时，则形成一个面部语义认知特征的输入序列。

训练过程采用Baum-welch算法进行。为了便于增加新的面部语义认知特征（不需重新训练已有的模型），为每个认知特征建立了1个隐马尔可夫模型，拓扑结构为遍历型HMM拓扑结构。在模型判定过程中，采用经验最小概率法确定概率门限阈值，其过程可以描述为：

(1)将训练样本的N条帧间运动单元序列{AU_i[1:F₂]}依次通过Baum-welch算法，得到每个序列AU_i[1:F₂]属于该类HMM的概率P_i。

(2)计算所有观察序列输出概率值集合P＝{P_i}的均值m与标准方差σ。

$m=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{P}_i/N$

${\mathrm{\σ}}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(P_i-M)}^2/(N-1)$

(3)排除偏差大于2倍方差的概率值，得到新的输出概率值集合P'={P_i|{|P_i-m|)≤2σ}

(4)将新集合P'的最小值作为该类HMM的门限阈值δ=min{P_j∈P′}。

检测过程就是将输入的帧间运动单元流作为观察序列送入训练好的隐马尔可夫模型，计算出观察序列属于该模型的概率，如果该后验概率大于给定的阈值，则将该序列归属于模型所代表的面部状态中去。判断一个观察值序列是否属于某个面部语义认知特征的具体步骤如下：

(1)由当前视频流中提取一个运动单元序列AU_i[1:F₂]作为一个HMM检测过程的输入变量。

(2)采用Viterbi算法，利用训练好的隐马尔可夫模型，得到该序列属于该模型的概率P_i。

(3)根据P_i与该模型阈值δ的关系判断当前时间段内是否包含该面部语义认知特征：若P_i＞δ，则判定当前时间片包含该种面部语义认知特征。

(4)重复步骤(1)-(3)，直至对当前时间片内的视频流进行了所有认知特征的判决。

(5)重复步骤(1)-(4)，直至整个视频流结束。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (9)

1.一种面部语义认知特征识别方法，其特征在于,包括以下步骤：面部语义认知特征构建步骤，抽取面部语义认知特征，建立面部语义认知特征与面部运动单元之间的映射关系；

面部语义认知特征提取计算模型设计步骤，根据面部外显的生理特性，建立分层、动态、多分辨率的面部语义认知特征提取计算模型；

面部语义认知特征提取实现步骤，利用多级阈值以及隐马尔可夫模型算法实现面部运动单元检测和面部语义认知特征提取。

2.根据权利要求1所述的一种面部语义认知特征识别方法，其特征在于，所述面部语义认知特征提取实现步骤具体包括：

运动单元序列分割步骤，对面部运动单元进行时空分析，形成面部语义认知特征的输入序列；

模型训练步骤，利用训练样本集的运动单元序列获取隐马尔可夫模型参数和模型门限阈值；

认知特征检测步骤，输入运动单元序列和训练好的隐马尔可夫模型，判断该序列是否归属于某个模型所代表的面部认知语义特征。

3.根据权利要求2所述的一种面部语义认知特征识别方法，其特征在于，所述运动单元序列分割步骤，进一步包括：

预处理步骤，利用Ad boost算法检测每帧图像中是否包含人脸，然后利用主动形状模型算法计算人脸的面部关键特征点，最后利用面部关键特征点获取各种关键区域的位置；

帧内运动单元分析步骤，采用多级阈值决策法将面部信息映射为相应的运动单元符号描述；

帧间运动单元检测步骤，对上述帧内运动单元进行时域分析，采用最大值法将每F1帧的帧内运动单元映射成1个帧间运动单元。

4.根据权利要求书2所述的一种面部语义认知特征识别方法，其特征在于，所述运动单元序列分割步骤具体为：对视频流中出现的帧内运动单元采用多级阈值决策法进行识别，并暂存识别结果；当输入流里的帧内运动单元长度达到F₁时，就触发一个帧间运动单元检测事件；当帧间运动单元长度积累到F₂时，则形成一个面部语义认知特征输入序列。

5.根据权利要求书4所述的一种面部语义认知特征识别方法，其特征在于，所述最佳阈值确定具体为：每个运动单元的最优阈值均采用遍历法确定，也就是说在每个阈值的取值范围内，以一定的步长遍历所有可能的取值，取识别率最高的一组参数作为最终的阈值参数。

6.根据权利要求书2所述的一种面部语义认知特征识别方法，其特征在于，所述隐马尔可夫模型参数获取步骤，采用Baum-welch算法进行，为每个认知特征建立了1个隐马尔可夫模型，拓扑结构为遍历型隐马尔可夫模型拓扑结构，在模型训练过程中，采用经验最小概率法确定每个模型的概率门限阈值。

7.根据权利要求书2所述的一种面部语义认知特征识别方法，其特征在于，所述模型门限阈值步骤具体为：

将训练样本的N条帧间运动单元序列{AU_i[1:F₂]}依次通过Baum-welch算法，得到每个序列AU_i[1:F₂]属于该类隐马尔可夫模型的概率P_i；

计算所有观察序列输出概率值集合P＝{P_i}的均值m与标准方差σ，

$m=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{P}_i/N$

${\mathrm{\σ}}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(P_i-M)}^2/(N-1);$

排除偏差大于2倍方差的概率值，得到新的输出概率值集合

P'={P_i|{|P_i-m|)≤2σ}；

将新集合P'的最小值作为该类隐马尔可夫模型的门限阈值δ=min{P_j∈P'}。

8.根据权利要求书2所述的一种面部语义认知特征识别方法，其特征在于，所述认知特征检测步骤具体为：输入的帧间运动单元序列作为观察值序列送入训练好的隐马尔可夫模型，计算出观察序列属于该模型的概率，如果该后验概率大于给定的门限阈值，则认为该序列属于该模型所代表的面部语义认知特征。

9.根据权利要求书8所述的一种面部语义认知特征识别方法，其特征在于，所述判断一个观察值序列是否属于某种面部语义认知特征的具体步骤如下：

由当前视频流中提取一个运动单元序列AU_i[1:F₂]作为一个隐马尔可夫模型检测过程的输入变量；

采用Viterbi算法，利用训练好的隐马尔可夫模型，得到该序列属于该模型的概率P_i；

根据P_i与该模型阈值δ的关系判断当前时间段内是否包含该面部语义认知特征：若P_i>δ，则判定当前时间片包含该种面部语义认知特征；

重复上述3个步骤，直至对当前时间片内的视频流进行了所有认知特征的判决；

重复步骤上述4个步骤，直至整个视频流结束。

Images