CN1601549A - 基于多特征融合的人脸定位与头部姿势识别方法 - Google Patents

Abstract

一种基于多特征融合的人脸定位与头部姿势识别方法，包括步骤：确定头部运动姿势状态量；人脸初定位；头部姿势预估计；确定头部位置和姿势。本发明提出了一个有效的人脸定位和姿势估计算法，可以实现在变化光照条件、移动场景下的人脸运动分析。算法的鲁棒性强，运算速度快，不依赖于特定人，在智能轮椅平台上进行了实施验证，效果较好。本发明通用性强，可以用于很多与人脸相关的系统，是实现智能人机交互的关键技术。

Description

基于多特征融合的人脸定位与头部姿势识别方法

技术领域

本发明涉及机器人视觉，特别涉及基于多特征融合的人脸定位与头部姿势识别方法。

背景技术

经过几十年的迅速发展，机器人领域的研究已逐渐系统化、成熟化。目前，各种类型的机器人在军事、工业、航天、交通、医疗及人类生活的各种服务性领域得到愈来愈广泛的应用。智能服务型机器人作为特种机器人的一种典型代表，其研究正逐渐得到国际和国内科技工作者的重视，成为当今机器人工业界的一个活跃的分支。服务型机器人泛指应用于人们日常工作与生活的各个领域，能对外界环境进行感知、交互，理解人们下达的命令，并协助人们完成某项任务的机器人装备。其表现类型多种多样，有智能轮椅、机器人秘书、导游机器人、医疗护理机器人、安防机器人等等。有关智能服务型机器人研究的共性与关键技术包括：基于视觉的人-机交互，多通道信息融合的感知接口，机器人自主导航，交互式导航与场景学习等等。

国际上，计算机界有关HCI(人机交互)的研究早已开展，并已形成完整的学科，而在机器人领域，随着信息处理、计算机视觉、语音处理等技术的逐渐成熟，对HRI(人机接口)的研究正迅速发展起来，成为现代机器人研究的一个热点。目前国际上比较有代表性的机器人有CMU-RI的AMELIA机器人；MIT-AI的FRANKIE机器人；NASA的RAG机器人；芝加哥大学的PERSEUS机器人；澳大利亚的WAM机器人等。

HRI领域中的一个基本的研究课题是机器人对使用者的面部表情和姿态进行分析和响应，其中关键的一步就是要求机器人能在自然场景下快速地定位人脸，并估计其头部姿势，这个问题也可称为多姿势人脸定位问题。目前，国际上有关多姿势人脸定位的算法大致可分为：基于面部特征点/区域几何关系的方法；  基于头部先验模型的方法；基于面部图像表现的子空间学习的方法等三大类型。将多姿势人脸定位的结果用于“人-机器人接口”方面的例子有两个：其一是日本Osaka大学的能按照人的头部姿态导航的智能轮椅，他们的方法首先利用颜色信息在图像中检测人眼位置，再分析两眼之间的相对距离得到头部姿势的估计值。这种检测人眼的方法显然不能适应环境的变化光照条件，并且姿势的估计结果较为粗糙。尤其是当使用者的头部姿势变化较大，面部特征产生自遮挡情况时，就更无法检测人眼了；其二是日本的Nara科技大学的智能轮椅，他们采用立体视觉系统实现对人的头部姿势的计算，他们的方法同样需要先检测人脸的面部特征点(如眼角，嘴角等)，再利用双摄像机匹配和投影几何关系得到确切的头部姿势。这种方法运算量较大，且需要双摄像机系统。

对比以上已有的系统，我们的方法采用单摄像机系统，通过将视频序列中，人脸的肤色、形状、纹理和运动等信息进行融合和统计学习，得到人脸的位置和姿势参数，从而实现对机器人的控制。该算法不需要事先检测人脸特征点，可靠性强，速度快，比较适合变化的光照、移动的背景等动态场景。其整体设计思路不同于已有成熟方法，在人-机器人感知接口方面有很强的应用性。

发明内容

本发明的目的是提供一种基于多特征融合的人脸定位与头部姿势识别方法，实现自然移动场景下的人脸定位与姿势估计，使机器人能够响应使用者有意识的头部姿态命令。

为实现上述目的，一种基于多特征融合的人脸定位与头部姿势识别方法，包括步骤：

确定头部运动姿势状态量；

人脸初定位；

头部姿势预估计；

确定头部位置和姿势。

本发明提出了一个有效的人脸定位和姿势估计算法，可以实现在变化光照条件、移动场景下的人脸运动分析。算法的鲁棒性强，运算速度快，不依赖于特定人，在智能轮椅平台上进行了实施验证，效果较好。本发明通用性强，可以用于很多与人脸相关的系统，是实现智能人机交互的关键技术。

附图说明

图1是智能轮椅；

图2是基于多特征融合的人脸定位与姿势估计算法流程；

图3是头部运动状态的定义及状态模式的归一化模式；

图4是IQ色彩空间中不同光照下肤色分布；

图5是基于肤色的先验分布示例；

图6是对不同光照下人脸图像进行2-D Gabor滤波的结果；

图7是对不同姿势下人脸图像进行2-D Gabor滤波的结果；

图8是头部姿势库中的几种样本；

图9是头部姿势库中的所有样本在Gabor特征空间的投影(前三维)；

图10是对点到簇中心距离的两段距离描述；

图11是不同姿势样本点的投影在两段距离空间中的分布；

图12是后验概率的推理与整体粒子采样的流程。

具体实施方式

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

确定头部运动姿势状态量

现有的关于人脸定位与姿势估计问题的方法通常做法是，预先定义多姿势的人脸模型或子空间模型，在图像中进行全区或局部搜索，找到最匹配的模式作为结果输出。然而，这种确定性的搜索方式对于自然场景下的噪声图像往往不能奏效，因为通常在这种情况下产生的局部最小点较多，很难达到全区最优。本发明的设计思想是通过定义头部运动状态模式，分析全局后验概率分布得到人头部的运动姿势，这种方式比较适合处理自然场景下的噪声图像，因而实际应用价值较大。

如果用有固定长短轴比例(k＝1.4)的2维椭圆模型近似人的头部，对于图3所示的4维头部运动，可定义状态量 $\stackrel{\→}{x}=(x_c,y_c,l,\mathrm{\φ})$ 表示使用者头部的运动姿势，此状态量可分为位置子状态 (椭圆中心点坐标x_c，y_c，长轴l)和姿势子状态 如果定义当前帧图像的观测为

则对于当前帧的头部运动状态的概率分布为

这个概率分布表达的即是对于当前图像，人脸位置和运动姿势的所有信息。由这个概率分布所确定的最优状态，就是我们要得到的当前图像中人脸位置和姿势结果。

如果将 作为后验概率，可以利用贝叶斯推理得到其表达如下：

$p\left(\stackrel{\→}{x}\right|\stackrel{\→}{z})=\mathrm{kp}\left(\stackrel{\→}{z}\right|\stackrel{\→}{x})p_0\left(\stackrel{\→}{x}\right)---\left(1\right)$

其中， 为先验概率， 为观测概率。本方法中头部姿势的观测概率通过对于人脸图像的灰度纹理特征的统计学习得到(参4.3)。而对于先验概率的定义，则结合了肤色、形状和运动等特征，从而得到了和后验概率分布较相似的先验概率分布，可以保证较准确地推理出后验概率(参4.2)。这样的处理可以将人脸的多种特征融合到一个对于头部姿势状态量的概率推理框架中，保证了当由于环境变化导致某一特征变化时，算法依旧能保证一定的准确性和可靠性。

人脸初定位

头部运动姿势先验概率的设计实际是解决人脸的初定位问题。在这一步，我们利用了人脸的肤色、形状和运动信息。由于状态可分成位置子状态

和姿势子状态 在假设两个子状态相互独立的前提之下，可将先验概率的定义分成位置子状态的先验分布和位置子状态的先验分布。

$p_0\left(\stackrel{\→}{x}\right)=p_0\left({\stackrel{\→}{x}}^{\left(\mathrm{\φ}\right)}\right)p_0\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)---\left(2\right)$

尽管人脸的肤色随着当前环境的光照变化而变化，但是其分布总体上是有一定的规律的(图4)。根据肤色的总体分布，本发明可以得到针对当前图像帧的特定肤色直方图模型，从而对图像进行肤色滤波(图5.2)。对于滤波后的肤色概率图，可计算其一阶矩和二阶矩实现椭圆拟合及其高斯分布(图5.3，图5.4)。这样，可得到基于肤色的位置子状态先验概率

$p_c\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)=N({\stackrel{\→}{x}}_0^{\left(\mathrm{\τ}\right)},{\mathrm{\Σ}}^{\left(\mathrm{\τ}\right)})---\left(3\right)$

对于由肤色信息产生的状态点，可以进一步利用形状信息加以约束。对于由某一状态确定的某椭圆环，在其上选取M个边界点，用一阶梯度算子计算各边界点法线方向的边缘点，这样，该椭圆环对于人脸实际椭圆的形状相似度，可以根据各法线上的边缘点与边界点的距离来度量。利用各状态的形状相似度作为权值，可以对状态点进行重新分布采样，从而得到更接近人脸实际状态的先验分布。

$p_0\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)=p_c\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)f_s\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)*p_r\left({\stackrel{\→}{x}}^{\left(\mathrm{\τ}\right)}\right)---\left(4\right)$

其中，

为形状度量函数， 为散布函数。

对于姿势子状态的先验概率的定义，可以考虑加入姿势的运动信息。假设前一帧的姿势为φ，按照运动平滑的假设，本帧的姿势应该满足以φ为均值的高斯分布

$p_0\left({\stackrel{\→}{x}}_t^{\left(\mathrm{\φ}\right)}\right)=\exp (-{({\stackrel{\→}{x}}_t^{\left(\mathrm{\φ}\right)}-E[{\stackrel{\→}{x}}_{t-1}^{\left(\mathrm{\φ}\right)}\left]\right)}^2/{2\mathrm{\σ}}_{\mathrm{\φ}}^2)---\left(5\right)$

这样，判断本帧姿势时，就可以有侧重地在与上一帧头部姿势较相似的姿势子空间中作判断，而不用依次对各个姿势子空间都加以判断，加快了计算速度。

上述的状态先验概率的定义融合了肤色、形状和运动信息，能够比较有效地逼近头部运动姿势的后验概率的分布，从而方便了后续的推理过程。

头部姿势预估计

头部运动姿势观测概率的设计实际是解决人脸的姿势估计问题。对于由人脸初定位得到的归一化图像模式，可以利用分析其灰度纹理表现得到其对于某头部姿势的观测概率值。这种基于表现的头部姿势估计的方法，直接将图像模式作为一个高维向量来处理，从而避免了检测人脸特征点(眼角、嘴角)这一步骤，减少了测量误差。但是，基于表现的方法也有其缺点，比如易受光照变化，表情变化等影响。这里，我们提出利用2维Gabor滤波来增强图像姿势信息，同时最大可能地去除光照等外界干扰的影响(图6)。经过试验，我们设计了适合提取头部姿势的2维Gabor滤波器，对于头部姿势角φ∈[-20°～+20°](右转为正，左转为负)，滤波器的方向为垂直，对于头部姿势角φ∈[-60°～+20°)和φ∈(20°～+60°)，滤波器的方向为接近水平(图7)。

利用上述设计的滤波器对我们采集的头部姿势库中所有图像(图8)进行2维Gabor小波的滤波，对其响应采用主分量分析的方法降维显示，发现相同姿势下的图像表现为结合很紧的簇(图9)。这表明针对姿势设计的滤波器可以有效地提取出人的头部姿势信息，并且，由于2维Gabor滤波器的带通特性，这种滤波器可以有效地去除由于光照引起的低频影响和不同人脸表现的个性化高频特征，所以分析图像表现的小波相应比直接分析图像灰度更有利于提高算法的鲁棒性和准确性。

为了进一步实现对不同姿势图像的特征分析，我们建立了一个有2730幅图像的中型数据库，其中包括30个人以13种不同姿势在不同光照条件下的图像。将这些图像按不同姿势进行2维Gabor带通滤波后，投影到一个统一子空间中，可发现相同姿势的投影点聚集为一个很紧的簇，按照姿势的变化，姿势簇有规律的排列为一个流型。有些研究者试图用某种参数来描述这个流型，这样，对于测试的样本点，就可以分析其最近流型点的参数从而得到头部的运动姿势。由于我们的分析基于不同姿势的小波相应的结果，如果在一个统一的子空间中进行分析，必然要对一个样本点进行多次滤波，导致很低的效率。因此，我们的作法是采用分段子空间的思路，对每个姿势建立一个特定子空间，将在统一子空间中的求点到流型的距离转化为点到特征子空间的欧式距离(DFFS)和特征子空间内的马氏距离(DIFS)的两段距离来描述(图10)。实验证明，在由某姿势确定的两段距离空间中，与此姿势相同或类似的样本点会聚集成较明显的簇，而其他姿势的样本则远离簇中心(图11)，这表现为很好的可分性。

在贝叶斯框架下，对于一个从某位置子状态

归一化而来的测试样本，我们可通过其姿势子状态 选择姿势子空间φ，计算其相对此子空间的两段距离，得到其在两段距离空间的投影，并计算此投影点相对姿势簇中心的距离d_φ。这样，可以定义由某状态 确定的样本的观测概率如下：

$p\left(\stackrel{\→}{z}\right|\stackrel{\→}{x})=\exp ({-d}_{\mathrm{\φ}}^2/{2\mathrm{\σ}}_{\mathrm{\φ}}^2)---\left(6\right)$

这样，对于由人脸初定位得到的归一化图像模式，可以计算该模式对于各个姿势子空间的观测概率，并将具有最大相似度的姿势子空间的值作为头部姿势预估计的结果输出。

确定头部位置和姿势

至此，我们讨论了针对头部运动姿势的先验概率、观测概率的设计，这样，我们就可以利用贝叶斯推理原则(公式1)得到状态的后验概率。在实际应用中，对于来自非约束场景的带噪声图像，后验概率的分布往往呈现为非线性、非高斯性，这样，经典的概率密度估计方法就不能奏效。因此，本发明采用粒子的因素化采样方法，对先验概率进行粒子采样，依次评估其观测概率，从而得到后验概率的蒙特卡罗近似。这样，人的头部运动姿势可以用最大后验概率的状态值或状态的概率均值等统计量来表示。

对于蒙特卡罗估计方法，先验概率的设计对整个算法的性能影响很大，由于本发明设计的头部运动姿势的先验概率考虑了人脸的肤色、形状和运动信息，比较接近后验概率的分布，保证了用较少的粒子也可有效地估计后验概率分布，这样，既保持了蒙特卡罗方法的鲁棒性，又保证了算法的快速性。算法具体的流程是：通过肤色检测的结果，生成先验概率的粒子集，再依次评估各个粒子的形状相似度，根据形状评估的结果重采样，得到粒子集的位置子状态值。再通过上下文的姿势运动信息(公式5)得到粒子集的姿势子状态值。这样就组成了由先验概率产生的粒子集，对此粒子集作散布操作之后，再对粒子集中每个粒子的观测概率进行计算(公式6)，最后将计算结果作为权值进行重采样，就得到了状态后验概率的分布，由这个后验概率得到的最优状态量即是当前头部运动的位置和姿势的确定值(图12)。

如前所述，目前国际上有关人脸检测与姿势估计的算法很多，用来分析图像的信息无非是肤色、形状、纹理和运动四大类，不同的方法对不同信息的利用程度和结合方式不同。比如，基于人脸几何特征分析的方法，往往利用到肤色、人脸特征点的灰度差和几何对称性等特征；基于模型的方法，往往利用投影后的模型点或线，其相对图像局部边缘梯度或区域的灰度差作为特征来定义目标函数；而基于表现的方法，则是将全局纹理特征作为一个高维向量来处理。这些方法的缺点是将人脸定位和姿势估计问题作为一个确定性的优化问题来求解，这种思路往往在实际场景中不能得到很好的应用，而且，在这些方法中，特征融合的方式通常是串行的，会导致一种特征的检测失败影响到最后的检测结果。

本发明的特色是，1)通过定义姿势运动状态空间，将多姿势人脸定位问题作为概率推导问题来处理，这种做法比确定性寻优的方式鲁棒性高，能比较好的描述自然场景下的图像，避免由于噪声干扰带来的局部最小的影响。2)将人脸的肤色、形状、纹理和运动特征的融合放在一个统一的贝叶斯框架来处理，即通过肤色、形状和运动特征定义比较能反映后验概率分布的先验概率，从而能用较少的例子得到对后验概率较好的近似。而观测概率的定义则应用了图像表现的灰度纹理统计特征，选择性2维Gabor滤波器的设计和分段子空间等概念，保证了观测概率的准确性和鲁棒性。

实施例

本发明讨论的人脸定位和姿势估计方法，可以广泛地应用到人机交互、情感计算、电视会议通讯和智能监控系统之中。下面以一个具体在服务型机器人上的应用为例。

利用头部姿势实现对智能轮椅的控制。

智能轮椅是为老年人和残障人专门设计的一类服务型机器人，用鼠标和键盘实现对智能轮椅的控制显然是不方便的，这里给出的示例是指利用视觉来分析使用者的头部运动姿势，实现对轮椅的控制。

当使用者坐在轮椅上时，轮椅上的摄像头开始拍摄人脸的运动图像。同时，人脸定位和姿势估计系统开始工作，实时估计人脸的运动状态。当人脸的运动符合预先定义的某个特定状态或状态轨迹时，轮椅的运动命令被触发，轮椅开始按照使用者的意图运动或给出语音提示。如：当头部左转到一定位置时，轮椅执行左转操作；当头部依次左转右转几个周期，表明使用者在说“停止”等等。具体的控制命令可以根据情况来定义。

Claims (9)

1.一种基于多特征融合的人脸定位与头部姿势识别方法，包括步骤：

确定头部运动姿势状态量；

人脸初定位；

头部姿势预估计；

确定头部位置和姿势。

2.按权利要求1所述的方法，其特征在于所述头部运动姿势状态量分成两个部分：

位置子状态

和姿势子状态

其中φ代表头部运动姿势。

3.按权利要求1所述的方法，其特征在于所述人脸初定位包括步骤：

将位置子状态

和姿势子状态 分成位置子状态

的先验分布和姿势子状态

的先验分布。

4.按权利要求3所述的方法，其特征在于所述位置子状态

的先验分布包括步骤：

获得当前帧的特定肤色直方图模型；

对图像进行肤色滤波；

计算一阶距和二阶距。

5.按权利要求4所述的方法，其特征在于所述用一阶梯度算子计算各边界点法线方向的边缘点。

6.按权利要求3所述的方法，其特征在于所述姿势子状态 的先验分布应满足下式：

$p_0\left({\stackrel{\→}{x}}_t^{\left(\mathrm{\φ}\right)}\right)=\exp (-{({\stackrel{\→}{x}}_t^{\left(\mathrm{\φ}\right)}-E\left[{\stackrel{\→}{x}}_{t-1}^{\left(\mathrm{\φ}\right)}\right])}^2/2{\mathrm{\σ}}_{\mathrm{\φ}}^2).$

7.按权利要求1所述的方法，其特征在于所述头部姿势预估计包括步骤：

采用2维Gabor滤波器提取头部姿势的，其中，φ∈[-20°～+20°](右转为正，左转为负)，滤波器的方向为垂直，对于头部姿势角φ∈[-60°～+20°)和φ∈(20°～+60°)，滤波器的方向为接近水平。

8.按权利要求1所述的方法，其特征在于所述头部姿势预估计包括步骤：

对每个姿势建立一个特定的子空间；

将在统一子空间中的求点到流型的距离转化为点到特征子空间的欧式距离和特征子空间内的马氏距离的两段距离。

9.按权利要求8所述的方法，其特征在于子空间分析并不直接基于图像灰度，而是利用2维Gabor滤波器组的滤波结果。

Images