CN102087703B - 确定正面的脸部姿态的方法 - Google Patents

Abstract

本公开提供了使用脸部的对称性来确定正面的脸部姿态的方法，其包括：在图像中检测脸部区域；在所检测的脸部区域中检测眼部区域；标准化脸部区域；分析标准化的脸部区域中的对称性；以及基于对称性分析确定脸部姿态是否是正面的脸部姿态。

Description

确定正面的脸部姿态的方法

技术领域

本发明总体上涉及用于确定正面的脸部姿态的方法，并且更具体地，涉及通过使用脸部的对称性来确定正面的脸部姿态的方法。

背景技术

通常，物理量化脸部姿态要求知道三个方向轴的旋转信息-偏转(yaw)、俯仰(pitch)和侧倾(roll)。然而，由于通过照相机输入的图像信息被投影到二维(2D)平面上，在实践中轴的测量是不可能的。结果，对这样的方案已经展开研究，在该方案中，脸部的形状以类似于圆柱体的三维(3D)形式建模，计算与图像投影平面的关系，然后估计脸部的姿态。然而，该方案不得不重复计算模型与投影平面之间的关系逆矩阵，这要求大量的处理时间和并具有较高的复杂度。因此，该方案不能被应用于嵌入式环境中的实时应用，因为这样的系统的性能关于测量值具有10度的允许误差(tolerance error)。

已经对用于检测或跟踪检测到的脸部中的多个特征点(例如眼睛、鼻子、嘴等)并使用它们之间的几何关系(例如距离、角度、面积等)来估计脸部的姿态的方法(“基于特征点跟踪的方法”)展开了许多研究。这种方法在速度方面比基于圆柱体模型的方法更具优势，但是几何姿态估计方法只有在必须独立检测每个特征点并且必须确保所检测位置的准确性时才有意义，由此使得计算量不小，并且该方法的性能可能并不优于基于圆柱体模型的方法。

上述方法被用来估计脸部的姿态(即，偏转、俯仰或侧倾)，并且通常用于解决确定姿态是否是正面的脸部姿态这一问题的方法大多通过学习来实现。换句话说，定义正面的脸部姿态的可能范围，大量收集对应于正面脸部姿态的学习数据和对应于非正面脸部姿态的学习数据，然后通过学习方法设计能够最大限度区分学习数据的分类器。为此，经常使用诸如神经网络或支持矢量机(Support Vector Machine，SVM)的模式识别方法。

然而，用于分析脸部姿态的传统方法需要可观的计算时间。基于模型的方法很难应用到单个图像，甚至对于移动图像也必须定期地纠正错误。出于 这个原因，基于模型的方法不适合要求实时姿态分析功能的嵌入式系统。基于特征点跟踪的方法需要以准确检测必要特征点为基础，并且具有较高的误差率，且在实时生成结果方面存在困难。

利用脸部对称性对脸部进行分析的传统方法已经被用于检测图像中的脸部区域，但是这些方法由于脸部对称性而对脸部姿态有所限制，从而在实践中具有许多问题。

发明内容

因此，本发明的方面提供使用脸部对称性来确定正面脸部姿态的方法。

根据本发明的一个方面，提供了用于确定正面的脸部姿态的方法。该方法包括：在图像中检测脸部区域；在所检测的脸部区域中检测眼部区域；标准化脸部区域；分析标准化的脸部区域中的对称性；以及基于对称性分析确定脸部姿态是否是正面的脸部姿态。

附图说明

通过以下结合附图的具体说明，本发明实施例的上述和其他特征和有益效果将变得更明显，附图中：

图1是例示根据本发明的实施例的用于确定正面的脸部姿态的方法的流程图；

图2是例示图1的脸部标准化过程的流程图；

图3是例示图1的对称性分析过程的流程图；

图4至图5B是例示图2的眼部区域检测过程的示图；

图6是例示图2中的应用了掩模的图像的示图；

图7A至图7E是例示图2中的安排了脸部的图像和应用了掩模的图像的示图；

图8A至8C是例示旋转不变性局部二值模式(Rotation-invariant Local BinaryPattern，Ri-LBP)的示图；以及

图9A至图9C是例示图1的对称性分析过程的示图。

具体实施方式

将参考附图详细说明本发明的实施例。附图全文中相同的附图标记表示 相同的元件。

图1是例示根据本发明的实施例的用于确定正面的脸部姿态的方法的流程图。

参考图1，如果在步骤100在正面的脸部姿态确定模式下输入图像，则在步骤200控制器(未示出)检测图像的输入并且从输入图像中检测脸部区域。

控制器使用基于Adaboost学习模式的窗口扫描方案(Adaboost learningpattern-based window scan scheme)利用输入图像形成具有N级的金字塔，然后扫描从每个金字塔图像学习的脸部窗口以搜索候选图像。然后，合并在候选图像中位于相似位置的对象以确定和检测脸部区域。

一旦控制器在步骤200检测到脸部区域，控制器就在步骤300从所检测的脸部区域中检测眼部区域。

在步骤300，控制器如图4所示在包括脸部区域的方形脸部区域401中分配左眼区域402a和右眼区域402b。

左眼区域402a和右眼区域402b是用于扫描左眼和右眼的候选区域，并且用来在脸部姿态(例如侧倾角)在图像平面上旋转时提高发现眼睛的概率。

因此，控制器分析脸部区域中的根据脸部姿态而改变的眼睛周围的边缘方向，以检测侧倾角的旋转方向(顺时针或逆时针方向)，并且根据所检测的侧倾角的旋转方向调整左眼区域402a或右眼区域402b。根据侧倾角的旋转方向，左眼区域402a或右眼区域402b的调整值事先存储在存储器中。

图5A和图5B是例示根据侧倾角的旋转方向调整左眼区域402a或右眼区域402b的示图。

当脸部姿态向顺时针方向倾斜时，如图5A所示，控制器通过分析脸部区域中眼睛周围的边缘方向来检测侧倾角的旋转方向，并且根据所检测的侧倾角的旋转方向向上调整左眼区域402a。

当脸部姿态向逆时针方向倾斜时，如图5B所示，控制器通过分析脸部区域中眼睛周围的边缘方向来检测侧倾角的旋转方向，并且根据所检测的侧倾角的旋转方向向上调整右眼区域402b。

当在步骤300中通过根据侧倾角的旋转方向调整左眼区域402a或右眼区域402b检测到眼睛之后，控制器在步骤400标准化所检测的脸部区域。

将参考图2具体说明步骤400的脸部标准化过程。

参考图2，控制器在步骤401安排在所检测的脸部区域中的脸部的位置。

在步骤401，控制器将所检测的眼部区域中的眼睛的位置移动到预设图像的固定的眼睛位置，由此提取安排了脸部的图像I_A。

例如，如果预设图像的分辨率是50乘40并且预设图像中眼睛的位置分别是(15，30)和(15，30)，则控制器将眼睛的位置移动到所检测的眼部区域中的(15，30)和(15，30)。

在将所检测的眼部区域中眼睛的位置移动到预设图像的固定的眼睛位置之后，控制器针对脸部区域中原始眼睛位置中的空像素计算仿射变换矩阵(Affinetransformation matrix)，并且基于所计算的变换矩阵填充所述空像素。

当在步骤401中提取了安排了脸部的图像I_A之后，在步骤402，控制器为图像I_A设置用于过滤的掩模，由此提取其中分割(separate)出眼部区域、鼻部区域和嘴部区域的图像I_M。

如图6所示，设置了掩模的图像I_M是这样的图像：其中，分割出眼部区域R_E、鼻部区域R_N和嘴部区域R_M，以便在对称性分析过程中被赋予权重值，并且可以设置与x轴垂直的虚拟对称轴A_K。

图7A例示了图1的步骤100中的输入图像，图7B例示了图1的步骤200中检测的脸部区域，图7C例示了图1的步骤300中检测的眼部区域，图7D例示了图2的步骤401中的安排了脸部的图像I_A，图7E例示了图2的步骤402中的设置了掩模的图像I_M。

一旦控制器在步骤402提取了设置了掩模且过滤的图像I_M，控制器在步骤500分析其对称性。

将参考图3具体说明步骤500的对称性分析过程。

参考图3，控制器在步骤501在图像I_M中设置校正了二轴对称(bisymmetry)的最终参考对称轴。

步骤501用来部分地校正眼部检测过程的不准确度，并且控制器通过如图6所示在图像I_M中的参考对称轴A_K的左侧和右侧留出具有特定像素的容限(margin)M，来比较左侧区域和右侧区域的对称性特征。

控制器在将参考对称轴A_K在容限M内移动的同时，基于左侧区域和右侧区域的对称性特征之间的比较，计算对称性分值，然后将对称性分值最小的对称轴的对称性分值定义为图像I_M的最终对称性分值。该过程可以如下 表示。

$\begin{array}{cc}{C}_j=\underset{{\min S}_k}{\arg }{S}_k,& A_R-M\≤k\≤A_R+M\end{array}........................\left(1\right),$

其中S_k表示对称性分值，A_R表示垂直于x轴的参考对称轴，M表示在参考对称轴A_R的左侧和右侧的具有预定像素的容限，k表示在容限M内移动的移动对称轴。

在公式(1)中，当移动对称轴k具有根据参考对称轴A_R和容限M的定义的范围时，第j个脸的对称性分值C_j被定义为各个轴的对称性分值S_k中的最小值。

一旦控制器在步骤501设置了图像I_M的最终参考对称轴，在步骤502，控制器对图像I_M应用旋转不变性局部二值模式(Ri-LBP)，以分析图像I_M的对称性。

图8A至图8C是例示Ri-LBP的视图。

参考图8A至图8C，通过将3×3掩模中的中心像素的大小与中心像素周围的每个相邻像素的大小进行比较来选择局部二值模式(LBP)。如果对8个相邻像素设置特定方向，将‘1’赋值给大小大于中心像素的相邻像素，并且将‘0’赋值给大小小于或等于中心像素的相邻像素，由此确定8比特值并将该8比特值赋给中心像素。在图8A中，生成256(0至2⁸-1)个模式，并且这些模式对于照明是鲁棒的。

当通过在单个模式中的比特移位所得到的模式被分组在同一类别中时，该分组被称为Ri-LBP。如果在如图8A所示的所提取的模式中逐个比特地执行8比特移位，则获得8个模式并且该8个模式被分组为同一模式，从而将使用LBP生成的256个模式减少成如图8B所示的36个模式。图8C例示了通过对原始图像应用LBP而生成的图像以及通过对原始图像应用Ri-LBP而生成的图像。

当在步骤502中对图像I_M应用了Ri-LBP之后，控制器在步骤503计算在应用了Ri-LBP的图像I_M中的眼部区域、鼻部区域和嘴部区域各自的柱状图之间的相似度，其中该眼部区域、鼻部区域和嘴部区域是左右匹配的区域。

为了计算柱状图之间的相似度，控制器使用如下述公式(2)表示的巴氏距离(Bhattacharyya distance)。

${\mathrm{BCH}}_{\mathrm{eye}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{H_{L\_\mathrm{Eye}}^i}\sqrt{H_{R\_\mathrm{Eye}}^i}$

${\mathrm{BCH}}_{\mathrm{nose}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{H_{L\_\mathrm{Nose}}^i}\sqrt{H_{R\_\mathrm{Nose}}^i}$

${\mathrm{BCH}}_{\mathrm{mouth}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{H_{L\_\mathrm{Mouth}}^i}\sqrt{H_{R\_\mathrm{Mouth}}^i}...........................\left(2\right),$

其中表示左侧区域(眼部(eye)、鼻部(nose)或嘴部(mouth))的Ri-LBP柱状图，表示右侧区域(眼部、鼻部或嘴部)的Ri-LBP柱状图。

图9A至图9C是例示图1的对称性分析过程的示图。图9A例示了设置了掩模的图像I_M，图9B例示了对图9A所示图像应用Ri-LBP而生成的图像，图9C例示了相对于图3的步骤501中设置的最终参考对称轴的左侧区域(眼部)和右侧区域(眼部)各自的Ri-LBP柱状图。

一旦控制器在步骤503通过使用公式(2)计算出作为左右匹配区域的眼部区域、鼻部区域和嘴部区域各自的柱状图之间的相似度，那么控制器在步骤504将所计算的相似度应用于公式(3)以计算用来确定正面的脸部姿态的最终分值。

其中i＝1表示眼部区域，i＝2表示鼻部区域，i＝3表示嘴部区域，W表示权重，其中W₁+W₂+W₃＝1并且W₂＞W₃＞W₁。

在控制器在步骤504中计算了用于确定正面的脸部姿态的最终分值之后，在图1的步骤600中，控制器使用该计算将最终分值与预设参考值进行比较。如果最终分值大于预设参考值，那么控制器在步骤700确定步骤100中输入的图像的脸部姿态是正面的脸部姿态。如果最终分值小于预设参考值，则控制器在步骤800确定在步骤100中输入的图像的脸部姿态不是正面的脸部姿态。

如从上述描述中能够理解的，根据本发明的用于确定正面的脸部姿态的方法能够被用到各种应用中，并且摄影师能够拍摄包含对象大多数信息的正面脸部的照片。对通常缺乏为了拍照而静止就坐所需的专注度的婴儿或孩子来说，能够通过检测正面的姿态而自动拍摄好姿态的照片。此外，人脸识别往往由于注册或识别脸部时姿态的变化、而不是人脸本身的变化而失败。因此，确定正面的脸部姿态能够减少失败率。

虽然已经参考本发明的实施例示出和描述了本发明，但是本领域技术人员将会理解到，可以对本发明做出形式和细节方面的各种改变而不会脱离权利要求所定义的本发明的精神和范围。因此，本发明的范围应该由权利要求书及其等效物限定，而不是由所公开的实施例限定。

Claims (12)

1.一种用于确定正面的脸部姿态的方法，所述方法包括：

在图像中检测脸部区域；

分析在所检测的脸部区域中的脸部区域的眼部周围的边缘方向，以检测侧倾角的旋转方向；

按照所检测的侧倾角的旋转方向调整眼部区域并检测调整后的眼部区域；

通过使用调整后的眼部区域而标准化所述脸部区域；

分析标准化的脸部区域中的对称性；以及

基于对称性分析，确定脸部姿态是否是正面的脸部姿态。

2.根据权利要求1所述的方法，其中，通过使用基于Adaboost学习模式的窗口扫描方案来检测所述脸部区域。

3.根据权利要求1所述的方法，其中，检测调整后的眼部区域包括：

向包括脸部区域的方形脸部区域分配左眼区域和右眼区域；以及

根据基于脸部姿态检测的侧倾角的旋转方向，调整所述左眼区域和右眼区域。

4.根据权利要求1所述的方法，其中，标准化脸部区域包括：

通过将所检测的眼部区域中的眼睛位置移动到预设图像的固定的眼睛位置而提取安排了脸部位置的图像I_A；以及

通过在所述图像I_A中设置掩模而提取其中分割出眼部区域、鼻部区域和嘴部区域的图像I_M。

5.根据权利要求4所述的方法，还包括：

在将所检测的眼部区域中的眼睛位置移动到预设图像中的固定的眼睛位置之后，通过对脸部区域的原始眼睛位置中的空像素计算仿射变换矩阵来填充所述空像素。

6.根据权利要求1所述的方法，其中，分析对称性包括：

通过提取最终对称性分值，在从标准化的脸部区域提取的图像I_M中设置校正了二轴对称的最终参考对称轴；

对设置了最终参考对称轴的图像I_M应用旋转不变性局部二值模式Ri-LBP；

计算应用了Ri-LBP的图像I_M中的左右匹配区域各自的柱状图之间的相似度；以及

通过使用所计算的相似度来计算用于确定正面的脸部姿态的最终分值。

7.根据权利要求6所述的方法，其中，所述最终对称性分值通过使用下述公式来提取：

$\begin{array}{cc}{C}_j=\underset{{\mathrm{minS}}_k}{\arg }{S}_k,& A_R-M\≤k\≤A_R+M\end{array}$

其中S_k表示对称性分值，A_R表示垂直于x轴的参考对称轴，M表示在参考对称轴A_R的左侧和右侧具有预定像素的容限，并且k表示在容限M内移动的移动对称轴。

8.根据权利要求6所述的方法，其中，最终对称性分值是在容限M内移动的移动对称轴k的对称性分值S_k中的最小值。

9.根据权利要求6所述的方法，其中，所述左右匹配的区域包括眼部的区域、鼻部的区域和嘴部的区域。

10.根据权利要求6所述的方法，其中，左右匹配的区域的柱状图之间的相似度通过使用下述公式来计算：

${\mathrm{BCH}}_{eye}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{H_{L\_Eye}^i}\sqrt{H_{R\_Eye}^i}$

${\mathrm{BCH}}_{nose}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{H_{L\_Nose}^i}\sqrt{H_{R\_Nose}^i}$

${\mathrm{BCH}}_{mouth}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{H_{L\_Mouth}^i}\sqrt{H_{R\_Mouth}^i}$

其中，表示眼部、鼻部或嘴部的左侧区域的Ri-LBP柱状图，表示眼部、鼻部或嘴部的右侧区域的Ri-LBP柱状图。

11.根据权利要求10所述的方法，其中所述最终分值通过使用下述公式来计算：

其中，i＝1表示眼部区域，i＝2表示鼻部区域，i＝3表示嘴部区域，W表示权重，其中W₁+W₂+W₃＝1并且W₂>W₃>W₁。

12.根据权利要求1所述的方法，其中，确定脸部姿态是否是正面的脸部姿态包括：

将通过对称性分析提取的最终分值与预设参考值进行比较；以及

如果该最终分值大于预设参考值，则确定所述脸部姿态是正面的脸部姿态。