CN1877599A - 基于结构光的人脸定位的方法 - Google Patents

Abstract

基于结构光的人脸定位方法，视频装置中利用结构光产生装置对人脸主动投射，用视频装置中的图像摄取装置对结构光条纹提取；结构光是水平(或垂直)投射于人脸的相对凹凸的表面上光线将发生弯曲；根据结构光在人脸上形成的特定图案即人脸对称中心的结构特征，确定人脸中心位置。确定人脸中心位置的方式采用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直积分投影或形态特征描述法。用结构光条纹提取前先对摄取的图像进行滤波处理；采用3*3的滤波窗口去除椒盐噪声。视频装置采用立体屏幕，屏幕的下部采用结构光产生装置，屏幕上部采用摄像头作为图像输入装置。

Description

基于结构光的人脸定位的方法

                            技术领域

本发明涉及人脸定位的方法，尤其是视频装置使用的基于结构光的人脸定位的方法。

                            背景技术

人脸识别的研究已经有很长的历史，最早的研究工作是在上个世纪由法国人Galton开展的，但真正有发展还是在最近的30年。人脸识别的输入图像通常有3种情况：正面，侧面，斜面。1973年Kanade的工作起至今，大多数人脸识别研究工作的对象为正面或接近正面的人脸图像。

人脸图像识别是一项有着重要的理论研究价值和应用价值，极具挑战性的课题，而人脸定位是人脸图像识别的前提。人脸定位是指在一幅图像中检查是否含有人脸，如果有，则需要进一步确定人脸的位置和大小，进而用一个矩形框标识出人脸的区域。它的潜在应用包括机器人视觉、安全检查、空间探测、刑事侦查、远程视频会议、人工智能等许多方面。

目前国内外研究用于人脸定位的方法层出不穷，概括起来大致有三种：基于特征、基于统计和基于模板的人脸检测算法。

基于特征的人脸检测方法是利用人脸的先验知识导出的规则来进行人脸检测的。我们就可以利用这些描述人脸局部分布的规则来进行人脸的检测，当满足这些规则的图像区域找到后，则认为一幅人脸已经被检测出来，然后可以对候选的人脸区域进行进一步的论证，以确定候选区域是否是人脸。

基于统计的人脸检测方法不是针对人脸的某一特征，它是从整个人脸的角度出发，利用统计的原理，从上千上万张人脸图像中提取出人脸共有的一些规律，利用这些规律来进行人脸的检测。由于人脸图像的复杂性，描述人脸特征具有一定的困难，因此基于统计的方法越来越受到重视。此类方法将人脸区域看作一类模式，使用大量的人脸与非人脸样本，构造并训练分类器，通过判别图像中所有可能区域属于哪类模式的方法。从而实现人脸的检测。

基于模板匹配的人脸检测方法：首先建立一个标准的人脸模板。由包含局部人脸特征的子模板构成，然后对一幅输入图像进行全局搜索，对应不同尺度大小的图像窗口，计算与标准人脸模板中不同部分的相关系数，通过顶先设置的阈值来判断该窗口中是否包含人脸。

现有技术基于结构光的人脸检测。结构光属于主动光照射，所谓结构光是指由一定图案的光束投射于被探测的目标表面，凹凸的目标表面上光线发生弯曲。目前未见有关于利用结构光对人脸定位的方法的报导。

                            发明内容

本发明目的是：提出一种基于主动照射式的人脸中心定位方法。该方法采用结构光照射的方法，分析人脸的几何结构，快速而有效的将人脸和背景干扰物体区分，从而实现复杂背景条件下的单个人脸的定位。

本发明的技术解决方案如下：基于结构光的人脸定位方法，利用结构光产生装置对人脸主动投射，用图像摄取装置对结构光条纹提取；结构光是水平(或垂直)投射于人脸的相对凹凸的表面上光线将发生弯曲；由于人脸的几何面型的独特结构，畸变结构光条纹随人脸的特征而产生很明显的对称性弯曲。通过对畸变结构光特征的提取，即可计算出人脸的垂直对称中心位置和脸部的大致区域。

采用数字图像处理的手段，对图像摄取装置获得的图像进行分析，从中找出具有人脸特征的区域，并进一步确定人脸的对称中心位置。其过程如图1所示，主要包括如下方面：

1、对图像进行预处理。包括图像信号的滤波，条纹的提取等等。对图像的滤波可以采用平均滤波等方法，条纹的提取可以采用阈值提取、微分提取等方法，也可以采用对图像矩阵进行卷积，细化原始图像，通过选择适当的阈值提取结构光条纹；如图2。

2、对图像信号的特征提取。结构光在人脸上形成的特定图案，描述了人脸在图像中的区域，通过对图像各区域的特征分析，确定人脸的位置。

人脸特征(即结构光在人脸上形成的特定图案)的描述可以有多种方式，例如利用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直积分投影、形态特征描述等方法。

以垂直积分投影函数分析方法为例：将图像的灰度值沿垂直方向积分(相加)，得到反应人脸特征的垂直投影函数，如图3。从垂直投影函数的尖峰位置初涉确定人脸位置。与其他条纹相比，人脸部条纹的垂直投影函数中央或其附近存在明显向下(或垂直光时的弯曲)弯曲，垂直投影函数最低点即为人脸中心位置。根据人脸对称中心的结构特征，从区域积分投影的最低点坐标值可以确定人脸中心位置。如图4。

本发明的改进是：与现有人脸定位方法与装置相比，本发明利用结构光描绘人脸的特征，加快了人脸位置的搜索速度。在对图像进行处理方面，借助数字和光学两种滤波方式，提高图像的背景噪声。在图像摄取装置的成像镜头上安置了带通滤光片，带通滤光片的中心频率与结构光光源的中心频率相等或相近。结构光条纹提取前先对摄取的图像进行滤波处理；如采用3*3的滤波窗口去除椒盐噪声。

本发明的特点是：利用结构光投影，照射被探测目标，利用结构光的畸变条纹来描绘被探测目标的特征。由于结构光以最少的数据量描绘目标的主要特征，从而避免了大量的匹配计算量，提高了人脸定位速度，增强了抗干扰能力。

                            附图说明

图1是本发明方法的流程图

图2是本发明的垂直积分投影

图3是本发明显示了图2垂直积分投影的效果，共有5个尖峰

图4是本发明用于是立体显示屏幕的结构示意图

图5是本发明用于是立体显示屏幕的实施例结构示意

                            具体实施方式

图1主动照射式人脸定位算法流程图如下所示：本发明的流程中，从摄取或输入图像后进行处理，具体如下述：

如图4所示，为应用于立体显示器的人脸位置探测与跟踪装置。屏幕的下部采用结构光产生装置，屏幕上部采用摄像头作为图像输入装置。人脸到屏幕的距离一般在30厘米到60厘米之间，在观看屏幕时，一般不会低于屏幕的下边沿，不高于上边沿30度长角的范围。

以17寸的立体显示器为例，各部件之间的相对布置尺寸如图5所示。17寸的液晶板，长338毫米，宽268毫米。加上四周的边框长约420毫米，宽约389毫米。在观看屏幕时，人的眼睛习惯上会位于屏幕的正前方靠上的位置上，虽然会经常上下或左右的移动，但一般不会超过一定的范围，这也就决定了结构光的照射范围

人脸到屏幕的距离一般在30厘米到80厘米之间，在观看屏幕时，一般不会低于屏幕的下边沿，不高于上边沿30度长角的范围，如图5所示。

输入的图像一般都存在不同程度的噪声，如椒盐噪声等等，而这些噪声对人脸中心定位以及特征的提取都有很大的影响，甚至中心定位的偏差。所以应当在人脸中心定位之前对输入的图像进行去噪声处理，从而提高人脸中心定位的准确度。在本发明采用3*3的滤波窗口去除椒盐噪声。经过滤波处理之后，人脸图像中的大部分噪声被消除了。

以复杂背景为例，滤波处理过后，进行结构光条纹提取。因为结构光是水平投射并且鉴于人脸的相对平面性，照在凹凸的物体上光线将发生弯曲。用一维卷积因子对图形矩阵的列的方向进行卷积，这样初始条纹得到细化，并且初始条纹中心象素点的灰度值得到提高，边缘象素点的灰度值则相对降低，最后选择适当的阈值提取条纹，适当的阈值指可以有效区分条纹和非条纹的像素灰度值。可以采用自适应方法选取灰度阈值，例如根据灰度直方图确定阈值，或依据概率统计的定量计算得到阈值。不同的方式、不同的图像会有不同的阈值，一般，阈值的取值范围在60～200。提取的效果如图2所示。图2的输入的复杂背景图像是人脸(左)、杯子(中)、水桶(右)。

如根据垂直积分投影公式，我们可以得到图2的垂直积分投影。图3显示了图2垂直积分投影的效果，共有5个尖峰。根据人脸占图像总尺寸的比例可以将水平宽度不属于人脸观测范围的尖峰视为伪峰(如图3中的手、衣袖)去除。而1、2、5三个尖峰的水平宽度在人脸图像尺寸的范围内，作为人脸位置的候选尖峰。

人脸特征描述的方法还有主成分分析(PCA)、概率主成分分析(PPCA)、形态特征描述、ADABOOST等，这些方法的目的都是通过训练抽取特征参数描述人脸的特征。主成分分析通过对人脸样本的分析，得出描述结构光照明的人脸图像特征的主要特征向量，以尽可能少的参数描述人脸特征，降低特征参量的维数。概率主成分分析具有与主成分分析相近的算法，与主成分分析(PCA)相比。概率主成分分析克服了简单的″丢弃″其他非主成分因子，在PPCA中将″丢弃″因子作为噪声成分进行估计，同时PPCA方法是一种基于概率模型的方法。因此很容易延伸为混合模型。形态特征描述则是利用纹理的形态分析，描述结构光照明的人脸图像纹理特征。ADABOOST算法通过将多个若分类器组合成一个强的分类器，得到判断结构光照明的人脸中某些特征的分类器。

人脸上的结构光条纹由于鼻子凸出的特征而产生很明显的跃变，表现为鼻子上的条纹与其他条纹相比明显向下弯曲，呈现为弧的形状。基于上面所提到的人脸上鼻子处的结构光条纹的跃变，进而与其他干扰物体区分开来。具体实施方法如下：垂直方向上积分投影找出垂直积分投影的最低点，并根据人脸对称中心的结构特征，从区域积分投影的最低点坐标值确定人脸中心位置。

本发明在图像摄取装置的成像镜头上安置了带通滤光片，带通滤光片的中心频率与结构光光源的中心频率相等或相近。

Claims (6)

1、基于结构光的人脸定位方法，其特征是视频装置中利用结构光产生装置对人脸主动投射，用视频装置中的图像摄取装置对结构光条纹提取；结构光是水平(或垂直)投射手人脸的相对凹凸的表面上光线将发生弯曲；根据结构光在人脸上形成的特定图案即人脸对称中心的结构特征，确定人脸中心位置。

2、根据权利要求1所述的基于结构光的人脸定位方法，其特征是确定人脸中心位置的方式采用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直积分投影或形态特征描述法。

3、根据权利要求2所述的基于结构光的人脸定位方法，其特征是灰度垂直积分投影用一维卷积因子对图形矩阵的列的方向进行卷积，初始条纹得到细化，选择适当的阈值提取条纹；  基于垂直积分投影的人脸预定位：根据垂直积分投影公式，得到反应人脸特征是垂直积分投影，并在图像摄取人脸观测范围的尖峰完成基于垂直积分投影的人脸预定位；精确定位：人脸上的结构光条纹根据人鼻明显凸出的特征而产生很明显的跃变，其条纹与其他条纹相比明显向下(或垂直光时的弯曲)弯曲，在垂直方向上积分投影找出垂直积分投影的最低点，并根据人脸对称中心的结构特征，从区域积分投影的最低点坐标值确定人脸中心位置。

4、根据权利要求3所述的基于结构光的人脸定位方法，其特征是在结构光条纹提取前先对摄取的图像进行滤波处理；采用3*3的滤波窗口去除椒盐噪声。

5、根据权利要求3所述的基于结构光的人脸定位方法，其特征是视频装置采用立体屏幕，屏幕的下部采用结构光产生装置，屏幕上部采用摄像头作为图像输入装置。

6、根据权利要求1或2所述的基于结构光的人脸定位方法，其特征是在图像摄取装置的成像镜头上安置了带通滤光片，带通滤光片的中心频率与结构光光源的中心频率相等或相近。

Images