CN102737235B - 基于深度信息和彩色图像的头部姿势估计方法 - Google Patents

Abstract

本发明公开了一种基于深度信息和彩色图像的头部姿势估计方法，该方法首先在深度信息灰度图中使用直方图投影方法快速定位头部位置；然后在彩色图像中使用肤色检测算法去除头部区域肤色之外的头发噪声和衣服噪声；再利用摄像机成像原理归一化头部区域分辨率，并对深度信息灰度图做均衡化处理；最后对所得归一化深度图像提取切片子区域几何向量集来描述头部姿势的变化规律。本发明利用了深度信息灰度图和彩色图像的特性、人脸的几何特性尤其是人脸关于鼻尖的对称性，设计了一种新颖的头部姿势描述特征码，并使用随机森林回归器来估计头部姿势，具有实时性好、精度高、鲁棒性高和可靠性高的优点，可广泛应用于人脸识别和人机交互等应用场景。

Description

基于深度信息和彩色图像的头部姿势估计方法

技术领域

本发明涉及数字图像处理、模式识别和统计学习等技术领域，特别是一种基于深度信息和彩色图像的头部姿势估计方法。

背景技术

二十世纪50年代以来，计算机技术的出现极大地改变了人类生产生活的方式。与此同时，人类的日益增长的需求也推动着计算机技术的飞速发展。随着社会的进步，基于键盘和鼠标这种传统输入方式的计算机技术已经满足不了人们生活的需要，人们呼吁一种基于视觉的智能交互技术，这种技术能让机器掌握人的姿势或动作进而理解人的意图。智能交互领域的重要研究课题之一——头部姿势估计，在人脸识别、视点跟踪和辅助驾驶等方向上有着广泛的应用。

关于头部姿势估计的传统方法大多基于二维灰度或彩色图像。谭铁牛等（CN1601549）融合了人脸的形状、肤色、纹理、运动等信息使用机器学习的方法得到人脸的位置和姿态参数。Y·胡等（CN1573660）通过检测面部关键点包括左右眼中心、左右嘴角、鼻尖等5个关键点，采用由粗到精的方法来确定用户的头部姿势信息。谢东海等（CN1866271）使用主动形状模型ASM检测定位人脸器官，进而估计出人脸的姿态。赵清杰等（CN101889928A）把人脸划分为7个状态：无头势、右侧、左侧、半右侧、半左侧、仰头、低头，通过鼻尖信息来判断脸部所处状态，进而控制轮椅的运动。这些方法在一定程度上满足了实时应用需求，具有独特价值，但是这类方法的精度不够高并且受光照和噪声的影响较大，有待进一步改善。

相对于上述方法，基于深度信息的头部姿势估计方法具有天然的优越性。第一，深度图中的像素值具有明确的物理意义，它可以度量空间中一点到摄像机的距离信息。第二，基于深度信息的图像处理方法可以快速精确地从场景中分割出感兴趣的区域。第三，该类方法受光照变化的影响较小。这类方法可实时地、较为准确地估计出变化幅度较大的头部姿势。例如，文献M.D.Breitenstein，D.Kuettel，T.Weise，L.Van Gool，H.Pfister，Real-time face pose estimation from single range images，IEEE Conference onComputer Vision and Pattern Recognition，2008，提出了一种基于单幅深度信息图的实时头部姿势估计系统，该系统在10度误差范围内估计精度可达80.8%，但是它需要GPU的辅助，应用有限。文献G.Fanelli，J.Gall，L.Van Gool，Real Time Head Pose Estimation with Random RegressionForests，IEEE Conference on Computer Vision and Pattern Recognition，2011，也提出了一种基于单幅深度信息图的实时头部姿势估计系统，它利用随机森林的快速高效性也可满足实时应用需求，10度误差范围内的估计精度可达90.4%，可较为精确地估计出头部姿势，但是估计精度还有很大的改进空间。

近年来，随着深度传感技术Light coding的出现深度摄像机的制作成本大大降低。基于此技术，2010年底微软推出一款名为“Kinect”的游戏传感器，可实时地获取场景的深度信息和彩色图像，并以大众消费品价格出售。Kinect的出现为头部姿势方法提供了新的发展平台。本发明设计一种基于Kinect的头部姿势估计方法，该方法利用Kinect所获取的深度图像和彩色图像的特性，实时、精确地完成头部姿势估计。基于深度图像的特性简单快速地把目标从背景中分割出来并定位到头部区域；基于彩色图像的特性实时地除去头部区域的头发噪声和服饰噪声。同时，本方法还设计了一种新颖、鲁棒的头部姿势描述子——切片子区域几何向量，它以头部深度图像的物理属性为基础，利用人脸关于鼻尖的对称特性，可准确地表达头部姿势的变化规律，具备精度高、鲁棒性高的优点。

发明内容

本发明的目的是提供一种基于深度信息和彩色图像相结合的头部姿势估计方法，即利用头部的深度信息和彩色图像来实时地估计头部姿势。

本发明提出的一种基于深度信息和彩色图像的头部姿势估计方法，其特征在于，该方法包括以下步骤：

步骤S1，建立头部姿势训练图像库，该训练图像库中的每一训练样本均包括一一对应的深度信息灰度图和彩色图像；

步骤S2，基于深度信息灰度图对其中的头部位置进行粗定位，得到粗定位的头部图像；

步骤S3，基于与所述深度信息灰度图对应的彩色图像对所述步骤S2得到的粗定位的头部图像进行噪声去除；

步骤S4，对去噪后的头部图像中的头部分辨率和深度信息灰度图像素值进行归一化处理；

步骤S5，对于归一化后的头部深度信息灰度图，提取其切片子区域三维质心向量集A；

步骤S6，对于归一化后的头部深度信息灰度图，提取其切片子区域几何向量集B；

步骤S7，基于所述步骤S5提取出的切片子区域三维质心向量集A、所述步骤S6提取出的切片子区域几何向量集B，使用训练图像库中的训练图像数据训练随机森林回归器，得到随机森林回归器模型；

步骤S8，采集需要进行头部姿势估计的一一对应的深度信息灰度图和彩色图像，并利用所述步骤S2-S5提取出待估计图像的切片子区域三维质心向量集A；

步骤S9，基于所述待估计图像的切片子区域三维质心向量集A，使用所述步骤S7中训练得到的随机森林回归器模型初步估计待估计图像中的头部姿势；

步骤S10，根据初步估计出的头部姿势检测鼻尖的位置，并根据检测得到的鼻尖的位置，利用所述步骤S6提取出待估计图像的切片子区域几何向量集B；

步骤S11，基于所述步骤S10得到的待估计图像的切片子区域几何向量集B，使用所述步骤S7中训练得到的随机森林回归器模型精确估计待估计图像中的头部姿势。

本发明方法对于人脸识别、人机交互等领域的发展具有重要意义，其主要优点如下：

1.本发明充分利用了深度信息和彩色图像的特性，深度信息灰度图用于头部定位分割与特征提取，彩色图像用于噪声去除，具有实时性好的特性。

2.本发明基于人脸的几何对称特性，设计的切片子区域几何向量集能很好地描述头部姿势的变化规律，对噪声有很好的抑制作用，具有良好的鲁棒性和较高的估计精度。

3.本发明使用随机森林回归器来估计头部姿势，具有训练速度快、泛化性能好、回归结果稳定等优点。

4.本发明所使用的特征简单有效，对硬件没有特殊要求，而且不涉及复杂的计算，易于使用。

综上所述，在不依赖任何特殊硬件的情况下，本发明可实时、准确地估计出头部姿势，这使得多姿态人脸识别、视点估计成为可能。一方面，基于本发明的多姿态人脸识别技术可极大提高人脸识别的识别精度，因此本发明可广泛应用于使用人脸进行身份认证或者识别的系统中。另一方面，基于本发明的人机交互技术能保证机器实时地掌握人的视点情况进而理解人的意图，因此本发明也能广泛应用于人机交互的场景中。

附图说明

图1为本发明基于深度信息和彩色图像的头部姿势估计方法流程图；

图2为训练图像库中来自不同性别的深度信息灰度图及彩色图像；

图3为基于直方图投影的头部定位算法示意图；

图4为头部图像中头发噪声和服饰噪声的示意图；

图5为头部图像噪声去除和归一化结果的示意图；

图6为头部二维深度图像的三维模型及头部切片示意图；

图7为切片子区域几何向量示意图；

图8为头部姿势参数模型；

图9为鼻子形状随头部姿势变化示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

深度图像（深度信息灰度图）和彩色图像是数字空间对物理世界的两种映像，它们各具特性，各具应用优势。深度信息灰度图是对物理世界的距离映像，其像素值表示空间物体表面某一点到摄像机的距离信息，受光照变化影响较小，可用于快速检测分割目标物体、设计鲁棒头部姿势特征；彩色图像是物理世界色彩空间的真实反映，往往含有丰富的纹理色彩信息，可用于区分人脸、头发和服饰区域。基于此，本发明提出一种基于深度信息和彩色图像的头部姿势估计方法。本方法基于Kinect所采集的深度信息及彩色图像实现深度信息快速预处理，然后基于归一化的深度图设计一种精确、鲁棒的头部姿势描述子并使用机器学习的方法估计头部姿势。

图1为本发明基于深度信息和彩色图像的头部姿势估计方法流程图，如图1所示，本发明提出的基于深度信息和彩色图像的头部姿势估计方法主要包括离线学习和在线估计两个模块：离线学习模块主要完成离线状态下对随机森林回归器的学习训练，包括建立头部姿势训练图像库S1、头部粗定位（S2）、噪声去除（S3）、深度信息归一化（S4）、提取切片子区域几何向量集A（S5）、提取切片子区域几何向量集B（S6）和训练随机森林回归器（S7）七个部分；在线估计模块主要完成在线状态下使用训练所得的回归器估计头部姿势，包括深度信息和彩色图像的采集（S8）、头部粗定位（S2）、噪声去除（S3）、深度信息归一化（S4）、提取切片子区域几何向量集A（S5）、提取切片子区域几何向量集B（S6）、使用随机森林回归器初步估计头部姿势（S9）、鼻尖检测（S10）和使用随机森林回归器精确估计头部姿势（S11）九个部分。其中，头部粗定位（S2）、噪声去除（S3）、深度信息归一化（S4）、提取切片子区域几何向量集A（S5）、提取切片子区域几何向量集B（S6）为这两个模块的公共部分。本发明所述方法的基本原理是：首先，利用基于机器学习的方法训练一个随机森林回归器；然后使用训练所得的回归器实时地估计所采集图像的头部姿势。

具体来说，本发明提出的基于深度信息和彩色图像的头部姿势估计方法包括以下几个步骤：

步骤S1，建立头部姿势训练图像库，该训练图像库中的每一训练样本均包括一一对应的深度信息灰度图和彩色图像；

鉴于本方法是基于有监督学习的，需要逐一标定训练样本图像的头部姿势。为了保证本发明方法的泛化性能，训练库中的头部图像应具有多样性，它们采自不同种族、不同性别以及不同发型的人。本发明使用文献Fanelli,G.,Weise,T.,Gall,J.,Gool,L.V.:Real time head pose estimation fromconsumer depth cameras.The33rd Annual Symposium of the GermanAssociation for Pattern Recognition，2011，所发布的数据库作为训练图像库。图2（a）和（b）示出了训练图像库中来自不同性别的深度信息灰度图和彩色图像。

步骤S2，基于深度信息灰度图对其中的头部位置进行粗定位，得到粗定位的头部图像；

头部粗定位是离线学习模块和在线估计模块的公有部分，主要是基于深度信息灰度图来粗定位头部位置。在头部姿态变化较大的情况下，基于彩色图像的头部检测算法很难准确、快速地检测定位到头部位置，本发明利用深度信息灰度图的深度信息特性提出的一种头部定位算法可简单快速实现头部定位，其原理示意图如图3所示。

该头部定位算法进一步包括以下几个步骤：

步骤S21，首先，使用阈值法把目标人从深度信息灰度图背景中分割出来；

深度信息灰度图中，像素值大于T的所有像素点被视为背景，像素值小于等于T的所有像素点即为目标，因此，把深度信息灰度图中背景像素点的像素值置为最大深度值便可简单地把目标分割出来，如图3(a)所示。

步骤S22，然后分别计算分割出的目标人区域沿水平方向和垂直方向的投影直方图Histo_h和Histo_v，分别如图3(c)、(b)所示；

步骤S23，基于投影直方图Histo_h和Histo_v计算分割出的目标人区域中最高点G的坐标(G_x，G_y），具体计算方法如下：

$G_x=\underset{x}{\arg \max }(\mathrm{Histo}\_h\left(x\right))$

$G_y=\underset{y}{\arg \min }(\mathrm{Histo}\_v\left(y\right)),s.t.\mathrm{Histo}\_v\left(y\right)>0$

即，G_x为使得Histo_h(x)最大时对应x的值，G_y为使得Histo_v(y)最小并满足Histo_v(y)大于0时对应y的值。

步骤S24，确定G点的坐标后，将以G点为顶边中心、以w为宽、以h为高的长方形区域R作为粗定位的头部图像，其中，w∈[140,160]，h∈[100,120]。

步骤S3，基于与所述深度信息灰度图对应的彩色图像对所述步骤S2得到的粗定位的头部图像进行噪声去除；

在头部图像中，头发和服饰是主要的噪声来源。深度信息灰度图中的像素值表示空间中一点到摄像机的距离信息，因此利用深度信息灰度图可方便地把目标人从背景中分离出来，但很难检测出目标头部的头发和服饰噪声；相反，彩色图像含有丰富的彩色纹理信息，利用彩色图像可容易地检测出头部图像中的头发和服饰噪声。

图4中的头部图像为步骤S2中头部粗定位的结果，其中，(a)和(c)为粗定位后的头部深度信息图，与之相对应的彩色图像为(b)和(d)。本发明使用肤色检测算法来去除头部图像中的头发和服饰噪声。噪声去除结果如图5(a)(b)(d)(e)所示。所述肤色检测算法为现有技术中通用的检测方法，这里不再赘述。

步骤S4，对去噪后的头部图像中的头部分辨率和深度信息灰度图像素值进行归一化处理；

所述步骤S4主要完成两个任务：头部分辨率归一化和深度信息灰度图像素值分布归一化。

步骤S41，头部分辨率归一化；

根据摄像机成像原理，头部分辨率的大小与成像距离成反比，成像距离越大，所成像的分辨率越小；成像距离越小，所成像的分辨率越大。因此通过归一化成像距离便可归一化头部分辨率，具体包括以下几个步骤：

步骤S411，首先，计算头部图像中脸部区域的平均深度值adv(averagedepth value):

$\mathrm{adv}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i$

其中，n表示脸部区域中像素点的个数，P_i表示第i个像素点的深度值。

步骤S412，然后，计算图像缩放因子sf(scale factor):

$\mathrm{sf}=\frac{\mathrm{adv}}{800}$

步骤S413，最后，使用缩放因子sf对头部深度图像进行归一化处理。

步骤S42，深度信息灰度图像素值分布归一化；

去除噪声后的深度信息灰度图的像素值分布往往是不均衡的，如图5(a)(d)所示，图5(b)(e)为其相应彩色图像。本发明采用如下步骤来对去除噪声后的深度信息灰度图的像素值做均衡化处理：

步骤S421，首先，计算深度信息灰度图的直方图H；

步骤S422，然后，分别计算归一化阈值low和high：

$\mathrm{low}=\underset{\mathrm{\&nu;}}{\arg \max }\left(\underset{i=0}{\overset{\mathrm{\&nu;}}{\mathrm{\&Sigma;}}}H\right[i\left]\right),s.t.\underset{i=0}{\overset{v}{\mathrm{\&Sigma;}}}H\left[i\right]<0.05*\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]$

$\mathrm{high}=\underset{\mathrm{\&nu;}}{\arg \max }\left(\underset{i=\mathrm{\&nu;}}{\overset{255\mathrm{\&nu;}}{\mathrm{\&Sigma;}}}H\right[i\left]\right),s.t.\underset{i=\mathrm{\&nu;}}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]<0.05*\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]$

其中，v为0到255的正整数。

步骤S423，最后，使用归一化阈值low和high的值对深度信息灰度图进行归一化处理：

其中，为归一化之后的深度信息灰度图像素值，P_i为归一化之前的深度信息灰度图像素值。

图5(c)(f)所示为根据所述步骤S4归一化后的深度信息灰度图。

步骤S5，对于归一化后的头部深度信息灰度图，提取其切片子区域三维质心向量集A；

该步骤中，提取出的切片子区域几何向量集A作为后续训练和实时估计时所需的特征。

对于一幅二维深度图像，其像素值P的变化规律可描述为像素点坐标(x,y)的函数P=F(x,y)。若x,y连续，则P=F(x,y)是三维空间上的一个曲面。因此一幅二维深度图像可视为如图6(a)(b)所示的三维空间上的点集，其中，XOY为图像成像平面，Z轴对应像素点的深度信息值，对于深度信息灰度图，Z∈[0,255]。以垂直于Z轴的两个平面P1和P2对上述三维头部模型做截取操作如图6(b)所示，处于两个平面间的像素点的集合定义为头部的一个切片，其正向视图如图6(c)所示，对于深度图像I，其切片可表示为：

Sω(I)={(x,y)|1≤P(x,y)≤1+d}

其中，Sω(I)表示深度图像I的一个切片，ω=(1,d)表示切片参数，1为下灰度阈值（对应图6(b)中平面P1沿Z轴的坐标值），d为两切面间的距离，1+d为上灰度阈值（对应图6(b)中平面P2沿Z轴的坐标值），P(x,y)为像素点(x,y)的灰度值。

沿横向（或者环向）和纵向（或者径向）把头部的一个切片s分别分成m、n等份，如图7（a）所示，可得m*n个子区域，图7（a）的左侧视图如图7（b）所示，切片s中第i*j个子区域的三维质心定义如下：

$\begin{array}{c}\mathrm{Centoid}(s,i,j)=(x,y,z)\\ =(\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}{x}_k}{N(s,i,j)},\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}{y}_k}{N(s,i,j)},\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}P(x_k,y_k)}{N(s,i,j)})\end{array}$

其中，Centoid(s,i,j)表示切片s中第i*j个子区域的三维质心，s(i,j)表示切片的第i*j个子区域，(x_k,y_k)表示子区域中的像素点坐标，P(x_k,y_k)表示像素点(x_k,y_k)的深度值，N(s,i,j)为切片s中第i*j个子区域像素点的个数。

所有切片子区域的三维质心所组成的向量便是本步骤所要提取的特征A。

步骤S6，对于归一化后的头部深度信息灰度图，提取其切片子区域几何向量集B；

由子区域三维质心和鼻尖决定的三维几何向量CCS(s,i,j)可定义为：

CCS(s,i,j)=(Δx,Δy,Δz)

Δx=n_x-Centoid(s,i,j)|_x,

Δy=n_y-Centoid(s,i,j)|_y

Δz=P(n_x,n_y)-Centoid(s,i,j)|z

其中，(n_x,ny)为鼻尖所在位置的坐标（离线学习模块中，鼻尖的位置由手工标定所得；在线估计模块中，鼻尖的位置由鼻尖检测算法所得），Centoid(s,i,j)|_x表示切片子区域质心坐标的x分量，Centoid(s,i,j)|_y表示切片子区域质心坐标的y分量，Centoid(s,i,j)|_z表示切片子区域质心坐标的z分量，P(n_x,n_y)表示像素点(n_x,n_y)的深度值。

则切片s生成的切片子区域几何向量集可形式化表达如下：

CCS(s)={CCS(s,i,j)|1≤i≤m,1≤j≤n}

其中，m为切片s沿横向（或者环向）的等份数，n为切片s沿纵向（或者径向）的等份数。

切片s的个数由参数1和d决定，1和d的取值范围分别为：1∈[0,255]，d∈[0,255-1]，因此每一幅深度图像最多可产生

个切片。本发明中，1取值为0到255的等差数列，公差为10；d取值为[1,255]的等差数列，公差为10。

头部深度图像切片子区域几何向量集B由其所有切片所生成的切片子区域几何向量集共同组成。

步骤S7，基于所述步骤S5提取出的切片子区域三维质心向量集A、所述步骤S6提取出的切片子区域几何向量集B，使用训练图像库中的训练图像数据训练随机森林回归器，得到随机森林回归器模型；

如图8所示，头部姿势可用一个自由度为3的向量(α,β,γ)进行表达，因此头部姿势估计问题可视为由切片子区域三维质心向量集特征和切片子区域几何向量集特征到(α,β,γ)的回归问题，α,β,γ为头部姿势的三个参数，其中，α表示绕y轴的旋转角度，β表示绕z轴的旋转角度，γ表示绕x轴的旋转角度。本发明使用随机森林来完成头部姿势参数的回归。

构建训练随机森林回归器的基本思想是通过自助法（boor-strap）重采样技术，不断生成训练样本用于训练生成多个决策树进而组成随机森林。本发明采用传统随机森林的训练方法，其具体训练方法为现有技术，此处不再赘述，本发明中所使用树的数目为30。

步骤S8，采集需要进行头部姿势估计的一一对应的深度信息灰度图和彩色图像，并利用所述步骤S2-S5提取出待估计图像的切片子区域三维质心向量集A；

该步骤中，使用微软发布的体感游戏传感器Kinect来采集一一对应的深度信息灰度图及彩色图像。采集到的深度信息灰度图的深度值进一步归一化到0到255范围内。

步骤S9，基于所述待估计图像的切片子区域三维质心向量集A，使用所述步骤S7中训练得到的随机森林回归器模型初步估计待估计图像中的头部姿势；

将提取到的特征A—待估计图像的切片子区域三维质心向量集输入到所述步骤S7中训练得到随机森林回归器模型，便可得到待估计图像中初步估计得到的头部姿势。

步骤S10，根据初步估计出的头部姿势检测鼻尖的位置，并根据检测得到的鼻尖的位置，利用所述步骤S6提取出待估计图像的切片子区域几何向量集B；

随着头部姿势的变化，图像中鼻子形状变化显著，如图9所示，因此大范围姿势变化情况下的鼻子检测是计算机视觉领域的一个难题。但是当头部姿势在小范围内（如20度以内）变化时，鼻子形状基本上保持不变，基于此现象本发明使用分而治之的思想来检测鼻尖位置。

所述步骤S10进一步包括以下步骤：

步骤S101，采集各种头部姿势下的鼻子图像作为模板；

步骤S102，利用步骤S9所得的头部姿势参数，使用与其参数最接近的姿势下的鼻子模板，采用模板匹配的方法来检测鼻尖的位置。模板匹配算法是计算机视觉领域里的一种传统经典算法，这里不再复述。

步骤S11，基于所述步骤S10得到的待估计图像的切片子区域几何向量集B，使用所述步骤S7中训练得到的随机森林回归器模型精确估计待估计图像中的头部姿势。

将提取到的特征B—待估计图像的切片子区域几何向量集输入到所述步骤S7中训练得到随机森林回归器模型，便可得到待估计图像中头部姿势的精确估计。

应用案例1：基于深度信息和彩色图像的头部姿势估计方法在远距离多模态生物特征识别通关系统中的应用。

本发明可广泛应用于远距离多模态生物特征识别通关系统中。随着生物特征识别技术的出现，基于生物识别技术的自动通关系统孕育而生。作为生物特征识别的重要方向之一，人脸识别和虹膜识别技术已经有了比较成熟的发展，然而它们需要用户的高度配合才能顺利完成识别任务。当通过用户不知道怎么配合或者不愿配合时，通关系统的吞吐量将会受到影响。基于深度信息的头部姿势估计方法在远距离多模态生物特征识别通关系统能主动实时地掌握通关用户的头部状态，调度或调整摄像头去适应人的状态以抓取一幅可用于识别的人脸或者虹膜图像。假设合法通关用户张三在通关过程中始终看向其左前方某人或者某物，通关系统利用本发明方法估计出该用户的头部姿势后便可调度位于张三左前方的摄像头来获取张三的生物特征图像。这样无论通关用户看向其前方的任意一个方向，通关系统都能保证用户顺利通关。

应用案例2：基于深度信息和彩色图像的头部姿势估计方法在安全监控场景中的应用。

本发明提出的基于深度信息和彩色图像的头部姿势估计方法可以应用于安全监控系统中。在安全监控场景中，系统能对场景中出现的非法人员进行实时地监控并能及时报警。例如：某区域只有合法工作人员才能正常出入。张三是间谍，想要盗取该区域里的机密。当张三进入该区域时，系统就能自动捕获张三在各个姿态下的人脸和虹膜图像，经匹配发现张三不是合法工作人员，马上发出警报通知警卫将其绳之以法。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度信息和彩色图像的头部姿势估计方法，其特征在于，该方法包括以下步骤：

步骤S1，建立头部姿势训练图像库，该训练图像库中的每一训练样本均包括一一对应的深度信息灰度图和彩色图像；

步骤S2，基于深度信息灰度图对其中的头部位置进行粗定位，得到粗定位的头部图像；

步骤S3，基于与所述深度信息灰度图对应的彩色图像对所述步骤S2得到的粗定位的头部图像进行噪声去除；

步骤S4，对去噪后的头部图像中的头部分辨率和深度信息灰度图像素值进行归一化处理；

步骤S5，对于归一化后的头部深度信息灰度图，提取其切片子区域三维质心向量集A；

步骤S6，对于归一化后的头部深度信息灰度图，提取其切片子区域几何向量集B；

步骤S7，基于所述步骤S5提取出的切片子区域三维质心向量集A、所述步骤S6提取出的切片子区域几何向量集B，使用训练图像库中的训练图像数据训练随机森林回归器，得到随机森林回归器模型；

步骤S8，采集需要进行头部姿势估计的一一对应的深度信息灰度图和彩色图像，并利用所述步骤S2-S5提取出待估计图像的切片子区域三维质心向量集A；

步骤S9，基于所述待估计图像的切片子区域三维质心向量集A，使用所述步骤S7中训练得到的随机森林回归器模型初步估计待估计图像中的头部姿势；

步骤S10，根据初步估计出的头部姿势检测鼻尖的位置，并根据检测得到的鼻尖的位置，利用所述步骤S6提取出待估计图像的切片子区域几何向量集B；

步骤S11，基于所述步骤S10得到的待估计图像的切片子区域几何向量集B，使用所述步骤S7中训练得到的随机森林回归器模型精确估计待估计图像中的头部姿势；

所述切片子区域三维质心向量集A为所述头部深度信息灰度图多个切片的子区域的三维质心所组成的向量，所述切片子区域三维质心向量集A的建立包括以下步骤：

步骤S51，以垂直于一个轴Z的两个平面P1和P2对所述头部深度信息灰度图I构成的三维头部模型做截取操作，得到处于两个平面间的像素点的集合：

S_ω(I)={(x,y)|1≤P(x,y)≤1+d}

其中，S_ω(I)称为头部深度信息灰度图I的一个切片；ω=(1,d)表示切片参数；1为下灰度阈值，即平面P1沿Z轴的坐标值；d为两切面间的距离，1+d为上灰度阈值，即平面P2沿Z轴的坐标值；P(x,y)为像素点(x,y)的灰度值；

步骤S52，将一个切片s沿横向和纵向或者沿环向和径向分别分成m、n等份，得到m*n个子区域；

步骤S53，所述切片s中第i*j个子区域的三维质心为：

$\begin{array}{c}\mathrm{Centoid}(s,i,j)=(x,y,z)\\ =(\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}{x}_k}{N(s,i,j)},\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}{y}_k}{N(s,i,j)},\frac{{\mathrm{\&Sigma;}}_{(x_k,y_k)\&Element;s(i,j)}P(x_k,y_k)}{N(s,i,j)})\end{array}$

其中，Centoid(s,i,j)表示切片s中第i*j个子区域的三维质心，s(i,j)表示切片s的第i*j个子区域，(x_k,y_k)表示子区域中的像素点坐标，P(x_k,y_k)表示像素点(x_k,y_k)的深度值，N(s,i,j)为切片s中第i*j个子区域像素点的个数；

步骤S54，将所有切片子区域的三维质心组成所述切片子区域三维质心向量集A；

所述切片子区域几何向量集B由多个切片的切片子区域几何向量集共同组成，所述切片子区域几何向量集B的建立包括以下步骤：

步骤S61，计算每个子区域的三维质心和鼻尖决定的三维几何向量CCS(s,i,j)：

CCS(s,i,j)=(Δx,Δy,Δz)，

Δx=n_x-Centoid(s,i,j)|_x,

Δy=n_y-Centoid(s,i,j)|_y，

Δz=P(n_x,n_y)-Centoid(s,i,j)|_z，

其中，(n_x,n_y)为鼻尖所在位置的坐标，Centoid(s,i,j)|_x表示切片子区域质心坐标的x分量，Centoid(s,i,j)|_y表示切片子区域质心坐标的y分量，Centoid(s,i,j)|_z表示切片子区域质心坐标的z分量，P(n_x,n_y)表示像素点(n_x,n_y)的深度值；

步骤S62，根据所述每个子区域的三维几何向量CCS(s,i,j)得到切片s的切片子区域几何向量集CCS(s)：

CCS(s)={CCS(s,i,j)|1≤i≤m,1≤j≤n}；

步骤S63，由所有切片的切片子区域几何向量集CCS(s)共同组成所述切片子区域几何向量集B。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中对头部位置进行粗定位的步骤进一步包括以下几个步骤：

步骤S21，使用阈值法把目标人从深度信息灰度图背景中分割出来；

步骤S22，分别计算分割出的目标人区域沿水平方向和垂直方向的投影直方图Histo_h和Histo_v；

步骤S23，基于投影直方图Histo_h和Histo_v计算分割出的目标人区域中最高点G的坐标；

步骤S24，将以G点为顶边中心、以w为宽、以h为高的长方形区域R作为粗定位的头部图像，w∈[140,160]，h∈[100,120]。

3.根据权利要求2所述的方法，其特征在于，所述步骤S21进一步为：将深度信息灰度图中像素值大于T的所有像素点视为背景，像素值小于等于T的所有像素点视为目标，将深度信息灰度图中背景像素点的像素值置为最大深度值即可将目标分割出来。

4.根据权利要求2所述的方法，其特征在于，所述步骤S23中，最高点G的坐标（G_x，G_y）按照下式计算：

$G_x=\underset{x}{\arg \max }(\mathrm{Histo}\_h\left(x\right))$

G_y=argmin_y(Histo_v(y)),s.t.Histo_v(y)＞0，

其中，G_x为使得Histo_h(x)最大时对应x的值，G_y为使得Histo_v(y)最小并满足Histo_v(y)大于0时对应y的值。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4中对去噪后的头部图像中的头部分辨率进行归一化处理的步骤进一步包括以下几个步骤：

步骤S411，计算头部图像中脸部区域的平均深度值adv:

$\mathrm{adv}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_i$

其中，n表示脸部区域中像素点的个数，P_i表示第i个像素点的深度值；

步骤S412，计算图像缩放因子sf:

$\mathrm{sf}=\frac{\mathrm{adv}}{800}$

步骤S413，使用缩放因子sf对头部分辨率进行归一化处理。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4中对去噪后的头部图像中的深度信息灰度图像素值进行归一化处理的步骤进一步包括以下几个步骤：

步骤S421，计算深度信息灰度图的直方图H；

步骤S422，分别计算归一化阈值low和high：

$\mathrm{low}=\underset{\mathrm{\&nu;}}{\arg \max }\left(\underset{i=0}{\overset{\mathrm{\&nu;}}{\mathrm{\&Sigma;}}}H\right[i\left]\right),s.t.\underset{i=0}{\overset{v}{\mathrm{\&Sigma;}}}H\left[i\right]<0.05*\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]$

$\mathrm{high}=\underset{\mathrm{\&nu;}}{\arg \max }\left(\underset{i=\mathrm{\&nu;}}{\overset{255\mathrm{\&nu;}}{\mathrm{\&Sigma;}}}H\right[i\left]\right),s.t.\underset{i=\mathrm{\&nu;}}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]<0.05*\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}H\left[i\right]$

其中，v为0到255的正整数；

步骤S423，使用计算出来的归一化阈值low和high对深度信息灰度图进行归一化处理：

其中，

为归一化之后的深度信息灰度图像素值，P_i为归一化之前的深度信息灰度图像素值。

7.根据权利要求1所述的方法，其特征在于，所述步骤S8进一步包括将采集到的深度信息灰度图的深度值归一化到0到255范围内。

8.根据权利要求1所述的方法，其特征在于，所述步骤S10进一步包括以下步骤：

步骤S101，采集各种头部姿势下的鼻子图像作为模板；

步骤S102，利用所述步骤S9得到的头部姿势参数，使用与其参数最接近的姿势下的鼻子模板，采用模板匹配的方法来检测鼻尖的位置。

Images