CN101908153A - 低分辨率图像处理中的头部姿态估计的方法 - Google Patents

Abstract

一种图像处理技术领域的低分辨率图像处理中的头部姿态估计的方法。根据训练视频及其已知的头部姿态，提取视频中的训练图像块，训练一个用于估计头部姿态的霍夫森林；霍夫森林是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小；在完成训练过程后，对输入图像帧进行头部姿态估计；利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。本发明首先该方法可以适用于低分辨率视频中的图像，且可以同时估计图像中人体头部的位置和朝向。

Description

低分辨率图像处理中的头部姿态估计的方法

技术领域

本发明涉及一种图像处理技术领域的方法，特别是涉及一种低分辨率图像处理中的头部姿态估计的方法。

背景技术

从图像中估计人体的三维姿态一直是很多计算机视觉应用如智能监控、运动分析、虚拟现实及人机交互中的一个关键问题。当给出一幅图像时，一个理想的系统应该能够同时估计出头部的位置及朝向(当使用“姿态”一词时，通常表示位置加上朝向)，但是很多已有的方法只能解决其中的一个问题。如常用的头部跟踪方法只是估计头部在图像上的位置。而通常的头部姿态估计方法需要其输入图像中的头部位置已知并且对齐，而且需要较高分辨率的人脸图像。

常见的头部跟踪方法如Condensation及均值漂移，它们均假设在跟踪过程中的头部图像保持不变或较小的变化，然后用一种类似模板匹配的方式来跟踪。并且对于这些跟踪方法，在跟踪前需要首先指定头部的初始位置。Wei等人2002年在International Conference on ImageProcessing中的论文Head pose estimation using gabor eigenspace modeling(利用gabor特征空间建模的头部姿态估计)提出的方法通过已知姿态的对齐的脸部训练图像，将图像转换到一个二维距离空间，然后当给出输入图像时，利用最近邻法得到其姿态。这种方法需要的输入数据是位置及大小均确定的脸部图像。因此本领域需要一种能够同时估计头部位置及朝向的方法，并且能够工作在普通相机得到的较低分辨率下。

发明内容

本发明的目的在于针对现有技术的不足，提出一种低分辨率图像处理中的头部姿态估计的方法，本发明能够同时估计头部位置及朝向，并且能够在较低分辨率下工作。

本发明是通过以下技术方案实现的：

本发明根据训练视频及其已知的头部姿态，提取训练视频中的图像块，训练一个用于估计头部姿态的霍夫森林。霍夫森林实际上是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小。在完成训练过程后即可以对输入图像帧进行头部姿态估计。利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。

本发明包括以下步骤：

①.提取训练图像块：提取作为训练数据给出的图像，提取其中人体部分的图像块，其中对应头部位置的图像块为训练的正样本，其余位置的为负样本，同时记录其对应的姿态真值。

②.计算训练图像块的图像特征，包括像素的Lab值、一阶及二阶梯度值和梯度方向直方图。

③.训练霍夫森林。训练霍夫森林等价于建立输入图像块的高维特征空间的一个划分。训练的目的是使得每一个划分中的训练样本对应的姿态真值的不确定性最小。

④.提取测试图像中的图像块并提取特征。

⑤.利用霍夫森林投票估计头部姿态。首先利用霍夫森林对测试图像中的图像块进行分类。对于每一个图像块达到的叶子节点，基于其中保存的训练数据对头部姿态投票，投票最多的值作为头部姿态估计结果。

与现有技术相比，本发明首先可以适用于低分辨率视频中的图像，且可以同时估计图像中人体头部的位置和朝向。本发明适用于从普通相机拍摄的低分辨率视频图像中估计其中人体的头部三维姿态，可用于智能监控，运动分析、虚拟现实及高级人机交互等方面。

附图说明

图1为实施例视频中的(a)一帧图像，(b)及其中对应的人体及头部位置和(c)用于训练分类器的正样本和负样本的范例。

图2为一个二叉分类树的示意图。

图3为实施例所用视频中的(a)一幅图像，(b)(c)两个图像块对于头部位置的投票结果及(d)所有投票结果的和。

图4为实施例视频中头部姿态估计的结果。

具体实施方式

以下结合附图对本发明的实施例作详细说明：以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例选用由某大学提供的人体运动视频和其对应的动作捕捉数据被用于训练和最终结果评估。其视频场景的分辨率为640×480，但其中人体头部的像素高度根据距离远近的变化范围仅为40～65像素。实施例中所选择的视频为二号人物的奔跑动作。

本实施例从该视频中估计头部姿态的方法包括以下步骤：

1.提取训练图像块。给定训练视频后，首先根据背景减除的结果大致定位在每一帧中的人体位置，即确定图1(a)中的人体的定位方框。同时根据动作捕捉数据中给定的头部姿态真值定位头部的位置，即确定图1(b)中的头部定位方框。然后在人体所在的方框中提取图像块，其中头部方框内的图像块作为正样本，而头部以外位置的样本作为负样本。其中对于正样本，根据动作捕捉数据记录下该样本中心点相对于头部的位置，同时记录头部的朝向。

2.计算训练图像块的图像特征。首先将原彩色图片由RGB空间转换到Lab空间，因为Lab空间更加符合人眼对色彩的感知，其中L为亮度通道而ab为两个色彩通道。每个像素在Lab通道上的三个值构成了最后的特征空间的前三个维度。其次分别在x、y方向上对原图像的灰度图求一阶和二阶梯度，通过与x、y方向的sobel算子在图像平面上卷积得到，这四个值为特征空间的4～7维度。最后的12个维度是以该点为中心的图像块的梯度方向直方图。图像块中每一点的梯度方向被分为12个类，再根据梯度值的大小累加这12个类的方向强度。所得到的梯度方向密度被实践证明有很好的分类效果。于是，对于步骤1中提取出的每一个图像块中的每一个像素点，一共可以计算出19个维度的特征，这些特征被用于霍夫森林的训练及分类。

3.训练霍夫森林。霍夫森林本质上是一系列的二叉分类树，图2(a)中所示的就是一个二叉分类树。图中以方块标记的节点，其非叶子节点为测试节点，而叶子节点就代表不同的分类结果。样本在经过一个测试节点时，会根据样本的图像特征值进行一个测试，当结果为真时，该样本进入该测试节点的左边的子节点，反之则进入右边的子节点。所进行的测试的形式为：

F(P₁，i)-F(P₂，i)＞d    (1)

其中F为样本对应的特征值，P₁和P₂是样本图像块上的两个位置点，i为所选择的特征维度，d是一个实数。该测试可以表述为：图像F的第i维特征上，P₁处与P₂处的差值是否大于d。

每个测试实际上是对高维特征空间的一次分割，如图2(a)所示的二叉分类树给出的层次化测试就是对整个特征空间的一个划分，而叶子节点就表示最终的划分块，即分类结果，如图2(b)所示。对于霍夫森林中的每个二叉分类树来说，在通过测试样本构造树的结构和测试参数时，所需达到的标准是使得每个划分空间中所包含样本集的不确定性尽量小。

在头部姿态估计问题中，不确定性包含两方面，一是正样本和负样本的分类不确定性，二是参数的不确定性。分类不确定性用划分中样本集的熵来衡量：

$U_1\left(P\right)=-\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{p}_i\log p_i---\left(2\right)$

其中p₁和p₂分别为样本集P中正负样本所占的比率。对于这个公式，当样本全为正样本或全为负样本时的不确定性最小，其值为0。当正负样本各占50％时，取值最大。

在头部姿态估计中，参数的不确定性表示样本集中每个样本对应的头部位置的偏差，可以用方差表示：

$U_2\left(P\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-{\stackrel{\‾}{x}}_i)}^2---\left(3\right)$

对于一个测试来说，其输入样本集将会被该测试分为两个子集，那么对于这个测试所带来的不确定性为两个子集的不确定性的加权平均：

$U=U\left(P_1\right)\·\frac{\#\left(P_1\right)}{\#\left(P_1\right)+\#\left(P_2\right)}+U\left(P_2\right)\·\frac{\#\left(P_2\right)}{\#\left(P_1\right)+\#\left(P_2\right)}---\left(4\right)$

对于训练过程中二叉分类树的每一个测试节点，先随机选取N＝1000组测试参数P₁、P₂、i和d。然后衡量这N组参数所对应的测试的不确定性。最后选取不确定性最小的测试作为该测试节点的测试保存下来。

在确定每个测试节点后，那么对于每个训练样本，它最终将被分类到一个叶子节点中。而每个叶子节点所对应的所有训练样本都被保留下来，用于姿态估计。

由于测试选取的随机性和特征空间的高维度，多个二叉分类树能够更加完备的对特征空间进行划分，因此一共建立10个二叉分类树，这些分类树的集合即被称为霍夫森林。

4.提取测试图像中的图像块并提取特征。该步骤与步骤2类似，对于每一帧测试图像，人体的大致位置依然能够根据背景减除来估计，并确定一个方框，在方框中选取图像块。并计算每个图像块在Lab空间的表示、一阶及二阶梯度和梯度方向直方图特征。这些图像块将作为霍夫森林的输入用于确定头部姿态。

5.利用霍夫森林投票估计头部姿态。在得到测试图像中的图像块以后，将每一个图像块放入霍夫森林中的每一个二叉分类树，再根据分类结果对头部位置进行投票，最后根据所有图像块在所有二叉分类树上的投票结果的和估计头部姿态。

本实施例中，当一个图像块由霍夫森林中的一个二叉分类树分类后，它将到达一个叶子节点。这个叶子节点保存了在训练过程中所有到达这个叶子节点的训练样本图像块。若这个叶子节点中正样本树的比率是p，那么这个值为当前图像块是位于头部的概率的一个估计。然后对于该叶子节点中保存的所有正样本，在这些样本所对应的头部相对位置处以p的权重投票。例如图3(a)所示，这是实施例视频中的一帧图像。图中的两个方框对应的是选取的两个图像块。图3(b)和(c)分别为这两个图像块对于头部位置的投票结果。根据图片可以判断，图3(b)是一个位于头部的图像块，即正样本，因此其投票结果是相对集中的，能够为最终头部的位置提供信息。而(c)不是一个位于头部的图像块，即负样本，因此其投票结果是相对分散的，无法为最终头部位置提供信息。

本实施例将所有选出的图像块的投票结果相加，再寻找投票值最高点即为该方法得到的头部位置估计值，实施例的结果如图3(d)所示，图中最亮的点即投票值最高点。

本实施例在得到头部位置后，再根据所有向该位置投票的训练图像块的朝向参数求平均，即可得到当前头部的朝向。对整段视频中头部姿态的估计结果与真值的比较如图4所示，其中x、y为头部在图像中的位置，其单位为像素点，Pitch、Yaw和Raw三个参数表示头部的朝向，其单位为弧度。图中显示在少数帧中估计存在较大误差，但这些误差可以通过在时间轴上的平滑滤波纠正。

Claims (7)

1.一种低分辨率图像处理中的头部姿态估计的方法，其特征在于，根据训练视频及其已知的头部姿态，提取视频中的训练图像块，训练一个用于估计头部姿态的霍夫森林；霍夫森林是一个二叉分类树，训练的结果是使得在树的每一个叶子节点中所包含的训练数据的不确定性最小；在完成训练过程后，对输入图像帧进行头部姿态估计；利用霍夫森林对输入图像中的图像分块分类到一个叶子节点，再基于子节点中保存的训练数据在头部姿态空间中投票，最后累计投票结果，将得到投票最多的值作为姿态估计结果。

2.根据权利要求1所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，包括以下步骤：

①.提取训练图像块：提取作为训练数据给出的图像，提取其中人体部分的图像块，其中对应头部位置的图像块为训练的正样本，其余位置的为负样本，同时记录其对应的姿态真值；

②.计算训练图像块的图像特征，包括：像素的Lab值、一阶及二阶梯度值和梯度方向直方图；

③.训练霍夫森林，等价于建立输入图像块的高维特征空间的一个划分，训练的目的是使得每一个划分中的训练样本对应的姿态真值的不确定性最小；

④.提取测试图像中的图像块并提取特征；

⑤.利用霍夫森林投票估计头部姿态，首先利用霍夫森林对测试图像中的图像块进行分类，对于每一个图像块达到的叶子节点，基于其中保存的训练数据对头部姿态投票，投票最多的值作为头部姿态估计结果。

3.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，所述的训练图像块，是指给定训练视频后，首先根据背景减除的结果大致定位在每一帧中的人体位置，确定头部定位方框，然后在人体所在的方框中提取图像块，其中头部方框内的图像块作为正样本，而头部以外位置的样本作为负样本，其中对于正样本，根据动作捕捉数据记录下该样本中心点相对于头部的位置，同时记录头部的朝向。

4.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，所述的训练图像块的图像特征为：首先将原彩色图片由RGB空间转换到Lab空间，因为Lab空间更加符合人眼对色彩的感知，其中L为亮度通道而ab为两个色彩通道；每个像素在Lab通道上的三个值构成了最后的特征空间的前三个维度；其次分别在x、y方向上对原图像的灰度图求一阶和二阶梯度，通过与x、y方向的sobel算子在图像平面上卷积得到，这四个值为特征空间的4～7维度；最后的12个维度是以该点为中心的图像块的梯度方向直方图；图像块中每一点的梯度方向被分为12个类，再根据梯度值的大小累加这12个类的方向强度；所得到的梯度方向密度被实践证明有很好的分类效果；于是，对于步骤1中提取出的每一个图像块中的每一个像素点，一共可以计算出19个维度的特征。

5.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，所述的霍夫森林，其本质上是一系列的二叉分类树，样本在经过一个测试节点时，会根据样本的图像特征值进行一个测试，当结果为真时，该样本进入该测试节点的左边的子节点，反之则进入右边的子节点。

6.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，所述的图像块为对于每一帧测试图像，人体的大致位置依然能够根据背景减除来估计，并确定一个方框，在方框中选取图像块。

7.根据权利要求1或者2所述的低分辨率图像处理中的头部姿态估计的方法，其特征是，所述的提取特征是指计算每个图像块在Lab空间的表示、一阶及二阶梯度和梯度方向直方图特征。

Images