CN105760898A - 一种基于混合组回归方法的视觉映射方法 - Google Patents

Abstract

该发明公开了一种基于混合组回归方法的视觉映射方法，属于计算机视觉技术领域，涉及混合回归技术。本发明以头部姿态估计问题为例进行具体说明。首先对采集到的头部图像进行梯度方向直方图特征提取，并记录对应的头部姿态；之后，在输入梯度方向直方图和对应头部姿态之间建立混合组回归模型；接着，初始化混合组回归模型，根据初始化聚类中心划分分组，并求解回归参数；最后，在给定一个待估计头部图像时，提取图像的梯度方向直方图特征，再利用已学到的混合组回归模型估计头部姿态。提高了在头部姿态估计的鲁棒性。

Description

一种基于混合组回归方法的视觉映射方法

技术领域

本发明属于计算机视觉技术领域，涉及混合回归技术，主要应用于姿态估计，视线跟踪和年龄估计等视觉估计问题中。

背景技术

在计算机视觉中，视觉映射是指学习输入图像特征与输出变量之间映射函数的过程，以便在输入新图像时，估计该输入图像对应的目标输出值。具体来讲，视觉映射包括：人体姿态估计、头部姿态估计、视线估计和物体跟踪等。详见参考文献：O.Williams,A.Blake,andR.Cipolla,SparseandSemi-supervisedVisualMappingwiththeS3GP,inIEEEConferenceComputeronComputerVisionandPatternRecognition,pp.230-237,2006.

作为计算机视觉的一个重要分支，视觉映射改变了许多场合下由人逐一根据图像内容估计目标输出的情况。取而代之，由计算机根据输入图像内容，通过已有视觉映射函数预测输出，从而实现由摄像机和电脑代替人眼和大脑对图像进行全自动分析和估计。目前，该技术已开始被应用于与人们生活密切相关的多个产业。其中，头部姿态估计被应用于汽车安全驾驶产业，视线估计和人体姿态估计被应用于智能人机接口及游戏产业，物体跟踪被应用于智能交通等产业。相信随着计算机硬件处理能力的不断提高和视觉映射中关键技术问题的逐步解决，其应用前景将更加广阔。

混合回归模型最早由多伦多大学的GeoffreyHinton和加州大学伯克利分校的MichealJordan在1991年提出，原始模型假设输出变量服从混合高斯分布，并且认为属于不同高斯的输入和输出数据之间存在局部线性映射关系。近几年，INRIA研究机构的BillTriggs成功地将混合回归模型应用人体姿态估计问题，并假设输入特征和输出变量联合服从混合高斯分布，从而建立从输入图像特征到人体姿态的概率估计模型。详见参考文献：A.AgarwalandB.Triggs,MonocularHumanMotionCapturewithaMixtureofRegressors,inIEEEWorkshoponVisionforHumanComputerInteractioninConjunctionwithIEEEConferenceonComputerVisionandPatternRecognition,pp.72-80,2005.

在用于视觉映射问题的模型中，混合回归模型已被证实为解决该问题最好的模型之一。由于其高准确性、低复杂度和强通用性，混合回归模型也是目前被最为广泛应用的模型。近年来，国外很多学者将研究集中在如何克服以上缺陷，提高现有基于混合回归视觉映射模型的准确性，尤其是在有干扰和噪声存在情况下的鲁棒性。然而，现有研究工作大都存在建模和解法上的不足，还需要进行深入的研究和完善。此外，国内在该领域也开始有少量研究工作出现，但多数研究还处于起步阶段。

发明内容

本发明提供了一种基于混合组回归方法的视觉映射方法，本专利以头部姿态估计问题为例进行具体说明。首先对采集到的头部图像进行梯度方向直方图特征提取，并记录对应的头部姿态；之后，在输入梯度方向直方图和对应头部姿态之间建立混合组回归模型；接着，初始化混合组回归模型，根据初始化聚类中心划分分组，并求解回归参数；最后，在给定一个待估计头部图像时，提取图像的梯度方向直方图特征，再利用已学到的混合组回归模型估计头部姿态。算法示意图参见图3。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：头部姿态。在三维空间中头部旋转的角度通常由一个向量表示，该向量由三个元素构成，第一个元素为俯仰角，第二个元素为偏航角，第三个元素为旋转角。

定义3：俯仰角。在图2(b)所示的x-y-z坐标系中，俯仰角是指以x轴为中心旋转的角度θ。

定义3：偏航角。在图2(a)所示的x-y-z坐标系中，偏航角是指以z轴为中心旋转的角度φ。

定义4：旋转角。在图2(c)所示的x-y-z坐标系中，旋转角是指以z′为中心旋转的角度Ψ。

定义5：梯度方向直方图特征。利用像素强度梯度或边缘的方向分布描述一幅图像中的物体的表象和形状的视觉特征提取方法。其实现方法先将图像分成小的叫做方格单元的连通区域；然后采集方格单元中各像素点的梯度方向或边缘方向直方图；最后把这些直方图组合起来就可以构成特征描述子。为了提高精确度，还可以把这些局部直方图在图像的更大的区间(block)中进行对比度归一化(contrast-normalized)，此方法通过先计算各直方图在这个区间(block)中的密度，然后根据这个密度值对区间中的各个方格单元做归一化。通过该归一化能对光照变化和阴影有更强的鲁棒性。

定义6：高斯分布。又名正态分布，是一个在数学、物理及工程等领域都非常重要的概率分布。具体是指：对于任意随机变量x，若其概率密度函数满足其中μ为正态分布的中心，σ为正态分布的方差，则称其满足高斯分布，常用符号表示。若随机变量为向量x，则对应高维高斯分布μ为高维正态分布的中心，Σ为高维正态分布的协方差，或记为

定义7：混合高斯分布。是指随机变量服从由多个高斯函数混合组成的分布函数，即：其中K为高斯分布的个数，z为指示变量x属于哪一个高斯分布的隐变量。z为一个K维的状态向量，该向量只有一个元素为1，其余元素为0，当第k个元素z_k为1时，则表示x属于第k个高斯分布。p(z)表示隐变量z的出现概率，该概率通常用符号π_k表示，即：p(z_k＝1)＝π_k。

定义8：隐变量。无法被观测到的变量，例如在混合高斯分布 中，z指示变量x属于哪一个高斯分布，无法被观测即为隐变量。

定义9：混合系数。在混合高斯分布中代表变量x属于某一高斯分布的概率，即π_k为混合系数。

定义10：线性回归。是指输出变量(向量)y和输入变量(向量)x之间存在线性映射关系，即：y＝A^Tx+b，其中A^T代表回归矩阵，b代表偏差向量。

定义11：混合回归关系。是指输出变量(向量)y和输入变量(向量)x之间存在非线性映射关系，即：其中代表第k个回归矩阵，b_k代表第k个偏差向量。π_k(x)表示x属于某一线性回归模型的概率。

定义12：似然函数。似然函数是一种关于统计模型中的参数的函数，表示模型参数的似然性或可能性。

定义13：期望最大值算法。一种求解混合高斯分布参数似然函数最大值的优化方法，它通常包含两个基本的步骤，即：期望步骤(E步)和最大化步骤(M步)。

定义14：Q函数。在求解混合高斯分布似然函数最大值的期望最大值算法中，Q函数为似然函数的下界函数。

定义15：对角矩阵。是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。diag{}是对角矩阵的符号，花括号中的元素代表对角矩阵对角线上的元素。

定义16：流形。流形(manifold)是局部具有欧几里得空间性质的空间，是欧几里得空间中的曲线、曲面等概念的推广。欧几里得空间就是最简单的流形的实例。地球表面这样的球面则是一个稍微复杂的例子。一般的流形可以通过把许多平直的片折弯并粘连而成。

本发明详细技术方案如下：

本专利以头部姿态估计为例，说明一种基于混合组回归的视觉映射方法，该方法也可以推广到其它视觉映射问题中，例如：人体姿态估计、视线跟踪、年龄估计等。

本发明的技术方案是一种基于混合组回归方法的视觉映射方法，具体步骤如下：

步骤1：采集N幅包含不同姿态的头部图像(见图1)，并根据采集每幅图像时各图像对应的头部俯仰、偏航和旋转角(见图2)，即头部姿态做记录，y_n的第一维表示俯仰角，第二维表示倾斜角，第三维表示旋转角，下标n表示第n幅图像对应的姿态；

步骤2：将彩色图像转换为灰度图像，若采集图像已为灰度图像则无需进行转化；

步骤3：将步骤2中得到图像的头部区域进行尺寸归一化处理，并提取梯度方向直方图特征；

步骤4：将所有N幅图像对应的梯度方向直方图特征向量按顺序排列可以得到输入数据矩阵X，即X＝[x₁,x₂,…,x_N]；

步骤5：将N幅图像对应的头部姿态向量按顺序排列为数据矩阵Y，即Y＝[y₁,y₂,…,y_N]；

步骤6：头部姿态估计问题中，所有输入特征和输出姿态联合服从混合高斯分布，因此任一输入输出观测对{x_n,y_n}的概率分布为：

各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，k＝1,2,…K。为隐变量，决定第n个观测样本{x_n,y_n}属于哪一个高斯，Θ表示此混合回归模型中的所有参数；同时，已知{x_n,y_n}属于某一高斯的条件下，输入与输出之间存在线性回归关系，回归参数为参数矩阵A_k，偏差向量b_k和噪声方差水平γ_k，即：

其中为单位矩阵；根据上述假设，该关系的示意图见图3。最后得到，参数Θ＝{μ_k,∑_k,π_k,A_k,b_k,γ_k}；另外，由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

步骤7：为了提高混合回归模型的鲁棒性，假设上述聚类可以分为不同的L个分组,即这里代表属于第l个组的聚类标号；并假设同组聚类对应的回归参数A_k有相同的先验假设，即：

其中表示高斯先验的均值，τ_lI_DH代表协方差矩阵。这样假设的依据是同一组的聚类为数据流形分布上邻近的聚类，具有相似的输入输出映射关系；同时，我们假设分组是根据初始化时聚类中心的位置确定的，我们将邻近的聚类中心对应的聚类归为一组；

步骤8：根据步骤6和步骤7得到混合组回归模型的所有参数Θ，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

lnp(Θ|X,Y)∝lnp(X,Y|Θ)+lnp(Θ)

混合组回归模型对应的图模型见图4。将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数lnp(X,Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化。EM算法包括E步骤和M步骤；

其中E步骤为：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

符号w_kn代表此后验概率。同时建立关于参数Θ的Q函数，

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

其中M步骤为：最大化Q函数Q(Θ,Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

λ＞0为回归噪声方差水平γ_k和参数τ_l之间的比值，这里假设同一组的子回归器有相同的回归噪声水平γ_k。并得到{A_k}和{b_k}的解分别为：

这里所有回归参数构成的参数矩阵训练样本输出值构成的向量其中由训练样本输入特征构成的矩阵而分组矩阵G的任意一个元素为如果否则g_kl＝0；

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

步骤10：一直重复步骤9中的E步和M步，直到收敛，即：前后两次参数的值不再改变。

进一步的，所述步骤3中将步骤2中得到图像的头部区域归一化大小为64×64像素，并提取梯度方向直方图特征(HistogramofOrientedGradient,HOG)；在梯度方向直方图特征计算的过程中，区域个数设置为2×2，每一区域中图像单元的个数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征的维数为4086，并记任意第n幅图像对应的梯度方向直方图特征向量

进一步的，将本发明方法应用于头部姿态估计、人体姿态估计、视线跟踪或年龄估计领域。

本发明一种基于混合组回归方法的视觉映射方法，首先对采集到的头部图像进行梯度方向直方图特征提取，并记录对应的头部姿态；之后，在输入梯度方向直方图和对应头部姿态之间建立混合组回归模型；接着，初始化混合组回归模型，根据初始化聚类中心划分分组，并求解回归参数；最后，在给定一个待估计头部图像时，提取图像的梯度方向直方图特征，再利用已学到的混合组回归模型估计头部姿态。提高了在头部姿态估计的鲁棒性。

附图说明

图1是视觉映射示意图(头部姿态估计)。

图2是俯仰角、偏航角和旋转角示意图。

图3是基于混合组回归的头部姿态估计示意图。

图4是混合组回归的概率图模型。

具体实施方式

本发明的技术方案是一种基于混合组回归方法的视觉映射方法，具体步骤如下：

步骤1：采集N幅包含不同姿态的头部图像(见图1)，并根据采集每幅图像时各图像对应的头部俯仰、偏航和旋转角(见图2)，即头部姿态做记录，y_n的第一维表示俯仰角，第二维表示倾斜角，第三维表示旋转角，下标n表示第n幅图像对应的姿态；

步骤2：将彩色图像转换为灰度图像，若采集图像已为灰度图像则无需进行转化；

步骤3：将步骤2中得到图像的头部区域归一化大小为64×64像素，并提取梯度方向直方图特征(HistogramofOrientedGradient,HOG)；在梯度方向直方图特征计算的过程中，区域个数设置为2×2，每一区域中图像单元的个数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征的维数为4086，并记任意第n幅图像对应的梯度方向直方图特征向量

步骤4：将所有N幅图像对应的梯度方向直方图特征向量按顺序排列可以得到输入数据矩阵X，即X＝[x₁,x₂,…,x_N]；

步骤5：将N幅图像对应的头部姿态向量按顺序排列为数据矩阵Y，即Y＝[y₁,y₂,…,y_N]；

步骤6：头部姿态估计问题中，所有输入特征和输出姿态联合服从混合高斯分布，因此任一输入输出观测对{x_n,y_n}的概率分布为：

各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，k＝1,2,…K。为隐变量，决定第n个观测样本{x_n,y_n}属于哪一个高斯，Θ表示此混合回归模型中的所有参数；同时，已知{x_n,y_n}属于某一高斯的条件下，输入与输出之间存在线性回归关系，回归参数为参数矩阵A_k，偏差向量b_k和噪声方差水平γ_k，即：

其中为单位矩阵；根据上述假设，该关系的示意图见图3。最后得到，参数Θ＝{μ_k,∑_k,π_k,A_k,b_k,γ_k}；另外，由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

步骤7：为了提高混合回归模型的鲁棒性，假设上述聚类可以分为不同的L个分组,即这里代表属于第l个组的聚类标号；并假设同组聚类对应的回归参数A_k有相同的先验假设，即：

其中表示高斯先验的均值，τ_lI_DH代表协方差矩阵。这样假设的依据是同一组的聚类为数据流形分布上邻近的聚类，具有相似的输入输出映射关系；同时，我们假设分组是根据初始化时聚类中心的位置确定的，我们将邻近的聚类中心对应的聚类归为一组；

步骤8：根据步骤6和步骤7得到混合组回归模型的所有参数Θ，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

lnp(Θ|X,Y)∝lnp(X,Y|Θ)+lnp(Θ)

混合组回归模型对应的图模型见图4。将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数lnp(X,Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化。EM算法包括E步骤和M步骤；

其中E步骤为：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

符号w_kn代表此后验概率。同时建立关于参数Θ的Q函数，

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

其中M步骤为：最大化Q函数Q(Θ,Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

λ＞0为回归噪声方差水平γ_k和参数τ_l之间的比值，这里假设同一组的子回归器有相同的回归噪声水平γ_k。并得到{A_k}和{b_k}的解分别为：

这里所有回归参数构成的参数矩阵训练样本输出值构成的向量其中由训练样本输入特征构成的矩阵而分组矩阵G的任意一个元素为如果否则g_kl＝0；

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

步骤10：一直重复步骤9中的E步和M步，直到收敛，即：前后两次参数的值不再改变。

实现语言：Matlab,C/C++

硬件平台：Intelcore2E7400+4GDDRRAM

软件平台：Matlab2012a,VisualStdio2010

根据本发明的方法，首先采集一定数量的头部图像并记录这些图像对应的头部姿态，根据本发明专利，利用Matlab或者C语言编写基于混合组回归的头部姿态估计程序，并在采集数据上训练本发明对应模型的参数；接着在各种需要头部姿态估计的场景安装采集摄像头采集原始图像；接着提取采集到的图像头部区域的梯度方向直方图特征；根据之前训练的参数可以估计该图像对应的头部姿态。本发明的方法，可以用于各种场景下头部姿态的自动估计。

Claims (3)

1.一种基于混合组回归方法的视觉映射方法，具体步骤如下：

步骤1：采集N幅包含不同姿态的头部图像，并根据采集每幅图像时各图像对应的头部俯仰、偏航和旋转角，即头部姿态做记录，y_n的第一维表示俯仰角，第二维表示倾斜角，第三维表示旋转角，下标n表示第n幅图像对应的姿态；

步骤2：将彩色图像转换为灰度图像，若采集图像已为灰度图像则无需进行转化；

步骤3：将步骤2中得到图像的头部区域进行尺寸归一化处理，并提取梯度方向直方图特征，并记任意第n幅图像对应的梯度方向直方图特征向量

步骤4：将所有N幅图像对应的梯度方向直方图特征向量按顺序排列可以得到输入数据矩阵X，即X＝[x₁,x₂,…,x_N]；

步骤5：将N幅图像对应的头部姿态向量按顺序排列为数据矩阵Y，即Y＝[y₁,y₂,…,y_N]；

步骤6：头部姿态估计问题中，所有输入特征和输出姿态联合服从混合高斯分布，因此任一输入输出观测对{x_n,y_n}的概率分布为：

各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，为隐变量，决定第n个观测样本{x_n,y_n}属于哪一个高斯，Θ表示此混合回归模型中的所有参数；同时，已知{x_n,y_n}属于某一高斯的条件下，输入与输出之间存在线性回归关系，回归参数为参数矩阵A_k，偏差向量b_k和噪声方差水平γ_k，即：

其中为单位矩阵；根据上述假设，最后得到，参数Θ＝{μ_k,∑_k,π_k,A_k,b_k,γ_k}；另外，由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

步骤7：为了提高混合回归模型的鲁棒性，假设上述聚类可以分为不同的L个分组,即这里代表属于第l个组的聚类标号；并假设同组聚类对应的回归参数A_k有相同的先验假设，即：

其中表示高斯先验的均值，τ_lI_DH代表协方差矩阵。这样假设的依据是同一组的聚类为数据流形分布上邻近的聚类，具有相似的输入输出映射关系；同时，我们假设分组是根据初始化时聚类中心的位置确定的，我们将邻近的聚类中心对应的聚类归为一组；

步骤8：根据步骤6和步骤7得到混合组回归模型的所有参数Θ，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

lnp(Θ|X,Y)∝lnp(X,Y|Θ)+Inp(Θ)

混合组回归模型对应的图模型见图4。将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数lnp(X,Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化。EM算法包括E步骤和M步骤；

其中E步骤为：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

符号w_kn代表此后验概率。同时建立关于参数Θ的Q函数，

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

其中M步骤为：最大化Q函数Q(Θ,Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

λ＞0为回归噪声方差水平γ_k和参数τ_l之间的比值，这里假设同一组的子回归器有相同的回归噪声水平γ_k。并得到{A_k}和{b_k}的解分别为：

这里所有回归参数构成的参数矩阵训练样本输出值构成的向量其中由训练样本输入特征构成的矩阵而分组矩阵G的任意一个元素为如果否则g_kl＝0；

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

步骤10：一直重复步骤9中的E步和M步，直到收敛，即：前后两次参数的值不再改变。

2.如权利要求1所述的一种基于混合组回归方法的视觉映射方法，其特征在于所述步骤3中将步骤2中得到图像的头部区域归一化大小为64×64像素，并提取梯度方向直方图特征；在梯度方向直方图特征计算的过程中，区域个数设置为2×2，每一区域中图像单元的个数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征的维数为4086。

3.如权利要求1所述的一种基于混合组回归方法的视觉映射方法，其特征在于将本发明方法应用于头部姿态估计、人体姿态估计、视线跟踪或年龄估计领域。