CN106650754A - 一种针对视觉映射的稀疏高斯过程回归方法 - Google Patents

Abstract

本发明提出了一种带有特征选择性能的高斯过程回归方法，解决了利用高斯过程回归解决视觉映射问题时存在特征输入维数过高和特征冗余的问题。该方法首先假设分布参数中与特征权重有关的参数满足拉普拉斯先验分布；接着再通过最大后验概率估计方法估计参数，这样使得与特征相关的权重存在稀疏性，即特征选择性；之后通过求解稀疏问题得到回归参数。当对新样本视觉估计时，直接利用稀疏回归参数进行特征选择并得到估计目标值。该方法简单有效，具有良好的性能。

Description

一种针对视觉映射的稀疏高斯过程回归方法

技术领域

本发明属于计算机视觉技术领域，涉及视觉映射技术，主要应用于头部姿态估计，视线跟踪和年龄估计等视觉估计问题中。

背景技术

在计算机视觉中，视觉映射是指学习输入图像特征与输出变量之间映射函数的过程，以便在输入新图像时，估计该输入图像对应的目标输出值。具体来讲，视觉映射包括：人体姿态估计、头部姿态估计、视线估计和物体跟踪等。详见参考文献：O.Williams,A.Blake,and R.Cipolla,Sparse and Semi-Supervised Visual Mapping with the S3GP,in IEEEConference Computer on Computer Vision and Pattern Recognition,pp.230-237,2006.

作为计算机视觉的一个重要分支，视觉映射改变了许多场合下由人逐一根据图像内容估计目标输出的情况。取而代之，由计算机根据输入图像内容，通过已有视觉映射函数预测输出，从而实现由摄像机和电脑代替人眼和大脑对图像进行全自动分析和估计。目前，该技术已开始被应用于与人们生活密切相关的多个产业。其中，头部姿态估计被应用于汽车安全驾驶产业，视线估计和人体姿态估计被应用于智能人机接口及游戏产业，物体跟踪被应用于智能交通等产业，人体姿态估计被应用于人机交互领域。相信随着计算机硬件处理能力的不断提高和视觉映射中关键技术问题的逐步解决，其应用前景将更加广阔。

视觉映射问题实质是一个非线性映射拟合问题，解决该问题高斯过程回归模型被证实为一种有效的方法。它无需假设视觉特征和目标值之间满足某种具体的映射函数关系，而只是假设目标值的分布与输入特征分布相关，因此灵活性强。而现有的解决视觉映射问题的高斯过程方法通常没有特征选择功能，过于高维的输入特征常常会造成过拟合问题。参考文献：Christopher M.Bishop,Pattern Recognition and Machine Learning,Springer,2006。

发明内容

本专利针对此问题提出了一种基于特征选择的高斯过程回归方法，该方法直接对输入图像特征进行选择，并且选择的特征是最适合后续目标值估计的，这样有助于提高视觉映射的总体估计性能。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：视觉映射。对图像提取视觉特征，并将视觉特征映射到对应的目标值(见图1)。例如：头部姿态估计是一个视觉映射问题，对包含头部的图像提取梯度方向直方图特征，并将该特征映射到姿态角度。

定义2：梯度方向直方图特征。利用像素强度梯度或边缘的方向分布描述一幅图像中的物体的表象和形状的视觉特征提取方法。其实现方法先将图像分成小的叫做方格单元的连通区域；然后采集方格单元中各像素点的梯度方向或边缘方向直方图；最后把这些直方图组合起来就可以构成特征描述子。为了提高精确度，还可以把这些局部直方图在图像的更大的区间(block)中进行对比度归一化(contrast-normalized)，此方法通过先计算各直方图在这个区间(block)中的密度，然后根据这个密度值对区间中的各个方格单元做归一化。通过该归一化能对光照变化和阴影有更强的鲁棒性。

定义7：回归函数。由未知参数构成的与输入变量有关的函数，用于估计输出值。

定义8：高斯过程先验。对于任意函数y(x)，对x的任意观测值x₁,…,x_N，对应的函数值构成向量[y(x₁),…,y(x_N)]都满足多维高斯分布，则函数y(x)满足高斯过程先验。

定义9：高斯过程回归。已知N个输入观测向量x₁,x₂,…x_N和其对应的输出观测值y₁,y₂,…y_N，高斯过程回归假设输入与输出之间存在下述关系：

t_n＝y(x_n)+ε_n

h(·)为回归函数，ε_n为噪声，同时假设由x₁,x₂,…x_N处的函数值构成的向量y＝[y(x₁),…,y(x_N)]满足零均值的多维高斯分布，

其中，X为所有输入特征集合[x₁,x₂,…x_N]，K为高斯分布的协方差，K的第m行n列元素为：

D为观测向量x_n的维数，为x_m的第i个元素，为x_n的第i个元素，参数为θ＝{θ₀,θ₁,θ₂,η₁,…,η_D}。

定义10：高斯分布。假设任意D维随机向量x，对应的多维高斯分布的形式为：

这里μ为正态分布的均值，∑为正态分布的协方差。

定义11：核函数。在机器学习中，核函数通常用于计算在变换后特征空间中两个向量的内积，它避免了在高维空间或者无限维数空间的计算。常用的核函数包括：

线性核函数：k(x,x′)＝x^Tx′，

RBF核函数：k(x,x′)＝exp(-τ‖x-x′‖²)，

其中x,x′为两个原空特征间中的输入特征，τ为高斯核函数的参数。

定义12：对数似然函数。似然函数是一种关于统计模型参数的函数，似然函数的对数即对数似然函数。

定义13：导数。当函数y＝f(x)的自变量x在一点x₀上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限如果存在，即为在x₀处的导数，记作f′(x₀)。

定义14：梯度。当函数y＝f(x)的自变量x的维数为D时候，梯度定义为 为函数f(x)关于变量x_d的偏导数。

定义14：梯度法。梯度下降法是一个最优化算法，为求解函数f(x)取极值时，自变量的取值可以迭代求解，即：

直到梯度值为零，得到解。

本专利的技术方案如下：一种针对视觉映射的稀疏高斯过程回归方法，该方法包括：

步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值t_n，下标n表示第n幅图像对应的姿态。

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁,x₂,…,x_N]；

步骤5：将N幅图像对应的目标值按顺序排列为目标值向量t；

步骤6：假设视觉特征与其对应的目标值之间存在以下高斯过程回归关系：

t_n＝y(x_n)+ε_n,ε_n～N(0,σ²)

x_n和t_n为第n个样本对应的视觉特征和目标值，y(x_n)是回归函数，ε_n为随机噪声变量，服从均值为0方差为σ²的高斯分布；

步骤7：假设步骤6中的回归函数输出值满足高斯过程先验，即：

其中为输入图像视觉特征集合，D表示输入图像特征的维数，N为图像的总个数，为零向量，K为大小N×N的协方差矩阵，其第m行n列的元素k(x_n,x_m)表示回归函数在x_n和x_m处，即y(x_n)和y(x_m)的协方差

x_mi为x_m的第i个元素，x_ni为x_n的第i个元素，参数为θ＝{θ₀,θ₁,θ₂,η₁,…,η_D}决定核函数的具体形式；

步骤8：根据步骤6中变量t_n和回归函数y(x_n)之间的关系，可以得到p(t|y,σ²)的满足分布I_N有N个对角线元素的单位矩阵，再根据步骤7中对回归函数输出值的高斯过程先验假设，得到输入图像特征X已知条件下t的分布函数：

令根据正态分布的表达式并对上式取对数得到

步骤9：假设步骤7中与协方差矩阵计算有关的参数η＝(η₁,…,η_D)^T都符合相同的拉普拉斯先验分布

其中b为控制拉普拉斯分布的宽度；

步骤10：根据最大后验概率分布和贝叶斯定理p(θ|X,t,σ²)∝p(t|X,θ,σ²)p(θ)建立目标函数，由于对参数的先验假设p(θ)只包含p(η)部分，因此最大后验概率下的目标函数为：

ln p(t|X,θ,σ²)+lnp(η)

步骤11：根据步骤8中ln p(t|X,θ,σ²)的表达式，代入步骤10中的目标函数得到

其中D为输入图像特征的维数；

步骤14：为了寻找使得后验概率分布p(θ|X,t,σ²)取最大值时的参数θ,σ²，利用Nesterov梯度法求解参数θ和σ²；

步骤15：给定待估计目标值的图像(对于头部姿态估计，估计目标值是头部姿态，输入图像为头部图像；对于视线估计，估计值是视线方向，输入图像为眼部图像)，按照步骤2中的方法提取图像梯度方向直方图特征x_*，可得到所有观测值t＝[t₁,…,t_N]和目标值t_*的联合分布函数如下:

其中k_*＝(k(x₁,x_*),…,k(x_N,x_*))^T；根据上式，可以求得p(t_*|X,t,x_*,θ,σ²)服从高斯分布，下标*表示和待估计样本有关的参数或变量，均值μ_*与方差如下表示

将μ_*作为对待估计输入图像特征x_*的对应的目标值t_*的估计值。

进一步的，所述步骤1中若针对头部姿态估计问题，采集的N幅图像为不同姿态的头部图像，目标值t_n为对应的头部姿态角度，第一个元素为俯仰角，第二个元素为偏航角，第三个元素为旋转角；若针对视线估计问题，t_n为每一幅眼部图像对应的视线方向，即：水平方向角度和垂直方向角度。

进一步的，所述步骤3在梯度方向直方图特征计算的过程中，区域个数的参数设置为2×2，每一区域中图像单元的个数参数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征，并记第n幅图像对应的梯度方向直方图特征向量x_n。

本发明一种针对视觉映射的稀疏高斯过程回归方法，该方法直接对输入图像特征进行选择，并且选择的特征是最适合后续目标值估计的，这样有助于提高视觉映射的总体估计性能。

附图说明

图1是视觉映射示意图(头部姿态估计、身体姿态估计和视线估计)。

图2是高斯过程回归中观测值、输入特征和回归函数的假设。

具体实施方式

实现语言：Matlab,C/C++

硬件平台：Intel core2E7400+4G DDR RAM

软件平台：Matlab2012a,VisualStdio2010

根据本发明的方法，首先采集一定数量的图像并记录这些图像对应的目标值，根据本发明专利，利用Matlab或者C++语言编写稀疏高斯过程回归模型程序，并在采集数据上训练本发明对应模型的参数；接着在各种应用场景安装摄像头采集原始图像，并提取梯度方向直方图特征；根据之前训练的参数可以估计该图像对应的输出目标值。本发明的方法，可以用于各种场景下的视觉映射问题。

一种针对视觉映射的稀疏高斯过程回归方法，该方法包括：步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值t_n，下标n表示第n幅图像对应的姿态。以头部姿态估计为例，采集的N幅图像为不同姿态的头部图像，目标值t_n为对应的头部姿态角度，第一个元素为俯仰角，第二个元素为偏航角，第三个元素为旋转角。以视线估计问题为例，t_n为每一幅眼部图像对应的视线方向，即：水平方向角度和垂直方向角度；

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；在梯度方向直方图特征计算的过程中，区域个数的参数设置为2×2，每一区域中图像单元的个数参数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征，并记第n幅图像对应的梯度方向直方图特征向量x_n；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁,x₂,…,x_N]；以头部姿态估计问题为例，为每一幅头部图像提取的视觉特征，所有图像视觉特征的集合即X。以视线估计问题为例，x_n为每一幅眼部图像提取的视觉特征，所有眼部图像视觉特征的集合即X；

步骤5：将N幅图像对应的目标值按顺序排列为目标值向量t，这里我们以目标值为一维的情况为例，即t＝[t₁,t₂,…,t_N]^T，当目标值为高维时逐维建立回归模型。

步骤6：假设视觉特征与其对应的目标值之间存在以下高斯过程回归关系：

t_n＝y(x_n)+ε_n,ε_n～N(0,σ²)

x_n和t_n为第n个样本对应的视觉特征和目标值，y(x_n)是回归函数，ε_n为随机噪声变量，服从均值为0方差为σ²的高斯分布；

步骤7：假设步骤6中的回归函数输出值满足高斯过程先验，即：

其中为输入图像视觉特征集合，D表示输入图像特征的维数，N为图像的总个数，为零向量，K为大小N×N的协方差矩阵，其第m行n列的元素k(x_n,x_m)表示回归函数在x_n和x_m处，即y(x_n)和y(x_m)的协方差

x_mi为x_m的第i个元素，x_ni为x_n的第i个元素，参数为θ＝{θ₀,θ₁,θ₂,η₁,…,η_D}决定核函数的具体形式；

步骤8：根据步骤6中变量t_n和回归函数y(x_n)之间的关系，可以得到p(t|y,σ²)的满足分布I_N有N个对角线元素的单位矩阵，再根据步骤7中对回归函数输出值的高斯过程先验假设，得到输入图像特征X已知条件下t的分布函数：

令根据正态分布的表达式并对上式取对数得到

步骤9：假设步骤7中与协方差矩阵计算有关的参数η＝(η₁,…,η_D)^T都符合相同的拉普拉斯先验分布

其中b为控制拉普拉斯分布的宽度；

步骤10：根据最大后验概率分布和贝叶斯定理p(θ|X,t,σ²)∝p(t|X,θ,σ²)p(θ)建立目标函数，由于对参数的先验假设p(θ)只包含p(η)部分，因此最大后验概率下的目标函数为：

ln p(t|X,θ,σ²)+lnp(η)

步骤11：根据步骤8中lnp(t|X,θ,σ²)的表达式，代入步骤10中的目标函数得到

其中D为输入图像特征的维数；

步骤14：为了寻找使得后验概率分布p(θ|X,t,σ²)取最大值时的参数θ,σ²，利用Nesterov梯度法求解参数θ和σ²；

步骤15：给定待估计目标值的图像(对于头部姿态估计，估计目标值是头部姿态，输入图像为头部图像；对于视线估计，估计值是视线方向，输入图像为眼部图像)，按照步骤2中的方法提取图像梯度方向直方图特征x_*，可得到所有观测值t＝[t₁,…,t_N]和目标值t_*的联合分布函数如下:

其中k_*＝(k(x₁,x_*),…,k(x_N,x_*))^T；根据上式，可以求得p(t_*|X,t,x_*,θ,σ²)服从高斯分布，下标*表示和待估计样本有关的参数或变量，均值μ_*与方差如下表示

将μ_*作为对待估计输入图像特征x_*的对应的目标值t_*的估计值。

Claims (3)

1.一种针对视觉映射的稀疏高斯过程回归方法，该方法包括：

步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值t_n，下标n表示第n幅图像对应的姿态。

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁，x₂，...，x_N]；

步骤5：将N幅图像对应的目标值按顺序排列为目标值向量t；

步骤6：假设视觉特征与其对应的目标值之间存在以下高斯过程回归关系：

t_n＝y(x_n)+ε_n，ε_n～N(0，σ²)

x_n和t_n为第n个样本对应的视觉特征和目标值，y(x_n)是回归函数，ε_n为随机噪声变量，服从均值为0方差为σ²的高斯分布；

步骤7：假设步骤6中的回归函数输出值满足高斯过程先验，即：

其中为输入图像视觉特征集合，D表示输入图像特征的维数，N为图像的总个数，为零向量，K为大小N×N的协方差矩阵，其第m行n列的元素k(x_n，x_m)表示回归函数在x_n和x_m处，即y(x_n)和y(x_m)的协方差

$k(x_n,x_m)={\mathrm{\θ}}_0\exp \left\{-\frac{1}{2}\underset{i=1}{\overset{D}{\Σ}}{\mathrm{\η}}_i{(x_{mi}-x_{ni})}^2\right\}+{\mathrm{\θ}}_1+{\mathrm{\θ}}_2\underset{i=1}{\overset{D}{\Σ}}{x}_{mi}{x}_{ni}$

x_mi为x_m的第i个元素，x_ni为x_n的第i个元素，参数为θ＝{θ₀，θ₁，θ₂，η₁，...，η_D}决定核函数的具体形式；

步骤8：根据步骤6中变量t_n和回归函数y(x_n)之间的关系，可以得到p(t|y，σ²)的满足分布I_N有N个对角线元素的单位矩阵，再根据步骤7中对回归函数输出值的高斯过程先验假设，得到输入图像特征X已知条件下t的分布函数：

令根据正态分布的表达式并对上式取对数得到

$\ln p\left(t\right|X,\mathrm{\θ},{\mathrm{\σ}}^2)=-\frac{1}{2}ln\left|\tilde{K}\right|-\frac{1}{2}{t}^T{\tilde{K}}^{-1}t-\frac{N}{2}ln2\mathrm{\π}$

步骤9：假设步骤7中与协方差矩阵计算有关的参数η＝(η₁，...，η_D)^T都符合相同的拉普拉斯先验分布

$p\left({\mathrm{\η}}_d\right)=\frac{1}{2b}\exp (-\frac{\left|{\mathrm{\η}}_d\right|}{b})$

其中b为控制拉普拉斯分布的宽度；

步骤10：根据最大后验概率分布和贝叶斯定理p(θ|X，t，σ²)∝p(t|X，θ，σ²)p(θ)建立目标函数，由于对参数的先验假设p(θ)只包含p(η)部分，因此最大后验概率下的目标函数为：

ln p(t|X，θ，σ²)+ln p(η)

步骤11：根据步骤8中ln p(t|X，θ，σ²)的表达式，代入步骤10中的目标函数得到

$-\frac{1}{2}ln\left|\tilde{K}\right|-\frac{1}{2}{t}^T{\tilde{K}}^{-1}t-\frac{N}{2}ln2\mathrm{\π}-\frac{D}{2}\ln b-\frac{1}{b}\left|\right|\mathrm{\η}|{|}_1$

其中D为输入图像特征的维数；

步骤14：为了寻找使得后验概率分布p(θ|X，t，σ²)取最大值时的参数θ，σ²，利用Nesterov梯度法求解参数θ和σ²；

步骤15：给定待估计目标值的图像(对于头部姿态估计，估计目标值是头部姿态，输入图像为头部图像；对于视线估计，估计值是视线方向，输入图像为眼部图像)，按照步骤2中的方法提取图像梯度方向直方图特征x_*，可得到所有观测值t＝[t₁，...，t_N]和目标值t_*的联合分布函数如下:

其中k_*＝(k(x₁，x_*)，...，k(x_N，x_*))^T；根据上式，可以求得p(t_*|X，t，x_*，θ，σ²)服从高斯分布，下标*表示和待估计样本有关的参数或变量，均值μ_*与方差如下表示

${\mathrm{\μ}}_{*}=k_{*}^T{\tilde{K}}^{-1}t$

${\mathrm{\σ}}_{*}^2=k(x_{*},x_{*})-k_{*}^T{\tilde{K}}^{-1}{k}_{*}+{\mathrm{\σ}}^2$

将μ_*作为对待估计输入图像特征x_*的对应的目标值t_*的估计值。

2.如权利要求1所述的一种针对视觉映射的稀疏高斯过程回归方法，其特征在于所述步骤1中若针对头部姿态估计问题，采集的N幅图像为不同姿态的头部图像，目标值t_n为对应的头部姿态角度，第一个元素为俯仰角，第二个元素为偏航角，第三个元素为旋转角；若针对视线估计问题，t_n为每一幅眼部图像对应的视线方向，即：水平方向角度和垂直方向角度。

3.如权利要求1所述的一种针对视觉映射的稀疏高斯过程回归方法，其特征在于所述步骤3在梯度方向直方图特征计算的过程中，区域个数的参数设置为2×2，每一区域中图像单元的个数参数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征，并记第n幅图像对应的梯度方向直方图特征向量x_n。