CN104537692B - 基于时空上下文信息辅助的关键点稳定跟踪方法 - Google Patents

Abstract

一种基于时空上下文信息辅助的关键点稳定跟踪方法，本发明包括以下步骤：首先通过人工方式选择或自动检测手段提取目标上的关键点，然后构建关键点与目标周围特征点的时空上下文模型，并通过在线学习方式对该模型进行更新，待获取新一帧图像，求取目标置信度响应，响应度最大的位置即为待跟踪的关键点在新一帧图像中的位置；当目标物体由于遮挡或表观变化严重而发生信息丢失时，利用上下文信息来预测目标位置，同时可以抑制由于错误表观信息导致的漂移。用本发明方法跟踪目标时，精度高，鲁棒性、适应性强，能实现遮挡、光照改变、快速运动等各种复杂情形下关键点的稳定跟踪。

Description

基于时空上下文信息辅助的关键点稳定跟踪方法

技术领域

本发明涉及一种计算机视觉领域的视觉目标跟踪方法。

背景技术

关键点是一类典型的目标特征点，对关键点的稳定跟踪是实现目标精确捕获的前提。在许多应用领域，都需要对目标进行精确定位，但由于噪声、遮挡、杂乱背景、光照变化、姿态变化及视角变化等干扰因素的影响，关键点位置也随着目标运动而发生改变，它可能被遮蔽成目标的内点，也可能外界遮档，因此即使跟踪到了目标,准确地跟踪关键点的位置也非常困难。目前对关键点的跟踪方法主要由两类，一是基于光流的跟踪，将特征点跟踪看做成是光流计算问题，通常在参考帧图像中选择一组特征点，并且假设特征点纹理在帧间保持不变，然后通过局部匹配实现对特征点的跟踪，然而光流场计算量大、实时性不强，还有孔径问题；另一类是基于特征的跟踪，首先提取目标稳定的特征点，然后对此特征点进行稳定跟踪。然而，当图像中目标发生遮挡时，可能出现特征隐藏或虚假特征及隐藏特征再现等情形，影响关键点跟踪的稳定性。

此外，图像序列中的运动目标物体一般都存在于一个上下文环境中，目标与上下文环境中的其他物体之间或自身不同时刻状态之间存在着紧密的联系。使用目标与上下文之间的关系，可以预测目标在下一时刻可能出现的位置。基于上下文的运动目标跟踪是指在跟踪过程中使用了上下文信息来确定目标物体位置的跟踪方法。常用的上下文信息包括与目标物体运动相关的近邻物体、物体自身的局部子区域、物体的运动轨迹以及轨迹之间的联系、物体运动的速度和加速度以及一些合理的推测等。当目标物体处于一个复杂的环境中，特别是当发生遮挡甚至完全遮蔽时，可利用目标周围上下文信息实现对目标的精确定位。使用上下文信息进行跟踪不仅可以利用目标物体自身的表观信息，还可以利用自身以外的多种信息，从而扩大了跟踪时可利用的信息来源。

发明内容

本发明目的是解决遮挡、光照改变、快速运动等各种复杂情形下关键点的稳定跟踪问题。

本发明利用时空上下文辅助信息实现对关键点的稳定跟踪，首先通过人工选择方式或自动检测手段提取目标上的关键点，然后构建关键点与目标周围特征点的时空上下文模型，并通过在线学习方式对该模型进行更新。待获取新一帧图像后，求取目标位置置信度响应，响应度最大的位置即为待跟踪的关键点在新一帧图像中的位置。当待跟踪目标由于遮挡或表观严重变化而丢失时，可利用上下文信息来预测目标位置。此外，还可用上下文辅助以抑制由于错误表观引起的跟踪漂移。本发明的具体设计方案包括步骤：

A建立目标位置估计模型

将关键点跟踪看成是求解目标位置估计似然函数的最大值问题，即求解目标位置似然的置信度:

$z_t=\underset{z\∈S\left(z_t\right)}{\arg \max }{l}_t\left(z\right)---\left(1\right)$

其中，l_t(z)＝P(z_t|s_t)，l_t(z)为目标位置的似然函数，z_t∈R²是当前帧中目标位置，s_t代表目标当前状态。

引入上下文信息对目标位置进行估计，令F_S＝{f(z)＝(I(y),y)|y∈S(z_t)}表示与目标相关的上下文信息集合。I(y)是位于y的像素点的灰度值。S(z_t)是当前帧目标位置z_t周围上下文区域。将目标位置估计似然转换为目标周围上下文信息对目标位置的投影映射：

$l\left(z\right)=P\left(z\right|c)={\Σ}_{f\left(z\right)\∈F_S}P(z,f(y\left)\right|c)={\Σ}_{f\left(z\right)\∈F_S}P\left(z\right|f\left(y\right),c)P\left(f\right(y\left)\right|c)---\left(2\right)$

使置信度值最大的z^*就是目标的位置。从公式中可以看到，似然函数可以分解为两个概率部分：一个是目标与周围上下文信息的空间关系的条件概率P(z|f(y),c)，需要通过在线学习得出；一个是局部上下文位置点z的上下文先验概率P(f(y)|c)。

B建立目标与上下文的空间关系模型

空间上下文模型描述的是条件概率函数，将其建模为：

P(z|f(y),c)＝h(z-y)(3)

其中，h(z-y)是一个关于目标z与上下文位置y的距离方向函数，它表征目标与上下文的空间关系，该函数径向不对称，有助于分辨二义性，防止跟踪漂移到相似目标上。

C建立上下文先验概率模型

根据生物视觉注意机理，处于某个视觉注意区域内的目标，离其越近的点关注得越多，反之关注得越小。该注意机理反映在物理描述上就是离目标越近的点被赋予的权重越大。据此，将上下文先验概率P(f(y)|c)建模为：

P(f(y)|c)＝I(y)ω_c(y-z^*)(4)

其中I(y)是点y的灰度，ω_c(·)为一个加权函数，y离z^*越近，权值越大。

D时空上下文模型的在线学习更新

将式(3)、式(4)代入式(2)，可得目标位置的似然估计值为

$l\left(z\right)={\Σ}_{y\∈F_S}h(z-y)I\left(y\right){\mathrm{\ω}}_c(y-z^{*})=h\left(z\right)\⊗\left(I\right(z){\mathrm{\ω}}_c(z-z^{*}))---\left(5\right)$

其中，表示卷积，对式(5)两边同时进行快速傅里叶变换(FFT)，可得：

其中，F(·)表示FFT，FFT表示快速傅里叶变换，表示点乘。空间上下文模型为：

$h\left(z\right)=F^{-1}\left(\frac{F\left(l\right(z\left)\right)}{F\left(I\right(z\left){\mathrm{\ω}}_c\right(z-z^{*}\left)\right)}\right)---\left(7\right)$

F^-1(·)表示逆FFT，由(6)式及(7)式可知，只需要利用两个FFT和一个逆FFT，就能快速求取空间上下文条件概率。

将时空上下文模型更新看成是一个无限长滤波过程，即t+1时刻新的空间上下文与t时刻空间上下文满足以下关系：

H_t+1(z)＝(1-ρ)H_t(z)+ρh_t(z)(8)

在获取t+1时刻新的时空上下文关系后，就可以两个正傅里叶变换和一个逆傅里叶变换来加速计算新一帧中目标位置的置信度响应：

目标在下一帧的位置对应置信度响应最大的位置

$z_{t+1}=\underset{z\∈S\left(z_t\right)}{\arg \max }{l}_{t+1}\left(z\right)---\left(10\right)$

用本发明方法跟踪目标时，精度高、鲁棒性、适应性强，能实现遮挡、光照改变、快速运动等各种复杂情形下关键点的稳定跟踪。

附图说明

图1是人工选定关键点及其周围区域置信度分布图；

图2为目标置信度投影分布图；

图3为具体跟踪效果图；

图4为关键点的中心定位误差曲线。

具体实施方式

本发明可以跟踪包括旋转、尺度缩放、光照变化等复杂场景中人工任意选定的关键点，并具有稳定、鲁棒的跟踪性能。下面结合附图，对本发明的具体原理做进一步的详细阐述。

实施例1短时间内目标与周围上下文的关系不会发生大的变化，因此只要保持这种关系并对其进行实时更新，当遮挡出现时，就能利用未遮挡条件下的上下文信息对目标位置进行预测。即使目标不可见或消失，只要这种关系存在且稳定，就能有效利用这些上下文信息预测出目标位置。

A建立目标位置估计模型

将关键点跟踪看成是求解目标位置估计似然函数的最大值问题，即求解目标位置似然的置信度：

$z_t=\underset{z\∈S\left(z_t\right)}{\arg \max }{l}_t\left(z\right)---\left(1\right)$

l_t(z)＝P(z_t|s_t)，l_t(z)为目标位置的似然函数，z_t∈R²是当前帧中目标位置，s_t代表目标当前状态。

引入上下文信息对目标位置进行估计，令F_S＝{f(z)＝(I(y),y)|y∈S(z_t)}表示与目标相关的上下文信息集合。I(y)是位于y的像素点的灰度值。S(z_t)是当前帧目标位置z_t周围上下文区域。将目标位置估计似然转换为目标周围上下文信息对目标位置的投影映射：

$l\left(z\right)=P\left(z\right|c)={\Σ}_{f\left(z\right)\∈F_S}P(z,f(y\left)\right|c)={\Σ}_{f\left(z\right)\∈F_S}P\left(z\right|f\left(y\right),c)P\left(f\right(y\left)\right|c)---\left(2\right)$

使置信度值最大的z^*就是目标的位置。从公式上可以看到，似然函数可以分解为两个概率部分：一个是目标与周围上下文信息的空间关系的条件概率P(z|f(y),c)，需要通过在线学习得出。一个是局部上下文位置点z的上下文先验概率P(f(y)|c)。

B建立目标与上下文的空间关系模型

上下文的空间模型描述的是条件概率函数，将其建模为：

P(z|f(y),c)＝h(z-y)(3)

h(z-f(y))是一个关于目标z与上下文位置y的距离方向函数，它表征目标与上下文的空间关系，该函数径向不对称，有助于分辨二义性，防止跟踪漂移到相似目标上。

C建立上下文先验概率模型

根据生物视觉注意机理，处于某个视觉注意区域内的目标，离其越近的点关注得越多，反之关注得越小。该注意机理反映在物理描述上就是离目标越近的点被赋予的权重越大。据此，将上下文先验概率P(f(y)|c)建模为：

P(f(y)|c)＝I(y)ω_c(y-z^*)(4)

其中I(y)是点y的灰度，ω_c(·)为一个加权函数，y离z^*越近，权值越大。

D时空上下文模型的在线学习更新

将式(3)、式(4)代入式(2)，得目标位置的似然估计值为

$l\left(z\right)={\Σ}_{y\∈F_S}h(z-y)I\left(y\right){\mathrm{\ω}}_c(y-z^{*})=h\left(z\right)\⊗\left(I\right(z\left){\mathrm{\ω}}_c\right(z-z^{*}\left)\right)---\left(5\right)$

表示卷积，对式(5)两边同时进行快速傅里叶变换，可得：

表示点乘。空间上下文模型为：

$h\left(z\right)=F^{-1}\left(\frac{F\left(l\right(z\left)\right)}{F\left(I\right(z\left){\mathrm{\ω}}_c\right(z-z^{*}\left)\right)}\right)---\left(7\right)$

只需要利用两个正傅里叶变换和一个逆傅里叶变换，就能快速求取空间上下文条件概率。

将时空上下文模型更新看成是一个IIR滤波过程，即t+1时刻新的空间上下文与t时刻空间上下文满足以下关系：

H_t+1(z)＝(1-ρ)H_t(z)+ρh_t(z)(8)

在获取t+1时刻新的时空上下文关系后，就可以两个正傅里叶变换和一个逆傅里叶变换来加速计算新一帧中目标位置的置信度响应：

目标在下一帧的位置对应置信度响应最大的位置：

$z_{t+1}=\underset{z\∈S\left(z_t\right)}{\arg \max }{l}_{t+1}\left(z\right)---\left(10\right)$

图1给出了人工选定关键点及其周围区域置信度分布图，在目标位置置信图中，关键点所在位置具有最大的响应值。由于选定的关键点位于人脸，若采用传统基于特征点跟踪的方法对该关键点进行跟踪，由于人脸肤色相近，该关键点很容易漂移到与其颜色相近的特征点上，从而导致跟踪点在人脸上任意漂移。而本发明利用白框区域建立与关键点的时空上下文关系，同时通过在线学习方式更新该上下文关系，从而达到约束关键点运动与准确定位的目的。

图2为目标周围用于预测其位置的上下文信息对位置投影的分布平面图。为了直观区分不同区域上下文投影的不同，将观测视角旋转(-40,-7)，由图2可见，待跟踪目标区域投影响应值最大，周围区域响应较小，故在利用上下文定位目标中心时，前者贡献大，后者贡献小，最终能准确捕获到新一帧中的目标位置。

图3给出了2组利用上下文信息辅助进行任意点跟踪的示例，由图3可见，虽然关键点周围存在与大量纹理相近的背景干扰区域，但本发明始终能准确追踪到初始选定待跟踪区域而不会漂移到相似背景区域上，避免了传统模板匹配、meanshift跟踪中出现的模板漂移问题，从而实现稳健、鲁棒的目标跟踪。

图4给出了利用本发明与CXT、l1等跟踪算法跟踪woman序列得到的中心定位误差曲线对比，该序列中的目标被严重遮挡。中心定位误差为目标真实位置与各算法跟踪结果的均方差，其中目标真实位置通过人工方式标定。由图可知，本发明得到的中心定位误差最小，从而说明本发明得到的跟踪位置与真实位置最为接近，跟踪精度最高，鲁棒性、适应性最强。

Claims (1)

1.一种基于时空上下文信息辅助的关键点稳定跟踪方法，其特征在于包括以下步骤：

首先通过人工选择方式或自动检测手段提取目标上的关键点，然后构建关键点与目标周围特征点的时空上下文模型，并通过在线学习方式对该模型进行更新，待获取新一帧图像，求取目标置信度响应，响应最大的位置即为待跟踪的关键点在新一帧图像中的位置；当跟踪目标由于遮挡或表观严重变化而丢失时，利用上下文信息来预测目标位置，此外，还可用上下文辅助以抑制由于错误表观引起的跟踪漂移，所述的目标置信度响应计算过程为：

A建立目标位置估计模型

将关键点跟踪看成是求解目标位置估计似然函数的最大值问题，即求解目标位置似然的置信度：

$z_t=\underset{z\∈S\left(z_t\right)}{arg\max }{l}_t\left(z\right)---\left(1\right)$

l_t(z)＝P(z_t|s_t),l_t(z)为目标位置的似然函数，z_t∈R²是当前帧中目标位置，s_t代表目标当前状态；

引入上下文信息对目标位置进行估计，令F_S＝{f(z)＝(I(y),y)|y∈S(z_t)}表示与目标相关的上下文信息集合；I(y)是位于y的像素点的灰度值；S(z_t)是当前帧目标位置z_t周围上下文区域，将目标位置估计似然转换为目标周围上下文信息对目标位置的投影映射：

$l\left(z\right)=P\left(z\right|c)={\mathrm{\Σ}}_{f\left(z\right)\∈F_S}P(z,f(y\left)\right|c)={\mathrm{\Σ}}_{f\left(z\right)\∈F_S}P\left(z\right|f\left(y\right),c)P\left(f\right(y\left)\right|c)---\left(2\right)$

使置信度值最大的z^*就是目标的位置；从公式(2)知，似然函数可分解为两个概率部分：一个是目标与周围上下文信息的空间关系的条件概率P(z|f(y),c)，通过在线学习得出；一个是局部上下文位置点z的上下文先验概率P(f(y)|c)；

B建立目标与上下文的空间关系模型

空间上下文模型描述的是条件概率函数，将其建模为：

P(z|f(y),c)＝h(z-y)(3)

h(z-y)是一个关于目标z与上下文位置y的距离方向函数，它表征目标与上下文的空间关系，该函数径向不对称，有助于分辨二义性，防止跟踪漂移到相似目标上；

C建立上下文先验概率模型

根据生物视觉注意机理，处于某个视觉注意区域内的目标，离其越近的点关注得越多，反之关注得越小；该注意机理反映在物理描述上就是离目标越近的点被赋予的权重越大；据此，将上下文先验概率P(f(y)|c)建模为：

P(f(y)|c)＝I(y)ω_c(y-z^*)(4)

其中I(y)是点y的灰度，ω_c(·)为一个加权函数，y离z^*越近，权值越大；

D时空上下文模型的在线学习更新

将式(3)、式(4)代入式(2)，得目标位置的似然估计值为

$l\left(z\right)={\mathrm{\Σ}}_{y\∈F_S}h(z-y)I\left(y\right){\mathrm{\ω}}_c(y-z^{*})=h\left(z\right)\⊗\left(I\right(z\left){\mathrm{\ω}}_c\right(z-z^{*}\left)\right)---\left(5\right)$

表示卷积，对式(5)两边同时进行快速傅里叶变换，得到：

F(l(z))＝F(h(z))⊙F(I(z)ω_c(z-z^*))(6)

⊙表示点乘，F(·)表示快速傅里叶变换，空间上下文模型为：

$h\left(z\right)=F^{-1}\left(\frac{F\left(l\right(z))}{F\left(I\right(z\left){\mathrm{\ω}}_c\right(z-z^{*}\left)\right)}\right)---\left(7\right)$

F^-1(·)表示逆FFT，FFT表示快速傅里叶变换，利用两个正傅里叶变换和一个逆傅里叶变换，求取空间上下文条件概率；

将时空上下文模型更新看成是一个IIR滤波过程，即t+1时刻新的空间上下文与t时刻空间上下文满足以下关系：

H_t+1(z)＝(1-ρ)H_t(z)+ρh_t(z)(8)

在获取t+1时刻新的时空上下文关系后，用两个正傅里叶变换和一个逆傅里叶变换来加速计算新一帧中目标位置的置信度响应：

目标在下一帧的位置对应置信度响应最大的位置：

$z_{t+1}=\underset{z\∈S\left(z_t\right)}{\arg \max }{l}_{t+z}\left(z\right)---\left(10\right).$