CN103136762A - 一种动态图像目标跟踪方法 - Google Patents

Abstract

本发明公开一种动态图像目标跟踪方法，首先采用邻域平均法来建立多分辨率表示；然后采用贪心算法来计算目标主动轮廓模型；最后进行动态图像目标跟踪，包括：(1)输入动态图像中的第一帧，并为其创建多分辨率金字塔；(2)在I₀上初始化Snake，确定初始轮廓C₀，并将其映射到I_L-1上得到C_L-1；(3)令P＝L-1，在I_L-1上以C_P作为初始轮廓，更新轮廓线，得到该分辨率下的目标边缘C_P-new；(4)令P＝P-1，重复步骤(3)，直到P＝0；(5)输入下一帧图像，利用块匹配算法，计算选定目标到下一帧的运动矢量，则下一帧初始轮廓的位置是上一帧计算得到的轮廓位置加上运动矢量进行平移。

Description

一种动态图像目标跟踪方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其是对动态图像中特定目标进行跟踪的技术，具体地说是一种基于多分辨率主动轮廓模型的动态图像目标跟踪方法。

背景技术

动态图像目标跟踪是指对传感器摄取到的图像序列进行分析与处理，充分利用所采集得到图像信息来对目标进行稳定跟踪的过程。目标被确定后，就可以获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。在军事方面，动态图像目标跟踪技术广泛应用于导弹精确制导、机器人自主导航、无人机着陆、靶场光电跟踪等领域。在民用方面，该技术在智能视频监控、智能交通管制、医疗影像诊断等方面也有着重要应用。

在计算机视觉和动态图像分析领域，运动目标跟踪是一个很重要的课题，人们对此作了大量的研究。比如2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频的目标检测与跟踪处理。科研人员提出了许多方法来解决跟踪问题，归纳起来主要有基于特征、3-D、变形模型和区域等几种跟踪方法。

发明内容

1.多分辨率

多分辨率方法又称分辨率锥体，已经在计算机视觉领域得到广泛应用，如图像分割和光流分析，它不但能找到问题的最优解，而且通常可以减少运行时间。多分辨率方法实际上是一种由“粗”到“精”的方法，其基本思想是：先在较低分辨率图像中执行某种操作(或算法)，称为“粗”阶段，然后将粗阶段的执行结果进行某些处理后，作为初始条件，返回到较高分辨率的图像中，执行与粗阶段相近的操作(或算法)，称为“精”阶段。粗阶段的执行结果不够精确，但在该分辨率的意义上接近真实结果，经过“精”阶段的进一步加工，最后得到精确的结果。

考虑到多分辨率的特点，图像的存储结构可以选用金字塔结构方式，即建立一个分辨率锥体，如图1所示。不同分辨率的图像分别存储在金字塔的不同层，金字塔的塔底存放原始图像，随着金字塔结构的层次依次上升，分辨率逐渐降低，相应的图像存储所用的空间逐渐减小。图像的分辨率降低为原来的N倍，相应的图像存储所用空间为原来的1/N。这种方式可以充分组合利用图像的全局与局部信息、空间与灰度信息，便于层次处理，还可以有效地提高运行速度，更好地满足实时化的要求，比如动态图像的分割于跟踪等。

多分辨率锥体的产生方法主要有两类：加权类和分解类。加权类方法采用不同的加权系数形成不同的滤波函数，典型方法有邻域平均法、高斯法、多项式分段拟合法、多项式样条逼近法、半带通滤波法等。分解类方法则通过不同滤波器的组合把图像分解为不同的频域分量，典型方法有子带分解法和正交小波分解法等。

在本方法中采用邻域平均法，即将图像划分为一些大小相等、形状相同的非交迭区域，并以每个区域内的平均灰度值取代相应的区域，这相当于降低了图像的采样速率，得到低分辨率图像，从傅立叶变换的角度看，对高频噪声有明显的减弱效果。

2.主动轮廓模型

假设可变形曲线为v(s)＝{x(s)，y(s)}，其中s∈[0，1]是归一化的曲线长度，模型的总能量为

E_snake＝∫[E_int(v(s))+E_ext(v(s))]ds        (1)

其中，E_ext表示外部能量，是由图像本身的信息所提供的，将Snake推向满意的图像轮廓的能量。E_int表示内部能量，控制Snake模型特性，可以表示为

E_int＝α(s)|v_s(s)|/2h²+β(s)|v_ss(s)|/2h⁴   (2)

其中，v_s(s)和v_ss(s)分别表示Snake位置对弧长的一阶导数和二阶导数。

主动轮廓模型的数值算法主要有变分法、动态规划法、贪心算法等。变分方法要求外力可微，而且其控制参数没有明确的确定方法。动态规划法数值稳定，可以加入强约束，但是计算量和存储量过于庞大。贪心算法比较简便，可以极大地提高运行速度。

本方法中采用贪心算法来计算主动轮廓模型，其主要流程为：假设变形曲线Snake上任意一控制点的位置为v_i＝(x_i，y_i)，为了找到经过优化后该点的新位置，用该点的八邻域点(x_i+s，y_i+t)(-1≤s，t≤1)逐一取代v_i计算该点的总能量函数E^*，若发现八邻域中某一点

能够使E^*达到最小

那么就将当前控制点的位置移动到该点。对每个点都采用相同的处理方法，就得到下一轮迭代的轮廓。对新的轮廓再进行迭代，直至达到一定迭代次数或迭代过程收敛为止。

在计算过程中，各能量项可以按照以下方法确定。

设离散控制点序列为v_i(i＝0，…n-1)，则n个离散点的总能量为

$\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{E}_i=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}(a_i{E}_{\mathrm{continuity},i}+{\mathrm{\β}}_i{E}_{\mathrm{curvature},i}+{\mathrm{\γ}}_i{E}_{\mathrm{image},i})---\left(3\right)$

当内部能量中的连续性能量按|v_s(s)|²≈|v_i-v_i-1|²来计算时，实际上是计算模型上两个相邻控制点的距离，由于模型最小化的性质，必然会使模型上的离散控制点之间的距离不断缩小，导致模型不断收缩变小至一个点。为了避免这种情况，可以按照下式计算

E_{continuity，i}＝|d_mean-|v_i-v_i-1||                    (4)

其中，d_mean表示相邻点的平均距离，相邻点的间距与平均值越接近，能量越小，保证了曲线的平滑和避免堆积。

内部能量中的曲率能量可以按照下式估计

$E_{\mathrm{curvature},i}=1-\frac{u_i\·u_{i+1}}{\left|u_i\right|\·\left|u_{i+1}\right|}=\frac{(x_i-x_{i-1})(x_{i+1}-x_i)+(y_i-y_{i-1})(y_{i+1}-y_i)}{\sqrt{[{(x_i-x_{i-1})}^2+{(y_i-y_{i-1})}^2][{(x_{i+1}-x_i)}^2+{(y_{i+1}-y_i)}^2]}}---\left(5\right)$

具有突出目标的图像，其最显著的特征就是边缘处梯度的阶跃性增大，因此可以采用负的梯度作为图像能量E_image。由于一般的梯度算子对噪声比较敏感，因此需要先对图像的局部区域进行滤波。

$E_{\mathrm{image}}=-{|{\▿G}_{\mathrm{\σ}}*I(x,y)|}^2---\left(6\right)$

为了便于设置a_i，β_i，γ_i三个参数，通常在离散化时对式(4)和(5)在3×3邻域内归一化到[0，1]，而式(6)归一化到[-1，0]。

在轮廓线点更新迭代的过程中，轮廓的大小、长度和形状会发生一定的改变。而在贪心算法中，代表轮廓线的点数固定不变，不能随着目标的变大或变小而动态改变，当目标由小变大时，点数过少，不能很好的描述物体形状，当目标由大变小时，原来的点数可能造成冗余。

为了使Snake点分布均匀，本方法中设计一个可以使点数动态改变的函数，动态增减包括如下三个方面：

(1)如果在某个点处的曲率过小，即变化过于平缓，则可以把这个点去掉；

(2)如果两点间距离过小，则可以把这个点去掉；

(3)如果两点间距离过大，则可以在两点之间插入一个新的点。

每次迭代结束后都可以应用这个函数，使得轮廓线点的分布更加合理，有利于下一步计算。

基于多分辨率的主动轮廓方法，首先在低分辨率图像上，用主动轮廓算法得到目标边缘的近似估计，以此作为高分辨率图像的初始轮廓，然后利用同样算法进一步更新轮廓模型，直到收敛到物体的边缘。

采用多分辨率方法，可以有效地提高图像分割的速度和鲁棒性。由于在低分辨率图像下，得到的收敛轮廓已大致接近目标的边缘，因此，在高分辨率图像中主动轮廓线达到收敛所需要更新的次数少于传统的主动轮廓算法，使得计算速度得到提高。

3.动态图像目标跟踪

如图2所示，基于多分辨率主动轮廓模型的动态图像目标跟踪方法，包括如下步骤：

(1)输入动态图像中的第一帧，并为其创建多分辨率金字塔。

将图像划分为一些大小相等、形状相同的非交迭区域，并以每个区域内的平均灰度值来取代相应的区域，得到低分辨率图像。如图1所示，一个L层的图像金字塔，从I₀到I_L-1，原始图像I₀位于第0层，最低分辨率图像I_L-1位于最顶层。

从I₀开始，根据下面公式递推得到其它各层图像数据。

$I_{(p+1)}(x,y)=\frac{I_p(2x,2y)+I_p(2x+\mathrm{1,2}y)+I_p(2x,2y+1)+I_p(2x+\mathrm{1,2}y+1)}{4}---\left(7\right)$

(2)在I₀上初始化Snake，确定初始轮廓C₀，并将其映射到I_L-1上得到C_L-1。

令

$\left\{\begin{array}{c}\mathrm{snake}.x=2^{1-L}x\\ \mathrm{snake}.y=2^{1-L}y\end{array}\right.---\left(8\right)$

其中，(x，y)为第0层上控制点的坐标。

(3)令P＝L-1，在I_L-1上以C_P作为初始轮廓，更新轮廓线，得到该分辨率下的目标边缘C_P-new。

(4)令P＝P-1，重复步骤(3)，直到P＝0。

在将第P层的结果返回到第P-1层之前，做必要的处理，即将控制点坐标由P层映射到P-1层，映射函数为

M_p-＞p-1(i)＝2i                        (9)

根据式(9)，P层上的点(x，y)被映射到P-1层的点(2x，2y)。虽然在创建图像金字塔时，P层上的点(x，y)是由P-1层上的四个点(2x，2y)，(2x+1，2y)，(2x，2y+1)和(2x+1，2y+1)得来的，因此P层的点(x，y)可以映射为这四个点中的任何一点，由于映射为哪个点对算法的影响并不大，因为在P-1层上算法将继续自动地寻找最优位置，包括没被映射的三个点的位置，所以这种的映射方式是可行的。

(5)输入下一帧图像，利用块匹配算法，计算选定目标到下一帧的运动矢量，则下一帧初始轮廓的位置是上一帧计算得到的轮廓位置加上运动矢量进行平移，之后采用同样多分辨率的贪心算法寻优。

其中运动矢量的计算采用三步搜索法，匹配准则采用平均绝对误差MAD，其表达式为

$\mathrm{MAD}=\frac{1}{\mathrm{mn}}\mathrm{\Σ\Σ}|f(i,j)-g(i-d_x,j-d_y)---\left(10\right)$

附图说明

图1为金字塔结构示意图。

图2为本发明方法流程图。

图3为行人动态图像第1帧初始模板。

图4为行人动态图像第1帧搜索得到的轮廓。

图5为行人动态图像第10帧搜索得到的轮廓。

图6为行人动态图像第30帧搜索得到的轮廓。

具体实施方式

为了测试本发明的实施效果，下面将描述本发明的具体实施例。

采用动态图像进行了跟踪实验，设定a_i＝1.1、β_i＝1.0、γ_i＝1.2，初始离散控制点20个，每帧图像迭代计算20次，图3～6为行人动态图像跟踪实验结果。

可见，本发明方法在寻优过程中，个别点会陷入局部极小值，无法迭代到真实的轮廓边缘，当然参数的选择也会影响迭代的结果，其优点是计算速度比较快。

Claims (4)

1.一种动态图像目标跟踪方法，其特征在于包括如下步骤：

(1)输入动态图像中的第一帧，并为其创建多分辨率金字塔；

(2)在I₀上初始化Snake，确定初始轮廓C₀，并将其映射到I_L-1上得到C_L-1；

(3)令P＝L-1，在I_L-1上以C_P作为初始轮廓，更新轮廓线，得到该分辨率下的目标边缘C_P-new；

(4)令P＝P-1，重复步骤(3)，直到P＝0；

(5)输入下一帧图像，利用块匹配算法，计算选定目标到下一帧的运动矢量，则下一帧初始轮廓的位置是上一帧计算得到的轮廓位置加上运动矢量进行平移。

2.根据权利要求1所述的动态图像目标跟踪方法，其特征在于：采用邻域平均法来建立多分辨率模型，即将图像划分为一些大小相等、形状相同的非交迭区域，并以每个区域内的平均灰度值取代相应的区域。

3.根据权利要求1所述的动态图像目标跟踪方法，其特征在于：采用贪心算法来计算主动轮廓模型，即假设变形曲线Snake上任意一控制点的位置为v_i＝(x_i，y_i)，为了找到经过优化后该点的新位置，用该点的八邻域点(x_i+s，y_i+t)逐一取代v_i计算该点的总能量函数E^*，若发现八邻域中某一点能够使E^*达到最小

那么就将当前控制点的位置移动到该点；对每个点都采用相同的处理方法，就得到下一轮迭代的轮廓；对新的轮廓再进行迭代，直至达到一定迭代次数或迭代过程收敛为止。

4.根据权利要求1所述的动态图像目标跟踪方法，其特征在于：为了使Snake点分布均匀，设计一个可以使点数动态改变的函数，动态增减包括如下三个方面：

(1)如果在某个点处的曲率过小，即变化过于平缓，则可以把这个点去掉；

(2)如果两点间距离过小，则可以把这个点去掉；

(3)如果两点间距离过大，则可以在两点之间插入一个新的点。

Images