CN103077532A - 一种实时视频目标快速跟踪方法 - Google Patents

Abstract

本发明涉及一种实时视频目标快速跟踪方法，包括以下步骤：1、在一帧图像中将跟踪目标设置在跟踪框内，记录跟踪目标的位置信息；2、根据跟踪目标的初始信息，使用卡尔曼滤波器读取跟踪目标预测位置；3、以卡尔曼滤波器获得的跟踪目标预测位置为起点，结合跟踪框，使用C-SIFT跟踪算法对运动目标进行跟踪；4、在跟踪过程中，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正；5、求出遮挡率的因子并调节卡尔曼滤波器的相关参数；6、循环运行步骤2至步骤5，直到跟踪稳定。本发明有效地将C-SIFT算法和自适应卡尔曼滤波算法结合在一起，提高了跟踪精度，解决传统算法在抗遮挡方面的不足，实现了运动目标被遮挡后的实时跟踪。

Description

一种实时视频目标快速跟踪方法

技术领域

本发明属于视频监控领域，尤其是一种实时视频目标快速跟踪方法。

背景技术

实时视频目标跟踪技术是计算机视觉研究的核心内容之一，它融合了模式识别、图像处理、自动控制、人工智能等多种不同领域的先进技术、形成了一种能检测、识别、分割和跟踪运动目标技术。通过运算获得运动目标的运动参数，经过处理和分析来达到对运动目标的理解。其主要处理过程为：确认对运动目标最终形成的运动轨迹，获得每个目标的状态以及目标的个数，进一步获知目标的特征参数，同时要考虑算法实现速度以保证实时性。

运动目标跟踪首先必须解决三个基本问题：稳定性、精确性、实时性，使一个算法同时具备这三种性质是一个具有挑战性的问题。用二维的方式表示图像的信息使得获取相关参数时存在困难，当目标在运动中方位大小发生变化时，同一目标上的某些特征可能产生较大改变，此外还有旋转，缩放，环境变化，加速，噪声等一些因素的影响。一个完整的目标跟踪算法必须能准确的检测出目标，获得目标的重要信息，同时能够有效的在一定干扰下进行准确跟踪。当前目标跟踪技术包括以下一些难点问题：

（1）环境复杂下的跟踪：在复杂背景中，很可能出现背景的信息与目标的信息相似，使得算法很难从视频流中提取出目标的特征，从而很难分割出目标的轮廓。因此如何避免背景所带来的干扰对于目标跟踪算法非常重要，这也是一个具有良好稳定性的算法所必须的。

（2）抗遮挡问题：在目标的运动过程中，难免会遇到全遮挡或半遮挡的问题，在一些传统的算法中，往往会遇到遮挡目标重现时无法继续进行跟踪，主要原因是大多数目标跟踪算法是基于当前帧的运算，来得出位移变化，无法对后续帧的改变进行预测。虽然已经有相关算法可以解决遮挡问题，但算法的精度和速度降低太多。

（3）分割和检测目标：运动目标的分割和检测要受到背景变化、光照、仿射等多方面的影响，这些因素都给准确有效的运动分割带来困难。所谓目标检测的精度是指对目标真正状态的识别概率，正确的区分哪些目标，哪些是背景和噪声。而目标分割的精度是指从视频帧流中分析提取跟踪对象，找到有效的信息。目前还没有一种绝对有效的目标检测方法，常见的有差分方法、光流方法、主动轮廓方法等。

（4）目标形态改变：在实现跟踪算法时，必须考虑到目标在运动过程中发生形态的改变，比如目标的大小、形状、甚至旋转等等。比较常见的是非刚性的物体在运动的过程中容易发生形态上的改变，使得给算法在实现对目标的识别，分割，跟踪的时候产生误差。如何实现对目标形态发生较大改变时的跟踪也是一个难度较大的课题。

（5）跟踪的稳定性：稳定性指的是在各种复杂的情况下跟踪算法依然能对目标进行持续准确的跟踪，具有良好稳定性的算法必须能够克服目标形态发生改变、遮挡、光照变化等诸多方面的影响。

（6）实时性需求：视频目标跟踪算法在实施核心跟踪算法前需要对图像流甚至每一帧图像进行大量的运算，比如对所有像素点进行反复的滤波处理来找到相对有效的特征点，像素点之间的比较等。要在满足跟踪的稳定性于精确性的前提下快速的对目标进行跟踪尤其困难，在在领域对算法的快速性要求很高，因此能够研究出实时性高的算法是非常具有价值的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实时视频目标快速跟踪方法，能够满足跟踪的稳定性和实时性需求，同时能够解决运动目标抗遮挡的问题。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种实时视频目标快速跟踪方法，包括以下步骤：

步骤1：在一帧图像中将跟踪目标设置在跟踪框内，记录跟踪目标的位置信息；

步骤2：根据跟踪目标的初始信息，使用卡尔曼滤波器读取跟踪目标预测位置；

步骤3：以卡尔曼滤波器获得的跟踪目标预测位置为起点，结合跟踪框，使用C-SIFT跟踪算法对运动目标进行跟踪；

步骤4：在跟踪过程中，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正；

步骤5：求出遮挡率的因子并调节卡尔曼滤波器的相关参数；

步骤6：循环运行步骤2至步骤5，直到跟踪稳定。

而且，所述步骤1将跟踪目标设置在跟踪框内的方法为：采用手动方式在一帧图像中框选跟踪目标，并将跟踪目标设置在跟踪框内。

而且，所述步骤2卡尔曼滤波器读取跟踪目标预测位置是通过如下模型实现的：

运动模型：X_t=ΦX_t-1+W_t；

测量模型：Z_t=HX_t+V_t；

式中Φ为状态转移矩阵，H为观测矩阵，W_t和V_t均为零均值的高斯白噪声；其中：目标状态转移矩阵Φ为：

$\left[\begin{array}{cccc}1& 0& \mathrm{\Δt}& 0\\ 0& 1& 0& \mathrm{\Δt}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

矩阵中Δt表示相邻两帧之间的间隔时间；

观测矩阵H为：

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right].$

而且，所述步骤3包括以下处理过程：

①一次读入视频流的N帧图像；

②将每间隔K帧图像提取出来进行匹配；

其中，K=kt,t为匹配时间，0s<t<1s，k为正数且能被10整除；

③使用C-SIFT跟踪算法进行匹配当前帧和其下一帧，得到特征点：(x₁,y₁),(x₂,y₂)……(x_n,y_n)和其配对点(x′₁,y′₁)，(x′₂,y′₂)……(x′_n,y′_n)

④选取2n对匹配点,求得

然后将

|x₁-M|，|x₂-M|，......|x_2n-M|中值最大的n个点视为失真点舍弃，将保留的点与C-SIFT跟踪算法的匹配对进行对比；

⑤确定跟踪方向为： $d_x=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(x_i^{\&prime;}-x_i)$ 和 $d_y=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(y_i^{\&prime;}-y_i);$

⑥将下一帧作为当前帧，转至第②步。

而且，所述步骤4包括以下处理过程：

①一步状态预测： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+{\mathrm{Bu}}_{k-1};$

②一步误差方差阵预测： $P_k^{-}={\mathrm{AP}}_{k-1}{A}^T+Q;$

③形成滤波增益矩阵： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1};$

④状态的修正： ${\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-});$

⑤形成估计误差方差阵：

其中A，B为雅可比行列式，K_k增益矩阵，P预测方差阵，Q系统噪声方差阵，R观测噪声方差阵，H为观测矩阵，z_k为观测值。

本发明的优点和积极效果是：

本发明有效地将C-SIFT算法和自适应卡尔曼滤波算法结合在一起，使用卡尔曼滤波预器预测目标下一帧可能出现的位置，再使用C-SIFT算法在预测位置附近计算出最佳位置，同时可以根据遮挡的情况调整卡尔曼滤波器的参数，提高了跟踪精度，解决传统算法在抗遮挡方面的不足，实现了运动目标被遮挡后的实时跟踪。

附图说明

图1是本发明的处理流程图；

图2是本发明的具体实施流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种实时视频目标快速跟踪方法，如图1及图2所示，包括如下步骤：

步骤1：在一帧图像中将跟踪目标设置在跟踪框内，记录跟踪目标的位置信息。

在本步骤中，采用手动方式在一帧图像中框选跟踪目标，并将跟踪目标设置在跟踪框内。

步骤2：根据跟踪目标的初始信息，使用卡尔曼滤波器读取跟踪目标预测位置。

在本步骤中，首先，我们假设运动目标中心在X,Y轴上的运动为匀速直线运动。由于相邻两帧时隔很短，运动目标变化不大，因此，我们可以假定目标的运动是匀速直线运动，为此我们建立如下模型：

运动模型：X_t=ΦX_t-1+W_t

测量模型：Z_t=HX_t+V_t

式中Φ为状态转移矩阵，H为观测矩阵。而W_t和V_t均为零均值的高斯白噪声。

如果能够预测到目标坐标（x,y）位置，则跟踪成功。可以定义卡尔曼滤波系统状态X为向量(x_t,y_t,vx_t,vy_t)，该向量中的四个元素分别表示了目标在x轴、y轴上的位置和速度。在本实施例中可以定义目标状态转移矩阵Φ为：

$\left[\begin{array}{cccc}1& 0& \mathrm{\&Delta;t}& 0\\ 0& 1& 0& \mathrm{\&Delta;t}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

矩阵中Δt表示相邻两帧之间的间隔时间。

通过系统状态和观测状态关系可以得到观测矩阵H：

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

步骤3：以卡尔曼滤波器获得的跟踪目标预测位置为起点，结合跟踪框，使用C-SIFT跟踪算法对运动目标进行跟踪。

本步骤包括以下处理过程：

①一次读入视频流的N帧图像。

②将每间隔K=kt（0s<t<1s,k为正数且能被10整除）帧图像提取出来进行匹配（t为匹配时间，间隔帧数与算法速度成反比）。

③使用C-SIFT跟踪算法进行匹配当前帧和其下一帧，得到特征点：

(x₁,y₁),(x₂,y₂)……(x_n,y_n)和其配对点(x′₁,y′₁)，(x′₂,y′₂)……(x′_n,y′_n)

④选取2n对匹配点,求得

然后将

|x₁-M|，|x₂-M|，......|x_2n-M|中值最大的n个点视为失真点舍弃，将保留的点与C-SIFT跟踪算法的匹配对进行对比，只保留相同配对，假设舍弃m对匹配，那么最后只剩n-m对匹配。

⑤确定跟踪方向为：

$d_x=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(x_i^{\&prime;}-x_i)$ $d_y=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(y_i^{\&prime;}-y_i)$

⑥将下一帧作为当前帧，转至第2步。

步骤4：在跟踪过程中，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正。

在本步骤中，卡尔曼滤波开始是一个预测系统，同时，其根据部分的观测状况相预测进行反馈，不断地更新修正预测值，通过预测可以得到一个先验估计，通过观测对系统进行更新后和先验估计一起分析可以求得后验估计，其具体步骤包括：

①一步状态预测： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+{\mathrm{Bu}}_{k-1}$

②一步误差方差阵预测： $P_k^{-}={\mathrm{AP}}_{k-1}{A}^T+Q$

③形成滤波增益矩阵： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}$

④状态的修正： ${\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-})$

⑤形成估计误差方差阵：

其中A，B为雅可比行列式，K_k增益矩阵，P预测方差阵，Q系统噪声方差阵，R观测噪声方差阵，H为观测矩阵，z_k为观测值。

在知道了初始值

和P₀后，给定了K时刻的观测值z_k，就可以通过该系统估计出k时刻的状态

(k=1,2，...)

步骤5：求出遮挡率的因子并调节卡尔曼滤波器的相关参数。

步骤6：继续运行2～5步，直到跟踪稳定。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种实时视频目标快速跟踪方法，其特征在于：包括以下步骤：

步骤1：在一帧图像中将跟踪目标设置在跟踪框内，记录跟踪目标的位置信息；

步骤2：根据跟踪目标的初始信息，使用卡尔曼滤波器读取跟踪目标预测位置；

步骤3：以卡尔曼滤波器获得的跟踪目标预测位置为起点，结合跟踪框，使用C-SIFT跟踪算法对运动目标进行跟踪；

步骤4：在跟踪过程中，使用卡尔曼滤波算法对跟踪的方位进行预测和纠正；

步骤5：求出遮挡率的因子并调节卡尔曼滤波器的相关参数；

步骤6：循环运行步骤2至步骤5，直到跟踪稳定。

2.根据权利要求1所述的一种实时视频目标快速跟踪方法，其特征在于：所述步骤1将跟踪目标设置在跟踪框内的方法为：采用手动方式在一帧图像中框选跟踪目标，并将跟踪目标设置在跟踪框内。

3.根据权利要求1所述的一种实时视频目标快速跟踪方法，其特征在于：所述步骤2卡尔曼滤波器读取跟踪目标预测位置是通过如下模型实现的：

运动模型：X_t=ΦX_t-1+W_t；

测量模型：Z_t=HX_t+V_t；

式中Φ为状态转移矩阵，H为观测矩阵，W_t和V_t均为零均值的高斯白噪声；其中：目标状态转移矩阵Φ为：

$\left[\begin{array}{cccc}1& 0& \mathrm{\&Delta;t}& 0\\ 0& 1& 0& \mathrm{\&Delta;t}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

矩阵中Δt表示相邻两帧之间的间隔时间；

观测矩阵H为：

4.根据权利要求1或2所述的一种实时视频目标快速跟踪方法，其特征在于：所述步骤3包括以下处理过程：

①一次读入视频流的N帧图像；

②将每间隔K帧图像提取出来进行匹配；

其中，K=kt,t为匹配时间，0s<t<1s，k为正数且能被10整除；

③使用C-SIFT跟踪算法进行匹配当前帧和其下一帧，得到特征点：

(x₁,y₁),(x₂,y₂)……(x_n,y_n)和其配对点(x′₁,y′₁)，(x′₂,y′₂)……(x′_n,y′_n)

④选取2n对匹配点,求得

然后将

|x₁-M|，|x₂-M|，......|x_2n-M|中值最大的n个点视为失真点舍弃，将保留的点与C-SIFT跟踪算法的匹配对进行对比；

⑤确定跟踪方向为： $d_x=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(x_i^{\&prime;}-x_i)$ 和 $d_y=\frac{1}{n}\underset{i-1}{\overset{n-m}{\mathrm{\&Sigma;}}}(y_i^{\&prime;}-y_i);$

⑥将下一帧作为当前帧，转至第②步。

5.根据权利要求1或2所述的一种实时视频目标快速跟踪方法，其特征在于：所述步骤4包括以下处理过程：

①一步状态预测： ${\hat{x}}_k^{-}=A{\hat{x}}_{k-1}+{\mathrm{Bu}}_{k-1};$

②一步误差方差阵预测： $P_k^{-}={\mathrm{AP}}_{k-1}{A}^T+Q;$

③形成滤波增益矩阵： $K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1};$

④状态的修正： ${\hat{x}}_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-});$

⑤形成估计误差方差阵：

其中A，B为雅可比行列式，K_k增益矩阵，P预测方差阵，Q系统噪声方差阵，R观测噪声方差阵，H为观测矩阵，z_k为观测值。