CN102622764A - 一种基于移动相机平台的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于移动相机平台的目标跟踪方法，首先，对特征点进行选取，然后，利用光流法进行全局运动估计，得到相机平移运动分量和旋转运动分量；最后，利用全局运动估计的结果对粒子滤波的运动方程进行修正，选用颜色直方图作为目标的特征模型，实现在相机运动的情况下对移动目标的实时跟踪。实验结果表明，在相机运动的状态下，本文的算法能够准确快速的跟踪上运动目标，可以达到实时性要求，具有非常好的实用价值。

Description

一种基于移动相机平台的目标跟踪方法

技术领域

本发明涉及专利分类号G06T一般的图像数据处理或产生；G06T7/00图像分析，例如从位像到非位像；G06T7/20运动分析。

背景技术

现有的目标跟踪算法大多数是基于静止的视觉平台展开的，而现实的监控环境中，很多监控相机处于不稳定的状态，比如：船载和车载的监控装置。很多文献讨论了电子稳像技术^[6-8]，还有少部分文献讨论了基于电子稳像的跟踪算法^[9]。但是这些算法都将稳像和跟踪分开进行处理，这样做存在几个不可避免的缺点：稳像的过程不可避免的会造成视频图像信息的损失；先稳像再跟踪将会导致时间上的延迟，无法满足实时性的要求；最重要的缺点是我们无法获取在原始视频中的跟踪结果。

发明内容

为了克服现有算法中存在的问题，本文提出了一种相机运动状态下的实时运动目标跟踪算法。首先，对特征点进行选取，然后，利用光流法进行全局运动估计，得到相机平移运动分量和旋转运动分量；最后，利用全局运动估计的结果对粒子滤波的运动方程进行修正，选用颜色直方图作为目标的特征模型，实现在相机运动的情况下对移动目标的实时跟踪。为了验证本文算法的性能，我们选取了多组测试视频进行实验。实验结果表明，在相机运动的状态下，本文的算法能够准确快速的跟踪上运动目标，可以达到实时性要求，具有非常好的实用价值。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。

如图1本发明的流程图所示，一种基于移动相机平台的目标跟踪方法，首先在每一帧图像中，均匀的选定多个特征点。

传统的稳像算法，一般选取每一帧图像的角点作为特征点。最普遍使用的角点的定义是由Harris提出的^[10]，Harris定义的角点是指位于图像二阶导数的自相关矩阵有两个最大特征值的地方，本质上是以此点为中心，周围至少存在两个不同方向的纹理(或者边缘)。但是，对每一帧图像都查找角点会带来一些问题：当需要角点数在300个以上时，与光流结合后实时性较差。

作为一个较佳的实施方式，本文在实验过程中，在每帧图像中每隔20个像素选取一个点作为特征点。均匀选取特征点的优势在于：具有非常好的实时性，对全局运动有很好的代表性；通过对局部运动向量的筛选可以获得准确的全局运动的估计。

在选取特征点之后，采用Lucas-Kanade方法^[12]来计算每个特征点的光流。

由于是均匀的选取特征点，特征点有可能在背景上，也有可能在运动目标上。为了准确的估计全局运动，需要排除运动目标对全局运动估计的影响。从理论上分析运动目标对光流结果的影响^[13]。

首先假设相机是静止的。假设t时刻第i个特征点P_i(t)在相机坐标系中的坐标是[x_i(t)，y_i(t)，z_i(t)]，则该特征点在像平面的坐标为：

$[u_i\left(t\right),v_i\left(t\right)]=[\mathrm{\λ}\frac{x_i\left(t\right)}{z_i\left(t\right)},\mathrm{\λ}\frac{y_i\left(t\right)}{z_i\left(t\right)}]---\left(1\right)$

其中，λ是与相机分辨率和焦距有关的系数。

若该特征点在相机坐标系中的位移是[dx_i(t)，dy_i(t)，dz_i(t)]，则在像平面中的光流为

${\mathrm{OF}}_i\left(t\right)=[\frac{{\mathrm{du}}_i\left(t\right)}{\mathrm{dt}},\frac{{\mathrm{dv}}_i\left(t\right)}{\mathrm{dt}}]$

$=[\mathrm{\λ}\frac{z_i\left(t\right){\mathrm{dx}}_i\left(t\right)/\mathrm{dt}-x_i\left(t\right){\mathrm{dz}}_i\left(t\right)/\mathrm{dt}}{z_i{\left(t\right)}^2},$

$\mathrm{\λ}\frac{z_i\left(t\right){\mathrm{dy}}_i\left(t\right)/\mathrm{dt}-y_i\left(t\right){\mathrm{dz}}_i\left(t\right)/\mathrm{dt}}{z_i{\left(t\right)}^2}]---\left(2\right)$

从公式(2)可以看出，运动目标对光流的影响与运动目标的速度和景深有关，当时间间隔非常短时，可以认为速度是一定的，则运动目标的景深越小，对光流的影响就越大。所以需要从所有特征点中除去与背景光流不一致的特征点，然后再用统计的方法来估计全局运动。

将所有特征点的光流运算结果

由小到大排序，得到有序的光流序列

其中：

1≤j≤N，N为特征点的总数。令

${\mathrm{DA}}_j^x\left(t\right)={\mathrm{OF}}_{j+\mathrm{\δ}}^x\left(t\right)-{\mathrm{OF}}_j^x\left(t\right)---\left(3\right)$

表示

在间隔为δ的两点上光流值的前向差分，优选的δ＝20。

设

是

序列的最小值，

对应的点为：j＝j_min。本发明中，选取

的5倍作为阈值，去除大于阈值的特征点。

然后，计算筛选后剩余的所有特征点的光流的平均值，作为水平方向上全局运动的估计值，记为：

$T^x\left(t\right)=\frac{1}{N^{\′}}\stackrel{N^{\′}}{\underset{k=1}{\mathrm{\Σ}}}{\mathrm{OF}}_k^x\left(t\right)---\left(4\right)$

其中，N′为水平方向上筛选后的特征点的总数。

同理可得，垂直方向上的全局运动的估计值为：

$T^y\left(t\right)=\frac{1}{M^{\′}}\underset{l=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{\mathrm{OF}}_l^y\left(t\right)---\left(5\right)$

其中，M′为垂直方向上筛选后的特征点的总数。

步骤S4，首先建立相机的3-D仿射模型：

t时刻，第i个特征点在相机坐标系中的坐标，令该特征点在世界坐标系中的位置保持不变，相机通过旋转和平移发生移动，在t+1时刻，该特征点在相机坐标系中的位置变为，则有：

[x_i(t+1)，y_i(t+1)，z_i(t+1)]^T

＝R_3*3(t)*[x_i(t)，y_i(t)，z_i(t)]^T+T_3*1(t)        (6)

其中，R_3*3(t)和T_3*1(t)分别是t时刻相机的旋转矩阵和平移矩阵。将公式(1)带入公式(6)可得相机的3-D仿射模型为：

$\left[\begin{array}{c}{u}_i(t+1)\\ v_i(t+1)\\ \mathrm{\λ}\end{array}\right]=\frac{z_i\left(t\right)}{z_i(t+1)}\left[\begin{array}{ccc}{R}_{11}\left(t\right)& R_{12}\left(t\right)& R_{13}\left(t\right)\\ R_{21}\left(t\right)& R_{22}\left(t\right)& R_{23}\left(t\right)\\ R_{31}\left(t\right)& R_{32}\left(t\right)& R_{33}\left(t\right)\end{array}\right]\left[\begin{array}{c}{u}_i\left(t\right)\\ v_i\left(t\right)\\ \mathrm{\λ}\end{array}\right]+\left[\begin{array}{c}{T}^x\left(t\right)\\ T^y\left(t\right)\\ T^z\left(t\right)\end{array}\right]---\left(7\right)$

忽略相机在像平面以外的旋转，可得简化的2-D仿射模型：

$\left[\begin{array}{c}{u}_i(t+1)\\ v_i(t+1)\end{array}\right]=s\left[\begin{array}{cc}{R}_{11}\left(t\right)& R_{12}\left(t\right)\\ R_{21}\left(t\right)& R_{22}\left(t\right)\end{array}\right]\left[\begin{array}{c}{u}_i\left(t\right)\\ v_i\left(t\right)\end{array}\right]+\left[\begin{array}{c}{T}^x\left(t\right)\\ T^y\left(t\right)\end{array}\right]---\left(8\right)$

其中，

在不考虑景深突变时，s＝1。假设相机在t时刻旋转的角度为θ_i(t)，则旋转矩阵可以写为： $\left[\begin{array}{cc}{R}_{11}\left(t\right)& R_{12}\left(t\right)\\ R_{21}\left(t\right)& R_{22}\left(t\right)\end{array}\right]=\left[\begin{array}{cc}\cos \left({\mathrm{\θ}}_i\left(t\right)\right)& -\sin \left({\mathrm{\θ}}_i\left(t\right)\right)\\ \sin \left({\mathrm{\θ}}_i\left(t\right)\right)& \cos \left({\mathrm{\θ}}_i\left(t\right)\right)\end{array}\right]$

代入公式(8)可得：

$\left[\begin{array}{c}{u}_i(t+1)\\ v_i(t+1)\end{array}\right]=\left[\begin{array}{cc}\cos \left({\mathrm{\θ}}_i\left(t\right)\right)& -\sin \left({\mathrm{\θ}}_i\left(t\right)\right)\\ \sin \left({\mathrm{\θ}}_i\left(t\right)\right)& \cos \left({\mathrm{\θ}}_i\left(t\right)\right)\end{array}\right]\left[\begin{array}{c}{u}_i\left(t\right)\\ v_i\left(t\right)\end{array}\right]+\left[\begin{array}{c}{T}^x\left(t\right)\\ T^y\left(t\right)\end{array}\right]---\left(9\right)$

公式(9)中，相机的平移矩阵[T^x(t)，T^y(t)]^T已经求得，已知t时刻和t+1特征点在像平面的坐标，即可估计出t时刻的旋转矩阵。

步骤S5：运动目标的位置可以被看作是状态空间上的离散时间马尔可夫序列。跟踪目标就是要从带有噪声的观测序列Z_k中估计目标状态X_k。

设z_1:k＝{z_i，i＝1，...，k}为所有已知观测值，最终需要求得p(X_k|Z_1:k)。

设p(X₀|Z₀)＝p(X₀)，假设k-1时刻的分布p(X_k-1|Z_1:k-1)已知，则由系统模型可以得到k时刻的先验概率分布：p(X_k|Z_1:k-1)＝∫p(X_k|X_k-1)p(X_k-1|Z_1:k-1)dX_k-1。在得到k时刻新的观测值Z_k后，通过贝叶斯公式更新分布，即可得到后验概率：

$P\left(X_k\right|Z_{1:k})=\frac{P\left(Z_k\right|X_k)P\left(X_k\right|Z_{1:k-1})}{P\left(Z_k\right|Z_{1:k-1})}---\left(10\right)$

贝叶斯滤波求后验概率实际上很难实现，一般的工程应用中，采用蒙特卡洛方法，用一组具有权值的粒子

来表示后验概率p(X_k|Z_1:k)，其中

表示粒子的权值。

$p\left(X_k\right|Z_{1:k})\≈\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_k^i\mathrm{\δ}(X_k-X_k^i)---\left(11\right)$

其中归一化权值

递推方程为：

${\mathrm{\ω}}_k^i\∝{\mathrm{\ω}}_{k-1}^i\frac{p\left(Z_k\right|X_k^i)p\left(X_k^i\right|X_{k-1}^i)}{q\left(X_k^i\right|X_{k-1}^i,Z_k)}---\left(12\right)$

其中

为建议分布。

蒙特卡洛的主要思想，即是用一组符合某概率分布的样本来代替此概率分布。事实上，计算概率分布只是目标跟踪的中间步骤，既然得到了符合概率分布的样本，就可以直接通过样本估计出目标的位置，而不必计算具体的概率分布了。这样，可以将状态密度的期望作为实际状态对评估

当N→∞时，

将均方收敛于p(X_k|Z_1:k)的真实后验概率分布。为了避免粒子权值退化问题，需要采用重采样方法，通过复制高权值粒子并抛弃低权值粒子的方法来解决这一问题。

采用二次自回归模型作为运动模型，根据求得的全局运动估计，对运动模型进行修正。

首先，选取运动目标在像平面中的位置作为状态变量，则k时刻的状态变量X_k＝[u_i(k)，v_i(k)]^T。首先，将所求得的全局运动估计转换成目标在像平面上位置的修正量Δ_k：

${\mathrm{\Δ}}_k=\left[\begin{array}{cc}\cos \left({\mathrm{\θ}}_i\left(k\right)\right)& -\sin \left({\mathrm{\θ}}_i\left(k\right)\right)\\ \sin \left({\mathrm{\θ}}_i\left(k\right)\right)& \cos \left({\mathrm{\θ}}_i\left(k\right)\right)\end{array}\right]X_k+\left[\begin{array}{c}{T}^x\left(k\right)\\ T^y\left(k\right)\end{array}\right]---\left(14\right)$

修正后的运动模型为：

$X_{k+1}-{\hat{X}}_k=A_1(X_k+{\mathrm{\Δ}}_k-{\hat{X}}_k)$ (15)

$+A_2(X_{k-1}+{\mathrm{\Δ}}_k+{\mathrm{\Δ}}_{k-1}-{\hat{X}}_k)+\mathrm{Bw}$

其中，

为所有粒子的均值，Bw为系统的随机噪声。修正后的运动模型通过调整粒子的位置，去除了相机运动造成的影响，避免因为相机运动而导致的跟踪失败。

选用RGB色彩空间的颜色直方图作为运动目标的特征模型来描述运动目标，首先，对R、G、B三个通道量化成16级，柱状图分格为m＝16×16×16个bins。

设u＝{1，2，...，m}，在初始帧中，给定包含目标的粒子，可以得到目标的统计直方图分布模型为其中位置的颜色概率密度为：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i^{*}-y_0}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^{*}\right)-u]---\left(16\right)$

其中，y₀为初始目标中心位置。k(·)是核函数，核函数可以保证越远离粒子中心的像素，权值越小，以提高模型的鲁棒性。C为使

的归一化参数。

在选定的初始帧后出现的每一帧中，可能包含目标的区域为候选区域，其中心坐标为y，则候选目标区域即粒子的统计直方图分布模型为

其中位置x_i的颜色概率密度为：

${\hat{p}}_u\left(y\right)=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i-y}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(17\right)$

候选目标区域

和目标区域

之间的Bhattacharyya距离为：

$d\left(y\right)=\sqrt{1-\mathrm{\ρ}[\hat{p}\left(y\right),\hat{q}]}$

我们利用

建立观测似然模型：

$p\left(Z_k\right|X_k)=\frac{1}{\sqrt{2\mathrm{\π\σ}}}\exp (d\left(y\right)/2{\mathrm{\σ}}^2)---\left(18\right)$

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

附表，本发明涉及的参考文献

参考文献：

[1]Hu W M，Tan T N，Wang L，Maybank S.A survey on visualsurveillance of object motion and behaviors[J].IEEE Transactions onSystems，Man，and Cybernetics，Part C：Applications and Reviews，2004，34(3)：334-352.

[2]Yilmaz A，Javed O，Shah M.Object tracking：a survey[J].ACMComputing Surveys，2006，38(4)：229-240.

[3]Jiang M X，Li M，Wang H Y.A Robust Combined Algorithim of ObjectTracking Based on Moving Object Detection[C].Proceedings of theInternational Conference on Intelligent Control and InformationProcessing.Dalian，China：IEEE，2010.619-622.

[4]Comaniciu D，Ramesh V，and Meer P.Kernel based objecttracking[J].IEEE Transactions on Pattern Analysis and MachineIntelligence，2003，25(5)：564-575.

[5]N.Gordon，M.Arulampalam，S.Maskell，and T.Clapp，“Atutorial on particle filters for online nonlinear/nongaussian bayesiantracking”，IEEE Trans.on Signal Processing，Vol.50，No.2，2002.

[6]A.Litvin，J.Konrad，and W.Karl，“Probabilistic videostabilization using kalman filtering and mosaicking”，Proc.SPIE Imageand Video Communications and Process.，vol.5022，2003，pp.663-674.

[7]TICO M.，VEHVILAINEN M.，“Constraint motion filtering forvideo stabilisationsing”，Proc.Int.Conf.on Image Processing，2005，pp.569-572.

[8]S.Auberger and C.Miro，“Digital video stabilizationarchitecture for low cost devices”，Proceedings of the 4th InternationalSymposium on Image and Signal Processing and Analysis，2005，pp.474-479.

[9]WANG Bin，ZHAO Yue-jin，YIN De-sen.Digital image trackingalgorithm based on electronic image stabilization[J].Infrared and LaserEngineering.2008，37(4)：607-610.

[10]BARRON J.L.，FLEET D.J.，BEAUCHEMIN S.S.，“Performance ofoptical flow techniques”，Int.J.Comput.Vis.，1994，12，(1)，pp.43-77.

[11]Filippo Vella，Alfio Castorina，Massimo Mancuso and GiuseppeMessina，“DIGITAL IMAGE STABILIZATION BY ADAPTIVE BLOCK MOTION VECTORSFILTERING”，IEEE Transactions on Consumer Electronics，Vol.48，No.3，AUGUST 2002.

[12]SHI J.，TOMASI C.，“Good features to track”.Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition，1994，pp.593-600

[13]J.Cai R.Walker，“Robust video stabilisation algorithm usingfeature point selection and delta optical flow”，IET Comput.Vis.，2009，Vol.3，Iss.4，pp.176-188.

[14]Junlan Yang，Dan Schonfeld，and Magdi Mohamed，“Robust VideoStabilization Based on Particle Filter Tracking of Projected CameraMotion”，IEEE Trans on Circuits And Systems For Video Tech，VOL.19，NO.7，JULY 2009.

[15]Nihat Kabaoglu，Target Tracking Using Particle Filters WithSupport Vector Regression[J].IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY，VOL.58，NO.5，JUNE 2009.2569-2573.

Claims (4)

1.一种基于移动相机平台的目标跟踪方法，其特征在于具有如下步骤：

获得场景的视频，所述视频包括帧序列，每一帧包括多个像素，对于每一帧，进一步的包括如下步骤：

S1.在每一帧图像中，均匀的选定多个特征点；

S2.计算每个特征点的光流；

S3.利用光流法估计全局运动，得到相机平移运动分量；

S4.建立相机的3D仿射模型，结合所述相机的平移运动分量，得到相机的旋转运动分量；

S5.在视频图像中选定跟踪目标，使用粒子滤波算法对跟踪目标进行追踪，在追踪过程中使用相机的平移运动分量与旋转运动分量对目标运动模型进行修正，去除相机自身运动对追踪结果造成的影响，完成对目标的追踪。

2.根据权利要求1所述的一种基于移动相机平台的目标跟踪方法，其特征还在于：步骤S1中，在每帧图像中，每间隔20个像素选取一个像素点作为特征点。

3.根据权利要求1所述的一种基于移动相机平台的目标跟踪方法，其特征还在于：所述步骤3具体包括如下步骤：

S301.将计算所得的每个特征点的光流运算结果，由小到大排列，得到有序的光流序列；

S302.由光流序列得到，得到固定间隔的两点的前向差分序列；

S303.选定差分序列中的最小值，以此最小值设定阈值，以此阈值从所有特征点中选取有效特征点；

S304.计算有效特征点的光流平均值，得到相机平移运动的分量。

4.根据权利要求1所述的一种基于移动相机平台的目标跟踪方法，其特征还在于：所述步骤S5中，选用二次自回归模型作为运动模型，利用步骤S3和S4中得到的相机平移运动分量和旋转运动分量对二次自回归模型进行不断的修正。

Images