CN106570891A - 一种基于固定摄像头视频图像的目标跟踪算法 - Google Patents

Abstract

本发明涉及一种基于固定摄像头视频图像的目标跟踪算法，首先对视频图像进行背景建模，得到运动的前景区域，然后通过跟踪目标的大小及位置信息，将跟踪结果与前景检测得到的结果对应起来，得到跟踪目标对应的前景区域，并将这个前景区域与KLT算法的跟踪结果综合起来，得到更准确的跟踪结果。本发明能提高跟踪效率和准确度。

Description

一种基于固定摄像头视频图像的目标跟踪算法

技术领域

本发明属于计算机视觉领域，是一种基于固定摄像头的目标跟踪算法。。

背景技术

对于物体的跟踪，近年来涌现出了很多非常经典的方法。比如有文献中设计了TLD(Tracking-learning-detection)跟踪算法，在跟踪的同时进行在线学习，并在跟踪丢失时采用检测算法重新寻找物体，起到了比较好的跟踪效果。还有文献将压缩感知的算法引入到跟踪领域，首先利用符合压缩感知RIP条件的随机感知矩对多尺度图像特征进行降维，然后在降维后的特征上采用简单的朴素贝叶斯分类器进行分类。这种算法的作者在实验中可以达到40帧/s的速度。可惜实际上这种方法在处理实时视频流时效果并不突出，远远达不到它描述的速率。还有文献中设计了struct跟踪算法，采用结构化学习的方法，不断预估物体的位移，再更新判别函数。通过建立的结构化SVM模型来进行分类判断。不过这种算法的运行速度并不是很快。针对这种方法，有序有文献进行改进得到了KCF跟踪算法，作者使用了一种通过矩阵循环偏移的算法构建出了分类器的训练样本，然后使用循环矩阵的数学性质把问题经过傅里叶变换转化到频域，避免了矩阵求逆的过程，极大地降低了运算复杂度。这种方法对后续的基于检测的跟踪算法影响深远。还有一些文章采用了基于深度学习的方法，主要解决跟踪时深度学习算法面临的数据不足的问题，并达到了当前最优秀的跟踪效果。

对于这些经典跟踪算法，都是针对背景可变的视频。对于目前常用的固定摄像头，往往可以通过固定的背景对跟踪目标的搜索进行约束。这样

发明内容

本发明的目的是提供一种可以提高计算效率，并得到更准确的效果的目标跟踪算法。技术方案如下：

一种基于固定摄像头视频图像的目标跟踪算法，首先对视频图像进行背景建模，得到运动的前景区域，然后通过跟踪目标的大小及位置信息，将跟踪结果与前景检测得到的结果对应起来，得到跟踪目标对应的前景区域，并将这个前景区域与KLT算法的跟踪结果综合起来，得到更准确的跟踪结果，包括下列步骤：

(1)对视频图像进行混合高斯背景建模，得到视频中的运动前景区域；

(2)特征点跟踪：对第一帧使用KLT算子进行特征点检测，对于之后的图片，通过分析特征点在样本上的覆盖情况，确定是否重新计算特征点，并使用LK光流法对这些特征点进行跟踪，得到所有特征点平均位移矢量v_d；

(3)跟踪目标对应前景，对于当前帧，包括如下步骤：

1)使用Kalman滤波器对目标位置进行预测，得到Kalman滤波器预测的位移；

2)结合Kalamn滤波器预测结果与运动前景区域，得到跟踪目标对应的前景矩形区域r_B，对当前帧跟踪目标位置的预测c_k以及上一帧跟踪的最终结果这一步具体步骤如下：

(4)将这个前景区域与KLT算法的跟踪结果综合起来，得到最终的跟踪结果r_result，即得到两个量：r_result的中心位置c_result以及r_result的大小S_result，方法如下：

1)对于位移矢量v_d，权重系数为：

其中M和N分别为检测到的特征点的总数及这些点经过聚类后结果中包含的点的数目，u_d＝2；

2)对于由Kalman滤波器预测的位置c_k，权重系数为：

其中x_k和y_k分别为卡曼滤波器预测得到的中心位置在图像中的x坐标和与y坐标。x_d和y_d为上一帧跟踪目标的位置在第(1)步得到的位移矢量v_d作用下移动到的位置的x坐标和与y坐标。v_k为Kalman滤波器预测位置与原位置相比的位移，u_k＝2。

3)对于前景矩形区域r_B的中心位置c_B，权重系数：

其中w，h分别为r_B的宽与高，和分别是按照每帧20％和30％的固定速率更新的平均宽与高，即每帧计算出r_result之后，将r_result的宽与高分别乘以20％和30％，再与当前的和乘以80％和70％的结果相加，得到的平均结果，u_B＝15。

对前三步计算得到的三个权重数进行归一化，并根据此三个权重，最终得到的r_result中心点c_result。

4)对于跟踪目标对应的前景区域r_B的大小，权重系数的形式与进行位置预测时相同，为：

5)对于前一帧跟踪结果的大小S_p,权重系数为一个固定值。

6)对5)6)两步得到的两个权重进行归一化，根据此两个权重得到r_result大小S_result。

具体实施方法

第一部分：特征点跟踪模块

1)首先使用KLT算子检测跟踪目标中的特征点，接下来使用运动前景对这些特征点做筛选，保留落在运动前景之上的特征点，这就组成了需要进行跟踪的点列:

P_in＝{p_in1,p_in2,p_in3,p_in4,...}

使用LK光流法对他们进行跟踪，得到跟踪成功的点列:

P_out＝{p_out1,p_out2,p_out3,p_out4,...}

为了保证算法的运行速度，不需要在每一帧图像中都使用KLT算子进行特征点检测通过下述步骤确定何时需要进行特征点检测：

2)将原图中的特征点按坐标对应关系放置在40×40像素直方图中，使该像素点的灰度值为最大值。然后使用Σ＝2的高斯核对该直方图进行滤波。这就得到了一个直方图Pb。

3)通过Pb计算特征点覆盖直方图P，即通过比例系数r使得G，P两个直方图所有像素之和相等。

r＝ΣG_ij/∑Pb_ij

P_ij＝r×Pb_ij

由于进行了归一化，这时

∑G_ij＝∑P_ij＝∑_40×40

得到了直方图G与P之后，计算直方图G和P之间的差。这个运算定义如下：

||G-P||＝∑||G_ij-P_ij||

最后对结果进行归一化：

R_diff＝||G-P||/Σ_40×40

4)当R_diff＞T_th时，重新使用KLT算子检测跟踪目标中的特征点。否则使用上一次跟踪得到的特征点。这就完成了跟踪目标中特征点的跟踪和选取。

第二部分：跟踪目标对应前景区域选择模块

1)对前景区域求出各个前景团块的外接矩形；

2)使用Kalman滤波器，结合之前跟踪目标的位置来对当前跟踪目标的位置进行预测，得到预测矩形r_k；

3)上一步得到的预测矩形r_k会与第一步得到的一些外接矩形相交，使用Dijkstra算法可以得到相交结果中所有合理的组合。记为R_rcb；(首先构建一个无向图G＝{V,E,ω}。顶点V＝{V₁,V₂,...,V_n}表示第一步得到的所有前景区域外接矩形，边E＝{E₁,E₂,...,E_k}表示这些矩形之间的距离。对于每一条边，都有一个权重系数ω_ij表示前景矩形V_i和V_j之间距离的大小。从一个顶点出发，到另一个顶点的最短路径，是可以通过Dijkstra算法求得的。每一条最短路径所经过的顶点的集合，都是一种合理的矩形组合)

4)从第三步得到的结果R_rcb中选择出最能代表跟踪目标前景区域的元素。公示定义如下：

其中有

公式中的α_s、α_N和α_E为三个权重系数，表示公式中三部分的权重，人为进行指定。上标i表示它是R_rcb中的第几个元素。第一部分描述矩形与预测矩形r_k的重合程度；第二部分描述上一部分中得到的P_out中的点中落在矩形内的数目。假设P_out中共有M个点；第三部分描述组成的j个矩形没有被r_k覆盖的面积与其自身面积之比。对这j个比例求和，这个和越大，矩形露出r_k的部分就越多，sⁱ的值也就越小。对于R_rcb中的每个元素，按照这个公式计算sⁱ的值，并进行比较。选择其中sⁱ值最大的元素作为跟踪目标的前景区域。这就完成了前景区域的确定。

第三部分：基于权重的最终跟踪结果确定

前面两部分的计算中已经得到了四个可以使用的信息：第一部分所有特征点平均位移矢量v_d；第二部分中得到的Kalman滤波器对这一帧跟踪目标位置的预测c_k以及跟踪目标对应的前景矩形区域r_B；最后还有上一帧跟踪的最终结果(包括位置和大小两部分信息)。在这一步中算法综合这些信息，得到最终的跟踪结果r_result，即得到两个量：r_result的中心的位置c_result以及r_result的大小S_result。

7)对于位移矢量v_d，权重系数的形式为：

其中M和N为第一部分中P_out中点的总数，和这些点经过聚类后结果中包含的点的数目。本算法中u_d＝2。

8)对于由Kalman滤波器预测的位置c_k，权重系数的形式为：

其中v_k为Kalman滤波器预测位置与原位置相比的位移。本算法中u_k＝2。

9)对于前景矩形中心位置c_B，权重系数的形式为：

其中w，h分别为r_B的宽与高。和分别是按照每帧20％和30％的固定速率更新的平均宽与高，即每帧计算出r_result之后，将r_result的宽与高分别乘以20％和30％，再与当前的和乘以80％和70％的结果相加，得到的平均结果。本算法中u_B＝15。

10)对前三步计算得到的三个权重系数进行归一化，得到归一化权重系数

i在B，d，k中选择。最终得到的r_result中心点c_result为

其中c_B为跟踪目标对应的前景矩形区域的中心。c_d为的中心经过位移矢量v_d位移得到的位置。c_k为Kalman滤波器对这一帧跟踪目标的位置的预测。c_result计算完成。

11)接下来计算r_result的大小S_result。对于跟踪目标对应的前景区域r_B的大小，权重系数的形式与进行位置预测时相同，为：

12)对于的大小S_p,权重系数为一个固定值：

本算法中取Ω＝0.7。对这两个权重进行归一化：

i在B，p中选择。最终得到的r_result大小S_result为

这就融合得到了最终的跟踪结果。重复上面的步骤，可以持续对目标进行跟踪。

Claims (1)

1.一种基于固定摄像头视频图像的目标跟踪算法，首先对视频图像进行背景建模，得到运动的前景区域，然后通过跟踪目标的大小及位置信息，将跟踪结果与前景检测得到的结果对应起来，得到跟踪目标对应的前景区域，并将这个前景区域与KLT算法的跟踪结果综合起来，得到更准确的跟踪结果，包括下列步骤：

(1)对视频图像进行混合高斯背景建模，得到视频中的运动前景区域；

(2)特征点跟踪：对第一帧使用KLT算子进行特征点检测，对于之后的图片，通过分析特征点在样本上的覆盖情况，确定是否重新计算特征点，并使用LK光流法对这些特征点进行跟踪，得到所有特征点平均位移矢量v_d；

(3)跟踪目标对应前景，对于当前帧，包括如下步骤：

1)使用Kalman滤波器对目标位置进行预测，得到Kalman滤波器预测的位移；

2)结合Kalamn滤波器预测结果与运动前景区域，得到跟踪目标对应的前景矩形区域r_B，对当前帧跟踪目标位置的预测c_k以及上一帧跟踪的最终结果这一步具体步骤如下：

(4)将这个前景区域与KLT算法的跟踪结果综合起来，得到最终的跟踪结果r_result，即得到两个量：r_result的中心位置c_result以及r_result的大小S_result，方法如下：

1)对于位移矢量v_d，权重系数为：

${\mathrm{\ω}}_d^c=\exp \[-u_d(1-N/M)\]$

其中M和N分别为检测到的特征点的总数及这些点经过聚类后结果中包含的点的数目，u_d＝2；

2)对于由Kalman滤波器预测的位置c_k，权重系数为：

${\mathrm{\ω}}_k^c=\exp \[-u_k\frac{{(x_d-x_k)}^2+{(y_d-y_k)}^2}{{x_d}^2+{x_k}^2+{y_d}^2+{y_k}^2}\]\{1-\exp \[-u_d(1-\frac{N}{M})\]\}$

其中x_k和y_k分别为卡曼滤波器预测得到的中心位置在图像中的x坐标和与y坐标；x_d和y_d为上一帧跟踪目标的位置在第(1)步得到的位移矢量v_d作用下移动到的位置的x坐标和与y坐标；v_k为Kalman滤波器预测位置与原位置相比的位移，u_k＝2；

3)对于前景矩形区域r_B的中心位置c_B，权重系数：

${\mathrm{\ω}}_B^c=\exp \{-u_B\[{\left(\frac{w-\stackrel{\‾}{w}}{\stackrel{\‾}{w}}\right)}^2+{\left(\frac{h-\stackrel{\‾}{h}}{\stackrel{\‾}{h}}\right)}^2\]\}$

其中w，h分别为r_B的宽与高，和分别是按照每帧20％和30％的固定速率更新的平均宽与高，即每帧计算出r_result之后，将r_result的宽与高分别乘以20％和30％，再与当前的和乘以80％和70％的结果相加，得到的平均结果，u_B＝15；

对前三步计算得到的三个权重数进行归一化，并根据此三个权重，最终得到的r_result中心点c_result；

4)对于跟踪目标对应的前景区域r_B的大小，权重系数的形式与进行位置预测时相同，为：

${\mathrm{\ω}}_B^S=\exp \{-u_B\[{\left(\frac{w-\stackrel{\‾}{w}}{\stackrel{\‾}{w}}\right)}^2+{\left(\frac{h-\stackrel{\‾}{h}}{\stackrel{\‾}{h}}\right)}^2\]\}$

5)对于前一帧跟踪结果的大小S_p,权重系数为一个固定值；

6)对5)6)两步得到的两个权重进行归一化，根据此两个权重得到r_result大小S_result。