CN103150740A - 一种基于视频的运动目标跟踪方法和系统 - Google Patents

Abstract

本发明公布了一种运动目标跟踪方法和系统，所述运动目标跟踪方法包括：检测运动目标，将视频图像中的运动目标分割出来；对于运动目标，建立颜色概率分布图；计算搜索窗口的质心，并根据窗口零阶矩调整搜索窗口大小；通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测；在预测范围内进行质心匹配，跟踪目标。本发明能够很好的解决复杂背景下的运动目标跟踪问题，具有很好的实时性和鲁棒性。

Description

一种基于视频的运动目标跟踪方法和系统

技术领域

本发明涉及数字图像处理技术，特别涉及一种基于视频的运动目标跟踪方法。

背景技术

计算机视觉的研究目的是使用计算机代替人眼及大脑对景物环境进行感知、解释和理解。随着计算机技术的不断发展，利用计算机来实现人类的视觉功能成为目前计算机领域中最热门的课题之一。

视频跟踪技术作为计算机视觉的一个重要课题,近年来引起越来越多的研究者们关注，这主要由于两方面原因：一方面，计算和存储成本的大幅度下跌，使得以视频速率或近似视频速率采集存储图像序列成为可能；另一方面，视频跟踪技术的极为广阔市场应用前景也是推动此研究的主要动力。视频跟踪技术除了在智能视频监控系统中具有非常重要的应用外，在人机交互、运动分析、目标识别、目标分类、机器人视觉导航、图像压缩、交通检测和虚拟现实等领域也有重要应用。除了上述民用方面的应用之外，基于图像序列的运动目标检测与跟踪技术在军事领域，特别是制导和导航方面也有广泛的应用前景。

有了视频目标的检测和跟踪，不仅为人机交互、目标运动描述、目标识别和目标分类等提供了基础，而且在获取了跟踪定位到的目标的轮廓后，可以得到目标的运动姿态，为运动目标的姿态识别、行为理解和安全监控等提供了理论。

发明内容

针对上述问题，本发明所涉及的一种基于视频图像的对运动目标进行跟踪的方法，实现对多个运动目标实现快速和高效的搜索、预测和监控，可以在复杂背景下的实现运动目标跟踪方法，可以很好的解决复杂背景下的运动目标跟踪问题，并且将周围环境的影响降低的方法。

本发明为了实现上述目的，可以使用以下方案：

本发明所涉及的一种基于视频图像的多运动目标跟踪方法，其特征在于，包括具体步骤如下：（1） 获取视频图像，建立背景更新模型；（2）对视频图像进行前景分割，通过帧差法，将背景图像与当前帧图像进行差分，从而分割出运动目标；（3）检测运动目标，将视频图像中的运动目标分割出来；（4）对于运动目标建立颜色概率分布图；（5）初始化查找颜色概率分布图中的概率分布峰值的搜索窗口；（6）计算搜索窗口的质心；（7）根据窗口的零阶矩调整搜索窗口大小，自动调整运动目标区域的大小，直到收敛，收敛区即是运动目标所在区域；（8）通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测；（9）在预测范围内进行质心匹配，跟踪运动目标。

在本发明所涉及的多运动目标跟踪的方法，其特征在于，其中，建立颜色概率分布图包括如下步骤：（4.1）对于运动目标区域矩形框内的图像进行彩色空间转换，将RGB空间转换到HSV空间；（4.2）统计运动目标区域的颜色直方图；（4.3）对图像进行直方图投影操作，将图像转换成颜色概率分布图像。

进一步，初始化搜索窗口包括以下步骤：（5.1）初始化搜索窗口的位置和大小；（5.2）设置搜索窗口的中心位置。

进一步，通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测包括如下步骤：（8.1）参数初始化：参数初始化包括定义系统测量向量、转移矩阵和测量矩阵，以及噪声协方差矩阵；（8.2）状态预测：在向量初始化以后，卡尔曼滤波器进行预测，得到预测值，并其根据预测值在的区域内，进行匹配；（8.3）状态校正：根据测量值对预测值进行校正，得到系统的最优值，更新滤波器的参数。

另外，利用卡尔曼滤波器对下一帧中的目标出现位置进行预测，确定新的搜索窗口的位置，在搜索窗口内进行质心匹配，跟踪运动目标。

发明效果

本发明所提供的一种基于视频图像的多运动目标跟踪的方法，其具有：获取视频图像，建立背景更新模型；对视频图像进行前景分割，通过帧差法，将背景图像与当前帧图像进行差分，从而分割出运动目标，能够快速的对运动目标进行跟踪和监控；检测运动目标，将视频图像中的运动目标分割出来；对于运动目标建立颜色概率分布图；查找颜色概率分布图中的概率分布峰值的搜索窗口，计算搜索窗口的质心，并根据窗口的零阶矩调整搜索窗口大小，自动调整运动目标区域的大小，直到收敛区，收敛区即是运动目标所在区域，减少了数据处理量；通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测；在预测范围内进行质心匹配，跟踪运动目标，实现了多运动目标的搜索、跟踪、预测和监控。

附图说明

图1 是搜索窗口匹配目标流程图

图 2是卡尔曼滤波器的工作流程图

具体实施方法

以下结合附图对本发明所涉及的一种基于视频图像的多运动目标跟踪的方法的优选实施例做详细阐述，但本发明并不仅限于该实施例。为了使公众对本发明有彻底的了解，在以下本发明的优选实施例中详细说明了具体细节。

实施例1

本发明所涉及的一种基于视频的运动目标跟踪方法，其利用摄像头跟踪车辆在公路上行驶的过程，在视频采集，形成序列图像，目标检测，目标跟踪和数据管理中心的系统中起到目标检测和目标跟踪的作用，具有以下具体步骤：

步骤S1-01：

通过摄像机获取车辆行驶的视频图像，利用计算机建立背景更新模型，得到背景图像。

步骤S1-02：

对视频图像进行前景分割，通过帧差法，将背景图像与当前帧图像进行差分，从而分割出车辆行驶的目标。

步骤S1-03:

检测车辆行驶目标，将视频图像中的车辆行驶目标分割出来。

步骤S1-04：

对于行驶中的车辆，建立颜色概率分布图。

步骤S1-05：

初始化查找颜色概率分布图中的概率分布峰值的搜索窗口。

图1为搜索窗口匹配目标流程图。

如图1所示，实现搜索窗口匹配目标，具有以下步骤：

步骤S1-501:

计算Meanshift向量,初始化搜索窗口的位置和大小，Meanshift算法是一种密度函数梯度估计的非参数方法，即通过计算颜色概率分布图中选取搜素床的大小和位置。

步骤S1-3:

使用搜索窗口选择视频图像中的分割出的行驶的车辆目标。

步骤S1-401:

对于运动目标区域矩形框内的图像进行彩色空间转换，将RGB空间转换到HSV空间。

HSV彩色空间模型以人的颜色感觉为基础，相比于RGB空间更接近于人们的经验和对彩色的感知，并且HSV模型中三个颜色分量之间不具有相关性，从而可以排除光照对于色度的影响。实际应用中，默认的颜色空间是RGB模型，因此要先进行RGB空间到HSV空间的转换，转换公式如下：

V=max(R,G,B)

$S=\left\{\begin{array}{cc}\frac{V-\min (R,G,B)}{V}& \mathrm{if}(V\≠0)\\ 0& \mathrm{if}(V=0)\end{array}\right.$ $H=\left\{\begin{array}{cc}\frac{(G-B)*60}{S}& \mathrm{if}(V=R)\\ 180+\frac{(B-R)*60}{S}& \mathrm{if}(V=G)\\ 240+\frac{(R-G)*60}{S}& \mathrm{if}(V=B)\end{array}\right.$

if(H＜0)   then   H=H+360。

步骤S1-402:

统计运动目标区域的颜色直方图。从步骤S1-401得到的矩形框内的HSV图像的基础上，在步骤S1-3得到当前帧从搜索窗口中分割出的行驶的车辆的图像区域中统计颜色直方图。

步骤S1-403:

对图像进行直方图投影操作，将图像转换成颜色概率分布图像，计算颜色概率分布。

假设num(h)代表目标直方图中H分量大小为h的像素个数，MAX(num(h))表示num(h)的最大值，则在后续的搜索过程中，H分量为w的像素点是原始目标区域内点的概率为：

$p\left(w\right)=\frac{\mathrm{num}\left(w\right)}{\mathrm{MAX}\left(\mathrm{num}\left(h\right)\right)}---(4-2)$

其中，num(w)代表H分量大小为w的像素点的个数。选定目标搜索窗口之后，首先将视频图像转换到HSV空间，然后统计目标区域H(色调)分量颜色直方图，并归一化直方图，这样可以得到运动区域在HSV空间的概率分布，按式4-2可以得到概率分布模型，横坐标为像素值，纵坐标为概率大小。

步骤S1-6:

计算并得到搜索窗口的质心。根据步骤S1-403计算得到的概率分布和步骤S1-502设置的搜索窗口中心位置，计算搜索窗口的质心。这里用到了Meanshift算法，在利用Meanshift算法得到了搜索窗口的大小和位置后，通过计算二阶矩公式如下：

$M_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^2{I}_c(x,y)$

$M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^2{I}_c(x,y)$

$M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xy}{I}_c(x,y)$

计算跟踪目标的方向和尺度：

令： $a=\frac{M_{20}}{M_{00}}-x_c^2,$   $b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),$ $c=\frac{M_{02}}{M_{00}}-y_c^2.$

即得到搜素窗口的质心。

步骤S1-7:

根据窗口的零阶矩调整窗口的大小，自动调整行驶车辆的目标区域的大小，直到收敛区，移动窗口中心到质心位置重合。

则目标长轴与水平方向的夹角为：

$\mathrm{\θ}=\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a-c}\right)$

目标长轴l和短轴w的长度为：

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}.$

并判断是否收敛。如果没有收敛则回到步骤S1-6，如果收敛则返回质心位置的值和搜索窗口的大小。

步骤S1-8:

通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测，形成预测范围；

步骤S1-801:

参数初始化，包括：状态向量、定义系统测量向量、转移矩阵和测量矩阵，以及噪声协方差矩阵。

n维动态离散系统的卡尔曼滤波状态方程为：

X_k=AX_k-1+BU_k+W_k-1                  (4-5)

测量方程为：

Z_k=HX_k+V_k                        (4-6)

其中:

X_k：n×1阶矩阵，为t_k是一个状态向量。

A：是一个与X_k相乘的n×n阶矩阵，称为状态转移矩阵。

B：是一个n×l阶的联系输入控制和状态改变的矩阵。

U_k：是一个l维的列向量，表示外部作用于系统。

w_k：是一个影响系统的随机事件，表示系统的过程噪声。

Z_k：是系统的p×1阶观测矩阵。

H：是系统状态向量和观测向量之间的测量矩阵。

v_k：是p×1阶矩阵，表示系统的测量误差。

步骤S1-802:

状态预测：在状态向量初始化之后，卡尔曼滤波器进行预测，得到预测值，并根据预测值在的区域内进行匹配。

由此得到时间更新方程：

${\hat{X}}_k^{-}=A{\hat{X}}_k^{-}---(4-7)$

$P_k^{-}=A{P}_{k-1}{A}^T+Q---(4-8)$

步骤S1-803:

状态校正：根据测量值对预测值进行校正，得到最优值，更新滤波器的参数。

由此得到相应的测量更新方程。

测量更新方程：

$K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}---(4-9)$

${\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})---(4-10)$

$P_k=(I-K_{k}H)P_k^{-}---(4-11)$

图2为卡尔曼滤波器的工作流程图。

如图2所示，在检测和跟踪多辆车辆在路面上行驶的状况，卡尔曼滤波器所起到的预测和跟踪当前与下一辆车辆的过程具有以下步骤：

步骤S1-9:

利用卡尔曼(Kalman)滤波器对下一帧中的目标出现位置进行预测，从而确定了搜索窗口的位置，在搜索窗口内进行质心匹配，跟踪运动目标，这样减小了全局搜索目标带来的时间复杂度，提高了跟踪目标的准确性。

对于第一帧图像，按照本文所示的方法初始化Camshift搜索窗口，并计算得到运动车辆位置X_k-1。

(2) 利用Kalman滤波器预测下一帧中运动车辆的位置，得到预测值X_k，并计算先验误差协方差。

(3) 将X_k代入式4-6，计算观测值Z_k。

(4) 把测量值传给Kalman滤波器进行参数更新，计算系统的误差协方差、先验估计以及修正矩阵。

$P_k=(1-K_{k}H)P_k^{-}---(4-20)$

${\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})---(4-21)$

$K_k=P_k^{-}{H}_k^T{(H_k{P}_k^T{H}_k^T+R_k)}^{-1}---(4-22)$

(5) 估计值作为Camshift算法的均值漂移初始点，应用Camshift寻找收敛点，即运动车辆在图像中的位置，Camshift算法是将meanshift算法扩增到连续图像序列，将上一帧利用meanshift算法得到的搜索窗口中心位置和大小作为下一帧的窗口中心和大小的初始值进行迭代。

(6) 将收敛点作为Kalman滤波器的后验状态估计

，返回到第二步，进行下一次的迭代。

具体实施例的作用与效果

根据具体实施例所涉及的一种基于视频图像的多运动目标跟踪的方法，由于使用了帧差法，将运动目标从背景中分割出来，实现了对移动物体的跟踪。将采集的RGB图像转换为HSV图像，使得本方法能够减小对于环境的变化所带来的影响。将HSV彩色图像中的运动目标转换成颜色概率直方图，计算概率峰值在搜索窗口中的质心位置，并调整搜索窗口大小和搜索窗口中心的位置，使得中心位置与质心位置重合并确保收敛，使得在跟踪移动物体的过程中减少了计算量。利用卡尔曼滤波器对下一帧的目标出现位置进行预测，从而确定了搜素窗口的位置，在搜索窗口内进行质心匹配，跟踪运动目标，减小了全局搜素目标带来的时间复杂度，提高了跟踪目标的准确性。实现了基于图像序列的对多个运动目标实现快速和高效的搜索、预测和监控，可以在复杂背景下的实现运动目标跟踪方法，可以很好的解决复杂背景下的运动目标跟踪问题。

Claims (5)

1.一种基于视频图像的多运动目标跟踪的方法，其特征在于，包括具体步骤如下：

（1）通过视频获取设备获取所述视频图像，建立背景图像更新模型，得到背景图像；

（2）对所述视频图像进行前景分割，通过帧差法，将所述背景图像与当前帧图像进行差分，从而分割出所述运动目标；

（3）检测所述运动目标，将视频图像中的所述运动目标分割出来；

（4）对于所述运动目标建立颜色概率分布图；

（5）初始化查找所述颜色概率分布图中的概率分布峰值的搜索窗口；

（6）计算所述搜索窗口的质心；

（7）根据所述窗口的零阶矩调整搜索窗口大小，自动调整所述运动目标区域的大小，直到收敛区，所述收敛区即是所述运动目标所在区域，移动窗口中心到所述质心位置重合；

（8）通过卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测，形成预测范围；

（9）在所述预测范围内进行质心匹配，跟踪运动目标。

2.根据权利要求1所述的多运动目标跟踪的方法，其特征在于：

其中，建立所述颜色概率分布图包括如下步骤：

（4.1）对于所述运动目标区域矩形框内的图像进行彩色空间转换，将RGB空间转换到HSV空间；

（4.2）统计所述运动目标区域的颜色直方图；

（4.3）对所述图像进行直方图投影操作，将所述图像转换成颜色概率分布图像，计算所述颜色概率分布。

3.根据权利要求1所述的多运动目标跟踪的方法，其特征在于：

其中，初始化所述搜索窗口包括以下步骤：

(5.1) 初始化所述搜索窗口的位置和大小；

(5.2) 设置所述搜索窗口的中心位置。 

4.根据权利要求1所述的多运动目标跟踪的方法，其特征在于:

其中，通过所述卡尔曼滤波器对下一帧图像中的搜索窗口位置进行预测包括如下步骤：

（8.1）参数初始化：所述参数初始化包括定义系统测量向量、转移矩阵和测量矩阵，以及噪声协方差矩阵；

（8.2）状态预测：在所述状态向量初始化以后，所述卡尔曼滤波器进行所述预测，得到预测值，并其根据所述预测值在的区域内进行匹配；

（8.3）状态校正：根据测量值对所述预测值进行校正，得到系统的最优值，更新滤波器的所述参数。

5.根据权利要求1所述的多运动目标跟踪的方法，所述在预测范围内进行质心匹配，其特征在于，包括：

利用所述卡尔曼滤波器对下一帧中的目标出现位置进行预测，确定新的搜索窗口的位置，在所述搜索窗口内进行质心匹配，跟踪所述运动目标。 

Images