CN106204484B - 一种基于光流和局部不变特征的交通目标跟踪方法 - Google Patents

Abstract

一种基于光流和局部不变特征的交通目标跟踪方法，首先对输入视频图像利用高斯背景建模构建初始模板，提取前景目标；接着利用SURF变换算法检测目标特征点；然后通过构建图像多分辨率小波金字塔改进LK稀疏光流法对特征点进行检测和跟踪目标，并制定自适应模板实时更新策略，判断是否最后一帧，若是最后一帧，结束跟踪；若不是最后一帧，则进行模板更新判断；若不需模板更新，则继续跟踪；若需要模板更新，则按照更新方法更新模板和跟踪窗口后，再继续跟踪；该方法匹配准确快速，降低冗余数据，自适应性强，对目标车辆形变、高速、噪声、光照不均、部分遮挡等复杂环境有较高鲁棒性，提高了车辆辨识能力，与传统方法相比有明显优势，在智能交通目标跟踪系统中有着良好的应用前景。

Description

一种基于光流和局部不变特征的交通目标跟踪方法

技术领域

本发明涉及图像处理、视频监控技术中的交通目标跟踪问题，尤其是涉及一种基于光流和局部不变特征的交通目标跟踪方法。

背景技术

目标检测和跟踪是当今计算机视觉领域的复杂、热点研究课题之一；随着经济发展，交通工具不断增加，交通事故频发；智能交通系统中运动目标检测跟踪技术结合图像处理、计算机和自动化控制技术，实时监控交通目标，提取目标位置、形态结构、运动参数等信息，对改善交通状况提供决策依据；近年来光流技术在模式识别、计算机视觉以及图像处理领域广泛受到关注；光流法基于图像连续序列，抽取光流场，由于目标和背景存在相对运动，运动速度矢量不同于相邻区域，根据像素点速度矢量特征，进行运动估计，进而检测目标及其位置区域；

Horn和Schunck两个人最早引入光流约束方程，提出二维速度场同灰度相联系，发展至今包括以基于梯度的方法、基于匹配的方法、基于能量的方法及基于相位的方法；基于匹配的方法对相邻帧字块匹配进行运动估计，特征提取和精确匹配较难；基于能量和相位的方法跟踪效果较好,但计算负荷大,实时性较差；基于梯度的方法研究最多，以图像灰度不变为条件导出光流约束方程；基于梯度的光流方法虽实现简单，但存在以下问题：1)基于光流灰度守恒的制约，不适用与光照变化的情况；2)光流法仅关注像素点，忽略运动目标和像素点的关联；3)对环境噪声敏感，跟踪快速移动物体易失败；4)受摄像机抖动等因素影响，形成的异常信号会导致产生不连续形变场；

针对以上问题，如何提取具有抗复杂环境的不变特征和选取有效的跟踪方法有待提高；本发明以城市道路交通复杂环境为背景，针对交通监控中存在的车辆跟踪不稳定现象，提出一种基于多分辨率小波金字塔改进LK稀疏光流的跟踪方法，同时联合SURF局部尺度不变特征变换算法检测目标特征点，提高了车辆辨识能力，在智能交通系统目标跟踪中有良好应用前景；

发明内容

为了解决现有光流目标跟踪方法存在的计算负荷大，实时性较差，不适用与光照变化环境，且跟踪快速移动的物体容易失败等问题，本发明提供一种基于光流和局部不变特征的交通目标跟踪方法，该方法匹配准确快速，降低冗余数据，自适应性强，对目标车辆形变、高速、噪声、光照不均、部分遮挡等复杂环境有较高鲁棒性，提高了车辆辨识能力，与传统方法相比有明显优势，在智能交通目标跟踪系统中有着良好的应用前景。

本发明解决其技术问题所采用的技术方案是：一种基于光流和局部不变特征的交通目标跟踪方法，首先利用高斯背景建模提取前景目标，接着利用SURF局部尺度不变特征变换算法检测前景目标特征点，然后通过构建图像多分辨率小波金字塔改进LK稀疏光流法对特征点进行检测和跟踪，并制定自适应模板实时更新策略，判断是否最后一帧，若是，结束跟踪；若不是，进行模板更新判断；若不需模板更新，继续跟踪；若需要模板更新，根据更新方法更新跟踪窗口，检测SURF特征点，更新特征点权值，删除低权值特征点，继续跟踪。

一种基于光流和局部不变特征的交通目标跟踪方法，其具体实施步骤如下：

(1)对输入视频图像采用在线自适应高斯混合模型得到前景目标，建立目标初始模板及跟踪窗口，利用SURF尺度不变特征变换算法检测目标局部特征点；

在线自适应高斯混合模型背景建模后，将当前帧和背景帧差分，提取前景车辆，并用滤波、形态学腐蚀开闭去掉噪声和道路信息，建立目标初始模板及跟踪窗口；常用的Harris、Susan、Moravec角点检测算子的描述信息比较单一，对尺度、光照、旋转、噪声、缩放等较为敏感，本发明使用的SURF算法对光照、噪声、尺度变化等情况有良好鲁棒性，其通过积分图像生成特征矢量，在多尺度空间同时被处理，无需二次抽样，避免特征矢量在生成时候的重复运算；

(2)提升小波构造多分辨率变换金字塔改进LK稀疏光流法，对SURF算法提取的目标局部特征点计算光流运动估计；包括如下步骤：

1)算法假设像素邻域空间内运动矢量相同,得到光流能量函数如式(1)所示；

式中

表示灰度在x，y方向，以及t时间的偏导数；u，v是该像素点光流x，y方向的速度分量；邻域内各像素点的权重用W(X)窗口加权函数表示，可以使得邻域区域同外围区域相比，对约束产生更大影响，Ω是光流一致的像素点t时刻的邻域范围；

2)设▽I(X)＝(I_x,I_y)^T，V＝(u,v)^T，用最小二乘法求解方程(2)，最小化能量函数E，从而求解光流，得式(3)：

A^TW²AV＝A^TW²B (2)

V＝(A^TW²A)^-1A^TW²B (3)

其中，各个参数的表示为：

W＝diag(W(X₁),W(X₂),W(X₃),…W(X_n)),B＝-(I_t(X₁)，I_t(X₂)，I_t(X₃)，…I_t(X_n))^T；

3)相邻帧图像通过提升小波在多尺度分解图像,按精度递减顺序构造不同分辨率的提升小波金字塔图像，从而提升像素最大移动距离；提升小波算法不依赖傅里叶变换；利用小波金字塔层与层间的位移传递计算，使得不同尺度上的位移量相比原始位移量缩小；包括如下步骤：

a.通过提升小波算法在多尺度分解图像,构造提升小波金字塔，令I^n-1(x,y)为第n-1层的金字塔图像，Iⁿ(x,y)为上层图像，n为金字塔总层数；令g_m为金字塔中第m+1层初始估计的光流矢量，Δf_m为光流计算矢量值，最上层光流初始值为g_n-1＝0；各层之间光流映射关系如式(4)所示，根据上层图像对下层金字塔图像进行光流计算如式(5)所示：

g_m-1＝k(g_m+Δf_m) (4)

b.选取3层金字塔，顶层光流量g₂＝0，根据式(3)可以求取Δf₂的光流计算矢量值，带入式(4)中，可以得到2层光流量g₁＝kΔf₂，依次迭代，进一步可以求得最底层的光流量g₀以及Δf₀的值，f＝g₀+Δf₀，因此初始图像的光流值为：

c.令光流在计算时每次处理的移动距离D_MAX为1像素，利用提升小波分辨率金字塔计算后可以将像素最大移动距离提升为(2^m+1-1)D_MAX，当m取3时，构造4层金字塔，带入D_MAX＝1，则最大位移量是15像素，因此，通过引入提升小波构造多分辨率变换金字塔，可以解决LK算法不能跟踪快速运动目标的问题；

(3)跟踪过程进行模板更新判断，根据模板更新方法自适应更新跟踪窗口：

在跟踪目标过程中，环境背景时常变化，如果初始模型不进行更新，遇到照度变化、目标形变、旋转、遮挡等情况时因模型偏差极大，影响跟踪效果；因此本发明通过制定模板更新方法以提高跟踪算法适用性；算法实时检测是否最后一帧，若是，结束跟踪；若不是，则按照如下步骤进行模板更新判断及实施具体跟踪策略；

1)在模板更新过程中，无需每帧都更新，否则会增加系统运行负担；将步骤(1)中建立的目标跟踪窗口内的SURF特征点分配权值W_j，接近目标的权值较大，接近背景的小；

2)当特征点估计位置超出跟踪窗口一定比例时，更新模板；令窗口内外特征点分别为：N_内，N_外，若N_外与N_内加N_外的比值大于阈值K时，说明外点的影响大，则更新模板，K取0.25，否则继续跟踪；

3)更新模板时，更新跟踪窗口，令跟踪窗口包含所有光流估计特征点，将检测到的SURF特征点和前一帧的跟踪模板进行特征匹配，匹配后按照下式更新所有特征点权值：

W′_j(t)＝C(α(W_j(t)+1/M)+(1-α)W_j(t-1)) (7)

其中W′_j(t)为t时刻更新后的权值，M为特征点总个数，C为归一化系数，α是为了使特征模板在更新时，降低对背景环境的变化的敏感程度引入的折中系数，α取0.7；

4)更新结束后，删除掉权值低的特征点，提高特征点纯度，完成模板更新，对抗复杂环境有较好鲁棒性。

本发明有益效果：一种基于光流和局部不变特征的交通目标跟踪方法，该方法匹配准确快速，降低冗余数据，自适应性强，对目标车辆形变、高速、噪声、光照不均、部分遮挡等复杂环境有较高鲁棒性，提高了车辆辨识能力，与传统方法相比有明显优势，在智能交通目标跟踪系统中有着良好的应用前景。

附图说明

图1为本发明基于光流和局部不变特征的交通目标跟踪方法流程图。

具体实施方式

一种基于光流和局部不变特征的交通目标跟踪方法，首先利用高斯背景建模提取前景目标，接着利用SURF局部尺度不变特征变换算法检测前景目标特征点，然后通过构建图像多分辨率小波金字塔改进LK稀疏光流法对特征点进行检测和跟踪，并制定自适应模板实时更新策略，判断是否最后一帧，若是，结束跟踪；若不是，进行模板更新判断；若不需模板更新，继续跟踪；若需要模板更新，根据模板更新方法更新跟踪窗口，检测SURF特征点，更新特征点权值，删除低权值特征点，继续跟踪。

一种基于光流和局部不变特征的交通目标跟踪方法，其具体实施步骤如下：

(1)对输入视频图像采用在线自适应高斯混合模型得到前景目标，建立目标初始模板及跟踪窗口，利用SURF尺度不变特征变换算法检测目标局部特征点；

在线自适应高斯混合模型背景建模后，将当前帧和背景帧差分，提取前景车辆，并用滤波、形态学腐蚀开闭去掉噪声和道路信息，建立目标初始模板及跟踪窗口；常用的Harris、Susan、Moravec角点检测算子的描述信息比较单一，对尺度、光照、旋转、噪声、缩放等较为敏感，本发明使用的SURF算法对光照、噪声、尺度变化等情况有良好鲁棒性，其通过积分图像生成特征矢量，在多尺度空间同时被处理，无需二次抽样，避免特征矢量在生成时候的重复运算；

(2)提升小波构造多分辨率变换金字塔改进LK稀疏光流法，对SURF算法提取的目标局部特征点计算光流运动估计；包括如下步骤：

1)算法假设像素邻域空间内运动矢量相同,得到光流能量函数如式(1)所示；

式中

表示灰度在x，y方向，以及t时间的偏导数；u，v是该像素点光流x，y方向的速度分量；邻域内各像素点的权重用W(X)窗口加权函数表示，可以使得邻域区域同外围区域相比，对约束产生更大影响，Ω是光流一致的像素点t时刻的邻域范围；

2)设

V＝(u,v)^T，用最小二乘法求解方程(2)，最小化能量函数E，从而求解光流，得式(3)：

A^TW²AV＝A^TW²B (2)

V＝(A^TW²A)^-1A^TW²B (3)

其中，各个参数的表示为：

W＝diag(W(X₁),W(X₂),W(X₃),…W(X_n)),B＝-(I_t(X₁)，I_t(X₂)，I_t(X₃)，…I_t(X_n))^T；

3)相邻帧图像通过提升小波在多尺度分解图像,按精度递减顺序构造不同分辨率的提升小波金字塔图像，从而提升像素最大移动距离；提升小波算法不依赖傅里叶变换；利用小波金字塔层与层间的位移传递计算，使得不同尺度上的位移量相比原始位移量缩小；包括如下步骤：

a.通过提升小波算法在多尺度分解图像,构造提升小波金字塔，令I^n-1(x,y)为第n-1层的金字塔图像，Iⁿ(x,y)为上层图像，n为金字塔总层数；令g_m为金字塔中第m+1层初始估计的光流矢量，Δf_m为光流计算矢量值，最上层光流初始值为g_n-1＝0；各层之间光流映射关系如式(4)所示，根据上层图像对下层金字塔图像进行光流计算如式(5)所示：

g_m-1＝k(g_m+Δf_m) (4)

b.选取3层金字塔，顶层光流量g₂＝0，根据式(3)可以求取Δf₂的光流计算矢量值，带入式(4)中，可以得到2层光流量g₁＝kΔf₂，依次迭代，进一步可以求得最底层的光流量g₀以及Δf₀的值，f＝g₀+Δf₀，因此初始图像的光流值为：

c.令光流在计算时每次处理的移动距离D_MAX为1像素，利用提升小波分辨率金字塔计算后可以将像素最大移动距离提升为(2^m+1-1)D_MAX，当m取3时，构造4层金字塔，带入D_MAX＝1，则最大位移量是15像素，因此，通过引入提升小波构造多分辨率变换金字塔，可以解决LK算法不能跟踪快速运动目标的问题；

(3)跟踪过程进行模板更新判断，根据模板更新方法自适应更新跟踪窗口：

在跟踪目标过程中，环境背景时常变化，如果初始模型不进行更新，遇到照度变化、目标形变、旋转、遮挡等情况时因模型偏差极大，影响跟踪效果；因此本发明通过制定模板更新方法以提高跟踪算法适用性；算法实时检测是否最后一帧，若是，结束跟踪；若不是，则按照如下步骤进行模板更新判断及实施具体跟踪策略；

1)在模板更新过程中，无需每帧都更新，否则会增加系统运行负担；将步骤(1)中建立的目标跟踪窗口内的SURF特征点分配权值W_j，接近目标的权值较大，接近背景的小；

2)当特征点估计位置超出跟踪窗口一定比例时，更新模板；令窗口内外特征点分别为：N_内，N_外，若N_外与N_内加N_外的比值大于阈值K时，说明外点的影响大，则更新模板，K取0.25，否则继续跟踪；

3)更新模板时，更新跟踪窗口，令跟踪窗口包含所有光流估计特征点，将检测到的SURF特征点和前一帧的跟踪模板进行特征匹配，匹配后按照下式更新所有特征点权值：

W′_j(t)＝C(α(W_j(t)+1/M)+(1-α)W_j(t-1)) (7)

其中W′_j(t)为t时刻更新后的权值，M为特征点总个数，C为归一化系数，α是为了使特征模板在更新时，降低对背景环境的变化的敏感程度引入的折中系数，α取0.7；

4)更新结束后，删除掉权值低的特征点，提高特征点纯度，完成模板更新，对抗复杂环境有较好鲁棒性。

案列分析：

表1为对采集的高噪、雾霾、部分遮挡、照度不均等复杂环境的6组交通视频，每组分成100段，通过全局SURF逐帧跟踪、传统LK算法及本发明LK联合SURF局部跟踪方法进行跟踪的平均耗时及跟踪准确率比较；SURF全局跟踪方法需逐帧跟踪，对每一帧提取SURF特征，并通过匹配帧间特征点偏移向量跟踪目标，耗时大；传统KL稀疏光流算法跟踪前景目标有较高的实时性，但对快速运动、低分辨率、照度变化等情况鲁棒性低；由表看出，本发明实时性和传统KL相差不多，但准确率得到很大程度的提高，抗复杂环境能力较强。

表1跟踪耗时及准确率比较

Claims (1)

1.一种基于光流和局部不变特征的交通目标跟踪方法，其方法特征在于：

(1)对输入视频图像采用在线自适应高斯混合模型得到前景目标，建立目标初始模板及跟踪窗口，利用SURF尺度不变特征变换算法检测目标局部特征点；

具体方法为：在线自适应高斯混合模型背景建模后，将当前帧和背景帧差分，提取前景车辆，并用滤波、形态学腐蚀开闭去掉噪声和道路信息，建立目标初始模板及跟踪窗口；

(2)提升小波构造多分辨率变换金字塔改进LK稀疏光流法，对SURF算法提取的目标局部特征点计算光流运动估计；包括如下步骤：

1)算法假设像素邻域空间内运动矢量相同,得到光流能量函数如式(1)所示；

式中

表示灰度在x，y方向，以及t时间的偏导数；u，v是该像素点光流x，y方向的速度分量；邻域内各像素点的权重用W(X)窗口加权函数表示，使得邻域区域同外围区域相比，对约束产生更大影响，Ω是光流一致的像素点t时刻的邻域范围；

2)设▽I(X)＝(I_x,I_y)^T，V＝(u,v)^T，用最小二乘法求解方程(2)，最小化能量函数E，从而求解光流，得式(3)：

A^TW²AV＝A^TW²B (2)

V＝(A^TW²A)^-1A^TW²B (3)

其中，各个参数的表示为：A＝(▽I(X₁)，▽I(X₂)，▽I(X₃)，…▽I(X_n))^T，W＝diag(W(X₁),W(X₂),W(X₃),…W(X_n)),B＝-(I_t(X₁)，I_t(X₂)，I_t(X₃)，…I_t(X_n))^T；

3)相邻帧图像通过提升小波在多尺度分解图像,按精度递减顺序构造不同分辨率的提升小波金字塔图像，从而提升像素最大移动距离；提升小波算法不依赖傅里叶变换；利用小波金字塔层与层间的位移传递计算，使得不同尺度上的位移量相比原始位移量缩小；包括如下步骤：

a.通过提升小波算法在多尺度分解图像,构造提升小波金字塔，令I^n-1(x,y)为第n-1层的金字塔图像，Iⁿ(x,y)为上层图像，n为金字塔总层数；令g_m为金字塔中第m+1层初始估计的光流矢量，Δf_m为光流计算矢量值，最上层光流初始值为g_n-1＝0；各层之间光流映射关系如式(4)所示，根据上层图像对下层金字塔图像进行光流计算如式(5)所示：

g_m-1＝k(g_m+Δf_m) (4)

b.选取3层金字塔，顶层光流量g₂＝0，根据式(3)求取Δf₂的光流计算矢量值，带入式(4)中，得到2层光流量g₁＝kΔf₂，依次迭代，进一步求得最底层的光流量g₀以及Δf₀的值，f＝g₀+Δf₀，因此初始图像的光流值为：

c.令光流在计算时每次处理的移动距离D_MAX为1像素，利用提升小波分辨率金字塔计算后将像素最大移动距离提升为(2^m+1-1)D_MAX，当m取3时，构造4层金字塔，带入D_MAX＝1，则最大位移量是15像素；

(3)跟踪过程进行模板更新判断，根据模板更新方法自适应更新跟踪窗口：

算法实时检测是否最后一帧，若是，结束跟踪；若不是，则按照如下步骤进行模板更新判断及实施具体跟踪策略；

1)在模板更新过程中，无需每帧都更新，否则会增加系统运行负担；将步骤(1)中建立的目标跟踪窗口内的SURF特征点分配权值W_j，接近目标的权值较大，接近背景的小；

2)当特征点估计位置超出跟踪窗口一定比例时，更新模板；令窗口内外特征点分别为：N_内，N_外，若N_外与N_内加N_外的比值大于阈值K时，说明外点的影响大，则更新模板，K取0.25，否则继续跟踪；

3)更新模板时，更新跟踪窗口，令跟踪窗口包含所有光流估计特征点，将检测到的SURF特征点和前一帧的跟踪模板进行特征匹配，匹配后按照下式更新所有特征点权值：

W′_j(t)＝C(α(W_j(t)+1/M)+(1-α)W_j(t-1)) (7)

其中W′_j(t)为t时刻更新后的权值，M为特征点总个数，C为归一化系数，α是为了使特征模板在更新时，降低对背景环境的变化的敏感程度引入的折中系数，α取0.7；

4)更新结束后，删除掉权值低的特征点，提高特征点纯度，完成模板更新。

Images