CN104658006A - 基于变分光流实现车辆跟踪的方法 - Google Patents

Abstract

本发明涉及一种基于变分光流实现车辆跟踪的方法，其中包括从视频电子警察中获取车辆影像并确定目标跟踪区域，即从视频电子警察中获取拍摄的图片并检测到车辆位置后采用图片中能覆盖车尾的图像区域作为目标跟踪区域；在所述的目标跟踪区域中提取特征点；采用变分光流方程计算各个特征点的运动矢量；根据所述的各个特征点的运动矢量确定车辆的位移。采用该种基于变分光流实现车辆跟踪的方法，可应用于对算法实时性要求较高的电子警察产品或电子卡口产品中，可以实现准确、实时地跟踪多个车辆，并添加抗光照因子弥补光流场在光照突变条件下鲁棒性不高的不足，抗光照干扰，避免环境光巨变引起的跟丢情况，方法应用简便，具有更广泛的应用范围。

Description

基于变分光流实现车辆跟踪的方法

技术领域

本发明涉及信息处理技术领域，尤其涉及智能交通中车辆跟踪的技术领域，具体是指一种基于变分光流实现车辆跟踪的方法。

背景技术

智能交通视频监控算法主要包含车辆检测、车辆跟踪和车辆行为分析三个步骤。车辆检测实现初始交通场景中车辆目标的提取；车辆跟踪对提取的车辆目标进行实时的运动描述，并生成各自的运动轨迹；行为分析基于产生的运动轨迹的规律来判断车辆是否发生违章行为或处于异常状态。

车辆跟踪技术具有重要的应用价值和发展前景，近年来发展迅速。车辆跟踪试图在各帧图像之间确定目标相关信息参数的相互关系，通过前、后帧之间的对应匹配来获取目标的轨迹信息。常见跟踪算法可归为以下四类。

（1）点跟踪法：包括单点跟踪和多点跟踪，主要利用目标历史位置、速度等信息实现邻帧之间的目标关联，如kalman滤波法，光流法，SIFT匹配法。

（2）核跟踪法：核跟踪法通过对车辆外观模型在连续帧之间进行匹配来计算目标的运动，包括基于模版的方法、基于概率模型的方法和多视觉模型的方法。这类算法涉及的三个基本要素是目标外观模型、搜索策略和相似性度量。常采用的搜索策略有穷举法、目标函数优化法和统计性方法等；而相似性度量标准一般采用平方差和（Sum of Squared Difference，SSD）、互相关系数、正则化相关系数等。基于模版的方法实质上就是进行模版匹配。基于概率模型的方法将目标区域的特征用概率分布模型表示，通过模型匹配实施跟踪，如基于颜色直方图的目标跟踪、基于LBP纹理特征的目标跟踪、基于GM(1,1)模型的跟踪、基于马尔可夫随机场模型的跟踪、基于均值漂移的跟踪、基于质心迭代的跟踪、基于粒子滤波器的跟踪和基于多特征自适应融合的目标跟踪。其中基于多特征自适应融合的目标跟踪常采用的特征包括点、线、角点、颜色等。基于多视觉模型的方法能够适应目标姿态变化引起的外观变化，常见的有基于主成份分析（PCA）和基于分类器的方法，如Adaboost分类器。

（3）结构模型跟踪法：根据先验知识建立目标的几何模型，跟踪时先根据上一帧结果预测当前帧目标姿态，将处于预测姿态的目标模型投影到图像平面，计算匹配误差；然后通过优化预测姿态、最小化目标函数获得当前跟踪结果。常用的结构模型为3D线框模型。

（4）剪影跟踪法：首要任务是获取目标的轮廓，精确得到目标占据的区域；如基于主动轮廓模型的跟踪法。

此外，车辆跟踪算法根据算法驱动方式不同，还可分为自下而上的数据驱动方法，典型代表为Mean Shift算法，和自上而下的模型驱动方法，典型代表为粒子滤波算法。

上述的车辆跟踪算法存在以下缺点：

（1）目标的模型建立、轮廓获取难度大，且目标函数定义或优化较复杂；

（2）搜索策略计算量较大，很难达到实时跟踪要求

（3）目标特征不能及时得到更新，姿态变化易导致跟丢；

（4）跟踪过程与检测结果相对独立，无交互；

（5）对光线变化、相邻目标遮挡等因素敏感；

（6）对由于遮挡、错误消去等原因造成的短暂丢失的目标无法继续跟踪。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现准确实时跟踪多个车辆、添加抗光照因子弥补光流场在光照突变条件下鲁棒性不高的不足、适用于对算法实时性要求较高的电子警察产品或电子卡口产品中、具有更广泛应用范围的基于变分光流实现车辆跟踪的方法。

为了实现上述目的，本发明的基于变分光流实现车辆跟踪的方法具有如下构成：

该基于变分光流实现车辆跟踪的方法，其主要特点是，所述的方法包括以下步骤：

（1）从视频电子警察中获取车辆影像并确定目标跟踪区域；

（2）在所述的目标跟踪区域中提取特征点；

（3）采用变分光流方程计算各个特征点的运动矢量；

（4）根据所述的各个特征点的运动矢量确定车辆的位移。

较佳地，所述的从视频电子警察中获取车辆影像并确定目标跟踪区域，包括以下步骤：

（11）从视频电子警察中获取拍摄的图片并检测到车辆位置；

（12）采用图片中能覆盖车尾的图像区域作为目标跟踪区域。

较佳地，所述的在所述的目标跟踪区域中提取特征点，具体为：

在所述的目标跟踪区域中采用Harris角点检测算法提取特征点。

更佳地，所述的在所述的目标跟踪区域中采用Harris角点检测算法提取特征点，包括以下步骤：

（21）对所述的目标跟踪区域中的各个像素点按照以下公式计算相关矩阵：

$A=w(x,y)\⊗I_x^2;$

$B=w(x,y)\⊗I_y^2;$

$C=D=w(x,y)\⊗\left(I_x{I}_y\right);$

其中，A、B、C、D为各个像素点的相关矩阵，w(x,y)为各个像素点对应的高斯系数，I_x、I_y为各个像素点对应的偏导；

（22）按照如下公式计算各个像素点的Harris角点的角点响应函数R：

R＝(AB-CD)²-k(A+B)²；

其中，k取（0.04～0.06）；

（23）在所述的目标跟踪区域内提取各个像素点的角点响应函数R的极大值，将极大值大于系统预设阈值的像素点确定为特征点。

较佳地，所述的采用变分光流方程计算各个特征点的运动矢量，包括以下步骤：

（31）对各个特征点计算数据项和平滑项，并按照如下公式建立基于变光分流算法的能量泛函方程：

E(u,v)＝E_data(u,v)+αE_smooth(u,v)；

其中，E_data(u,v)为数据项，数据项为各个特征点的灰度值守恒约束，E_smooth(u,v)为平滑项，平滑项为各个特征点的光流平滑约束，u和v分别为各个特征点在x、y方向上的速度分量，α为影响数据项与平滑项所占比重的权值。

（32）对所述的能量泛函方程进行求解得到各个特征点的运动矢量（u,v）。

更佳地，所述的对各个特征点计算数据项和平滑项，包括以下步骤：

（311）按照如下公式计算各个特征点的数据项E_data(u,v)：

$E_{\mathrm{data}}(u,v)=\underset{\mathrm{\Ω}}{\∫}{|u\frac{\∂I}{\∂x}+v\frac{\∂I}{\∂y}+\frac{\∂I}{\∂t}|}^2\mathrm{dX};$

（312）按照如下公式计算各个特征点的平滑项E_smooth(u,v)：

$E_{\mathrm{smooth}}(u,v)=\underset{\mathrm{\Ω}}{\∫}({\left(\frac{\∂u}{\∂x}\right)}^2+{\left(\frac{\∂u}{\∂y}\right)}^2+{\left(\frac{\∂v}{\∂x}\right)}^2+{\left(\frac{\∂v}{\∂y}\right)}^2)\mathrm{dX}.$

更进一步地，所述的对所述的能量泛函方程进行求解得到各个特征点的运动矢量，包括以下步骤：

（321）初始化各个特征点的运动矢量的u和v，使得（u₀,v₀）=（0,0）；

（322）按照如下公式建立稳态方程并求出u和v的变化值Δu和Δv：

$\left\{\begin{array}{c}0=\mathrm{\Δu}-\frac{1}{\mathrm{\α}}{I}_x(I_{x}u+I_{y}v+I_t)\\ 0=\mathrm{\Δv}-\frac{1}{\mathrm{\α}}{I}_y(I_{x}u+I_{y}v+I_t)\end{array}\right.;$

其中，I_x为点(x+u_i,y+v_i)周围四邻域的图像x偏导的平均值，I_y为点(x+u_i,y+v_i)周围四邻域的图像y偏导的平均值，I_t为点(x+u_i,y+v_i)周围四邻域的此帧与下一帧灰度值的差值；

（323）按照如下公式确定各个特征点下一次迭代的运动矢量值：

u_i+1＝u_i+Δu

v_i+1＝v_i+Δv；

（324）判断u和v的变化值Δu和Δv是否趋向于0，如果是，则继续步骤（325），否则继续步骤（322）；

（325）将当前u_i+1和v_i+1的值确定为对应特征点的运动矢量。

更佳地，所述的根据所述的各个特征点的运动矢量确定车辆的位移，包括以下步骤：

（41）根据所述的各个特征点的运动矢量计算（u,v）的平均值

（42）对运动矢量（u_i,v_i）在范围内的光流计算平均值并将该平均值确定为车辆的位移。

采用了该发明中的基于变分光流实现车辆跟踪的方法，可应用于对算法实时性要求较高的电子警察产品或电子卡口产品中，可以实现准确、实时跟踪多个车辆，并添加抗光照因子弥补光流场在光照突变条件下鲁棒性不高的不足，抗光照干扰，避免环境光巨变引起的跟丢情况，具有更广泛的应用范围。

附图说明

图1为本发明的基于变分光流实现车辆跟踪的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，本发明的基于变分光流实现车辆跟踪的方法包括以下步骤：

（1）从视频电子警察中获取车辆影像并确定目标跟踪区域，该目标跟踪区域即为针对检测出的车辆位置设置的跟踪框；

具体包括以下两个子步骤：

（11）从视频电子警察中获取拍摄的图片并检测到车辆位置；

（12）采用图片中能覆盖车尾的图像区域作为目标跟踪区域，此区域的面积略大于车尾的面积。

（2）在目标跟踪区域中采用Harris角点检测算法提取特征点；

具体包括以下三个子步骤：

（21）对目标跟踪区域中的各个像素点按照以下公式计算相关矩阵：

$A=w(x,y)\⊗I_x^2;$

$B=w(x,y)\⊗I_y^2;$

$C=D=w(x,y)\⊗\left(I_x{I}_y\right);$

其中，A、B、C、D为各个像素点的相关矩阵，w(x,y)为各个像素点对应的高斯系数，I_x、I_y为各个像素点对应的偏导；

在对每个像素点求相关矩阵时，可选择以该像素为中心n×n大小的掩膜，其中I_x、I_y为掩膜对应像素点的偏导，w(x,y)为掩膜上各个像素点对应的高斯系数。

（22）按照如下公式计算各个像素点的Harris角点的角点响应函数R：

R＝(AB-CD)²-k(A+B)²；

其中，k取（0.04～0.06）；

（23）在目标跟踪区域内提取各个像素点的角点响应函数R的极大值，将极大值大于系统预设阈值的像素点确定为特征点即为角点。

（3）采用变分光流方程计算各个特征点的运动矢量；

具体包括以下两个子步骤：

（31）对各个特征点计算数据项和平滑项，并按照如下公式建立基于变光分流算法的能量泛函方程：

E(u,v)＝E_data(u,v)+αE_smooth(u,v)；

其中，E_data(u,v)为数据项，数据项为各个特征点的灰度值守恒约束，E_smooth(u,v)为平滑项，平滑项为各个特征点的光流平滑约束，u和v分别为各个特征点在x、y方向上的速度分量，α为影响数据项与平滑项所占比重的权值。

其中，选用Horn方法，按照如下公式计算各个特征点的数据项E_data(u,v)：

$E_{\mathrm{data}}(u,v)=\underset{\mathrm{\Ω}}{\∫}{|u\frac{\∂I}{\∂x}+v\frac{\∂I}{\∂y}+\frac{\∂I}{\∂t}|}^2\mathrm{dX};$

按照如下公式计算各个特征点的平滑项E_smooth(u,v)：

$E_{\mathrm{smooth}}(u,v)=\underset{\mathrm{\Ω}}{\∫}({\left(\frac{\∂u}{\∂x}\right)}^2+{\left(\frac{\∂u}{\∂y}\right)}^2+{\left(\frac{\∂u}{\∂x}\right)}^2+{\left(\frac{\∂v}{\∂y}\right)}^2)\mathrm{dX}.$

（32）对能量泛函方程进行求解得到各个特征点的运动矢量（u,v）。

对Horn变分方法中的能量泛函使用最速下降法得：

$\left\{\begin{array}{c}\frac{\∂u}{\∂\mathrm{\τ}}=\mathrm{\Δu}-\frac{1}{\mathrm{\α}}{I}_x(I_{x}u+I_{y}v+I_t)\\ \frac{\∂v}{\∂\mathrm{\τ}}=\mathrm{\Δv}-\frac{1}{\mathrm{\α}}{I}_y(I_{x}u+I_{y}v+I_t)\end{array}\right.;$

上式对于时间演化参数τ的达到稳态的解就是求出Harris角点的光流，因此求每个点稳态时的解的实现步骤如下：

（321）初始化各个特征点的运动矢量的u和v，使得（u₀,v₀）=（0,0）；

（322）按照如下公式建立稳态方程并求出u和v的变化值Δu和Δv：

$\left\{\begin{array}{c}0=\mathrm{\Δu}-\frac{1}{\mathrm{\α}}{I}_x(I_{x}u+I_{y}v+I_t)\\ 0=\mathrm{\Δv}-\frac{1}{\mathrm{\α}}{I}_y(I_{x}u+I_{y}v+I_t)\end{array}\right.;$

其中，I_x为点(x+u_i,y+v_i)(其中i依次为0,1,2....）周围四邻域的图像x偏导的平均值，I_y(其中i依次为0,1,2....）为点(x+u_i,y+v_i)周围四邻域的图像y偏导的平均值，I_t为点(x+u_i,y+v_i)(其中i依次为0,1,2....）周围四邻域的此帧与下一帧灰度值的差值；

（323）按照如下公式确定各个特征点下一次迭代的运动矢量值：

u_i+1＝u_i+Δu

v_i+1＝v_i+Δv；

（324）判断u和v的变化值Δu和Δv是否趋向于0，如果是，则继续步骤（325），否则继续步骤（322）；

（325）将当前u_i+1和v_i+1的值确定为对应特征点的运动矢量。

（4）根据各个特征点的运动矢量确定车辆的位移。

该步骤包括以下两个子步骤：

（41）根据各个特征点的运动矢量（u_i,v_i）（i=0,1……M），计算所有特征点的光流平均值

（42）将M个光流（u_i,v_i）（i=0,1……M）在范围内的光流计算平均值并将该平均值确定为车辆的位移。

采用了该发明中的基于变分光流实现车辆跟踪的方法，可应用于对算法实时性要求较高的电子警察产品或电子卡口产品中，可以实现准确、实时跟踪多个车辆，并添加抗光照因子弥补光流场在光照突变条件下鲁棒性不高的不足，抗光照干扰，避免环境光巨变引起的跟丢情况，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种基于变分光流实现车辆跟踪的方法，其特征在于，所述的方法包括以下步骤：

（1）从视频电子警察中获取车辆影像并确定目标跟踪区域；

（2）在所述的目标跟踪区域中提取特征点；

（3）采用变分光流方程计算各个特征点的运动矢量；

（4）根据所述的各个特征点的运动矢量确定车辆的位移。

2.根据权利要求1所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的从视频电子警察中获取车辆影像并确定目标跟踪区域，包括以下步骤：

（11）从视频电子警察中获取拍摄的图片并检测到车辆位置；

（12）采用图片中能覆盖车尾的图像区域作为目标跟踪区域。

3.根据权利要求1所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的在所述的目标跟踪区域中提取特征点，具体为：

在所述的目标跟踪区域中采用Harris角点检测算法提取特征点。

4.根据权利要求3所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的在所述的目标跟踪区域中采用Harris角点检测算法提取特征点，包括以下步骤：

（21）对所述的目标跟踪区域中的各个像素点按照以下公式计算相关矩阵：

$A=w(x,y)\⊗I_x^2;$

$B=w(x,y)\⊗I_y^2;$

$C=D=w(x,y)\⊗\left(I_x{I}_y\right);$

其中，A、B、C、D为各个像素点的相关矩阵，w(x,y)为各个像素点对应的高斯系数，I_x、I_y为各个像素点对应的偏导；

（22）按照如下公式计算各个像素点的Harris角点的角点响应函数R：

R＝(AB-CD)²-k(A+B)²；

其中，k取（0.04～0.06）；

（23）在所述的目标跟踪区域内提取各个像素点的角点响应函数R的极大值，将极大值大于系统预设阈值的像素点确定为特征点。

5.根据权利要求1所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的采用变分光流方程计算各个特征点的运动矢量，包括以下步骤：

（31）对各个特征点计算数据项和平滑项，并按照如下公式建立基于变光分流算法的能量泛函方程：

E(u,v)＝E_data(u,v)+αE_smooth(u,v)；

其中，E_data(u,v)为数据项，数据项为各个特征点的灰度值守恒约束，E_smooth(u,v)为平滑项，平滑项为各个特征点的光流平滑约束，u和v分别为各个特征点在x、y方向上的速度分量，α为影响数据项与平滑项所占比重的权值。

（32）对所述的能量泛函方程进行求解得到各个特征点的运动矢量（u,v）。

6.根据权利要求5所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的对各个特征点计算数据项和平滑项，包括以下步骤：

（311）按照如下公式计算各个特征点的数据项E_data(u,v)：

$E_{\mathrm{data}}(u,v)=\underset{\mathrm{\Ω}}{\∫}{|u\frac{\∂I}{\∂x}+v\frac{\∂I}{\∂y}+\frac{\∂I}{\∂t}|}^2\mathrm{dX};$

（312）按照如下公式计算各个特征点的平滑项E_smooth(u,v)：

$E_{\mathrm{smooth}}(u,v)=\underset{\mathrm{\Ω}}{\∫}({\left(\frac{\∂u}{\∂x}\right)}^2+{\left(\frac{\∂u}{\∂y}\right)}^2+{\left(\frac{\∂v}{\∂x}\right)}^2+{\left(\frac{\∂v}{\∂y}\right)}^2)\mathrm{dX}.$

7.根据权利要求6所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的对所述的能量泛函方程进行求解得到各个特征点的运动矢量，包括以下步骤：

（321）初始化各个特征点的运动矢量的u和v，使得（u₀,v₀）=（0,0）；

（322）按照如下公式建立稳态方程并求出u和v的变化值Δu和Δv：

$\left\{\begin{array}{c}0=\mathrm{\Δu}-\frac{1}{\mathrm{\α}}{I}_x(I_{x}u+I_{y}v+I_t)\\ 0=\mathrm{\Δv}-\frac{1}{\mathrm{\α}}{I}_y(I_{x}u+I_{y}v+I_t)\end{array}\right.;$

其中，I_x为点(x+u_i,y+v_i)周围四邻域的图像x偏导的平均值，I_y为点(x+u_i,y+v_i)周围四邻域的图像y偏导的平均值，I_t为点(x+u_i,y+v_i)周围四邻域的此帧与下一帧灰度值的差值；

（323）按照如下公式确定各个特征点下一次迭代的运动矢量值：

u_i+1＝u_i+Δu

v_i+1＝v_i+Δv；

（324）判断u和v的变化值Δu和Δv是否趋向于0，如果是，则继续步骤（325），否则继续步骤（322）；

（325）将当前u_i+1和v_i+1的值确定为对应特征点的运动矢量。

8.根据权利要求5所述的基于变分光流实现车辆跟踪的方法，其特征在于，所述的根据所述的各个特征点的运动矢量确定车辆的位移，包括以下步骤：

（41）根据所述的各个特征点的运动矢量计算（u,v）的平均值

（42）对运动矢量（u_i,v_i）在范围内的光流计算平均值并将该平均值确定为车辆的位移。