CN103985257A - 一种智能交通视频分析方法 - Google Patents

Abstract

本发明提出了一种智能交通视频分析方法，当发现目标车辆时，利用图像处理、模式匹配的方法获得视频序列中与设定目标图像最相似的部分对目标车辆进行视觉跟踪以判断其行驶方向，从而减小对海量视频的搜索范围。运用动态图像分割技术将运动车辆与背景分割出来。根据目标车辆信息，采用图像检索技术搜寻其活动范围内的监控视频数据库，对目标车辆进行排查定位。智能交通视频分析系统可依据功能需求，根据各路口的监控视频对目标进行自动、准确地检索和跟踪，从海量的监控视频数据中提取、过滤和浓缩重要信息，从而对异常行为进行检测、预警和排查，大大节省办案人员查阅海量视频、挖掘线索的时间和人力。

Description

一种智能交通视频分析方法

技术领域

本发明涉及视频识别领域，具体涉及一种智能交通视频分析方法。

背景技术

随着我国经济建设的发展，城市的人口和机动车的保有量也在急剧增长，交通流量日益加大，交通拥挤堵塞现象日益严重，交通事故时有发生。交通问题已成为城市管理工作中的重大社会问题，阻碍和制约着城市经济建设发展。深入研究解决城市交通问题有着极为重要的现实意义。要解决城市交通问题，就必须准确掌握交通信息。目前国内常见的交通流检测方法有人工监测、地埋感应线圈、超声波探测器、视频监测4类。其中，视频监测方法比其他方法更具优越性。

通过对道路交通状况信息与交通目标的各种行为（如违章超速，停车，超车等等）的实时检测，实现自动统计交通路段上行驶的机动车的数量、计算行驶车辆的速度以及识别划分行驶车辆的类别等各种有关交通参数，达到监测道路交通状况信息的作用。同时，将检测和识别到的交通信息存储起来，为分析和交通管理提供依据，因此它也是一个交通信息的管理系统。

视频交通流量检测及车辆识别系统是一个集图象处理系统和信息管理系统为一体的综合系统。计算机图象处理主要由图象输入，图象存储和刷新显示，图象输出和计算机接口等几大部分组成，而在交通视频分析中却多为人工处理和理解图象,因此实时性、灵活性、精确性相对较低，远不能满足当今日益加快的城市生活节奏。

再后来，出现了智能交通视频分析系统可依据功能需求，根据各路口的监控视频对目标进行自动、准确地检索和跟踪，从海量的监控视频数据中提取、过滤和浓缩重要信息，从而对异常行为进行检测、预警和排查，大大节省办案人员查阅海量视频、挖掘线索的时间和人力。

系统中所涉及到的分析方法主要包括视觉跟踪技术、动态图像分割技术和图像检索技术。视觉跟踪技术作为对搜索范围的精确筛选，在整个技术中显得尤为重要。

目前现有的视觉跟踪技术为两种：

一、Mean Shift算法

Mean Shift算法是一种基于核密度估计的无参快速模式匹配算法，它用密度梯度爬升来找到概率分布的峰值。算法通过人机交互的方式对被跟踪目标进行初始化。在起始帧，通过鼠标确定一个包含所有目标特征的矩形或者椭圆，称为被跟踪目标的目标区域，这个目标区域也是核函数作用的区域，区域的大小等于核函数的带宽。在初始帧图像中目标区域内所有的像素点，计算特征空间中每个特征值的概率，我们称为目标模型的描述。一般核函数选择Epanechnikov 函数。利用相似性函数度量初始帧目标模型和当前帧候选模型的相似性，通过求相似性函数最大得到关于目标的Mean Shift 矢量，这个矢量即是目标从初始位置向正确位置转移的矢量，由于Mean Shift算法的收敛性，不断迭代计算Mean Shift 向量，在当前帧中，最终目标会收敛到目标的真实位置，从而达到跟踪的目的。

二、粒子滤波算法

粒子滤波算法在视觉跟踪中能够广泛应用，主要是因为该算法能够有效的表达跟踪的不确定性。粒子滤波算法最终求出的是一种后验概率的表示形式，由若干粒子的加权来估计目标的状态，每个粒子表示目标状态空间中的一种可能状态，假设所要求解的目标状态包括水平和垂直方向的位移、水平和垂直方向的变化尺度四个参数。同时假设每个参数最多均有 20 个解，那么每个粒子就是这个204 次状态空间中的一个解，且每个粒子均具有上述四个参数，目标的实际运动情况也是这个状态空间中的一个解。粒子的权值用其与目标模板的匹配程度表示，匹配程度越好，权值就越大，粒子就越接近真实的目标状态，相反，权值较小的粒子就离真实的目标状态比较远，可能会被剔除。通过对所有粒子的加权即可获得目标运动状态的估计值。

Mean Shift 算法和粒子滤波算法都有各自的优缺点。

Mean Shift算法缺乏必要的模型更新方法，整个Mean Shift 算法是个黑盒子，输入是一帧图像和上一帧目标的位置，输出是本帧目标的位置，其他信息都被割断。一旦遇到大面积遮挡，算法收敛到局部区域中最大值，但这点并不是目标，这个错误的位置信息被传递给下一帧，以后的迭代从这个错误位置开始，如果目标被大范围遮挡较长时间，目标位置的误差会被积累起来，以至于算法再也无法找到目标。而粒子滤波算法由于采用很多具有一定权值的粒子进行预测，即使目标丢失，只要有一个粒子在目标附近，仍然能够通过迭代，使该粒子的权值不断增加，从而重新找到目标。

Mean Shift 算法具有很好的实时性，而粒子滤波的实时性则相对差一点，这主要因为粒子滤波算法需要对大量的粒子进行计算。

由于上述技术的局限性，导致了智能交通视频分析系统存在一定的缺陷，产品的成熟度不够，给使用带来不便。

发明内容  

   为了解决以上技术问题，本发明主要提供了一种智能交通视频分析方法，主要实时性好，计算量小、鲁棒性好、精确性高、通用性好的智能交通视频的分析方法。

  本发明提出了一种智能交通视频分析方法，主要分析步骤包括目标的特征信息提取、路口车辆行走轨迹自动跟踪、检索排查三大步骤，所述步骤具体如下 ：

a、特征信息提取：对目标车辆进行特征提取。目标车辆的获得途径为：操作人员为系统提供一张或多张待查找的目标车辆的图像，或者通过监控视频发现了目标车辆；

b、路口车辆行走轨迹自动跟踪：采取跟踪算法获取目标车辆的运动路径，根据其运动路径查找相应路口的监控视频，从而减少海量视频的搜索量；

c、检索排查：对该路口的视频序列图像采用图像检索算法，通过与目标车辆特征的相似性度量获取目标车辆，如此一直排查到某路口未发现目标车辆，从而可以确定目标车辆的大略位置；

其创新点在于：所述自动信息检索采用视觉跟踪技术对目标车辆进行跟踪以判断其行驶方向，减小对海量视频的搜索范围。

进一步地，所述视觉跟踪技术为：改进Mean Shift算法，并将改进后的Mean Shift算法与粒子滤波算法融合。

进一步地，所述改进Mean Shift算法为：通过计算目标被遮挡前的运动速度，并在后续的帧中在该速度方向上进行目标搜索，以解决跟踪中发生遮挡而丢失目标的问题。

进一步地，所述融合改进后的Mean Shift算法与粒子滤波算法：在融合算法中利用粒子更新Mean Shift 的信息源，同时利用MeanShift 迭代来降低粒子的数目，提高融合算法的实时性。

   本发明的有益效果：

1、视觉跟踪就是利用图像处理、模式匹配的方法获得视频序列中与设定目标图像最相似的部分。当目标通过自动或手动方式给定后，视觉跟踪算法要求在后续的视频中能够准确、快速的找到目标，这在军事研究、视频监控、交通管理等方面都有着重要应用。目前，在视觉跟踪领域有着大量的跟踪算法。一种好的视觉跟踪算法一般必须满足下面四个准则：（1）实时性好，计算量小。（2）鲁棒性好。在实际的环境中，由于关照变化、干扰、遮挡和场景变化使得目标信息变化或者不完整，跟踪算法必须能够及时地适应这些复杂情况，并能够快速地从中恢复出来。（3）精确性高。（4）通用性好。算法良好的通用性表现为对目标的先验知识（如颜色、形状和运动类型的先验知识）的依赖程度低。

2、采用改进Mean Shift算法后，在视频序列的相邻两帧或几帧内，可以认为目标的运动具有一定的方向性，即目标在前一帧中的运动方向与后一帧中的运动方向近似相同。当目标被遮挡时，我们就可以利用这样的运动信息，在目标被遮挡前的运动方向上进行搜索，当遮挡消除后，就能够再次找到目标。

3、采用融合Mean Shift算法与粒子滤波算法后，在融合算法中利用粒子更新Mean Shift 的信息源，同时利用MeanShift 迭代来降低粒子的数目，提高融合算法的实时性。如果我们在粒子滤波算法中，对每个粒子进行Mean Shift迭代，当到达感兴趣的区域后，这些粒子的梯度值就为零。这样，每个粒子都会沿着Mean Shift向量的方向向各自的区域移动，相似的粒子会从不同的方向不断地移动，直到都集中到一个很小的区域中。最终，所有的粒子都会分布在多个很小的区域。 

采用Mean Shift算法迭代后，各个粒子都会自动集中于其邻近的最大值区域中，这样只要初始化较少的粒子就能维持样本的多样性，从而大大缩短了计算时间，提高了计算效率。

附图说明

图1为本发明工作流程图；

图2为Mean Shift算法和改进Mean Shift算法视觉跟踪成像效果对比图；

图3为Mean Shift算法，改进Mean Shift算法，融合Mean Shift算法与粒子滤波算法视觉跟踪成像效果对比图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作详细说明：

本发明的一种智能交通视频分析方法，是在常规的智能交通视频系统硬件上进行的。主要分析步骤包括目标的特征信息提取、路口车辆行走轨迹自动跟踪、检索排查三大步骤，所述步骤具体如图1所示：

a、特征信息提取：对目标车辆进行特征提取。目标车辆的获得途径为：操作人员为系统提供一张或多张待查找的目标车辆的图像，或者通过监控视频发现了目标车辆；

b、路口车辆行走轨迹自动跟踪：采取跟踪算法获取目标车辆的运动路径，根据其运动路径查找相应路口的监控视频，从而减少海量视频的搜索量；

c、检索排查：对该路口的视频序列图像采用图像检索算法，通过与目标车辆特征的相似性度量获取目标车辆，如此一直排查到某路口未发现目标车辆，从而可以确定目标车辆的大略位置；

本发明改进部分为：采用视觉跟踪技术对路口车辆进行跟踪以判断其行驶方向，减小对海量视频的搜索范围。视觉跟踪技术为：改进Mean Shift算法，并将改进后的Mean Shift算法与粒子滤波算法融合。

对比实施例1

Mean Shift算法在本系统中的使用及效果

视觉跟踪采用Mean Shift算法。Mean Shift算法是一种基于核密度估计的无参快速模式匹配算法，它用密度梯度爬升来找到概率分布的峰值。

算法通过人机交互的方式对被跟踪目标进行初始化。在起始帧，通过鼠标确定一个包含所有目标特征的矩形或者椭圆，称为被跟踪目标的目标区域，这个目标区域也是核函数作用的区域，区域的大小等于核函数的带宽。在初始帧图像中目标区域内所有的像素点，计算特征空间中每个特征值的概率，我们称为目标模型的描述。一般核函数选择Epanechnikov 函数。利用相似性函数度量初始帧目标模型和当前帧候选模型的相似性，通过求相似性函数最大得到关于目标的Mean Shift 矢量，这个矢量即是目标从初始位置向正确位置转移的矢量，由于Mean Shift算法的收敛性，不断迭代计算Mean Shift 向量，在当前帧中，最终目标会收敛到目标的真实位置，从而达到跟踪的目的。

本发明在原Mean Shift算法上做了以下改进，具体为：通过计算目标被遮挡前的运动速度，并在后续的帧中在该速度方向上进行目标搜索，以解决跟踪中发生遮挡而丢失目标的问题。

将改进型Mean Shift算法与粒子算法融合，具体为在融合算法中利用粒子更新Mean Shift 的信息源，并对每个粒子进行Mean Shift迭代，各个粒子就自动集中于其邻近的最大值区域中，只要初始化较少的粒子就能维持样本的多样性。

改进前后的区别：改进后的算法解决了两个问题：

1. 解决了Mean Shift算法由于缺乏必要的模型更新方法而导致的跟踪中发生遮挡而丢失目标的问题。

2. 解决了粒子滤波算法实时性差的问题，采用Mean Shift算法对粒子迭代后，大大缩短了计算时间，提高了计算效率

对比实施例2

如图2所示为采用Mean Shift算法和改进Mean Shift算法对冰球运动员的跟踪结果。结果显示，在第480帧图像中，目标被遮挡，当遮挡去除后，在第490帧图像中，采用Mean Shift算法跟踪的目标丢失，而采用改进Mean Shift算法依然能很好地跟踪目标。

对比实施例3

图3所示为对足球的跟踪，由图可见，从第61帧图像开始，采用Mean Shift算法跟踪的足球出现丢失，而粒子滤波算法和混合算法都能很好的跟踪足球。

实施例4

表1 三种算法耗时比较

表1所示为三种算法的耗时比较。结合图3和表1可见，融合算法具备良好的综合性能。

Claims (2)

1.一种智能交通视频分析方法，主要分析步骤包括目标的特征信息提取、路口车辆行走轨迹自动跟踪、检索排查三大步骤，所述步骤具体如下 ：

a、特征信息提取：对目标车辆进行特征提取；

目标车辆的获得途径为：操作人员为系统提供一张或多张待查找的目标车辆的图像，或者通过监控视频发现了目标车辆；

b、路口车辆行走轨迹自动跟踪：，采取跟踪算法获取目标车辆的运动路径，根据其运动路径查找相应路口的监控视频，从而减少海量视频的搜索量；

c、检索排查：对该路口的视频序列图像采用图像检索算法，通过与目标车辆特征的相似性度量获取目标车辆，如此一直排查到某路口未发现目标车辆，从而可以确定目标车辆的大略位置；

其特征在于：所述自动信息检索采用视觉跟踪技术对目标车辆进行跟踪以判断其行驶方向，减小对海量视频的搜索范围。

2.根据权利要求1所述的一种智能交通视频分析方法，其特征在于：所述视觉跟踪技术为：

a、在Mean Shift算法下做以下改进：通过计算目标被遮挡前的运动速度，并在后续的帧中在该速度方向上进行目标搜索，以解决跟踪中发生遮挡而丢失目标的问题；

   b、并将改进后的Mean Shift算法与粒子滤波算法融合：主要采用在融合算法中利用粒子更新Mean Shift 的信息源，同时利用MeanShift 迭代来降低粒子的数目，提高融合算法的实时性。