CN110021174A - 一种基于视频图像的适用多场景的车流量计算方法 - Google Patents

Abstract

一种基于视频图像的适用多场景的车流量计算方法，涉及视频图像处理和交通流量计算领域。本发明的方法步骤为：1）自动生成流量统计线。2）提取固定特征点。3）光流跟踪：特征点作为跟踪的起始点，统计流量统计线上所有特征点的速度信息，生成一条流量统计线特征点的速度信息并缓存该信息。4）运动方向和速率聚类。5）目标个数增加：循环执行步骤3）和4），重复对新一帧数据的流量统计线特征点进行跟踪，并生成一条新的流量统计线特征点速度信息。6）上下行属性信息统计。7）跟踪方向矫正。8）有效目标分类。同现有技术相比，本发明能解决多场景下、不同天气情况下、不同路面状态下的交通流量计算问题。

Description

一种基于视频图像的适用多场景的车流量计算方法

技术领域

本发明涉及视频图像处理和交通流量计算领域，特别是基于视频图像的目标检测、应用于交通场景下的视频监控数据的智能事件分析方法以及交通参数计算方法。

背景技术

目前计算交通流量应用比较多的方案主要有地感线圈检测器、微波检测器和智能视频检测法等。地感线圈检测属于一种被动接触式的检测技术，该方案在交通流量计算、交通占有率等方面精度较高，同时受气候条件影响较小。但是此方案施工比较复杂，在安装过程中需要将线圈埋入道路下面，因此需要挖开道路中断交通，施工过程中不仅影响正常的交通，同时还损坏了道路，而且设备维护成功较高。微波检测器利用红外线、超声波或者微波等专用设备，通过发射电磁波并接收感应信息完成车辆检测。该方案对气候条件的变化不敏感，同时设备安装比较简单。但是该方案灵敏度不够高，也存在一定的误检率。

智能视频图像检测法属于一种非接触式检测技术,车辆视频图像是通过安装在道路上的摄像机或者图像采集卡等设备采集获取。当车辆在监控场景下通行时，通过对车辆目标进行检测和跟踪，当车辆目标跨过拌线时，完成车流量个数的统计。视频图像检测法与其他方案相比，具有以下优点：

1.硬件安装、维护简单，不影响路面正常交通；

2.通过视频装置可以实时监控交通情况，实时直观掌握交通情况；

3.采集的车辆信息比较丰富，方便交通管理人员管理；

4.相邻监控点之间信号不会相互干扰；

5.可调整扩大监控范围；

车流量是指在一定的时间内，某条公路点上所通过的车辆数；车的数量是指在单张静态图片上车辆的个数；由于同一目标可能在连续的视频中持续一段时间，所以依靠累积单张检测结果无法获取车流量信息。目前基于图像处理的车流量检测方案中，主要的流程是车辆检测+目标跟踪。目前主要的车辆检测方法包括背景差分法、帧间差分法、Vibe算法等，主要的跟踪算法包括TLD跟踪、粒子滤波、KCF跟踪等。

基于视频图像的目标检测和跟踪的方法主要包括以下方法：

1.背景差分法是一种对静止场景进行运动分割的通用方法，它将当前获取的图像帧与背景图像做差分运算，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域，而且为避免环境光照变化影响，背景图像根据当前获取图像帧进行更新。2.帧间差分法是将视频流中相邻两帧或相隔几帧图像的两幅图像像素值相减，并对相减后的图像进行阈值化来提取图像中的运动区域。

3.Vibe算法为所有像素点存储了一个样本集，样本集里面保存的采样值是该像素点过去的像素值与其邻居点的像素值。后面每一帧的新像素值和样本集里的样本历史值进行比较，判断是否属于背景点。

4.TLD跟踪其运行机制为：检测模块和跟踪模块互补干涉的并行进行处理。首先，跟踪模块假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。如果目标在相机视野中消失，将造成跟踪失败。检测模块假设每一个视帧都是彼此独立的，并且根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。同其它目标检测方法一样，TLD中的检测模块也有可能出现错误，且错误分为错误的负样例和错误的正样例这两种情况。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评估，并根据评估结果生成训练样本对检测模块的目标模型进行更新，同时对跟踪模块的“关键特征点”进行更新，以此来避免以后出现类似的错误。

5.粒子滤波是一种基于蒙特卡洛模拟的非线性滤波方法，其核心思想是用随机采样的粒子表达概率密度分布。粒子滤波的三个重要步骤为：1）粒子采样，从建议分布中抽取一组粒子；2） 粒子加权，根据观测概率分布，重要性分布以及贝叶斯公式计算每个粒子的权值；3）估计输出，输出系统状态的均值协方差等。此外 ，为了应对粒子退化现象，还采用了重采样等策略。

6.KCF是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。

上述现有技术还存在的缺陷是：

1.传统目标检测方法，对图像质量、光线、摄像机抖动特别敏感，同时对于粘连的车辆目标，不能区分单个目标；同时对大场景下的车辆目标检测效果不理想，存在大量的误检和漏检情况；

2.跟踪方案，对于多目标跟踪目前有较多的方法，但是交错和遮挡一直是跟踪中的难题，尤其是对于大场景下多个车辆目标，对于目标较多同时遮挡比较严重的情况，会出现跟错或者跟丢的情况，跟踪的效果不太理想；

3.基于深度学习的目标检测方法，检测效果比较好，但是在CPU模式下检测比较费时间，无法达到实时的效果；

4.检测+跟踪的车流量计算方案，目前绝大部分的车流量计算方案都是采用该流程，检测和跟踪的效果直接决定了车流量统计的精度，由于上述的单一的检测和跟踪模块都存在一定的问题，因此两者组合起来的方案也具有较大问题；而且由于检测和跟踪是相辅相成的过程，检测间隔周期长的话可能会造成部分目标漏检，检测间隔周期短的话就无法发挥跟踪的意义，同时造成算法的效率较低。

5.对粘连车辆无法精确统计，当相邻车道有多辆车同时通过时，目前常用的方案无法区分多个车辆，容易出现统计遗漏的情况。

发明内容

针对上述现有技术中存在的不足，本发明的目的是提供一种基于视频图像的适用多场景的车流量计算方法。它能解决多场景下、不同天气情况下、不同路面状态下的交通流量计算问题。

为了达到上述发明目的，本发明的技术方案以如下方式实现：

一种基于视频图像的适用多场景的车流量计算方法，其步骤为：

1）自动生成流量统计线：输入视频图像，提取生成路面区域，并生成流量统计线。

2）提取固定特征点：提取流量统计线上所有的点，作为跟踪的特征点。

3）光流跟踪：特征点作为跟踪的起始点，统计流量统计线上所有特征点的速度信息，生成一条流量统计线特征点的速度信息并缓存该信息。

4）运动方向和速率聚类：根据速率值和空间位置关系，确定当前共有几个车。

5）目标个数增加：循环执行步骤3）和4），重复对新一帧数据的流量统计线特征点进行跟踪，并生成一条新的流量统计线特征点速度信息。比较前后两条特征点的速度信息，将发生速度突变为0的信息点记录下来，表明该车已经完全通过流量统计线。在原始图像中，截取该区域对应的目标，判断目标是否为车，如果为车则车流量个数加1，如果不是车，则个数不加1。

6）上下行属性信息统计：根据一段时间目标的跟踪情况确定流量统计线位置所有点具有的上下行属性。

7）跟踪方向矫正：对于跟踪结果信息，结合上述统计的每一点的上下行信息，对该点偶尔出现与该点上下行属性信息不一致的情况，将该点此次的跟踪方向调整为该点具有的上下行属性信息。

8）有效目标分类: 将异常目标过滤,并采用深度学习的小型分类网络完成目标分类。

本发明由于采用了上述方法，同现有技术相比具有如下有益效果：

1. 本发明使用路面区域自动生成流量统计线；使用固定特征点替代算法提取特征点；统计特征点的上下行属性；根据空间位置关系，对速度、运动方向进行聚类；对跟踪目标进行运行方向矫正；不仅能对粘连目标具有很好的统计效果，并且能快速、高效的解决多场景下、不同天气情况下、不同路面状态下的交通流量计算问题。

2. 本发明方法中固定的特征点提取，同时也只在特征点附近进行跟踪，方法快速、高效。

3. 本发明方法流程简单，不再需要进行目标检测。

下面结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明方法工作流程图。

具体实施方式

参看图1，本发明一种基于视频图像的适用多场景的车流量计算方法，其步骤为：

1. 自动生成流量统计线：

流量统计线是图像中一条虚拟的线，基本垂直于路面方向，宽度与路面区域相同，高度大概位于路面高度的1/2左右。选取流量统计线主要是基于所有的车都会通过这条线的实际情况，而且高度在整个路面高度的1/2左右，可以有效地兼顾上下行的车流量信息。采用流量统计线的方案，我们可以在固定的位置等待目标通过，有针对性的对目标进行处理，同时根据目标通过流量统计线时的状态变化完成车流量的计算。

流量统计线的位置是车流量计算方法的关键，基于此我们采用了一种快速的路面分割和摄像机定位算法，该算法能够快速准确地生成路面区域，然后根据路面区域自动计算生成流量统计线。该流量统计线的高度、宽度和方向等关键信息，对有效地采集通过流量统计线的目标，具有重要的作用。

2. 提取固定特征点

传统的光流跟踪算法需要提取图像中所有目标的关键特征点进行跟踪，提取特征点的步骤比较费时间，而且需要每一帧都进行提取，同时对于离流量统计线比较远的目标我们不需要对其进行跟踪，基于此我们考虑提取固定特征点。根据我们的需求，固定特征点需要符合以下的特性：一是每一个目标的特征都能被统计到；二是该特征可以与后续光流跟踪算法有效结合。

综合上面两点特性，我们设计了使用流量统计线上的点作为固定的特征点，该特征点在没有目标通过时，通过特征提取实际上是路面上的特征；当有目标通过时，该特征点所代表的特征就是目标车辆的特征，从而实现了位置不变但是特征在变的目的；并且我将们跟踪的精力集中在该流量统计线上的点，不需要整图提取特征，减少运算量。

特征点的个数是由路面宽度动态计算生成的，根据统计交通监控场景中路面区域基本占整个监控场景的三分之一左右，同时对于一些高清分辨率的场景，我们也可以设置一定的间隔点完成特征点的统计。对于CIF分辨率场景，其路面宽度大概也就是100个像素左右，因此本发明我们选取N=100个特征点。对于D1或者1080P分辨率的场景，我们考虑到系统效率，我们进行间隔特征点提取，也使用100个特征点进行运算，测试结果证明N=100个特征点可以有效地兼顾不同监控场景下的算法精度和效率。

3. 局部光流跟踪

Lucas-Kanade跟踪算法，假设I和J是两幅2D的灰度图像，对于图像上每个像素点的灰度值定义为：I(x)=I(x,y)和J(x)=j(x,y)。其中x=(x,y)是图像上像素点的图像坐标。在实际场景中图像I和图像J可以代表前后两帧图像。对于图像特征点金字塔跟踪来说一帧的图像I上一点u(ux,uy)，要在后一帧图像J上找到一点v(ux+dx,uy+dy)与之相匹配，即灰度值最接近。那么向量d=[dx,dy]就是图像在点u处的运动速率，也就是所说像素点u的光流。

本方案中我们将第二步提取的特征点和上一帧缓存的图像数据、当前图像数据作为跟踪算法的输入参数，对目标进行光流跟踪，同时为了提高跟踪效率，由于目标在前后几帧数据之间不会发生特别大的位移，因此我们的目标跟踪范围在流量统计线上下K(K=20)个像素，避免图像整图搜索导致效率低。统计每个特征点的运动方向和速率信息（根据运动像素距离乘以单个像素代表的实际距离），得到如下信息内容，共有N=100维数据，每一维对应于上述每一个特征点，（0,0,0, -85.2,-85.5, -86.8,-88.6,-87.8,-86.5, 0，0，0,0,……90.2，91.3，92.6,93.8, 92.9, 94.3, 91.6, 85.6, 85.8, 82.8, 83.9, 82.6，84.8, 85.9………）,其中“-”代表目标向下运动，仅代表方向。并缓存这100个特征点的方向信息，记为[0,0,0,-1,-1,-1,-1,-1,0,0,0,0,……1,1,1,1,1,1,1,1,1,1,1,1,1,1,……],其中0代表当前没有目标运动，-1代表目标下行运动，1代表目标上行运动。

4. 运动方向和速率聚类

同一个车辆目标的不同特征点处的运动速率应该基本接近，相邻的另外车辆目标具有另外的运动速率而且两者之间具有一定的差异性。基于此，我们对上述数据根据速率值和运动方向进行聚类处理。由于目标在空间上具有连续性，因此我们的聚类的每一个目标一定是连续的一段。

首先将上述数据中异常的数据去掉，比如某一个特征点有运动速率信息，但是相邻的几个特征点都没有运动信息，则该点为异常数据，可能为噪声数据，我们将该数据过滤；

其次从左往右依次遍历所有特征点的运动速率信息，记录第一个运动信息不为0的点，然后往右遍历，如果运动方向一致且运动速率大小相近，速率值与该目标的运动速率相差5%之内，则将该特征点与前面的特征点连接起来，作为同一个目标；如果大于该阈值或者运动方向不一致，则是新目标，以该点为起始点，统计右侧相邻目标是否为同一目标；直至将全部特征点统计完。

然后分析上一步的目标信息，对于连续长度小于一定阈值的特征段，我们认为该段可能为异常信息，不是正常的车辆目标，则将该目标过滤，只保留长度阈值大于阈值的特征点，从而形成该条特征段上的m个连续特征段，即为当前时刻共有m个目标通过流量统计线；由于不同的目标具有不同的速率值，因此根据速率值的聚类信息，我们可以判断出当前时刻的目标个数，而且不同的目标的速率也不一样，通过运动方向和速率的聚类完成了粘连目标的分割问题。

最后缓存当前时刻该特征段信息，记为X ,X的格式为X = [0,0,0,-86.7, -86.7,-86.7, -86.7, -86.7, -86.7, 0, 0, 0, 0 ……92.3, 92.3, 92.3, 92.3, 92.3,92.3, 92.3,84.4, 84.4, 84.4, 84.4, 84.4, 84.4, 84.4……]。通过该特征段的信息，可以非常容易获取当前时刻有几个目标正在穿过绊线以及每个目标的运动方向信息。

5. 目标个数增加

循环执行上述3,4步骤，得到当前帧的特征段数据，记为Y。比较前后两条特征段数据(X,Y)对应位置的差异。

如果对应当前段速率值基本没有发生变化，则说明该目标正在通过流量统计线；如果对应的某一段特征段信息发生变化，则说明当前段有新目标进入或者有目标离开：当该段速率信息从0变成正值时，说明有新的上行目标抵达流量统计线位置；当该段速率信息从0变成负值时，说明有新的下行目标抵达流量统计线位置；当该段速率信息从正值变成0时，说明上行目标已完全离开流量统计线位置，则上行目标个数增加1；当该段速率信息从负值变成0时，说明下行目标已完全离开流量统计线位置，则下行目标个数增加1。

如当前时刻特征段信息为Y=[0,0,0,0, 0, 0,0,0, 0, 0, 0, 0, 0 ……92.2,92.2, 92.2, 92.2, 92.2, 92.2, 92.2, 84.2, 84.4, 84.4, 84.4, 84.4, 84.4,84.4……]。与上一时刻特征段的信息X进行比较发现，下行位置目标速率值发生突变，从之前时刻的-86.7突变为0，则说明下行的该目标已完全通过流量统计线，则将下行的目标个数加1；同时对于上行的目标，由于速率没有发生变化，说明当前上行的两个目标还没有完全离开流量统计线，因此上行流量个数不变。

6. 上下行属性信息统计

由于摄像机和路面的安装位置是相对固定的，而且道路中上下行的方向是固定的，因此我们可以根据一段时间目标的跟踪情况确定流量统计线位置所有点具有的上下行属性。经过上述几个步骤的运算，一段时间之后(选取1W帧数据)，我们根据上述第三步保存的每一帧中的每一点的运动方向信息，统计每一点分别为-1,0和1的次数，对于明确有上下行信息(-1或者1)的点，如果次数大于总统计次数的阈值，根据实际测试我们选取0.8作为本发明的阈值,我们直接确定该点的上下行属性信息。对于不满足阈值的点，根据该点左右特征点的上下行属性信息确定该点的上下行属性信息。基于此我们将选取的流量统计线上的N个特征点具有的上下行属性信息全部统计出来，后续为了提高系统效率，不再继续统计属性信息，并使用该信息为后面跟踪过程提供方向矫正信息。

7. 跟踪方向矫正

对于跟踪结果信息，结合上述统计的每一点的上下行信息，对该点偶尔出现与该点上下行属性信息不一致的情况，将该点此次的跟踪方向调整为该点具有的上下行属性信息。

8. 有效目标分类

由于在道路场景中，除了车辆之外还有行人、非机动车等目标，或者一些树叶等其他异常目标的干扰，为了得到精确的车流量个数，我们需要将异常目标过滤。考虑到目标分类对实时性要求比较高，我们采用深度学习的小型的分类网络完成目标分类。根据道路上可能出现的目标，我们一共分5类目标，1是大车，2是小车，3是非机动车，4是行人，5其他目标。

由于常用的深度学习分类网络都是针对较高分辨率(224*224及以上)的图片进行分类的，而我们实际任务待分类的目标大小范围在50*50~80*80像素之间，因此我们需要设计一个满足我们任务的分类的小网络。

本发明中设计了如下的网络结构模型，分为3个conv层，3个Relu层，3个pool层，2个LRN层和1个全连接层。

交通流量的计算对于交通智能视频监控系统具有重要的意义，对于管理部门掌握道路使用情况以及交通事件的检测具有重要的意义。但是由于公路摄像机监控场景比较复杂，不同场景和天气情况下的交通参与对象具有不确定性，白天和夜晚的场景也差别比较大，传统的车流量检测方案很难将众多场景统一起来。而且，传统的光流跟踪算法需要提取图像中所有目标的关键特征点进行跟踪，提取特征点的步骤比较费时间，每一帧都需要进行提取。而本发明对于离流量统计线比较远的目标不需要对其进行跟踪，使用流量统计线上的点替代传统方案中的关键特征点进行提取过程，将跟踪的精力集中在该流量统计线上的点。基于此，本发明希望针对不同的交通场景，尤其是高速公路、市内公路和隧道场景在白天和夜晚场景，采用一种新的通用的方案。本发明在对交通场景下车流量的计算特别是对粘连的交通车辆，根据不同目标的速度情况完成聚类并区分粘连目标，更有效地抓住视频数据和流量统计的本质特征，从而快速高效精确地完成车流量的计算。

Claims (1)

1.一种基于视频图像的适用多场景的车流量计算方法，其步骤为：

1)自动生成流量统计线：输入视频图像，提取生成路面区域，并生成流量统计线；

2)提取固定特征点：提取流量统计线上所有的点，作为跟踪的特征点；

3)光流跟踪：特征点作为跟踪的起始点，统计流量统计线上所有特征点的速度信息，生成一条流量统计线特征点的速度信息并缓存该信息；

4)运动方向和速率聚类：根据速率值和空间位置关系，确定当前共有几个车；

5)目标个数增加：循环执行步骤3）和4），重复对新一帧数据的流量统计线特征点进行跟踪，并生成一条新的流量统计线特征点速度信息；比较前后两条特征点的速度信息，将发生速度突变为0的信息点记录下来，表明该车已经完全通过流量统计线；在原始图像中，截取该区域对应的目标，判断目标是否为车，如果为车则车流量个数加1，如果不是车，则个数不加1；

6)上下行属性信息统计：根据一段时间目标的跟踪情况确定流量统计线位置所有点具有的上下行属性；

7)跟踪方向矫正：对于跟踪结果信息，结合上述统计的每一点的上下行信息，对该点偶尔出现与该点上下行属性信息不一致的情况，将该点此次的跟踪方向调整为该点具有的上下行属性信息；

8)有效目标分类:将异常目标过滤,并采用深度学习的小型分类网络完成目标分类。