CN103246896B - 一种鲁棒性车辆实时检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种鲁棒性车辆实时检测与跟踪方法，主要解决了现有技术中存在的车辆跟踪方法跟踪不稳定，实时性较差，实现较为复杂，不能满足人们需求的问题。该一种鲁棒性车辆实时检测与跟踪方法包括：搜集正、负样本；提取正、负样本特征，并得出级联分类器；对目标图片进行检测；建立跟踪列表，采用光流法对跟踪列表中的车辆进行位置预测；根据车辆的初始位置和预测位置进行路径跟踪。通过上述方案，本发明达到了跟踪稳定且实时性较好，实现相对简单的目的，具有很高的实用价值和推广价值。

Description

一种鲁棒性车辆实时检测与跟踪方法

技术领域

本发明涉及一种监控方法，具体地说，是涉及一种鲁棒性车辆实时检测与跟踪方法。

背景技术

随着国家在“平安城市”、“平安交通”方面政策的逐渐落实，智能视频监控领域得到快速发展。目前智能视频监控领域所用车辆检测系统大多依赖静态的背景，通过提取运动物体信息进行特征判断并进行轨迹预测，然而实际中的监控场景远比理论上的复杂，如摄像头的抖动和背景的变换都会对检测造成很大的影响，为了提高检测精度，现有技术中常采用复杂的算法来分离背景，这种处理方式虽然达到了准确检测的目的，却不能满足实时性的要求。

车辆跟踪是监控系统中不可缺少的部分，对跟踪算法的研究一直是近几年的热门领域，目前效果比较好的跟踪算法包括粒子滤波、卡尔曼滤波、MIL(多实例学习)、TLD(跟踪-学习-检测)等。然而，由于粒子滤波算法是通过在目标周围生成许多个样本点，再根据目标匹配找到跟踪目标，因而稳定性受限于样本点的数目，采样点太少，跟踪不稳定，采样点太多，时间复杂度太高。卡尔曼滤波算法主要基于目标运动状态模型实现跟踪，但实际中的目标运动因场景的变化随机性很高，所以事先设置的目标运动模型不具有可变性。MIL及TLD算法对跟踪有很好的鲁棒性，对于长时间跟踪的稳定性要比其它算法都可靠，但是计算量太大，对于单目标的跟踪都低于10帧/S，不适用于实际的监控当中。对此，车辆监控需要同时考虑跟踪的稳定性和实时性才能广泛应用于实际生活当中。

发明内容

本发明的目的在于提供一种鲁棒性车辆实时检测与跟踪方法，主要解决现有技术中存在的车辆跟踪方法跟踪不稳定，实时性较差，实现较为复杂，不能满足人们需求的问题。

为了实现上述目的，本发明采用的技术方案如下：

一种鲁棒性车辆实时检测与跟踪方法，包括以下步骤：

（1）采用离线训练方式从车辆监测视频图片中截取车辆头部或尾部图片作为正样本，使用不包含车辆的任意图片作为负样本，并将正、负样本按1:2的比例搜集；

（2）提取正、负样本的Haar-like特征，并使用adaboost算法进行离线训练得出对车辆的判断逐级增强的级联分类器；

（3）输入目标图片，提取目标图片的所有Haar-like特征，使用级联分类器对目标图片的Haar-like特征进行检测识别，并根据识别出的Haar-like特征判断目标图片中车辆的特征分布信息，并在检测出车辆时记录目标车辆的车辆信息；

（4）建立跟踪列表，将目标车辆添加入跟踪列表，采用光流法对跟踪列表中的车辆进行位置预测，并判定车辆与预测位置间是否存在遮挡物，若存在遮挡物，则结合车辆的运动信息和LBP纹理直方图进行分析，得出修正后的车辆预测位置；

（5）根据车辆的初始位置和预测位置进行路径跟踪。

所述步骤（1）中，正样本图片的大小为20×20~100×100，负样本图片的大小不小于20×20。

所述步骤（3）中，车辆信息包括车辆初始位置信息和尺寸。

所述步骤（3）中，进行车辆检测前先初始化待检测区域，在检测到具有车辆的目标图片时将目标图片划分为均等的矩形网络，计算其LBP纹理直方图，并将该计算出的LBP纹理直方图作为步骤（4）中进行后续跟踪的匹配修正模板。

所述步骤（4）中，当存在遮挡物时车辆预测位置的具体计算方法如下：

（4a）设定车辆能够接受的被外界最大程度影响下车辆运动速度变化量的阈值和车辆预测位置下与初始目标模板的LBP纹理直方图间的相似度阈值；

（4b）计算前后两帧间车辆的运动速度变化量和当前帧中预测位置下相同尺寸的目标与初始目标模板的LBP纹理直方图间的相似度；

（4c）判定计算出的运动速度变化量和相似度与各自已设定的阈值间的大小关系，当计算出的运动速度变化量和相似度均大于各自已设定的阈值时，采用LBP重采样的方式对车辆的预测位置进行修正，直至计算出的运动速度变化量和相似度中的至少一个小于已设定的阈值。

与现有技术相比，本发明具有以下有益效果：

（1）本发明突破了现有技术中采用粒子滤波、卡尔曼滤波、MIL(多实例学习)、TLD(跟踪-学习-检测)等传统算法进行车辆跟踪的思维局限，充分利用了光流法的跟踪稳定性，将局部二值模式特征（LBP）应用于车辆跟踪，弥补了光流法在跟踪过程中受遮挡情况影响的缺点，使车辆跟踪过程更加鲁棒，且经验证后得出，即使随着跟踪车辆的增加，本发明的运行速度也不会明显下降，完全能够满足实时跟踪的要求，且可靠性较高，具有突出的实质性特点和显著进步，适合大规模推广应用。

附图说明

图1为本发明的流程示意图。

图2为本发明中级联分类器的分布示意图。

图3为本发明中LBP纹理直方图的网络划分示意图。

图4为本发明中LBP重采样示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

为了简单可靠地实现视频车辆监控领域所需的车辆检测、稳定跟踪、车辆运动方向判断等功能，如图1所示，本发明公开了一种鲁棒性车辆实时检测与跟踪方法，本发明主要包括两个部分，即车辆检测和车辆跟踪。

其中，车辆检测是车辆跟踪的前提，本实施例中提供了一种车辆检测的实现方案，如下：

采用离线训练方式对原有视频中的车辆进行正、负样本搜集，即从视频图片中截取大小在20×20至100×100之间的车辆头部或尾部作为正样本，正样本的视频源可选自实际的交通监控；使用不包含车辆的任意图片作为负样本，负样本的尺寸最小不能小于20×20，且将正、负样本按1：2的比例搜集。

如图2所示，提取已搜集的正、负样本的多种Haar-like特征，使用成熟的adaboost算法进行离线训练得到多级级联分类器，本实施例中选用20个分类器，分类器对车辆的判断性能随级联逐渐增强，只有当测试图片区域的Haar-like特征通过了级联分类器的判断，才能确定该测试图片中是否包含车辆。

进行车辆检测识别时，需输入目标图片，并使用已训练好的级联分类器进行特征值判别，即计算目标图片的所有Haar-like特征值，将Haar-like特征作为目标特征，结合鲁棒的adaboost学习算法，离线学习到普遍车辆的特征概率分布。例如：在实施时从大量高清视频中搜集8000张正样本，从网络中收集16000张负样本，那么正样本的数量足以包含不同车型的车辆，从中提取的Haar-like特征能够完全反映车辆的特征信息，所以对车辆的识别率可以达到95%，并且可以检测出最小尺寸为20×20的目标车辆，对于复杂场景和标清视频的图片仍有很好的检测效果，达到了视频监控中对车辆有效检测的要求，能在实际中广泛应用。

在使用本发明时，需先初始化待检测区域，然后对待检测区域进行车辆检测，并记录检测到的目标车辆初始位置信息和尺寸，将每个目标划分成均等的矩形网格，例如如图3所示划分成8个16×16的网格，计算LBP纹理直方图，并将该直方图作为目标模板的纹理特征用于后续跟踪模块的匹配修正。

车辆跟踪是本发明的核心部分，本发明中主要使用光流法作为主要车辆跟踪算法，并结合LBP纹理直方图和车辆运动信息来增加跟踪的鲁棒性，使其在长时间跟踪和被其它物体遮挡的情况下具有很好的稳定性。本发明中提供了一种进行车辆跟踪的实现方法，如下：

首先，采用光流法进行位置预测：

初始化目标后，得到上一帧的灰度图像和车辆列表，将当前帧图像经过灰度转换后得到，此时当前帧的车辆位置未知，建立车辆跟踪列表，将目标车辆添加入跟踪列表，采用光流法对已经加入跟踪列表的车辆进行位置预测，得到每个跟踪目标在当前图片中的候选位置，由于可能存在跟踪车辆被其他物体遮挡的情况，则此时的被当作候选位置对待，还需要对跟踪车辆的运动信息和LBP纹理直方图进行分析，判断车辆运动是否受到影响，同时保存作为下次位置预测的输入；

其次，进行车辆运动状态判断：

采用光流法跟踪目标时，如果目标没有被遮挡，则目标的历史速度变化都是稳定的，基于这个结论，可以根据车辆的速度变化再加上现有技术中的辅助方法便能判断车辆的运动状态，本发明选用结合LBP纹理直方图判断车辆运动异常状况，其方法是计算前后两帧间车辆的运动速度变化量和当前帧中预测位置下相同尺寸的目标与初始目标模板的LBP纹理直方图间的相似度；如果和同时大于某个预先设定的阈值，此阈值的大小表示了系统可以接受的车辆被外界影响的程度，表明现在车辆的运动存在异常情况或者被其它物体所遮挡，需要对车辆的预测位置进行修正，修正采用LBP重采样的方式寻找与目标模板最相似的车辆所在的位置，本实施例中提供了一种预测位置周围8点重采样方式，如图4所示。

之后，进行LBP修正：

在候选位置所在点周围确定车辆的最终位置，根据历史速度dx和dy生成8个样本点，其中，dx和dy即表示以候选位置为中心在x轴和y轴方向上的样本点偏移量，每个点都作为跟踪位置的候选点，并生成与目标模板大小对应的图片块，按相同方法计算每个图片块的LBP纹理直方图并与目标模板的LBP纹理直方图计算得到候选相似度，将最相似的样本点即作为最终的车辆跟踪位置，返回新位置信息，同时更新目标模板的LBP纹理直方图。

为了实现连续观测，在计算完已跟踪车辆的最新位置信息后还需判断是否有新车辆出现，即在检测区内继续对车辆进行检测，根据目标重叠面积信息剔除检测到并已在跟踪的车辆，如设新检测到的车辆为，如果，则认为该检测车辆已经处于跟踪状态，将其从检测列表中删除，将剩余的车辆作为新目标，初始化目标信息及LBP纹理直方图，进入循环跟踪状态。

为了确认本发明在实际应用中的效果，经测试后得出本发明的实时性测试数据表，如表1所示：

按照上述实施例，便可很好地实现本发明。

Claims (4)

1.一种鲁棒性车辆实时检测与跟踪方法，其特征在于，包括以下步骤：

（1）采用离线训练方式从车辆监测视频图片中截取车辆头部或尾部图片作为正样本，使用不包含车辆的任意图片作为负样本，并将正、负样本按1:2的比例搜集；

（2）提取正、负样本的Haar-like特征，并使用adaboost算法进行离线训练得出对车辆的判断逐级增强的级联分类器；

（3）输入目标图片，提取目标图片的所有Haar-like特征，使用级联分类器对目标图片的Haar-like特征进行检测识别，并根据识别出的Haar-like特征判断目标图片中车辆的特征分布信息，并在检测出车辆时记录目标车辆的车辆信息；

（4）建立跟踪列表，将目标车辆添加入跟踪列表，采用光流法对跟踪列表中的车辆进行位置预测，并判定车辆与预测位置间是否存在遮挡物，若存在遮挡物，则结合车辆的运动信息和LBP纹理直方图进行分析，得出修正后的车辆预测位置；

（5）根据车辆的初始位置和预测位置进行路径跟踪；

所述步骤（4）中，当存在遮挡物时车辆预测位置的具体计算方法如下：

（4a）设定车辆能够接受的被外界最大程度影响下车辆运动速度变化量的阈值和车辆预测位置下与初始目标模板的LBP纹理直方图间的相似度阈值；

（4b）计算前后两帧间车辆的运动速度变化量和当前帧中预测位置下相同尺寸的目标与初始目标模板的LBP纹理直方图间的相似度；

（4c）判定计算出的运动速度变化量和相似度与各自已设定的阈值间的大小关系，当计算出的运动速度变化量和相似度均大于各自已设定的阈值时，采用LBP重采样的方式对车辆的预测位置进行修正，直至计算出的运动速度变化量和相似度中的至少一个小于已设定的阈值。

2.根据权利要求1所述的一种鲁棒性车辆实时检测与跟踪方法，其特征在于，所述步骤（1）中，正样本图片的大小为20×20~100×100，负样本图片的大小不小于20×20。

3.根据权利要求1所述的一种鲁棒性车辆实时检测与跟踪方法，其特征在于，所述步骤（3）中，车辆信息包括车辆初始位置信息和尺寸。

4.根据权利要求1所述的一种鲁棒性车辆实时检测与跟踪方法，其特征在于，所述步骤（3）中，进行车辆检测前先初始化待检测区域，在检测到具有车辆的目标图片时将目标图片划分为均等的矩形网络，计算其LBP纹理直方图，并将该计算出的LBP纹理直方图作为步骤（4）中进行后续跟踪的匹配修正模板。