CN107909012A - 一种基于视差图的实时车辆跟踪检测方法与装置 - Google Patents

Abstract

本发明公开了一种基于视差图的实时车辆跟踪检测方法与装置，该实时车辆跟踪检测方法包括：对获取的路面图像进行图像处理，得到疑似车辆区域；通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；判断所述评价结果是否符合预设标准，在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。本发明基于视差图，在计算资源极其有限的情况下，对车辆进行实时跟踪检测，在保障车辆检测精度的前提下提高了定位的实时性和稳定性。

Description

一种基于视差图的实时车辆跟踪检测方法与装置

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于视差图的实时车辆跟踪检测方法与装置。

背景技术

近年来，随着我国公路交通运输网络的完善、物流事业的蓬勃发展、以及人民生活水平的提高，人们会越来越倾向于选择车辆出行或代步，致使越来越多的车辆行驶在道路上。由于在行车过程中，驾驶员会产生疲劳，道路路面环境会不断变化，以及光照强弱变化、阴天、雾霾等天气因素带来的影响，给车辆的安全行驶带来极大的威胁，极端条件下还可能会导致安全事故，造成生命和财产的损失。为解决这一困扰汽车安全行驶的问题，汽车安全辅助驾驶系统应运而生。

汽车安全辅助驾驶系统是一种能在行车过程中主动帮助驾驶员排除潜在危险要素的辅助设备，它能使驾驶员提前感知到对车辆可能造成危害的车辆或行人并提前预警，帮助驾驶员做出有利于安全行车的决策，从而提高驾驶安全性，有效杜绝交通事故的产生。

在汽车安全辅助驾驶系统中，车辆检测与跟踪技术是最关键的技术之一。一般地，最有可能给行车车辆造成危险的因素是行车车辆附近的车辆。因而通过分析当前行车车辆路面的图像序列，检测出周边的车辆并对其轨迹进行跟踪和预测，结合周边环境信息可获得最优安全行车路线，可有效提高行车效率、同时提高行车安全性。

传统的车辆检测方法主要包括经典的背景相减法、光流法、帧差分等，其主要思想是获取运动物体的区域信息得到车辆候选区域。得到候选区域后可通过模板匹配得到精确的车辆区域。但模板匹配易受影响较大，当库中不存在模板或模板与真实车辆相差很大时会造成漏检发生。另一种思路是利用机器学习算法对采集的车辆图像学习其描述特征，检测过程中将候选区域的特征与学习到的特征进行比较辨认，确认是否为真实的车辆区域。采用机器学习的检测方法在大多数情况下可获得较为可靠的检测结果，但由于引入了特征学习，多数机器学习算法运行速度慢，其实时性并不理想。

在车辆跟踪方面，应用较广的算法主要有Kalman滤波、Meanshift方法以及Camshift方法等。这些方法的共同特点是跟踪速度快，可满足工业需要，但其缺陷是只能跟踪一个目标，并不适用于多车环境下的路面图像；另外这些跟踪器需要在初始时指定一个跟踪对象，假若系统传递的是一个假样例车辆图像，则在后续存在无法修正的机会，造成误差传播。

因此，现有技术中的车辆跟踪检测存在准确性、实时性和稳定性很难同时兼顾的问题。

发明内容

本发明的主要目的在于公开一种基于视差图的实时车辆跟踪检测方法与装置，用于解决现有技术中的车辆跟踪检测存在准确性、实时性和稳定性很难同时兼顾的问题。

为达上述目的，根据本发明的一个方面，公开一种基基于视差图的实时车辆跟踪检测方法，并采用如下技术方案:

一种基于视差图的实时车辆跟踪检测方法包括：对获取的路面图像进行图像处理，得到疑似车辆区域；通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；判断所述评价结果是否符合预设标准，在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

进一步地，在所述对相应的各个车辆启用跟踪算法进行跟踪检测之后，所述实时车辆跟踪检测方法还包括：判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果；在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

进一步地，所述预设检测模型的获取方法包括；从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

进一步地，所述在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型包括：计算所述测试结果与所述真实区域的交集，记为：GT∩DR；计算所述测试结果与所述真实区域的并集，记为：GT∪DR；求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

进一步地，所述稳定性评价算法包括：获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。

根据本发明的另外一个方面，提供一种基于视差图的实时车辆跟踪检测装置，并采用如下技术方案：

一种基于视差图的实时车辆跟踪检测装置包括：图像处理模块，用于对获取的路面图像进行图像处理，得到疑似车辆区域；检测模块，用于通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；评价模块，用于通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；第一判断模块，用于判断所述评价结果是否符合预设标准，并在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

进一步地，所述的实时车辆跟踪检测装置还包括：第二判断模块，用于判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；第三判断模块，用于在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果；结束模块，用于在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

进一步地，所述检测模块还包括：筛选模块，用于从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；人工裁决模块，用于根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；训练模块，用于从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；人工标注模块，用于从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；测试模块，用于在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

进一步地，所述测试模块包括：第一计算模块，用于计算所述测试结果与所述真实区域的交集，记为：GT∩DR；第二计算模块，用于计算所述测试结果与所述真实区域的并集，记为：GT∪DR；求取模块，用于求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；第四判断模块，用于判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

进一步地，所述评价模块包括：获取模块，用于获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；比较模块，用于以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；确认模块，用于根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。

本发明通过车载双目设备获取车辆前方包含行车车辆的路面图像，通过标定的摄像机参数计算得到视差图及V视差图，综合图像处理技术可得到疑似车辆区域，在此基础上利用机器学习算法和训练模型对疑似区域进一步运行检测车辆算法，得到车辆的准确位置信息，再综合运用最近的三帧路面图像中已检测到的车辆信息，对当前帧中的每一辆新检测的车辆进行稳定性评价，对评价给予通过的车辆在下一帧启用车辆跟踪算法，获得稳定的检测结果。同时，在已启用车辆跟踪的图像中，若其在接下来的连接3帧图像中消失，则将其跟踪目标集中移除，结束该对象的跟踪算法。本发明技术方案考虑到了实际行车中的各种情况，有效节约了车辆检测的时间，最大限度地保证了车辆检测的精度及其稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所述的基于视差图的实时车辆跟踪检测方法；

图2为本发明实施例所述的检测算法流程图；

图3为本发明实施例二所述的基于视差图的实时车辆跟踪检测方法；

图4为本发明实施例所述的跟踪算法流程图；

图5本发明实施例所述的基于视差图的实时车辆跟踪检测装置示意图；

图6为本发明实施例所述基于视差图的实时跟踪检测装置示意图装置。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一

参见图1所示，一种基于形态学重建的车道线检测方法包括：

S101：对获取的路面图像进行图像处理，得到疑似车辆区域；

S103：通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；

S105：通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；

S107：判断所述评价结果是否符合预设标准，在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

具体的，在执行步骤S101之前，首先初始化车辆检测器并载入预设检测模型；其中，车辆检测器内置车辆检测算法，初始化主要是分配车辆检测算法所需的计算内存，准备必要的计算资源。此外，所述预设检测模型是通过已构建的离线样本训练得到。

在步骤S101中，对获取的路面图像进行图像处理，得到疑似车辆区域。具体的，获取的路面图像是通过双目摄像机获取路面图像，并载入车辆检测器，其操作步骤可为：

(a)根据当前行车路面，标定双目摄像机参数；

(b)从左目摄像机中获取一幅路面图像，此图像为当前路面的左目描述；

(c)从右目摄像机中获取一幅路面图像，此图像为当前路面的右目描述；

应当注意到，本发明所述方法及装置只适配于正常行车环境中的车辆，基于此，所述路面图像是指可用于正常行车车辆的公共道路交通环境下影像系统对当前环境的图像数字化描述。

在获取路面图像之后，步骤S101对道路图像进行图像处理。首先利用摄像头标定后得到的内外参数进行图像矫正，此时两幅图像对应特征点的纵坐标一致，而横坐标仍存在差异，其差异值即为视差。视差原意是指站在不同地点观察同一目标所产生的方向差异。在机器视觉中，视差尤指利用距离目标相同距离的摄像头拍摄同一目标时产生的方向之差。若以任一图像为基准图像，同时以基准图像的大小和灰度值为参考，比对图像与基准图像在相同坐标系下相同位置的像素值的差异大小所构成的图像称为视差图。视差图亦包含了场景的距离信息，是机器视觉研究中最为活跃的领域之一。可以通过以下步骤得到视差图：可从视差图直接导出V视差图。V视差图可以视作是视差图的横向投影，即侧视图。在路面图像中，平坦的路面的V视差图表现为一段直线。利用这个特性，在汽车安全辅助驾驶系统的设计中，结合直线检测方法(例如Hough变换)，V视差图可以用来拟合路面。机器视觉领域存在很多改进的Hough变换方法用以检测直接，此处不再赘述。

进一步的，基于所得的V视差图，运用图像处理技术，获取疑似车辆区域。

在V视差图中，拟合的直线即为路面，其斜线会与物体产生交汇；假设以路面斜线为基准，则障碍物会位于路面之上，因而可将交叉点上物体判断为可能的车辆。按此想法，可设定一个合适的阈值，运用数字图像处理中的数学形态学运算，可得到候选车辆区域，即疑似车辆区域。

视差值越大表明物体离摄像头距离很近，实际设置的阈值需要根据识别的物体作相应调整。所述数学形态学运算包括膨胀、腐蚀、开运算、闭运算等。所述形态学运算适配于二值图像。

在步骤S103中，通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息。

在步骤S101基础上，利用机器学习算法和预设检测模型对疑似车辆区域运行车辆检测算法，在疑似车辆区域中得到各个车辆的初始位置及距离信息。首先，车辆检测算法在图2示出的实施例中具体阐述，此处不再赘述。而预设检测模型则是利用机器学习算法，对大量样本道路图像进行机器学习而得到的。

具体的，预设检测模型通过如下方式获取：

从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

更进一步地，所述在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型包括：计算所述测试结果与所述真实区域的交集，记为：GT∩DR；计算所述测试结果与所述真实区域的并集，记为：GT∪DR；求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

进一步地，在步骤S105中，通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果。

具体的，稳定性评价算法包括：获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。

本实施例通过上述技术方案，对确切获得检测车辆的信息引入车辆图像评价等算法，即依据车辆区域的图像信息，对区域中的纹理、颜色、几何统计特性对车辆区域进行二次确认，以获得对检测区域的置信度。然而，复杂的评价机制虽可保证车辆区域信息的正确性，但会带来计算时间上的开销，使得实际系统很难部署到嵌入式设备中。为克服这一困难，本发明引入稳定性评价，使得在下一帧中只进行车辆跟踪而不进行车辆检测，在稳定性的基础上加快处理时间。

在步骤S107中，判断所述评价结果是否符合预设标准，在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

在步骤S107中，跟踪算法具体在图4实施例中具体阐述，本步骤中的评价结果符合预设标准时，启用跟踪算法，所谓预设标准，是若前当帧中存在追踪对象，则继续保持其活跃状态的描述，目的是在下一帧中让跟踪器继续跟踪该车辆；若当前帧中不存在已有的跟踪对象，应将其活跃等级下降一级，警示跟踪目标可能已消失。若跟踪目标在接下来的连续三帧中消失，则应将其从跟踪器的列表中移除，后续图像序列不再对该对象进行跟踪，意味着该车辆对象已从视图中消失。

本发明将车辆检测算法运行在疑似车辆区域且非车辆跟踪区域上，只进行局部检测，大大加快了检测效率。传统的车辆检测算法在整个图像空间中搜索，存在检测效率低、误检率高的缺陷。通过前述V视差图的处理，可以把大部分不存在车辆的区域排除掉，只保留少量存在车辆的小区域。本发明通过结合深度视差图，有效抑制在非车辆区域检测出车辆图像，大大提高了检测精度。

作为优选的实施方式，车辆检测算法的实施流程如图2所示，车辆检测算法包括：

S200：开始；

S202：载入检测器并初始化参数；

S204：获取左目路面图像；

S206：获取右目路面图像；

S208：计算视差图及V视差图；

S210：应用图像处理技术，设定路面阈值，计算障碍物区域；

S212：统计区域特性，得到疑似车辆区域；

S214：判断是否为跟踪区域，若是，执行S216，若否，执行S218；

S216：车辆跟踪；

S218：判断是否存在车辆，若是，执行S220，若否，返回执行S204及S206；

S220：保存车辆区域信息；

S222：判断是否退出检测，若是进入S224，若否，返回执行步S218.

S224：结束。

作为优选的实施例，图3为本发明实施例二所述的基于视差图的实时车辆跟踪检测方法。

在图3中，给出了更为具体的基于视差图的实时车辆跟踪检测方法流程图，具体包括：

步骤S100：初始化车辆检测器；

步骤S102：载入双目路面图像；

步骤S104：计算视差图及V视图；

步骤S106：提取疑似车辆候选区域；

步骤S108：运行车辆检测算法；

步骤110：对结果实施稳定性评价；

步骤S112：判断是否对车辆跟踪，若是，进入步骤S116，若否，执行步骤S114；

步骤S114：对下一帧图像返回执行步骤S102；

步骤S116：进入车辆跟踪模式；

步骤S118：判断是否结束跟踪，若是，直接结束，若否，步骤S120；

步骤S120：返回执行步骤S112。

需要说明的是，系统初始化时立即载入检测器并初始化检测器的所有参数，分别从左目摄像机和右目摄像机读入两幅图像，利用标定的摄像机内外参数计算得到视差图和V视差图，设定路面阈值、结合数字图像处理技术，获得只存在疑似车辆候选区域。对所有候选区域作统计其区域信息(如长宽比、面积、实际面积与拟合外接矩形的比率等几何特性及纹理特征)进一步筛选符合车辆特征的有效区域，即有疑似车辆候选区域。通过融合前几帧的先验知识，获得该区域不是跟踪区域的断言后，提取该区域的类Haar特征，输入Adaboost分类器识别；可选地，不断对该候选区域进入一定的尺寸变换，再提取出类Haar特征，输入Adaboost分类器识别。最后综合分类器的识别结果得到车辆位置信息，将其保存在列表中，以供跟踪器使用。若在区域中无法检测到车辆信息，即进入下一帧图像处理重复前述步骤。若系统接收到退出检测的信息，则即退出检测算法。本领域存在很多算法进行图像相似性评价，在此不再赘述。此步骤的目的是在下一帧中将此车辆的算法切换回跟踪算法，以加快检测进程。

目标跟踪选用KCF(KernelizedCorrelationFilter)算法，其跟踪速度非常适合嵌入式设备。

图4给出了车辆跟踪算法，具体步骤如下：

S300：开始；

S302：车辆检测结果；

S304:车辆跟踪区域；

S306：判断是否新跟踪车辆，若是，执行S308，若否，执行S312；

S308：判断是否通过稳定性评价，若是执行S312，若否，执行S310；

S310：保存当前车辆信息；

S312：获取车辆跟踪区域；

S314：预测车辆新位置及区域；

S316：判断追踪器是否有结果，若是，执行S320，若否，执行S318；

S318：在跟踪列表中维持当前车辆的活跃状态；

S320：减少当前车辆活跃级别，并丢弃活跃级数过低的车辆信息；

S322：返回车辆跟踪结果。

需要说明的是，若当帧中存在追踪对象，则继续保持其活跃状态的描述，目的是在下一帧中让跟踪器继续跟踪该车辆；若当前帧中不存在已有的跟踪对象，应将其活跃等级下降一级，警示跟踪目标可能已消失。若跟踪目标在接下来的连续三帧中消失，则应将其从跟踪器的列表中移除，后续图像序列不再对该对象进行跟踪，意味着该车辆对象已从视图中消失。

跟踪器的追踪列表保存了当前需要跟踪的车辆情况，通过降低其活跃等级，指示其实时状态，从而对跟踪对象进行实时更新状态，避免在行车过程中对大量无用的车辆信息进行保存，造成存储空间的浪费。简而言之，跟踪列表只保存需要跟踪的车辆信息，丢弃过时的车辆信息，因而其处理速度吻合实时要求。通过跟踪算法对已有车辆进行位置信息的预测，大大减少了检测时间开销，从而提高车辆检测的稳定性和实时性。

步骤S308中判断是否通过稳定性评价，通过如下方案得到：

作为优选的实施方式，在所述对相应的各个车辆启用跟踪算法进行跟踪检测之后，所述实时车辆跟踪检测方法还包括：判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果；在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

图5本发明实施例所述的基于视差图的实时车辆跟踪检测装置示意图。一种基于视差图的实时车辆跟踪检测装置包括：图像处理模块20，用于对获取的路面图像进行图像处理，得到疑似车辆区域；检测模块40，用于通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；评价模块60，用于通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；第一判断模块80，用于判断所述评价结果是否符合预设标准，并在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

进一步地，所述的实时车辆跟踪检测装置还包括：第二判断模块(图中未示)，用于判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；第三判断模块(图中未示)，用于在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果；结束模块(图中未示)，用于在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

进一步地，所述检测模块40还包括：筛选模块(图中未示)，用于从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；人工裁决模块(图中未示)，用于根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；训练模块(图中未示)，用于从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；人工标注模块(图中未示)，用于从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；测试模块(图中未示)，用于在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

优选地，所述测试模块包括：第一计算模块(图中未示)，用于计算所述测试结果与所述真实区域的交集，记为：GT∩DR；第二计算模块(图中未示)，用于计算所述测试结果与所述真实区域的并集，记为：GT∩DR；求取模块(图中未示)，用于求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；第四判断模块(图中未示)，用于判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

优选地，所述评价模块60包括：获取模块(图中未示)，用于获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；比较模块(图中未示)，用于以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；确认模块(图中未示)，用于根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。

基于实施例相同的思想，本发明提供了一种基于视差图的实时跟踪检测装置，如附图6所示。所述实时跟踪检测装置包括：图像获取单元400、候选区域提取单元402、车辆检测单元404、检测结果评估单元406、车辆策略切换单元408、车辆跟踪单元410。其中：

400图像获取单元400，被配置为通过安装于车载前方的双目视觉相机，获取包含车辆的路面图像；

402候选区域提取单元402，被配置为根据同一时间捕获的左目路面图像和右目路面图像，计算视差图及V视差图，进行数学形态学处理得到候选车辆区域；

车辆检测单元404，被配置为通过预载入的车辆检测模型，从候选车辆区域中检测真实车辆位置及区域大小；

检测结果评估单元406，被配置为对未被标记为跟踪车辆的真实车辆，根据最近三帧车辆的检测结果集合对现有检测结果进行稳定性分析并作出评价，确定其是否适合加入跟踪对象；

车辆策略切换单元408，被配置为依据最近车辆检测结果或车辆跟踪结果，在车辆检测状态和车辆跟踪进行策略切换的功能；

车辆跟踪单元410，被配置为根据给定的车辆位置信息，在候选车辆区域中对目标车辆运行目标跟踪算法，使得在相临帧图像间能目标车辆的稳定性描述。

在本发明实施例一些可选的实现方式中，车辆检测单元404还包括以下子单元：

图像获取单元，被配置为通过安装于车载前方的双目视觉相机，获取包含车辆的路面图像；

语义图像筛选单元，被配置为筛选出具有典型语义的图像组成训练集图像集和测试集图像集；

训练图像集构建单元，被配置为根据要识别的车型特征，从语义图像筛选结果中裁剪出车辆图像和背景图像，组成离线训练库；

训练模型生成单元，被配置为从离线训练库中对所有样本图像(包含正样本图像和负样本图像)抽取描述特征，设定不同的训练参数、将正负样本的描述特征输入分类器训练得到各种参数下的检测模型文件；

测试图像集构建单元，被配置为从测试图像集选取各种天气、不同光照下的含有正常行车姿态的车辆图像，人工标注出车辆位置和车辆区域，得到车辆测试图像集的真实位置信息；

检测模型评价与输出单元，被配置为在测试图像集上对不同给定参数的训练模型进行测试，将其输出结果与人工标定的真实位置信息进行评估，输出具有最高检测精度的训练模型。此模型文件可认为是训练器所能获得的最优模型。

需要说明的是，尽管在汽车安全辅助驾驶系统的背景下描述了本发明实施例，但是本发明实施例也可以应用于智能交通系统及工程等其他技术领域。

本领域的技术人员应该清楚地看到，为描述的简洁性，所述的方法与装置和单元的工作过程可参照前述实施例中对应部件的描述，在此不再赘述。

本发明所提供的几个实施例，还可以通过其他的方式实现。本申请仅提供示意性的实施例以方便文字解释。例如，可通过组合功能或拆分功能，或忽略部分功能，根据实际情况进行实现。当然，功能模块之间的耦合、通信连接可以通过一些通信接口、装置、或单元的耦合或通信连接进行连接，也可以采取其他方式，例如机械、电性等。尽管本发明选用分模块的方式进行阐述的，但在实际实用中，可根据需要将上述功能分配予不同的功能模块来实现或组装，以实现所述功能。

本发明提供的一种基于视差图的实时车辆检测与跟踪装置，各功能单元可以集成在一个处理单元中，亦可单独分开。可选地，为实现更好的模块耦合，还可能将几个单元组合在一起。

本发明实施例所提供的基于视差图的实时车辆检测与跟踪算法的计算机程序产品，包含了存储于计算机可读存储介质的计算机程序逻辑和代码，所述程序用于执行前述实施例中所述方法。其中，所述计算机存储介质包括只读式存储介质和可擦写式存储介质，可以存在于计算机的内置介质或可移动介质中，包括RAM、硬盘、光盘或可热拔插的存储设备等。

本发明通过车载双目设备获取车辆前方包含行车车辆的路面图像，通过标定的摄像机参数计算得到视差图及V视差图，综合图像处理技术可得到疑似车辆区域，在此基础上利用机器学习算法和训练模型对疑似区域进一步运行检测车辆算法，得到车辆的准确位置信息，再综合运用最近的三帧路面图像中已检测到的车辆信息，对当前帧中的每一辆新检测的车辆进行稳定性评价，对评价给予通过的车辆在下一帧启用车辆跟踪算法，获得稳定的检测结果。同时，在已启用车辆跟踪的图像中，若其在接下来的连接3帧图像中消失，则将其跟踪目标集中移除，结束该对象的跟踪算法。本发明技术方案考虑到了实际行车中的各种情况，有效节约了车辆检测的时间，最大限度地保证了车辆检测的精度及其稳定性。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种基于视差图的实时车辆跟踪检测方法，其特征在于，包括：

对获取的路面图像进行图像处理，得到疑似车辆区域；

通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；

通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；

判断所述评价结果是否符合预设标准，在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

2.如权利要求1所述的实时车辆跟踪检测方法，其特征在于，在所述对相应的各个车辆启用跟踪算法进行跟踪检测之后，所述实时车辆跟踪检测方法还包括：

判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；

在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果；

在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

3.如权利要求1所述的实时车辆跟踪检测方法，其特征在于，所述预设检测模型的获取方法包括；

从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；

根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；

从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；

从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；

在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

4.如权利要求3所述的实时车辆跟踪检测方法，其特征在于，所述在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型包括：

计算所述测试结果与所述真实区域的交集，记为：GT∩DR；

计算所述测试结果与所述真实区域的并集，记为：GT∪DR；

求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；

判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

5.如权利要求1所述的实时车辆跟踪检测方法，其特征在于，所述稳定性评价算法包括：

获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；

以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；

根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。

6.一种基于视差图的实时车辆跟踪检测装置，其特征在于，包括：

图像处理模块，用于对获取的路面图像进行图像处理，得到疑似车辆区域；

检测模块，用于通过预设检测模型对所述疑似车辆区域进行车辆检测，获取所述疑似车辆区域内各个车辆的初始位置及距离信息；

评价模块，用于通过稳定性评价算法对所述各个车辆的初始位置及距离信息进行评价，得到一评价结果；

第一判断模块，用于判断所述评价结果是否符合预设标准，并在所述评价结果符合预设标准时，对相应的各个车辆启用跟踪算法进行跟踪检测。

7.如权利要求6所述的实时车辆跟踪检测装置，其特征在于，还包括：

第二判断模块，用于判断被跟踪车辆在当前帧图像的位置是否为边界，并得到第一判断结果；

第三判断模块，用于在所述第一判断结果为是的情况下，继续判断所述被跟踪车辆是否在接下来的连续3帧图像中消失，并得到第二判断结果

结束模块，用于在所述第二判断结果也为是的情况下，结束对所述被跟踪车辆进行跟踪算法。

8.如权利要求6所述的实时车辆跟踪检测装置，其特征在于，所述检测模块还包括：

筛选模块，用于从双目摄像机采集的道路图像集合中筛选出具有典型语义的道路图像组成训练图像样本集和测试图像样本集；

人工裁决模块，用于根据要识别的车型特征，从所述训练图像样本集中人工裁剪出车辆图像和背景图像，组成离线训练库；

训练模块，用于从所述离线训练库中对所有样本道路图像抽取描述特征，设定不同的训练参数、并将正负样本的所述描述特征输入分类器进行训练，得到各种所述训练参数下的检测模型文件；

人工标注模块，用于从所述测试图像样本集选取针对天气、光照下的含有正常行车姿态的车辆图像，并人工标注出所述车辆图像上的车辆位置和车辆区域，得到所述测试图像样本集的真实位置信息；

测试模块，用于在所述测试图像样本集上对不同设定参数的训练模型进行测试，将其测试结果与人工标定的真实区域进行评估，保留出符合预设条件的测试结果，并输出所述测试结果作为最终输出的所述预设检测模型。

9.如权利要求6所述的实时车辆跟踪检测装置，其特征在于，所述测试模块包括：

第一计算模块，用于计算所述测试结果与所述真实区域的交集，记为：GT∩DR；

第二计算模块，用于计算所述测试结果与所述真实区域的并集，记为：GTUDR；

求取模块，用于求取所述交集与所述并集之比，即为：其中，GT表示所述真实区域，DR表示所述测试结果；

第四判断模块，用于判断所述IoU是否大于预设阈值，并在所述IoU大于预设阈值时，确认所述测试结果为符合预设条件的测试结果。

10.如权利要求6所述的实时车辆跟踪检测装置，其特征在于，所述评价模块包括：

获取模块，用于获取当前帧路面图像中候选区域内的所有未标记为目标跟踪的车辆图像，并遍历上一帧路面图像中的所有未标记为跟踪对象的车辆图像，依据图像相似性指标在所述上一帧路面图像中找出具有最小差异的车辆图像，作为第一匹配结果；

比较模块，用于以所述匹配结果作为基准，找出所述上一帧路面图像之前的一帧路面图像中未标记为跟踪对象的车辆图像，比较出具有最小相似性的车辆图像作为第二匹配结果；

确认模块，用于根据相似性指标对所述第一匹配结果与所述第二匹配结果进行稳定性确认。