CN108230254B - 一种自适应场景切换的高速交通全车道线自动检测方法 - Google Patents

Abstract

一种自适应场景切换的高速交通全车道线自动检测方法，涉及基于视频图像的目标识别、应用于高速公路交通场景下的视频监控数据的智能分析系统。本发明方法对高速监控设备视频信息进行采集、分析和控制，它的方法步骤为：1）视频数据的场景预处理：2）所有车辆的运动轨迹方向分析，即灭点估计：3）透视投影处理：4）建立车道模型：5）车辆跟踪处理：6）检测收敛迭代处理。同现有技术相比，本发明能在不依赖相机内外参数、所有天气条件、所有道路交通状况下，对高速公路上的各车道完成检测、分析和定位。

Description

一种自适应场景切换的高速交通全车道线自动检测方法

技术领域

本发明涉及基于视频图像的目标识别、应用于高速公路交通场景下的视频监控数据的智能分析系统，特别是自适应场景切换的高速交通全车道线自动检测方法。

背景技术

车道线的识别是图像处理和交通智能化领域的一个重要分支，特别是近年来，随着智能汽车、驾驶辅助、甚至无人驾驶的研究，车道线识别的技术得到了研发人员的重视，并且会在未来随着人们对识别精度、速度和场景适应性的要求越来越高，使得车道线识别的研究愈发迫切。

在过去几十年中，国内外许多专家学者在车道线识别和跟踪系统方面已经做出了很多积极有意义的探索。国外一些关于智能车辆辅助驾驶系统的研究成果已经比较成熟，有些已经投入到商业化应用中。其中，具有代表性的系统主要由：意大利帕尔玛大学开发的GOLD系统；美国密歇根州立大学人工智能实验室开发的LOIS系统；美国卡内基梅隆大学开发的RALPH系统；美国卡内基梅隆大学机器人学院NavLab实验室和Vision&AutonomousSystem Center联合开发的SCARF系统和ALVINN系统。

近年来，我国在该领域也做了一些积极的探索和研究，但是与其他发达国家相比起步比较晚，因此，国内在该领域的研究和探索还存在一定的改进空间。国内比较成熟的研究成果主要有：清华大学计算机智能技术与系统国家重点实验室研制的THMR系统：该项目采用的道路模型是直线模型，利用多窗口的双阈值二值化进行特征提取，在后续处理中采用增强转移网络来完成，在算法实时性方面做得比较好，但由于采用的是直线模型，因此只能对直线车道进行检测和识别。吉林工业大学研制的JUTIV系统：该项目采用3D回旋曲线为道路模型，用最大类方差方法来设定阈值提取道路边缘，利用随即采用的LmedSquare方法进行车道线曲线拟合，同时结合了驾驶员稳态预瞄原理，建立了车道线拟合的预测区域，并进一步利用多传感器信息融合技术对复杂环境下的车道线检测识别与跟踪等关键技术做了系统研究。

但上述国内的探索和研究成果均没有应用于实际交通项目，没有可供参考的现有专利，也无从分析现有技术在实际道路应用中的缺陷，那么在此就分析一下将车载ADAS车道线检测系统所涉及到的相关技术应用在高速交通视频全车道线检测系统上存在的问题：

首先，ADAS用到了相机的内外参数，内参数是描述相机内参感光元器件的固有物理指标的参数，在硬件制造成型就已经确定，而大多数高速监控相机的内参数是常数；外参数是描述相机安装完成后，相机的主光轴与道路平面道路方向之间的几何关系，而每个相机的安装后姿态都不一致，因此我们需要对外参数进行估计。基于高速监控的视频数据由于其可能经常发生焦距、角度的调整使得车道线检测系统无法获取相机的姿态信息，这使得传统的投影变换无法满足全车道线检测的要求。

其次，由于国内高速道路交通系统复杂，有的道路处于匝道口、有的道路车道间有多个绿化隔离带，车道线检测很难用一个统一的模型来解决所有的场景差异问题。例如系统不能自动检测整个道路的车道数目，因此车道数是作为系统的配置参数来解决的。最后，由于道路所处的天气等外界因素影响，使得车道线标记在极端天气条件下（如雨雪、大雾等）、车道线磨损、被其他物体或者拥堵车辆遮挡等情况下，传统方法很难精确地检测到车道线。

发明内容

针对上述现有技术中存在的问题，本发明的目的是提供一种自适应场景切换的高速交通全车道线自动检测方法。它能在不依赖相机内外参数、所有天气条件、所有道路交通状况下，对高速公路上的各车道完成检测、分析和定位。

为了达到上述发明目的，本发明的技术方案以如下方式实现：

一种自适应场景切换的高速交通全车道线自动检测方法，它对高速监控设备视频信息进行采集、分析和控制，它的方法步骤为：

1）视频数据的场景预处理：

对传入的视频图像数据进行滤波、去除噪声，消除非车道线的干扰；

2）所有车辆的运动轨迹进行方向分析，进而灭点估计：

通过对图像内的车辆运动跟踪轨迹进行拟合，并融合到滤波后的图像，根据融合图像中每一点的梯度方向和幅值向图像上方投票，根据每个像素点的投票累计之和搜索投票重合点，统计得出分数最高的投票重合点即为最终的灭点；

3）透视投影处理：

利用初始相机内参数和基于灭点估计出来的相机外参数，进行逆透视投影变换，将车道线相交于灭点的原始图像变换为车道线相互平行的鸟瞰视图；

4）建立车道模型：

将车道数目作为输入参数，基于透视变换后平行的车道线图建立车道模型；

5）车辆跟踪处理：

采用KCF跟踪方法对车辆检测目标进行跟踪，每个车辆形成一个轨迹；

6）检测收敛迭代处理：

分为两个环节：首先估计出车道宽度、中央隔离带宽度和起始位置的可变搜索参数，并使各车道线之间宽度一致，对每次估计出的车道线采用特定的打分机制，当车道线真实覆盖车道标记时分数最高，即为最佳检测结果；其次，大量车辆轨迹通过的区域即为车道中央区域，而近邻车道中央区域之间即为车道线位置；结合两个约束条件综合评判，得到车道线的最佳估计结果。

本发明由于采用了上述方法，与现有技术相比的优点在于：本发明是实际应用于分析道路运行情况的智能交通系统，而且适用于高速监控分析系统中的全车道线检测，属国际首创。本发明不同于现有的ADAS（高级汽车驾驶辅助系统）和自动驾驶，它通过对高速监控设备视频信息的采集、分析和控制完成服务器端的计算，能掌控所有道路上的交通信息。而且，本发明的检测结果不受相机内外参数、天气条件、道路交通等因素的影响，具有准确、高效、可靠性高的特点。

下面结合副图和具体实施方式对本发明作进一步说明。

附图说明

图1为本发明的方法流程图；

图2为本发明实施例中灭点检测示意图；

图3为本发明实施例中车道线估计收敛后最佳结果示意图；

图4为现有技术中ADAS识别示意图；

图5为采用本发明技术的识别示意图。

具体实施方式

参看图1，本发明自适应场景切换的高速交通全车道线自动检测方法，它对高速监控设备视频信息进行采集、分析和控制，它的方法步骤为：

1）视频数据的场景预处理：

为了突出车道线信息弱化其它信息，对传入的视频图像数据进行滤波、去除噪声，消除非车道线的干扰。

2）参看图2，所有车辆的运动轨迹进行方向分析，进而灭点估计：

灭点指的是立体图形各条边的延伸线所产生的相交点。在透视投影中，一束平行于投影面的平行线的投影可以保持平行，而不平行于投影面的平行线的投影会聚集到一个点，这个点成为灭点（Vanishing Point）。在高速交通场景下的图像灭点，表现为平行的车道线和车道边缘在镜头成像上的远处交点。

通过对图像内的车辆运动跟踪轨迹进行拟合，并融合到滤波后的图像，根据融合图像中每一点的梯度方向和幅值向图像上方投票，根据每个像素点的投票累计之和搜索投票重合点，统计得出分数最高的投票重合点即为最终的灭点。

3）透视投影处理：

透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)。基于图像透视投影变换的车辆道路交通视频测速方法，应用于现有道路交通视频监控系统。图像透视投影成像原理，是通过已知的相机内外参数，经逆透视投影变换将一定范围内的图像变换到鸟瞰视图。

利用初始相机内参数和基于灭点估计出来的相机外参数，进行逆透视投影变换，将车道线相交于灭点的原始图像变换为车道线相互平行的鸟瞰视图，为车道线模型的收敛过程提供关键的数据基础。

4）建立车道模型：

将车道数目作为输入参数，基于透视变换后平行的车道线图建立车道模型；

5）车辆跟踪处理：

视觉目标跟踪是绝大多数视觉系统中不可或缺的环节。目标视觉跟踪(VisualObject Tracking)可分为两大类：生成(generative)模型方法和判别(discriminative)模型方法。目前得研究热门是判别类方法，也叫检测跟踪tracking-by-detection。生成类方法，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等。判别类方法的思路是图像特征+机器学习，当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域。与生成类方法最大的区别，是分类器训练过程中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。分类器所用到的特征包含的信息越丰富，检测跟踪效果越好。

采用KCF跟踪方法对车辆检测目标进行跟踪，每个车辆形成一个轨迹，属于Tracking-By-Detection类视觉跟踪技术，该类方法和检测算法非常相似，如经典行人检测用HOG+SVM，Struck用到了Haar+Structured Output SVM，跟踪中为了尺度自适应也需要多尺度遍历搜索。区别仅在于跟踪算法对特征和在线机器学习的速度要求更高，检测范围和尺度更小而已。判别类方法的最新发展就是相关滤波类方法，Correlation Filter简称CF，或Discriminative Correlation Filter简称DCF，或KCF（Kernelized CorrelationFilters）。

6）检测收敛迭代处理：

参看图3，分为两个环节：首先估计出车道宽度、中央隔离带宽度和起始位置的可变搜索参数，并使各车道线之间宽度一致，对每次估计出的车道线采用特定的打分机制，当车道线真实覆盖车道标记时分数最高，即为最佳检测结果；其次，大量车辆轨迹通过的区域即为车道中央区域，而近邻车道中央区域之间即为车道线位置；结合两个约束条件综合评判，得到车道线的最佳估计结果。

本发明技术方案的算法不同于现有技术中的车道线检测算法，其区别主要在于以下几点：

第一，本技术为国内首次开发并应用于智能交通分析系统，为国内首创，经过国内外市场调查，目前国内外已经投入使用的高速监控分析系统中还没有全车道线检测模块。

第二，应用平台有差异，现有的系统主要应用于ADAS（高级汽车驾驶辅助系统）和自动驾驶，一般使用嵌入式开发平台，而本发明应用于智能交通的监控分析系统，目前主要在服务器端进行计算。

第三，算法应用场景不同，现有的车道线检测识别系统都是基于车载摄像头拍摄的动态交通场景，算法主要考虑行驶车辆两侧的车道线信息。如果发生非主动跨道，系统会发生报警或者主动调整车辆的行驶方向，而本发明的应用场景在于高速监控摄像头拍摄的交通场景，算法分析的场景不变，但必须计算道路上的所有车道线信息，这在算法设计上有较大区别。

第四，算法的检测识别结果不同，现有系统只需要识别所驾驶车辆所在车道两侧的标志线或者临近车道的标志线，而本发明需要识别出所有的车道线，如图4和图5所示。

最后，精度要求不同，车载的ADAS系统出于行车安全考虑，要求的精度较高，一般为厘米级。而本交通分析系统一般是为了估计各个车道的测流量等交通参数，因此分米级精度就能满足生产要求。

Claims (1)

1.一种自适应场景切换的高速交通全车道线自动检测方法，它对

高速监控设备视频信息进行采集、分析和控制，它的方法步骤为：

1）视频数据的场景预处理：

对传入的视频图像数据进行滤波、去除噪声，消除非车道线的干扰；

2）所有车辆的运动轨迹进行方向分析，进而灭点估计：

通过对图像内的车辆运动跟踪轨迹进行拟合，并融合到滤波后的图像，根据融合图像中每一点的梯度方向和幅值向图像上方投票，根据每个像素点的投票累计之和搜索投票重合点，统计得出分数最高的投票重合点即为最终的灭点；

3）透视投影处理：

利用初始相机内参数和基于灭点估计出来的相机外参数，进行逆透视投影变换，将车道线相交于灭点的原始图像变换为车道线相互平行的鸟瞰视图；

4）建立车道模型：

将车道数目作为输入参数，基于透视变换后平行的车道线图建立车道模型；

5）车辆跟踪处理：

采用KCF跟踪方法对车辆检测目标进行跟踪，每个车辆形成一个轨迹；

6）检测收敛迭代处理：

分为两个环节：首先估计出车道宽度、中央隔离带宽度和起始位置的可变搜索参数，并使各车道线之间宽度一致，对每次估计出的车道线采用特定的打分机制，当车道线真实覆盖车道标记时分数最高，即为最佳检测结果；其次，大量车辆轨迹通过的区域即为车道中央区域，而近邻车道中央区域之间即为车道线位置；结合两个约束条件综合评判，得到车道线的最佳估计结果。

Images