CN109871752A - 一种基于监控视频检测车流提取车道线的方法 - Google Patents

Abstract

本发明提供了一种基于监控视频检测车流提取车道线的方法，其方法为：利用路边摄像头数据，对道路上的车辆进行检测并提取车辆的行驶轨迹，通过提取的大量轨迹得到平均轨迹，从而提取出车道线，在光线较暗或者车道线不清晰的情况下依然可以运行，有较好的鲁棒性。

Description

一种基于监控视频检测车流提取车道线的方法

技术领域

本发明属于智能交通技术领域，特别涉及一种基于监控视频检测车流提取车道线的方法。

背景技术

车道线作为基本的交通标志线对智能交通有着重要的意义。能否准确实时地检测车道线是对车辆位置监控的前提条件。目前用来感知道路环境的传感器主要是监控摄像头，其采集信息量大，近距离检测精确，体积小，成本低。

目前针对车道线检测的技术方案主要有两类：传统的车道线检测方法主要基于边缘特征检测或者图像分割，易受到光照变化、行驶车辆、道路破损等干扰，导致算法鲁棒性下降，在不良天气和复杂环境下达不到所需的检测准确率。深度学习方法利用网络模型自动学习目标特征，具有较高的泛化能力，可以有效提高目标检测的准确率，但是对于一些夜间场景，或者车道线标线不清晰的场景的识别率依然比较低。

对于目前现有的车道线检测方法，在车道线清晰、遮挡程度低、光照条件好的情况下效果不错，但在车道线不清晰、夜景场景、车道线遮挡等场景中，常常无法检测出车道线。

发明内容

本发明所要解决的主要问题：克服摄像头数据分辨率低，场景光照变化大，道路标线不清晰等问题，提供一种基于监控视频检测车流提取车道线的方法，提高算法的鲁棒性，在极端场景下提高检测的准确性。

本发明技术解决方案：一种基于监控视频检测车流提取车道线的方法，主要进行两步分析操作。第一步，从摄像头视频数据中检测车辆的位置。第二步，从车辆的位置信息提取出平均轨迹，从而提取出车道线。

本发明基于路边摄像头数据，对道路上的车辆提取行驶轨迹，从而提取出车道线的方法，具体步骤实现如下：

第一步：对原始监控视频进行分帧处理，将监控视频数据转化为图片；

第二步：将所述图片输入目标检测模型中，将检测的车辆位置信息输出；

第三步：将第二步得到的所有车辆位置信息的中心点标记，得到车流密度图；

第四步：对第三步得到车流密度中的图片进行两次中值滤波处理，滤掉噪声点，同时使标记点更加聚集，得到处理后的图片；

第五步：对第四步处理过的图片进行霍夫直线检测，得到多条直线，将检测的多条直线的参数斜率、截距和长度保存下来；

第六步：将多条直线的参数斜率和截距进行归一化操作，使参数斜率和截距大小大于0小于1，然后对归一化后的数据进行k-means聚类处理，使多条直线聚为几类，具体的类别数由车道数决定；

第七步：将聚类后的每组直线参数按照长度取加权平均值，得到的直线即为车辆平均轨迹；

第八步：将相邻的直线两两取平均即为车道线。

所述第一步中，分帧处理中的帧数为25帧/秒，视频转化为的时长为10分钟。为了检测到足够多的车辆以便后续处理，需要一定时长的图片序列，经实验，10分钟的视频包含的车辆可以有效检测，如果车辆较少，可以增加时长至20分钟。

所述第二步中，位置信息包括车辆矩形框的坐标。车辆矩形框的坐标可以经后续处理定位车在图片中的位置。

所述第二步中，目标检测模型为faster-rcnn。faster-rcnn是基于深度学习的目标检测模型，可以对道路上的车辆进行检测和定位，准确率在同类模型中比较好。

所述第四步中，中值滤波处理中的核大小为5。经实验核大小为5的中值滤波可以将噪声点滤除，同时使轨迹点更加聚集。

本发明原理是：利用路边摄像头数据，对道路上的车辆进行检测并提取车辆的行驶轨迹，通过提取的大量轨迹得到平均轨迹，从而提取出车道线，在光线较暗或者车道线不清晰的情况下依然可以运行。与现有技术相比的优点在于：本发明克服了摄像头数据分辨率低，场景光照变化大，道路标线不清晰等问题，提高了鲁棒性，在极端场景下如光线较暗或者车道线不清晰的场景下提高检测的准确性。

附图说明

图1为本发明实现原理图；

图2为本发明车流密度效果图；

图3为本发明车流密度图经过中值滤波后的效果图；

图4为本发明检测的平均轨迹效果图。

具体实施方式

下面结合附图及实施对本发明进行详细说明。

如图1所示，本发明对原始数据进行处理，将摄像头视频转化为图片，将处理好的图片输入目标检测模型faster-rcnn中，将检测的车辆位置信息，包括车辆矩形框的坐标输出，标记在一张图片得到一张车流密度图，进行两次中值滤波处理，进行霍夫直线检测，将直线的参数斜率和截距进行归一化操作，然后对归一化后的数据进行k-means聚类处理，使直线聚为几类，将聚类后的每组直线参数按照直线的长度取加权平均值，得到的直线即为车辆平均轨迹，将相邻的直线两两取平均即为车道线。

具体实现如下：

第一步：对原始数据进行处理，利用ffmpeg工具将摄像头视频转化为图片，将大约10分钟的视频输入，转化的帧率为25帧每秒，得到一组总量约15000张的图片序列。

第二步：将第一部中得到的图片输入目标检测模型faster-rcnn中，目标检测模型可以将图片中的车辆检测出来，对于每一张图片中的每一辆车，模型可以得到图片中包含此车辆的矩形框。对于所有检测的矩形框，输出其矩形框的左上角的像素点位置(x，y)及矩形框的宽和高(记作w，h)。

第三步：将第二步所有的矩形框信息进行处理，由左上角像素点横坐标x加上二分之一倍的宽度w得到中心点横坐标，由左上角像素点纵坐标y加上二分之一倍的高度h得到中心点纵坐标。将所有矩形框中心点标记在一张黑色图片上，标记颜色为白色，大小为一个像素，得到一张车流密度图，如图2所示，图片中每一个白点即为一个矩形框的中心点。

第四步：为了去除噪声以及方便后续处理，对第三步的图片进行两次中值滤波处理，中值滤波的核大小为5，滤掉噪声点并且使得点更加聚集，得到一张处理后的图片，如图3所示，图中的白点更加聚集，并且大部分噪声点被滤掉。

第五步：对第四步处理过的图片进行霍夫直线检测，检测的直线阈值为20，会得到许多条直线。将检测的直线参数斜率，截距，长度保存下来。

第六步：将直线的参数斜率和截距进行归一化操作，使参数大小在0和1之间，对于数据k，归一化的公式为k*＝(k-min)/(max-min)，其中min、max分别为所有斜率中的最小值和最大值，k*是经过归一化的结果。然后对归一化后的数据进行k-means聚类处理，使直线聚为几类。

第七步：将聚类后的每组直线参数按照直线的长度取加权平均值，得到的直线即为车辆平均轨迹，如图4所示，其中白线即为根据加权平均值算出的平均轨迹。

第八步：将已经得到的车流平均轨迹，将相邻的两条轨迹取角平分线即可得到车道线，假设两条车流平均轨迹分别为y＝k1x+b1，y＝k2x+b2，那么它们的角平分线斜率k满足|k-k1|/(1+k1*k)＝|k2-k|/(1+k*k2)，即可解得k，将两直线交点带入角平分线方程，即可解得b，从而求得的直线即为车道线。

总之，本发明利用路边摄像头数据，对道路上的车辆进行检测并提取车辆的行驶轨迹，通过提取的大量轨迹得到平均轨迹，从而提取出车道线，在光线较暗或者车道线不清晰的情况下依然可以运行。解决了在一些车辆遮挡车道线，夜间场景，或者车道线标线不清晰的场景下的对车道线的提取。对已经测试的数十个车道线不清晰，夜景场景，车道线遮挡等场景中，本发明均可以有效提取车道线。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于监控视频检测车流提取车道线的方法，其特征在于：包括如下步骤：

第一步：对原始监控视频进行分帧处理，将监控视频数据转化为图片；

第二步：将所述图片输入目标检测模型中，将检测的车辆位置信息输出；

第三步：将第二步得到的所有车辆位置信息的中心点标记，得到车流密度图；

第四步：对第三步得到车流密度中的图片进行两次中值滤波处理，滤掉噪声点，同时使标记点更加聚集，得到处理后的图片；

第五步：对第四步处理过的图片进行霍夫直线检测，得到多条直线，将检测的多条直线的参数斜率、截距和长度保存下来；

第六步：将多条直线的参数斜率和截距进行归一化操作，使参数斜率和截距大小大于0小于1，然后对归一化后的数据进行k-means聚类处理，使多条直线聚为几类，具体的类别数由车道数决定；

第七步：将聚类后的每组直线参数按照长度取加权平均值，得到的直线即为车辆平均轨迹；

第八步：将相邻的直线两两取平均即为车道线。

2.根据权利要求1所述的方法，其特征在于：所述第一步中，分帧处理中的帧数为25帧/秒，视频转化为的时长为10分钟。

3.根据权利要求1所述的方法，其特征在于：所述第二步中，位置信息包括车辆矩形框的坐标。

4.根据权利要求1所述的方法，其特征在于：所述第二步中，目标检测模型为faster-rcnn。

5.根据权利要求1所述的方法，其特征在于：所述第四步中，中值滤波处理中的核大小为5。