CN111539303A - 基于单目视觉的车辆驾驶偏移预警方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的车辆驾驶偏移预警方法，首先针对单目摄像机存在的镜头畸变情况进行矫正，在HSL颜色空间对黄白车道线像素进行加权，并通过两种滤波器滤除噪音像素；并通过在划分的透视矩阵中，采用滑动窗口的方式识别左右车道线像素，并使用最小二乘法拟合二次多项式，得到车道线检测结果；最后，根据车道线与视频图像的中心位置像素计算当前车辆的偏移距离，以及道路方向与曲率半径；克服了因获取的行车视频数据画面失真对车辆偏离距离以及对道路方向判断产生的不良影响；使车道线像素在不同光照下的检测更加稳健，本发明能够在更复杂的路况以及更恶劣的光照条件下更有更好的表现，同时在收集车辆位置信息的方式上。

Description

基于单目视觉的车辆驾驶偏移预警方法

技术领域

本发明属于计算机技术领域，具体涉及一种基于单目视觉的车辆驾驶偏移预警方法。

背景技术

近年来，随着社会经济的快速发展，汽车保有量呈现逐年增长态势，交通事故发生的频率也在逐年提高，交通安全这一重大民生问题引起了人们的高度关注。据统计，约有50％的汽车交通事故是因为汽车偏离正常的行驶车道引起的，事故产生的原因主要是驾驶员心神烦乱、注意力不集中或驾驶疲劳。约有23％的汽车驾驶员每月至少在转向盘上睡着一次；66％的卡车驾驶员在驾驶过程中打瞌睡；28％的卡车驾驶员在一个月内有在转向盘上睡着的经历。如此惊人的比例足以证明防止车道偏离的重要意义。

在高级辅助驾驶的核心技术中，感知技术是汽车获取外界信息的直接方式，也是实现高级辅助驾驶的第一道关。而车道线检测技术作为高级辅助驾驶的基础性工作，在自动泊车、防碰撞预警以及自动驾驶中发挥着极为重要的作用，因此对车道线检测技术的研究也数不胜数。

车道线检测是智能车辆驾驶辅助系统中的重要环节。快速且有效地检测道路图像中的车道线不仅有利于协助路径，规划、进行道路偏移预警与车流分析等功能，并且能为精确导航提供参照。自20世纪60年代起，车道线检测方法就开始受到广泛重视，许多国家都投入了大量人力、物力和财力对其进行深入研究，并取得了丰硕的研究成果。

目前在车道线检测方面的成果在直线、良好道路环境下已取得较好效果，主要难点集中在弯道、虚线道路以及复杂路面条件下的车道线检测，以及克服诸如采集设备带来的畸变误差和因为路面起伏而引起的采集画面抖动等外部因素。其中复杂路面条件包括车道线被污染或缺失、道路颜色变化、树荫影响、恶劣天气以及极端光照变化条件下的检测。并且需要降低计算复杂度，提高实时能力，可以在车载设备上实现实时监测，车道偏移预警方面的难点在于选取一个高效可靠的偏移预警模型，提高检测率，降低误报率。

发明内容

本发明的目的在于提供一种基于单目视觉的车辆驾驶偏移预警方法，通过矫正单目摄像头的镜头畸变，并在HSL颜色空间下对黄白车道线进行加权检测识别，再利用多项式拟合车道曲线，最终，根据镜头与车道线中心的相对位置计算车辆偏移距离，判断是否超出安全距离从而发出预警信号。同时，采用创建缓冲区的方式来降低因个别帧的检测失误从而引起的整体性能下降，提高整体检测效率，从而达到车辆轨迹预测的目的，解决现有技术的问题。

为了实现上述目的，本发明采用的技术方案是，基于单目视觉的车辆驾驶偏移预警方法，包括以下具体步骤：

S1，采集行车中视频数据；

S2，确定S1所用采集设备的畸变参数，基于所述畸变参数，对S1获取的视频数据进行畸变矫正；

S3，构建车道线检测模型，逐帧提取车道线图像；

S31，在HSL颜色空间下对黄白车道线进行加权检测识别；

S32，采用透视矩阵对S31所提取黄白车道线的图像进行透视变换，获得车道线的区域；

S33，对S32车道线提取结果进行像素统计，得到左右车道的像素点在水平方向的分布图，根据左右峰值得到左右车道线初始位置；

S34，根据S33所得左右车道线初始位置，采用滑动窗口的方法，对所述窗口内的像素点进行最小二乘法拟合二次多项式；

S35，创建一个缓冲区保存上一帧的二次多项式系数，在下一帧的图像中利用上一帧的二次多项式来搜索附近的车道线像素点，再利用最小二乘法构成新的拟合二次多项式，最后将新的二次多项式系数在缓冲区中更新，用于下一帧的检测；

S4，计算车辆与S3所得车道线的偏移距离，根据车道线拟合结果将像素单位转化为长度单位，根据左右车道线底部基点位置与视频图像的基点位置进行比较，并根据像素宽度计算出当前车辆偏离车道的距离，

S5，车辆在行驶过程中，采用S2所得畸变参数对S1所得视频数据进行矫正，使用S3所构建的模型对S2处理后视频中的车道线进行检测，输出车道线拟合二次多项式，基于S4中的距离计算方式来计算偏离距离、车道曲率半径、道路方向，并判断是否超出安全距离，若未超出安全距离，则车道线标绿色，若超出，则标红色，提供预警信号。

使用一个车载单目摄像头采集行车视频数据，单目摄像机的镜头方向水平，摆放于车辆中心位置，拍摄的车道部分占据屏幕一半，得到采用H.264/MOV格式以1280×720的分辨率进行编码的视频数据。

S32中，使用透视矩阵将车道线区域转换为鸟瞰图，具体的，将二维坐标点(x，y)转换到三维坐标点(X，Y，Z)，再转换到另一个二维坐标点(x’，y’)的映射，具体计算方式如下：

式中，

为变换矩阵，在变换矩阵中，m₁₁、m₁₂、m₂₁、m₂₂用于比例缩放，m₁₃、m₂₃用于实现平移变换，m₃₁、m₃₂用于实现透视变换，m₃₃用于实现全比例变换。

S32中，用于计算透视矩阵的坐标点集如下：

S2中，使用S1所用采集视频的设备拍摄标准10×7黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄15张，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码，对拍摄的棋盘照片的格角点进行检测，计算畸变参数，其中径向畸变三个(k₁，k₂，k₃)，切向畸变两个(p₁，p₂)；

径向畸变：

X_correct＝x(1+k₁r²+k₂r⁴+k₃r⁶)

Y_correct＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变：

X_correct＝x+[2p₁xy+p₂(r²+2x²)]

Y_correct＝y+[p₁(r²+2y²)+2p₂xy]；

上式中，X_correct与Y_correct是棋盘格点的原始坐标位置，x与y是棋盘格矫正坐标位置，通过拍摄的15张图片联立方程组求解畸变参数k₁、k₂、k₃、p₁、p₂；在畸变矫正过程中，通过畸变参数与畸变点原始位置，用上式计算出矫正后的位置。

S31中，首先将图像视频数据中每一帧的图像数据转换到HLS颜色空间，使用S通道对图像进行滤波，对图像逐像素进行判断，选择S通道范围在(120，255)的像素点进行二值化，然后使用沿水平方向的Sobel滤波器和梯度方向滤波器滤除大部分水平线，将S通道的权值设定为梯度滤波器的两倍，得到筛选后的车道线像素图片。

根据S33所得左右车道线初始位置确定初始滑动窗口位置，并根据初始滑动窗口内车道线像素点平均位置确定下一滑动窗口的起始位置，确定完所有滑动窗口起始位置后，根据左右滑动窗口内的像素点，对左右滑动窗口进行最小二乘法拟合二次多项式，得到左右车道的函数拟合，其多项式形式为：

y_right＝a_right,1x²+a_right,2x+a_right,3

y_left＝a_left,1x²+a_left,2x+a_left,3

其中a_left,1、a_left,2以及a_left,3为左车道线函数拟合的系数，a_right,1、a_right,2以及a_right,3为右车道线函数拟合的系数。

S4中，根据S34计算出的多项式判断当前车道的转弯方向，比较多项式曲线近端横坐标位置与远端横坐标位置，若大于设定值则认为当前道路是弯道，并根据坐标之差判断弯道方向，若小于设定值，认为当前车道是直行道。

根据S34计算出的多项式计算出当前车道的曲率半径，计算公式为：

其中，y和x分别是最小二乘法拟合多项式的因变量与自变量。

本发明公开了一种基于单目视觉的车辆驾驶偏移预警方法，首先针对单目摄像机存在的镜头畸变情况进行矫正，克服了因获取的行车视频数据画面失真对车辆偏离距离以及对道路方向判断产生的不良影响；根据车道线与视频图像的中心位置像素计算当前车辆的偏移距离，以及道路方向与曲率半径，相比传统的利用霍夫变换识别车道的方法，本发明能够在更复杂的路况以及更恶劣的光照条件下更有更好的表现，此外，本方法采用了一个缓冲区来存储视频上一帧的二次多项式系数，来简化对下一帧车道线的识别方式，从而降低了检测复杂度，提高检测效率，极大地提高了预警的实时性能，仿真结果表明，本发明能够较为直行与弯道中准确的计算出车道线位置与偏离距离，同时对是否偏离车道线超过安全距离进行预警，并且可以抵抗一定的光照变化与路面阴影等恶劣条件，具有较强的鲁棒性，可以广泛应用于各类高级辅助驾驶系统的安全预警环节中。

进一步的，同时在收集车道数据的方式上，仅采用一个车载单目摄像头，相比于使用车载激光雷达的相关方法，本发明能极大的降低成本。

进一步的，在HSL颜色空间对黄白车道线像素进行加权，并通过两种滤波器滤除噪音像素，使车道线像素在不同光照下的检测更加稳健。

进一步的，通过透视矩阵采用滑动窗口的方式识别左右车道线像素，并使用最小二乘法拟合二次多项式，有助于提高车道线检测结果的准确性。

附图说明

图1是本发明的实现流程框图；

图2a为标定前的棋盘图；

图2b为标定后的棋盘图；

图3a为畸变矫正前的行车图像；

图3b为畸变矫正后的行车图像；

图4a为车道线原始图片；图4b为HSL颜色空间中的S空间转换；图4c为S空间转换的二值化结果；图4d为水平方向Sobel滤波器铝箔结果；图4e为梯度方向滤波器滤波结果；图4f为两个滤波器合成结果；图4g为S空间加权处理结果；图4h为最终车道线提取结果；

图5a是透视矩阵标定图，图5b是透视矩阵鸟瞰图；

图6a是鸟瞰图下车道线提取结果，图6b是左右车道线像素分布直方图；

图7a是滑动窗口位置示意图，图7b左右车道线函数拟合结果；

图8a是超过安全距离预警示意图，图8b是未超过安全距离的预警示意图；

图9a-图9d是安全驾驶过程测试示意图，图9e-图9h是偏离车道过程测试示意图。

具体实施方式

本发明首先利用行车记录仪采集的行车视频数据，通过棋盘标定法获取使用的行车记录仪的镜头畸变系数对获取的视频进行逐帧的畸变矫正，并通过车道线检测模型来检测矫正数据的车道线，并根据结果计算偏离距离与提供预警，输出结果合成在原视频中。

参照附图1，本发明的具体实现步骤如下：

S1，使用车载行车记录仪采集行车中视频数据

首先利用行车记录仪采集行车视频数据，采用H.264/MOV格式以1280×720的分辨率进行编码。

S2，确定单目摄像头的畸变参数

通过单目摄像机获取的视频数据会因为透镜的固有特性而产生畸变，引起失真，因此需要对获取的视频数据进行畸变矫正。

使用该行车记录仪拍摄标准10×7(7行10列)黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄15张，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码，对拍摄的棋盘照片的格角点进行检测，计算畸变参数，其中径向畸变三个(k₁,k₂,k₃)，切向畸变两个(p₁,p₂)。

径向畸变：

X_correct＝x(1+k₁r²+k₂r⁴+k₃r⁶)

Y_correct＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变：

X_correct＝x+[[2p₁xy+p₂(r²+2x²)]]

Y_correct＝y+[p₁(r2+2y²)+2p₂xy]；

上式中，X_correct与Y_correct是棋盘格点的原始坐标位置，x与y是棋盘格矫正坐标位置，通过拍摄的15张图片联立方程组求解畸变参数k₁、k₂、k₃、p₁、p₂；在畸变矫正过程中，通过畸变参数与畸变点原始位置，可用上式计算出矫正后的位置；标定前后的棋盘图如图2a和图2b所示，矫正前后的视频数据如图3a和图3b所示。

S3构建车道线检测模型，逐帧提取车道线

S31，首先将图像转换到HLS颜色空间，使用S通道(饱和度)对图像进行滤波，对影像逐像素进行判断，选择范围在(120，255)的像素点进行二值化，这样即使在不同光照下对黄色和白色车道线的定位也会更加稳健。然后使用沿x方向的Sobel滤波器和梯度方向滤波器滤除大部分水平线。最后，为了使得黄色车道线相比于道路两侧更加明显，将S通道的权值设定为梯度滤波器的两倍。车道线提取过程如图4a、图4b、图4c、图4d、图4e、图4f、图4g以及图4h所示。

S32，为了准确测定车道线的精确位置，以便于计算车辆偏移距离，对车道线进行函数拟合，通过划定透视矩阵，对视频数据进行透视变换，获得车道线的区域，就可以减小拟合误差，有利于准确测定车道线的精确位置，提高对弯道的识别率，便于计算车辆偏移距离，能在一定程度上提高检测效率。

使用透视矩阵将车道线区域转换为鸟瞰图，具体的，将二维坐标点(x，y)转换到三维坐标点(X，Y，Z)，再转换到另一个二维坐标点(x’，y’)的映射，具体计算方式如下：

式中，

为变换矩阵，在变换矩阵中，m₁₁、m₁₂、m₂₁、m₂₂用于比例缩放，m₁₃、m₂₃用于实现平移变换，m₃₁、m₃₂用于实现透视变换，m₃₃用于实现全比例变换。

如图5a和图5b所示；透视矩阵的划定需要根据车载摄像头的摆放位置与分辨率来调整，使用透视矩阵的目的在于滤除图片中天空等其他无关部分，仅保留车道部分，并转换为鸟瞰图的形式，

如果单目摄像机的镜头方向水平，摆放于车辆中心位置，拍摄的车道部分占据屏幕一半，并以1280×720的分辨率进行编码，则透视矩阵采用以下数据能达到较好的效果：

x＝[100 1200 675 615]

y＝[719 719 465 465]

X＝[100 1200 1200 100]

Y＝[719 719 0 0]

S33，对车道线提取结果进行像素统计，得到左右车道的像素点在水平方向的分布图，可以根据左右峰值大致得到左右车道线初始位置，如图6a和图6b所示。

S34，根据初始位置确定初始滑动窗口位置，并根据初始滑动窗口内车道线像素点平均位置确定下一滑动窗口的起始位置，确定完所有滑动窗口位置后，根据左右滑动窗口内的像素点，各自进行最小二乘法拟合二次多项式，得到左右车道的函数拟合，如图7a和图7b所示。

S35，基于连续两帧图像中的车道线不会突变的先验知识，使用上一帧检测到的车道线结果，作为下一帧图像处理的输入，搜索上一帧车道线检测结果附近的像素点，不仅减少了计算量，得到的车道线结果也更加稳定。具体的，通过创建一个缓冲区来保存上一帧的二次多项式系数，在下一帧的图像中利用上一帧的二次多项式来搜索附近的车道线像素点，再利用最小二乘法构成新的拟合二次多项式；最后将新的二次多项式系数在缓冲区中更新，用于下一帧的检测。

S4车辆偏移距离计算：

S41，根据机动车道的宽度标准，能确定公路中每条车道的宽度，如，三级以上多车道公路每条机动车道宽度为3.5米，可以根据车道线拟合结果将像素单位转化为长度单位；根据左右车道线底部中点位置与视频图像的中点的位置来进行比较，并根据像素宽度来计算出当前车辆偏离车道的距离；根据偏离距离可以判断当前车辆是否偏离超过安全距离0.6米，若超过，将发出预警信号；基点位置分别为左右车道线底部中点位置与视频图像的中点位置；

S42，根据S34计算出的多项式可以计算出当前车道的曲率半径，计算公式为：

S43，根据S34计算出的多项式可以判断当前车道的转弯方向，比较多项式曲线近端横坐标位置与远端横坐标位置，若大于设定值则认为当前道路是弯道，所述设定值为，50个像素单位，并根据坐标之差判断弯道方向；若小于设定值，则认为当前车道是直行道。

S5，车辆在行驶过程中，采用S2所得摄像机镜头畸变参数对行车记录仪的视频数据进行矫正，使用S3所构建的模型对视频中的车道线进行检测，输出车道线拟合二次多项式，借助S4中的距离计算方式来计算偏离距离、车道曲率半径以及道路方向，并判断是否超出安全距离，若未超出安全距离，则车道线标绿色，若超出，则标红色，从而提供预警信号，如图8a和图8b所示；本发明在真实路况下的性能结果如图9a-图9d和图9e-图9h所示，本发明所得模型的稳健性和精确度均符合要求。

本发明所述基于单目视觉的车辆驾驶偏移预警方法，首先针对单目摄像机存在的镜头畸变情况进行矫正，克服了因获取的行车视频数据画面失真对车辆偏离距离以及对道路方向判断产生的不良影响；其次，在HSL颜色空间对黄白车道线像素进行加权，并通过两种滤波器滤除噪音像素，使车道线像素在不同光照下的检测更加稳健；并通过在划分的透视矩阵中，采用滑动窗口的方式识别左右车道线像素，并使用最小二乘法拟合二次多项式，得到车道线检测结果；最后，根据车道线与视频图像的中心位置像素计算当前车辆的偏移距离，以及道路方向与曲率半径。相比传统的利用霍夫变换识别车道的方法，本发明能够在更复杂的路况以及更恶劣的光照条件下更有更好的表现，本方法采用缓冲区来存储视频上一帧的二次多项式系数，来简化对下一帧车道线的识别方式，从而降低了检测复杂度，提高检测效率。仿真结果表明，本发明能够较为直行与弯道中准确的计算出车道线位置与偏离距离，同时对是否偏离车道线超过安全距离进行预警，并且可以抵抗一定的光照变化与路面阴影等恶劣条件，具有较强的鲁棒性，可以广泛应用于各类高级辅助驾驶系统的安全预警环节中。

Claims (9)

1.基于单目视觉的车辆驾驶偏移预警方法，其特征在于，包括以下具体步骤：

S1，采集行车中视频数据；

S2，确定S1所用采集设备的畸变参数，基于所述畸变参数，对S1获取的视频数据进行畸变矫正；

S3，构建车道线检测模型，逐帧提取车道线图像；

S31，在HSL颜色空间下对黄白车道线进行加权检测识别；

S32，采用透视矩阵对S31所提取黄白车道线的图像进行透视变换，获得车道线的区域；

S33，对S32车道线提取结果进行像素统计，得到左右车道的像素点在水平方向的分布图，根据左右峰值得到左右车道线初始位置；

S34，根据S33所得左右车道线初始位置，采用滑动窗口的方法，对所述窗口内的像素点进行最小二乘法拟合二次多项式；

S35，创建一个缓冲区保存上一帧的二次多项式系数，在下一帧的图像中利用上一帧的二次多项式来搜索附近的车道线像素点，再利用最小二乘法构成新的拟合二次多项式，最后将新的二次多项式系数在缓冲区中更新，用于下一帧的检测；

S4，计算车辆与S3所得车道线的偏移距离，根据车道线拟合结果将像素单位转化为长度单位，根据左右车道线底部基点位置与视频图像的基点位置进行比较，并根据像素宽度计算出当前车辆偏离车道的距离，

S5，车辆在行驶过程中，采用S2所得畸变参数对S1所得视频数据进行矫正，使用S3所构建的模型对S2处理后视频中的车道线进行检测，输出车道线拟合二次多项式，基于S4中的距离计算方式来计算偏离距离、车道曲率半径、道路方向，并判断是否超出安全距离，若未超出安全距离，则车道线标绿色，若超出，则标红色，提供预警信号。

2.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，使用一个车载单目摄像头采集行车视频数据，单目摄像机的镜头方向水平，摆放于车辆中心位置，拍摄的车道部分占据屏幕一半，得到采用H.264/MOV格式以1280×720的分辨率进行编码的视频数据。

3.根据权利要求2所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，S32中，使用透视矩阵将车道线区域转换为鸟瞰图，具体的，将二维坐标点(x，y)转换到三维坐标点(X，Y，Z)，再转换到另一个二维坐标点(x’，y’)的映射，具体计算方式如下：

式中，

为变换矩阵，在变换矩阵中，m₁₁、m₁₂、m₂₁、m₂₂用于比例缩放，m₁₃、m₂₃用于实现平移变换，m₃₁、m₃₂用于实现透视变换，m₃₃用于实现全比例变换。

4.根据权利要求3所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，S32中，用于计算透视矩阵的坐标点集如下：

5.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，S2中，使用S1所用采集视频的设备拍摄标准10×7黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄15张，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码，对拍摄的棋盘照片的格角点进行检测，计算畸变参数，其中径向畸变三个(k₁，k₂，k₃)，切向畸变两个(p₁，p₂)；

径向畸变：

X_correct＝x(1+k₁r²+k₂r⁴+k₃r⁶)

Y_correct＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变：

X_correct＝x+[2p₁xy+p₂(r²+2x²)]

Y_correct＝y+[p₁(r²+2y²)+2p₂xy]；

上式中，X_correct与Y_correct是棋盘格点的原始坐标位置，x与y是棋盘格矫正坐标位置，通过拍摄的15张图片联立方程组求解畸变参数k₁、k₂、k₃、p₁、p₂；在畸变矫正过程中，通过畸变参数与畸变点原始位置，用上式计算出矫正后的位置。

6.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，S31中，首先将图像视频数据中每一帧的图像数据转换到HLS颜色空间，使用S通道对图像进行滤波，对图像逐像素进行判断，选择S通道范围在(120，255)的像素点进行二值化，然后使用沿水平方向的Sobel滤波器和梯度方向滤波器滤除大部分水平线，将S通道的权值设定为梯度滤波器的两倍，得到筛选后的车道线像素图片。

7.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，根据S33所得左右车道线初始位置确定初始滑动窗口位置，并根据初始滑动窗口内车道线像素点平均位置确定下一滑动窗口的起始位置，确定完所有滑动窗口起始位置后，根据左右滑动窗口内的像素点，对左右滑动窗口进行最小二乘法拟合二次多项式，得到左右车道的函数拟合，其多项式形式为：

y_right＝a_right,1x²+a_right,2x+a_right,3

y_left＝a_left,1x²+a_left,2x+a_left,3

其中a_left,1、a_left,2以及a_left,3为左车道线函数拟合的系数，a_right,1、a_right,2以及a_right,3为右车道线函数拟合的系数。

8.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，S4中，根据S34计算出的多项式判断当前车道的转弯方向，比较多项式曲线近端横坐标位置与远端横坐标位置，若大于设定值则认为当前道路是弯道，并根据坐标之差判断弯道方向，若小于设定值，认为当前车道是直行道。

9.根据权利要求1所述的基于单目视觉的车辆驾驶偏移预警方法，其特征在于，根据S34计算出的多项式计算出当前车道的曲率半径，计算公式为：

其中，y和x分别是最小二乘法拟合多项式的因变量与自变量。

Images