CN114399748A - 一种基于视觉车道检测的农机实时路径校正方法 - Google Patents

Abstract

本发明公开了一种基于视觉车道检测的农机实时路径校正方法，涉及车辆自动驾驶领域，本发明在现有的基于特征的车道线检测方法的基础上，改进检测流程，提出横向条状窗口滑动检测车道线的方法。选定小窗口的检测不仅适用于直线检测，对弯道等检测均有良好的鲁棒性和准确性。同时对检测的车道线，提出一种利用双目视觉计算农机行驶过程中的横向偏移距离和偏航角的方法，该方法实时输出数据到控制器，控制器做出决策控制农机，可实现车道保持功能。

Description

一种基于视觉车道检测的农机实时路径校正方法

技术领域

本发明属于图像处理和自动驾驶领域，具体涉及一种基于视觉车道检测的农机实时路径校正方法。

背景技术

近些年，随着软件算法、硬件升级等要素更新以及国家政策的支持，自动驾驶领域的技术飞速发展。自动驾驶的前提是在规定的区域内行驶，车道的智能识别以及根据识别出的车道线进行车辆行驶路线校正是其重要组成部分。

目前公路路面车辆无人驾驶研究较为广泛，但在农业领域，尤其农田道路上的自动驾驶研究较少。农田道路因其自身特点复杂性，使得公路上的自动驾驶相关技术无法直接移植到农田道路上。就车道线提取而言，因农田道路大多为单行道、道路边缘不规整、路面不平整等特点，增加了农机在行驶过程中车道线提取的难度。与此同时，农田道路一般人车较少、农机行驶速度慢以及农机一般在良好的天气下进行作业等条件，使得相机获得的图像噪声较少，易于图像处理。另外汽车的无人驾驶技术，所用传感器设备如激光雷达等设备昂贵，在农业领域不便推广使用，然而双目相机测距范围在几十米，价格低廉，符合应用场景，所以利用相机获取图像并测距在实现农机车道偏离预警和车道保持有很大优势。

在规划的道路中，车道通过左右两条平行的边界线完成规划并向远处延伸。车道线的识别和跟踪技术主要分为两类，其一是基于特征的方法，利用车道线的边缘、纹理等特征进行处理并强化特征，然后再通过设计车道线模型进行车道线拟合，常见的模型有直线、抛物线、样条曲线等，但直接使用这种方法存在特征提取不准确，模型不精确导致拟合精度不高现象。另外一种方法是基于深度学习的方法，对大样本训练数据进行标注，设计神经网络进行训练，达到识别车道线的目的，这种方法需要大量充分的数据进行训练，农田道路特征多样，存在特征丢失的情况。

道路的边界约束了农机行驶的横向位置，而车道延伸方向也是农机行驶的方向，道路中心线也即车辆行驶的预定路线。在确定车道线之后，一方面，可以根据车道线信息确定车辆的横向位置，可以判断是否偏离中线过远，实现车道偏离预警。另一方面，根据车道线的位置，结合立体相机获得深度信息，可以计算出车辆的航偏角。将数据实时回传给控制系统，控制系统可根据获得的横向偏离距离以及偏航角做出决策，实现车道保持。现有的方案所采取的方法主要应用在公路路面，而且依赖车道线检测的直线斜率来定性分析是否偏离，这种检测方法，没有定量给出横向偏移距离，精度较差，且鲁棒性较低，在农田道路上，信息的可靠性较低。

发明内容

为解决上述问题，本发明公开了一种基于视觉车道检测的农机实时路径校正方法，根据双目视觉测距实时给出农机在行驶过程中的横向偏移距离及偏航角到控制系统，从而达到实时对车辆行驶方向校正的目的。

为达到上述目的，本发明的技术方案如下：

一种基于视觉车道检测的农机实时路径校正方法，包括两个步骤：

一、车道检测：通过车载相机，实时获取道路的图像，通过短距离的横向条状窗口滑动法获得拟合的车道线，根据拟合的车道线，获得道路中心线；

二、车道轨迹偏差计算与控制：通过双目相机同步采集左右相机的图像计算图像之间的视差，从而估计每一个像素的深度，即可计算图片上车道线像素点距离相机中心的实际距离，经计算可获得相机中心的横向偏航距离和偏航角，进而实时输出到控制系统控制车辆转角。

进一步的，针对车道线检测，具体如下：

采用单幅图像的横向条状窗口滑动方法，在小区域内认为车道线是直线，便可以使用边缘检测、高斯模糊、以及霍夫变换进行直线拟合，同时根据拟合的点，计算车道线的中心点，得到车道中心线，也即是车辆的预定行驶路线。

步骤一、相机的标定和坐标系变换，相机获得图像中的车道线是两条倾斜的直线，与实际的真实车道线不符，这里使用逆透视变换，消除相机的近大远小的透视效应。

主要涉及三个坐标系，像素坐标系，相机坐标系和世界坐标系，世界坐标下的坐标转换到相机坐标系，得到相机坐标系下的坐标之后再进行转换到二维图像的坐标系下即可，转换公式如下：

其中，Z_c是一个常数，f为相机的焦距，(u,v)是像素坐标系下的坐标，坐标原点(u₀,v₀)为图像的左上角，(X,Y,Z)为世界坐标系下的坐标，dx，dy是图像上沿着u轴和v轴上变化的单位尺寸，R是旋转矩阵，t是平移量。

在获取参数的时候可认为，

其中K是一个3×4的矩阵，共有12组参数，那么取6组对应点，通过待定系数法列出方程，求得最小二乘解K。经过变换后，在图片的v方向，等距像素对应的世界坐标系下的点的间距也是相同的；

步骤二、图像预处理，对逆变换后的图像进行处理，为减小计算量，对图像进行灰度化处理得到灰度图，考虑到相机获取的图片有很多噪声点，需要高斯滤波，减小噪声的影响，再利用边缘Canny边缘检测，提取图像典型的边缘特征；

步骤三、对整幅图像沿着车道线方向进行像素距离分割，由于像素之间对应车道线方向实际距离随着图像像素沿v方向在逆透视处理后的图像上一一对应，等距分割，分割点分别对应R₀,R₁,R₂…R_i…分割的距离不能太小，故i不能取得太大；

步骤四、对单位距离图像片段从底部向上开始依次进行霍夫变换，检测出在图像片段中感兴趣的区域内所有直线的两个坐标R_iR_i+1(u_i,v_i)，R_iR_i+1(u_i+1,v_i+1)，由这两点可确定检测直线的斜率；

步骤五、对小窗口的ROI区域检测点，考虑到逆变换之后会存在垂直于u轴的情况，这里计算所有的斜率的倒数及其均值k'，将所有的直线斜率倒数k_ij与均值比较，设定偏差阈值δ，如果偏差较大舍弃该斜率对应的坐标点，反之保留；

|k_ij-k'|<δ (4)

步骤六、将保留下来的点进行最小二乘拟合，可得车道线对应的直线。根据车道线坐标u的大小可以确定是左车道线还是右车道线；

步骤七、根据获得的车道线，在小窗口ROI区域内，在左右车道线的分别取两点，计算中点，经过最小二乘拟合，即可获得车道的中心线。该车道中心线也是车辆的预定行驶路线。

进一步的，针对车道轨迹偏差计算与控制，具体如下：

1、计算车辆偏转距离

车辆的行驶轨迹默认按照车道线的中心线行驶，考虑到行驶过程中会偏离中心线，本发明给出一种计算车辆偏移中心线距离的方法。在相机获取图像经过逆透视变换之后，检测出的车道线是相互平行的，而且在图像上小窗口的ROI区域检测出的道线可认为是直线。

步骤一、测出两条车道线的距离为d，则中心线与车道线一侧的距离为

步骤二、像素坐标系中，窗口内的ROI区域内的车道线上等距取点P₁(u₁,v₁)，P₂(u₂,v₂)…由于建立的世界坐标系是在地面上，车道线也在地面上，则认为坐标z的值0，结合双目相机可恢复三维世界坐标系下坐标P₁'(x₁,y₁,z₁),P₂'(x₂,y₂,z₂)…，则取两点可得距离为：

步骤三、根据像素点P₁,P₂...坐标，双目相机通过同步采集左右相机的图像计算图像之间的视差，从而估计每一个像素的深度。这样就可以获得相机中心距离该像素点对应世界坐标三维坐标得实际距离，即|P₁'O'|,|P₂'O'|,|P₃'O'|...则在三角形|P₁'P₂'O'|中由余弦定理可知，车道线一侧与P₁'O'之间的夹角α满足：

则偏离中心线的距离为△d为：

其中，△d的符号正负代表是左偏还是右偏。

2、计算车辆偏航角

驾驶行驶车辆已经偏离航线，在计算车辆偏航距的基础上，可以进一步获得偏航角。首先将时间离散化时间间隔为△t。根据车辆在偏离航线上△t时间内的位移是△s，再计算上一时刻和当前时刻车辆距离车道线的距离，即可获得车辆在行驶过程中的航偏角。

步骤一、将时间离散化，在每一个时刻，都需要计算车辆距离车道线一侧的距离。这里记|P'_0(k-1)O'_(k-1)|，|P'_0kO'_k|为上一时刻和当前时刻车距离车道线一边的距离；

步骤二、通过车辆自身的里程表可以实时输出行驶距离信息，也即在△t内车辆行驶的距离为△s；

步骤三、车辆从O'_(k-1)点移动到O'_k点，位移是△s，过O'_k点作垂线交直线P'_0(k-1)O'_(k-1)于点Q，在三角形O'_(k-1)O'_kQ中，可知偏航角β为：

由此，获得了车辆的横向偏移距离△d，以及偏航角β。可将获得的数据实时输出给控制模块，可实时控制车辆转向。

本发明的有益效果为：

本发明所述的一种基于视觉农田车道检测的农机实时路径校正方法，在现有的基于特征的车道线检测方法的基础上，改进检测流程，提出横向条状窗口滑动检测车道线的方法。选定小窗口的检测不仅适用于直线检测，对弯道等检测均有良好的鲁棒性和准确性。同时对检测的车道线，提出一种利用双目视觉计算车辆行驶过程中的横向偏移距离和偏航角的方法，该方法实时输出数据到控制器，控制器做出决策控制车辆，可实现车道保持功能。

附图说明

图1系统结构原理图。

图2透视坐标变换示意图。

图3农机安装相机位置实物图。

图4横向偏移距离示意图。

图5计算车辆偏航角示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明通过改进现有的车道线检测流程，从图像下端使用滑动窗口的ROI区域检测车道线，以达到更好的检测效率以及提升鲁棒性。根据检测的车道线利用双目相机估计图像深度的特点，提出了根据图像深度信息，获得车辆横向偏移距离和偏航角的方法。

针对车道线检测，具体包括以下步骤：

步骤一、如图2和图3所示，固定双目相机位置，测量相机安装的位置信息，对双目相机标定，可使用软件标定；

步骤二、图像预处理，选定双目相机的其中一个相机，将获得的图像进行逆透视变换，为减小计算量，对图像进行灰度化处理得到灰度图，考虑到相机获取的图片有很多噪声点，需要高斯滤波，减小噪声的影响，再利用边缘Canny边缘检测，提取图像典型的边缘特征；

步骤三、对整幅图像沿着车道线方向进行像素距离分割，由于像素之间对应车道线方向实际距离随着图像像素沿v方向在逆透视处理后的图像上一一对应，可以等距分割，分割点分别对应R₀,R₁,R₂…R_i…分割的距离不能太小，故i不能取得太大；

步骤四、对单位距离图像片段从底部向上开始依次进行霍夫变换，检测出在图像片段中感兴趣的区域内所有直线的两个坐标R_iR_i+1(u_i,v_i)，R_iR_i+1(u_i+1,v_i+1)，由这两点可确定检测直线的斜率；

步骤五、对小窗口的ROI区域检测点，考虑到逆变换之后会存在垂直于u轴的情况，这里计算所有的斜率的倒数及其均值k'，将所有的直线斜率倒数k_ij与均值比较，设定偏差阈值δ，如果偏差较大舍弃该斜率对应的坐标点，反之保留；

|k_ij-k'|<δ (2)

步骤六、将保留下来的点进行最小二乘拟合，可得车道线对应的直线。根据车道线坐标u的大小可以确定是左车道线还是右车道线；

步骤七、根据获得的车道线，在小窗口ROI区域内，在左右车道线的分别取两点，计算中点，经过最小二乘拟合，即可获得车道的中心线。该车道中心线也是车辆的预定行驶路线。

针对车道轨迹偏差计算模块。

1、计算车辆偏转距离

车辆的行驶轨迹应按照车道线的中心线行驶，考虑到行驶过程中会偏离中心线，本发明给出一种计算车辆偏移中心线距离的方法。在相机获取图像经过逆透视变换之后，检测出的车道线是相互平行的，而且在图像上小窗口的ROI区域检测出的道线可认为是直线。

步骤一、如图4所示，测出两条车道线的距离为d，则中心线与车道线一侧的距离为

步骤二、像素坐标系中，窗口内的ROI区域内的车道线上等距取点P₁(u₁,v₁)，P₂(u₂,v₂)…由于建立的世界坐标系是在地面上，车道线也在地面上，则认为坐标z的值为0，可将像素坐标反求世界坐标系下坐标P₁'(x₁,y₁,z₁),P₂'(x₂,y₂,z₂)…，则两点的距离为：

步骤三、根据像素点P₁,P₂...坐标，双目相机通过同步采集左右相机的图像计算图像之间的视差，从而估计每一个像素的深度。这样就可以获得相机中心距离该像素点对应世界坐标三维坐标得实际距离，即|P₁'O'|,|P₂'O'|,|P₃'O'|...则在三角形|P₁'P₂'O'|中由余弦定理可知，车道线一侧与P₁'O'之间的夹角α满足：

则偏离中心线的距离为△d为：

在图4中，△d的符号正负代表是左偏还是右偏。

2、计算车辆偏航角

驾驶行驶车辆已经偏离航线，在计算车辆偏航距的基础上，可以进一步获得偏航角。首先将时间离散化时间间隔为△t。根据车辆在偏离航线上△t时间内的位移是△s，再计算上一时刻和当前时刻车辆距离车道线的距离，即可获得车辆在行驶过程中的航偏角。

步骤一、将时间离散化，在每一个时刻，都需要计算车辆距离车道线一侧的距离。这里记|P'_0(k-1)O'_(k-1)|，|P'_0kO'_k|为上一时刻和当前时刻车距离车道线一边的距离；

步骤二、如图5所示，通过车辆自身的里程表可以实时输出行驶距离信息，也即在△t内车辆行驶的距离为△s；

步骤三、车辆从O'_(k-1)点移动到O'_k点，位移是△s，过O'_k点作垂线交直线P'_0(k-1)O'_(k-1)于点Q，在三角形O'_(k-1)O'_kQ中，可知偏航角β为：

由此，获得了车辆的横向偏移距离△d，以及偏航角β。可将获得的数据实时输出给控制模块，可实时控制车辆转向。

需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (3)

1.一种基于视觉车道检测的农机实时路径校正方法，其特征在于：包括两个步骤：

一、车道检测：通过确定相机安装位置进行标定，然后通过逆透视变换实时获取道路的鸟瞰图，并对进行图像灰度化处理、高斯滤波处理、边缘检测处理，通过短距离的横向条状窗口滑动法获得拟合的车道线，根据拟合的车道线获得道路中心线，也即车辆预定行驶路线；

二、车道轨迹偏差计算与控制：通过双目相机同步采集左右相机的图像计算图像之间的视差，从而估计每一个像素的深度，即可计算图片上车道线像素点距离相机中心的实际距离，经计算可获得相机中心的横向偏航距离和偏航角，进而实时输出到控制系统控制车辆转角。

2.根据权利要求1所述的一种基于视觉车道检测的农机实时路径校正方法，其特征在于：步骤一所述的车道线检测，具体如下：

步骤一、对相机获得的图像，进行预处理并提取边缘特征，对整幅图像沿着车道线方向进行像素距离分割，由于像素之间对应车道线方向实际距离随着图像像素沿v方向在逆透视处理后的图像上一一对应，等距分割，分割点分别对应R₀,R₁,R₂…R_i…分割的距离不能太小，故i不能取得太大；

步骤二、对单位距离图像片段从底部向上开始依次进行霍夫变换，检测出在图像片段中感兴趣的区域内所有直线的两个坐标R_iR_i+1(u_i,v_i)，R_iR_i+1(u_i+1,v_i+1)，则直线的斜率可以确定；

步骤三、对小窗口的ROI区域检测点，考虑到逆变换之后会存在垂直于u轴的情况，这里计算所有的斜率的倒数及其均值k'，将所有的直线斜率倒数k_ij与均值比较，设定偏差阈值δ，如果偏差较大舍弃该斜率对应的坐标点，反之保留；

|k_ij-k'|<δ(2)

步骤四、将保留下来的点进行最小二乘拟合，可得车道线对应的直线；根据车道线坐标u的大小可以确定是左车道线还是右车道线，根据获得的车道线，在小窗口ROI区域内，在左右车道线的分别取两点，计算中点，经过最小二乘拟合，即可获得车道的中心线；该车道中心线也是车辆的预定行驶路线。

3.根据权利要求1所述的一种基于视觉车道检测的农机实时路径校正方法，其特征在于：步骤二所述的车道轨迹偏差计算与控制，具体如下：

(1)计算车辆横向偏移距离

步骤一、测出两条车道线的距离为d，则中心线与车道线一侧的距离为

步骤二、像素坐标系中，窗口内的ROI区域内的车道线上等距取点P₁(u₁,v₁)，P₂(u₂,v₂)…由于建立的世界坐标系是在地面上，车道线也在地面上，则认为坐标z的值0，结合双目相机可恢复三维世界坐标系下坐标P₁'(x₁,y₁,z₁),P₂'(x₂,y₂,z₂)…，则取两点可得距离为：

步骤三、根据像素点P₁,P₂...坐标，双目相机通过同步采集左右相机的图像计算图像之间的视差，从而估计每一个像素的深度；这样就可以获得相机中心距离该像素点对应世界坐标三维坐标得实际距离，即|P₁'O'|,|P₂'O'|,|P₃'O'|...则在三角形|P₁'P₂'O'|中由余弦定理可知，车道线一侧与P₁'O'之间的夹角α满足：

则偏离中心线的距离为△d为：

其中，△d的符号正负代表是左偏还是右偏。

(2)计算车辆偏航角

驾驶行驶车辆已经偏离航线，在计算车辆偏航距的基础上，可以进一步获得偏航角。首先将时间离散化时间间隔为△t。根据车辆在偏离航线上△t时间内的位移是△s，再计算上一时刻和当前时刻车辆距离车道线的距离，即可获得车辆在行驶过程中的航偏角；

步骤一、将时间离散化，在每一个时刻，都需要计算车辆距离车道线一侧的距离；这里记|P'_0(k-1)O'_(k-1)|，|P'_0kO'_k|为上一时刻和当前时刻车距离车道线一边的距离；

步骤二、通过车辆自身的里程表可以实时输出行驶距离信息，也即在△t内车辆行驶的距离为△s；

步骤三、车辆从O'_(k-1)点移动到O'_k点，位移是△s，过O'_k点作垂线交直线P'_0(k-1)O'_(k-1)于点Q，在三角形O'_(k-1)O'_kQ中，知偏航角β为：

由此，获得了车辆的横向偏移距离△d，以及偏航角β；将获得的数据实时输出给控制模块，可实时控制车辆转向。

Images