CN111079598A - 一种基于图像纹理与机器学习的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于图像纹理与机器学习的车道线检测方法，包括：步骤1)定义初始值为零的决策表；步骤2)读取视频；步骤3)对读入的每一帧图像做Canny边缘检测，并且截取ROI，记为cropped‑img；步骤4)将图像转换成单一通道的灰度图，记为gray_img，高斯模糊处理除掉噪音,记为blur_img；步骤5)霍夫变换基于cropped‑img做处理，检测到的车道线分为左，右分别保存；步骤6)上升下降沿法作用在霍夫变换之后，基于blur_img,检测到的车道线分为左，右分别保存；步骤7)监督式梯度下降算法(SDM)作为最后一种方法进行车道线检测，基于单通道图像gray_img等步骤。

Description

一种基于图像纹理与机器学习的车道线检测方法

技术领域

本发明设计图像处理技术领域，具体涉及一种将霍夫变换,监督式梯度下降算法(SDM),以及上升下降沿法(基于像素差异和道路线宽度检测车道线)三种方法相融合，外加决策表的更新技术，加大检测的准确性。

背景技术

车道线检测技术的准确性是无人驾驶技术，高科技车载摄像头，车载警报系统高速发展的基础。例如车道偏离预警系统，通过报警的方式辅助驾驶员减少汽车因车道偏离而发生交通事故。交通部数据显示，约有50％的汽车交通事故是因为汽车偏离正常的行驶车道引起的，23％的汽车驾驶员一个月内至少在转向盘上睡着一次；66％的卡车驾驶员自己在驾驶过程中发生困意；28％的卡车驾驶员在一个月内有在转向盘上睡着的经历。

车辆偏线趋势的判断前提是车道线检测准确，即使在反光，等恶劣的天气或光照条件下也可以正确的判断车道线的位置，从而根据车尾在画中的位置变化判断车辆是否变线。目前，各个公司着重提高和研究的是增强算法的鲁棒性，使其适应各种天气条件、克服光照变化以及阴影条件的影响。

发明内容

本发明所要解决的技术问题是提供一种基于图像纹理与机器学习的车道线检测方法，用于克服现有技术存在的问题。

本发明解决上述技术问题所采取的技术方案如下：

一种基于图像纹理与机器学习的车道线检测方法，包括：

步骤1)定义初始值为零的决策表；

步骤2)读取视频；

步骤3)对读入的每一帧图像做Canny边缘检测，并且截取ROI，记为cropped-img；

步骤4)将图像转换成单一通道的灰度图，记为gray_img，高斯模糊处理除掉噪音,记为blur_img；

步骤5)霍夫变换基于cropped-img做处理，检测到的车道线分为左，右分别保存；

步骤6)上升下降沿法作用在霍夫变换之后，基于blur_img,检测到的车道线分为左，右分别保存；

步骤7)监督式梯度下降算法(SDM)作为最后一种方法进行车道线检测，基于单通道图像gray_img；

步骤8)三种方法检测到的车道线在此步骤中进行匹配归一化，各个方法有其各自的权重比，霍夫变换为0.5，上升下降沿法为0.3，SDM为0.2；

若只有霍夫变换和上升下降沿两种方法检测出线，权重分别变为0.7，0.3；若只有监督式梯度下降算法(SDM),以及上升下降沿法检测出线则权重分别改为0.4，0.6，若只有监督式梯度下降算法(SDM),以及霍夫变换检测出线则权重分别改为0.3，0.7；若仅有一种方法检测出线，无需加权；线的坐标{x₁,y₁,x₂,y₂}乘以权重之后加和的结果为当前帧的检测线。

优选的是，进一步还包括：

步骤9)检测线与决策表里的车道线再次进行匹配，决策表初始化为空，第一帧视频会无条件列入决策表中；

之后，新检测出的被加到决策表里的线权重亦为零。进行逐帧跟踪，任何检测到的线都与决策表里的线匹配，匹配上，决策表里的线权重值+1，未匹配上-1；10帧都未检测出的线会从表中删除，超过50帧检测出的线也会被删掉。最少连续三帧检测出线才可以被认可为车道线；当前帧若没有线检测出，则不进行匹配。

优选的是，进一步还包括：

步骤10)车道线的输出：当前帧通过三种方法检测到的车道线与决策表匹配后，决策表里与之对应的高权重的线会输出；当前帧未检测到线也会赋予权值表里权重值高的线作为假设输出；

步骤11)画有车道线的结果视频会进行保存。

本发明公开了一项基于图像纹理与机器学习的车道线检测方法，将霍夫变换,监督式梯度下降算法(SDM),以及上升下降沿法(基于像素差异和车道线宽度)三种方法相结合。通过各个方法所检出的车道线的加权和确定最终车道线的位置。最终车道线的输出取决于决策表，决策表为存有车道线坐标以及权重的检索表。逐帧跟踪后，检测到的线与决策表里的线匹配，从而更新权重值，只有权重高的线才会被考虑为正确的线。此方法运行效率高，效果精确，具有普遍使用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是为本发明的SDM的运作图像的示意图；

图2为本发明的测试图像的示意图；

图3是本发明中点F,K,L均在一条直线上的示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

具体来说，如图1、2和3所示，该具体方法具体包括：

步骤1)定义初始值为零的决策表；

步骤2)读取视频；

步骤3)对读入的每一帧图像做Canny边缘检测，并且截取ROI，记为cropped-img；

步骤4)将图像转换成单一通道的灰度图，记为gray_img，高斯模糊处理除掉噪音,记为blur_img；

步骤5)霍夫变换基于cropped-img做处理，检测到的车道线分为左，右分别保存；

步骤6)上升下降沿法作用在霍夫变换之后，基于blur_img,检测到的车道线分为左，右分别保存；

步骤7)监督式梯度下降算法(SDM)作为最后一种方法进行车道线检测，基于单通道图像gray_img；

步骤8)三种方法检测到的车道线在此步骤中进行匹配归一化，各个方法有其各自的权重比，霍夫变换为0.5，上升下降沿法为0.3，SDM为0.2；

若只有霍夫变换和上升下降沿两种方法检测出线，权重分别变为0.7，0.3；若只有监督式梯度下降算法(SDM),以及上升下降沿法检测出线则权重分别改为0.4，0.6，若只有监督式梯度下降算法(SDM),以及霍夫变换检测出线则权重分别改为0.3，0.7；若仅有一种方法检测出线，无需加权；线的坐标{x₁,y₁,x₂,y₂}乘以权重之后加和的结果为当前帧的检测线。

优选的是，进一步还包括：

步骤9)检测线与决策表里的车道线再次进行匹配，决策表初始化为空，第一帧视频会无条件列入决策表中；

之后，新检测出的被加到决策表里的线权重亦为零。进行逐帧跟踪，任何检测到的线都与决策表里的线匹配，匹配上，决策表里的线权重值+1，未匹配上-1；10帧都未检测出的线会从表中删除，超过50帧检测出的线也会被删掉。最少连续三帧检测出线才可以被认可为车道线；当前帧若没有线检测出，则不进行匹配。

优选的是，进一步还包括：

步骤10)车道线的输出：当前帧通过三种方法检测到的车道线与决策表匹配后，决策表里与之对应的高权重的线会输出；当前帧未检测到线也会赋予权值表里权重值高的线作为假设输出；

步骤11)画有车道线的结果视频会进行保存。

本发明公开了一项基于图像纹理与机器学习的车道线检测方法，将霍夫变换,监督式梯度下降算法(SDM),以及上升下降沿法(基于像素差异和车道线宽度)三种方法相结合。通过各个方法所检出的车道线的加权和确定最终车道线的位置。最终车道线的输出取决于决策表，决策表为存有车道线坐标以及权重的检索表。逐帧跟踪后，检测到的线与决策表里的线匹配，从而更新权重值，只有权重高的线才会被考虑为正确的线。此方法运行效率高，效果精确，具有普遍使用性。

其中，该检测方法为霍夫变换,监督式梯度下降算法(SDM),以及上升下降沿法(基于像素差异和道路线宽度检测车道线)三种方法结合的车道线检测。通过各个方法所检出的车道线的加权和确定最终车道线的位置，通过三种方法的结合加大此算法精准性。

霍夫变换在Canny算子边缘检测的基础上，设定阈值,只有获得大于阈值的交点的极坐标点才被看成是直线。

上升下降沿法基于图片中同一行中每一点的像素值差，分为正负。正值定为上升沿，负值定为下降沿，通过设定阈值找到属于车道线的上升和下降沿两个点可连成水平线，即为水平覆盖车道线的，具有一定宽度的线段，通过多个此类线段的中点连线的斜率和与y轴坐标交点的聚类判断出车道线的位置。

在一个具体实施例中，监督式梯度下降算法(SDM)，基于监督式机器学习，首先在一帧图上标定四个点，分别为两条车道线的两端，通过计算得到平均点的坐标(x1,y1,x2,y2),通过线性回归迭代5次，训练出最优回归器([R,b]，R为矩阵，b为偏移)，回归器的功能是让平均点坐标通过迭代逐步回到标定点坐标的位置，即正确的道路线两端。测试的时候坐标点从平均点出发，通过回归器的迭代完成路线检测。

各个方法有其各自的权重比，根据反复测试的经验确定霍夫变换为0.5，上升下降沿法为0.3，SDM为0.2。若只有霍夫变换和上升下降沿两种方法检测出线，权重分别变为0.7，0.3；若只有监督式梯度下降算法(SDM),以及上升下降沿法检测出线则权重分别改为0.4，0.6，若只有监督式梯度下降算法(SDM),以及霍夫变换检测出线则权重分别改为0.3，0.7；若仅有一种方法检测出线，无需加权。

三种方法的路线坐标纵轴---y统一为上至天际线，下至图像底部。

决策表，结构为{路线的坐标：权重}。其作用有两点：

(一)逐帧跟踪后，检测到的线加权后与决策表里的线匹配，从而更新权值，只有权值高的线才会被考虑为最终输出的车道线。

(二)当前帧若没有检测出车道线，权值高的线也会被输出。

为解决上述存在的问题，本发明提出了传统霍夫变换与一种基于像素的上升下降沿法相结合，加之不断更新的决策表，确定可信度高的车道线。本发明所述的方法解释如下。

由于图像处理时的帧幅大小为1280*720((长1280，高720)，所以以下的阈值设定以此为准。

方法1.霍夫变换

在正交直角坐标系中，直线上的点以(x，y)表示，仿射参数空间中，表示方法为(ρ，θ)。同一直线上的点在仿射参数空间中所描画的的曲线经过相同的(ρ，θ)。

ρ＝x₀cosθ+y₀sinθ

ρ＝u₀cosθ+v₀sinθ

霍夫变换的原理是通过给(ρ，θ)投票，获得票数高的(ρ，θ)便认为是正交直角坐标系下的一条直线。

如图3所示，点F,K,L均在一条直线上，具有相同的(ρ，θ)

在高斯模糊去噪，和Canny算子边缘检测的基础上进行，引用openCV里的函数HoughLinesP并设定对应参数

方法二：上升下降沿法

基于图片中同一行中每一点的像素值差pixel_diff，横向扫描每一帧图像，从天际线开始向下扫描，每间隔30行进行一次扫描，因为车道线长度必定大于30，并且间隔扫描可以加快算法速度。

x像素值的差pixel_diff，正值定为上升沿，负值定为下降沿，同一行的正负值绝对值之差记为result_diff，result_diff<＝3的情况下，将二者匹配成一对，定为线段的两端，记录匹配成对的点坐标(row，,col_1，row，col_2)。

每个点仅匹配一次，设定线宽在10到70之间，如果满足

10<＝col1-col2<＝70

则此线段被判定为覆盖路线的线段。检测出的备选线段取中点坐标记录下来(x,y)，分为左右两侧进行下一步的聚类处理。

左右两侧的所有中心点连接得到一条线，计算得到一系列斜率k和与y轴的交点y-intercept，若满足

k_i-k_j<＝0.2&yintercept-yintercept<＝3

此线的标签值加1，在左右两侧各一条线的情况下，每侧分别输出五条线作为备选的潜在车道线参与匹配。

方法三：监督式梯度下降算法(SDM)

依照如下等式：

△x＝R*feature+b

△x为每次移动的步长，R为回归矩阵，b为偏移率。

具体实施步骤如下：

首先计算起始点start₀(初始化的起始点位置即为平均坐标点),通过坐标点差值diff(diff＝标记点-平均点)，以及平均坐标点周围得到的HOG特征--feature。线性回归求出第一组R0,b0。将特征带入等式，求步长Δx,平均坐标点+Δx＝新的起始点start1。计算新的差值diff1＝标记点-start₁，判断是否接近于0。若差异较大，进行下一步；否则输出回归器。

此步骤同上一步，在起始start₁周围求HOG特征feature₁，与上一步得到的差值diff1线性回归求R1，b1，带入等式第二次求得Δx1。第二次更新起始点start₂＝start₁+Δx1。计算差值diff2＝标记点-start₂。再进行一次判断，若不接近于零，重复训练步骤的循环；若接近于零，进行第三步。如果回归器训练成功，结束，输出回归器和偏移的集合。

定义决策表。

决策表里存有路线的坐标，权重。格式如下：

{(x1,y1,x2,y2):[0,0]}

[0,0]中第一个0为权重，初始值为零，也就是说第一帧的所有线权重都是零，以后新检测出的被加到决策表里的线权重亦为零。

进行逐帧跟踪，任何检测到的线都必然与决策表里的线匹配，匹配上，决策表里的线权重值+1，未匹配上-1。注意：每一帧的匹配过程中，只要决策表里的线权值改变了便不会再次匹配，换言之每一帧权重值只变动1。[0,0]中的第二个0表示标签，用于控制权值的变化。变化了的线此标签由0变到1，每一帧匹配全部结束后标签重新置0.

权值表的维护，权值不会无限向上增加，也不会无限递减，本发明的决策表阈值设定

举例说明如下：

maximum＝50

minimum＝-10

minimum为下限，其含义为10帧都未检测出的线会从表中删除，maximum为上限，其含义为超过50帧检测出的线也会被删掉。

另外一个阈值为输出车道线的权重值(output_weight>＝3)含义为最少三帧检测出线才可以被认可为车道线。当前帧若没有线检测出，则不进行匹配，仅参考此类车道线进行变线判断。

因为有了决策表及时当前帧未检测到线也会赋予权值表里权重值高的线作为假设输出，计算前后两帧的对应的距离差，从而进行变线趋势预测和警报。

在一个实施例中，摄像头拍摄的畸变矫正后的画面，即可通过程序将检测出的车道线可视化，通过不同于车道线的颜色的线条覆盖于车道线上，本程序可提供车道线的坐标输出。

根据不同的视频确定天际线。

霍夫变换检测车道线在高斯模糊去噪，和Canny算子边缘检测的基础上进行，函数HoughLinesP参数进行如下设定：

InputArray：输入图像，必须8-bit的灰度图像

double rho：生成极坐标时候的像素扫描步长，通常取1。

double theta：生成极坐标时候的角度步长，取值CV_PI/180。

int threshold：阈值，只有获得足够交点的极坐标点才被看成是直线。

OutputArray：输出的极坐标来表示直线.

double minLineLength＝0：最小直线长度。

double maxLineGap＝0：两交点间允许的最大间隔。

上升下降沿法从图像的天际线到图像底部，每隔一定的像素(例如每个30pixels)进行检测，上升沿和下降沿的像素绝对值差在(0，3)之间均可配对。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像纹理与机器学习的车道线检测方法，其特征在于，包括：

步骤1)定义初始值为零的决策表；

步骤2)读取视频；

步骤3)对读入的每一帧图像做Canny边缘检测，并且截取ROI，记为cropped-img；

步骤4)将图像转换成单一通道的灰度图，记为gray_img，高斯模糊处理除掉噪音,记为blur_img；

步骤5)霍夫变换基于cropped-img做处理，检测到的车道线分为左，右分别保存；

步骤6)上升下降沿法作用在霍夫变换之后，基于blur_img,检测到的车道线分为左，右分别保存；

步骤7)监督式梯度下降算法(SDM)作为最后一种方法进行车道线检测，基于单通道图像gray_img；

步骤8)三种方法检测到的车道线在此步骤中进行匹配归一化，各个方法有其各自的权重比，霍夫变换为0.5，上升下降沿法为0.3，SDM为0.2；

若只有霍夫变换和上升下降沿两种方法检测出线，权重分别变为0.7，0.3；若只有监督式梯度下降算法(SDM),以及上升下降沿法检测出线则权重分别改为0.4，0.6，若只有监督式梯度下降算法(SDM),以及霍夫变换检测出线则权重分别改为0.3，0.7；若仅有一种方法检测出线，无需加权；线的坐标{x₁,y₁,x₂,y₂}乘以权重之后加和的结果为当前帧的检测线。

2.根据权利要求1所述的基于图像纹理与机器学习的车道线检测方法，其特征在于，进一步还包括：

步骤9)检测线与决策表里的车道线再次进行匹配，决策表初始化为空，第一帧视频会无条件列入决策表中；

之后，新检测出的被加到决策表里的线权重亦为零。进行逐帧跟踪，任何检测到的线都与决策表里的线匹配，匹配上，决策表里的线权重值+1，未匹配上-1；10帧都未检测出的线会从表中删除，超过50帧检测出的线也会被删掉。最少连续三帧检测出线才可以被认可为车道线；当前帧若没有线检测出，则不进行匹配。

3.根据权利要求2所述的基于图像纹理与机器学习的车道线检测方法，其特征在于，进一步还包括：

步骤10)车道线的输出：当前帧通过三种方法检测到的车道线与决策表匹配后，决策表里与之对应的高权重的线会输出；当前帧未检测到线也会赋予权值表里权重值高的线作为假设输出；

步骤11)画有车道线的结果视频会进行保存。

Images