CN113392704B - 一种山地道路边线位置检测方法 - Google Patents

Abstract

本发明属于人工智能技术领域，主要涉及一种山地道路边线位置检测方法，包括如下步骤：A1、将待检测图像转换为HSV图像以及灰度图像，作为网络输入；A2、并行提取HSV图像、灰度图像各自的图像特征，再从边缘提取子网络嵌入图像边缘特征，通过融合得到全局混合特征；A3、将提取出的全局混合特征，输入分类预测网络模块，得到道路边线位置检测结果，作为网络输出。本发明方法可实现山地场景下的高精度、实时的道路边线检测性能，并且计算量较小可运行于移动终端、计算机终端或者类似的运算装置上，有效提升车道检测的实时性和实用性。

Description

一种山地道路边线位置检测方法

技术领域

本发明属于人工智能技术领域，具体涉及一种山地道路边线位置检测方法。

背景技术

基于视觉的车道检测是智能驾驶系统中的关键技术之一。尽管许多研究人员在该领域上进行了大量的研究，但是由于实际环境的复杂多样性，实现准确的车道检测依旧面临着诸多困难，如环境光照变换、路面阴影、车辆行驶痕迹等的干扰。在山地环境下，车道检测更具有挑战性，不仅路况多变，还有花草碎石的干扰。总的来说，山地环境下车道检测的难点问题如下：

1)道路两旁布满碎石、落叶、草木等干扰物；2)山地环境中树木丛生，道路上常常出现斑驳的阴影；3)路况条件种类繁多，有砂石路面、泥泞路面、黄土路面等；4)山地环境的道路蜿蜒崎岖、凹凸不平，斜坡起伏大；5)道路边界不规整且模糊，不像城市道路中有明显的边界指示线或其他参考标志；以上问题都会给道路边线位置检测的精度带来影响。

尽管现有的一些车道检测技术可以提取出较为完整的道路区域，但这些方法也存在不足：

1)基于图像二值化处理后再提取边缘的传统道路边线检测方法。这类方法最大的优点在于有效滤除噪点，减弱阴影光照的影响，但缺点在于缺乏泛化性。在一类环境下，可通过调节算子的数值或比重，达到一个较好的检测效果。但如果环境发生改变，路面从砂石路面变成了泥泞路面，光照条件从晴朗转为阴沉，沿用相同的模型参数，并不能再次保证好的检测效果。因为单一模型难以同时适应多类路面情况。

2)基于像素点分割类的车道检测深度学习方法。例如LaneNet算法将主网络分为嵌入支路和分割支路。分割支路旨在获取二值化图像，将道路和背景区分开来；而嵌入支路旨在获取实例图像，通过聚类区分出不同的车道实例。这类算法虽然借助神经网络的优点，解决了泛化性问题，但由于是基于图像像素级的处理，聚类处理耗时严重，整个网络计算量过大，难以满足车道检测对实时性的要求。

面向复杂的山地自然环境，由于环境光照易变，常会出现路面严重阴影、图像过曝导致的图像信息严重丢失等情况，并且山道路面较为崎岖，现有的面向直线道路的车道检测技术不能直接较好地适用于该场景。此外，现有的车道检测技术，一是基于传统算法车的道线模型无法适用于道路场景变化的环境，鲁棒性泛化能力较差；二是基于像素点分割的深度学习车道线检测算法，虽然取得不错的检测精度，但是计算量极大，并且较大的计算资源需求而无法适用部署于轻量级设备。

发明内容

本发明的目的是：旨在提供一种山地道路边线位置检测方法，针对复杂山地自然环境，用于实现较为准确、快速的山地道路边线位置检测。

为实现上述技术目的，本发明采用的技术方案如下：

一种山地道路边线位置检测方法，包括如下步骤：

A1、将待检测图像转换为HSV图像以及灰度图像，作为网络输入；

A2、并行提取HSV图像、灰度图像各自的图像特征，再从边缘提取子网络嵌入图像边缘特征，通过融合得到全局混合特征；

A3、将提取出的全局混合特征，输入分类预测网络模块，得到道路边线位置检测结果，作为网络输出。

进一步，所述步骤A2包括多个图像特征提取模块：

HSV图像特征提取支路：通过简易的卷积、池化层，对HSV图像提取得到带颜色信息的特征图F_h；

灰度图像特征提取支路：通过LBCNN局部二值卷积神经网络层，实现灰度图像的纹理增强，并采用卷积层结合残差模块完成特征提取，得到特征F_g；

多支路特征融合：将HSV图像特征提取支路得到的特征F_h与灰度图像特征提取支路得到的特征F_g相融合，得到特征F_gh；在进入分类预测模块之前，通过嵌入边缘特征F_e融合得到多维信息的全局混合特征F_m。

进一步，步骤A3具体实现如下：

A301、将混合特征F_m通过卷积、全连接操作，得到一维全连接向量；

A302、通过基于行挑选的道路边线位置预测方法，得到道路边线检测结果。

进一步，步骤A302的具体实现如下：

A3021、通过预定义图像行数量、每行的图像块数量，完成图像网格化，形成图像预定义行区域；

A3022、基于特征提取模块的全局特征信息F_m，完成对图像预定义行区域中各图像块属于各条道路边线位置的概率预测估计；

A3023、通过不同标识对图像预定义行区域中挑选出的各条道路边线位置或缺失情况进行标记，即完成图像块挑选任务，输出各道路边线的预测位置。

进一步，所述道路边线位置预测的具体实现还包括如下步骤：

B1、设定道路边线数量最大值为N，预定义的行数量为h，图像网格化后每行的网格数量为w，原图像大小分辨率为H×W，根据特征提取模块得到的全局图像混合特征F_m，设定用于挑选第j行中的第i条道路边线的分类器为G^ij，则第j行中各水平位置属于第i条道路边线位置的预测概率为：

P_i,j,:＝G^ij(F_m),s.t.i∈[1,N],j∈[1,h]

其中，P_i,j,:是w+1维的向量，第w+1维表示道路边线位置的缺失情况；

B2、通过softmax函数，正则化处理可得：

Pcell_i,j,:＝softmax(P_i,j,:)

Pcell_i,j,k则表示第j行中第k个图像块属于第i条道路边线位置的预测概率；

B3、通过回归处理，在第j行中的第i条道路边线预测位置为：

进一步，所属网络模型还包括多个损失函数的涉及，用于网络模型训练策略的实现，具体损失函数设计过程如下：

设计整个道路边线检测网络的损失函数L_total为：L_total＝L_cls+L_con+L_egp，包括了L_cls分类损失函数，L_con连续形状损失函数，以及L_egp边缘引导损失函数。

分类损失函数：

设定one-hot标签形式的道路边线正确位置为T_i,j,:，利用交叉熵损失函数来计算预测的道路边线位置概率分布与真实正确位置的概率分布之间的距离，从而设计分类损失函数为：

连续形状损失函数：

鉴于道路边线的连续性，在相邻行的道路边线位置应该尽可能的互相接近，通过使用1范数对相邻行之间的分类器概率分布向量进行约束，可保证道路边线的连续性，该连续性损失函数为：

边缘引导损失函数

由概率预测向量P_i,j,:可得到每个位置的预测概率Pcell_i,j,k，这里通过引入基于全局的边缘图特征信息，对预测概率Pcell_i,j,k进行引导与约束，设计了边缘引导损失函数：

其中，λ为边缘预测图中对应位置的边缘梯度，将其作为预测概率的权重，可以在没有边缘特性的图像子区域中对道路边线预测概率起惩罚作用，即降低无边缘特征图像子区域的道路边线位置预测概率，能更好地引导道路边线位置的预测。

进一步，本发明基于网络模型的深度学习，还包括如下步骤：

C1、构建图像数据集，所述数据集中包含连续多帧驾驶场景的图像样本，每一组样本具体包括采集的彩色图像，处理得到的对应HSV图像、灰度图像、边缘图像、道路边线标注图像；

C2、构建边缘提取网络模型，该模型包括边缘特征提取子网络和特征回归子网络；

C3、利用步骤C1构建的边缘检测图像数据集即包括灰度图像和边缘图像，对步骤C2的边缘提取网络模型进行训练，得到边缘检测网络分支权重；

C4、构建道路边线检测网络模型，该模型包括特征提取子网络和分类预测子网络；

C5、将步骤C3训练得到的边缘检测网络分支权重保持固定不变，利用步骤C1构建的道路边线检测图像数据集，包括原始图像、HSV图像、灰度图、车道线标注图像，根据提出的网络损失函数L_total，对步骤C4构建的深度学习边线检测模型进行训练，得到整个道路边线位置检测网络模型权重；

C6、将待检测图像转换为灰度图像与HSV图像，利用步骤C5训练得到的边线检测模型权重参数，将灰度图像与HSV图像输入边线检测模型，经过特征提取与分类预测子网络，完成输出边线位置预测结果。

采用上述技术方案的发明，具有如下优点：

1、检测精度高：通过结合边缘特征信息，全局混合特征包含了更丰富的图像信息，并在模型训练中引入基于边缘特性引导的损失函数，能够更好地指导车道边线位置的检测，从而可得到更高的道路边线位置检测精度；

2、计算速度快、实时检测：采用了图像网格化后基于行挑选的水平位置预测方法，相比现有的像素点分割预测技术，运算量维度降低，极大地提高了计算速度；此外，相比常用的彩色图像直接作为网络输入处理，本网络模型以灰度图像作为主干网络的输入，通过图像通道数减少，可减少网络的卷积核参数，计算量降低，从而使得道路边线检测速度更快，可实现实时性；

3、轻量级网络：相比现有的像素点分割类深度学习方法，整个网络模型的参数量减少，可运行于移动设备上；

4、泛化能力：通过将HSV图像作为网络子分支的一个输入，由于HSV图像采用亮色分离，存储了在阴影或高亮条件下较为稳定的色调等信息，具有光照变化不敏感性，因此能更好地应对山地等自然环境下光线变化、甚至出现图像过曝和路面阴影等情况。

附图说明

本发明可以通过附图给出的非限定性实施例进一步说明；

图1为本发明山地道路边线位置检测方法整体框架图；

图2为本发明山地道路边线位置检测方法网络模型图；

图3为本发明网格化图像中的预定义行挑选示意图；

图4为本发明网络输入灰度图像；

图5为本发明网络输入HSV图像；

图6为本发明边缘特征图像；

图7为本发明车道边线位置检测结果展示图。

具体实施方式

以下将结合附图和具体实施例对本发明进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，实施例中提到的方向用语，例如“上”、“下”、“顶”、“底”、“左”、“右”、“前”、“后”等，仅是参考附图的方向，并非用于限制本发明的保护范围。

如图1-2所示，一种山地道路边线位置检测方法，包括如下步骤：

A1、将待检测图像转换为HSV图像以及灰度图像，作为网络输入；

A2、并行提取HSV图像、灰度图像各自的图像特征，再从边缘提取子网络嵌入图像边缘特征，通过融合得到全局混合特征；

A3、将提取出的全局混合特征，输入分类预测网络模块，得到道路边线位置检测结果，作为网络输出。

实施例：网络输入优化

相对于常用的直接将原始彩色图像作为网络输入，本发明采用将原始彩色图像转换为灰度图和HSV图像后，再输入到网络模型进行并行处理。相对于原始彩色图像，灰度图像的输入通道数减少，有助于减少网络过程中所需的卷积核权重参数，从而提升网络计算速度。同时，图像色彩信息以HSV图像的形式保存下来，相对于RGB图像对亮度较为敏感，HSV图像更接近人眼对彩色信息的感知经验，其颜色空间由色调(H)、饱和度(S)、明度(V)三个维度构成，通过亮色分离，H通道在阴影或高亮条件下较为稳定，具有光照变化不敏感性，因此能更好地应对山地等自然环境下光线变化、甚至出现图像过曝和路面阴影等情况。

由此，将灰度图像与HSV图像作为网络输入进行并行化处理，不仅保证丰富的图像信息，而且具有较高的计算效率。

实施例：图像特征提取的优化处理

相对于现有的特征提取模块，本发明通过多支路并行特征提取，在保证丰富的特征信息同时，各支路并行分开处理更少的参数量，从而提升计算处理速度；提取出的HSV图像特征能适应于不同的环境光线变化，对灰度图像通过LBCNN层后获取纹理信息增强的图像，从而提取出更为可靠的纹理信息；此外，从边缘子网络嵌入边缘特征，通过边缘特征提供的更多边缘细节信息(如道路边线轮廓等)，增加了图像几何约束，通过对两种不同任务的特征图进行聚合，也实现了训练过程中的多任务交互；设计了边缘提取分支与道路边线检测灰度图像特征提取分支在浅层网络中共享计算量以及有效特征的结构，一定程度上节省了计算量。

实施例：分类预测的优化处理

相对于现有的像素点分割深度学习方法，本发明将道路边线位置检测问题设计为一个基于全局特征的行挑选方法，可以很大幅度地提升计算速度；同时，在全局混合特征F_m基础上，通过利用不同行中其它位置的信息，可以解决道路边线遮挡问题；此外，此方法以基于行的方式对道路边线位置进行建模，清楚地建立不同行之间的关系，能在一定程度上缓解像素点分割深度学习任务中基于底层像素级建模以及高层道路边线长结构之间的语义鸿沟问题。

实施例：网格化处理

如图3所示，将混合特征F_m通过卷积、全连接操作，得到一维全连接向量；通过基于行挑选的道路边线位置预测方法，得到道路边线检测结果。

其中，基于行挑选的道路边线位置预测模块，设计思想为：通过网格化源图像，并基于特征提取模块的全局特征信息，在网格化图像的每个预定义行中完成水平挑选正确的道路边线位置任务。具体实现原理如下：

通过预定义图像行数量、每行的图像块数量，完成图像网格化。在预定义行区域中，图像被分为很多个网格(小图像块)，其中，蓝色块为预定义行中挑选出的第一条道路边线位置，紫色块为预定义行中挑选出的第二条道路边线位置，红色块表示预定义行中道路边线位置的缺失情况。因此，整个分类模块就是完成在所有预定义行中的所有道路边线的位置预测(即图像块挑选)任务。

实施例：深度学习网络训练策略

设计整个道路边线检测网络的损失函数L_total为：L_total＝L_cls+L_con+L_egp，包括了L_cls分类损失函数，L_con连续形状损失函数，以及L_egp边缘引导损失函数。相对于现有技术，本发明设计的连续形状损失函数，可以学习到道路边线方向上的先验信息，能一定程度上解决视野遮挡问题；设计边缘引导损失函数，结合边缘信息提供的更多环境先验信息，能够较好适应于山地场景中较为弯曲的道路，引导道路边线位置的预测。

①分类损失函数：

假设one-hot标签形式的道路边线正确位置为T_i,j,:，利用交叉熵损失函数来计算预测的道路边线位置概率分布与真实正确位置的概率分布之间的距离，从而设计分类损失函数：

②连续形状损失函数：

鉴于道路边线的连续性，在相邻行的道路边线位置应该尽可能的互相接近。通过使用1范数对相邻行之间的分类器概率分布向量进行约束，可保证道路边线的连续性。该连续性损失函数为：

③边缘引导损失函数

由概率预测向量P_i,j,:可得到每个位置的预测概率Pcell_i,j,k。这里通过引入基于全局的边缘图特征信息，对预测概率Pcell_i,j,k进行引导与约束，设计了边缘引导损失函数：

其中，λ为边缘预测图中对应位置的边缘梯度，将其作为预测概率的权重，可以在没有边缘特性的图像子区域中对道路边线预测概率起惩罚作用，即降低无边缘特征图像子区域的道路边线位置预测概率，能更好地引导道路边线位置的预测。

该网络训练损失函数，既利用了衡量真值与预测值一致性的分类损失函数，也利用了主要关注道路边线内部关系的连续形状损失函数，还利用了包含更多环境先验信息的边缘引导损失函数。整个网络模型在三个损失函数的共同作用下进行训练。

实施例：基于深度学习的检测实现

如图1-7所示，步骤1，构建图像数据集，所述数据集中包含连续多帧驾驶场景的图像样本。每一组样本具体包括采集的彩色图像，处理得到的对应HSV图像、灰度图像、边缘图像、道路边线标注图像；

步骤2，构建边缘提取网络模型，该模型包括边缘特征提取子网络和特征回归子网络；

步骤3，利用步骤1构建的边缘检测图像数据集(即包括灰度图像和边缘图像)，对步骤2的边缘提取网络模型进行训练，得到边缘检测网络分支权重；

步骤4，构建道路边线检测网络模型，该模型包括特征提取子网络和分类预测子网络；

步骤5，将步骤3训练得到的边缘检测网络分支权重保持固定不变，利用步骤1构建的道路边线检测图像数据集(包括原始图像、HSV图像、灰度图、车道线标注图像)，根据提出的网络损失函数L_total，对步骤4构建的深度学习边线检测模型进行训练，得到整个道路边线位置检测网络模型权重；

步骤6，将待检测图像转换为灰度图像与HSV图像，利用步骤5训练得到的边线检测模型权重参数，将灰度图像与HSV图像输入边线检测模型，经过特征提取与分类预测子网络，完成输出边线位置预测结果。

本发明对一种山地道路边线位置检测方法进行了详细介绍。具体实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种山地道路边线位置检测方法，其特征在于，包括如下步骤：

A1、将待检测图像转换为HSV图像以及灰度图像，作为网络输入；

A2、并行提取HSV图像、灰度图像各自的图像特征，再从边缘提取子网络嵌入图像边缘特征，通过融合得到全局混合特征F_m；

A3、将提取出的全局混合特征F_m，输入分类预测网络模型，得到道路边线位置检测结果，作为网络输出；

步骤A3具体实现如下：

A301、将混合特征F_m通过卷积、全连接操作，得到一维全连接向量；

A302、通过基于行挑选的道路边线位置预测方法，得到道路边线检测结果；

步骤A302的具体实现如下：

A3021、通过预定义图像行数量、每行的图像块数量，完成图像网格化，形成图像预定义行区域；

A3022、基于特征提取模块的全局特征信息F_m，完成对图像预定义行区域中各图像块属于各条道路边线位置的概率预测估计；

A3023、通过不同标识对图像预定义行区域中挑选出的各条道路边线位置或缺失情况进行标记，即完成图像块挑选任务，输出各道路边线的预测位置；

所述道路边线位置预测的具体实现还包括如下步骤：

B1、设定道路边线数量最大值为N，预定义的行数量为h，图像网格化后每行的网格数量为w，原图像大小分辨率为H×W，根据特征提取模块得到的全局图像混合特征F_m，设定用于挑选第j行中的第i条道路边线的分类器为G^ij，则第j行中各水平位置属于第i条道路边线位置的预测概率为：

P_i,j,:＝G^ij(F_m),s.t.i∈[1,N],j∈[1,h]

其中，P_i,j,:是w+1维的向量，第w+1维表示道路边线位置的缺失情况；

B2、通过softmax函数，正则化处理可得：

Pcell_i,j,:＝softmax(P_i,j,:)

Pcell_i,j,k则表示第j行中第k个图像块属于第i条道路边线位置的预测概率；

B3、通过回归处理，在第j行中的第i条道路边线预测位置为：

2.根据权利要求1所述的一种山地道路边线位置检测方法，其特征在于，所述步骤A2包括多个图像特征提取模块：

HSV图像特征提取支路：通过简易的卷积、池化层，对HSV图像提取得到带颜色信息的特征图F_h；

灰度图像特征提取支路：通过LBCNN局部二值卷积神经网络层，实现灰度图像的纹理增强，并采用卷积层结合残差模块完成特征提取，得到特征F_g；

多支路特征融合：将HSV图像特征提取支路得到的特征F_h与灰度图像特征提取支路得到的特征F_g相融合，得到特征F_gh；在进入分类预测模块之前，通过嵌入边缘特征F_e融合得到多维信息的全局混合特征F_m。

3.根据权利要求1所述的一种山地道路边线位置检测方法，其特征在于，所述网络模型还包括多个损失函数的设计，用于网络模型训练策略的实现，具体损失函数设计过程如下：

设计整个道路边线检测网络的损失函数L_total为：L_total＝L_cls+L_con+L_egp，包括了L_cls分类损失函数，L_con连续形状损失函数，以及L_egp边缘引导损失函数；

分类损失函数：

设定one-hot标签形式的道路边线正确位置为T_i,j,:，利用交叉熵损失函数来计算预测的道路边线位置概率分布与真实正确位置的概率分布之间的距离，从而设计分类损失函数为：

连续形状损失函数：

鉴于道路边线的连续性，在相邻行的道路边线位置应该尽可能的互相接近，通过使用1范数对相邻行之间的分类器概率分布向量进行约束，可保证道路边线的连续性，该连续形状损失函数为：

边缘引导损失函数

由概率预测向量P_i,j,:可得到每个位置的预测概率Pcell_i,j,k，这里通过引入基于全局的边缘图特征信息，对预测概率Pcell_i,j,k进行引导与约束，设计了边缘引导损失函数：

其中，λ为边缘预测图中对应位置的边缘梯度，将其作为预测概率的权重，可以在没有边缘特性的图像子区域中对道路边线预测概率起惩罚作用，即降低无边缘特征图像子区域的道路边线位置预测概率，能更好地引导道路边线位置的预测。

4.根据权利要求1-3任一项所述的一种山地道路边线位置检测方法，其特征在于，还包括如下步骤：

C1、构建图像数据集，所述数据集中包含连续多帧驾驶场景的图像样本，每一组样本具体包括采集的彩色图像，处理得到的对应HSV图像、灰度图像、边缘图像、道路边线标注图像；

C2、构建边缘提取网络模型，该模型包括边缘特征提取子网络和特征回归子网络；

C3、利用步骤C1构建的边缘检测图像数据集即包括灰度图像和边缘图像，对步骤C2的边缘提取网络模型进行训练，得到边缘检测网络分支权重；

C4、构建道路边线检测网络模型，该模型包括特征提取子网络和分类预测子网络；

C5、将步骤C3训练得到的边缘检测网络分支权重保持固定不变，利用步骤C1构建的道路边线检测图像数据集，包括原始图像、HSV图像、灰度图、车道线标注图像，根据提出的网络损失函数L_total，对步骤C4构建的深度学习边线检测模型进行训练，得到整个道路边线位置检测网络模型权重；

C6、将待检测图像转换为灰度图像与HSV图像，利用步骤C5训练得到的边线检测模型权重参数，将灰度图像与HSV图像输入边线检测模型，经过特征提取与分类预测子网络，完成输出边线位置预测结果。

Images