CN113822226A - 一种特殊环境下基于深度学习的车道线检测方法 - Google Patents

一种特殊环境下基于深度学习的车道线检测方法 Download PDF

Info

Publication number
CN113822226A
CN113822226A CN202111204750.7A CN202111204750A CN113822226A CN 113822226 A CN113822226 A CN 113822226A CN 202111204750 A CN202111204750 A CN 202111204750A CN 113822226 A CN113822226 A CN 113822226A
Authority
CN
China
Prior art keywords
lane line
layer
lane
line detection
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111204750.7A
Other languages
English (en)
Inventor
沈阳
张友华
黄喜荣
杨志峰
文旭卿
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kingroad Technology Development Co ltd
Original Assignee
Jiangxi Kingroad Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kingroad Technology Development Co ltd filed Critical Jiangxi Kingroad Technology Development Co ltd
Priority to CN202111204750.7A priority Critical patent/CN113822226A/zh
Publication of CN113822226A publication Critical patent/CN113822226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明涉及车道线检测技术领域,且公开了一种特殊环境下基于深度学习的车道线检测方法,该车道线检测方法基于残差网络ResNet和空间注意力模块,其通过卷积网络提取特征信息,并在主干网络ResNet之后添加空间注意力模块,用于结合空间上长距离的上下文信息得到更有效的语义表征,构成适用于在复杂环境下进行车道线检测的深度学习网络模型,并使用相关场景的图像数据进行训练,模型最终的车道线检测效果,能够有效解决高速隧道内车道线检测难度大、老旧道路部分路段车道线模糊不易识别、路段划线未使用标准涂料导致反光率差的问题,并且具有较好的准确性和鲁棒性,尤其对于隧道内的车道线检测有较好的鲁棒性。

Description

一种特殊环境下基于深度学习的车道线检测方法
技术领域
本发明涉及车道线检测技术领域,具体为一种特殊环境下基于深度学习的车道线检测方法。
背景技术
车道线作为基本的交通标志线,是汽车行驶的约束与指示。安全驾驶结构化道路上的车道线检测是智能车自主驾驶系统的核心技术之一。它能够有效引导车辆在车道线内行驶,帮助驾驶员更好地安全驾驶,驾驶交通事故的发生率,减少交通堵塞。车道线检测与跟踪上已经有了较多的探索,也有较多的研究成果。
车道线检测最主要的方法可以分为特征法和模板法。基于特征的方法有:2001年Donald等人提出了一种基于Hough变换的方法进行高速情况下车道线的检测,利用车道线的几何信息对Hough变换参数进行限制;Lee提出了一个通过边缘分布函数和车辆运动方向的变化估计将来车道线方向的车道偏移预警系统;陈龙等提出一种基于成像模型的线扫描车道线检测及跟踪方法。基于模板的方法有:2004年,Wang等人先为B-Snake车道模型提供一个初始定位,然后将车道线检测问题通过道路模型转换为确定样条曲线所需的控制点问题,最终提取车道线;2010年,Zhou等人通过主方向与边缘方向确定一部分估计参数,然后用Gabor滤波器挑选出最佳车道模型;2012年,Mechat采用基于SVM的方法区分是否为车道线,然后采用Catmull-Rom曲线对车道线进行建模,并采用标准的卡尔曼滤波器对首尾两控制点参数进行估计跟踪。经过研究,虽然智能驾驶中的车道线检测与跟踪技术有了较大的进步与发展,但机器视觉中由于摄像机获取道路信息时受到强光照、车道线磨损、车辆遮挡和树木阴影等干扰,对识别率仍然有较大的影响;同时车道平面上的人行道、斑马线和文字标识对识别也会带来干扰。这些问题的解决,需要更深入的研究。
由于我国多山,导致隧道成为在山区中修路的不二之选。由于隧道环境复杂,且设备繁多,车速高,流量大,照明光线差,会导致隧道内发生特殊的交通情况,这增加了车道线检测难度。老旧道路部分路段车道线十分模糊,甚至已经模糊到人眼无法识别的程度。某些路段的划线未使用标准涂料导致反光率很差,无法正确识别。针对上述问题,利用传统的图像处理的方式已经不能胜任这个任务了,如不改善这个状况将继续需要投入大量的人力与时间以完成此类工作。所以现亟需使用深度学习方法来解决此类问题。
发明内容
(一)解决的技术问题
针对目前现有技术存在的下述问题:
(1)隧道环境复杂,且设备繁多,车速高,流量大,照明光线差,噪音大,空气质量差等因素都会导致隧道内发生特殊的交通情况,高速隧道内的车道线检测难度大;
(2)老旧道路部分路段车道线十分模糊,甚至已经模糊到人眼无法识别的程度;
(3)某些路段的划线未使用标准涂料导致反光率很差,无法正确识别;
本发明提供一种特殊环境下基于深度学习的车道线检测方法。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:
一种特殊环境下基于深度学习的车道线检测方法,包括以下步骤:
步骤一,首先捕获特殊环境下的路段视频,然后从所述路段视频中提取路段图像;
步骤二,对上述所提取到的视频图像进行去噪和增强、颜色空间转换及车道线区域选取;
步骤三,在选定的车道线区域,抽取颜色、边缘、纹理及其他特定的车道线图像信息;
步骤四,将抽取的车道线图像信息输入训练好的基于深度学习的车道线检测网络模型,得到的输出即为车道线的准确像素位置;
上述基于深度学习的车道线检测网络模型的训练步骤具体如下:
步骤S1,数据采集和预处理;
步骤S2,将整理好的数据集输入模型进行训练,模型中主干网络使用残差网络ResNet,该主干网络ResNet包含若干个残差模块,卷积层,全连接层,PReLU层,批归一化层;
其中,残差模块为:由一个3×3的卷积,一个批归一化层,一个PReLU层,一个3×3的卷积,一个批归一化层组成的跳连结构;
并且在主干网络ResNet后部添加一个空间注意力模块,该空间注意力模块结构如下:
对于主干网络输出的特征图OϵRC×H×W,为了融合其特征图H方向上的信息,在H方向上做转置得到OTϵRH×W×C,然后以OT为输入通过一个1×1的卷积层,以及批处理层和PReLu层,得到PϵRH×W×C
再在PϵRH×W×C的W方向上做转置得到PTϵRW×C×H作为输入,通过一个1×1的卷积层,以及批处理层和PReLu层,得到QϵRW×C×H
最后将Q转置回QTϵRC×H×W,通过一个1×1的卷积层,以及批处理层和PReLu层得到RϵRC×H×W
最后将R和O相加,得到S即为空间注意力模块的输出;
步骤S3,将步骤S1准备的数据输入步骤S2的网络模型进行训练至模型收敛到较好的精度。
进一步的,所述辅助空间注意力模块使用一个分类辅助损失函数,辅助空间注意力模块得到精准度更高的网络参数,该空间注意力模块分类辅助损失函数如下:
(1)
式中:n表示车道线总数,pi表示第i根车道线存在的概率,yi表示第i根车道线是否存在的真值,存在则为1,不存在则为0。
进一步的,所述辅助空间注意力模块使用带权重的交叉熵损失函数,来减轻类别不平衡对训练带来的影响,该交叉熵损失函数的公式如下:
(2)
式中:f(x)为神经网络的输出,y为图像标签,N表示像素总数,k为分类类别数,在车道线检测任务中k=2,wi为当前类别的权重,pi为第i根车道线存在的概率。
进一步的,所述特殊环境下的路段视频包括:高速公路隧道监控路段视频、隧道环境复杂下的路段视频、未使用标准涂料划线反光率差的路段视频、老旧道路车道线十分模糊的路段视频。
进一步的,所述车道线检测方法采用车道线跟踪模块进行车道线预测,其利用前一时刻得到的车道线位置,预估下一时刻车道线的位置。
进一步的,所述车道线跟踪模块采用卡尔曼滤波器、粒子滤波和退火粒子滤波实现车道线跟踪任务。
(三)有益的技术效果
与现有技术相比,本发明具备以下有益的技术效果:
(1)本发明基于残差网络ResNet和空间注意力模块的车道线检测方法通过卷积网络提取特征信息,并在主干网络ResNet之后添加空间注意力模块,用于结合空间上长距离的上下文信息得到更有效的语义表征,构成一个有效的车道线检测模型,能够有效解决高速隧道内车道线检测难度大、老旧道路部分路段车道线模糊不易识别、路段划线未使用标准涂料导致反光率差的问题,并且具有较好的准确性和鲁棒性。
(2)本发明设计了一种适用于在复杂环境下进行车道线检测的深度学习网络模型,并使用相关场景的图像数据进行训练,模型最终的车道线检测效果,尤其对于隧道内的车道线检测有较好的鲁棒性;
(3)本发明通过分类辅助损失函数和带权重的交叉熵损失函数,针对部分老旧路面,可提供不需要人工干预的、全自动补全车道线的功能。
附图说明
图1为本发明的车道线检测方法的整体结构流程图。
图2为本发明的空间注意力模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种特殊环境下基于深度学习的车道线检测方法,如图1所示,包括以下步骤:
步骤一,捕获特殊环境下的路段视频,从该视频中提取图像,将其作为车道线检测系统的输入量;
其中,上述特殊环境下的路段视频主要包括:高速公路隧道监控路段视频、隧道环境复杂下的路段视频、未使用标准涂料划线反光率差的路段视频、老旧道路车道线十分模糊的路段视频;
步骤二,对上述所提取到的视频图像进行去噪和增强、颜色空间转换及车道线区域选取;
首先对采集到的视频图像进行线性滤波或非线性滤波;其次利用直方图均衡、分段线性拉伸函数、TopHat算法等增强车道线的特征;
为了突出车道线的特征,从RGB空间转换到Lab12、色调-亮度-饱和度(Hue-Intensity-Saturation,HIS)等彩色空间进行显著性分析;
步骤三,在选定的车道线区域,抽取颜色、边缘、纹理及其他特定的车道线图像信息;车道线与路面的对比度、车道及车道线的恒定宽度、车道线曲率及车道线的平行特性等均可视为车道线检测的重要特征;
步骤四,在车道线检测阶段,将上述视频图片信息输入训练好的基于深度学习的车道线检测网络模型,得到的输出即为车道线的准确像素位置;
上述基于深度学习的车道线检测网络模型的训练步骤具体如下:
步骤S1,数据采集和预处理:
(1)采集来自特殊环境下的路段视频并生成图像集,此处以高速公路隧道中已安装的摄像头拍摄的视频为例;
(2)对生成的图像集进行车道线的人工标注;
步骤S2,将整理好的数据集输入模型进行训练,模型中主干网络使用残差网络(residual network,ResNet),该主干网络ResNet包含若干个残差模块,卷积层,全连接层,PReLU层,批归一化层;
其中,残差模块为:由一个3×3的卷积,一个批归一化层,一个PReLU层,一个3×3的卷积,一个批归一化层组成的跳连结构;
上述整个ResNet网络的结构如下表1所示:
表1 ResNet网络结构
重复次数 结构 输入通道数 输出通道数
1 3*3卷积、批归一化化、PReLu 3 64
3 残差模块1 64 64
4 残差模块2 64 128
14 残差模块3 128 256
3 残差模块4 256 512
进一步的,在上述的主干网络ResNet后部添加一个空间注意力模块(spatialattention module),如图2所示,所述空间注意力模块结构如下:
对于主干网络输出的特征图OϵRC×H×W,为了融合其特征图H方向上的信息,在H方向上做转置得到OTϵRH×W×C,然后以OT为输入通过一个1×1的卷积层,以及批处理层和PReLu层,得到PϵRH×W×C
再在PϵRH×W×C的W方向上做转置得到PTϵRW×C×H作为输入,通过一个1×1的卷积层,以及批处理层和PReLu层,得到QϵRW×C×H
最后将Q转置回QTϵRC×H×W,通过一个1×1的卷积层,以及批处理层和PReLu层得到RϵRC×H×W
最后将R和O相加,得到S即为空间注意力模块的输出;
进一步的,针对语义分割类别不平衡问题,即车道线和道路背景像素数量不平衡,使用一个分类辅助损失函数,辅助空间注意力模块得到精准度更高的网络参数;其中空间注意力模块分类辅助损失函数如下:
(1)
其中,式(1)中:n表示车道线总数,pi表示第i根车道线存在的概率,yi表示第i根车道线是否存在的真值,存在则为1,不存在则为0;
由于车道线在图像中占比较小,在每张内的平均占比大约仅为5%,其余都是无关类别或背景,为了解决上述在车道线检测任务中,样本像素类别不平衡的问题,本发明提出了带权重的交叉熵损失函数,公式如下:
(2)
其中,式(2)中:f(x)为神经网络的输出,y为图像标签,N表示像素总数,k为分类类别数,在车道线检测任务中k=2,wi为当前类别的权重,pi为第i根车道线存在的概率;
通过调整参数wi,来减轻类别不平衡对训练带来的影响;
步骤S3,将步骤S1准备的数据输入步骤S2的网络模型进行训练至模型收敛到较好的精度;
步骤五,采用车道线跟踪模块进行车道线预测,其利用前一时刻得到的车道线位置,预估下一时刻车道线的位置,可有效提高车道线检测的速度和准确率;其中,卡尔曼滤波器、粒子滤波和退火粒子滤波广泛应用于车道线跟踪任务中;
其中,上述基于残差网络ResNet和空间注意力模块的车道线检测方法通过卷积网络提取特征信息,并在主干网络ResNet之后添加空间注意力模块,用于结合空间上长距离的上下文信息得到更有效的语义表征,构成一个有效的车道线检测模型,具有较好的准确性和鲁棒性;
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种特殊环境下基于深度学习的车道线检测方法,其特征在于,包括以下步骤:
步骤一,首先捕获特殊环境下的路段视频,然后从所述路段视频中提取路段图像;
步骤二,对上述所提取到的视频图像进行去噪和增强、颜色空间转换及车道线区域选取;
步骤三,在选定的车道线区域,抽取颜色、边缘、纹理及其他特定的车道线图像信息;
步骤四,将抽取的车道线图像信息输入训练好的基于深度学习的车道线检测网络模型,得到的输出即为车道线的准确像素位置;
上述基于深度学习的车道线检测网络模型的训练步骤具体如下:
步骤S1,数据采集和预处理;
步骤S2,将整理好的数据集输入模型进行训练,模型中主干网络使用残差网络ResNet,该主干网络ResNet包含若干个残差模块,卷积层,全连接层,PReLU层,批归一化层;
其中,残差模块为:由一个3×3的卷积,一个批归一化层,一个PReLU层,一个3×3的卷积,一个批归一化层组成的跳连结构;
并且在主干网络ResNet后部添加一个空间注意力模块,该空间注意力模块结构如下:
对于主干网络输出的特征图OϵRC×H×W,为了融合其特征图H方向上的信息,在H方向上做转置得到OTϵRH×W×C,然后以OT为输入通过一个1×1的卷积层,以及批处理层和PReLu层,得到PϵRH×W×C
再在PϵRH×W×C的W方向上做转置得到PTϵRW×C×H作为输入,通过一个1×1的卷积层,以及批处理层和PReLu层,得到QϵRW×C×H
最后将Q转置回QTϵRC×H×W,通过一个1×1的卷积层,以及批处理层和PReLu层得到RϵRC ×H×W
最后将R和O相加,得到S即为空间注意力模块的输出;
步骤S3,将步骤S1准备的数据输入步骤S2的网络模型进行训练至模型收敛到较好的精度。
2.根据权利要求1所述的特殊环境下基于深度学习的车道线检测方法,其特征在于,所述辅助空间注意力模块使用一个分类辅助损失函数,辅助空间注意力模块得到精准度更高的网络参数,该空间注意力模块分类辅助损失函数如下:
(1)
式中:n表示车道线总数,pi表示第i根车道线存在的概率,yi表示第i根车道线是否存在的真值,存在则为1,不存在则为0。
3.根据权利要求2所述的特殊环境下基于深度学习的车道线检测方法,其特征在于,所述辅助空间注意力模块使用带权重的交叉熵损失函数,来减轻类别不平衡对训练带来的影响,该交叉熵损失函数的公式如下:
(2)
式中:f(x)为神经网络的输出,y为图像标签,N表示像素总数,k为分类类别数,在车道线检测任务中k=2,wi为当前类别的权重,pi为第i根车道线存在的概率。
4.根据权利要求3所述的特殊环境下基于深度学习的车道线检测方法,其特征在于,所述特殊环境下的路段视频包括:高速公路隧道监控路段视频、隧道环境复杂下的路段视频、未使用标准涂料划线反光率差的路段视频、老旧道路车道线十分模糊的路段视频。
5.根据权利要求1-4任一项所述的特殊环境下基于深度学习的车道线检测方法,其特征在于,所述车道线检测方法采用车道线跟踪模块进行车道线预测,其利用前一时刻得到的车道线位置,预估下一时刻车道线的位置。
6.根据权利要求5所述的特殊环境下基于深度学习的车道线检测方法,其特征在于,所述车道线跟踪模块采用卡尔曼滤波器、粒子滤波和退火粒子滤波实现车道线跟踪任务。
CN202111204750.7A 2021-10-15 2021-10-15 一种特殊环境下基于深度学习的车道线检测方法 Pending CN113822226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204750.7A CN113822226A (zh) 2021-10-15 2021-10-15 一种特殊环境下基于深度学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111204750.7A CN113822226A (zh) 2021-10-15 2021-10-15 一种特殊环境下基于深度学习的车道线检测方法

Publications (1)

Publication Number Publication Date
CN113822226A true CN113822226A (zh) 2021-12-21

Family

ID=78920306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111204750.7A Pending CN113822226A (zh) 2021-10-15 2021-10-15 一种特殊环境下基于深度学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN113822226A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778551A (zh) * 2016-11-30 2017-05-31 南京理工大学 一种高速路段及城市道路车道线识别方法
CN110163069A (zh) * 2019-01-04 2019-08-23 深圳市布谷鸟科技有限公司 用于辅助驾驶的车道线检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778551A (zh) * 2016-11-30 2017-05-31 南京理工大学 一种高速路段及城市道路车道线识别方法
CN110163069A (zh) * 2019-01-04 2019-08-23 深圳市布谷鸟科技有限公司 用于辅助驾驶的车道线检测方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王帅帅;刘建国;纪郭;: "基于全卷积神经网络的车道线检测", 数字制造科学, no. 02, 15 June 2020 (2020-06-15) *

Similar Documents

Publication Publication Date Title
CN108830188B (zh) 基于深度学习的车辆检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN109508715B (zh) 一种基于深度学习的车牌定位和识别方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN109657632B (zh) 一种车道线检测识别方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN110866430B (zh) 一种车牌识别方法及装置
CN105718870A (zh) 自动驾驶中基于前向摄像头的道路标线提取方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN103324930A (zh) 一种基于灰度直方图二值化的车牌字符分割方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
Zhang et al. End to end video segmentation for driving: Lane detection for autonomous car
CN112766056B (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN107862341A (zh) 一种车辆检测方法
Ren et al. Automatic measurement of traffic state parameters based on computer vision for intelligent transportation surveillance
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
Huang et al. Chinese license plate detection based on deep neural network
CN112802348B (zh) 一种基于混合Gaussian模型的车流量计数方法
CN113822226A (zh) 一种特殊环境下基于深度学习的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination