CN113936266A - 一种基于深度学习的车道线检测方法 - Google Patents

一种基于深度学习的车道线检测方法 Download PDF

Info

Publication number
CN113936266A
CN113936266A CN202111213054.2A CN202111213054A CN113936266A CN 113936266 A CN113936266 A CN 113936266A CN 202111213054 A CN202111213054 A CN 202111213054A CN 113936266 A CN113936266 A CN 113936266A
Authority
CN
China
Prior art keywords
lane line
network model
lane
loss function
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111213054.2A
Other languages
English (en)
Inventor
彭琪
赵清华
刘伟峰
庄奕琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111213054.2A priority Critical patent/CN113936266A/zh
Publication of CN113936266A publication Critical patent/CN113936266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的车道线检测方法,包括如下步骤:步骤一:获得图像数据集,该数据集中包含车道线;步骤二:搭建神经网络模型,设置损失函数和约束损失函数的超参数,该神经网络模型包括依次连接卷积层、池化层、4个残差块、4个不同空洞率dilated module和辅助SE block;损失函数设置为了加速模型收敛且对车道线增加几何约束。步骤三:将数据集喂给神经网络模型进行训练,迭代多轮之后得到收敛的网络模型;步骤四:将网络模型安装与车载摄像头中,即可实现实时监测。本发明在于提供一种基于深度学习的车道线检测方法,在保证较高准确率的情况下,速度也能达到自动驾驶实时性要求。

Description

一种基于深度学习的车道线检测方法
技术领域
本发明属于自动驾驶技术领域,具体涉及一种基于深度学习的车道线检测方法。
背景技术
随着科学技术的发展与进步,汽车已普遍成为人们的代步工具。并且随着车辆的增多,道路交通环境变得越来越复杂,因此驾驶辅助功能愈发受到人们的关注,先进的驾驶辅助系统不仅可以缓解驾驶员的疲劳,而且还可以大大减少交通事故的发生。自动驾驶涉及到的技术有很多,如车道保持、障碍物检测、车道线检测和安全距离预警等。其中,车道线检测对自动驾驶和先进的驾驶辅助系统至关重要,它可以正确检测车道线位置,帮助驾驶员判断自身所处的位置以及车辆是否出现违规行为,及时做出调整保证车辆行驶安全。
传统的车道线检测算法大多是进行逐像素的密集预测,即对图像所有像素点进行分类,然后经过复杂的后处理得到车道线,这种方法带来的一个问题模型庞大且速度慢。另一个问题是未利用全局信息,只利用了局部感受野,所以在车道线由于拥堵被遮挡和光线差等恶劣场景中,很难准确且迅速的识别出车道线。
发明内容
为了克服上述现有技术存在的不足,本发明的目的在于提供一种基于深度学习的车道线检测方法,在保证较高准确率的情况下,速度也能达到自动驾驶实时性要求。
为了达到上述目的,本发明所采用的技术方案包括如下步骤:
步骤一、从官方网站获取Tusimple和Culane图像数据集,对图像中包含的车道线进行标注,获得标注后图像;
步骤二、搭建神经网络模型,设置损失函数和约束损失函数的超参数,该神经网络模型包括依次连接卷积层、池化层、4个残差块、4个不同空洞率dilated module和辅助SEblock;损失函数设置为了加速模型收敛且对车道线增加几何约束(平滑性与刚性);
步骤三、将步骤一标注好的图像喂给上述步骤二搭建好的神经网络模型进行训练,直到损失函数不再减小时停止训练,得到收敛的网络模型;
步骤四、将网络模型与权重文件通过pc端下载于车载摄像头芯片中,摄像头实时采集图像,然后输入网络模型,经过模型推理得到实时车道线信息,即可实现实时监测。
进一步的,为了应对不同的交通场景,步骤一所述的数据集应包含两部分,第一部分为天气晴朗和车道线标记清晰的高速公路Tusimple数据集,第二部分为包含九种场景的城市道路Culane数据集,分别为正常场景、拥堵场景、转弯场景、眩光场景、夜晚场景、无车道线场景、阴影场景和道路有箭头标记场景。
进一步的,所述数据集一般数量比较少,为了达到很好训练结果,需对数据集进行数据增强;数据增强包括对简单场景和极端复杂场景中图像进行旋转、垂直和水平移动,此外,为了保持车道形状,将车道线延伸至图像的边界。
进一步的,搭建的神经网络模型包括依次连接的卷积层、最大池化层、4个残差块、4个不同空洞率的dilated module、全连接层以及辅助结构SE block。
进一步的,损失函数Ltotal=Lcls+α(Lsim+λLshp)+βLseg,其中,Lcls为分类损失,即预测车道线位置与真实位置偏差,Lsim定义为平滑性,希望车道线位置在相邻行上是相近且平滑变化的,Lshp将相邻行间的二阶差分定义为车道线的形状,Lseg为辅助训练分割损失函数(交叉熵损失)所述α=1、β=1和λ=1。
进一步的,对步骤二数据集中每一张图像,定义一组行锚,假设最大车道线数量为C,行锚数量为h,网格数量为w,X为输入图像,fij是用于选择第i个车道线在第j行锚上位置的分类器,那么车道的预测Pi,j=fij(X),则平滑性损失为
Figure BDA0003309526740000031
进一步的,步骤二中
Figure BDA0003309526740000032
为二阶差分损失函数,其中,Loci,j为每一个位置的期望值并且是可微的。
进一步的,步骤三中将设置好的损失函数、学习率和α、β和λ损失系数代入神经网络模型,然后将增强后数据集喂给网络进行训练直至收敛。
与现有技术相比,本发明的有益效果在于:
本发明提出一种基于深度学习的车道线检测方法,将车道线检测任务看做基于全局图像行分类问题,极大地解决传统方法模型复杂度大和速度慢等问题,并且本发明利用平滑性损失和二阶差分损失为车道线增加几何约束,本发明利用全连接层增加感受野即(全局图像特征),可以在遮挡和光线差等场景中准确识别出车道线。
附图说明
图1是本发明方法流程图。
图2是本发明主干网络整体结构示意图。
图3是本发明Dilated module结构示意图。
图4是本发明SE block结构示意图。
具体实施方式
下面结合附图对本发明作更详细的说明。
如图1所示,一种基于深度学习的车道线检测方法,包括如下步骤:
步骤一:车道线检测数据集中每一张图像都包含车道,并且车道线的数量是已知的。
车道线检测数据集包括简单场景与极端复杂场景,其中正常场景为高速公路拍摄的图像(即Tusimple数据集),无极端恶劣天气且车道线特征明显无遮挡,极端复杂场景包括在城市道路正常、拥堵、曲线、眩光、夜晚、无线、阴影和箭头(即Culane数据集)等场景拍摄的图像,一般车道线被遮挡或不清晰,利用该数据集训练网络可以提高模型的鲁棒性。
为了防止过拟合且提高模型的泛化能力,需对数据集进行数据增强。数据增强操作:对数据集中每一张图像进行旋转、水平和垂直方向移动,此外,为了保持车道结构,将车道延伸到图像的边界,得到最终的车道检测数据集,将其分为两部分,一部分为训练数据集,另一部分为测试数据集。
步骤二:搭建神经网络模型,设置损失函数和约束损失函数的超参数,本发明神经网络模型包括依次连接卷积层、池化层、4个残差块、4个不同空洞率dilatedmodule和辅助SEblock;损失函数设置为了加速模型收敛且对车道线增加几何约束(平滑性与刚性)。
此时的神经网络模型只是一个框架,模型所需的超参数还未确定,需不断的训练与测试才可以确定,只有确定了超参数才可得到真正的网络模型。
神经网络模型主干网络如图2所示,包括一个7x7卷积层、最大池化层、4个残差块(其中每个残差块后为全连接层)、全局平均池化和一个全连接层。本发明将车道线检测转换为行分类问题,假设图像分辨率为HxW,最大车道线数量为C,行锚数量为h,网格数量为w,X为输入图像,fij是用于选择第i个车道线在第j行锚上位置的分类器,则车道的预测概率为Pi,j=fij(X)。
车道线检测数据集中每张图像中的车道线数是固定的,经过脚本转换即含有车道线的用标签1表示,不含车道线用标签0表示,得到标签文件,然后将图像定义固定行锚数喂给网格模型。
Dilatedmodule结构如图3所示,包括一个1x1卷积层、3x3卷积层和4个不同空洞率的残差块;本发明将原始特征图和扩大感受野的特征图加到一起,得到覆盖所有目标尺度的特征图。
SE block结构如图4所示,图中Ftr是一般的卷积操作,X和U分别是Ftr的输入(C′×H′×W′)和输出(C×H×W),然后对U做Global Average Pooling(图中Fsq()操作),输出1x1xC在经过两级全连接(图中Fex()操作),最后经过sigmoid激活函数限制到[0,1]范围,把这个值作为scale乘以U的C个通道上,作为下一级的输入;本发明将重要通道特征强化,非重要通道特征弱化。
将车道线数据集喂给网络模型,图像经过一个7x7卷积层得到原始图像一半的特征图I,在经过3x3最大池化层得到特征图I一半的特征图II,然后进入4个残差块,每个残差块会得到输入特征图一半的输出特征图,最后一个残差块进入Dilatedmodule得到多尺度特征图,经过全连接层展成一维向量,其中每个残差块得到的特征图经过SEblock生成分割图,对主框架进行辅助训练。
图像喂给网络模型通过训练得到预测值,然后利用损失函数将预测值与实际值进行计算,得到偏差,再通过优化器(梯度下降法)反向传播不断优化网络模型权重,直至损失函数达到收敛。
预测值与实际值是通过损失函数
Figure BDA0003309526740000071
进行计算的,其中,Pij是(w+1)维向量,表示预测位置,Tij是真实值,LCE是交叉熵损失。
除了分类损失外,我们还提出了两个损失函数,用于建模车道点的位置关系。通过这种方式,可以增强网络学习到车道结构信息。第一个是基于车道是连续的这一事实,也就是说,相邻行锚中的车道点应该彼此靠近,因此,通过约束分类向量在相邻行锚上的分布来实现连续性。这样,相似性损失函数为:
Figure BDA0003309526740000072
另一个结构损失函数关注车道的形状,一般来说,大多数车道都是直的。即使是曲线车道,由于透视效果,大部分车道仍然是直的。在这项工作中,我们使用二阶差分方程来约束车道的形状,直线情况下为零,则二阶差分约束为:
Figure BDA0003309526740000073
总的结构损失为:Lstr=Lsim+λLshp,其中,λ为损失系数,Lseg为分割损失(交叉熵损失),即辅助模型进行训练,最终损失函数:
Ltotal=Lcls+α(Lsim+λLshp)+βLseg
α、β为损失系数。
步骤三、将数据集喂给神经网络模型进行训练,迭代多轮之后得到收敛的网络模型。
将设置好的α、β和λ超参数、学习率方式和优化器放入网络模型对数据集进行训练,收敛后得到模型权重文件。
例如,在训练中,将每个行锚分割成150网格,batchsize设置为32,约束参数设置为α=1、β=1和λ=1,优化器为Adam,初始学习率为0.1,衰减率为1e-4,设置完之后,将数据集(Tusimple和Culane)包含车道线图像进行标注,标注后图像经过卷积层、池化层、4个残差块、4个不同空洞率dilatedmodule和辅助SEblock训练50轮,直至损失函数不再减小,收敛得到权重文件,然后用此权重文件对测试数据集进行测试,FPS达到80.4,符合实时检测(FPS=30)要求,最后将网络模型与权重文件通过pc端下载于车载摄像头芯片中,摄像头实时采集图像输入到网络模型得到预测结果,再与真实数据进行对比,验证模型是否学习到了车道线信息。
步骤四、将网络模型安装与车载摄像头中,即可实现实时监测。此步骤只需要摄像头捕获图像,然后输入到训练好的模型文件,将输出车道线位置和数量。
本发明提出一种基于深度学习的车道线检测方法,将车道线检测任务看做基于全局图像行分类问题,极大地解决传统方法模型复杂度大和速度慢等问题,并且本发明利用平滑性损失和二阶差分损失为车道线增加几何约束,本发明利用全连接层增加感受野即(全局图像特征),可以在遮挡和光线差等场景中准确识别出车道线。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种基于深度学习的车道线检测方法,其特征在于,包括如下步骤:
步骤一、从官方网站获取Tusimple和Culane图像数据集,对图像中包含的车道线进行标注,获得标注后图像;
步骤二、搭建神经网络模型,设置损失函数和约束损失函数的超参数,该神经网络模型包括依次连接卷积层、池化层、4个残差块、4个不同空洞率dilated module和辅助SEblock;损失函数设置为了加速模型收敛且对车道线增加几何约束(平滑性与刚性);
步骤三、将步骤一标注好的图像喂给上述步骤二搭建好的神经网络模型进行训练,直到损失函数不再减小时停止训练,得到收敛的网络模型;
步骤四、将网络模型通过pc端下载于车载摄像头芯片中,摄像头实时采集图像,然后输入网络模型,经过模型推理得到实时车道线信息,即可实现实时监测。
2.根据权利要求1所述的一种基于深度学习的车道线检测方法,其特征在于,为了应对不同的交通场景,步骤一所述的数据集应包含两部分,第一部分为天气晴朗和车道线标记清晰的高速公路Tusimple数据集,第二部分为包含九种场景的城市道路Culane数据集,分别为正常场景、拥堵场景、转弯场景、眩光场景、夜晚场景、无车道线场景、阴影场景和道路有箭头标记场景。
3.根据权利要求1所述的一种基于深度学习的车道线检测方法,其特征在于,所述数据集需要进行数据增强;数据增强包括对简单场景和极端复杂场景中图像进行旋转、垂直和水平移动,此外,为了保持车道形状,将车道线延伸至图像的边界。
4.根据权利要求1所述的一种基于深度学习的车道线检测方法,其特征在于,搭建的神经网络模型包括依次连接的卷积层、最大池化层、4个残差块、4个不同空洞率的dilatedmodule、全连接层以及辅助结构SE block。
5.根据权利要求1所述的一种基于深度学习的车道线检测方法,其特征在于,损失函数Ltotal=Lcls+α(Lsim+λLshp)+βLseg,其中,Lcls为分类损失,即预测车道线位置与真实位置偏差,Lsim定义为平滑性,希望车道线位置在相邻行上是相近且平滑变化的,Lshp将相邻行间的二阶差分定义为车道线的形状,Lseg为辅助训练分割损失函数(交叉熵损失),所述α=1、β=1和λ=1。
6.根据权利要求5所述的一种基于深度学习的车道线检测方法,其特征在于,对步骤二数据集中每一张图像,定义一组行锚,假设最大车道线数量为C,行锚数量为h,网格数量为w,X为输入图像,fij是用于选择第i个车道线在第j行锚上位置的分类器,那么车道的预测Pi,j=fij(X),则平滑性损失为
Figure FDA0003309526730000021
7.根据权利要求5所述的一种基于深度学习的车道线检测方法,其特征在于,步骤二中
Figure FDA0003309526730000031
为二阶差分损失函数,其中,Loci,j为每一个位置的期望值并且是可微的。
8.根据权利要求1所述的一种基于深度学习的车道线检测方法,其特征在于,步骤三中将设置好的损失函数、学习率和α、β和λ损失系数代入神经网络模型,然后将增强后数据集喂给网络进行训练直至收敛。
CN202111213054.2A 2021-10-19 2021-10-19 一种基于深度学习的车道线检测方法 Pending CN113936266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111213054.2A CN113936266A (zh) 2021-10-19 2021-10-19 一种基于深度学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111213054.2A CN113936266A (zh) 2021-10-19 2021-10-19 一种基于深度学习的车道线检测方法

Publications (1)

Publication Number Publication Date
CN113936266A true CN113936266A (zh) 2022-01-14

Family

ID=79280249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111213054.2A Pending CN113936266A (zh) 2021-10-19 2021-10-19 一种基于深度学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN113936266A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463720A (zh) * 2022-01-25 2022-05-10 杭州飞步科技有限公司 一种基于线段交并比损失函数的车道线检测方法
CN115909291A (zh) * 2022-11-07 2023-04-04 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN116129390A (zh) * 2023-04-04 2023-05-16 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116558541A (zh) * 2023-07-11 2023-08-08 新石器慧通(北京)科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN117593717A (zh) * 2024-01-18 2024-02-23 武汉大学 一种基于深度学习的车道追踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046723A (zh) * 2019-10-17 2020-04-21 安徽清新互联信息科技有限公司 一种基于深度学习的车道线检测方法
CN112016463A (zh) * 2020-08-28 2020-12-01 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的车道线检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046723A (zh) * 2019-10-17 2020-04-21 安徽清新互联信息科技有限公司 一种基于深度学习的车道线检测方法
CN112016463A (zh) * 2020-08-28 2020-12-01 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZEQUN QIN等: "Ultra Fast Structure-aware Deep Lane Detection", EUROPEAN CONFERENCE ON COMPUTER VISION ECCV 2020:COMPUTER VISION–ECCV2020, 30 November 2020 (2020-11-30), pages 1 - 5 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463720A (zh) * 2022-01-25 2022-05-10 杭州飞步科技有限公司 一种基于线段交并比损失函数的车道线检测方法
CN115909291A (zh) * 2022-11-07 2023-04-04 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN115909291B (zh) * 2022-11-07 2023-08-25 江西航盛电子科技有限公司 基于车辆数据的驾驶员驾驶状态监测系统及其方法
CN116129390A (zh) * 2023-04-04 2023-05-16 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116129390B (zh) * 2023-04-04 2023-06-23 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116558541A (zh) * 2023-07-11 2023-08-08 新石器慧通(北京)科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN116558541B (zh) * 2023-07-11 2023-09-22 新石器慧通(北京)科技有限公司 模型训练方法和装置、轨迹预测方法和装置
CN117593717A (zh) * 2024-01-18 2024-02-23 武汉大学 一种基于深度学习的车道追踪方法及系统
CN117593717B (zh) * 2024-01-18 2024-04-05 武汉大学 一种基于深度学习的车道追踪方法及系统

Similar Documents

Publication Publication Date Title
CN113936266A (zh) 一种基于深度学习的车道线检测方法
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN112364855B (zh) 一种基于多尺度特征融合的视频目标检测方法及系统
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN112016463A (zh) 一种基于深度学习的车道线检测方法
CN112329533B (zh) 一种基于图像分割的局部路面附着系数估计方法
CN116129390B (zh) 一种增强曲线感知的车道线精准检测方法
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
CN113011338B (zh) 一种车道线检测方法及系统
CN112818935B (zh) 基于深度学习的多车道拥堵检测及持续时间预测方法及系统
CN115861951B (zh) 一种基于双特征提取网络的复杂环境车道线精准检测方法
CN114863122B (zh) 一种基于人工智能的智能化高精度路面病害识别方法
CN114049532A (zh) 基于多阶段注意力深度学习的风险道路场景识别方法
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
CN112215073A (zh) 高速运动场景下的交通标线快速识别与循迹方法
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN115909245A (zh) 一种基于深度学习的视觉多任务处理方法
CN114255450A (zh) 一种基于前向全景图像的近场车辆加塞行为预测方法
CN113160219B (zh) 用于无人机遥感图像的实时铁路场景解析方法
CN110414386B (zh) 基于改进scnn网络的车道线检测方法
CN116863227A (zh) 一种基于改进YOLOv5的危化品车辆检测方法
CN114998689B (zh) 一种轨道数据集的生成方法、轨道识别方法和系统
CN115661786A (zh) 一种区域预搜索的轨道障碍物小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination