CN116486352A - 基于道路约束的车道线鲁棒检测与提取方法 - Google Patents
基于道路约束的车道线鲁棒检测与提取方法 Download PDFInfo
- Publication number
- CN116486352A CN116486352A CN202310332526.9A CN202310332526A CN116486352A CN 116486352 A CN116486352 A CN 116486352A CN 202310332526 A CN202310332526 A CN 202310332526A CN 116486352 A CN116486352 A CN 116486352A
- Authority
- CN
- China
- Prior art keywords
- lane line
- loss
- road constraint
- model
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 title claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004821 distillation Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000008034 disappearance Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005299 abrasion Methods 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047513 Vision blurred Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明针对车道线检测存在磨损、遮挡等问题，提出一种基于道路约束的车道线鲁棒检测与提取方法。首先，采集大量东风园区场景图像，构建车道线数据集，在标注车道线的同时标注道路区域。其次，改进ENet‑SAD网络模型，定义联合道路约束的车道线分割损失函数，产生准确的车道线分割预测结果。最后，引入全连接条件随机场算法对输出的车道线概率图进行后处理，修正概率图，在每条车道线上选取N个离线坐标点，采用三次样条曲线拟合算法获得拟合车道线。实验结果表明，与ENet‑SAD方法相比，本文方法在常规、强光、阴影、遮挡等不同场景下都取得不错的效果。同时基于本文定义的损失函数下，能够进一步提升现有车道线检测模型(如ENet‑SAD、SCNN等)性能。
Description
技术领域
本发明涉及无人驾驶技术领域，具体为基于道路约束的车道线鲁棒检测与提取方法。
背景技术
实现自动驾驶中，环境感知是其重要任务，而车道线检测方法研究在环境感知中占据着主要位置。在传统车道线检测算法中主要依赖提取特征，特征会随着环境发生变化，故其易受环境影响。随着国内外深度学习的发展，研究者们开始利用深度学习技术对车道线检测算法进行研究，尽可能来减轻环境因素的影响。同时因视觉传感器成本低廉，并且车道线更具视觉特性，因此基于计算机视觉的车道线检测研究方法逐渐发展为主流。目前主要有三种基于计算机视觉的车道线检测算法：基于图像特征的车道检测、基于数学模型的车道检测、基于深度学习的新兴车道检测。
基于图像特征的车道检测方法是根据车道线图像特征(颜色、大小等)进行提取特征并拟合。基于特征方法先将图像进行特殊处理，随后通过人工设计算法来检测车道线的特征。这类方法在光照均匀、无遮挡的路面情况下表现良好，但在视野模糊、被遮挡等其他情况下，检测效果不佳且泛化能力较差。
基于数学模型的车道检测方法是在结构化的道路上根据车道线几何特征为车道线匹配合适的曲线模型，然后采用最小二乘法、Hough变换等方法对车道线进行拟合。这类方法对某些几何形状的物体会出现很多误检，如道路边缘线和柱状等。另外，基于数学模型的车道线检测方法计算较复杂，实时性也不高。
基于深度学习的新兴车道检测方法主要依赖具有强大的特征提取能力的卷积神经网络，建立包含多个隐藏层的神经网络，将大量数据放入网络训练提取出车道线的本质特征，从而提升模型的准确率。这类方法在车道线磨损、道路拥堵等道路场景复杂的情况下会影响车道线的检测，导致车道线检测结果比较差。
发明内容
为实现上述目的，本发明提供一种基于道路约束的车道线鲁棒检测与提取方法，主要解决在车道线磨损、遮挡、道路拥堵等不同场景下，车道线检测不佳的问题。
本发明所采用的技术方案是，一种基于道路约束的车道线鲁棒检测与提取方法，包括以下步骤：
S1、构建东风园区场景车道线数据集
S1.1、通过自动驾驶车辆进行视频采集，采用ffmpeg软件将视频转为图片数据集，以每隔10帧提取1帧视频图像作为数据集；
S1.2、对数据集进行标注，在标注车道线的同时标注可通区域。
S2、构建带可通区域的CULane数据集
S2.1、可视化车道线标签图，在其基础上标注可通区域。
S3、提出改进型ENet-SAD模型结构，提高模型检测能力，获得更加细致且准确的分类结果
S3.1、改进型ENet-SAD模型采用编码器-解码器作为基础架构，对输入图像的特征进行提取，由解码器输出得到车道线像素概率图；同时从编码器再接一个车道线分支网络，用来得到车道线存在概率；
S3.2、在编码器E2-E4每个模块后面加入CBAM注意力机制，提升模型在训练过程中对特征图中关键特征的关注度，增强网络识别性能；
S3.3、对编码器E3和E4模块之间采用了串并联结合的策略，主要解决深层网络梯度消失的问题，来确保深层网络的可靠性。
S4、对模型输出概率图进行CRF后处理，同时通过三次样条曲线拟合算法对优化后概率图进行取点拟合
S5、设计道路约束的车道线检测模型的损失函数，根据损失值的大小来分析训练结果的好坏
S5.1、算法的损失函数一共包含三部分，依次是语义分割损失，存在损失以及蒸馏损失，其中语义分割损失有包含分割损失和联合道路约束损失。
S6、训练道路约束的车道线检测模型，设计道路约束的车道线检测模型的评价指标
S6.1、在训练过程中，设置迭代次数为40k，批处理大小为12，初始学习率为1e-2，动量及权重衰减分别配置0.9和2e-5，每张显卡单次处理2张图像；
S6.2、采用平均交并比(mIoU)作为精度的评价指标，其为预测值和真实值之间交集与并集比值的平均值，表示算法的预测结果越准确；
S6.3、选取F1值作为精度另一个评价指标，其为模型精确率和召回率的一种调和平均，取值范围从0到1，而mF1值是指算法对每一类的F1值进行求和再平均的结果。
本发明的有益效果是：
1.构建东风园区场景车道线数据集，同时在东风园区场景车道线和部分CULane数据集上，标注了可通区域。
2.基于道路约束的车道线鲁棒检测与提取方法，解决了现有技术方案中，在车道线磨损、道路拥堵等道路场景复杂的情况下车道线检测结果不精准的问题。在保证高速识别效果情况下，在编码器E2-E4每个模块后面加入CBAM注意力机制，提升模型在训练过程中对特征图中关键特征的关注度，增强网络识别性能。同时在编码器E3和E4模块之间采用了串并联结合的策略，主要解决深层网络梯度消失的问题，来确保深层网络的可靠性。
3.基于道路约束的车道线鲁棒检测与提取方法，解决现有技术方案对于车道线预测结果中的边缘精度以及不连贯的区域的问题，对输出的概率图进行CRF后处理，同时针对每条车道线，采用均匀采样取点，然后基于三次样条进行曲线拟合，获得更加细致且准确的分类结果。
附图说明
图1是本发明流程图；
图2是本发明整体架构图；
图3是东风数据集原图和标注图；
图4是CULane数据集原图和标签可视化图；
图5是训练和验证损失函数图；
图6是东风数据集下各模型车道线检测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，基于道路约束的车道线鲁棒检测与提取方法，包含以下步骤：
S1、构建东风园区场景车道线数据集
S1.1、通过自动驾驶车辆进行视频采集，采用ffmpeg软件将视频转为图片数据集，以每隔10帧提取1帧视频图像作为数据集；
S1.1.1、采集车辆为东风悦享科技有限公司自动驾驶，车身配置12个摄像头，每个摄像头拍摄图像的像素为1920×1080，本文采用车辆前端摄像头对车道线数据进行采集。道路特点主要有直道、弯道、十字路口等。道路场景包含常规、阴影、强光、遮挡，且每个场景下分别有3条车道线；
S1.1.2、视频累计拍摄时长约9小时，采用ffmpeg软件把视频转为图片数据集，由于转换的视频帧图像具有时序连续性，视频帧之间变化较小，本文采用每隔10帧提取1帧视频图像作为数据集，总共包含画质清晰且场景不同的10741幅图像构建数据集。
S1.2、对数据集进行标注，在标注车道线的同时标注可通区域，如图3所示。
S1.2.1、首先对车道线进行标注，运用创建多边形的方法从左到右依次对图像中的车道线进行标注，当车道线被磨损、遮挡，依旧将车道线连贯标注；
S1.2.2、其次在上述标注车道线的基础上，运用相同方法从左到右依次对图像中的可通区域(道路)进行标注，标注可通区域时需紧贴车道线，保证两者之间存在空隙但其空隙较小，来避免过度约束；
S1.2.3、最后把标注的图像转换为标准输入数据集，即从左至右设置三条车道线的像素标签值分别为1、2、3，可通区域像素值设为4，非车道线区域的像素标签值为0，生成对应的标签文件。
S2、构建带可通区域的CULane数据集
S2.1、可视化车道线标签图，在其基础上标注可通区域；
S2.1.1、选择20000张不同场景的CULane数据集，其中包括常规、拥堵、无车道线、阴影等不同场景，每个场景平均选取5000张。把车道线标签图进行可视化，在可视化标签图的基础上，使用软件进行可通区域标注，标注方法与上述相同；
S2.1.2、将标注可通区域的标签图与车道线标签图进行融合，如果融合的时候存在像素点重叠，则以车道线标签图像素值为准，如图4所示；
S2.1.3、最后将融合后的图像转换为标准输入数据集，即从左至右设置四条车道线的像素标签值分别为1、2、3、4，可通区域像素值设为5，非车道线区域的像素标签值为0，生成对应的标签文件。
S3、提出改进型ENet-SAD模型结构，提高模型检测能力，获得更加细致且准确的分类结果
S3.1、改进型ENet-SAD模型采用编码器-解码器作为基础架构，对输入图像的特征进行提取，由解码器输出得到车道线像素概率图；同时从编码器再接一个车道线分支网络，用来得到车道线存在概率；
S3.1.1、编码器主要包括5个模块，分别为初始模块和E1-E4模块，每个模块都由瓶颈模块组成。其中初始模块设计一个池化操作与一个步长为2的卷积操作并行，并合并结果特征图。E1模块包括1个下采样瓶颈模块和4个常规卷积模块；E2模块包括1个下采样瓶颈模块和8个卷积瓶颈模块，分别采用不同的卷及策略；E3和E4模块除了没有下采样瓶颈模块，其余都与E2模块保持一致。每个瓶颈模块有两个分支，其中主分支用于短接跨层链接，另一个分支则是常规的卷积，这个分支首先经过一个1×1的卷积减小输入特征的通道维数，然后经过一个卷积，再通过一个1×1的卷积恢复原来的维数。在每两个卷积之间都有一个BN层和一个PReLU激活函数，并且在最后一个1×1的卷积之后添加一个dropout正则化。整个网络中不同的瓶颈模块中的卷积各不相同，这里使用的有常规卷积，空洞卷积，非对称卷积等；
S3.1.2、解码器主要包括D1和D2两个模块，D1模块包括1个上采样瓶颈模块和2个常规卷积瓶颈模块；D2模块包括1个上采样瓶颈模块和1个常规卷积模块。特征图经过解码器之后输出原图大小的概率图(w×h×c)，其中w为图像宽度,h为图像高度，c对应车道线类别数；
S3.1.3、图2中P1未为预测车道线分支网络，通过avgpool对特征矩阵进行平均池化，经全连接层再通过sigmoid激活函数之后，输出一个1*n的一维向量，用来预测车道存在概率，其中n对应检测的车道线类别个数；
S3.1.4、注意力生成器采用网络前向传播获得的特征图(Activation-baseddistillation map),主要是把长、宽、通道三维特征转换为长、宽两维特征，其中m代表第m个卷积层，表示为：
注意力生成器只参与模型训练，因此不会增加推断时的计算复杂度。并且通过算法层间的信息流动，使网络可以在深层保留场景的上下文信息，从而更有效的识别到类似于车道线具有长且窄特点的连续性目标。
S3.2、在编码器E2-E4每个模块后面加入CBAM注意力机制，提升模型在训练过程中对特征图中关键特征的关注度，增强网络识别性能；
S3.3、对编码器E3和E4模块之间采用了串并联结合的策略，主要解决深层网络梯度消失的问题，来确保深层网络的可靠性。
S4、对模型输出概率图进行CRF后处理，同时通过三次样条曲线拟合算法对优化后概率图进行取点拟合
S4.1、本文采用全连接条件随机场模型(conditional random fields，CRF)进一步优化概率图，即将概率图的优化问题转化为多标签分配问题，为每一图像像素点i分配唯一的类别标签xi∈{1,2,...,k}。所有图像像素点的类别标签X＝{xi}可通过最小化如下能量函数求解得到:
其中,一元项定义为ψ(xi)＝-logP(xi),概率P(xi)是由前馈DNN计算的像素点i的概率向量；二元项定义为:
其中当类别标签xi≠xj时，兼容性函数μ(xi,xj)＝1；反之值为0。上述等式右侧方括号内的表达式分别为2个高斯核:第一个双边核与像素点之间的位置和颜色差异有关；第二个高斯核仅取决于像素点之间的距离，其中pi和pj表示像素点i和像素点j的空间坐标；Ii和Ij为像素点i和像素点j的颜色值。σα、σβ和σγ为超参数。文献利用均值场近似算法实现了快速求解上述能量函数。
S4.2、车道线概率图经过CRF优化后仍会存在部分缺失的情况，故采用三次样条曲线拟合算法对CRF优化后的车道线概率图进行取点拟合。首先在每条车道线上选取N个离线坐标点。选取初始点(x0,y0)，其中x0∈[0,800]，y0∈[0,288]。然后以初始点的纵坐标y0为基准，沿y轴正方向隔10行搜索概率值最大的点，不断循环上述操作，直到y≥280停止，其次采用三次样条(spline)曲线拟合算法对提取的特征点进行拟合。
S5、设计道路约束的车道线检测模型的损失函数，根据损失值的大小来分析训练结果的好坏，训练和验证损失函数图如图5所示
S5.1、算法的损失函数一共包含三部分，依次是语义分割损失，存在损失以及蒸馏损失，其中语义分割损失有包含分割损失和联合道路约束损失。
S5.1.1、本文采用的是多个损失函数的结合，通过对各个损失函数设置损失权重系数，然后损失值相加，在训练过程中查看各个损失的变化，以此来调整损失权重系数，优化模型。总损失函数计算公式为：
其中为分割损失函数，/>为联合道路约束的车道线分割损失函数，为存在损失函数，/>为连续分层蒸馏损失函数，β/γ为损失权重系数。
S5.1.2、交叉熵损失函数能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中表示为真实概率分布与预测概率分布之间的差异。将每个像素类别的预测结果(概率分布向量)与one-hot编码标签向量进行比较。交叉熵定义如式(5)所示：
其中，m为处理的样本个数，n为车道线类别个数，p为真实分布，q为网络输出分布。
S5.1.3、联合道路约束的车道线分割损失函数实际为交并比损失函数，其中交并比(Intersection over Union，IoU)为预测框和真实框相交区域面积和合并区域面积的比值。本文把交并比损失函数(IoU Loss)分为车道线IoU损失函数与道路约束IoU损失函数，同时调整IoU损失函数的权重系数。联合IoU损失函数Ljoin定义如式(6)所示：
其中，s和为预测值与真实值的坐标，αliou与αriou为损失权重系数，Lliou与Lriou分别为车道线与道路约束的IoU损失函数。IoU损失函数的计算公式为：
其中Np是预测车道像素的数量，Ng是地面真实车道像素的数目，No是之间的重叠区域中的车道像素数预测车道面积和地面真实车道面积。
S5.1.4、连续分层蒸馏损失函数主要针对于连续层，前层可以提炼出有用的上下文信息，用来监督后层的学习。因为使用前层attention map约束后层，从而起到在深层网络中保留细节信息的作用。连续分层蒸馏损失计算公式如下：
其中，Ld为L2损失函数(平均平方误差)，Am与Am+1为attention generator的输出，m为第m个卷积层，ψ(Am)为其中C为车道线类别数。
S6、训练道路约束的车道线检测模型，设计道路约束的车道线检测模型的评价指标
S6.1、在训练过程中，设置迭代次数为40k，批处理大小为12，初始学习率为1e-2，动量及权重衰减分别配置0.9和2e-5，每张显卡单次处理2张图像；
S6.2、采用平均交并比(mIoU)作为精度的评价指标，其为预测值和真实值之间交集与并集比值的平均值，表示算法的预测结果越准确，如表1所示；
S6.2.1、交并比(intersection over union，IOU)是指算法对某一类别预测值和真实值之间交集与并集的比值，IOU值越大，表示算法的预测结果越准确，如式(8)所示。而MIOU是指算法对每一类的IOU值进行求和再平均的结果，如式(9)所示。
其中，i表示类别(i＝1,…,n)，TPi表示真实类别为i，算法预测为类别i的像素点的数量；FPi表示真实类别不是i，算法预测类别是i的像素点的数量；FNi表示真实类别是i，算法预测类别不是i的像素点的数量。
S6.3、选取F1值作为精度另一个评价指标，其为模型精确率和召回率的一种调和平均，取值范围从0到1，而mF1值是指算法对每一类的F1值进行求和再平均的结果，如表2所示。
S6.3.1、F1值是是精准率与召回率的调和平均数，F1的取值范围从0到1的数量越大，表示算法的预测结果越准确，如式(11)所示。而MF1是指算法对每一类的F1值进行求和再平均的结果，如式(12)所示。
其中，i表示类别(i＝1,...,n)；TPi表示真实类别为i，算法预测为类别i的像素点的数量；FPi表示真实类别不是i，算法预测类别是i的像素点的数量；FNi表示真实类别是i，算法预测类别不是i的像素点的数量。
图6为使用本发明模型的车道线检测效果图。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (6)
1.本发明所采用的技术方案是，一种基于道路约束的车道线鲁棒检测与提取方法，包括以下步骤：
S1、构建东风园区场景车道线数据集；
S2、构建带可通区域的CULane数据集；
S3、提出改进型ENet-SAD模型结构，提高模型检测能力，获得更加细致且准确的分类结果；
S4、对模型输出概率图进行CRF后处理，同时通过三次样条曲线拟合算法对优化后概率图进行取点拟合；
S5、设计道路约束的车道线检测模型的损失函数，根据损失值的大小来分析训练结果的好坏；
S6、训练道路约束的车道线检测模型，设计道路约束的车道线检测模型的评价指标。
2.如权利要求1所述的一种基于道路约束的车道线鲁棒检测与提取方法，其特征在于，S1的具体实现过程如下：
S1.1、通过自动驾驶车辆进行视频采集，采用ffmpeg软件将视频转为图片数据集，以每隔10帧提取1帧视频图像作为数据集；
S1.2、对数据集进行标注，在标注车道线的同时标注可通区域。
3.如权利要求1所述的一种基于道路约束的车道线鲁棒检测与提取方法，其特征在于，S2的具体实现过程如下：
S2.1、可视化车道线标签图，在其基础上标注可通区域。
4.如权利要求1所述的一种基于道路约束的车道线鲁棒检测与提取方法，其特征在于，S3的具体实现过程如下：
S3.1、改进型ENet-SAD模型采用编码器-解码器作为基础架构，对输入图像的特征进行提取，由解码器输出得到车道线像素概率图；同时从编码器再接一个车道线分支网络，用来得到车道线存在概率；
S3.2、在编码器E2-E4每个模块后面加入CBAM注意力机制，提升模型在训练过程中对特征图中关键特征的关注度，增强网络识别性能；
S3.3、对编码器E3和E4模块之间采用了串并联结合的策略，主要解决深层网络梯度消失的问题，来确保深层网络的可靠性。
5.如权利要求1所述的一种基于道路约束的车道线鲁棒检测与提取方法，其特征在于，S5的具体实现过程如下：
S5.1、算法的损失函数一共包含三部分，依次是语义分割损失，存在损失以及蒸馏损失，其中语义分割损失有包含分割损失和联合道路约束损失。
6.如权利要求1所述的一种基于道路约束的车道线鲁棒检测与提取方法，其特征在于，S6的具体实现过程如下：
S6.1、在训练过程中，设置迭代次数为40k，批处理大小为12，初始学习率为1e-2，动量及权重衰减分别配置0.9和2e-5，每张显卡单次处理2张图像；
S6.2、采用平均交并比(mIoU)作为精度的评价指标，其为预测值和真实值之间交集与并集比值的平均值，表示算法的预测结果越准确；
S6.3、选取F1值作为精度另一个评价指标，其为模型精确率和召回率的一种调和平均，取值范围从0到1，而mF1值是指算法对每一类的F1值进行求和再平均的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332526.9A CN116486352A (zh) | 2023-03-30 | 2023-03-30 | 基于道路约束的车道线鲁棒检测与提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332526.9A CN116486352A (zh) | 2023-03-30 | 2023-03-30 | 基于道路约束的车道线鲁棒检测与提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116486352A true CN116486352A (zh) | 2023-07-25 |
Family
ID=87218642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310332526.9A Pending CN116486352A (zh) | 2023-03-30 | 2023-03-30 | 基于道路约束的车道线鲁棒检测与提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486352A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593717A (zh) * | 2024-01-18 | 2024-02-23 | 武汉大学 | 一种基于深度学习的车道追踪方法及系统 |
-
2023
- 2023-03-30 CN CN202310332526.9A patent/CN116486352A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593717A (zh) * | 2024-01-18 | 2024-02-23 | 武汉大学 | 一种基于深度学习的车道追踪方法及系统 |
| CN117593717B (zh) * | 2024-01-18 | 2024-04-05 | 武汉大学 | 一种基于深度学习的车道追踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427839B (zh) | 基于多层特征融合的视频目标检测方法 | |
| CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
| CN113128348A (zh) | 一种融合语义信息的激光雷达目标检测方法及系统 | |
| Zhou et al. | Embedded control gate fusion and attention residual learning for RGB–thermal urban scene parsing | |
| CN113095152B (zh) | 一种基于回归的车道线检测方法及系统 | |
| CN113920499A (zh) | 一种面向复杂交通场景的激光点云三维目标检测模型及方法 | |
| CN115359372A (zh) | 一种基于光流网络的无人机视频运动目标检测方法 | |
| CN114972748B (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
| Wang et al. | VoPiFNet: Voxel-Pixel Fusion Network for Multi-Class 3D Object Detection | |
| CN115331183A (zh) | 改进YOLOv5s的红外目标检测方法 | |
| CN112270694B (zh) | 基于激光雷达扫描图进行城市环境动态目标检测的方法 | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、系统及存储介质 | |
| CN116486352A (zh) | 基于道路约束的车道线鲁棒检测与提取方法 | |
| Hu et al. | A video streaming vehicle detection algorithm based on YOLOv4 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN116740419A (zh) | 一种基于图调控网络的目标检测方法 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| Ni et al. | Scene-adaptive 3D semantic segmentation based on multi-level boundary-semantic-enhancement for intelligent vehicles | |
| CN114612883A (zh) | 一种基于级联ssd和单目深度估计的前向车辆距离检测方法 | |
| CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| Gu et al. | Radar-enhanced image fusion-based object detection for autonomous driving | |
| CN115100618B (zh) | 一种多源异构感知信息多层级融合表征与目标识别方法 | |
| Yang et al. | Sacinet: Semantic-aware cross-modal interaction network for real-time 3d object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |