CN112861619A - 模型的训练方法、车道线检测方法、设备及装置 - Google Patents
模型的训练方法、车道线检测方法、设备及装置 Download PDFInfo
- Publication number
- CN112861619A CN112861619A CN202011634033.3A CN202011634033A CN112861619A CN 112861619 A CN112861619 A CN 112861619A CN 202011634033 A CN202011634033 A CN 202011634033A CN 112861619 A CN112861619 A CN 112861619A
- Authority
- CN
- China
- Prior art keywords
- lane line
- feature map
- loss
- neural network
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000009467 reduction Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域，特别是涉及模型的训练方法、车道线检测方法、设备及装置，训练方法包括：获取样本图像，样本图像中包含车道线及车道线所在位置的真实标签；利用深度神经网络车道线检测模型对样本图像进行预测，获得样本图像中每个位置对应车道线的预测概率值和每条车道线存在的概率值，其中，深度神经网络车道线检测模型包括编码网络和解码网络，解码网络包含软标签注意力模块；基于车道线的预测概率值和车道线存在的概率与真实标签真实概率，计算预测损失，使得预测损失达到最小以对深度神经网络车道线检测模型训练。本申请的方法可以确保检测结果的准确性，可以提高模型在复杂道路场景下的准确性和实时性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及模型的训练方法、车道线检测方法、设备及装置。
背景技术
随着科技和经济的快速发展，路上的汽车越来越多，在方便人们出行的同时，也带来了越来越多的交通事故和交通拥堵问题。自动驾驶和智能辅助驾驶系统可以帮助驾驶员处理大部分道路信息，为驾驶员提供精准的指导，降低交通事故发生的概率。智能交通系统能识别车道上车辆的数量，判断道路是否拥堵，为驾驶员规划更合理的出行路线，缓解交通拥堵。在自动驾驶，智能辅助驾驶系统和智能交通系统中，基于视觉的车道线检测是非常关键的技术，他是实现车道偏离预警，车道拥堵预警的基础和核心技术。
发明内容
本申请主要解决的技术问题是提供一种车道线检测模型的训练方法、车道线检测方法、设备及装置，能够提高车道线检测模型在复杂道路场景下的检测性能。
为解决上述技术问题，本申请采用的第一个技术方案是：提供一种深度神经网络车道线检测模型的训练方法，包括：获取样本图像，样本图像中包含车道线及车道线的真实标签，真实标签用于标识车道线是否存在以及车道线像素所在位置的信息；利用深度神经网络车道线检测模型对样本图像进行预测，获得样本图像中每个位置对应车道线的预测概率值和每条车道线存在的概率值，其中，深度神经网络车道线检测模型包括编码网络和解码网络，解码网络包含软标签注意力模块；基于车道线的预测概率值所述车道线存在的概率值与真实标签真实概率，计算损失，使得损失达到最小以对深度神经网络车道线检测模型训练。
为解决上述技术问题，本申请采用的第二个技术方案是：提供一种基于上述的深度神经网络车道线检测模型的车道线检测方法，包括：获得待检测图像，待检测图像包含车道线；将待检测图像输入至上述的预先训练好的深度神经网络模型，计算得到待检测图像中车道线存在概率和车道线的分割结果；确定车道线存在概率大于第一预设值，则车道线存在；确定存在的车道线的分割结果的位置处的概率值大于第二预设值，则位置属于车道线像素。
为解决上述技术问题，本申请采用的第三个技术方案是：提供存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序时实现上述车道线检测方法的步骤。
为解决上述技术问题，本申请采用的第四个技术方案是：提供一种具有存储功能的装置，装置存储有程序，程序被执行时能够实现上述深度神经网络车道线检测方法。
本申请的有益效果是：区别于现有技术的情况，本申请实施例深度神经网络车道线检测模型的训练方法，在训练过程中，深度神经网络车道线检测模型的解码网络包含的软标签注意力(soft label attention)模块，可以确保检测结果的准确性，可以提高模型在复杂道路场景下的准确性和实时性，且训练所需要的样本图像较少。
附图说明
图1是本申请深度神经网络车道线检测模型的训练方法一实施例的流程示意图；
图2a是车道线一实施例的示意图；
图2b是图2a的真实标签图；
图2c是图2a的软标签图；
图3是本申请深度神经网络车道线检测模型的训练方法另一实施例的流程示意图；
图4是利用深度神经网络车道线检测模型对样本图像进行预测，获得样本图像中每个位置对应车道线的预测概率值一实施例的流程示意图；
图5是本申请深度神经网络车道线检测模型的训练方法再一实施例的流程示意图；
图6是本申请深度神经网络车道线检测模型主体架构图；
图7是计算软标签注意力模块计算的距离损失的示意图；
图8是本申请车道线检测方法一实施例的流程示意图；
图9是本申请车道线检测方法另一实施例的流程示意图；
图10是本申请车道线检测设备一实施例的结构示意图；
图11是本申请具有存储功能的装置一实施例的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。
如图1所示，本申请实施例提供一种深度神经网络车道线检测模型的训练方法，包括：
S110：获取样本图像，样本图像中包含车道线及车道线的真实标签，真实标签用于标识车道线是否存在以及车道线像素所在位置的信息。
车道线是一种特殊的检测目标对象，车道线一般是白色或黄色的，和道路路面颜色存在明显的对比度差别，车道线一般是狭长的窄条状物体，靠近采集设备视点的车道线较宽，远离采集设备视点的车道线较窄，车道线所存在的应用场景复杂，例如周围有一些建筑、树木、以及位于道路上的车辆和行人等干扰信息。
本申请实施例中，通过视频图像中选取某一帧含有车道线的道路场景图像作为样本图像，也可以是通过拍摄的含有车道线的道路场景照片作为样本图像。为了提高样本图像的多样性，可以采集同一位置不同应用场景的图像作为样本图像，例如采集道路上车辆较多、车辆较少、无车辆的同一地理位置的场景图像作为样本图像；采集夜晚、白天、阴天、雨天等不同场景下同一地理位置的场景图像作为样本图像；采集同一时间段不同地理位置的场景图像作为样本图像。
本申请实施例中，场景图像中包含四条车道线，本申请实施例可以对场景图像进行标注，以形成样本图像，例如，本申请实施例中，采用每条车道线对应一类像素类别，车道线对应四个像素类别，背景像素采用一个类别，共计五个像素类别对道路场景图像进行像素标注。本申请实施例以四条车道线为例进行说明书，在其他实施例中，车道线也可以是其他条数，例如两条、三条、五条等。
如图2b是图2a中车道线的真实标签图，如图2a和图2b所示，其为一条道路的真实标签，其中图2b中1的位置表示该位置存在车道线，0的位置表示该位置不存在车道线，真实标签的位置的概率值只有0和1。
具体地，将采集的多个场景下的道路场景图像，进行像素级标注，不同的车道线像素用不同的数字id标注，背景像素使用数字0标注。其中，数字id用于表示属于哪一类像素，例如，对于四条车道线依次用001、010、100、110数字id标注车道线或用1、2、3、4数字id标注车道线，同时记录下每一类车道线是否存在，存在标记为1，不存在标记为0，本申请实施例中，将道路场景图像生成一个样本图像，样本图像的分辨率与道路场景图像的分辨率一致，同时标注有像素值，即为真实标签，用于标识车道线是否存在以及车道线像素所在位置的信息。
S120：利用深度神经网络车道线检测模型对样本图像进行预测，获得样本图像中每个像素位置对应车道线的预测概率值和每条车道线存在的预测概率值，其中，深度神经网络车道线检测模型包括编码网络和解码网络，解码网络包含软标签注意力模块。
本申请实施例中，深度神经网络车道线检测模型的网络主体架构包括编码网络和解码网络，软标签注意力(soft label attention)模块，应用在解码网络中，可以确保检测结果的准确性。软标签(soft label)编码了更多的上下文信息，soft label中的每一个通道，都记录着不同类别车道线的位置信息。当模型训练到合理水平，越靠近网络输出的位置，输出的soft label中编码的信息越准确，在解码网络中包含软标签注意力模块，可以提高模型在复杂道路场景下的检测性能。
本申请实施例中，通过将样本图像输入至深度神经网络车道线检测模型，可以对样本图像进行预测，获得预测概率值。
如图2c所示，为图2a中车道线的真实软标签图，本申请实施例中，通过包含有软标签注意力模块的深度神经网络车道线检测模型，对图像进行预测，获得预测概率值如图2c所示的软标签图，soft label图上的值分布在[0,1]之间。
S130：基于车道线的预测概率值和车道线存在的概率值与真实标签真实概率，计算损失，使得损失达到最小以对深度神经网络车道线检测模型训练。
本申请实施例中，其中，损失包括样本图像中车道线分割损失、预测损失和软标签注意力模块计算的软标签距离损失的加权权重。本申请实施例中，在样本图像的车道线的预测概率值与真实标签真实概率进行对抗训练过程中，损失达到最小时，表示深度神经网络车道线检测模型训练完成。
具体地，训练网络时，初始学习率为0.01，学习率衰减策略为每5个周期(epoch)乘以0.5，损失函数为分为三部分，分别是车道线分割预测损失，预测损失和软标签距离损失，计算公式如下：
L＝Lseg+αLexist+βLSL
其中，Lseg是车道线分割损失，Lexist是车道线存在预测损失，LSL是软标签距离距离损失。α和β用来控制每个损失的权重，训练时取值都为0.1。训练时，将网络的分割结果经过softmax操作后，与含有真实标签的样本图像计算分割损失，将网络预测车道线存在的概率值与真实存在情况计算预测损失。例如将训练的周期(epoch)设置为30，当epoch在20之前时，损失函数只有Lseg和Lexist损失，当epoch达到20之后，才把LSL加入，此时网络已经训练的比较好，生成的soft label attention语义信息比较准确，更有利于提高网络的检测性能。以上为举例，也可以在epoch达到24之后，才把LSL加入；epoch设置为40、50等。
本申请实施例深度神经网络车道线检测模型的训练方法，在训练过程中，深度神经网络车道线检测模型的解码网络包含的软标签注意力(soft label attention)模块，可以确保检测结果的准确性，可以提高模型在复杂道路场景下的准确性和实时性。
在本申请一实施例中，软标签注意力模块包括通道校正模块、分辨率校正模块和softmax操作模块，具体地，本申请实施例中，如图3所示，深度神经网络车道线检测模型的训练方法，包括：
S210：获取样本图像，样本图像中包含车道线及车道线的真实标签，真实标签用于标识车道线是否存在以及车道线像素所在位置的信息。
同上一实施例，在此不再赘述。在步骤S210之后可以同时执行步骤S220。
S220:利用深度神经网络车道线检测模型对样本图像进行预测，获得样本图像中每个位置对应车道线的预测概率值和每条车道线存在的概率值。
通过将样本图像输入至深度神经网络车道线检测模型，可以对样本图像进行预测，获得车道线的预测概率值。车道线用像素类别区分，本申请实施例中，可以获得样本图像中每个像素类别的车道线的预测概率值和每条车道线存在的概率值。本申请实施例中，软标签注意力模块包括通道校正模块、分辨率校正模块和softmax操作模块，所述软标签注意力模块用于对所述解码网络输出两层特征图分别进行通道通道校正、分辨率校正和softmax操作，获得两个软标签特征图，计算所述两个软标签特征图之间的距离，获得软标签距离损失。
S230:对解码网络输出两层特征图分别进行通道校正、分辨率校正和softmax操作，获得两个软标签特征图，计算两个软标签特征图之间的距离，获得软标签距离损失。
S240:基于车道线的预测概率值和每条车道线存在的概率值与真实标签真实概率，计算得到预测损失。
在训练时，将网络的分割结果经过softmax操作后，与含有真实标签的样本图像计算分割损失，将网络预测车道线存在的概率值与真实存在情况计算预测损失。
S250:基于所述预测损失和所述软标签距离损失，计算得到损失,使得损失达到最小以对深度神经网络车道线检测模型训练。
基于预测损失和软标签距离损失，计算损失。本申请实施例中，通过迭代计算，通过不断迭代优化，使得距离最小，软标签距离损失最小，使得预测损失最小表示深度神经网络车道线检测模型训练完成。
在本申请再一实施例中，深度神经网络车道线检测模型包括车道线存在预测模块，利用深度神经网络车道线检测模型对所述样本图像进行预测，获得样本图像中每个像素位置对应车道线的预测概率值和每条车道线存在的概率值，如图4所示，包括：
S310：利用编码网络对样本图像进行处理，以得到第一特征图。
S320：利用车道线存在预测模块对第一特征图进行计算处理，以得到样本图像中每条车道线存在的预测概率值。
利用正向传播和反向传播，使得深度神经网络车道线检测模型输出预测的真实概率，预测的真实概率在0到1之间，使得其符合需求。
在本申请一实施例中，深度神经网络车道线检测模型的训练方法，如图5所示，包括：
S410：获取样本图像，样本图像中包含车道线及车道线的真实标签，真实标签用于标识车道线是否存在以及车道线像素所在位置的信息。
S420：编码网络获取样本图像，采用下采样层获得缩减特征映射图，通过第一卷积层提取第一车道线特征信息，获得第一特征图。S420之后分别执行步骤S430和S470。
本申请实施例中，通过下采样层获得缩减特征映射图，并通过第一卷积层卷积，以提取第一车道特征信息，获得第一特征图本申请实施例中可以包括多个重复的下采样层和第一卷积层，以获得第一特征图。
具体地，如图6所示的深度神经网络车道线检测模型的架构图所示，本申请实施例的包括三个下采样层和第一卷积层的组合，例如，本申请实施例中，将样本图像输入深度神经网络车道线检测编码网路，通过下采样层，输入通道数in:3，输出通道数Out:16，重复1次，获得缩减特征映射图一；通过第一卷积层卷积，输入通道数in：16，输出通道数Out:32，重复2次，提取车道线特征信息一，获得特征图一；通过下采样层，输入通道数in：32，输出通道数Out:64，重复1次，获得缩减特征映射图二；通过第一卷积层卷积，输入通道数in：64，输出通道数Out:64，重复3次，提取车道线特征信息二，获得特征图二；通过下采样层，输入通道数in：64，输出通道数Out:128，重复1次，获得缩减特征映射图三；通过第一卷积层卷积，输入通道数in:128，输出通道数Out:128，使用空洞卷积的空洞率r＝2，重复6次，获得特征图四作为最终的第一车道线特征信息。
在本申请一实施例中，下采样是采用一个核尺寸是3×3，跨度是2×2的卷积层卷积，最大池化maxpool是一个核尺寸是2×2，跨度是2×2的最大值下采样层。
S430：解码网络获取编码网络输出的第一特征图，第一特征图通过第一上采样层获得第一扩充特征映射图，第一扩充特征映射图通过第二卷积层获得第二特征图，第二特征图包含第二车道线特征信息，第二特征图通过第二上采样层获得第二扩充特征映射图，第二扩充特征映射图通过第三卷积层和反卷积层获得第三特征图。
本申请实施例中，如图6所示，将第一车道线特征信息输入第一上采样层(UpSample)，输入通道数in:128，输出通道数Out:64，重复1次，获得第一扩充特征映射图；通过第二卷积层(Conv-block)，输入通道数in:128，输出通道数Out:64，重复1次，提取第二车道线特征信息，获得第二特征图；通过第二上采样层，输入通道数in:64，输出通道数Out:16，重复1次，获得第二扩充特征映射图；通过第三卷积层卷积输入通道数in:16，输出通道数Out:16，重复2次；通过反卷积层卷积输入通道数in:16，输出通道数Out:C，重复2次，获得第三特征图。本申请实施例中，C为样本图像类别的数量，例如，对应样本图像中，车道数量为四个，样本图像类别的数量C＝5。
本申请以上为举例，在其他实施例中，下采样层和卷积层的数量也可以增加或减少。
本申请实施例中，上采样层是采用一个核尺寸是3×3，跨度是2×2的反卷积层反卷积。
S440：将第一扩充特征映射图、第二扩充特征映射图和第三特征图进行通道校正、分辨率校正和softmax操作，对应获得第一软标签特征图、第二软标签特征图和第三软标签特征图。
本申请实施例中，将第一扩充特征映射图进行通道降维，使得降维后的第一扩充特征映射图与第三特征图的通道维度相同，基于降维后的第一扩充特征映射图获得第一软标签特征图。
本申请实施例中，第三特征图的通道维度为C＝5，第一扩充特征映射图的通道位图为64，本申请实施例，采用了1×1的卷积层来对第一扩充特征映射图进行通道降维，将通道数降低到C，使得降维后的第一扩充特征映射图得通道数为5，使得降维后的第一扩充特征映射图和第三特征图通道对齐。
如图7所示，假设Oi∈Rhi×wi×ci和Oj∈Rhj×wj×cj分别是网络中第i层和第j层的输出特征图，其中h,w,c分别表示特征图的高，宽和通道数，其中j大于i,即Oj更靠近网络输出层。首先使用1×1卷积层将Oi和Oj通道数对齐，计算公式如下：
Si＝f(xi,oi)
Sj＝f(xj,oj)
其中f表示1×1卷积操作，x表示卷积层中的可学习参数，Si∈Rhi×wi×ci,Sj∈Rhj ×wj×cj。然后使用softmax操作沿着通道维度对S进行softmax操作，计算公式如下：
其中
表示第c个通道上第h行w列元素,
就是soft label attention元素值。如果hi≠hj,wi≠wj，则使用双线性插值法将这两个soft label attention特征图resize到相同分辨率。
本申请实施例中，对Oi层进行上采样，使得获得Oi的分辨率与Oj的分辨率相同，实现分辨率校正。
本申请实施例中，将降维、分辨率校正后的第一扩充特征映射图进行softmax操作，获得第一软标签注意力元素值，形成第一软标签特征图。
将第二扩充特征映射图进行通道降维，使得降维后的第二扩充特征映射图与第三特征图的通道维度相同，将降维后的第二扩充特征映射图进行分辨率校正，使得校正后的第二扩充特征映射图的分辨率与第三特征图相同，将基于降维、分辨率校正后的第二扩充特征映射图获得第二软标签特征图。
第三特征图的通道维度为C＝5，第二扩充特征映射图的通道位图为16，本申请实施例，采用了1×1的卷积层来对第二扩充特征映射图进行通道降维，将通道数降低到C，使得降维后的第二扩充特征映射图得通道数为5，使得降维后的第二扩充特征映射图和第三特征图通道对齐。
将降维、分辨率校正后的第二扩充特征映射图沿通道维度进行softmax操作，获得第二软标签注意力元素值，形成第二软标签特征图。
本申请实施例中，将第三特征图进行softmax操作，形成获得第三软标签注意力元素值，形成第三软标签特征图。
在其他实施例中，也可以对第三特征图进行1×1的卷积层来对其进行通道降维，之后进行softmax操作，获得第三软标签特征图。本申请实施例中，将第一扩充特征图、第二扩充特征图和第三特征图分别降维成通道数量相同，以便于进行通道对齐。
S450：计算第一软标签特征图和第二软标签特征图之间的第一距离；计算第二软标签特征图和第三软标签特征图之间的第二距离，基于第一距离和第二距离计算软标签距离损失。
计算这第三软标签特征图和第二软标签特征图之间的第一距离，这个距离采用的是L1范数，也可以采用其它范数距离，计算公式如下:
其中
和
是Si和Sj上的元素，d是优化目标，使用随机梯度下降算法，牛顿法和拟牛顿法进行优化，通过不断迭代优化，将d最小化，以此将第j层上的soft labelattention传递到第i层。
同理，可以计算出第二软标签特征图和第一软标签特征图之间的第二距离。
本申请实施例中，通过不断迭代优化，使得第一软标签特征图和第二软标签特征图的第一距离、第二软标签特征图和第三软标签特征图的第二距离，以用于使用随机梯度下降算法，牛顿法和拟牛顿法进行优化，通过不断迭代优化，使得第一距离和第二距离达到最小。
本申请实施例中，解码网络输出端输出的特征图更为准确，将较高卷积层中编码的上下文信息传递到较低的层，用较高卷积层监督较低层，以提高较低层的特征图的准确性。
S460：基于第三特征图输出分割结果，基于分割结果与真实标签计算分割损失。
将第三特征图的分割结果经过softmax操作后，与样本图像的车道线像素所在位置的信息进行比较，产生的损失为分割损失。
S470：基于第一特征图，计算样本图像中每个像素位置对应车道线的预测概率值，基于车道线的预测概率与真实标签真实概率，计算得到预测损失。
本申请实施例，利用车道线存在预测模块对第一特征图进行计算处理，以得到样本图像中每个类别车道线存在的预测概率值。
利用正向传播和反向传播，使得深度神经网络车道线检测模型输出预测的真实概率，预测的真实概率在0到1之间，使得其符合需求。
本申请实施例中，如图6所，深度神经网络车道线检测模型包括车道线存在预测分支，即车道线存在预测模块，将编码网络提取的含有第一车道线特征信息，的第一特征图输入车道线存在预测模块，本申请实施例中，车道线存在预测模块包括3×3的卷积核的卷积层卷积，输入通道in：128，输出通道out:32，重复1次；1×1的卷积核的卷积层卷积，输入通道in：32，输出通道out:16，重复1次；2×2的最大池化层进行最大池化操作，跨度2×2，两个全连接层进行全连接，输出预测概率值。
在步骤S460和S470之后，执行步骤S480。
S480：基于分割损失、车道线存在预测损失和软标签距离损失，计算得到损失；使得损失达到最小以对深度神经网络车道线检测模型训练。
损失包括样本图像中车道线分割损失、车道线存在预测损失和软标签注意力模块计算的软标签距离损失的加权权重，软标签距离损失在预设训练周期的数量之前的权重为零。本申请实施例中，在样本图像的车道线的预测概率值与真实标签真实概率进行对抗训练过程中，损失达到最小时，表示深度神经网络车道线检测模型训练完成。
具体地，训练网络时，初始学习率为0.01，学习率衰减策略为每5个周期(epoch)乘以0.5，损失函数为分为三部分，分别是车道线分割预测损失，车道线存在预测损失和软标签距离损失，计算公式如下：
L＝Lseg+αLexist+βLSL
其中，Lseg是车道线分割损失，Lexist是车道线存在预测损失，LSL是软标签距离距离损失。α和β用来控制每个损失的权重，训练时取值都为0.1。训练时，将网络的分割结果经过softmax操作后，与含有真实标签的样本图像计算分割损失，将网络预测车道线存在的概率值与真实存在情况计算预测损失。例如将训练的周期(epoch)设置为30，当epoch在20之前时，损失函数只有Lseg和Lexist损失，当epoch达到20之后，才把LSL加入，此时网络已经训练的比较好，生成的soft label attention语义信息比较准确，更有利于提高网络的检测性能。以上为举例，也可以在epoch达到24之后，才把LSL加入；epoch设置为40、50等。
本申请实施例中的深度神经网络车道线检测模型的主干网络中，输出的特征图通道都比较小，可以降低网络的计算代价，保证深度神经网络车道线检测模型能达到轻量级，添加soft label attention可以确保检测结果的准确性。使得本申请实施例的深度神经网络车道线检测模型，计算代价、准确性高，可以在复杂道路场景下实现准确且实时的车道线检测。
其中，本申请实施例还包括第二种技术方案，一种基于上述深度神经网络车道线模型的车道线检测方法，本申请实施例的深度神经网络车道线检测方法基于上述实施例的预先训练好的深度神经网络车道线检测模型，如图8所示，车道线检测方法包括：
S610：获得待检测图像，待检测图像包含车道线。
本申请实施例中，待检测图像可以是采集于视频图像中某一帧的含有车道线的道路场景图像。也可以是其他类型的含有车道线的待检测图像。
S620：将待检测图像输入至预先训练好的深度神经网络车道线检测模型，计算得到待检测图像中车道线存在概率和车道线的分割结果。
本申请实施例中，将待检测图像输入上述预先训练好的深度神经网络车道线检测模型，可以获得待检测图像中车道线存在概率(软标签)。
当深度神经网络车道线检测模型训练好之后，部署到平台运行时，可以把软标签注意力(soft label attention)模块去掉，软标签注意力(soft label attention)模块只在训练网络时使用，所以在实际使用时不会带来额外计算代价。输入一张待检测的图像，经过网络计算后，可以得到图像中每条车道线存在的概率以及每条车道线的分割结果。
S630：确定车道线存在概率大于第一预设值，则车道线存在。
如果预测的存在概率大于0.5，则认为该条车道线存在，则该条车道线存在于对应的分割概率图上；若第一预设值小于0.5，则认为不存在车道线。本申请实施例中，第一预设值为0.5，在其他实施例中，第一预设值也可以是0.6等。
S640：确定存在的车道线的分割结果的位置处的概率值大于第二预设值，则位置属于车道线像素。
如果待检测图像中车道线存在概率的概率图上对应像素值大于0.5则认为该位置属于车道线像素，根据车道线像素可以形成识别的车道线；若该位置小于第二预设值0.5，则认为该位置不属于车道线像素。本申请实施例中，第二预设值也为0.5，在其他实施例中，第一预设值也可以是0.6、0.4等。
如图9所示，其中，S640确定存在的车道线的分割结果的位置处的像素值大于第二预设值，则位置属于车道线像素，之后还包括：
S650：拟合属于车道线像素的位置，形成拟合车道线。
本申请实施例中，对属于车道线像素的位置进行拟合，使得形成的拟合车道线更符合实际的车道线，提高车道线显示效果。
本申请实施例的车道线检测方法，采用上述的训练好的深度神经网络车道线检测模型可以提高模型在复杂道路场景下的检测性能。并且在网络推理阶段不会引入额外的计算代价，计算量小，可以实时进行车道检线检测，提高检测的准确性、提高检测的效率和实时性。
本申请实施例还包括第三种技术方案，一种车道线检测设备，如图10所示，包括处理器11和存储器12，处理器11耦接存储器12，存储器12用于存储程序，处理器11用于执行程序以实现上述任一实施例的车道线的检测方法。
计算机设备110可以是编解码器。处理器11还可以称为CPU(Central ProcessingUnit，中央处理单元)。处理器11可以是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
如图11所示，是本申请实施方式中具有存储功能的装置的结构示意图，该实施方式中，具有存储功能的装置20存储有程序21，程序21被执行时能够实现上述任一实施例的车道线的检测方法。
其中，该程序21可以以软件产品的形式存储在上述具有存储功能的装置20中，包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。
具有存储功能的装置20是计算机存储器中用于存储某种不连续物理量的媒体。而前述的具有存储功能的装置20包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种深度神经网络车道线检测模型的训练方法，其特征在于，包括：
获取样本图像，所述样本图像中包含车道线及车道线的真实标签，所述真实标签用于标识所述车道线是否存在以及车道线像素所在位置的信息；
利用深度神经网络车道线检测模型对所述样本图像进行预测，获得样本图像中每个像素位置对应车道线的预测概率值和每条车道线存在的概率值，其中，所述深度神经网络车道线检测模型包括编码网络和解码网络，所述解码网络包含软标签注意力模块；
基于所述车道线的预测概率值和所述车道线存在的概率值与所述真实标签真实概率，计算损失，使得损失达到最小以对所述深度神经网络车道线检测模型训练。
2.根据权利要求1所述的深度神经网络车道线检测模型的训练方法，其特征在于：所述软标签注意力模块包括通道校正模块、分辨率校正模块和softmax操作模块。
3.根据权利要求2所述的深度神经网络车道线检测模型的训练方法，其特征在于：所述方法还包括：
对所述解码网络输出两层特征图分别进行通道校正、分辨率校正和softmax操作，获得两个软标签特征图，计算所述两个软标签特征图之间的距离，获得软标签距离损失；
所述基于所述车道线的预测概率值和每条车道线存在的概率值与所述真实标签真实概率，计算损失，包括：
基于所述车道线的预测概率值和每条车道线存在的概率值与所述真实标签真实概率，计算得到预测损失；
基于所述预测损失和所述软标签距离损失，计算得到所述损失。
4.根据权利要求3所述的深度神经网络车道线检测模型的训练方法，其特征在于：所述软标签特征图是概率值。
5.根据权利要求1所述的深度神经网络车道线检测模型的训练方法，其特征在于：所述深度神经网络车道线检测模型包括车道线存在预测模块，
利用深度神经网络车道线检测模型对所述样本图像进行预测，获得样本图像中每个像素位置对应车道线的预测概率值和每条车道线存在的概率值，包括：
利用所述所述编码网络对所述样本图像进行处理，以得到第一特征图；
利用所述车道线存在预测模块对所述第一特征图进行计算处理，以得到样本图像中每条车道线存在的预测概率值。
6.根据权利要求1所述的深度神经网络车道线检测模型的训练方法，其特征在于：所述利用深度神经网络车道线检测模型对所述样本图像进行预测，获得样本图像中每个像素位置对应车道线的预测概率值和每条车道线存在的概率值；基于所述车道线的预测概率值与所述真实标签真实概率，计算损失，包括：
所述编码网络获取所述样本图像，采用下采样层获得缩减特征映射图，通过第一卷积层提取第一车道线特征信息，获得第一特征图；
所述解码网络获取所述编码网络输出的第一特征图，所述第一特征图通过第一上采样层获得第一扩充特征映射图，所述第一扩充特征映射图通过第二卷积层获得第二特征图，所述第二特征图包含第二车道线特征信息，所述第二特征图通过第二上采样层获得第二扩充特征映射图，所述第二扩充特征映射图通过第三卷积层和反卷积层获得第三特征图；
将所述第一扩充特征映射图、第二扩充特征映射图和第三特征图进行通道校正、分辨率校正和softmax操作，对应获得第一软标签特征图、第二软标签特征图和第三软标签特征图；
计算所述第一软标签特征图和所述第二软标签特征图之间的第一距离；计算所述第二软标签特征图和所述第三软标签特征图之间的第二距离；基于所述第一距离和所述第二距离计算软标签距离损失；
基于所述第三特征图输出分割结果，基于所述分割结果与所述真实标签计算分割损失；
基于第一特征图，计算样本图像中每个像素位置对应车道线的预测概率值，基于所述车道线的预测概率与所述真实标签真实概率，计算得到预测损失；
基于所述分割损失、预测损失和所述软标签距离损失，计算得到所述损失。
7.根据权利要求6所述的深度神经网络车道线检测模型的训练方法，其特征在于：
所述损失包括样本图像中车道线分割损失、预测损失和软标签距离损失的加权权重，且所述软标签距离损失在预设训练周期的数量之前的权重为零。
8.一种基于权利要求1-7任一项所述的深度神经网络车道线检测模型的车道线检测方法，其特征在于，包括：
获得待检测图像，所述待检测图像包含车道线；
将待检测图像输入至预先训练好的深度神经网络车道线检测模型，计算得到待检测图像中所述车道线存在概率和所述车道线的分割结果；
确定所述车道线存在概率大于第一预设值，则所述车道线存在；
确定存在的所述车道线的分割结果的位置处的概率值大于第二预设值，则所述位置属于所述车道线像素。
9.根据权利要求8所述的车道线检测方法，其特征在于，所述确定存在的所述车道线的分割结果的位置处的概率值大于第二预设值，则所述位置属于所述车道线像素，之后还包括：
拟合属于所述车道线像素的位置，形成拟合车道线。
10.一种车道线检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求8或9所述车道线检测方法的步骤。
11.一种具有存储功能的装置，其特征在于，所述装置存储有程序，所述程序被执行时能够实现如权利要求8或9所述的车道线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634033.3A CN112861619B (zh) | 2020-12-31 | 2020-12-31 | 模型的训练方法、车道线检测方法、设备及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634033.3A CN112861619B (zh) | 2020-12-31 | 2020-12-31 | 模型的训练方法、车道线检测方法、设备及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861619A true CN112861619A (zh) | 2021-05-28 |
| CN112861619B CN112861619B (zh) | 2024-04-16 |
Family
ID=76000083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011634033.3A Active CN112861619B (zh) | 2020-12-31 | 2020-12-31 | 模型的训练方法、车道线检测方法、设备及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861619B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313031A (zh) * | 2021-05-31 | 2021-08-27 | 南京航空航天大学 | 一种基于深度学习的车道线检测和车辆横向定位方法 |
| CN113449692A (zh) * | 2021-07-22 | 2021-09-28 | 成都纵横自动化技术股份有限公司 | 一种基于无人机的地图车道信息更新方法及其系统 |
| CN113705436A (zh) * | 2021-08-27 | 2021-11-26 | 一汽解放青岛汽车有限公司 | 一种车道信息确定方法、装置、电子设备及介质 |
| CN113781374A (zh) * | 2021-08-30 | 2021-12-10 | 中山大学 | 一种低光照场景下车道线检测增强方法、装置及终端设备 |
| CN115565148A (zh) * | 2022-11-09 | 2023-01-03 | 福思(杭州)智能科技有限公司 | 道路图像的检测方法、装置、存储介质和电子装置 |
| CN116229379A (zh) * | 2023-05-06 | 2023-06-06 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170311574A1 (en) * | 2015-03-13 | 2017-11-02 | Michael W. Swan | Animal movement mapping and movement prediction method and device |
| CN111046723A (zh) * | 2019-10-17 | 2020-04-21 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车道线检测方法 |
| CN111242037A (zh) * | 2020-01-15 | 2020-06-05 | 华南理工大学 | 基于结构信息的车道线检测方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
| US10816993B1 (en) * | 2019-11-23 | 2020-10-27 | Ha Q Tran | Smart vehicle |
-
2020
- 2020-12-31 CN CN202011634033.3A patent/CN112861619B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170311574A1 (en) * | 2015-03-13 | 2017-11-02 | Michael W. Swan | Animal movement mapping and movement prediction method and device |
| CN111046723A (zh) * | 2019-10-17 | 2020-04-21 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车道线检测方法 |
| US10816993B1 (en) * | 2019-11-23 | 2020-10-27 | Ha Q Tran | Smart vehicle |
| CN111242037A (zh) * | 2020-01-15 | 2020-06-05 | 华南理工大学 | 基于结构信息的车道线检测方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313031A (zh) * | 2021-05-31 | 2021-08-27 | 南京航空航天大学 | 一种基于深度学习的车道线检测和车辆横向定位方法 |
| CN113449692A (zh) * | 2021-07-22 | 2021-09-28 | 成都纵横自动化技术股份有限公司 | 一种基于无人机的地图车道信息更新方法及其系统 |
| CN113705436A (zh) * | 2021-08-27 | 2021-11-26 | 一汽解放青岛汽车有限公司 | 一种车道信息确定方法、装置、电子设备及介质 |
| CN113781374A (zh) * | 2021-08-30 | 2021-12-10 | 中山大学 | 一种低光照场景下车道线检测增强方法、装置及终端设备 |
| CN113781374B (zh) * | 2021-08-30 | 2023-09-01 | 中山大学 | 一种低光照场景下车道线检测增强方法、装置及终端设备 |
| CN115565148A (zh) * | 2022-11-09 | 2023-01-03 | 福思(杭州)智能科技有限公司 | 道路图像的检测方法、装置、存储介质和电子装置 |
| CN116229379A (zh) * | 2023-05-06 | 2023-06-06 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
| CN116229379B (zh) * | 2023-05-06 | 2024-02-02 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861619B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112861619B (zh) | 模型的训练方法、车道线检测方法、设备及装置 | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| CN111563909B (zh) | 一种复杂街景图像语义分割方法 | |
| CN113688836A (zh) | 一种基于深度学习的实时性道路图像语义分割方法及系统 | |
| CN110781850A (zh) | 道路识别的语义分割系统和方法、计算机存储介质 | |
| CN111208818B (zh) | 基于视觉时空特征的智能车预测控制方法 | |
| CN116453121B (zh) | 一种车道线识别模型的训练方法及装置 | |
| CN113158768A (zh) | 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法 | |
| CN116229452B (zh) | 一种基于改进的多尺度特征融合的点云三维目标检测方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN113313031A (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
| CN115985104A (zh) | 一种交通流量预测装置、预测方法及预测模型构建方法 | |
| CN113361528B (zh) | 一种多尺度目标检测方法及系统 | |
| CN111046723B (zh) | 一种基于深度学习的车道线检测方法 | |
| CN116129390A (zh) | 一种增强曲线感知的车道线精准检测方法 | |
| Qiao et al. | Drivable area detection using deep learning models for autonomous driving | |
| Gao et al. | Robust lane line segmentation based on group feature enhancement | |
| CN117314968A (zh) | 运动信息估计方法、装置、设备、存储介质和程序产品 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| CN115294548B (zh) | 一种基于行方向上位置选择和分类方法的车道线检测方法 | |
| Zou et al. | HFT: Lifting Perspective Representations via Hybrid Feature Transformation for BEV Perception | |
| CN115690787A (zh) | 语义分割方法、图像处理设备以及计算机可读存储介质 | |
| CN114882205A (zh) | 基于注意力机制的目标检测方法 | |
| CN111353441B (zh) | 基于位置数据融合的道路提取方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |