CN116311137A - 一种基于多表征集成学习的车道线检测方法 - Google Patents

一种基于多表征集成学习的车道线检测方法 Download PDF

Info

Publication number
CN116311137A
CN116311137A CN202310334935.2A CN202310334935A CN116311137A CN 116311137 A CN116311137 A CN 116311137A CN 202310334935 A CN202310334935 A CN 202310334935A CN 116311137 A CN116311137 A CN 116311137A
Authority
CN
China
Prior art keywords
lane line
curve
line detection
branch
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310334935.2A
Other languages
English (en)
Inventor
韩毅
田炜
余先旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202310334935.2A priority Critical patent/CN116311137A/zh
Publication of CN116311137A publication Critical patent/CN116311137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多表征集成学习的车道线检测方法，包括：构建车道线检测网络，并利用车辆前视图像数据集对车道线检测网络进行训练，得到车道线检测模型，其中，车道线检测网络架构包括依次连接的骨干网络和特征金字塔网络，特征金字塔网络分别连接有分割分支和曲线拟合分支，分割分支和曲线拟合分支之间连接有自适应混合模块；将实际车辆前视图像输入车道线检测模型，输出得到对应的分割车道线检测结果和曲线拟合车道线检测结果。与现有技术相比，本发明将车道线检测任务同时表征为分割任务和曲线拟合任务，设计了双分支的网络结构，结合车道线分割表征和曲线表征的优势，能够有效提升车道线检测的准确性。

Description

一种基于多表征集成学习的车道线检测方法
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种基于多表征集成学习的车道线检测方法。
背景技术
车道线信息是车道保持、偏航预警等功能的基础，同时对于自车定位也起到辅助作用。对于自动驾驶系统，精度高、实时性好的车道线检测系统对于车辆在行驶中做出合理的决策控制方案至关重要。车道线检测系统主要由车载传感器硬件和检测算法软件两部分组成，车载传感器主要包括摄像头、激光雷达等，其中车载摄像头因成本低、信息丰富的优点成为目前自动驾驶运用最广泛的传感器。检测算法则是从车载传感器测得的环境数据中提取车道线的特征，并通过这些特征信息预测车道线的准确位置。此外，配合传感器，基于视觉的车道线检测算法也已成为当前自动驾驶的研究热点。
然而，车道线检测实际是一项相当具有挑战性的任务。首先，车道线线形众多，存在颜色、虚实、曲率等不同，在匝道、路口等位置还有汇合、分离等情况。其次，车道线检测的环境条件也相当复杂，如极端光照和天气带来的恶劣视觉条件，车辆、障碍物等带来的遮挡，部分道路还存在车道线老化缺失的情况。
长期以来，已有多种车道线表征方式被用于车道线检测算法：分割表征、曲线表征、点表征等。分割表征对图像中的每个像素进行是否属于车道线像素的分类，最终以逐像素标记的方式检测出图像中的车道线；曲线表征对车道线进行曲线建模，根据提取的车道线特征进行曲线参数拟合，以曲线参数的方式检测出图像中的车道线；点表征则有两种方式，其一是预设车道线先验，在车道线先验上进行像素点是否属于车道线像素的分类，其二是不预设车道线先验，而是使用逐行检测的方式进行像素点是否属于车道线像素的分类，两种方式都以车道线点的形式检测出图像中的车道线。
但在实际应用中，分割表征的逐像素预测容易忽略车道线固有的形状先验或车道之间的强相关性，难以应对车道线遮挡、缺失等情况；曲线表征则高度抽象，存在训练困难、性能欠佳的问题；预设车道先验的点表征方式必须设计启发式车道锚，高度依赖于数据集统计，而逐行检测的点表征方式在距离较长或曲率变化较大的情况下，预测性能急剧下降。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多表征集成学习的车道线检测方法，同时使用分割表征和曲线表征进行车道线检测，并实现两种表征方式的车道线信息交互，以有效提升车道线检测的准确性。
本发明的目的可以通过以下技术方案来实现：一种基于多表征集成学习的车道线检测方法，包括以下步骤：
S1、构建车道线检测网络，并利用车辆前视图像数据集对车道线检测网络进行训练，得到车道线检测模型；
所述车道线检测网络架构包括依次连接的骨干网络和特征金字塔网络，所述特征金字塔网络分别连接有分割分支和曲线拟合分支，所述分割分支和曲线拟合分支之间连接有自适应混合模块；
S2、将实际车辆前视图像输入车道线检测模型，输出得到对应的分割车道线检测结果和曲线拟合车道线检测结果。
进一步地，所述步骤S1中对车道线检测网络进行训练的具体过程为：
S11、将车辆前视图像输入骨干网络中，以提取多级图像特征；
S12、将提取的多级图像特征输入特征金字塔网络，实现高级特征和低级特征的融合，得到融合图像特征；
S13、将融合图像特征分别输入曲线拟合分支和分割分支，在曲线拟合分支中得到注意力图和包含曲线参数信息的查询向量；
S14、在分割分支中将融合图像特征和注意力图进行拼接；
S15、将查询向量、拼接的融合图像特征和注意力图输入自适应混合模块，实现分割分支和曲线拟合分支的信息交互，得到交互后查询向量和交互后图像特征；
S16、在分割分支中，将交互后图像特征输入分割解码器得到分割表征的车道线预测；在曲线拟合分支中，将交互后查询向量输入多层感知机和全连接层，得到曲线表征的车道线预测，其中，分割车道线预测和曲线拟合车道线预测分别使用对应的损失函数加以优化。
进一步地，所述步骤S11中多级图像特征具体为骨干网络ResNet前四层输出的、下采样倍率依次为4、8、16、32的四级特征。
进一步地，所述步骤S12中特征金字塔网络是以四级特征为输入、输出下采样倍率为8的融合图像特征的网络；
所述特征金字塔网络的具体工作过程为：特征融合分为两阶段，第一阶段，高级特征经1×1卷积、批归一化处理、非线性激活后进行双线性插值上采样，逐级与低级特征相加；
第二阶段，各级特征首先进行3×3卷积、批归一化处理、非线性激活，之后，4倍下采样特征经步长为2的3×3卷积下采样到8倍下采样倍率，16、32倍下采样特征经双线性插值到8倍下采样倍率，各级特征拼接后经3×3卷积、批归一化处理、非线性激活后得到融合图像特征。
进一步地，所述步骤S13中曲线拟合分支具体为包含完整编码器和解码器的Transformer结构，其中编码层和解码层均为2层；
所述步骤S13中曲线拟合分支的具体工作过程为：将融合图像特征展开为序列，与位置编码相加后输入至编码器；
在编码器中，对融合特征的序列进行线性投影得到键向量和值向量，特征序列自身作为查询向量，进行自注意力计算，得到注意力图；
将注意力图、位置编码和一个零初始化的初始查询向量q输入解码器，在解码器中，首先对q进行线性投影得到键向量和值向量，q自身作为查询向量，进行自注意力计算，再将编码器输出的注意力图线性投影得到键向量，注意力图作为值向量，q作为查询向量，进行互注意力计算，得到包含曲线参数信息的查询向量。
进一步地，所述步骤S15中自适应混合模块具体是进行图像特征X和查询向量q的信息交互，所述自适应混合模块的工作过程为：
查询向量q首先经过线性运算得到通道自适应混合权重Mc和空间自适应混合权重Ms，图像特征X先后进行通道自适应混合、空间自适应混合得到交互后图像特征X′；混合过程为图像特征与相应的自适应混合权重进行矩阵乘法，随后依次进行层归一化处理、非线性激活；交互后特征X′经过两次投影变换后与原查询向量q进行残差连接得到交互后查询向量q′。
进一步地，所述步骤S16中分割解码器包括粗解码分支和细解码分支，在解码过程中，粗解码分支使用1×1卷积和双线性插值上采样进行解码，得到初步的、粗糙的分割结果；细解码分支使用多个由反卷积和非瓶颈层组成的上采样模块进行解码，结果与粗解码分支相加，完成对分割结果的细化，分割特征图的每个通道对应预测一个车道线实例；
所述步骤S16中多层感知机由三次线性运算、非线性激活组成，所述步骤S16中全连接层由一次线性运算组成。
进一步地，所述步骤S16中分割车道线预测对应的损失函数由两部分组成：分割损失Lseg和车道线存在性损失Lexist；
所述步骤S16中曲线拟合车道线预测对应的损失函数为二分匹配损失，二分匹配损失由三部分组成：曲线是否为车道线的分类损失Llabel、曲线参数损失Lpara、曲线采样点损失Lsample；
所述步骤S16中任务训练的损失函数为以上各损失的加权和：
LOSS＝wsegLseg+wexistLexist+wlabelLlabel+wparaLpara+wsampleLsample
其中，分割损失Lseg使用逐像素的交叉熵损失，车道存在性损失Lexist和曲线分类损失Llabel使用交叉熵损失，曲线参数损失Lpara和曲线采样点损失Lsample使用L1损失，wγ(γ＝seg，exist，label，para，sample)对应为以上各损失的权重。
进一步地，所述步骤S16中曲线拟合分支预测固定数量的曲线实例，输出曲线是否为车道线的二分类和曲线参数，并使用匈牙利算法对预测和真值进行匹配，匹配成本函数包括三部分：曲线分类成本Clabel、曲线参数成本Cpara、曲线采样点成本Csample，总成本为以上三项成本的加权和：
COST＝αlabelClabel+αparaCpara+αsampleCsample
其中，曲线分类成本Clabel采用交叉熵损失，曲线参数成本Cpara和曲线采样点成本Csample使用L1损失，αj(j＝label，para，sample)对应为各项成本的权重。
进一步地，所述曲线参数为三阶贝塞尔曲线的四个控制点坐标，所述曲线采样点是对贝塞尔曲线进行t采样得到采样点B(t)：
Figure BDA0004156112660000041
Figure BDA0004156112660000042
其中，Pi是第i个控制点，bi,3(t)是三阶贝塞尔系数。
与现有技术相比，本发明具有以下优点：
一、本发明考虑到单一表征方式的不足，故从车道线检测的表征方式出发，设计了双分支模型结构，包括依次连接的骨干网络和特征金字塔网络，特征金字塔网络分别连接有分割分支和曲线拟合分支，分割分支和曲线拟合分支之间连接有自适应混合模块，利用两个分支分别以分割表征和曲线表征方式进行车道线检测，同时利用自适应混合模块实现两种表征方式的车道线信息的交互。由此在单个模型中同时以分割和曲线两种表征方式进行车道线检测，并完成两种表征的信息交互，能够同时有效提升分割和曲线两种表征方式的车道线检测的准确性。
二、本发明考虑到车道线具有高级语义，高级特征对于车道线实例有无的预测是十分重要的，同时车道线还具有特定的局部模式，这需要详细的低级特征才能准确地进行定位。故本发明设计特征金字塔网络，以实现高级特征和低级特征的融合，以确保后续进行车道检测的精确性。
三、本发明利用自适应混合模块进行图像特征X和查询向量q的信息交互，以实现分割分支和曲线拟合分支的信息交互，再将交互后的图像特征输入分割解码器得到分割表征的车道线预测、将交互后的查询向量输入多层感知机和全连接层得到曲线表征的车道线预测，能够大大提升车道线检测性能。
附图说明
图1为本发明的方法流程示意图；
图2为实施例中车道线检测模型架构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种基于多表征集成学习的车道线检测方法，包括以下步骤：
S1、构建车道线检测网络，并利用车辆前视图像数据集对车道线检测网络进行训练，得到车道线检测模型；
所述车道线检测网络架构包括依次连接的骨干网络和特征金字塔网络，所述特征金字塔网络分别连接有分割分支和曲线拟合分支，所述分割分支和曲线拟合分支之间连接有自适应混合模块；
S2、将实际车辆前视图像输入车道线检测模型，输出得到对应的分割车道线检测结果和曲线拟合车道线检测结果。
本实施例应用上述技术方案，构建如图2所示的车道线检测模型，主要内容有：
1)使用单目RGB相机采集车辆前视图像，输入骨干网络提取多级图像特征，其中，多级图像特征是指骨干网络ResNet前四层输出的、下采样倍率依次为4、8、16、32的四级特征。
2)将骨干网络中提取的多级图像特征输入特征金字塔网络，实现高级和低级特征的融合，融合第一阶段高级特征经卷积和上采样后与低级特征相加，第二阶段高级特征经卷积后与低级特征连接；
特征金字塔网络是以步骤1)得到的四级特征为输入，输出下采样倍率为8的融合图像特征的网络。特征融合分为两阶段，第一阶段，高级特征经1×1卷积、批归一化处理、非线性激活后进行双线性插值上采样，逐级与低级特征相加。第二阶段，各级特征首先进行3×3卷积、批归一化处理、非线性激活，之后，4倍下采样特征经步长为2的3×3卷积下采样到8倍下采样倍率，16、32倍下采样特征经双线性插值到8倍下采样倍率。各级特征拼接后经3×3卷积、批归一化处理、非线性激活后得到融合图像特征。
3)步骤2)中的融合特征分别输入曲线拟合分支和分割分支。将融合特征展开为序列，与位置编码一同输入至编码器中进行自注意力计算得到注意力图，该注意力图再与位置编码一同输入解码器中，同时输入的还有一个初始查询向量，解码器中进行互注意力计算，学习车道线对象的查询向量；
具体的，曲线拟合分支是包含完整编码器和解码器的Transformer结构，其中编码层和解码层均为2层。将融合特征展开为序列，与位置编码相加后输入至编码器。在编码器中，对融合特征的序列进行线性投影得到键向量和值向量，特征序列自身作为查询向量，进行自注意力计算，得到注意力图。将注意力图、位置编码和一个零初始化的初始查询向量q输入解码器。在解码器中，首先对q进行线性投影得到键向量和值向量，q自身作为查询向量，进行自注意力计算。再将编码器输出的注意力图线性投影得到键向量，注意力图作为值向量，q作为查询向量，进行互注意力计算，得到包含曲线参数信息的查询向量。
4)在分割分支中将步骤2)的融合特征和步骤3)的注意力图拼接；
5)将步骤3)中的查询向量、步骤4)中拼接的图像融合特征和注意力图输入自适应混合模块中进行信息交互。在该模块中，查询向量首先经过线性运算得到通道自适应混合权重和空间自适应混合权重，注意力特征先进行通道自适应混合再进行空间自适应混合得到交互后图像特征。混合过程为注意力特征与相应的自适应混合权重进行矩阵乘法，随后依次进行层归一化处理、非线性激活。交互后特征经过两次投影变换后与步骤3)中的查询向量进行残差连接得到交互后查询向量。
具体的，自适应混合模块进行图像特征X和查询向量q的信息交互。在该模块中，查询向量q首先经过线性运算得到通道自适应混合权重Mc和空间自适应混合权重Ms，图像特征X先后进行通道自适应混合、空间自适应混合得到交互后图像特征X′。混合过程为图像特征与相应的自适应混合权重进行矩阵乘法，随后依次进行层归一化处理、非线性激活。交互后特征X′经过两次投影变换后与原查询向量q进行残差连接得到交互后查询向量q′。其计算过程的表达式如下：
Mc＝Linear(q) (1)
Ms＝Linear(q) (2)
X1＝ReLU(Layernorm(XMc)) (3)
Figure BDA0004156112660000071
q′＝q+Proj(Proj(X′))(5)
6)在分割分支中，将步骤5)得到的交互后图像特征输入分割解码器。解码器分为粗、细两路分支，粗解码分支使用卷积和双线性插值上采样，得到初步的、粗糙的上采样结果，细解码分支使用反卷积和非瓶颈模块上采样并与粗解码分支结果相加，完成上采样的细化。在曲线分支中，将步骤5)得到的交互后查询向量输入全连接层和多层感知机，分别得到曲线是否为车道线的分类以及曲线参数，其中，多层感知机由三次线性运算、非线性激活组成，所述全连接层由一次线性运算组成。所述曲线分类为是否为车道线的二分类。所述曲线参数为三阶贝塞尔曲线的四个控制点坐标。
7)使用开源数据集对步骤1)-6)构成的车道线检测模型进行训练，训练过程中重复步骤1)-6)，分别使用损失函数对分割分支和曲线分支进行优化，直至模型收敛；
具体的，分割表征损失函数由两部分组成：分割损失Lseg和车道线存在性损失Lexist。曲线表征损失为二分匹配损失，二分匹配损失由三部分组成：曲线是否为车道线的分类损失Llabel、曲线参数损失Lpara、曲线采样点损失Lsample。
任务训练的损失函数为以上各损失的加权和：
LOSS＝wsegLseg+wexistLexist+wlabelLlabel+wparaLpara+wsampleLsample (6)
其中分割损失使用逐像素的交叉熵损失，车道存在性损失、曲线分类损失使用交叉熵损失，曲线参数损失和曲线采样点损失使用L1损失。wγ(γ＝seg，exist，label，para，sample)为以上各损失的权重，在本实施例中各项权重被依次设为1、0.1、1、1、1。
针对二分匹配，曲线分支预测固定数量的曲线实例，输出曲线是否为车道线的二分类和曲线参数，使用匈牙利算法对预测和真值进行匹配。匹配成本函数包括三部分：曲线分类成本Clabel、曲线参数成本Cpara、曲线采样点成本Csample，总成本为以上三项成本的加权和：
COST＝αlabelClabel+αparaCpara+αsampleCsample (7)
其中曲线分类成本采用交叉熵损失，曲线参数成本和曲线采样点成本使用L1损失，αj(j＝label，para，sample)为各项成本的权重，本实施例中均被设为1。
针对曲线采样点，对贝塞尔曲线进行t采样得到采样点B(t)。三阶贝塞尔曲线是由4个控制点定义的曲线：
Figure BDA0004156112660000081
其中Pi是第i个控制点，bi,3(t)是三阶贝塞尔系数：
Figure BDA0004156112660000082
本实施例中，在0≤t≤1范围内，等间距采样50个点。
8)训练完毕后，将模型用于车道线检测任务，输入待测的道路RGB图像即可得到图像中的车道线位置；
在完成上述八个步骤后，车道线检测完毕。
综上可知，本技术方案以车道线检测算法中的两个经典表征方式——分割表征和曲线表征为切入点，提出了一种全新的多表征集成学习方法，在单个模型中同时以分割和曲线两种表征方式进行车道线检测，并完成两种表征的信息交互，能够同时提升分割和曲线两种表征方式的车道线检测的检测精度。

Claims (10)

1.一种基于多表征集成学习的车道线检测方法，其特征在于，包括以下步骤：
S1、构建车道线检测网络，并利用车辆前视图像数据集对车道线检测网络进行训练，得到车道线检测模型；
所述车道线检测网络架构包括依次连接的骨干网络和特征金字塔网络，所述特征金字塔网络分别连接有分割分支和曲线拟合分支，所述分割分支和曲线拟合分支之间连接有自适应混合模块；
S2、将实际车辆前视图像输入车道线检测模型，输出得到对应的分割车道线检测结果和曲线拟合车道线检测结果。
2.根据权利要求1所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S1中对车道线检测网络进行训练的具体过程为：
S11、将车辆前视图像输入骨干网络中，以提取多级图像特征；
S12、将提取的多级图像特征输入特征金字塔网络，实现高级特征和低级特征的融合，得到融合图像特征；
S13、将融合图像特征分别输入曲线拟合分支和分割分支，在曲线拟合分支中得到注意力图和包含曲线参数信息的查询向量；
S14、在分割分支中将融合图像特征和注意力图进行拼接；
S15、将查询向量、拼接的融合图像特征和注意力图输入自适应混合模块，实现分割分支和曲线拟合分支的信息交互，得到交互后查询向量和交互后图像特征；
S16、在分割分支中，将交互后图像特征输入分割解码器得到分割表征的车道线预测；在曲线拟合分支中，将交互后查询向量输入多层感知机和全连接层，得到曲线表征的车道线预测，其中，分割车道线预测和曲线拟合车道线预测分别使用对应的损失函数加以优化。
3.根据权利要求2所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S11中多级图像特征具体为骨干网络ResNet前四层输出的、下采样倍率依次为4、8、16、32的四级特征。
4.根据权利要求3所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S12中特征金字塔网络是以四级特征为输入、输出下采样倍率为8的融合图像特征的网络；
所述特征金字塔网络的具体工作过程为：特征融合分为两阶段，第一阶段，高级特征经1×1卷积、批归一化处理、非线性激活后进行双线性插值上采样，逐级与低级特征相加；
第二阶段，各级特征首先进行3×3卷积、批归一化处理、非线性激活，之后，4倍下采样特征经步长为2的3×3卷积下采样到8倍下采样倍率，16、32倍下采样特征经双线性插值到8倍下采样倍率，各级特征拼接后经3×3卷积、批归一化处理、非线性激活后得到融合图像特征。
5.根据权利要求2所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S13中曲线拟合分支具体为包含完整编码器和解码器的Transformer结构，其中编码层和解码层均为2层；
所述步骤S13中曲线拟合分支的具体工作过程为：将融合图像特征展开为序列，与位置编码相加后输入至编码器；
在编码器中，对融合特征的序列进行线性投影得到键向量和值向量，特征序列自身作为查询向量，进行自注意力计算，得到注意力图；
将注意力图、位置编码和一个零初始化的初始查询向量q输入解码器，在解码器中，首先对q进行线性投影得到键向量和值向量，q自身作为查询向量，进行自注意力计算，再将编码器输出的注意力图线性投影得到键向量，注意力图作为值向量，q作为查询向量，进行互注意力计算，得到包含曲线参数信息的查询向量。
6.根据权利要求5所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S15中自适应混合模块具体是进行图像特征X和查询向量q的信息交互，所述自适应混合模块的工作过程为：
查询向量q首先经过线性运算得到通道自适应混合权重Mc和空间自适应混合权重Ms，图像特征X先后进行通道自适应混合、空间自适应混合得到交互后图像特征X′；混合过程为图像特征与相应的自适应混合权重进行矩阵乘法，随后依次进行层归一化处理、非线性激活；交互后特征X′经过两次投影变换后与原查询向量q进行残差连接得到交互后查询向量q′。
7.根据权利要求1所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S16中分割解码器包括粗解码分支和细解码分支，在解码过程中，粗解码分支使用1×1卷积和双线性插值上采样进行解码，得到初步的、粗糙的分割结果；细解码分支使用多个由反卷积和非瓶颈层组成的上采样模块进行解码，结果与粗解码分支相加，完成对分割结果的细化，分割特征图的每个通道对应预测一个车道线实例；
所述步骤S16中多层感知机由三次线性运算、非线性激活组成，所述步骤S16中全连接层由一次线性运算组成。
8.根据权利要求7所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S16中分割车道线预测对应的损失函数由两部分组成：分割损失Lseg和车道线存在性损失Lexist；
所述步骤S16中曲线拟合车道线预测对应的损失函数为二分匹配损失，二分匹配损失由三部分组成：曲线是否为车道线的分类损失Llabel、曲线参数损失Lpara、曲线采样点损失Lsample；
所述步骤S16中任务训练的损失函数为以上各损失的加权和：
LOSS＝wsegLseg+wexistLexist+wlabelLlabel+wparaLpara+wsampleLsample
其中，分割损失Lseg使用逐像素的交叉熵损失，车道存在性损失Lexist和曲线分类损失Llabel使用交叉熵损失，曲线参数损失Lpara和曲线采样点损失Lsample使用L1损失，wγ(γ＝seg，eχist，label，para，sample)对应为以上各损失的权重。
9.根据权利要求8所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述步骤S16中曲线拟合分支预测固定数量的曲线实例，输出曲线是否为车道线的二分类和曲线参数，并使用匈牙利算法对预测和真值进行匹配，匹配成本函数包括三部分：曲线分类成本Clabel、曲线参数成本Cpara、曲线采样点成本Csample，总成本为以上三项成本的加权和：
COST＝αlabelClabel+αparaCpara+αsampleCsample
其中，曲线分类成本Clabel采用交叉熵损失，曲线参数成本Cpara和曲线采样点成本Csample使用L1损失，αj(j＝label，para，sample)对应为各项成本的权重。
10.根据权利要求8～9任一所述的一种基于多表征集成学习的车道线检测方法，其特征在于，所述曲线参数为三阶贝塞尔曲线的四个控制点坐标，所述曲线采样点是对贝塞尔曲线进行t采样得到采样点B(t)：
Figure FDA0004156112650000031
Figure FDA0004156112650000032
其中，Pi是第i个控制点，bi，3(t)是三阶贝塞尔系数。
CN202310334935.2A 2023-03-30 2023-03-30 一种基于多表征集成学习的车道线检测方法 Pending CN116311137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310334935.2A CN116311137A (zh) 2023-03-30 2023-03-30 一种基于多表征集成学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310334935.2A CN116311137A (zh) 2023-03-30 2023-03-30 一种基于多表征集成学习的车道线检测方法

Publications (1)

Publication Number Publication Date
CN116311137A true CN116311137A (zh) 2023-06-23

Family

ID=86777931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310334935.2A Pending CN116311137A (zh) 2023-03-30 2023-03-30 一种基于多表征集成学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN116311137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
CN111563909B (zh) 一种复杂街景图像语义分割方法
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN113743375B (zh) 铁路货车折角塞门手把不正位识别方法
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
Wang et al. MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection
CN114037640A (zh) 图像生成方法及装置
CN116311137A (zh) 一种基于多表征集成学习的车道线检测方法
CN115601717B (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN117975436A (zh) 基于多模态融合和可变形注意力的三维目标检测方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN117690107B (zh) 一种车道边线识别方法和装置
CN115115917A (zh) 基于注意力机制和图像特征融合的3d点云目标检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN113326734A (zh) 一种基于YOLOv5的旋转目标检测方法
CN117058641A (zh) 一种基于深度学习的全景驾驶感知方法
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
Lim et al. Global and local multi-scale feature fusion for object detection and semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination