CN114550135A - 一种基于注意力机制和特征聚合的车道线检测方法 - Google Patents

一种基于注意力机制和特征聚合的车道线检测方法 Download PDF

Info

Publication number
CN114550135A
CN114550135A CN202210161739.5A CN202210161739A CN114550135A CN 114550135 A CN114550135 A CN 114550135A CN 202210161739 A CN202210161739 A CN 202210161739A CN 114550135 A CN114550135 A CN 114550135A
Authority
CN
China
Prior art keywords
layer
output
lane line
model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210161739.5A
Other languages
English (en)
Other versions
CN114550135B (zh
Inventor
马淑康
郑琛
蒋华涛
常琳
杨雨欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongwei Wuchuang Intelligent Technology Shanghai Co ltd
Original Assignee
Wuxi Internet Of Things Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Internet Of Things Innovation Center Co ltd filed Critical Wuxi Internet Of Things Innovation Center Co ltd
Priority to CN202210161739.5A priority Critical patent/CN114550135B/zh
Publication of CN114550135A publication Critical patent/CN114550135A/zh
Application granted granted Critical
Publication of CN114550135B publication Critical patent/CN114550135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制和特征聚合的车道线检测方法，涉及车辆技术领域，该方法针对车道线细长，空间跨度大以及外表特征不明显的情况，在车道线检测模型的编码模块中引入注意力机制，使其关注更重要的区域，能够更有效的捕捉通道间的关系，能够获得更多有效的信息，提高微妙车道线特征的提取能力。并在编码模块和解码模块之间加入特征聚合模块提取空间信息，以不同的步幅从切片特征中收集信息以避免信息丢失，在提高模型感受野的同时可以使模型收集更多的全局特征信息，提高车道线检测模型的准确率和泛化性，在车道线残缺、弯道、阴影等场景的检测中也有较好的可靠性、实时性和鲁棒性。

Description

一种基于注意力机制和特征聚合的车道线检测方法
技术领域
本发明涉及车辆技术领域，尤其是一种基于注意力机制和特征聚合的车道线检测方法。
背景技术
车道线检测是车道偏离预警和车道保持等高级辅助驾驶系统的前提，作为自动驾驶的“眼睛”，只有正确的定位车道线的位置才能正确的引导后续的车道偏离和路径规划决策，让车辆行驶在正确的车道上，保障行车安全可靠。因此，保证车道线检测的可靠和稳定是智能驾驶系统中至关重要的任务。
目前，对于车道线检测的方法主要有两大类：基于传统计算机视觉的方法与基于深度学习的方法。基于传统计算机视觉的方法大多是通过分析车道线的边缘特征和颜色特征来提取有效的区域，该方法在无遮挡、直线条件下准确率高，但在弯道、阴影、强遮挡场景下检测效果较差，准确性难以保证。基于深度学习的方法大多是通过语义分割的方式进行车道线的检测，但是由于车道线又细又长遮挡严重，这使得利用网络在特征提取时无法捕捉更多有用的特征，导致准确率较低。因此，目前现有的方法对于车道线检测的准确性的可靠性和稳定性都不够理想。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于注意力机制和特征聚合的车道线检测方法，本发明的技术方案如下：
一种基于注意力机制和特征聚合的车道线检测方法，该方法包括：
获取针对车辆行驶道路拍摄得到的待检测图像；
将待检测图像输入预先训练得到的车道线检测模型中，输出待检测图像中的车道线检测结果，车道线检测结果指示待检测图像中每条车道线以及每个车道的存在情况；
其中，车道线检测模型从输入到输出依次包括编码模块、特征聚合模块和解码模块：编码模块包括若干个级联的卷积单元以及分别位于每个卷积单元输出端的注意力机制单元，编码模块用于对输入的待检测图像进行特征提取获取第一特征图；特征聚合模块用于提取第一特征图的高级语义信息得到第二特征图；解码模块用于对第二特征图进行反卷积操作输出像素级的车道线检测结果。
其进一步的技术方案为，在编码模块中的每个注意力机制单元中，输入层将输入图像输出给x轴池化层进行x方向的平均池化，以及将输入图像输出给y轴池化层进行y方向的平均池化，以及将输入图像输出给输出层；级联操作层对x轴池化层和y轴池化层的输出进行拼接，并依次经过第一卷积层和非线性操作层进行卷积和非线性操作；第二卷积层对非线性操作层的输出进行x方向的卷积，并经过x轴激活函数后输出给输出层；第三卷积层对非线性操作层的输出进行y方向的卷积，并经过y轴激活函数后输出给输出层；输出层对输入图像以及x轴激活函数的输出和y轴激活函数的输出融合并输出。
其进一步的技术方案为，特征聚合模块包括上边分支和下边分支，上边分支基于不同扩张率的空洞卷积层和标准卷积层构建形成金字塔空洞卷积结构，并用于提取第一特征图中的多尺度聚合高层语义全局特征；下边分支基于信息传递单元RESA构建得到，并用于提取第一特征图的空间信息；特征聚合模块对上边分支和下边分支的输出进行融合得到第二特征图。
其进一步的技术方案为，特征聚合模块的上边分支中，第一特征图依次经过1*1标准卷积层和扩张率为1的3*3空洞卷积层后输出，第一特征图还依次经过3*3标准卷积层和扩张率为3的3*3空洞卷积层后输出，第一特征图还依次经过3*3标准卷积层和扩张率为5的3*3空洞卷积层后输出，第一特征图还经过shortcut层输出；拼接层对三个3*3空洞卷积层的输出以及shortcut层的输出拼接后经过1*1卷积层输出。
其进一步的技术方案为，信息传递单元RESA将C*H*W尺寸的第一特征图在水平方向上分为H个切片、在垂直方向上分为W个切片，并分别在水平方向从左到右、水平方向从右到左、垂直方向从上至下以及垂直方向从下至上四个方向上进行K次迭代实现信息聚合，在每个方向上的每次迭代中，循环移动每个切片来垂直和水平地聚合信息，使每个切片的特征接收与某个跨度相邻的另一个切片的要素；K次迭代后使得每个位置聚合整个第一特征图中的空间信息，提取得到第一特征图的空间信息；K＝[log2L]，L为第一特征图的行数或列数。
其进一步的技术方案为，解码模块包括若干个级联的反卷积单元，在每个反卷积单元中，残差块对输入图像进行处理后分别输入双线性插值层和反卷积层，1*1卷积层对双线性插值层的输出和反卷积层的输出进行融合得到车道线检测结果。
其进一步的技术方案为，该方法还包括：
获取训练数据集和测试数据集，训练数据集和测试数据集中分别包括若干个车道线训练样本，每个车道线训练样本包括针对道路拍摄的样本图像以及样本图像中的车道线所在位置的真实标签；
搭建车道线检测模型的模型结构，利用训练数据集进行模型训练得到初始模型，利用测试数据集对初始模型进行测试得到用于指示模型泛化效果的模型评分，并得到模型评分达到评分阈值的车道线检测模型。
其进一步的技术方案为，在利用训练数据集进行模型训练的过程中，通过样本图像的预测结果X与对应的真实标签Y之间的相似性差异
Figure BDA0003514257950000031
作为损失函数，在损失函数的基础上利用梯度下降法优化模型参数；在利用测试数据集对初始模型进行测试时，基于准确率Precision和召回率Recall计算得到模型评分
Figure BDA0003514257950000032
其进一步的技术方案为，在利用训练数据集进行模型训练之前，设定模型训练的超参数包括：训练总轮数、每批数据量的大小、学习率初始值，并设定采用SGD优化器进行参数优化，学习率衰减方式采用LambdLR。
本发明的有益技术效果是：
本申请公开了一种基于注意力机制和特征聚合的车道线检测方法，该方法针对车道线细长，空间跨度大以及外表特征不明显的情况，在车道线检测模型的编码模块中引入注意力机制，使其关注更重要的区域，能够更有效的捕捉通道间的关系，能够获得更多有效的信息，提高微妙车道线特征的提取能力。并在编码模块和解码模块之间加入特征聚合模块提取空间信息，以不同的步幅从切片特征中收集信息以避免信息丢失，在提高模型感受野的同时可以使模型收集更多的全局特征信息，提高车道线检测模型的准确率和泛化性，从而提高利用车道线检测模型实现的车道线检测结果具有较好的可靠性和实时性，在车道线残缺、弯道、阴影等场景的检测中也有较好的鲁棒性。
附图说明
图1是本申请的车道线检测方法的流程示意图。
图2是本申请的车道线检测模型中的注意力机制单元的结构图。
图3是本申请的车道线检测模型中的特征聚合模块的结构图。
图4是特征聚合模块中的下边分支在水平方向从右至左的信息传递路径上第一次迭代和第二次迭代的信息传递示意图。
图5是本申请的车道线检测模型中的每个反卷积单元的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于注意力机制和特征聚合的车道线检测方法，请结合图1，该方法操作如下：
获取针对车辆行驶道路拍摄得到的待检测图像100，该待检测图像100一般是通过车载摄像头拍摄得到的。将待检测图像100输入预先训练得到的车道线检测模型中，输出待检测图像100中的车道线检测结果，车道线检测结果指示待检测图像100中每条车道线200以及每个车道的存在情况300。如图1所示，得到的每个车道的存在情况300用于指示车道1不存在、车道2～4存在。
其中，车道线检测模型是预先建立并训练得到的，如图1所示，车道线检测模型从输入到输出依次包括编码模块、特征聚合模块和解码模块。
1、编码模块包括若干个级联的卷积单元以及分别位于每个卷积单元输出端的注意力机制单元，编码模块用于对输入的待检测图像进行特征提取获取第一特征图并输出给特征聚合模块。
在一个实施例中，编码模块使用resnet34作为骨干网络，编码模块包括3个卷积单元，每个卷积单元包括若干个3*3卷积和非线性操作。请参考图2，在编码模块中的每个注意力机制单元中，输入层将C*H*W的输入图像输出给x轴池化层进行x方向的平均池化得到C*H*1的输出，输入层还将输入图像输出给y轴池化层进行y方向的平均池化得到C*1*W的输出，输入层还将输入图像直接输出给输出层。级联操作层对x轴池化层和y轴池化层的输出进行拼接得到C*1*(H+W)的输出，并经过第一卷积层进行卷积得到(C/r)*H*W的输出。再经过非线性操作层进行非线性操作得到(C/r)*H*W的输出，非线性操作层比如采用Sigmoid激活函数。第二卷积层对非线性操作层的输出进行x方向的卷积，得到C*H*1的输出，并经过x轴激活函数后输出C*H*1的输出给输出层。第三卷积层对非线性操作层的输出进行y方向的卷积得到C*1*W的输出，并经过y轴激活函数后输出C*1*W的输出给输出层，输出层对输入图像以及x轴激活函数的输出和y轴激活函数的输出融合并输出。C为通道数，H为行数，W为列数。
注意力机制单元将通道注意力(Channel Attention,CA)分解为两个1维特征编码过程，分别沿x和y两个空间方向聚合特征，通过这两种转换使注意力机制单元可以捕捉到沿着一个空间方向的长期依赖关系，并保存沿着另一个空间方向的精确位置信息，这有助于网络更准确地定位感兴趣的目标。在一个实施例中，将第一卷积层的步幅由2更改为1，使得图像下采样为1/8分辨率的特征图，即高宽尺寸为36×100像素的特征图，并通过1*1卷积将通道数改为128通道。
在一个实施例中，将第三个卷积单元步幅由2更改为1，使得编码模块的图像下采样为1/8分辨率的第一特征图，即在一个实例中高宽尺寸为36×100像素的第一特征图，并通过1*1卷积将通道数改为128通道。
2、特征聚合模块用于提取第一特征图的高级语义信息得到第二特征图。由于车道线的稀薄和长属性，车道线标注相较于图像中其他像素很稀疏，并且车道线时常会有严重的遮挡、磨损等情况，因此本申请在车道线检测模型中加入特征聚合模块来收集信息，并更直接，更有效地传递空间信息，更加丰富语义信息。
如图3所示，特征聚合模块包括上边分支和下边分支，上边分支基于不同扩张率的空洞卷积层和标准卷积层构建形成金字塔空洞卷积结构，并用于提取第一特征图中的多尺度聚合高层语义全局特征。上边分支可以提高模型的局部感受野，实现多尺度聚合高层语义全局特征的提取。在一个实例中，特征聚合模块的上边分支中，第一特征图依次经过1*1标准卷积层和扩张率为1(rate＝1)的3*3空洞卷积层后输出，第一特征图还依次经过3*3标准卷积层和扩张率为3(rate＝3)的3*3空洞卷积层后输出，第一特征图还依次经过3*3标准卷积层和扩张率为5(rate＝5)的3*3空洞卷积层后输出，第一特征图还经过shortcut层输出。拼接层(Concat层)对三个3*3空洞卷积层的输出以及shortcut层的输出拼接后经过1*1卷积层输出，此处以及本申请其余地方未强调空洞卷积层的，均为标准卷积层。
下边分支基于信息传递单元RESA构建得到，并用于提取第一特征图的空间信息。信息传递单元RESA将C*H*W尺寸的第一特征图在水平方向上分为H个切片、在垂直方向上分为W个切片，并分别在水平方向从左到右、水平方向从右到左、垂直方向从上至下以及垂直方向从下至上四个方向上进行K次迭代实现信息聚合，在每个方向上的每次迭代中，循环移动每个切片来垂直和水平地聚合信息，使每个切片的特征接收与某个跨度相邻的另一个切片的要素。最终K次迭代后使得每个位置聚合整个第一特征图中的空间信息，提取得到第一特征图的空间信息。迭代的总次数K＝[log2L]，L为第一特征图的行数H或列数W。比如如图4所示，在水平方向从右到左的信息传递路径上，第一次迭代的信息传递过程如实线箭头所示，每一列的Xi可以接收到Xi+1的转换特征，由于反复移动，尾部的列也可以接收另一侧的特征，即Xw-1可接收X0的转换特征。第二次迭代的信息传递过程如虚线箭头所示，每一列的Xi可以接收到Xi+2的转换特征，由于反复移动，尾部的列也可以接收另一侧的特征，即Xw-1可接收X1的转换特征。考虑到在第一次迭代中X0已经接收了X1的信息，并且X2也接收了X3的信息，现在X0在两次迭代中便接收了X0、X1、X2、X3的信息。其他方向上和其他次迭代过程中的具体操作类似。
最后特征聚合模块对上边分支和下边分支的输出进行融合得到第二特征图，从而可以获得不同层次的高级语义信息。
3、解码模块用于对第二特征图进行反卷积操作，将特征图恢复到原始的待检测图像的大小，最后执行逐像素预测，以输出像素级的车道线检测结果。解码模块包括若干个级联的反卷积单元，在一个实例中，如图1所示，包括3个级联的反卷积单元，每个反卷积单元的结构相同，每个反卷积单元的结构如图5所示，在每个反卷积单元中，残差块对输入图像进行处理来保持特征图的形状丰富特征图细微的信息，残差块的输出分别输入双线性插值层(Bilinear Interpolation)恢复粗粒度特征以及输入反卷积层(TransposeConv2D)恢复细微特征，最后1*1卷积层对双线性插值层的输出和反卷积层的输出进行融合，将1/8特征图恢复到原始大小，得到车道线检测结果。
本申请的上述车道线检测模型引入通道注意力机制，增强网络的提取有效特征的能力，再利用特征聚合模块对特征图进行递归融合增强并引入金字塔空洞卷积网络增强特征的局部感受野，使特征图获得丰富的空间特征信息；最后解码模块通过对特征图进行上采样操作使特征图恢复原始尺寸执行像素级预测，使得利用该车道线检测模型实现的车道线检测具有较好的可靠性和实时性，在车道线残缺、弯道、阴影等场景的检测中也有较好的鲁棒性。
本申请的上述车道线检测模型预先通过数据集训练得到，因此在使用车道线检测模型之前，还包括车道线检测模型的训练过程：
首先获取训练数据集和测试数据集，可以采用车道线CULane来构建。训练数据集和测试数据集中分别包括若干个车道线训练样本，每个车道线训练样本包括针对道路拍摄的样本图像以及样本图像中的车道线所在位置的真实标签。搭建车道线检测模型的模型结构，该模型结构即如图1所示，利用训练数据集进行模型训练得到初始模型，利用测试数据集对初始模型进行测试得到用于指示模型泛化效果的模型评分，并得到模型评分达到评分阈值的车道线检测模型。车道线检测模型对车道线训练样本的处理过程与上述对待检测图像的处理过程相同，本申请不再赘述。
在利用训练数据集进行模型训练之前，设定模型训练的超参数包括：训练总轮数、每批数据量的大小、学习率初始值，并设定采用SGD优化器进行参数优化，学习率衰减方式采用LambdLR。在一个实施例中，设置训练总轮数为12个epochs，每批数据量的大小batch_size为8，学习率初始值设置为0.025。
在利用训练数据集进行模型训练的过程中，通过样本图像的预测结果X与对应的真实标签Y之间的相似性差异
Figure BDA0003514257950000071
作为损失函数，在损失函数的基础上利用梯度下降法优化模型参数，不断优化带权重的交叉熵损失函数。
达到训练总轮数后，利用测试数据集对初始模型进行测试，基于准确率Precision和召回率Recall计算得到模型评分
Figure BDA0003514257950000072
在一个实例中，该车道线检测模型的准确率为78.3％，召回率为74％，模型评分为76.1％，数据证明在车道线遮挡、老化以及光线明暗变换的复杂场景下，该车道线检测模型都能够较为有效的检测出车道线。
以上的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种基于注意力机制和特征聚合的车道线检测方法，其特征在于，所述方法包括：
获取针对车辆行驶道路拍摄得到的待检测图像；
将所述待检测图像输入预先训练得到的车道线检测模型中，输出所述待检测图像中的车道线检测结果，所述车道线检测结果指示所述待检测图像中每条车道线以及每个车道的存在情况；
其中，所述车道线检测模型从输入到输出依次包括编码模块、特征聚合模块和解码模块：所述编码模块包括若干个级联的卷积单元以及分别位于每个卷积单元输出端的注意力机制单元，所述编码模块用于对输入的所述待检测图像进行特征提取获取第一特征图；所述特征聚合模块用于提取所述第一特征图的高级语义信息得到第二特征图；所述解码模块用于对所述第二特征图进行反卷积操作输出像素级的所述车道线检测结果。
2.根据权利要求1所述的方法，其特征在于，在所述编码模块中的每个注意力机制单元中，输入层将输入图像输出给x轴池化层进行x方向的平均池化，以及将输入图像输出给y轴池化层进行y方向的平均池化，以及将输入图像输出给输出层；级联操作层对x轴池化层和y轴池化层的输出进行拼接，并依次经过第一卷积层和非线性操作层进行卷积和非线性操作；第二卷积层对非线性操作层的输出进行x方向的卷积，并经过x轴激活函数后输出给所述输出层；第三卷积层对非线性操作层的输出进行y方向的卷积，并经过y轴激活函数后输出给所述输出层；所述输出层对所述输入图像以及x轴激活函数的输出和y轴激活函数的输出融合并输出。
3.根据权利要求1所述的方法，其特征在于，所述特征聚合模块包括上边分支和下边分支，所述上边分支基于不同扩张率的空洞卷积层和标准卷积层构建形成金字塔空洞卷积结构，并用于提取所述第一特征图中的多尺度聚合高层语义全局特征；所述下边分支基于信息传递单元RESA构建得到，并用于提取所述第一特征图的空间信息；所述特征聚合模块对所述上边分支和所述下边分支的输出进行融合得到所述第二特征图。
4.根据权利要求3所述的方法，其特征在于，所述特征聚合模块的上边分支中，所述第一特征图依次经过1*1标准卷积层和扩张率为1的3*3空洞卷积层后输出，所述第一特征图还依次经过3*3标准卷积层和扩张率为3的3*3空洞卷积层后输出，所述第一特征图还依次经过3*3标准卷积层和扩张率为5的3*3空洞卷积层后输出，所述第一特征图还经过shortcut层输出；拼接层对三个3*3空洞卷积层的输出以及shortcut层的输出拼接后经过1*1卷积层输出。
5.根据权利要求3所述的方法，其特征在于，所述信息传递单元RESA将C*H*W尺寸的所述第一特征图在水平方向上分为H个切片、在垂直方向上分为W个切片，并分别在水平方向从左到右、水平方向从右到左、垂直方向从上至下以及垂直方向从下至上四个方向上进行K次迭代实现信息聚合，在每个方向上的每次迭代中，循环移动每个切片来垂直和水平地聚合信息，使每个切片的特征接收与某个跨度相邻的另一个切片的要素；K次迭代后使得每个位置聚合整个所述第一特征图中的空间信息，提取得到第一特征图的空间信息；K＝[log2L]，L为所述第一特征图的行数或列数。
6.根据权利要求1所述的方法，其特征在于，所述解码模块包括若干个级联的反卷积单元，在每个所述反卷积单元中，残差块对输入图像进行处理后分别输入双线性插值层和反卷积层，1*1卷积层对双线性插值层的输出和反卷积层的输出进行融合得到所述车道线检测结果。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集和测试数据集，所述训练数据集和测试数据集中分别包括若干个车道线训练样本，每个车道线训练样本包括针对道路拍摄的样本图像以及所述样本图像中的车道线所在位置的真实标签；
搭建所述车道线检测模型的模型结构，利用所述训练数据集进行模型训练得到初始模型，利用所述测试数据集对所述初始模型进行测试得到用于指示模型泛化效果的模型评分，并得到模型评分达到评分阈值的所述车道线检测模型。
8.根据权利要求7所述的方法，其特征在于，在利用所述训练数据集进行模型训练的过程中，通过样本图像的预测结果X与对应的真实标签Y之间的相似性差异
Figure FDA0003514257940000021
作为损失函数，在损失函数的基础上利用梯度下降法优化模型参数；在利用所述测试数据集对所述初始模型进行测试时，基于准确率Precision和召回率Recall计算得到模型评分
Figure FDA0003514257940000022
9.根据权利要求7所述的方法，其特征在于，在利用所述训练数据集进行模型训练之前，设定模型训练的超参数包括：训练总轮数、每批数据量的大小、学习率初始值，并设定采用SGD优化器进行参数优化，学习率衰减方式采用LambdLR。
CN202210161739.5A 2022-02-22 2022-02-22 一种基于注意力机制和特征聚合的车道线检测方法 Active CN114550135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210161739.5A CN114550135B (zh) 2022-02-22 2022-02-22 一种基于注意力机制和特征聚合的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210161739.5A CN114550135B (zh) 2022-02-22 2022-02-22 一种基于注意力机制和特征聚合的车道线检测方法

Publications (2)

Publication Number Publication Date
CN114550135A true CN114550135A (zh) 2022-05-27
CN114550135B CN114550135B (zh) 2023-04-18

Family

ID=81678160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210161739.5A Active CN114550135B (zh) 2022-02-22 2022-02-22 一种基于注意力机制和特征聚合的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114550135B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273013A (zh) * 2022-09-27 2022-11-01 江西小马机器人有限公司 车道线检测方法、系统、计算机及可读存储介质
CN115565148A (zh) * 2022-11-09 2023-01-03 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332104A1 (en) * 2014-05-14 2015-11-19 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112149526A (zh) * 2020-09-07 2020-12-29 中国科学院声学研究所南海研究站 一种基于长距离信息融合的车道线检测方法及系统
CN112241728A (zh) * 2020-10-30 2021-01-19 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332104A1 (en) * 2014-05-14 2015-11-19 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112149526A (zh) * 2020-09-07 2020-12-29 中国科学院声学研究所南海研究站 一种基于长距离信息融合的车道线检测方法及系统
CN112241728A (zh) * 2020-10-30 2021-01-19 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶伟等: "基于空间特征聚合的车道线检测算法", 《计算机系统应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273013A (zh) * 2022-09-27 2022-11-01 江西小马机器人有限公司 车道线检测方法、系统、计算机及可读存储介质
CN115273013B (zh) * 2022-09-27 2024-05-03 江西小马机器人有限公司 车道线检测方法、系统、计算机及可读存储介质
CN115565148A (zh) * 2022-11-09 2023-01-03 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置

Also Published As

Publication number Publication date
CN114550135B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110175613B (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN114550135B (zh) 一种基于注意力机制和特征聚合的车道线检测方法
CN112084901A (zh) 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN111008632A (zh) 一种基于深度学习的车牌字符分割方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN110728178B (zh) 一种基于深度学习的事件相机车道线提取方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN114821316A (zh) 一种三维探地雷达裂缝病害识别方法及系统
CN114821519A (zh) 一种基于坐标注意力的交通标志识别方法及系统
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN113963333A (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN117197687A (zh) 一种面向无人机航拍密集小目标的检测方法
CN114821510B (zh) 基于改进U-Net网络的车道线检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230629

Address after: 201100 floor 2, building 2, No. 1508, Kunyang Road, Minhang District, Shanghai

Patentee after: Zhongwei Wuchuang Intelligent Technology (Shanghai) Co.,Ltd.

Address before: Room 112, E2, China Sensor Network International Innovation Park, 200 Linghu Avenue, Xinwu District, Wuxi City, Jiangsu Province, 214135

Patentee before: Wuxi Internet of Things Innovation Center Co.,Ltd.

TR01 Transfer of patent right