CN114445800B - 基于感兴趣区域特征聚集的车道线检测方法 - Google Patents

基于感兴趣区域特征聚集的车道线检测方法 Download PDF

Info

Publication number
CN114445800B
CN114445800B CN202210088292.3A CN202210088292A CN114445800B CN 114445800 B CN114445800 B CN 114445800B CN 202210088292 A CN202210088292 A CN 202210088292A CN 114445800 B CN114445800 B CN 114445800B
Authority
CN
China
Prior art keywords
lane line
picture
features
global
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210088292.3A
Other languages
English (en)
Other versions
CN114445800A (zh
Inventor
郑途
黄亦非
刘洋
唐文剑
杨政
何晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202210088292.3A priority Critical patent/CN114445800B/zh
Publication of CN114445800A publication Critical patent/CN114445800A/zh
Application granted granted Critical
Publication of CN114445800B publication Critical patent/CN114445800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于感兴趣区域特征聚集的车道线检测方法。输入道路图片并用卷积神经网络提取图片特征，投影图片特征上提取得车道线特征；每个车道线特征，在车道线特征上进行信息传递得到强化特征；建模车道线特征和图片全局特征间关系，聚集得到图片全局特征；预测道路图片中车道线位置和分类；训练上述车道线检测模型，重复步骤利用损失函数进行优化直到收敛；对实时待测的道路图片输入训练后的车道线检测模型得到道路图片中的车道线位置。本发明方法建模了车道线的特征信息以及聚集了全局的特征信息，更好感知环境信息来检测车道线，大幅提升了车道线检测的效果，提升车道线的特征提取能力和精度。

Description

基于感兴趣区域特征聚集的车道线检测方法
技术领域
本发明涉及计算机视觉领域的一种车道线图像处理方法，具体涉及一种基于感兴趣区域特征聚集的车道线检测方法。
背景技术
车道线检测是计算机视觉领域的重要任务。它是与深度学习相互促进和发展的领域，可以应用到自动驾驶或者辅助驾驶中，为其提供道路车道线的信息，进而帮助智能车辆更好的定位车辆位置。
车道线检测是计算机视觉中一个非常具有挑战性的任务。在真实的场景中，车道线很容易受到车辆的遮挡，并且受光照的影响，图片中的车道线也可能变得模糊而难以辨认。人对车道线的感知是可以通过环境信息来推测的，因此很多方法也开始建模图像中全局的信息来辅助检测车道线。最近Xingang Pan等人在2018年人工智能顶级会议AAAI提出的《Spatial As Deep:Spatial CNN for Traffic Scene Understanding》，通过一个稀疏的卷积神经网络结构，在图像的行与列之间传递信息，从而识别有较强先验信息的车道线。但是这种方法计算量非常大，很难应用到一些需要实时计算的任务中，比如自动驾驶。
在2021年国际顶级会议CVPR上提出的《Keep your Eyes on the Lane:Real-timeAttention-guided Lane Detection》通过建模不同车道线之间的关系来获取全局的信息。但是这种方法仅仅考虑的车道线之间的关系，没有考虑全局的环境信息，因此检测的精度不高。
发明内容
为了解决背景技术中存在的问题，本发明提供了一种基于感兴趣区域特征聚集的车道线检测方法。
方法建模了车道线的特征信息以及聚集了全局的特征信息，可以更好的感知环境信息来检测车道线，大幅提升了车道线检测的效果。
本发明所采用的技术方案是：
(1)输入道路图片并利用卷积神经网络提取全局图片特征，再将预定义好的车道线投影到图片特征上提取获得车道线特征；
(2)对于每个车道线特征，在车道线特征上进行信息传递得到表达能力更强的初步车道线特征；
(3)对于初步车道线特征，进一步建模车道线特征和图片全局特征之间的关系，再利用该关系进行感兴趣区域特征聚集得到更多全局信息的强化车道线特征；
(4)利用(3)中的强化车道线特征预测道路图片中的车道线位置和分类；
(5)训练由(1)-(4)构成的车道线检测模型，重复步骤(1)-(4)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
(6)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
本发明对车道线上的特征进行信息传递，并且通过建模车道线关系和全局特征直接的关系，大大加强了车道线特征的表达能力，从而增强车道线算法的检测能力和鲁棒性，使得该算法在复杂的环境中仍有全局感知能力，大大提升检测精度。
所述步骤(1)中，卷积神经网络具体是由多层卷积层依次连接构成。
所述步骤(1)中，预定义好的车道线是在道路图片中按照规则均匀分布的、并且利用ROIAlign方法从图片特征中预先得到车道线图像区域。
所述步骤(2)中，采用卷积操作和全连接操作在车道线特征上进行信息传递，即车道线特征中的每个特征点聚集到相邻特征点的特征，获得初步车道线特征。
所述的矩阵变换具体是将二维变成一维矩阵。
所述步骤(3)中，将全局图片特征进行缩放和矩阵变换的处理后获得初步全局特征，再将初步全局特征和初步车道线特征进行两次的交叉矩阵相乘获得强化车道线特征，车道线特征和图片全局特征之间的关系建模具体表示如下：
首先计算初步车道线特征和全局图片特征之间的未归一化相似矩阵W：
Figure BDA0003488097470000021
其中，Xp表示初步车道线特征，Xf表示缩放和矩阵变换后的全局图片特征，T表示矩阵转置；
接着，利用softmax函数对未归一化相似矩阵W进行归一化处理得到相似矩阵Wn：
Wn＝softmax(W)
然后，将相似矩阵Wn再和初步全局特征按照以下公式进行相乘处理得到特征矩阵G：
Figure BDA0003488097470000031
最后，对特征矩阵G进行dropout操作，再和初步车道线特征相加得到输出特征O：
O＝Xp+dropout(G)
由输出特征O经过全连接层的处理预测获得车道线位置和分类。
所述步骤(5)中，对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
本发明方法具有以下有益效果：
本发明提出基于感兴趣区域特征聚集的车道线检测方法，该方法可以有效的捕捉局部特征以及聚集全局的信息，大大提升车道线的特征提取能力。
本发明可以很好地运用到各种车道线检测网络中，在主流车道线检测数据集CULane上有很大的精度提升，展示了算法的优越性。
附图说明
图1为本发明框架和流程图。
图2为本发明中感兴趣区域特征聚集的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，本发明的实施例具体包括如下步骤：
(1)输入道路图片并利用卷积神经网络提取全局图片特征，再将预定义好的车道线投影到图片特征上提取获得道路图片中每个车道线的车道线特征；
如图1所示，步骤(1)中，卷积神经网络具体是由三层卷积层依次连接构成。三层卷积处理后再输入到ROIGather模块中进行车道线特征提取
步骤(1)中，预定义好的车道线是在道路图片中按照规则均匀分布的、并且利用ROIAlign方法从图片特征中预先得到车道线图像区域，即图2中的ROI。利用预定义好的车道线对图片特征进行分割提取获得车道线特征。
(2)对于每个车道线特征，对全局图片特征上的车道线特征进行信息传递得到表达能力更强的初步车道线特征；
如图2下部所示，步骤(2)中，采用卷积操作和全连接操作在车道线特征上进行信息传递，即车道线特征中的每个特征点聚集到相邻特征点的特征，获得初步车道线特征。
(3)对于初步车道线特征，进一步建模车道线特征和图片全局特征之间的关系，再利用该关系进行感兴趣区域特征聚集得到更多全局信息的强化全局特征；
如图2上部所示，将全局图片特征进行缩放和矩阵变换的处理后获得初步全局特征，再将初步全局特征和初步车道线特征进行两次的交叉矩阵相乘获得强化车道线特征。
步骤(3)中，车道线特征和全局图片特征之间的关系建模采用注意力机制方式，具体表示如下：
首先计算初步车道线特征和全局图片特征之间的未归一化相似矩阵W：
Figure BDA0003488097470000041
其中，Xp表示初步车道线特征，Xf表示缩放和矩阵变换后的全局图片特征，T表示矩阵转置；
接着，利用softmax函数对未归一化相似矩阵W进行归一化处理得到相似矩阵Wn：
Wn＝softmax(W)
然后，将相似矩阵Wn再和初步全局特征按照以下公式进行相乘处理得到特征矩阵G：
Figure BDA0003488097470000042
其中，G表示车道线从全局特征进行挑选聚集后的特征。
最后，对特征矩阵G进行dropout操作，再和由车道线特征处理获得的初步车道线特征相加得到输出特征O：
O＝Xp+dropout(G)
由输出特征O经过全连接层的处理预测获得车道线位置和分类。
(4)利用(3)中的图片全局特征预测道路图片中的车道线位置和分类；针对车道线类别进行分类，车道线位置进行回归。
(5)由上述(1)-(4)构成的车道线检测模型，利用预先已知采集获得的道路图片及其中的车道线位置和分类输入训练由(1)-(4)构成的车道线检测模型，重复步骤(1)-(4)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
步骤(5)中，对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
具体实施中，Focal loss损失函数中的参数分别设定为α＝0.5，γ＝2.0。Smooth-l1 loss损失函数中的参数设定为β＝1.0。
(6)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
本实施例在CULane数据集上进行了实验，并且采用了LaneATT和本发明提出的结构CLRNet来进行实验。结果如下表所示：
下表中，Method表示不同的车道线检测方法，Gather Module表示强化模块，None表示没有强化模块，self-attention是LaneATT提出的方法，ROIGather是本技术提出的方法。mF1,F1@50,F1@75,F1@90分别表示不同的评估指标。
表1
Figure BDA0003488097470000051
表中可见，本发明方法在LaneATT上提升了接近4个点，远高于self-attention方法，在CLRNet上也取得了一致性的提升。这说明了本发明方法的有效性。

Claims (4)

1.一种基于感兴趣区域特征聚集的车道线检测方法，其特征在于：方法包括以下步骤：
(1)输入道路图片并利用卷积神经网络提取全局图片特征，再将预定义好的车道线投影到图片特征上提取获得车道线特征；
(2)对于每个车道线特征，在车道线特征上进行信息传递得到表达能力更强的初步车道线特征；
(3)对于初步车道线特征，进一步建模车道线特征和图片全局特征之间的关系，再利用该关系进行感兴趣区域特征聚集得到更多全局信息的强化车道线特征；
(4)利用(3)中的强化车道线特征预测道路图片中的车道线位置和分类；
(5)训练由(1)-(4)构成的车道线检测模型，重复步骤(1)-(4)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
(6)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置；
所述步骤(1)中，预定义好的车道线是在道路图片中按照规则均匀分布的、并且利用ROIAlign方法从图片特征中预先得到车道线图像区域；
所述步骤(3)中，将全局图片特征进行缩放和矩阵变换的处理后和初步车道线特征进行两次的交叉矩阵相乘获得强化车道线特征，车道线特征和图片全局特征之间的关系建模具体表示如下：
首先计算初步车道线特征和全局图片特征之间的未归一化相似矩阵W：
Figure FDA0003781111640000011
其中，Xp表示初步车道线特征，Xf表示缩放和矩阵变换后的全局图片特征，T表示矩阵转置；
接着，利用softmax函数对未归一化相似矩阵W进行归一化处理得到相似矩阵Wn：
Wn＝softmax(w)
然后，将相似矩阵Wn再和初步全局特征按照以下公式进行相乘处理得到特征矩阵G：
Figure FDA0003781111640000012
最后，对特征矩阵G进行dropout操作，再和初步车道线特征相加得到输出特征O：
O＝Xp+dropout(G)
由输出特征O经过全连接层的处理预测获得车道线位置和分类。
2.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法，其特征在于：所述步骤(1)中，卷积神经网络具体是由多层卷积层依次连接构成。
3.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法，其特征在于：所述步骤(2)中，采用卷积操作和全连接操作在车道线特征上进行信息传递，即车道线特征中的每个特征点聚集到相邻特征点的特征，获得初步车道线特征。
4.根据权利要求1所述的一种基于感兴趣区域特征聚集的车道线检测方法，其特征在于：所述步骤(5)中，对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
CN202210088292.3A 2022-01-25 2022-01-25 基于感兴趣区域特征聚集的车道线检测方法 Active CN114445800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210088292.3A CN114445800B (zh) 2022-01-25 2022-01-25 基于感兴趣区域特征聚集的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210088292.3A CN114445800B (zh) 2022-01-25 2022-01-25 基于感兴趣区域特征聚集的车道线检测方法

Publications (2)

Publication Number Publication Date
CN114445800A CN114445800A (zh) 2022-05-06
CN114445800B true CN114445800B (zh) 2022-09-30

Family

ID=81369614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210088292.3A Active CN114445800B (zh) 2022-01-25 2022-01-25 基于感兴趣区域特征聚集的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114445800B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576008A1 (en) * 2018-05-30 2019-12-04 Aptiv Technologies Limited Image based lane marking classification
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN112308137A (zh) * 2020-10-30 2021-02-02 闽江学院 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法
CN113269164A (zh) * 2021-07-16 2021-08-17 智道网联科技(北京)有限公司 车道线检测方法及其检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576008A1 (en) * 2018-05-30 2019-12-04 Aptiv Technologies Limited Image based lane marking classification
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统
CN112308137A (zh) * 2020-10-30 2021-02-02 闽江学院 一种利用注意力机制聚合邻域点和全局特征的图像匹配方法
CN113269164A (zh) * 2021-07-16 2021-08-17 智道网联科技(北京)有限公司 车道线检测方法及其检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RESA: Recurrent Feature-Shift Aggregator for Lane Detection;Tu Zheng等;《proceedings or the AAAI conference on artificial intelligence》;20210518;全文 *
Spatial as deep: Spatial cnn for traffic scene understanding;Xingang Pan等;《In Thirty-Second AAAI Conference on Artificial Intelligence》;20180427;全文 *

Also Published As

Publication number Publication date
CN114445800A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN113609896B (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN111161317A (zh) 一种基于多重网络的单目标跟踪方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
WO2021218786A1 (zh) 一种数据处理系统、物体检测方法及其装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN117218343A (zh) 一种基于深度学习的语义部件姿态估计方法
CN114943893A (zh) 一种土地覆盖分类的特征增强网络
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115147488A (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN115100615A (zh) 一种基于深度学习的端到端车道线检测方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN111862147B (zh) 视频中多车辆和多行人目标的跟踪方法
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN114445800B (zh) 基于感兴趣区域特征聚集的车道线检测方法
Häger et al. Predicting disparity distributions
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant