CN113627228A - 一种基于关键点回归与多尺度特征融合的车道线检测方法 - Google Patents

一种基于关键点回归与多尺度特征融合的车道线检测方法 Download PDF

Info

Publication number
CN113627228A
CN113627228A CN202110593289.2A CN202110593289A CN113627228A CN 113627228 A CN113627228 A CN 113627228A CN 202110593289 A CN202110593289 A CN 202110593289A CN 113627228 A CN113627228 A CN 113627228A
Authority
CN
China
Prior art keywords
lane line
key point
module
regression
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110593289.2A
Other languages
English (en)
Other versions
CN113627228B (zh
Inventor
李巍华
郑少武
黎铭浩
谢云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110593289.2A priority Critical patent/CN113627228B/zh
Publication of CN113627228A publication Critical patent/CN113627228A/zh
Application granted granted Critical
Publication of CN113627228B publication Critical patent/CN113627228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关键点回归于多尺度特征融合的车道线检测方法，包括步骤：1)构建基于关键点与多尺度特征融合的车道线检测网络，网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块、后处理模块、图像输出模块；2)利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练，得到训练模型，并将算法部署在车载嵌入式工控机上；3)将车辆前视单目摄像头所采集的图像，输入所述训练模型，并输出车道线检测结果。本发明利用采用关键点回归、多尺度特征融合及快速后处理方法，在保证车道线检测精度的同时，大大提高了检测速度，具有更高的检测效率和实用性。

Description

一种基于关键点回归与多尺度特征融合的车道线检测方法
技术领域
本发明属于图像处理和车辆智能驾驶领域，尤其涉及一种基于关键点回归与多尺度特征融合的车道线检测方法。
背景技术
随着智能网联汽车技术的逐渐推广及ADAS高级驾驶辅助系统的普及应用，车道线检测任务已成为智能交通系统的重要一环。车道保持辅助(LKA)、车道偏离预警(LDW)、可行驶区域划分等多项驾驶辅助技术均对车道线检测任务提出了高精度、高可靠、低时延的检测要求。
基于视觉的检测方法是目前主流的车道线检测方法，由于车道线类型、颜色多样，有虚线、实线、鱼骨线、导流线、白色车道线、黄色车道线等多种类别车道线；且在实际道路环境中，车道线线往往存在被遮挡、模糊、破损、缺失等情况，再加上不同地理位置、不同天气环境、不同光照条件等因素的影响，都给基于视觉的车道线检测任务带来了巨大挑战。针对车道线检测任务的研究也因此具有迫切的研究需求及较高的应用价值。
基于特征及基于模型的传统车道线检测方法通常对图像拍摄质量、车道线几何特征信息依赖性较高、对光照、天气等因素的变化较为敏感，往往只适用于限定场景的车道线检测任务，泛化性能较差，不适用于复杂多变的驾驶场景。现有基于深度学习的方法大多基于语义分割的模型进行车道线特征提取，这种模型通常需要对分割图进行复杂的后处理操作，才能完成车道线拟合，在这个过程中往往计算较为耗时且容易丢失全局语义信息。
近来业界有不少新型车道线检测算法陆续推出，部分学者提出利用线提议单元[Li X,Li J, Hu X,et al.Line-CNN:End-to-End Traffic Line Detection With LineProposal Unit[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(1):248-258.]、多项式参数模型 [Tabelini L,Berriel R,
Figure RE-GDA0003294104950000011
T M,etal.PolyLaneNet:Lane Estimation via Deep Polynomial Regression[J].arXivpreprint arXiv:2004.10924,2020.]、关键点估计[Ko Y,Lee Y,Azam S,et al. KeyPoints Estimation and Point Instance Segmentation Approach for Lane Detection[J].arXiv preprint arXiv,2020:2002-6604]等方法来捕获车道线全局信息，为基于深度学习的车道线检测方法提供了新的思路，但部分模型依然存在计算效率低或误检率高等问题。
发明内容
针对上述计算效率低、全局信息丢失等问题，本发明提出一种基于关键点回归与多尺度特征融合的车道线检测方法。算法整体结构如图1所示。整个网络主要分为特征提取模块、多尺度特征融合模块、车道线预测模块、车道线关键点回归模块。
将车道线用一组纵向等间距排列的关键点组合表示，设计卷积神经网络通过预测关键点坐标序列实现全局车道线检测。根据图像中远处车道线像素点少且模糊、近处车道线像素点多且清晰的特点，设计多尺度特征融合网络结构，综合提升模型的分类和回归性能。该方法从全局视图出发，在考虑车道线全局信息的同时，关注车道线细节特征的提取。所提模型在复杂驾驶场景下具有较高的检测鲁棒性和精度，且模型求解效率高，具有较高的实际应用价值。
一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：
构建基于关键点与多尺度特征融合的车道线检测网络；
对基于关键点与多尺度特征融合的车道线检测网络进行训练；
将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；
其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
进一步地，网络结构具体参数见表1。其中，B代表每次输入网络中训练的批数据大小。 s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
表1网络结构
Figure RE-GDA0003294104950000021
Figure RE-GDA0003294104950000031
进一步地，所述图像输入模块，将输入的图像的高宽尺寸统一调整为16×32像素。同时支持RGB彩色图像与灰度图像输入。
进一步地，所述图像输入模块，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑L1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
Figure RE-GDA0003294104950000032
Figure RE-GDA0003294104950000033
Figure RE-GDA0003294104950000034
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，
Figure RE-GDA0003294104950000035
为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，
Figure RE-GDA0003294104950000036
为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k 维下部关键点回归偏置值序列，
Figure RE-GDA0003294104950000037
为第i个网格对应的k维下部关键点真实偏置值序列，
Figure RE-GDA0003294104950000038
为真实所有网格的真实标签，λcls、λup、λdown分别为三部分损失对应的权重系数。
进一步地，关键点序列KPseq表示为：
Figure RE-GDA0003294104950000041
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，Xseq[j]和Yseq[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。
进一步地，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列KPseq筛选操作，筛除误检序列并输出最优的关键点坐标序列。
进一步地，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。
进一步地，所述异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值Δx做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；所述聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值
Figure RE-GDA0003294104950000042
对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；所述非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列。
方差var及横坐标差值Δx分别表示为：
Figure RE-GDA0003294104950000043
△xj＝xj-xj-1(0＜j＜v-s+1)
其中，xj表示该序列中第j条等分线上的关键点的x坐标。
Figure RE-GDA0003294104950000044
代表该关键点序列所有横坐标差值的均值。
Figure RE-GDA0003294104950000051
其中，xm,j，xn,j分别表示第m组序列和第n组序列在第j条等分线上的横坐标。
Figure RE-GDA0003294104950000052
Figure RE-GDA0003294104950000053
分别代表第m组关键点序列和第n组关键点序列。
进一步地，所述横坐标均衡化，关键点的平均x坐标可以表示为：
Figure RE-GDA0003294104950000054
其中，l表示同一簇内的序列总数。
进一步地，所述特征提取模块为改进的ResNet-50，包括依次设置的第一卷积层模块C1、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出，其中，第四残差模块C5的最后一层下采样卷积层步幅为1。对原始ResNet-50的C5结构中的最后一层下采样卷积层步幅由2更改为1(即stride-2更改为stride-1)，使得输入特征提取网络的图像最终下采样为1/16分辨率的特征图，即高宽尺寸为16×32像素的特征图，将其作为共享特征图进行下部车道线关键点的特征提取与回归以及车道线分类任务。
进一步地，通过多尺度特征融合模块得到上部特征图的方法为：
将经过特征提取模块中下采样后得到的特征图逐级上采样；
将上采样后的特征图与特征提取模块中的不同尺度特征图根据特征图尺寸逐元素加权相加，得到不同尺度的特征图；
统一各特征图的尺度；
将各相同尺度的特征图进行特征图合并，得到合并后的上部特征图。
进一步地，车道线分类模块中，输入特征提取模块得到的特征图，输出车道线分布概率图，车道线分布概率图对每个网格输出其对应车道线的置信度，根据置信度值的大小来判断是否有车道线经过该网格。
在车道线分类模块中，输出结果为1通道的高宽尺寸为16×32像素车道线分布概率图，将对每一个网格输出其对应车道线的置信度，通过置信度值的大小来判断是否有车道线经过该网格。车道线回归模块负责输出关键点横坐标偏置值，车道线上部回归分支输出结果为k+1 通道的高宽尺寸为16×32像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；下部回归分支输出结果为k通道的高宽尺寸为16×32像素偏置，分别回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置。将回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，即可得到一条车道线的预测置信度及其对应的所有关键点坐标序列。单组关键点序列可表示为KPseq：
Figure RE-GDA0003294104950000061
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上。Xseq[j]和Yseq[j]分别表示序列中第j 条等分线上的关键点的横坐标和纵坐标。U代表关键点的并集。
进一步地，车道线回归模块包括车道线上部回归分支和车道线下部回归分支，车道线上部回归分支的输入为上部特征图，输出多通道的像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支的输入是特征提取模块输出的特征图，输出多通道的像素偏置图，回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置；将车道线上部回归分支和车道线下部回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
本发明以智能驾驶汽车环境感知系统为研究对象，通过关键点回归及多尺度特征融合技术的组合，在保证全局车道线识别率满足需求的前提下，相比现有基于语义分割的检测方法大大减少了车道线检测任务的计算量。并结合快速后处理技术，所提方法在GTX2080Ti GPU 上运行速率达到160FPS，具有较高的实用性。
与现有技术相比，本发明的有益效果是：
1)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，相比现有基于语义分割的车道线检测方法，直接输出一定数量的关键点坐标偏置值，而非对图像所有像素点进行分类，在保证全局信息不丢失的同时，大大提高了模型的计算效率。
2)本发明所述的快速后处理方法，相比现有基于语义分割的检测方法的复杂后处理操作，只需对车道线分布规律、距离等规则信息进行简单计算与判断，即可实现车道线关键点序列的择优输出。
3)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，在GTX2080Ti GPU上运行速率达到160FPS，相比大多数基于语义分割的车道线检测方法，在计算速度上有较大优势，更具有实际应用价值。
附图说明
本发明提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。
图1是本申请实施例提供的一种基于关键点回归与多尺度特征融合的车道线检测网络的总体结构图。
图2是本申请实施例提供的一种关键点回归示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
请参阅图1，本发明提供的一种基于关键点回归与多尺度特征融合的车道线检测方法整体结构图，包括以下步骤：
步骤1：构建基于关键点与多尺度特征融合的车道线检测网络。
本发明中，车道线检测网络包括以下模块：图像输入模块；特征提取模块；多尺度特征融合模块；车道线分类及关键点回归模块；后处理模块；图像输出模块。网络结构具体参数见表1。其中，B代表每次输入网络中训练的批数据大小。s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
Figure RE-GDA0003294104950000071
Figure RE-GDA0003294104950000081
在本发明其中一个实施例中，图像输入模块将输入的图像的高宽尺寸统一调整为16×32 像素，同时支持RGB彩色图像与灰度图像输入。
在本发明其中一个实施例中，设置特征提取模块以提取图像深层特征，其主体结构在现有特征提取网络ResNet-50的基础上改进，包括依次设置的第一卷积层模块C1(含7×7卷积核及3×3最大池化层)、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出。对原始ResNet-50 的C5结构中的最后一层下采样卷积层步幅由2更改为1(即stride-2更改为stride-1)，使得输入特征提取网络的图像最终下采样为1/16分辨率的特征图以减少网络后端关键点回归及车道线分类分支的计算量，即经过特征提取模块后输出高宽尺寸为16×32像素的特征图，将其作为共享特征图进行下部车道线关键点的特征融合与车道线分类及回归任务。
在本发明其中一个实施例中，多尺度特征融合模块中，将经过特征提取模块下采样后的高宽尺寸为16×32像素的特征图逐级上采样，以增强特征提取的丰富性，提高网络泛化能力，并将上采样后的特征图与特征提取模块中的不同残差模块输出的不同尺度特征图C2，C3， C4，C5根据特征图尺寸逐元素加权相加，得到3种尺度共4个特征图P2，P3，P4，P5，尺度分别为64×128、32×64、16×32、16×32，将前2个大尺度的特征图P2与P3分别利用5×5、 3×3的卷积核进行特征提取与下采样，使其统一转化为16×32尺度的特征图，再加上对P4， P5进行特征提取得到的特征图，总共4个16×32尺度的特征图，对4个相同尺度的特征图进行特征图合并，得到上部特征图，将多个尺度下提取的特征进行合并以增强特征丰富性、提高网络泛化性。利用合并后的上部特征图进行上部车道线关键点的特征提取与回归。
本发明在车道线分类及关键点回归模块中，在图像纵坐标方向均匀划分出k条等分线，即在图像纵向等间距地提取出k个纵坐标，所有车道线的关键点纵坐标只允许落在k条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽16×32个相同尺寸的网格，即每个网格尺寸为16×16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
优选地，在本发明其中一个实施例中，如图2所示，车道线分类及关键点回归模块中，综合考虑计算量及车道线关键点分布密集度，经过特征提取模块后输出的特征图为16×32尺度的特征图，即纵向上有16个网格，令每一个网格负责预测4个车道线关键点，在图像纵坐标方向均匀划分出64条等分线，即在图像纵向等间距地提取出64个纵坐标，所有车道线的关键点纵坐标只允许落在64条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽尺寸为16×32个相同尺寸的网格，即每个网格尺寸为16×16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
本发明中，车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线回归模块包括车道线上部回归分支和车道线下部回归分支。
在本发明其中一个实施例中，在车道线分类模块中，输入特征提取模块得到的特征图，输出结果为1通道的高宽尺寸为16×32像素车道线分布概率图，将对每一个网格输出其对应车道线的置信度，通过置信度值的大小来判断是否有车道线经过该网格。
在本发明其中一个实施例中，车道线回归模块负责输出关键点坐标偏置值。车道线上部回归分支输出结果为65通道的高宽尺寸为16×32像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支输出结果为64通道的高宽尺寸为 16×32像素偏置图，分别回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置。将两回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，即可得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
在本发明其中一个实施例中，单组关键点坐标序列KPseq表示为：
Figure RE-GDA0003294104950000091
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上。Xseq[j]和Yseq[j]分别表示序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。
输入后处理模块的多组关键点序列，分别经过异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，筛除误检序列并输出最优序列。
在本发明其中一个实施例中，在异常序列过滤，根据正常车道线关键点序列在纵坐标方向等间距连续排列、在横坐标方向平滑渐变的特点，对同一序列内所有相邻点的横坐标差值Δx做统计分析并求方差，设置最大方差阈值a＝10，当方差var大于阈值时，说明该关键点序列部分横坐标存在突变等异常值，不符合正常车道线分布规则，属于异常序列，故将其去除。
方差var及横坐标差值Δx分别表示为：
Figure RE-GDA0003294104950000101
△xj＝xj-xj-1(0＜j＜v-s+1)
其中，xj表示该序列中第j条等分线上的关键点的x坐标。
Figure RE-GDA0003294104950000102
代表该关键点序列所有横坐标差值的均值。
在本发明其中一个实施例中，车道线检测模型的设计允许图像上同一条车道线位置具有多组坐标相近的关键点序列，为了合并相同的车道线关键点序列，需对所有序列按照距离进行聚类，每次取两组序列，统计在不同序列但在同一等分线上的关键点的横坐标差值
Figure RE-GDA0003294104950000103
对该两组序列中的所有横坐标差值计算平均值后作为两个序列的距离。设置最大距离阈值 b＝4，当两组序列距离小于该最大距离阈值时，则将其视为同一聚类簇。
Figure RE-GDA0003294104950000104
其中，xm,j，xn,j分别表示第m组序列和第n组序列在第j条等分线上的横坐标，
Figure RE-GDA0003294104950000105
Figure RE-GDA0003294104950000106
分别代表第m组关键点序列和第n组关键点序列。
在本发明其中一个实施例中，经过聚类操作后的关键点序列集已按照车道线数分为多个聚类簇。经过统计分析，每个聚类簇中的大部分序列具有相近的关键点坐标，少数序列的部分关键点可能存在坐标偏离现象。因此，对聚类簇中同一等分线上的关键点横坐标取平均值，做均衡化处理以消除少数坐标偏离对最终车道线实际坐标的影响。关键点横坐标取平均值表示为：
Figure RE-GDA0003294104950000111
在本发明其中一个实施例中，经过横坐标均衡化操作后，每个聚类簇均得到一个均衡化后的关键点序列，其置信度值转变为均衡化前关键点序列集的置信度叠加值。为去除出现在道路中间的误检测结果，设置最小距离阈值c(本实施例中c＝40)，利用非极大值抑制NMS 思想，当相邻两组关键点序列的距离小于该阈值时，则去除置信度相对较小的序列。
步骤2：利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练。
本步骤中，训练输入图像的高宽尺寸统一调整为256×512像素，将得到的训练网络及算法部署在车载嵌入式工控机上。
针对车道线分类和关键点回归两大任务，分别采用交叉熵损失函数(CrossEntropy Loss) 及平滑L1损失函数(Smooth L1 Loss)，通过迭代训练优化模型，使两种损失函数的组合达到最小值。
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
Figure RE-GDA0003294104950000112
Figure RE-GDA0003294104950000113
Figure RE-GDA0003294104950000114
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，
Figure RE-GDA0003294104950000115
为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，
Figure RE-GDA0003294104950000116
为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k 维下部关键点回归偏置值序列，
Figure RE-GDA0003294104950000117
为第i个网格对应的k维下部关键点真实偏置值序列，
Figure RE-GDA0003294104950000118
为真实所有网格的真实标签，在此处，当第i个网格有车道线经过时，
Figure RE-GDA0003294104950000119
否则
Figure RE-GDA00032941049500001110
λcls、λup、λdown分别为三部分损失对应的权重系数。
步骤3：将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果。
在本发明其中一个实施例中，将车辆前视单目摄像头所采集的RGB彩色图像或灰度图像的高宽尺寸统一调整为256×512像素，与车道线检测网络的输入尺寸保持一致，输入所述车道线检测网络，并输出车道线检测结果。将车道线检测结果投影在车辆前视图像上，得到自车与车道线的相对位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆可行驶区域信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：
构建基于关键点与多尺度特征融合的车道线检测网络；
对基于关键点与多尺度特征融合的车道线检测网络进行训练；
将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；
其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
2.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑L1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
Figure FDA0003090032450000011
Figure FDA0003090032450000012
Figure FDA0003090032450000013
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，
Figure FDA0003090032450000014
为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，
Figure FDA0003090032450000015
为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k维下部关键点回归偏置值序列，
Figure FDA0003090032450000016
为第i个网格对应的k维下部关键点真实偏置值序列，
Figure FDA0003090032450000017
为真实所有网格的真实标签，λcls、λup、λdown分别为三部分损失对应的权重系数。
3.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，关键点序列KPseq表示为：
Figure FDA0003090032450000021
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，Xseq[j]和Yseq[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。
4.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列KPseq筛选操作，输出最优的关键点坐标序列。
5.根据权利要求4所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。
6.根据权利要求5所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值△x做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；所述聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值
Figure FDA0003090032450000022
对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；所述非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列。
7.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述特征提取模块为改进的ResNet-50，包括依次设置的第一卷积层模块C1、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出，其中，第四残差模块C5的最后一层下采样卷积层步幅为1。
8.根据权利要求7所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，通过多尺度特征融合模块得到上部特征图的方法为：
将经过特征提取模块中下采样后得到的特征图逐级上采样；
将上采样后的特征图与特征提取模块中的不同尺度特征图根据特征图尺寸逐元素加权相加，得到不同尺度的特征图；
统一各特征图的尺度；
将各相同尺度的特征图进行特征图合并，得到合并后的上部特征图。
9.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线分类模块中，输入特征提取模块得到的特征图，输出车道线分布概率图，车道线分布概率图对每个网格输出其对应车道线的置信度，根据置信度值的大小来判断是否有车道线经过该网格。
10.根据权利要求1-9任一的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线回归模块包括车道线上部回归分支和车道线下部回归分支，车道线上部回归分支的输入为上部特征图，输出多通道的像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支的输入是特征提取模块输出的特征图，输出多通道的像素偏置图，回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置；将车道线上部回归分支和车道线下部回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
CN202110593289.2A 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法 Active CN113627228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593289.2A CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593289.2A CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Publications (2)

Publication Number Publication Date
CN113627228A true CN113627228A (zh) 2021-11-09
CN113627228B CN113627228B (zh) 2023-10-03

Family

ID=78378061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593289.2A Active CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Country Status (1)

Country Link
CN (1) CN113627228B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694109A (zh) * 2022-05-31 2022-07-01 苏州魔视智能科技有限公司 车道线检测方法、装置、电子设备及计算机可读存储介质
CN114708576A (zh) * 2022-06-06 2022-07-05 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN115063770A (zh) * 2022-08-05 2022-09-16 苏州魔视智能科技有限公司 车道线检测方法、模型训练方法、装置、设备及存储介质
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116563648A (zh) * 2023-07-07 2023-08-08 深圳市博昌智控科技有限公司 基于人工智能的车道线更新方法、装置、设备及存储介质
CN117576649A (zh) * 2023-12-26 2024-02-20 华东师范大学 一种基于分割点和双特征增强的车道线检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐国晟;张伟伟;吴训成;苏金亚;郭增高;: "基于卷积神经网络的车道线语义分割算法", 电子测量与仪器学报, no. 07, pages 1 - 5 *
王帅帅;刘建国;纪郭;: "基于全卷积神经网络的车道线检测", 数字制造科学, no. 02, pages 1 - 4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694109A (zh) * 2022-05-31 2022-07-01 苏州魔视智能科技有限公司 车道线检测方法、装置、电子设备及计算机可读存储介质
CN114708576A (zh) * 2022-06-06 2022-07-05 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN114708576B (zh) * 2022-06-06 2022-10-25 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN115063770B (zh) * 2022-08-05 2022-12-20 苏州魔视智能科技有限公司 车道线检测方法、模型训练方法、装置、设备及存储介质
CN115063770A (zh) * 2022-08-05 2022-09-16 苏州魔视智能科技有限公司 车道线检测方法、模型训练方法、装置、设备及存储介质
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置
CN116128863A (zh) * 2023-03-01 2023-05-16 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116128863B (zh) * 2023-03-01 2023-09-12 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116543365A (zh) * 2023-07-06 2023-08-04 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116563648A (zh) * 2023-07-07 2023-08-08 深圳市博昌智控科技有限公司 基于人工智能的车道线更新方法、装置、设备及存储介质
CN116563648B (zh) * 2023-07-07 2023-10-13 深圳市博昌智控科技有限公司 基于人工智能的车道线更新方法、装置、设备及存储介质
CN117576649A (zh) * 2023-12-26 2024-02-20 华东师范大学 一种基于分割点和双特征增强的车道线检测方法及系统
CN117576649B (zh) * 2023-12-26 2024-04-30 华东师范大学 一种基于分割点和双特征增强的车道线检测方法及系统

Also Published As

Publication number Publication date
CN113627228B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
KR102030628B1 (ko) Cnn 기반 차량 번호판 인식 방법 및 시스템
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN107038448B (zh) 目标检测模型构建方法
CN112101221B (zh) 一种用于交通信号灯实时检测与识别的方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112837330A (zh) 基于多尺度双注意力机制和全卷积神经网络的叶分割方法
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111539343B (zh) 一种基于卷积注意力网络的黑烟车检测方法
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN111640136B (zh) 一种复杂环境中的深度目标跟踪方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN113313082B (zh) 一种基于多任务损失函数的目标检测方法及系统
CN112802039B (zh) 一种基于全局边缘注意力的全景分割方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN110889360A (zh) 一种基于切换卷积网络的人群计数方法及系统
CN111461002B (zh) 一种面向热成像行人检测的样本处理方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
US20070223785A1 (en) Image processor and method
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant