CN113627228B - 一种基于关键点回归与多尺度特征融合的车道线检测方法 - Google Patents

一种基于关键点回归与多尺度特征融合的车道线检测方法 Download PDF

Info

Publication number
CN113627228B
CN113627228B CN202110593289.2A CN202110593289A CN113627228B CN 113627228 B CN113627228 B CN 113627228B CN 202110593289 A CN202110593289 A CN 202110593289A CN 113627228 B CN113627228 B CN 113627228B
Authority
CN
China
Prior art keywords
lane line
key point
module
regression
sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110593289.2A
Other languages
English (en)
Other versions
CN113627228A (zh
Inventor
李巍华
郑少武
黎铭浩
谢云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110593289.2A priority Critical patent/CN113627228B/zh
Publication of CN113627228A publication Critical patent/CN113627228A/zh
Application granted granted Critical
Publication of CN113627228B publication Critical patent/CN113627228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于关键点回归于多尺度特征融合的车道线检测方法，包括步骤：1)构建基于关键点与多尺度特征融合的车道线检测网络，网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块、后处理模块、图像输出模块；2)利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练，得到训练模型，并将算法部署在车载嵌入式工控机上；3)将车辆前视单目摄像头所采集的图像，输入所述训练模型，并输出车道线检测结果。本发明利用采用关键点回归、多尺度特征融合及快速后处理方法，在保证车道线检测精度的同时，大大提高了检测速度，具有更高的检测效率和实用性。

Description

一种基于关键点回归与多尺度特征融合的车道线检测方法
技术领域
本发明属于图像处理和车辆智能驾驶领域，尤其涉及一种基于关键点回归与多尺度特征融合的车道线检测方法。
背景技术
随着智能网联汽车技术的逐渐推广及ADAS高级驾驶辅助系统的普及应用，车道线检测任务已成为智能交通系统的重要一环。车道保持辅助(LKA)、车道偏离预警(LDW)、可行驶区域划分等多项驾驶辅助技术均对车道线检测任务提出了高精度、高可靠、低时延的检测要求。
基于视觉的检测方法是目前主流的车道线检测方法，由于车道线类型、颜色多样，有虚线、实线、鱼骨线、导流线、白色车道线、黄色车道线等多种类别车道线；且在实际道路环境中，车道线线往往存在被遮挡、模糊、破损、缺失等情况，再加上不同地理位置、不同天气环境、不同光照条件等因素的影响，都给基于视觉的车道线检测任务带来了巨大挑战。针对车道线检测任务的研究也因此具有迫切的研究需求及较高的应用价值。
基于特征及基于模型的传统车道线检测方法通常对图像拍摄质量、车道线几何特征信息依赖性较高、对光照、天气等因素的变化较为敏感，往往只适用于限定场景的车道线检测任务，泛化性能较差，不适用于复杂多变的驾驶场景。现有基于深度学习的方法大多基于语义分割的模型进行车道线特征提取，这种模型通常需要对分割图进行复杂的后处理操作，才能完成车道线拟合，在这个过程中往往计算较为耗时且容易丢失全局语义信息。
近来业界有不少新型车道线检测算法陆续推出，部分学者提出利用线提议单元[Li X,Li J,Hu X,et al.Line-CNN:End-to-End Traffic Line Detection With LineProposal Unit[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(1):248-258.]、多项式参数模型[Tabelini L,Berriel R,T M,etal.PolyLaneNet:Lane Estimation via Deep Polynomial Regression[J].arXivpreprint arXiv:2004.10924,2020.]、关键点估计[Ko Y,Lee Y,Azam S,et al.KeyPoints Estimation and Point Instance Segmentation Approach for Lane Detection[J].arXiv preprint arXiv,2020:2002-6604]等方法来捕获车道线全局信息，为基于深度学习的车道线检测方法提供了新的思路，但部分模型依然存在计算效率低或误检率高等问题。
发明内容
针对上述计算效率低、全局信息丢失等问题，本发明提出一种基于关键点回归与多尺度特征融合的车道线检测方法。算法整体结构如图1所示。整个网络主要分为特征提取模块、多尺度特征融合模块、车道线预测模块、车道线关键点回归模块。
将车道线用一组纵向等间距排列的关键点组合表示，设计卷积神经网络通过预测关键点坐标序列实现全局车道线检测。根据图像中远处车道线像素点少且模糊、近处车道线像素点多且清晰的特点，设计多尺度特征融合网络结构，综合提升模型的分类和回归性能。该方法从全局视图出发，在考虑车道线全局信息的同时，关注车道线细节特征的提取。所提模型在复杂驾驶场景下具有较高的检测鲁棒性和精度，且模型求解效率高，具有较高的实际应用价值。
一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：
构建基于关键点与多尺度特征融合的车道线检测网络；
对基于关键点与多尺度特征融合的车道线检测网络进行训练；
将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；
其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
进一步地，网络结构具体参数见表1。其中，B代表每次输入网络中训练的批数据大小。s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
表1网络结构
进一步地，所述图像输入模块，将输入的图像的高宽尺寸统一调整为16×32像素。同时支持RGB彩色图像与灰度图像输入。
进一步地，所述图像输入模块，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑L1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，/>为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k维下部关键点回归偏置值序列，/>为第i个网格对应的k维下部关键点真实偏置值序列，为真实所有网格的真实标签，λcls、λup、λdown分别为三部分损失对应的权重系数。
进一步地，关键点序列KPseq表示为：
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，Xseq[j]和Yseq[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。
进一步地，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列KPseq筛选操作，筛除误检序列并输出最优的关键点坐标序列。
进一步地，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。
进一步地，所述异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值Δx做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；所述聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；所述非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列。
方差var及横坐标差值Δx分别表示为：
△xj＝xj-xj-1(0＜j＜v-s+1)
其中，xj表示该序列中第j条等分线上的关键点的x坐标。代表该关键点序列所有横坐标差值的均值。
其中，xm,j，xn,j分别表示第m组序列和第n组序列在第j条等分线上的横坐标。 分别代表第m组关键点序列和第n组关键点序列。
进一步地，所述横坐标均衡化，关键点的平均x坐标可以表示为：
其中，l表示同一簇内的序列总数。
进一步地，所述特征提取模块为改进的ResNet-50，包括依次设置的第一卷积层模块C1、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出，其中，第四残差模块C5的最后一层下采样卷积层步幅为1。对原始ResNet-50的C5结构中的最后一层下采样卷积层步幅由2更改为1(即stride-2更改为stride-1)，使得输入特征提取网络的图像最终下采样为1/16分辨率的特征图，即高宽尺寸为16×32像素的特征图，将其作为共享特征图进行下部车道线关键点的特征提取与回归以及车道线分类任务。
进一步地，通过多尺度特征融合模块得到上部特征图的方法为：
将经过特征提取模块中下采样后得到的特征图逐级上采样；
将上采样后的特征图与特征提取模块中的不同尺度特征图根据特征图尺寸逐元素加权相加，得到不同尺度的特征图；
统一各特征图的尺度；
将各相同尺度的特征图进行特征图合并，得到合并后的上部特征图。
进一步地，车道线分类模块中，输入特征提取模块得到的特征图，输出车道线分布概率图，车道线分布概率图对每个网格输出其对应车道线的置信度，根据置信度值的大小来判断是否有车道线经过该网格。
在车道线分类模块中，输出结果为1通道的高宽尺寸为16×32像素车道线分布概率图，将对每一个网格输出其对应车道线的置信度，通过置信度值的大小来判断是否有车道线经过该网格。车道线回归模块负责输出关键点横坐标偏置值，车道线上部回归分支输出结果为k+1通道的高宽尺寸为16×32像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；下部回归分支输出结果为k通道的高宽尺寸为16×32像素偏置，分别回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置。将回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，即可得到一条车道线的预测置信度及其对应的所有关键点坐标序列。单组关键点序列可表示为KPseq：
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上。Xseq[j]和Yseq[j]分别表示序列中第j条等分线上的关键点的横坐标和纵坐标。U代表关键点的并集。
进一步地，车道线回归模块包括车道线上部回归分支和车道线下部回归分支，车道线上部回归分支的输入为上部特征图，输出多通道的像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支的输入是特征提取模块输出的特征图，输出多通道的像素偏置图，回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置；将车道线上部回归分支和车道线下部回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
本发明以智能驾驶汽车环境感知系统为研究对象，通过关键点回归及多尺度特征融合技术的组合，在保证全局车道线识别率满足需求的前提下，相比现有基于语义分割的检测方法大大减少了车道线检测任务的计算量。并结合快速后处理技术，所提方法在GTX2080Ti GPU上运行速率达到160FPS，具有较高的实用性。
与现有技术相比，本发明的有益效果是：
1)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，相比现有基于语义分割的车道线检测方法，直接输出一定数量的关键点坐标偏置值，而非对图像所有像素点进行分类，在保证全局信息不丢失的同时，大大提高了模型的计算效率。
2)本发明所述的快速后处理方法，相比现有基于语义分割的检测方法的复杂后处理操作，只需对车道线分布规律、距离等规则信息进行简单计算与判断，即可实现车道线关键点序列的择优输出。
3)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，在GTX2080Ti GPU上运行速率达到160FPS，相比大多数基于语义分割的车道线检测方法，在计算速度上有较大优势，更具有实际应用价值。
附图说明
本发明提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。
图1是本申请实施例提供的一种基于关键点回归与多尺度特征融合的车道线检测网络的总体结构图。
图2是本申请实施例提供的一种关键点回归示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
请参阅图1，本发明提供的一种基于关键点回归与多尺度特征融合的车道线检测方法整体结构图，包括以下步骤：
步骤1：构建基于关键点与多尺度特征融合的车道线检测网络。
本发明中，车道线检测网络包括以下模块：图像输入模块；特征提取模块；多尺度特征融合模块；车道线分类及关键点回归模块；后处理模块；图像输出模块。网络结构具体参数见表1。其中，B代表每次输入网络中训练的批数据大小。s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
在本发明其中一个实施例中，图像输入模块将输入的图像的高宽尺寸统一调整为16×32像素，同时支持RGB彩色图像与灰度图像输入。
在本发明其中一个实施例中，设置特征提取模块以提取图像深层特征，其主体结构在现有特征提取网络ResNet-50的基础上改进，包括依次设置的第一卷积层模块C1(含7×7卷积核及3×3最大池化层)、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出。对原始ResNet-50的C5结构中的最后一层下采样卷积层步幅由2更改为1(即stride-2更改为stride-1)，使得输入特征提取网络的图像最终下采样为1/16分辨率的特征图以减少网络后端关键点回归及车道线分类分支的计算量，即经过特征提取模块后输出高宽尺寸为16×32像素的特征图，将其作为共享特征图进行下部车道线关键点的特征融合与车道线分类及回归任务。
在本发明其中一个实施例中，多尺度特征融合模块中，将经过特征提取模块下采样后的高宽尺寸为16×32像素的特征图逐级上采样，以增强特征提取的丰富性，提高网络泛化能力，并将上采样后的特征图与特征提取模块中的不同残差模块输出的不同尺度特征图C2，C3，C4，C5根据特征图尺寸逐元素加权相加，得到3种尺度共4个特征图P2，P3，P4，P5，尺度分别为64×128、32×64、16×32、16×32，将前2个大尺度的特征图P2与P3分别利用5×5、3×3的卷积核进行特征提取与下采样，使其统一转化为16×32尺度的特征图，再加上对P4，P5进行特征提取得到的特征图，总共4个16×32尺度的特征图，对4个相同尺度的特征图进行特征图合并，得到上部特征图，将多个尺度下提取的特征进行合并以增强特征丰富性、提高网络泛化性。利用合并后的上部特征图进行上部车道线关键点的特征提取与回归。
本发明在车道线分类及关键点回归模块中，在图像纵坐标方向均匀划分出k条等分线，即在图像纵向等间距地提取出k个纵坐标，所有车道线的关键点纵坐标只允许落在k条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽16×32个相同尺寸的网格，即每个网格尺寸为16×16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
优选地，在本发明其中一个实施例中，如图2所示，车道线分类及关键点回归模块中，综合考虑计算量及车道线关键点分布密集度，经过特征提取模块后输出的特征图为16×32尺度的特征图，即纵向上有16个网格，令每一个网格负责预测4个车道线关键点，在图像纵坐标方向均匀划分出64条等分线，即在图像纵向等间距地提取出64个纵坐标，所有车道线的关键点纵坐标只允许落在64条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽尺寸为16×32个相同尺寸的网格，即每个网格尺寸为16×16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
本发明中，车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线回归模块包括车道线上部回归分支和车道线下部回归分支。
在本发明其中一个实施例中，在车道线分类模块中，输入特征提取模块得到的特征图，输出结果为1通道的高宽尺寸为16×32像素车道线分布概率图，将对每一个网格输出其对应车道线的置信度，通过置信度值的大小来判断是否有车道线经过该网格。
在本发明其中一个实施例中，车道线回归模块负责输出关键点坐标偏置值。车道线上部回归分支输出结果为65通道的高宽尺寸为16×32像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支输出结果为64通道的高宽尺寸为16×32像素偏置图，分别回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置。将两回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，即可得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
在本发明其中一个实施例中，单组关键点坐标序列KPseq表示为：
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上。Xseq[j]和Yseq[j]分别表示序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。
输入后处理模块的多组关键点序列，分别经过异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，筛除误检序列并输出最优序列。
在本发明其中一个实施例中，在异常序列过滤，根据正常车道线关键点序列在纵坐标方向等间距连续排列、在横坐标方向平滑渐变的特点，对同一序列内所有相邻点的横坐标差值Δx做统计分析并求方差，设置最大方差阈值a＝10，当方差var大于阈值时，说明该关键点序列部分横坐标存在突变等异常值，不符合正常车道线分布规则，属于异常序列，故将其去除。
方差var及横坐标差值Δx分别表示为：
△xj＝xj-xj-1(0＜j＜v-s+1)
其中，xj表示该序列中第j条等分线上的关键点的x坐标。代表该关键点序列所有横坐标差值的均值。
在本发明其中一个实施例中，车道线检测模型的设计允许图像上同一条车道线位置具有多组坐标相近的关键点序列，为了合并相同的车道线关键点序列，需对所有序列按照距离进行聚类，每次取两组序列，统计在不同序列但在同一等分线上的关键点的横坐标差值对该两组序列中的所有横坐标差值计算平均值后作为两个序列的距离。设置最大距离阈值b＝4，当两组序列距离小于该最大距离阈值时，则将其视为同一聚类簇。
其中，xm,j，xn,j分别表示第m组序列和第n组序列在第j条等分线上的横坐标， 分别代表第m组关键点序列和第n组关键点序列。
在本发明其中一个实施例中，经过聚类操作后的关键点序列集已按照车道线数分为多个聚类簇。经过统计分析，每个聚类簇中的大部分序列具有相近的关键点坐标，少数序列的部分关键点可能存在坐标偏离现象。因此，对聚类簇中同一等分线上的关键点横坐标取平均值，做均衡化处理以消除少数坐标偏离对最终车道线实际坐标的影响。关键点横坐标取平均值表示为：
在本发明其中一个实施例中，经过横坐标均衡化操作后，每个聚类簇均得到一个均衡化后的关键点序列，其置信度值转变为均衡化前关键点序列集的置信度叠加值。为去除出现在道路中间的误检测结果，设置最小距离阈值c(本实施例中c＝40)，利用非极大值抑制NMS思想，当相邻两组关键点序列的距离小于该阈值时，则去除置信度相对较小的序列。
步骤2：利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练。
本步骤中，训练输入图像的高宽尺寸统一调整为256×512像素，将得到的训练网络及算法部署在车载嵌入式工控机上。
针对车道线分类和关键点回归两大任务，分别采用交叉熵损失函数(CrossEntropy Loss)及平滑L1损失函数(Smooth L1 Loss)，通过迭代训练优化模型，使两种损失函数的组合达到最小值。
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，/>为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k维下部关键点回归偏置值序列，/>为第i个网格对应的k维下部关键点真实偏置值序列，为真实所有网格的真实标签，在此处，当第i个网格有车道线经过时，/>否则λcls、λup、λdown分别为三部分损失对应的权重系数。
步骤3：将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果。
在本发明其中一个实施例中，将车辆前视单目摄像头所采集的RGB彩色图像或灰度图像的高宽尺寸统一调整为256×512像素，与车道线检测网络的输入尺寸保持一致，输入所述车道线检测网络，并输出车道线检测结果。将车道线检测结果投影在车辆前视图像上，得到自车与车道线的相对位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆可行驶区域信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：
构建基于关键点与多尺度特征融合的车道线检测网络；
对基于关键点与多尺度特征融合的车道线检测网络进行训练；
将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；
其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列KPseq；
关键点序列KPseq表示为：
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，Xseq[j]和Yseq[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集；异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值Δx做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列；
方差var及横坐标差值Δx分别表示为：
△xj＝xj-xj-1(0＜j＜v-s+1)
其中，xj表示该序列中第j条等分线上的关键点的x坐标；代表该关键点序列所有横坐标差值的均值；
其中，xm,j，xn,j分别表示第m组序列和第n组序列在第j条等分线上的横坐标； 分别代表第m组关键点序列和第n组关键点序列；
所述横坐标均衡化，关键点的平均x坐标可以表示为：
其中，l表示同一簇内的序列总数。
2.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑L1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
其中，Lcls为车道线分类损失，Lreg为关键点回归损失，pi为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，ui为第i个网格对应的k+1维上部关键点回归偏置值序列，/>为第i个网格对应的k+1维上部关键点真实偏置值序列，di为第i个网格对应的k维下部关键点回归偏置值序列，/>为第i个网格对应的k维下部关键点真实偏置值序列，/>为真实所有网格的真实标签，λcls、λup、λdown分别为三部分损失对应的权重系数。
3.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列KPseq筛选操作，输出最优的关键点坐标序列。
4.根据权利要求3所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。
5.根据权利要求4所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值△x做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；所述聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；所述非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列。
6.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述特征提取模块为改进的ResNet-50，包括依次设置的第一卷积层模块C1、第一残差模块C2，第二残差模块C3，第三残差模块C4、第四残差模块C5以及最后一层共享特征层，且下一模块的输入是上一模块的输出，其中，第四残差模块C5的最后一层下采样卷积层步幅为1。
7.根据权利要求6所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，通过多尺度特征融合模块得到上部特征图的方法为：
将经过特征提取模块中下采样后得到的特征图逐级上采样；
将上采样后的特征图与特征提取模块中的不同尺度特征图根据特征图尺寸逐元素加权相加，得到不同尺度的特征图；
统一各特征图的尺度；
将各相同尺度的特征图进行特征图合并，得到合并后的上部特征图。
8.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线分类模块中，输入特征提取模块得到的特征图，输出车道线分布概率图，车道线分布概率图对每个网格输出其对应车道线的置信度，根据置信度值的大小来判断是否有车道线经过该网格。
9.根据权利要求1-8任一的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线回归模块包括车道线上部回归分支和车道线下部回归分支，车道线上部回归分支的输入为上部特征图，输出多通道的像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支的输入是特征提取模块输出的特征图，输出多通道的像素偏置图，回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置；将车道线上部回归分支和车道线下部回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，得到一条车道线的预测置信度及其对应的所有关键点坐标序列KPseq。
CN202110593289.2A 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法 Active CN113627228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593289.2A CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593289.2A CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Publications (2)

Publication Number Publication Date
CN113627228A CN113627228A (zh) 2021-11-09
CN113627228B true CN113627228B (zh) 2023-10-03

Family

ID=78378061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593289.2A Active CN113627228B (zh) 2021-05-28 2021-05-28 一种基于关键点回归与多尺度特征融合的车道线检测方法

Country Status (1)

Country Link
CN (1) CN113627228B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694109B (zh) * 2022-05-31 2022-08-23 苏州魔视智能科技有限公司 车道线检测方法、装置、电子设备及计算机可读存储介质
CN114708576B (zh) * 2022-06-06 2022-10-25 天津所托瑞安汽车科技有限公司 一种车道线确定方法、装置、设备及存储介质
CN115063770B (zh) * 2022-08-05 2022-12-20 苏州魔视智能科技有限公司 车道线检测方法、模型训练方法、装置、设备及存储介质
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质
CN116128863B (zh) * 2023-03-01 2023-09-12 北京医准智能科技有限公司 一种医学图像处理方法、装置及设备
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN116563648B (zh) * 2023-07-07 2023-10-13 深圳市博昌智控科技有限公司 基于人工智能的车道线更新方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN112016532A (zh) * 2020-10-22 2020-12-01 腾讯科技（深圳）有限公司 一种车辆检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于全卷积神经网络的车道线检测;王帅帅;刘建国;纪郭;;数字制造科学(第02期);第1-4页 *
基于卷积神经网络的车道线语义分割算法;徐国晟;张伟伟;吴训成;苏金亚;郭增高;;电子测量与仪器学报(第07期);第1-5页 *

Also Published As

Publication number Publication date
CN113627228A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
KR102030628B1 (ko) Cnn 기반 차량 번호판 인식 방법 및 시스템
Mahaur et al. Small-object detection based on YOLOv5 in autonomous driving systems
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
CN109800692B (zh) 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
Fukui et al. Pedestrian detection based on deep convolutional neural network with ensemble inference network
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111640136B (zh) 一种复杂环境中的深度目标跟踪方法
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN111539343B (zh) 一种基于卷积注意力网络的黑烟车检测方法
CN113313082B (zh) 一种基于多任务损失函数的目标检测方法及系统
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN110363160B (zh) 一种多车道线识别方法及装置
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
KR101908481B1 (ko) 보행자 검출 장치 및 방법
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN112560717A (zh) 一种基于深度学习的车道线检测方法
CN113901897A (zh) 基于DARFNet模型的停车场车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant