CN111126327A - 车道线检测方法、系统、车载系统及车辆 - Google Patents

车道线检测方法、系统、车载系统及车辆 Download PDF

Info

Publication number
CN111126327A
CN111126327A CN201911391910.6A CN201911391910A CN111126327A CN 111126327 A CN111126327 A CN 111126327A CN 201911391910 A CN201911391910 A CN 201911391910A CN 111126327 A CN111126327 A CN 111126327A
Authority
CN
China
Prior art keywords
lane line
regression
classification
feature
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391910.6A
Other languages
English (en)
Other versions
CN111126327B (zh
Inventor
张兆翔
张驰
叶阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911391910.6A priority Critical patent/CN111126327B/zh
Publication of CN111126327A publication Critical patent/CN111126327A/zh
Application granted granted Critical
Publication of CN111126327B publication Critical patent/CN111126327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种车道线检测方法、系统、车载系统及车辆，所述获取多幅原始图像及对应的标签；根据各原始图像及对应的标签，建立基于标签的特征提取网络；根据特征提取网络，提取各原始图像对应的回归特征图和前后背景分类的特征图；根据回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；根据所述车道线区域的偏差值分离出各车道线；将分离后的各车道线进行拟合处理，得到拟合线；根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。本发明在整个计算过程中不需要估计密度，从而可大大提高聚类的效率，降低计算量，提高计算机性能，同时提高车道线检测速度。

Description

车道线检测方法、系统、车载系统及车辆
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于多任务学习模型的车道线检测方法、系统、车载系统及车辆。
背景技术
无人驾驶汽车通过装备先进的相机、激光雷达、毫米波雷达、里程计、GPS等车载传感器感知自身车辆周围的环境，并通过感知系统得到自身车辆位置和运行状态、周边目标和障碍物信息、道路车道信息，构建局部地图来匹配高精度地图定位，规划局部的行车路径，从而实时控制车辆的方向和速度。
其中，无人驾驶车辆涵盖了自动控制、计算机、信息通信、电子、人工智能等多个学科，是当今世界的前沿研究方向。而车道线检测是无人驾驶车辆关于自身车辆定位的关键技术，传统车道线检测算法不能处理现实生活中多样性的环境，而基于深度学习的车道线检测网络虽然能够较好处理现实场景中多样性的问题，但又需要大量计算和显存资源，导致车道线检测速度慢。
发明内容
为了解决现有技术中的上述问题，即为了提高车道线检测速度，本发明提供一种基于多任务学习模型的车道线检测方法、系统、车载系统及车辆。
为解决上述技术问题，本发明提供了如下方案：
一种车道线检测方法，所述检测方法包括：
获取多幅原始图像及对应的标签；
根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
采用具有噪音的基于密度聚类方法DBSCAN的思路，根据所述车道线区域的偏差值分离出各车道线；
将分离后的各车道线进行拟合处理，得到拟合线；
根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
可选地，所述根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络，具体包括：
根据各所述原始图像及对应的标签，构建训练数据库D：
Figure BDA0002345232770000021
其中，i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，yi表示原图像对应的标签，表示为一个c维向量，其中c为数据库中的类别数量；
根据所述训练数据库D，通过反向传播算法更新特征提取网络的权重；
根据更新后的特征提取网络的权重，建立基于标签的特征提取网络。
可选地，根据以下公式计算得到回归特征图fk(u，v)和前后背景分类的特征图fc(u，v)：
fk(u，v)＝Fk(xi)
fc(u，v)＝Fc(xi)；
其中，F*表示前向传播算法，包括卷积操作、池化操作和全连操作；i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，k表示回归，c表示分类，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
可选地，根据以下公式，计算车道线区域的偏差值
Figure BDA0002345232770000031
Figure BDA0002345232770000032
其中，softmax( )表示预测类别函数，fk(u，v)表示回归特征图，fc(u，v)表示前后背景分类的特征图，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
可选地，所述检测方法还包括：
根据所述回归特征图、前后背景分类的特征图和特征图对应的回归目标、前后背景分类的标签，构建回归损失函数和分类损失函数；
对所述回归损失函数和分类损失函数优化，得到最小化回归损失及最小化分类损失；
根据所述最小化回归损失及最小化分类损失，对所述特征提取网络修正，得到修正后的特征提取网络。
可选地，根据以下公式计算回归损失函数和分类损失函数：
回归损失函数：
Figure BDA0002345232770000033
其中，Wi表示回归的权重，dev为输出的偏移，Pred为当前点的位置，Gt为真实标注的位置；i表示原图像数据的序号，i＝1，2...，N；
分类损失函数：
Figure BDA0002345232770000041
其中，xi表示第i张原图像数据，yi表示原图像对应的标签。
为解决上述技术问题，本发明还提供了如下方案：
一种车道线检测系统，所述检测系统包括：
获取单元，用于获取多幅原始图像及对应的标签；
建立单元，用于根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
提取单元，用于根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
计算单元，用于根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
分类单元，用于采用具有噪音的基于密度聚类方法DBSCAN的思路，根据所述车道线区域的偏差值分离出各车道线；
拟合单元，用于将分离后的各车道线进行拟合处理，得到拟合线；
检测单元，用于根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
为解决上述技术问题，本发明还提供了如下方案：
一种车道线检测系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多幅原始图像及对应的标签；
根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
采用具有噪音的基于密度聚类方法DBSCAN的思路，根据所述车道线区域的偏差值分离出各车道线；
将分离后的各车道线进行拟合处理，得到拟合线；
根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
为解决上述技术问题，本发明还提供了如下方案：
一种车载系统，所述车载系统包括上述车道线检测系统。
为解决上述技术问题，本发明还提供了如下方案：
一种车辆，所述车辆上设置有上述车道线检测系统或上述车载系统。
根据本发明的实施例，本发明公开了以下技术效果：
本发明通过原始图像及对应的标签建立特征提取网络，采用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图，以得到车道线区域的偏差值，通过聚类算法得到每条车道线，进而确定当前待检测图像对应的拟合线。在整个计算过程中不需要估计密度，从而可大大提高聚类的效率，降低计算量，提高计算机性能，同时提高车道线检测速度。
附图说明
图1是本发明车道线检测方法的流程图；
图2是DBSCAN算法的演示图；
图3是基于DBSCAN算法的车道线的检测演示图；
图4是本发明车道线检测系统的模块结构示意图。
符号说明：
获取单元—1，建立单元—2，提取单元—3，计算单元—4，分类单元—5，拟合单元—6，检测单元—7。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种车道线检测方法，通过原始图像及对应的标签建立特征提取网络，采用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图，以得到车道线区域的偏差值，通过聚类算法得到每条车道线，进而确定当前待检测图像对应的拟合线。在整个计算过程中不需要估计密度，从而可大大提高聚类的效率，降低计算量，提高计算机性能，同时提高车道线检测速度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明车道线检测方法包括：
步骤100：获取多幅原始图像及对应的标签；
步骤200：根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
步骤300：根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
步骤400：根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
步骤500：采用具有噪音的基于密度聚类方法(Density-Based SpatialClustering of Applications with Noise，DBSCAN)，根据所述车道线区域的偏差值分离出各车道线；
步骤600：将分离后的各车道线进行拟合处理，得到拟合线；
步骤700：根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
各车道线用多项式拟合曲线，检测结果为输出多项式的系数和起止点。
其中，在步骤100中，多幅原始图像及对应的标签来源于两个公开多标签标准数据集Caltech和TuSimple车道线数据集。
优选地，在步骤200中，所述根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络，具体包括：
步骤201：根据各所述原始图像及对应的标签，构建训练数据库D：
Figure BDA0002345232770000071
其中，i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，yi表示原图像对应的标签，表示为一个c维向量，其中c为数据库中的类别数量。
步骤202：根据所述训练数据库D，通过反向传播算法更新特征提取网络的权重。
步骤203：根据更新后的特征提取网络的权重，建立基于标签的特征提取网络。
进一步地，根据以下公式计算得到回归特征图fk(u，v)和前后背景分类的特征图fc(u，v)：
fk(u，v)＝Fk(xi)
fc(u，v)＝Fc(xi)；
其中，F*表示前向传播算法，包括卷积操作、池化操作和全连操作；i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，k表示回归，c表示分类，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
在步骤400中，根据以下公式，计算车道线区域的偏差值
Figure BDA0002345232770000081
Figure BDA0002345232770000082
其中，softmax( )表示预测类别函数，fk(u，v)表示回归特征图，fc(u，v)表示前后背景分类的特征图，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
在步骤500中，DBSCAN算法可以抽象为以下步骤:
(1)如果一个点P在距离ε范围内至少有minPts个点(包括点P)，则这个点P被称为核心点，那些ε范围内的点被称为可直达点。
(2)如果存在一条路径p1,...,pn，有p1＝p和pn＝q，且每个pi+1都是由pi直接可达的(路径上除了q以外的点都是核心点)，则称q是由p可达的。
(3)所有不由任何点可达的点都被称为局外点或者噪声点。
如图2所示，minPts＝4,点A和其他黑点是核心点，因为它们在ε范围内至少包含4个点(包括自己)，由于它们之间相互可达，它们形成一个聚类。
点B和点C不是核心点，但它们可由A经其他核心点可达，所以也属于同一个聚类。点N为局外点(噪声)，它既不是核心点也不是其他可达点。
进一步地，将DBSCAN算法的思路转变到车道线的检测，以分离出各车道线。如图3所示，以t时刻的黑点Pt为例，当加入水平方向的预测的偏差和垂直方向上的偏差。Pt能够到达Pt+1或者Pt-1后使用相同的方式返回Pt点。满足这一条件的点为候选点。这一过程可以形式化为
Figure BDA0002345232770000091
其中
Figure BDA0002345232770000092
为Pt到Pt±1位置的预测偏差值，TH为定义的阈值。在DBSCAN中的ε定义为时间间隔。设定ε＝3，则只关注t,t+1,t-1三个时刻。
在步骤600中，将分离后的各车道线进行拟合处理，得到拟合线，具体包括：
将具有相同标签的车道线进行拟合处理，得到各不同标签对应的拟合线，所述拟合线可为曲线或直线。
此外，为提高检测精度，本发明车道线检测方法还包括：
根据所述回归特征图、前后背景分类的特征图和特征图对应的回归目标、前后背景分类的标签，构建回归损失函数和分类损失函数；
对所述回归损失函数和分类损失函数优化，得到最小化回归损失及最小化分类损失；
根据所述最小化回归损失及最小化分类损失，对所述特征提取网络修正，得到修正后的特征提取网络。
具体地，根据以下公式计算回归损失函数和分类损失函数：
回归损失函数：
Figure BDA0002345232770000093
其中，Wi表示回归的权重，dev为输出的偏移，Pred为当前点的位置，Gt为真实标注的位置；i表示原图像数据的序号，i＝1，2...，N。
分类损失函数：
Figure BDA0002345232770000101
其中，xi表示第i张原图像数据，yi表示原图像对应的标签。
实现本发明方法的主要思路是：该模型利用神经网络作为特征提取模型，然后利用大量数据训练的成的模型提取输入的图像特征，并输出回归和和分类等三个任务。这三个任务分别是预测是否为车道线的语义分割任务，预测偏移回归任务以及辅助预测局部角度的回归任务。在输出任务时，只需要输出语义分割任务和偏移回归任务。利用语义输出任务的结果去获取感兴趣的特征点的回归值。然后使用这些预测的值模仿基于密度估计的聚类算法得到每条车道线。最后，利用多项式拟合车道线，并输出关于车道线的拟合方程。
本发明采用轻量级的网络并应用加权的回归在较小的特征图上取得较高的检测精度。能够应对车载系统缺乏计算和存储资源的问题以及应对存在复杂车道线场景，如并道，岔道等，可解决深度学习方法的低效率问题，提高检测效率和检测精度，提高计算机处理性能。
下面以一具体实施例详细说明：
本发明提出的方法应用于两个公开数据集Caltech车道线检测数据集和TuSimple车道线检测数据集。Caltech车道线数据库一共有1224帧标注的640×480图像，其中包括4172条车道线。该数据库由四个剪辑片段组成，这些剪辑片段的特点是在不同类型的城市街道，存在或不存在阴影，直道或弯道的情况。剪辑1#中有很多弯道和道路上存在一些文字；剪辑2#中有不同的道路类型和逆光情况；剪辑3#中存在大量阴影和穿行的车辆；剪辑4#存在道路文字和穿行车辆。TuSimple车道线检测数据集由7000个一秒长的视频片段组成，每个视频片段有20帧。其中训练视频片段3626个，有3626帧标注图像，图像的尺寸为1280×720，每个片段的最后帧(第20帧)，2782测试图像来自剩余的2782个视频序列。它包括不同的时段和良好或中等天气条件。这些车道线的注释用折线的形式给出。测试的数据集与训练的数据集都采用多条折线的结果进行评估。精度计算为每幅图像的平均正确点数。
表1展示了本发明的检测结果以及与其他方法的对比，评价指标包括平均准确率和定位正确率。
表1
Figure BDA0002345232770000111
此外，本发明还提供一种车道线检测系统，可提高车道线检测速度。
如图4所示，本发明车道线检测系统包括：获取单元1、建立单元2、提取单元3、计算单元4、分类单元5、拟合单元6及检测单元7。
具体地，所述获取单元1用于获取多幅原始图像及对应的标签。所述建立单元2用于根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络。所述提取单元3用于根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图。所述计算单元4用于根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值。所述分类单元5用于采用具有噪音的基于密度聚类方法DBSCAN的思路，根据所述车道线区域的偏差值分离出各车道线。所述拟合单元6用于将分离后的各车道线进行拟合处理，得到拟合线；所述检测单元7用于根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
进一步地，本发明还提供一种车道线检测系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多幅原始图像及对应的标签；
根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
采用具有噪音的基于密度聚类方法DBSCAN的思路，根据所述车道线区域的偏差值分离出各车道线；
将分离后的各车道线进行拟合处理，得到拟合线；
根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
进一步地，本发明还提供一种车载系统，所述车载系统包括上述车道线检测系统。
本发明还提供了如下方案：
一种车辆，所述车辆上设置有上述车道线检测系统或上述车载系统。
相对于现有技术，本发明车道线检测系统、车载系统及车辆与上述车道线检测方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种车道线检测方法，其特征在于，所述检测方法包括：
获取多幅原始图像及对应的标签；
根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
采用具有噪音的基于密度聚类方法DBSCAN，根据所述车道线区域的偏差值分离出各车道线；
将分离后的各车道线进行拟合处理，得到拟合线；
根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
2.根据权利要求1所述的车道线检测方法，其特征在于，所述根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络，具体包括：
根据各所述原始图像及对应的标签，构建训练数据库D：
Figure FDA0002345232760000011
其中，i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，yi表示原图像对应的标签，表示为一个c维向量，其中c为数据库中的类别数量；
根据所述训练数据库D，通过反向传播算法更新特征提取网络的权重；
根据更新后的特征提取网络的权重，建立基于标签的特征提取网络。
3.根据权利要求1所述的车道线检测方法，其特征在于，根据以下公式计算得到回归特征图fk(u，v)和前后背景分类的特征图fc(u，v)：
fk(u，v)＝Fk(xi)
fc(u，v)＝Fc(xi)；
其中，F*表示前向传播算法，包括卷积操作、池化操作和全连操作；i表示原图像数据的序号，i＝1，2...，N；xi表示第i张原图像数据，k表示回归，c表示分类，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
4.根据权利要求1所述的车道线检测方法，其特征在于，根据以下公式，计算车道线区域的偏差值
Figure FDA0002345232760000021
Figure FDA0002345232760000022
其中，softmax( )表示预测类别函数，fk(u，v)表示回归特征图，fc(u，v)表示前后背景分类的特征图，(u，v)表示特征图的空间坐标，u表示横坐标，v表示纵坐标。
5.根据权利要求1所述的车道线检测方法，其特征在于，所述检测方法还包括：
根据所述回归特征图、前后背景分类的特征图和特征图对应的回归目标、前后背景分类的标签，构建回归损失函数和分类损失函数；
对所述回归损失函数和分类损失函数优化，得到最小化回归损失及最小化分类损失；
根据所述最小化回归损失及最小化分类损失，对所述特征提取网络修正，得到修正后的特征提取网络。
6.根据权利要求5所述的车道线检测方法，其特征在于，根据以下公式计算回归损失函数和分类损失函数：
回归损失函数：
Figure FDA0002345232760000031
其中，Wi表示回归的权重，dev为输出的偏移，Pred为当前点的位置，Gt为真实标注的位置；i表示原图像数据的序号，i＝1，2...，N；
分类损失函数：
Figure FDA0002345232760000032
其中，xi表示第i张原图像数据，yi表示原图像对应的标签。
7.一种车道线检测系统，其特征在于，所述检测系统包括：
获取单元，用于获取多幅原始图像及对应的标签；
建立单元，用于根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
提取单元，用于根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
计算单元，用于根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
分类单元，用于采用具有噪音的基于密度聚类方法DBSCAN，根据所述车道线区域的偏差值分离出各车道线；
拟合单元，用于将分离后的各车道线进行拟合处理，得到拟合线；
检测单元，用于根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
8.一种车道线检测系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取多幅原始图像及对应的标签；
根据各所述原始图像及对应的标签，通过梯度下降方法训练，建立基于标签的特征提取网络；
根据所述特征提取网络，使用前向传播的方法，提取各原始图像对应的回归特征图和前后背景分类的特征图；
根据所述回归特征图和前后背景分类的特征图，得到车道线区域的偏差值；
采用具有噪音的基于密度聚类方法DBSCAN，根据所述车道线区域的偏差值分离出各车道线；
将分离后的各车道线进行拟合处理，得到拟合线；
根据当前待检测图像，从各所述拟合线中选择出所述当前待检测图像对应的拟合线，得到检测结果。
9.一种车载系统，其特征在于，所述车载系统包括权利要求7或8所述的车道线检测系统。
10.一种车辆，其特征在于，所述车辆上设置有权利要求7或8所述的车道线检测系统或权利要求9所述的车载系统。
CN201911391910.6A 2019-12-30 2019-12-30 车道线检测方法、系统、车载系统及车辆 Active CN111126327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391910.6A CN111126327B (zh) 2019-12-30 2019-12-30 车道线检测方法、系统、车载系统及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391910.6A CN111126327B (zh) 2019-12-30 2019-12-30 车道线检测方法、系统、车载系统及车辆

Publications (2)

Publication Number Publication Date
CN111126327A true CN111126327A (zh) 2020-05-08
CN111126327B CN111126327B (zh) 2023-09-15

Family

ID=70504767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391910.6A Active CN111126327B (zh) 2019-12-30 2019-12-30 车道线检测方法、系统、车载系统及车辆

Country Status (1)

Country Link
CN (1) CN111126327B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011338A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种车道线检测方法及系统
CN113780069A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种汇流场景下的车道线分离绘制方法及装置
CN115049995A (zh) * 2022-02-22 2022-09-13 阿波罗智能技术(北京)有限公司 一种车道线检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
US10275667B1 (en) * 2018-09-05 2019-04-30 StradVision, Inc. Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
US10275667B1 (en) * 2018-09-05 2019-04-30 StradVision, Inc. Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011338A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种车道线检测方法及系统
CN113011338B (zh) * 2021-03-19 2023-08-22 华南理工大学 一种车道线检测方法及系统
CN113780069A (zh) * 2021-07-30 2021-12-10 武汉中海庭数据技术有限公司 一种汇流场景下的车道线分离绘制方法及装置
CN113780069B (zh) * 2021-07-30 2024-02-20 武汉中海庭数据技术有限公司 一种汇流场景下的车道线分离绘制方法及装置
CN115049995A (zh) * 2022-02-22 2022-09-13 阿波罗智能技术(北京)有限公司 一种车道线检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111126327B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN109211251B (zh) 一种基于激光和二维码融合的即时定位与地图构建方法
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
Wojek et al. Monocular visual scene understanding: Understanding multi-object traffic scenes
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US20210237774A1 (en) Self-supervised 3d keypoint learning for monocular visual odometry
CN111126327B (zh) 车道线检测方法、系统、车载系统及车辆
Agostinho et al. A practical survey on visual odometry for autonomous driving in challenging scenarios and conditions
CN110781262A (zh) 基于视觉slam的语义地图的构建方法
US20240271959A1 (en) Incremental map building using learnable features and descriptors
CN114879696A (zh) 轨迹匹配方法、装置、设备和介质
Li et al. Integration of vision and topological self-localization for intelligent vehicles
Jang et al. Road lane semantic segmentation for high definition map
Liu et al. Vehicle detection and ranging using two different focal length cameras
Bernuy et al. Topological semantic mapping and localization in urban road scenarios
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Mutz et al. What is the best grid-map for self-driving cars localization? An evaluation under diverse types of illumination, traffic, and environment
Li et al. Map-based localization for intelligent vehicles from bi-sensor data fusion
CN117593685A (zh) 真值数据的构建方法和装置、存储介质
Imad et al. Navigation system for autonomous vehicle: A survey
US20240185612A1 (en) Systems and methods for controlling a vehicle by detecting and tracking objects through associated detections
US20220383510A1 (en) Method For Training A Neural Network For Semantic Image Segmentation
Chipka et al. Estimation and navigation methods with limited information for autonomous urban driving
Bag Deep learning localization for self-driving cars
Maharshi et al. A System for Detecting Automated Parking Slots Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant