CN112215041B - 一种端到端车道线检测方法及其系统 - Google Patents

一种端到端车道线检测方法及其系统 Download PDF

Info

Publication number
CN112215041B
CN112215041B CN201910628238.1A CN201910628238A CN112215041B CN 112215041 B CN112215041 B CN 112215041B CN 201910628238 A CN201910628238 A CN 201910628238A CN 112215041 B CN112215041 B CN 112215041B
Authority
CN
China
Prior art keywords
lane line
lane
lines
determined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910628238.1A
Other languages
English (en)
Other versions
CN112215041A (zh
Inventor
陈振鹏
刘前飞
连陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201910628238.1A priority Critical patent/CN112215041B/zh
Publication of CN112215041A publication Critical patent/CN112215041A/zh
Application granted granted Critical
Publication of CN112215041B publication Critical patent/CN112215041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种端到端车道线检测方法及其系统、计算机可读存储介质，所述方法包括如下步骤：获取车辆前方图像；利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；根据所述各车道线位置点信息拟合车道线得到车道线几何信息。实施本发明，能够减少耗费计算资源，提高特殊道路场景下车道线检测性能，以及满足实时性要求。

Description

一种端到端车道线检测方法及其系统
技术领域
本发明涉及汽车自动驾驶技术领域，具体涉及一种端到端车道线检测方法及其系统。
背景技术
近年来，关于自动驾驶技术的研究已经变得越来越活跃。特别是基于视觉的环境感知技术，获得了学术界及工业界的广泛关注。然而，对自动驾驶车辆，如何充分地理解所有的周围的环境场景，仍然是一个巨大的挑战。在这些环境感知任务中，基于相机的车道线检测在交通场景识别中扮演着重要的角色。通过提供基础的道路信息，比如车道线结构和车辆相对车道线的位置，车道线检测功能可以保证自动驾驶车辆安全地在主车道上定位。
目前，车道线检测主要采用基于传统机器学习的方法以及基于深度学习的语义分割方法，其中，基于传统机器学习的方法由于低级特征的局限性，该方法对环境变化适应性较差、算法鲁棒性较低，诸如道路光照明暗变化、道路车道线出现磨损、以及检测角度的略微变化，都会导致车道线检测出现误识别、漏识别的情况。而基于深度学习的语义分割方法通常需要大型的神经网络，网络的参数量和算力较高，实时性难以保证，要求计算平台有充足的显存和计算资源；由于功耗较高，要求计算平台有良好的散热设计，因此存在成本高和实时性低的缺点。
发明内容
本发明的目的在于提出一种端到端车道线检测方法及其系统、计算机可读存储介质，以解决目前深度学习网络检测车道线因需耗费较大计算资源、实时性低以及基于传统机器学习检测车道线对环境变化适应性较差、算法鲁棒性较低的技术问题。
为了实现本发明目的，根据本发明第一方面，本发明实施例提供一种端到端车道线检测方法，包括如下步骤：
获取车辆前方图像；
利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；
根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
根据所述各车道线位置点信息拟合车道线得到车道线几何信息。
在一些实施例中，所述图像网格区域的尺寸满足图像网格区域中有且仅有一条车道线经过。
在一些实施例中，所述利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度包括：
判断图像网格区域中心点是否有车道线经过，若是，则预测经过图像网格区域中心点的车道线得到其位置点信息和置信度，若否，则预测离图像网格区域中心点最近的车道线得到其位置点信息和置信度。
在一些实施例中，所述根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息包括：
筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；
根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线。
在一些实施例中，所述根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线包括：
所述根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。
在一些实施例中，所述根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线包括：
若最终的车道线数量大于等于5，则增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
在一些实施例中，所述根据所述各车道线位置点信息拟合车道线得到车道线几何信息包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标，其中，a、b、c、d为车道线几何轮廓参数。
根据本发明第二方面，本发明实施例提供一种端到端车道线检测系统，所述系统包括：
图像获取单元，用于获取车辆前方图像；
第一图像处理单元，用于利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
第二图像处理单元，用于利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；
车道线筛选单元，用于根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
车道线拟合单元，用于根据所述各车道线位置点信息拟合车道线得到车道线几何信息。
在一些实施例中，所述车道线筛选单元包括：
第一筛选子模块，用于筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
第二筛选子模块，用于筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；
第三筛选子模块，用于根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。
在一些实施例中，所述车道线筛选单元包括：
第四筛选子模块，用于判断最终的车道线数量是否大于等于5，并根据判断结果生成更新指令发送所述第三筛选子模块；
所述第三筛选子模块还用于根据所述更新指令增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
以上技术方案具有如下有益效果：
本发明实施例提供一种端到端车道线检测方法及其系统，所述方法及其系统可以降低检测流程的复杂度，实现车道线端到端的检测识别。也即通过输入道路图像，便可以直接得到所需要的车道线点信息，避免已有方法需要大量图像前处理及后处理等冗杂步骤的弊端。所述方法及其系统相比于基于传统机器学习方法泛化性好，可以显著提高在环境恶劣条件下(例如道路光照距离变化、车道线标记轻微磨损、车道线变脏等)的车道线检测精度，算法鲁棒性强。所述方法及其系统相比于基于语义分割算法具有模型参数少、运算速度快的优势，在满足车道线检测识别精度的前提下本发明方法可以显著提高车道线检测的实时性，而且便于在嵌入式车载控制器上部署，降低成本。从而有效地解决了目前深度学习网络检测车道线因需耗费较大计算资源、实时性低以及基于传统机器学习检测车道线对环境变化适应性较差、算法鲁棒性较低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一中一种端到端车道线检测方法流程图。
图2为本发明实施例一中一种端到端车道线检测方法具体流程图。
图3为本发明实施例一中一种端到端车道线检测方法对应的网络结构图。
图4为本发明实施例二中一种端到端车道线检测系统示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
如图1所示，本发明实施例一提供一种端到端车道线检测方法，所述方法包括如下步骤：
步骤S1、获取车辆前方图像；
步骤S2、利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
步骤S3、利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；
步骤S4、根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
步骤S5、根据所述各车道线位置点信息拟合车道线得到车道线几何信息。
具体而言，本实施例中，可以通过车辆前视摄像头采集车辆前方道路图像。车辆前视摄像头采集的车辆前方图像为RGB三通道彩色图像，因此需将原始的RGB三通道彩色图像经过图像变换到特定图像尺寸(W0×H0×C)后输入到所述第一卷积神经网络中。其中，W0为图像像素点宽度、H0为图像像素点高度、C为图像的通道数。
其中，所述图像网格区域的尺寸满足图像网格区域中有且仅有一条车道线经过。本实施例步骤S2通过第二卷积神经网络将输入的图像划分为W×H个图像网格区域，提取一个W×H大小的低分辨率、高维特征图；其中，W为宽度区域个数，H为高度区域个数。当被划分的每个图像网格区域足够小时，每个图像网格区域内至多只能有一条车道线经过。将所述特征图作为第二卷积神经网络的输入，可以输出W×H条车道线的信息。由于车道线的宽度在图像中变化并不大，因此本实施例采用均分的方法进行划分网格。
其中，图像划分的网格区域越少，得到的车道线参数矩阵越少，车道线检测识别的精度则越低。与之相反如果图像网格区域越多，得到的车道线参数矩阵参数也越多，车道线检测识别速度也会越慢。为了达到车道线检测精度与检测速度的平衡，本实施例方法中控制参数优选但不限于W＝32、H＝18。
其中，步骤S3车道线的位置点信息输出过程中，本实施例方法中车道线信息由不同位置的车道线点组成，对于车道线的位置点表示个数而言，如果组成车道线的点数量越多，车道线信息越精细，但是检测速度会越慢，因此，可以根据具体技术要求设置每个图像网格区域中车道线的位置点表示个数。
在本实施例中，所述第二卷积神经网络(ConvLaneNet)根据所述特征图上的每个点，判断学习对应的车道线的表示，即得出一系列相对每个图像网格区域中心的x坐标偏移量{Δx1,Δx2,…,Δxn}(固定y划分)，以及起始点的位置。其中，因为y坐标是提前选好的，只需要预测x坐标的偏移量。每条车道线的预测包括如下三个要素：x坐标偏移量、车道线的起始点的y坐标、以及车道线的置信度。ConvLaneNet网络输出车道线的结构性预测，包括位置预测部分以及分类预测部分，所述位置预测部分为具有(n+1)个输出的1x1卷积层，其中，(n+1)表示n个x坐标的偏移量以及起始点的y坐标；所述分类预测部分为具有2个输出的1x1卷积层，表示图像网格区域是否有车道线经过的置信度。因此，经过模型训练后的ConvLaneNet网络，能够根据所述特征图将输出W×H×(n+1+1+1)个值。如图2－3所示，通过步骤S3处理会输出W×H条车道线的位置点信息。
本发明实施例可以作为智能辅助驾驶系统ADAS功能(如车道保持辅助LKA\车道偏离预警LDW)软件的一部分。本实施例方法通过输入前方道路图像可以准确并实时检测出不同环境场景下的车道线信息，包括车道线位置、车道线类型、车道线曲率等。智能驾驶辅助系统可以根据本实施例方法输出的车道线信息从而有效控制车辆，保证车辆可以根据需要安全行驶，减少交通事故的发生。
在一些实施例中，所述步骤S3中利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度包括：
对于每一图像网格区域的车道线预测，判断图像网格区域中心点是否有车道线经过，若是，则预测经过图像网格区域中心点的车道线得到其位置点信息和置信度，若否，则预测离图像网格区域中心点最近的车道线得到其位置点信息和置信度。
在一些实施例中，所述步骤S4包括如下子步骤：
步骤S41、筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
步骤S42、筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；删除所述多条车道线中置信度小于置信度阈值的车道线；
步骤S43、根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线。
其中，所述步骤S43具体包括：
所述根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。逐一进行距离对比之后，将保留的所有待定车道线作为最终的车道线。
其中，所述步骤S43具体还包括：
若最终的车道线数量大于等于5，则增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
具体而言，考虑到同一车道线可能会经过多个图像网格区域，一条车道线可能会有多个预测结果。因此本实施例中步骤S4对得到的车道线信息进行非极大值抑制(NMS)的后处理方法，滤除重复性的多余车道线，具体如上步骤S41－S43所示。
其中，距离阈值的初始值优选但不限于为10pixels，表示10个像素距离。置信度阈值优选但不限于为99％。
根据本实施例方法开展实验的数据集的统计结果，得到先验知识，道路上车道线不多于5个。因此，当步骤S43得到的最终的车道线数量大于等于5时，则需更新距离阈值，并重复步骤S42。如此循环步骤S42－S43，直至最终输出的车道线数量小于等于4为止。
其中，每次增大距离阈值的变化量优选但不限于为10pixels。
其中，当预测得到的车道线置信度小于设定的置信度阈值，则表明该预测得到的车道线不准确需要舍弃。车道线置信度值越高，则最终车道线漏检测的几率越大，相反车道线置信度越低，则最终车道线误检测的几率越大。根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线可以保证过滤掉距离非常接近的重复曲线。
在一些实施例中，所述步骤S5包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标。所述车道线几何信息包括车道线几何轮廓参数a、b、c和d。
本实施例方法创建了一个用于的车道线检测识别的端到端卷积神经网络，仅仅通过向该网络输入特定尺寸的彩色图像便可以直接输出车道线点的信息，减少了以往方法中大量图像处理操作步骤(例如图像滤波、图像分割等)，有效优化了车道线检测方法的流程，便于实际部署应用。且本实施例方法提出的卷积神经网络特征参数较少，在实际的车道线检测应用中速度较快，可以满足智能驾驶辅助功能的实时性要求。
传统的机器学习算法，需要分别进阈值分割、感兴趣区域选取，每个阶段的参数选取依赖于专业人员的工程经验。而基于深度学习的语义分割算法，也需要聚类等后处理过程。而本实施例提出的方法，实现输入图像直接输出车道线点的效果。训练及预测，均实现了端到端。相比于常见的两种方法，本实施例方法通过实现端到端训练及预测，降低车道线检测流程的复杂度。
此外，本实施例方法中模型小、算力低，对域控制器的计算资源要求低，可以在嵌入式平台进行部署；将本发明实施例方法提出的网络与几种常见的基于CNN网络的方法进行了比较，结果如下表1所示。其中，SCNN和LaneNet均为基于深度学习的语义分割网络，为当前达到先进水平的两个车道线检测网络。其中，SCNN曾在TuSimple车道线检测排行榜上获得第一名。如下表所示，后三个网络是本发明实施例方法提出的方法的实现，SqueezeNet、MobileNet、GoogLeNet三个网络为主流的轻量级网络，可以将其分别作为本发明实施例方法提出的特征提取网络，与后处理网络ConvLaneNet结合，得到三个小模型网络。本实施例方法从参数量、算力、计算强度三个维度上对这五个网络进行对比。输入图片为3x800x288。参数量和算力方面，SCNN和LaneNet均远高于本实施例提出的方法。而计算强度上，SCNN和LaneNet也远高于本实施例提出的方法。这表示，SCNN和LaneNet适用于计算平台资源充足的情况下，而本实施例提出的方法，为轻量级网络，适用于嵌入式平台等计算资源较为有限的平台下。
表1.不同的网络模型消耗资源对比
如图4所示，本发明实施例二提供一种端到端车道线检测系统，所述系统包括：
图像获取单元1，用于获取车辆前方图像；
第一图像处理单元2，用于利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
第二图像处理单元3，用于利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；
车道线筛选单元4，用于根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
车道线拟合单元5，用于根据所述各车道线位置点信息拟合车道线得到车道线几何信息。
在一些实施例中，所述车道线筛选单元4包括：
第一筛选子模块41，用于筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
第二筛选子模块42，用于筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；
第三筛选子模块43，用于根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。
在一些实施例中，所述车道线筛选单元4包括：
第四筛选子模块44，用于判断最终的车道线数量是否大于等于5，并根据判断结果生成更新指令发送所述第三筛选子模块43；
所述第三筛选子模块43还用于根据所述更新指令增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
需说明的是，本实施例二所述系统用于实现所述实施例一所述方法，因此，关于本实施例二所述系统未详述的有关部分可以参阅实施例一所述方法得到，此处不再赘述。
还应该理解，可以以很多方式实施实施例一所述方法和实施例二所述系统，包括作为过程、装置或系统。本文中所述的方法可以部分地由用于指示处理器执行这种方法的程序指令、以及记录在非暂态计算机可读存储介质上的该指令而实施，非暂态计算机可读存储介质诸如硬盘驱动、软盘、光碟(诸如小型碟(CD)或数字通用碟(DVD))、闪速存储器等。在一些实施例中，程序指令可以被远程存储并且经由光学或电子通信链路而在网络上被发送。
通过以上实施例的描述可知，本发明实施例提供一种端到端车道线检测方法及其系统，所述方法及其系统可以降低检测流程的复杂度，实现车道线端到端的检测识别。也即通过输入道路图像，便可以直接得到所需要的车道线点信息，避免已有方法需要大量图像前处理及后处理等冗杂步骤的弊端。所述方法及其系统相比于基于传统机器学习方法泛化性好，可以显著提高在环境恶劣条件下(例如道路光照距离变化、车道线标记轻微磨损、车道线变脏等)的车道线检测精度，算法鲁棒性强。所述方法及其系统相比于基于语义分割算法具有模型参数少、运算速度快的优势，在满足车道线检测识别精度的前提下本发明方法可以显著提高车道线检测的实时性，而且便于在嵌入式车载控制器上部署，降低成本。从而有效地解决了目前深度学习网络检测车道线因需耗费较大计算资源、实时性低以及基于传统机器学习检测车道线对环境变化适应性较差、算法鲁棒性较低的技术问题。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种端到端车道线检测方法，其特征在于，包括如下步骤：
获取车辆前方图像；
利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；
根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
根据所述各车道线位置点信息拟合车道线得到车道线几何信息；
其中，所述利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度包括：
第二卷积神经网络判断图像网格区域中心点是否有车道线经过，若是，则预测经过图像网格区域中心点的车道线得到其位置点信息和置信度，若否，则预测离图像网格区域中心点最近的车道线得到其位置点信息和置信度。
2.如权利要求1所述的端到端车道线检测方法，其特征在于，所述图像网格区域的尺寸满足图像网格区域中有且仅有一条车道线经过。
3.根据权利要求1所述的端到端车道线检测方法，其特征在于，所述根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息包括：
筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；
根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线。
4.根据权利要求3所述的端到端车道线检测方法，其特征在于，所述根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线包括：
所述根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。
5.根据权利要求4所述的端到端车道线检测方法，其特征在于，所述根据每一待定车道线与所述基准车道线之间的距离确定最终各车道线包括：
若最终的车道线数量大于等于5，则增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
6.根据权利要求1所述的端到端车道线检测方法，其特征在于，所述根据所述各车道线位置点信息拟合车道线得到车道线几何信息包括：
将各车道线位置点坐标按图像预处理中图像缩放系数映射到所述车辆前方道路图像尺寸中得到各车道线位置点实际坐标；
对各车道线位置点实际坐标分别按照公式x＝ay3+by2+cy+d进行拟合得到各车道线几何信息，其中，x为图像中横坐标，y为图像中纵坐标，其中，a、b、c、d为车道线几何轮廓参数。
7.一种端到端车道线检测系统，其特征在于，所述系统包括：
图像获取单元，用于获取车辆前方图像；
第一图像处理单元，用于利用第一卷积神经网络将所述车辆前方图像进行网格划分得到车道线特征图；其中，所述车道线特征图包括多个图像网格区域；
第二图像处理单元，用于利用第二卷积神经网络对所述车道线特征图进行处理得到多条车道线的位置点信息和置信度；其中，一个图像网格区域对应一条车道线的位置点信息和置信度；第二卷积神经网络判断图像网格区域中心点是否有车道线经过，若是，则预测经过图像网格区域中心点的车道线得到其位置点信息和置信度，若否，则预测离图像网格区域中心点最近的车道线得到其位置点信息和置信度；
车道线筛选单元，用于根据每一条车道线的置信度与置信度阈值的比较结果确定最终各车道线的位置点信息；
车道线拟合单元，用于根据所述各车道线位置点信息拟合车道线得到车道线几何信息。
8.如权利要求7所述的一种端到端车道线检测系统，其特征在于，所述车道线筛选单元包括：
第一筛选子模块，用于筛选出基准车道线及其置信度，所述基准车道线为所述多条车道线中置信度最高的车道线；
第二筛选子模块，用于筛选出若干待定车道线及其置信度，所述待定车道线为所述多条车道线中除所述基准车道线以外的置信度大于等于置信度阈值的车道线；
第三筛选子模块，用于根据每一待定车道线与所述基准车道线之间的距离与距离阈值的比较结果确定最终各车道线；其中，若一待定车道线与基准车道线之间的距离大于距离阈值，则保留该待定车道线作为最终的车道线；若一待定车道线与基准车道线之间的距离小于等于距离阈值，则不保留该待定车道线作为最终的车道线。
9.如权利要求8所述的一种端到端车道线检测系统，其特征在于，所述车道线筛选单元包括：
第四筛选子模块，用于判断最终的车道线数量是否大于等于5，并根据判断结果生成更新指令发送所述第三筛选子模块；
所述第三筛选子模块还用于根据所述更新指令增大距离阈值，并重新根据每一待定车道线与所述基准车道线之间的距离与增大后的距离阈值的比较结果确定最终各车道线。
CN201910628238.1A 2019-07-11 2019-07-11 一种端到端车道线检测方法及其系统 Active CN112215041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910628238.1A CN112215041B (zh) 2019-07-11 2019-07-11 一种端到端车道线检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910628238.1A CN112215041B (zh) 2019-07-11 2019-07-11 一种端到端车道线检测方法及其系统

Publications (2)

Publication Number Publication Date
CN112215041A CN112215041A (zh) 2021-01-12
CN112215041B true CN112215041B (zh) 2024-05-31

Family

ID=74047808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910628238.1A Active CN112215041B (zh) 2019-07-11 2019-07-11 一种端到端车道线检测方法及其系统

Country Status (1)

Country Link
CN (1) CN112215041B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269171B (zh) * 2021-07-20 2021-10-12 魔视智能科技(上海)有限公司 车道线检测方法、电子设备及车辆
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法
CN114092919B (zh) * 2022-01-18 2022-05-03 深圳佑驾创新科技有限公司 一种车辆偏移告警的方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
CN107330376A (zh) * 2017-06-06 2017-11-07 广州汽车集团股份有限公司 一种车道线识别方法及系统
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
US10296795B2 (en) * 2017-06-26 2019-05-21 Here Global B.V. Method, apparatus, and system for estimating a quality of lane features of a roadway
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
CN107330376A (zh) * 2017-06-06 2017-11-07 广州汽车集团股份有限公司 一种车道线识别方法及系统
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"基于卷积神经网络的全局车道线检测算法研究";景辉;《中国优秀硕士学位论文全文数据库 信息科技辑》(第1期);I138-2743 *
"基于道路先验信息和RANSAC算法的车道线检测";郑航等;《机电一体化》;第24卷(第1期);第2节 *
"Efficient Road Lane Marking Detection with Deep Learning";Ping-Rong Chen等;《arxiv》;第1-5页 *
"基于改进YOLOv3算法的公路车道线检测方法";崔文靓等;《自动化学报》;第1-9页 *
"面向复杂道路环境的车道线快速检测方法";程文冬等;《机械设计与制造》;第187-190, 194页 *

Also Published As

Publication number Publication date
CN112215041A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
WO2020038091A1 (zh) 智能驾驶控制方法与装置、电子设备、程序和介质
CN106845487B (zh) 一种端到端的车牌识别方法
CN112215041B (zh) 一种端到端车道线检测方法及其系统
Broggi Robust real-time lane and road detection in critical shadow conditions
KR20200078314A (ko) 시맨틱 분할에 의해 지배적 장면 분류를 제공하는 시스템 및 방법
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
CN107431762B (zh) 图像处理设备、图像处理方法以及图像处理系统
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN112614136A (zh) 一种红外小目标实时实例分割方法及装置
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN113011338A (zh) 一种车道线检测方法及系统
WO2020010620A1 (zh) 波浪识别方法、装置、计算机可读存储介质和无人飞行器
Ghahremannezhad et al. Automatic road detection in traffic videos
JP2003076987A (ja) 先行車両認識装置
CN112446299B (zh) 车流密度检测方法、系统及计算机可读存储介质
CN114550060A (zh) 周界入侵识别方法、系统及电子设备
CN112150828B (zh) 基于图像识别技术的防抖动干扰动态调控红绿灯的方法
CN112446230B (zh) 车道线图像的识别方法及装置
Bachtiar et al. Parking management by means of computer vision
CN113449629A (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质
WO2020010517A1 (zh) 轨迹预测方法及装置
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN115661556B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant