CN112541396A - 一种车道线检测方法、装置、设备及计算机存储介质 - Google Patents
一种车道线检测方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112541396A CN112541396A CN202011276054.2A CN202011276054A CN112541396A CN 112541396 A CN112541396 A CN 112541396A CN 202011276054 A CN202011276054 A CN 202011276054A CN 112541396 A CN112541396 A CN 112541396A
- Authority
- CN
- China
- Prior art keywords
- lane line
- data set
- image data
- position information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供一种车道线检测方法、装置、设备及计算机存储介质，涉及自动驾驶领域，用以提高车道线检测的准确性，从而保障车辆行驶安全。所述方法包括：获取道路预设区域内的图像数据集及点云数据集；根据图像数据集对预设的神经网络模型进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息；根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息；将第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。
Description
技术领域
本发明属于自动驾驶领域，尤其涉及一种车道线检测方法、装置、设备及计算机存储介质。
背景技术
近年来，自动驾驶为汽车提供了新的发展趋势，其中感知模块是自动驾驶中的重要组成部分。感知模块可以通过摄像头、毫米波雷达、激光雷达等传感器模拟人类的眼睛，感知周围的环境，例如车道线的检测。
感知模块中车道线的检测可以用于辅助车辆自动行驶，现有技术中车道线的检测方法是将前视图或俯视图进行边缘提取、然后进行霍夫变换、最后通过样条曲线或分段迭代模型对二值图像区域进行拟合，以确定车道线的位置。但上述方法由于受到光照、障碍物遮挡、车道线标记不够明显、车道线标记缺失、以及车道线表面被水覆盖等因素的影响，在检测过程中无法有效提取车道线特征。
综上，现有技术中的车道线检测方法，准确性有待提高，从而保障车辆行驶的安全性。
发明内容
本发明实施例提供一种车道线检测方法、装置、设备及计算机存储介质，能够提高车道线检测的准确性，从而保障车辆行驶安全。
第一方面，本发明实施例提供一种车道线检测方法，方法包括：
获取道路预设区域内的图像数据集及点云数据集；
根据图像数据集对预设的神经网络模型进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息；
根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息；
将第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。
第二方面，本发明实施例提供了一种车道线检测装置，装置包括：
获取单元，用于获取道路预设区域内的图像数据集及点云数据集；
第一确定单元，用于根据图像数据集对预设的神经网络模型进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息；
第二确定单元，用于根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息；
处理单元，用于将第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。
第三方面，本发明实施例提供了一种车道线检测设备，设备包括：
处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令，以实现如本发明实施例第一方面所提供的车道线检测方法。
第四方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本发明实施例第一方面所提供的车道线检测方法。
本发明实施例的车道线检测方法、装置、设备及计算机存储介质，能够提高车道线检测的准确性，从而保障车辆行驶安全。首先，获取道路预设区域内的图像数据集及点云数据集；其次，一方面将图像数据集输入至预设的神经网络模型中进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息；另一方面，根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息。即一方面通过对二维图像数据中每个点的像素值和坐标位置进行分析，进而获取像素点属于各类车道线的概率图的方式检测出车道线，但容易受到光照、遮挡等因素的影响；另一方面基于三维点云数据中各个坐标点的强度值之间存在差异，获取车道线位置信息，但存在干扰较多或误判的可能性。因此，将车道线的第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。将通过图像数据集获取的第一位置信息与通过点云数据集获取的第二位置信息进行融合，以克服车道线被光线分割导致的无法提取特征、车道线标记不够明显或有缺失、车道线表明被水覆盖无法获取图像数据以及车道线被障碍物遮挡等因素的影响。通过多特征与深度学习相结合的方法，全面且准确的提取车道线特征，确定车道线位置，提高车道线检测的准确性，从而保障车辆行驶安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车道线检测方法的流程示意图；
图2是本发明实施例提供的另一车道线检测方法的流程示意图；
图3是本发明实施例提供的一种车道线检测装置的结构示意图；
图4是本发明实施例提供的一种车道线检测设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本发明，而不是限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
车道线的检测可以用于辅助车辆自动行驶，由于车道线具有较强的结构特征，例如形状狭长，并且形态多变，容易与路面标识混淆，因此在检测时存在干扰或误判。
现有技术中车道线的检测方法是将前视图或俯视图进行边缘提取、然后进行霍夫变换、最后通过样条曲线或B-snake(分段迭代)模型对二值图像区域进行拟合，以确定车道线的位置。但上述方法由于受到光照、障碍物遮挡、车道线标记不够明显、车道线标记缺失、以及车道线表面被水覆盖等因素的影响，在检测过程中无法有效提取车道线特征。
为了解决现有技术问题，本发明实施例提供了一种车道线检测方法、装置、设备及计算机存储介质，用以提高车道线检测的准确性，从而保障车辆行驶安全。
下面首先对本发明实施例所提供的一种车道线检测方法进行介绍。
图1示出了本发明一个实施例提供的车道线检测方法的流程示意图。如图1所示，该方法可以包括以下步骤：
S110，获取道路预设区域内的图像数据集，及图像数据集对应的点云数据集。
在一些实施例中，S110可以具体包括：
步骤A，获取道路感兴趣区域内的至少一张前视图像数据；
步骤B，对前视图像数据进行反透视变换，得到与至少一张前视图像数据一一对应的至少一张鸟瞰图像数据；
步骤C，根据至少一张前视图像数据、及至少一张鸟瞰图像数据，确定包含车道线信息的图像数据集；
步骤D，获取感兴趣区域内的点云数据集。
在一些实施例中，步骤C可以具体包括：
子步骤C1，对至少一张前视图像数据、及至少一张鸟瞰图像数据进行图像预处理，图像预处理包括矫正曝光和/或消除阴影；
子步骤C2，将图像预处理后的前视图像数据和鸟瞰图像数据，确定为包含车道线信息的图像数据集。
显然，本发明实施例中首先获取包含车道线信息的图像数据集，即车道线相对于车辆的前视图和鸟瞰图，从多个角度上获取车道线位置相关信息。同时，通过矫正曝光和/或消除阴影的方式对图像进行预处理，以排除干扰因素，提高检测的准确性。然后根据图像数据集获取对应的点云数据集，为了节约成本和降低计算量，只保留感兴趣区域对应的点云数据。
需要说明的是，前视图像是由固定在自动驾驶车辆上的前置相机提供的，同时在坡度变化较少的道路上相机的位置相对于车辆来说是不变的，即地平面的位置在相机所提供的至少一张前视图像中是大致相同的，因此根据上述相机位置校正调整参数，以截取前视图像中感兴趣区域。
S120，根据图像数据集对预设的神经网络模型进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息。
在一些实施例中，S120可以具体包括：
通过神经网络模型对图像数据集进行像素分割，得到每个像素点属于车道线的概率；
基于概率对每个像素点进行二分类处理，得到每个像素点所属车道线的类别，确定车道线的第一位置信息。
具体实施时，神经网络模型可以采用Unet神经网络模型，结合二进制交叉熵损失函数，通过随机梯度下降法实现每个像素点的二分类。
S130，根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息。
在一些实施例中，S130可以具体包括：
提取点云数据集中的各个坐标点及各个坐标点对应的强度值；
根据各个坐标点对应的强度值的差异，对坐标点进行聚类，确定车道线的第二位置信息。
S140，将第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。
在一些实施例中，S140可以具体包括：
将第一位置信息与第二位置信息进行迭代训练，若迭代训练的输出数据与预先获取的标签数据之间的误差小于预设阈值，则停止迭代训练，将输出数据作为融合后的车道线的位置信息。
需要说明的是，第一位置信息与第二位置信息通过迭代训练得到各自计算参数，以用于自适应均值计算，确定最终融合后的更为准确的车道线位置信息。
在一些实施例中，车道线检测方法还可以包括：
将融合后的车道线的位置信息，作为卡尔曼滤波的初始数据对车道线进行目标跟踪，获取车道线的初始预估位置信息；
将图像数据集作为卡尔曼滤波的动态数据进行目标跟踪，获取车道线的后续预估位置信息；
若后续预估位置信息获取中断，则调用融合后的车道线的位置信息对车道线位置进行修正。
为了便于理解，下面结合图2对本发明实施例提供的车道线检测方法的具体实施过程进行详细说明。
S210，获取至少一张前视图像，截取前视图像中的ROI(Region of Interest，感兴趣区域)，并确定ROI中每个像素点对应的像素值及其坐标位置。
具体地，至少一张前视图像是由固定在自动驾驶车辆上的前置相机提供的，同时在坡度变化较少的道路上相机的位置相对于车辆来说是不变的，即地平面的位置在相机所提供的至少一张前视图像中是大致相同的，因此具体实施时，根据上述相机位置校正调整参数，以截取前视图像中感兴趣的区域。
S220，获取上述ROI区域对应的点云数据集，包括ROI区域各个点的三维坐标信息、道路信息和障碍物信息。
需要说明的是，点云数据集是根据激光雷达的测量结果得到的，为了节约成本及降低计算量，只保留ROI区域对应的点云数据。
S230，将每张前视图像一一通过反透视变换IPM算法得到对应的鸟瞰图像，并对所有前视图像和鸟瞰图像分别进行曝光矫正和阴影消除，去除无关因素的干扰，生成图像数据集。
S240，将图像数据集输入至车道线分割模型中，生成车道线的掩膜，即车道线的标签数据。
在一个示例中，车道线分割模型为通过输入预先获取的图像数据集训练形成的神经网络模型。其中，预先获取的图像数据集是由多张前视图像及多张鸟瞰图像组成的，图像数据集数量可以是一万张，本发明对此不做限定。
需要说明的是，由车道线分割模型生成车道线掩膜后，还可以对车道线位置进行手动微调。
S250，将图像数据集输入至Unet神经网络模型中进行像素分割，得到每个像素点属于车道线的概率，并通过阈值判断对每个像素点进行二分类处理，确定图像中每个像素点所属车道线的位置。
在一个示例中，Unet神经网络模型为通过随机梯度下降法训练得到的，其对每个像素点进行二分类处理时所采用的损失函数为Binary cross entropy(二进制交叉熵)。
具体地，第一神经网络模型实现每个像素点的二分类，过滤其所属车道线的类别，例如左一车道线、左二车道线、右一车道线等，根据上述类别确定车道线位置。
需要说明的是，Unet神经网络模型的训练样本的数量少于车道线分割模型的训练样本。
S260，提取点云数据集中每个点的坐标以及强度值，基于强度值之间的差异对多个坐标进行聚类，根据聚类计算结果确定道路中的车道线的位置。
在一些实施例中，由于车道线区域与地面的材质不一致，因此多个坐标体现出不同的强度值。
S270，将由图像数据集和点云数据集分别确定的两个车道线位置信息进行迭代训练，以融合两种车道线位置信息确定最准确的车道线位置。
具体地，将两个车道线检测结果进行自适应加权取均值计算，其中加权参数是在训练迭代过程中获取的。在迭代训练的输出数据与标签数据误差小于预设阈值的情况下，即融合所确定的车道线位置与车道线掩膜所展示的车道线位置重合度达到预设阈值的情况下，停止迭代训练，确定迭代训练的结果为车道线检测结果。
其中，判定停止迭代训练的重合阈值，可以是本领域技术人员设定的经验值，本发明对此不做限定。
S280，根据车道线检测结果，通过卡尔曼滤波算法对车道线进行跟踪，当跟踪到车道线位置后，卡尔曼滤波算法的输入值由车道线检测结果变为图像数据集，继续进行车道线跟踪，预估车道线位置信息。在预估位置信息获取中断的情况下，再次调用车道线检测结果对车道线位置进行修正。
也就是说，当获取到车道线位置后，为了降低计算量，通常根据所述位置对车道线进行跟踪，当跟踪结果丢失时，再次通过上述步骤对车道线进行检测，以修正车道线位置。
本发明实施例提供的车道线检测方法，将通过图像数据集获取的第一位置信息与通过点云数据集获取的第二位置信息，通过迭代训练进行融合，以克服车道线被光线分割导致的无法提取特征、车道线标记不够明显或有缺失、车道线表明被水覆盖无法获取图像数据以及车道线被障碍物遮挡等因素的影响。通过多特征与深度学习相结合的方法，全面且准确的提取车道线特征，提高车道线检测的准确性，从而保障车辆行驶安全。
下面结合图3详细介绍本发明实施例提供的车道线检测装置。
图3示出了根据本发明实施例提供的一种车道线检测装置的结构示意图。如图3所示，车道线检测装置300包括：
310获取单元，用于获取道路预设区域内的图像数据集及点云数据集；
320第一确定单元，用于根据图像数据集对预设的神经网络模型进行训练，得到图像数据集中各个像素点所属车道线的概率，根据概率确定车道线的第一位置信息；
330第二确定单元，用于根据点云数据集，得到点云数据集中各个点的坐标以及强度信息，根据强度信息确定车道线的第二位置信息；
340处理单元，用于将第一位置信息与第二位置信息进行融合，确定融合后的车道线的位置信息。
根据本发明实施例提供的车道线检测装置的其他细节与以上结合图1、图2描述的根据本发明实施例的车道线检测方法类似，在此不再赘述。
图4示出了本发明实施例提供的车道线检测的硬件结构示意图。
结合图1、图2和图3描述的根据本发明实施例提供的车道线检测方法和装置可以由车道线检测设备来实现。图4是示出根据发明实施例的车道线检测设备的硬件结构400示意图。
在车道线检测设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器302可以包括可移除或不可移除(或固定)的介质，或者存储器402是非易失性固态存储器。存储器402可在综合网关容灾设备的内部或外部。
在一个实例中，存储器402可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现图1所示实施例中的方法/步骤S110至S140，并达到图1所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，车道线检测设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
本发明实施例提供的车道线检测设备通过多特征与深度学习相结合的方法，全面且准确的提取车道线特征，提高车道线检测的准确性，从而保障车辆行驶安全。
另外，结合上述实施例中的车道线检测方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种车道线检测方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种车道线检测方法，其特征在于，所述方法包括：
获取道路预设区域内的图像数据集及点云数据集；
根据所述图像数据集对预设的神经网络模型进行训练，得到所述图像数据集中各个像素点所属车道线的概率，根据所述概率确定所述车道线的第一位置信息；
根据所述点云数据集，得到所述点云数据集中各个点的坐标以及强度信息，根据所述强度信息确定所述车道线的第二位置信息；
将所述第一位置信息与所述第二位置信息进行融合，确定融合后的车道线的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述获取预设区域内的图像数据集，及所述图像数据集对应的点云数据集，包括：
获取道路感兴趣区域内的至少一张前视图像数据；
对所述前视图像数据进行反透视变换，得到与所述至少一张前视图像数据一一对应的至少一张鸟瞰图像数据；
根据所述至少一张前视图像数据、及所述至少一张鸟瞰图像数据，确定所述图像数据集；
获取所述感兴趣区域内的点云数据集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一张前视图像数据、及所述至少一张鸟瞰图像数据，确定所述包含车道线信息的图像数据集，包括：
对所述至少一张前视图像数据、及所述至少一张鸟瞰图像数据进行图像预处理，所述图像预处理包括矫正曝光和/或消除阴影；
将图像预处理后的前视图像数据和鸟瞰图像数据，确定为所述包含车道线信息的图像数据集。
4.根据权利要求1所述的方法，其特征在于，根据所述图像数据集对预设的神经网络模型进行训练，得到所述图像数据集中各个像素点所属车道线的概率，根据所述概率确定所述车道线的第一位置信息，包括：
通过所述神经网络模型对所述图像数据集进行像素分割，得到每个像素点所属车道线的概率；
基于所述概率对所述每个像素点进行二分类处理，得到所述每个像素点所属车道线的类别，确定所述车道线的第一位置信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据集，得到所述点云数据集中各个点的坐标以及强度信息，根据所述强度信息确定所述车道线的第二位置信息，包括：
提取所述点云数据集中的各个坐标点及所述各个坐标点对应的强度信息；
根据所述各个坐标点对应的强度信息的差异，对所述坐标点进行聚类，确定所述车道线的第二位置信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述第一位置信息与所述第二位置信息进行融合，确定融合后的车道线的位置信息，包括：
将所述第一位置信息与所述第二位置信息进行迭代训练，若所述迭代训练的输出数据与预先获取的标签数据之间的误差小于预设阈值，则停止迭代训练，将所述输出数据作为所述融合后的车道线的位置信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述融合后的车道线的位置信息，作为卡尔曼滤波的初始数据对车道线进行目标跟踪，获取车道线的初始预估位置信息；
将所述图像数据集作为卡尔曼滤波的动态数据进行目标跟踪，获取车道线的后续预估位置信息；
若所述后续预估位置信息获取中断，则调用所述融合后的车道线的位置信息对车道线位置进行修正。
8.一种车道线检测装置，其特征在于，所述装置包括：
获取单元，用于获取道路预设区域内的图像数据集及点云数据集；
第一确定单元，用于根据所述图像数据集对预设的神经网络模型进行训练，得到所述图像数据集中各个像素点所属车道线的概率，根据所述概率确定所述车道线的第一位置信息；
第二确定单元，用于根据所述点云数据集，得到所述点云数据集中各个点的坐标以及强度信息，根据所述强度信息确定所述车道线的第二位置信息；
处理单元，用于将所述第一位置信息与所述第二位置信息进行融合，确定融合后的车道线的位置信息。
9.一种车道线检测设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7任意一项所述的车道线检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的车道线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276054.2A CN112541396A (zh) | 2020-11-16 | 2020-11-16 | 一种车道线检测方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276054.2A CN112541396A (zh) | 2020-11-16 | 2020-11-16 | 一种车道线检测方法、装置、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112541396A true CN112541396A (zh) | 2021-03-23 |
Family
ID=75014062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011276054.2A Pending CN112541396A (zh) | 2020-11-16 | 2020-11-16 | 一种车道线检测方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541396A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113238209A (zh) * | 2021-04-06 | 2021-08-10 | 宁波吉利汽车研究开发有限公司 | 基于毫米波雷达的道路感知方法、系统、设备及存储介质 |
| CN113838030A (zh) * | 2021-09-24 | 2021-12-24 | 北京杰迈科技股份有限公司 | 一种道岔状态检测方法 |
| CN114677570A (zh) * | 2022-03-14 | 2022-06-28 | 北京百度网讯科技有限公司 | 道路信息更新方法、装置、电子设备以及存储介质 |
| CN114691659A (zh) * | 2022-03-30 | 2022-07-01 | 阿波罗智联(北京)科技有限公司 | 一种地图数据的优化方法、装置、设备以及存储介质 |
| WO2022237821A1 (zh) * | 2021-05-14 | 2022-11-17 | 阿波罗智能技术(北京)有限公司 | 生成交通标志线地图的方法、设备和存储介质 |
| CN115861959A (zh) * | 2023-02-24 | 2023-03-28 | 中国第一汽车股份有限公司 | 一种车道线识别方法、装置、电子设备及存储介质 |
| CN116027375A (zh) * | 2023-03-29 | 2023-04-28 | 智道网联科技(北京)有限公司 | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 |
| CN116152761A (zh) * | 2022-12-26 | 2023-05-23 | 小米汽车科技有限公司 | 车道线检测方法及装置 |
| CN116343158A (zh) * | 2023-05-12 | 2023-06-27 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
| WO2024018173A1 (en) * | 2022-07-22 | 2024-01-25 | Oxa Autonomy Ltd | A computer-implemented method of generating a lane boundary model of a route traversed by an autonomous vehicle |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145836A (zh) * | 2018-08-28 | 2019-01-04 | 武汉大学 | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 |
| CN109657077A (zh) * | 2018-10-31 | 2019-04-19 | 百度在线网络技术（北京）有限公司 | 模型训练方法、车道线生成方法、设备及存储介质 |
| CN111126182A (zh) * | 2019-12-09 | 2020-05-08 | 苏州智加科技有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-16 CN CN202011276054.2A patent/CN112541396A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145836A (zh) * | 2018-08-28 | 2019-01-04 | 武汉大学 | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 |
| CN109657077A (zh) * | 2018-10-31 | 2019-04-19 | 百度在线网络技术（北京）有限公司 | 模型训练方法、车道线生成方法、设备及存储介质 |
| CN111126182A (zh) * | 2019-12-09 | 2020-05-08 | 苏州智加科技有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113238209B (zh) * | 2021-04-06 | 2024-01-16 | 宁波吉利汽车研究开发有限公司 | 基于毫米波雷达的道路感知方法、系统、设备及存储介质 |
| CN113238209A (zh) * | 2021-04-06 | 2021-08-10 | 宁波吉利汽车研究开发有限公司 | 基于毫米波雷达的道路感知方法、系统、设备及存储介质 |
| WO2022237821A1 (zh) * | 2021-05-14 | 2022-11-17 | 阿波罗智能技术(北京)有限公司 | 生成交通标志线地图的方法、设备和存储介质 |
| CN113838030A (zh) * | 2021-09-24 | 2021-12-24 | 北京杰迈科技股份有限公司 | 一种道岔状态检测方法 |
| CN113838030B (zh) * | 2021-09-24 | 2024-05-14 | 北京杰迈科技股份有限公司 | 一种道岔状态检测方法 |
| CN114677570A (zh) * | 2022-03-14 | 2022-06-28 | 北京百度网讯科技有限公司 | 道路信息更新方法、装置、电子设备以及存储介质 |
| CN114691659A (zh) * | 2022-03-30 | 2022-07-01 | 阿波罗智联(北京)科技有限公司 | 一种地图数据的优化方法、装置、设备以及存储介质 |
| WO2024018173A1 (en) * | 2022-07-22 | 2024-01-25 | Oxa Autonomy Ltd | A computer-implemented method of generating a lane boundary model of a route traversed by an autonomous vehicle |
| CN116152761A (zh) * | 2022-12-26 | 2023-05-23 | 小米汽车科技有限公司 | 车道线检测方法及装置 |
| CN116152761B (zh) * | 2022-12-26 | 2023-10-17 | 小米汽车科技有限公司 | 车道线检测方法及装置 |
| CN115861959A (zh) * | 2023-02-24 | 2023-03-28 | 中国第一汽车股份有限公司 | 一种车道线识别方法、装置、电子设备及存储介质 |
| CN116027375A (zh) * | 2023-03-29 | 2023-04-28 | 智道网联科技(北京)有限公司 | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 |
| CN116343158B (zh) * | 2023-05-12 | 2023-08-15 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
| CN116343158A (zh) * | 2023-05-12 | 2023-06-27 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541396A (zh) | 一种车道线检测方法、装置、设备及计算机存储介质 | |
| CN110930459B (zh) | 灭点提取方法、相机标定方法以及存储介质 | |
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| CN112417967A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| CN108229406B (zh) | 一种车道线检测方法、装置及终端 | |
| CN111149131B (zh) | 区划线识别装置 | |
| CN113723216A (zh) | 一种车道线检测方法、装置、车辆及存储介质 | |
| CN112580460A (zh) | 一种交通信号灯的识别方法、装置、设备及存储介质 | |
| CN112149713B (zh) | 基于绝缘子图像检测模型检测绝缘子图像的方法及装置 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN113238209B (zh) | 基于毫米波雷达的道路感知方法、系统、设备及存储介质 | |
| Gupta et al. | Robust lane detection using multiple features | |
| CN115861659A (zh) | 对象匹配方法、装置、设备及计算机存储介质 | |
| CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 | |
| CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
| CN112465822B (zh) | 团雾检测方法、装置、设备及计算机可读存储介质 | |
| CN113449745B (zh) | 标定物图像中标记物的识别方法、装置、设备及可读介质 | |
| CN114529874A (zh) | 行为检测方法、装置、设备及可读存储介质 | |
| CN113888479A (zh) | 道路能见度检测方法、装置、设备及存储介质 | |
| CN112307890B (zh) | 一种物体识别方法、装置、物体识别设备及存储介质 | |
| CN112734745A (zh) | 一种融合gis数据的无人机热红外影像供暖管道泄漏探测方法 | |
| CN108917768B (zh) | 无人机定位导航方法和系统 | |
| CN112572471A (zh) | 自动驾驶方法、装置、电子设备及计算机存储介质 | |
| Gong et al. | Adaptive lane line detection and warning algorithm based on dynamic constraint | |
| CN113128264A (zh) | 一种车辆区域确定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210323 |