CN117079238A - 道路边沿检测方法、装置、设备及存储介质 - Google Patents
道路边沿检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117079238A CN117079238A CN202311053258.3A CN202311053258A CN117079238A CN 117079238 A CN117079238 A CN 117079238A CN 202311053258 A CN202311053258 A CN 202311053258A CN 117079238 A CN117079238 A CN 117079238A
- Authority
- CN
- China
- Prior art keywords
- road edge
- coordinate system
- dimensional
- data
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003708 edge detection Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 15
- 238000012805 post-processing Methods 0.000 abstract description 10
- 238000002372 labelling Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种道路边沿检测方法、装置、设备及存储介质，获取待测区域的多帧激光雷达点云数据，根据多帧激光雷达点云数据生成待测区域的二维鸟瞰图，根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据，通过高度检测模型获取道路边沿的二维点序列数据对应的高度，得到道路边沿的三维点序列数据，再通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换得到目标坐标系下道路边沿的坐标数据。消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差提升了检测准确度，缩减了标注成本。相比现有技术不需要复杂的后处理逻辑，并且便于应用至下游多传感器信息融合服务。
Description
技术领域
本申请涉及智能驾驶技术领域，尤其涉及一种道路边沿检测方法、装置、设备及存储介质。
背景技术
道路边沿检测是自动驾驶的重要组成部分。目前业内广泛使用相机、lidar获取道路的图像和点云信息，一种是使用图像检测对相机采集信号进行目标检测得到图像中的道路边沿，还有一种是使用点云分割筛选路面点云再使用复杂的后处理逻辑进行道路边沿的线条拟合，从而实现道路边沿检测。
然而，前者纯图像的检测方案，得到的道路边沿是图像坐标系中的结果，通常还需要转换到车辆自车坐标系或者鸟瞰图坐标下才能使用，又因深度信息缺失使得这种转换只能做近似转换，存在近似建模计算误差，导致检测结果不准确。此外，这种方案需要在每张图像上人工标注车道线，同一个场景难以复用标注结果，每次检测模型训练都需要标注海量图像数据，导致标注成本高昂。后者Lidar点云的分割方案得到道路边沿需要大量后处理逻辑和规则设计才能拟合拼接出道路边沿线条，由于点云中标注道路区域和非道路区域是一件十分繁杂的工作，因而需要将所有点云准确标注，这种方案的标注数量虽没有纯图像方案中的标注数量高，但是每个场景所花费的标注时间远远超过单张图像标注时间，标注成本依然很高。
可见，现有的纯图像检测方案和Lidar点云分割方案存在标注成本过高、检测结果不准确以及后处理逻辑复杂等缺陷。
发明内容
本申请提供一种道路边沿检测方法、装置、设备及存储介质，用于克服自动驾驶中现有的道路检测方案存在的标注成本过高、检测结果不准确以及后处理逻辑复杂等技术问题。
第一方面，本申请提供一种道路边沿检测方法，包括：
获取待测区域的多帧激光雷达点云数据，并根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图；
根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，以得到所述道路边沿的三维点序列数据；
通过坐标转换方式对所述道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下所述道路边沿的坐标数据，所述目标坐标系与所述坐标转换方式具有对应关系。
在一种可能的设计中，所述根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图，包括：
将所述多帧激光雷达点云数据投影至世界坐标系，得到点云中间数据；
输入所述点云中间数据至鸟瞰图生成模型，得到所述待测区域的所述二维鸟瞰图。
在一种可能的设计中，所述根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，包括：
通过道路边沿识别模型识别所述二维鸟瞰图中的每一段道路边沿，得到所述待测区域内所述道路边沿的二维点序列数据；
其中，所述道路边沿识别模型是训练第一神经网络模型得到。
在一种可能的设计中，所述通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，包括：
通过所述高度检测模型将所述二维点序列数据投影至所述世界坐标系，得到所述道路边沿的二维点序列数据对应的高度，所述高度检测模型是训练第二神经网络模型得到。
在一种可能的设计中，所述目标坐标系包括车辆的传感器坐标系、车体坐标系、导航坐标系中的任意一种或多种，所述传感器坐标系包括相机坐标系、激光雷达坐标系、惯性测量单元坐标系以及轮速计坐标系中的一种或多种。
在一种可能的设计中，还包括：
根据所述道路边沿的坐标数据生成驾驶指令，响应所述驾驶指令控制所述车辆的自动驾驶行为。
在一种可能的设计中，所述第一神经网络和所述第二神经网络模型包括卷积神经网络。
第二方面，本申请提供一种道路边沿检测装置，包括：
第一处理模块，用于获取待测区域的多帧激光雷达点云数据，并根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图；
第二处理模块，用于根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，以得到所述道路边沿的三维点序列数据；
第三处理模块，用于通过坐标转换方式对所述道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下所述道路边沿的坐标数据，所述目标坐标系与所述坐标转换方式具有对应关系。
在一种可能的设计中，所述第一处理模块，具体用于：
将所述多帧激光雷达点云数据投影至世界坐标系，得到点云中间数据；
输入所述点云中间数据至鸟瞰图生成模型，得到所述待测区域的所述二维鸟瞰图。
在一种可能的设计中，所述第二处理模块，具体用于：
通过道路边沿识别模型识别所述二维鸟瞰图中的每一段道路边沿，得到所述待测区域内所述道路边沿的二维点序列数据；
其中，所述道路边沿识别模型是训练第一神经网络模型得到。
在一种可能的设计中，所述第二处理模块，还用于：
通过所述高度检测模型将所述二维点序列数据投影至所述世界坐标系，得到所述道路边沿的二维点序列数据对应的高度，所述高度检测模型是训练第二神经网络模型得到。
在一种可能的设计中，所述目标坐标系包括车辆的传感器坐标系、车体坐标系、导航坐标系中的任意一种或多种，所述传感器坐标系包括相机坐标系、激光雷达坐标系、惯性测量单元坐标系以及轮速计坐标系中的一种或多种。
在一种可能的设计中，所述道路边沿检测装置，还包括：控制模块；所述控制模块，用于：
根据所述道路边沿的坐标数据生成驾驶指令，响应所述驾驶指令控制所述车辆的自动驾驶行为。
在一种可能的设计中，所述第一神经网络和所述第二神经网络模型包括卷积神经网络。
第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面中所提供的任意一种可能的道路边沿检测方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中所提供的任意一种可能的道路边沿检测方法。
第五方面，本申请提供一种计算机程序产品，包括计算机执行指令，该计算机执行指令被处理器执行时用于实现第一方面中所提供的任意一种可能的道路边沿检测方法。
本申请提供一种道路边沿检测方法、装置、设备及存储介质，首先获取待测区域的多帧激光雷达点云数据，并根据多帧激光雷达点云数据生成待测区域的二维鸟瞰图，然后根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取道路边沿的二维点序列数据对应的高度，得到道路边沿的三维点序列数据，再通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据。利用激光雷达点云数据生成二维鸟瞰图进而实现道路边沿检测，消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差提升了检测准确度，缩减了标注成本。另外，相比现有技术不需要复杂的后处理逻辑，并且基于道路边沿的三维点序列可以得到目标坐标系下道路边沿的坐标数据，便于应用至下游多传感器信息融合服务例如支持车辆自动驾驶。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的一种道路边沿检测方法的流程示意图；
图3为本申请实施例提供的另一种道路边沿检测方法的流程示意图；
图4a至图4c为本申请实施例提供的待测区域的二维鸟瞰图至道路边沿的坐标数据的效果示意图；
图5为本申请实施例提供的一种道路边沿检测装置的结构示意图；
图6为本申请实施例提供的另一种道路边沿检测装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中的道路边沿检测，一种是使用图像检测对相机采集信号进行目标检测得到图像中的道路边沿，还有一种是使用点云分割筛选路面点云再使用复杂的后处理逻辑进行道路边沿的线条拟合。然而，前者需要进行图像坐标到鸟瞰图坐标的近似计算过程，存在近似建模计算误差，导致检测结果不准确，并且需要在每张图像上人工标注车道线，由于同一个场景难以复用标注结果，使得每次检测模型训练都需要标注海量图像数据，导致标注成本高昂。后者标注数量虽没有前者的标注数量高，但是每个场景所花费的标注时间远远超过单张图像标注时间，导致标注成本依然很高。再者，后者还需要大量后处理逻辑和规则才能拟合得到道路边沿线条。可见，现有的纯图像检测方案和Lidar点云分割方案存在标注成本过高、检测结果不准确以及后处理逻辑复杂等缺陷。
针对现有技术中存在的上述问题，本申请提供一种道路边沿检测方法、装置、设备及存储介质。本申请提供的道路边沿检测方法的发明构思在于：使用待测区域的多帧激光雷达点云数据得到待测区域的二维鸟瞰图，消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差，可以提升检测准确性。得到二维鸟瞰图之后，根据二维鸟瞰图获取待测区域道路边沿的二维点序列数据，可以将待测区域的二维鸟瞰图当作图像进行快速标注，虽然标注数量和现有的点云分割方案中的一样，但由于是当作图像标注，因此其标注时间相对于点云分割技术明显降低，而标注数量又明显少于纯图像方案中的标注数量，故而极大地缩减了标注成本。再者，得到道路边沿的二维点序列数据之后，通过高度检测模型获取道路边沿的二维点序列对应的高度，得到道路边沿的三维点序列数据，该三维点序列数据即为表征待测区域内的道路边沿，相比现有技术不需要复杂的后处理逻辑。此外，基于道路边沿的三维点序列可以得到目标坐标系下道路边沿的坐标数据，便于将检测到的道路边沿应用至下游多传感器信息融合服务例如支持车辆自动驾驶。
以下，对本申请实施例的示例性应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图。如图1所示，电子设备100被配置为可以执行本申请实施例提供的道路边沿检测方法，电子设备100可以例如车辆200上运行的电子控制单元(Electronic Control Unit，ECU)，以对待测区域300内的道路边沿实现检测，从而为车辆200的自动驾驶提供数据支撑。
例如，电子设备100首先获取待测区域的多帧激光雷达点云数据，并根据多帧激光雷达点云数据生成待测区域的二维鸟瞰图，然后根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取道路边沿的二维点序列数据对应的高度，得到道路边沿的三维点序列数据，再通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据。
可以理解的是，电子设备100还可以为车辆200上的其他控制器，图1中以ECU为例示出。另外，电子设备100也可以不运行于车辆200，例如其可以运行于无人机等其他设备以实现对待测区域道路边沿的检测。值得说明的是，上述应用场景仅仅是示意性的，本申请实施例提供的道路边沿检测方法、装置、设备及存储介质包括但不仅限应用于上述应用场景。
图2为本申请实施例提供的一种道路边沿检测方法的流程示意图。如图2所示，本申请实施例提供的道路边沿检测方法，包括：
S101：获取待测区域的多帧激光雷达点云数据，并根据多帧激光雷达点云数据生成待测区域的二维鸟瞰图。
采集待测区域的激光雷达点云数据，以获取到待测区域的多帧激光雷达点云数据，然后根据多帧激光利达点云数据得到待测区域的二维鸟瞰图(bev空间)。
在一些实施例中，例如可以通过激光雷达采集待测区域的激光雷达点云数据。
在一些实施例中，可以将待测区域的多帧激光雷达点云数据作为鸟瞰图生成模型的输入，获取鸟瞰图生成模型的输出，其输出即为多帧激光雷达点云数据对应的二维鸟瞰图。
可见，可以直接使用待测区域的多帧激光雷达点云数据得到待测区域的二维鸟瞰图，消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差，可以提升检测准确性。
S102：根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据。
得到待测区域的二维鸟瞰图之后，基于该二维鸟瞰图对待测区域内道路边沿进行识别，生成道路边沿的二维点序列数据，二维点序列数据表征待测区域内道路边沿的位置，也即根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据。待测区域内每一段道路边沿的二维点序列数据可以例如(x1，y1)、(x2，y2)、(x3，y3)、……、(xn，yn)。
在该过程中，待测区域的二维鸟瞰图可以被当作图像进行快速标注以实现道路边沿的位置的识别。其中待测区域的二维鸟瞰图的标注数量虽然和现有的点云分割方案中的一样，也即本申请中的标注数量少于纯图像方案中的标注数量，但由于是图像标注，因此其标注时间相对于点云分割技术明显降低，故而本申请中的标准成本相比与现有技术中从纯图像方案以及点云分割方法都极大地缩减了标注成本。
S103：通过高度检测模型获取道路边沿的二维点序列数据对应的高度，以得到道路边沿的三维点序列数据。
得到道路边沿的位置之后，进一步通过高度检测模型对二维点序列数据增加高度信息，也即得到道路边沿的二维点序列数据对应的高度，从而结合二维点序列数据得到待测区域每一段道路边沿的三维点序列数据。待测区域内每一段道路边沿的二维点序列数据可以例如(x1，y1、z1)、(x2，y2、z2)、(x3，y3、z3)、……、(xn，yn、zn)。
S104：通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据。
其中，目标坐标系与坐标转换方式具有对应关系。
得到的道路边沿的三维点序列数据为世界坐标系下，为了下游服务可以使用道路边沿的三维点序列数据，可以进一步根据下游服务中目标坐标系对应的坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据，以便于下游服务直接应用。
在一种可能的设计中，目标坐标系可以包括车辆的传感器坐标系、车体坐标系、导航坐标系中的任意一种或多种。可选地，传感器坐标系可以包括相机坐标系、激光雷达坐标系、惯性测量单元坐标系以及轮速计坐标系中的一种或多种。
可选地，下游服务可以例如车辆的自动驾驶，本申请实施例对于下游服务的具体内容不作限定。另外，坐标转换方式实质为将世界坐标系下的该到了边沿的三维点序列数据投影至目标坐标系，得到目标坐标系下道路边沿的坐标数据，本申请实施例对于坐标转换方式的具体内容也即坐标投影的具体内容亦不做限定，具体由世界坐标系与目标坐标系之间的坐标转换方式决定。
通过上述描述可见，本申请提供的道路边沿检测方法，利用激光雷达点云数据生成二维鸟瞰图进而实现道路边沿检测，消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差提升了检测准确度，缩减了标注成本。另外，相比现有技术不需要复杂的后处理逻辑，并且基于道路边沿的三维点序列可以得到目标坐标系下道路边沿的坐标数据，便于应用至下游多传感器信息融合服务。
图3为本申请实施例提供的另一种道路边沿检测方法的流程示意图。如图3所示，本申请实施例提供的道路边沿检测方法，包括：
S201：获取待测区域的多帧激光雷达点云数据。
例如，采集待测区域的激光雷达点云数据，以获取到待测区域的多帧激光雷达点云数据。
S202：将多帧激光雷达点云数据投影至世界坐标系，得到点云中间数据。
S203：输入点云中间数据至鸟瞰图生成模型，得到待测区域的二维鸟瞰图。
得到多帧激光雷达点云数据之后，将初始坐标系下的多帧激光雷达点云数据投影至世界坐标系，以得到激光雷达点云数据在世界坐标系下的对应数据，将该对应数据定义为点云中间数据。进而将点云中间数据作为鸟瞰图生成模型的输入，得到鸟瞰图生成模型的输出即为该点云中间数据所对应的待测区域的二维鸟瞰图。
可选地，初始坐标系可以为激光雷达对应坐标系，比如激光雷达坐标系。
在一种可能的设计中，鸟瞰图生成模型可以例如2D直立方图，pointpillars等，本申请实施例对于鸟瞰图生成模型的具体内容不作限定。
S204：通过道路边沿识别模型识别二维鸟瞰图中的每一段道路边沿，得到待测区域内道路边沿的二维点序列数据。
利用道路边沿点样本训练第一神经网络模型得到道路边沿识别模型，使得道路边沿识别模型具备图像中道路边沿识别能力。其中，道路边沿点样本为真实物理场景中道路边沿的二维数据，第一神经网络模型可以例如卷积神经网络(Convolutional NeuralNetworks，CNN)等神经网络模型。
通过训练得到的道路边沿识别模型对二维鸟瞰图中的每一段道路边沿进行识别，识别出道路边沿在二维鸟瞰图中的位置，给出表征该位置的二维点序列数据，也即道路边沿的二维点序列数据。
S205：通过高度检测模型将二维点序列数据投影至世界坐标系，得到道路边沿的二维点序列数据对应的高度，以得到道路边沿的三维点序列数据。
利用道路边沿高度样本训练第二神经网络模型得到高度检测模型，使得高度检测模型可以将待测区域内每一段道路边沿的二维点序列数据投影至世界坐标系，以为二维点序列数据增加其对应的高度，从而结合二维点序列数据得到每一段道路边沿的三维点序列数据。
可选地，道路边沿高度样本可以为真实物理场景中道路边沿的真实高度值，第二神经网络模型可以例如CNN等神经网络模型。
S206：通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据。
步骤S206可能的实现方式、技术原理及效果与步骤S104可能的实现方式、技术原理及效果相类似，详细内容可参考前述描述，在此不再赘述。
S207：根据道路边沿的坐标数据生成驾驶指令，响应驾驶指令控制车辆的自动驾驶行为。
根据道路边沿的坐标数据生成驾驶指令，驾驶指令用于指示车辆在自动驾驶场景中做出合理的路径规划和控制，进而响应驾驶指令控制车辆的自动驾驶行为，使得道路边沿的坐标数据为车辆的自动驾驶提供数据支撑，提高自动驾驶场景中的车辆安全。
通过上述实施例描述可见，本申请实施例提供的道路边沿检测方法中，直接使用激光雷达点云数据得到二维鸟瞰图，消除了图像坐标到鸟瞰图坐标的近似计算过程，避免近似建模计算误差提升了检测准确度。进一步，利用二维鸟瞰图得到道路边沿的二维点序列数据以及三维点序列数据，从而实现道路边沿检测，与现有技术相比其中的标注成本得到极大缩减，并且道路边沿识别模型和高度检测模块均采用了真实物理场景中的真值训练得到，进一步可以提升检测准确性同时，原始的激光雷达点云数据不再需要人工标注从而也可以降低标注成本。将道路边沿的三维点序列数据进行坐标转换得到目标坐标系例如其他车载传感器的坐标系下的道路边沿的坐标数据，便于下游服务比如自动驾驶，从而能够便于自动驾驶场景中的车辆做出合理的路径规划和控制，提高自动驾驶场景中的车辆安全。
图4a至4c为本申请实施例提供的待测区域的二维鸟瞰图至道路边沿的坐标数据的效果示意图。如图4a至4c所示，图4a表示的待测区域的二维鸟瞰图，图4a中的白点表示道路边沿；图4b表示识别出道路边沿得到二维点序列的二维鸟瞰图，图4b中的白线表示道路边沿；图4c表示道路边沿的三维点序列数据转换至目标坐标系比如相机坐标系下的道路边沿的坐标数据时的效果，参考图4c白色块以标记道路边沿。
图5为本申请实施例提供的一种道路边沿检测装置的结构示意图。如图5所示，本申请实施例提供的道路边沿检测装置400，包括：
第一处理模块401，用于获取待测区域的多帧激光雷达点云数据，并根据多帧激光雷达点云数据生成待测区域的二维鸟瞰图；
第二处理模块402，用于根据二维鸟瞰图获取待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取道路边沿的二维点序列数据对应的高度，得到道路边沿的三维点序列数据；
第三处理模块403，用于通过坐标转换方式对道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下道路边沿的坐标数据，目标坐标系与坐标转换方式具有对应关系。
在一种可能的设计中，第一处理模块401，具体用于：
将多帧激光雷达点云数据投影至世界坐标系，得到点云中间数据；
输入点云中间数据至鸟瞰图生成模型，得到待测区域的二维鸟瞰图。
在一种可能的设计中，第二处理模块402，具体用于：
通过道路边沿识别模型识别二维鸟瞰图中的每一段道路边沿，得到待测区域内道路边沿的二维点序列数据；
其中，道路边沿识别模型是训练第一神经网络模型得到。
在一种可能的设计中，第二处理模块402，还用于：
通过高度检测模型将二维点序列数据投影至世界坐标系，得到道路边沿的二维点序列数据对应的高度，高度检测模型是训练第二神经网络模型得到。
在一种可能的设计中，目标坐标系包括车辆的传感器坐标系、车体坐标系、导航坐标系中的任意一种或多种，传感器坐标系包括相机坐标系、激光雷达坐标系、惯性测量单元坐标系以及轮速计坐标系中的一种或多种。
在图5基础上，图6为本申请实施例提供的另一种道路边沿检测装置的结构示意图。如图6所示，本申请实施例提供的道路边沿检测装置400，还包括：控制模块404；该控制模块404，用于：
根据道路边沿的坐标数据生成驾驶指令，响应驾驶指令控制车辆的自动驾驶行为。
在一种可能的设计中，第一神经网络和第二神经网络模型包括卷积神经网络。
本申请实施例提供的道路边沿检测装置，可以执行上述方法实施例多道路边沿检测方法的相应步骤，其实现原理和技术效果类似，在此不再赘述。
图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，该电子设备500可以包括：处理器501，以及与处理器501通信连接的存储器502。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机执行指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(NoN-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现上述道路边沿检测方法。
其中，处理器501可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。当存储器502是独立于处理器501之外的器件时，电子设备500，还可以包括：
总线503，用于连接处理器501以及存储器502。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令用于上述实施例中的方法。
本申请还提供了一种计算机程序产品，包括计算机执行指令，该计算机指令被处理器执行时实现上述实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种道路边沿检测方法，其特征在于，包括：
获取待测区域的多帧激光雷达点云数据，并根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图；
根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，以得到所述道路边沿的三维点序列数据；
通过坐标转换方式对所述道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下所述道路边沿的坐标数据，所述目标坐标系与所述坐标转换方式具有对应关系。
2.根据权利要求1所述的道路边沿检测方法，其特征在于，所述根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图，包括：
将所述多帧激光雷达点云数据投影至世界坐标系，得到点云中间数据；
输入所述点云中间数据至鸟瞰图生成模型，得到所述待测区域的所述二维鸟瞰图。
3.根据权利要求2所述的道路边沿检测方法，其特征在于，所述根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，包括：
通过道路边沿识别模型识别所述二维鸟瞰图中的每一段道路边沿，得到所述待测区域内所述道路边沿的二维点序列数据；
其中，所述道路边沿识别模型是训练第一神经网络模型得到。
4.根据权利要求3所述的道路边沿检测方法，其特征在于，所述通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，包括：
通过所述高度检测模型将所述二维点序列数据投影至所述世界坐标系，得到所述道路边沿的二维点序列数据对应的高度，所述高度检测模型是训练第二神经网络模型得到。
5.根据权利要求1-4任一项所述的道路边沿检测方法，其特征在于，所述目标坐标系包括车辆的传感器坐标系、车体坐标系、导航坐标系中的任意一种或多种，所述传感器坐标系包括相机坐标系、激光雷达坐标系、惯性测量单元坐标系以及轮速计坐标系中的一种或多种。
6.根据权利要求5所述的道路边沿检测方法，其特征在于，还包括：
根据所述道路边沿的坐标数据生成驾驶指令，响应所述驾驶指令控制所述车辆的自动驾驶行为。
7.根据权利要求4所述的道路边沿检测方法，其特征在于，所述第一神经网络和所述第二神经网络模型包括卷积神经网络。
8.一种道路边沿检测装置，其特征在于，包括：
第一处理模块，用于获取待测区域的多帧激光雷达点云数据，并根据所述多帧激光雷达点云数据生成所述待测区域的二维鸟瞰图；
第二处理模块，用于根据所述二维鸟瞰图获取所述待测区域内道路边沿的二维点序列数据，并通过高度检测模型获取所述道路边沿的二维点序列数据对应的高度，以得到所述道路边沿的三维点序列数据；
第三处理模块，用于通过坐标转换方式对所述道路边沿的三维点序列数据进行坐标转换，得到目标坐标系下所述道路边沿的坐标数据，所述目标坐标系与所述坐标转换方式具有对应关系。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的道路边沿检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的道路边沿检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311053258.3A CN117079238A (zh) | 2023-08-18 | 2023-08-18 | 道路边沿检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311053258.3A CN117079238A (zh) | 2023-08-18 | 2023-08-18 | 道路边沿检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117079238A true CN117079238A (zh) | 2023-11-17 |
Family
ID=88707584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311053258.3A Pending CN117079238A (zh) | 2023-08-18 | 2023-08-18 | 道路边沿检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079238A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437602A (zh) * | 2023-12-21 | 2024-01-23 | 广州天奕技术股份有限公司 | 一种双图层数据标定方法、装置、设备及可读存储介质 |
-
2023
- 2023-08-18 CN CN202311053258.3A patent/CN117079238A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437602A (zh) * | 2023-12-21 | 2024-01-23 | 广州天奕技术股份有限公司 | 一种双图层数据标定方法、装置、设备及可读存储介质 |
| CN117437602B (zh) * | 2023-12-21 | 2024-03-22 | 广州天奕技术股份有限公司 | 一种双图层数据标定方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069856B (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及系统 | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
| CN110796007B (zh) | 场景识别的方法与计算设备 | |
| CN111046709B (zh) | 车辆车道级定位方法、系统、车辆及存储介质 | |
| CN109949594A (zh) | 实时的交通灯识别方法 | |
| WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN109829395B (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
| CN115164918B (zh) | 语义点云地图构建方法、装置及电子设备 | |
| CN113255578B (zh) | 交通标识的识别方法及装置、电子设备和存储介质 | |
| CN114764876A (zh) | 用于感知融合算法的评价方法以及评价装置 | |
| CN117079238A (zh) | 道路边沿检测方法、装置、设备及存储介质 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
| CN112115820A (zh) | 车载辅助驾驶方法及装置、计算机装置及可读存储介质 | |
| CN112036427A (zh) | 具有对象的真实感传感器融合检测估计的模拟 | |
| CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| CN113240750A (zh) | 三维空间信息测算方法及装置 | |
| CN110414374B (zh) | 一种障碍物位姿的确定方法、装置、设备及介质 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN115112125A (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
| CN115618602A (zh) | 一种车道级场景仿真方法及系统 | |
| CN115235493A (zh) | 一种基于矢量地图进行自动驾驶定位的方法及装置 | |
| CN115841660A (zh) | 距离预测方法、装置、设备、存储介质及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |