CN112270272B - 高精度地图制作中道路路口提取方法及系统 - Google Patents

高精度地图制作中道路路口提取方法及系统 Download PDF

Info

Publication number
CN112270272B
CN112270272B CN202011198952.0A CN202011198952A CN112270272B CN 112270272 B CN112270272 B CN 112270272B CN 202011198952 A CN202011198952 A CN 202011198952A CN 112270272 B CN112270272 B CN 112270272B
Authority
CN
China
Prior art keywords
point cloud
intersection
laser point
panoramic image
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011198952.0A
Other languages
English (en)
Other versions
CN112270272A (zh
Inventor
何豪杰
熊迹
周智颖
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202011198952.0A priority Critical patent/CN112270272B/zh
Publication of CN112270272A publication Critical patent/CN112270272A/zh
Application granted granted Critical
Publication of CN112270272B publication Critical patent/CN112270272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明实施例提供了一种高精度地图制作中道路路口提取方法及系统，首先获取采集车采集的数据，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息。然后根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；最后在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形。实现高精度地图制作中路口的全自动化提取，适用多种城市道路采集的场景，能够快速帮助作业员定位路口，极大地提高了高精度地图路口制作效率。并且，在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。

Description

高精度地图制作中道路路口提取方法及系统
技术领域
本发明涉及自动驾驶高精度地图制作领域，尤其涉及一种高精度地图制作中道路路口提取方法及系统。
背景技术
高精地图中包含了大量的驾驶辅助信息，而道路网络是高精度地图制作中重要的组成部分，由于路口的制作要素多、道路交叉复杂，所以制作比较耗时耗力。因此，目前亟需一种高精度地图制作中道路路口提取方法及系统来解决这一问题。
发明内容
本发明提供一种高精度地图制作中道路路口提取方法及系统，用以解决目前高精度地图制作过程中，路口的制作要素多、道路交叉复杂，导致高精度地图路口制作耗时耗力的问题。
第一方面，本发明实施例提供一种高精度地图制作中道路路口提取方法，包括：
S1，获取采集车采集的激光点云、全景图像和轨迹信息数据。
S2，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；
S3，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；
S4，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
优选的，在步骤S2中，所述路口要素目标包括路口和路口类其他要素；其中，路口类其他要素至少包括人形横道、停止线和路口倒流带。
优选的，步骤S2中，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息，具体包括：
S21，获取激光点云轨迹点对应的全景图像，根据图像目标检测算法检测全景图像中路口要素目标，对包含路口要素目标的全景图像进行标记；
S22，根据已标记的全景图像以及轨迹图片映射关系，获取路口要素目标在激光点云中对应的轨迹点，进而获取所述轨迹点附近的激光点云。
S23，通过预先训练的深度估计模型，对已标记的全景图像进行深度估计，获得已标记全景图像的深度图。
S24，根据已标记全景图像及其对应的深度图构建一个虚拟的三维点云，与S22中轨迹点附近的激光点云进行匹配融合，构建点云和图像融合后的特征，然后通过预先训练的3D检测模型，预测激光点云中的路口要素目标的3D包围框信息。
优选的，步骤S3中，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块，具体包括：
S31，根据激光点云中路口要素目标的位置信息将距离相近的多个路口要素目标进行关联；
S32，根据激光点云中相关联的路口要素目标，对激光点云进行切块，获得激光点云中的若干路口点云块。
优选的，步骤S4中，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形，具体包括：
S41，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的；
S42，提取所述二维鸟瞰图中路口要素目标的关键特征点后，根据二维鸟瞰图与激光点云的映射关系，获取激光点云中路口要素目标关键特征点的实际位置；
S43，根据激光点云轨迹线的方向，以及提取的关键特征点，构建路口封闭的多边形，完成高精度地图制作中路口多边形提取。
优选的，步骤S41中，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，具体包括：
通过预先训练的关键特征点检测模型对路口点云块的二维鸟瞰图进行关键特征点检测，获得路口要素目标的关键特征点。
优选的，所述路口要素目标的关键特征点至少包括停止线起始点终点和倒流带尖点。
第二方面，本发明实施例还提供一种高精度地图制作中道路路口提取系统，包括：
数据获取模块，用于获取采集车采集的激光点云、全景图像和轨迹信息数据。
目标检测模块，用于通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；
路口点云块获取模块，用于根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；
路口构建模块，用于在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述高精度地图制作中道路路口提取方法。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述高精度地图制作中道路路口提取方法。
本发明实施例提出的高精度地图制作中道路路口提取方法及系统，首先获取采集车采集的数据，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息。然后根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；最后在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形。实现高精度地图制作中路口的全自动化提取，适用多种城市道路采集的场景，能够快速帮助作业员定位路口，极大地提高了高精度地图路口制作效率。并且，在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。通过将全景图像的深度估计得到的虚拟三维信息和实际激光点云融合，能够有效的避免由于图像中的遮挡或激光点云缺失造成的目标丢失问题。使用全景图片深度估计得到的虚拟三维点云与真实激光点云的融合特征检测路口要素目标，使得特征更加丰富，提高了路口要素目标检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种高精度地图制作中道路路口提取方法流程示意图；
图2为本发明实施例提供的高精度地图制作中道路路口提取方法的完整流程图；
图3为本发明实施例提供的路口的示例图；
图4为本发明实施例提供的路口要素目标的关键特征点提取示例图；
图5为本发明实施例提供的路口多边形构建提取示意图；
图6为本发明实施例提供的高精度地图制作中道路路口提取系统的结构框图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
高精地图中包含了大量的驾驶辅助信息，而道路网络是高精度地图制作中重要的组成部分。高精度地图制作过程中，路口的制作要素多、道路交叉复杂，导致高精度地图路口制作耗时耗力。
因此，本发明实施例提出一种高精度地图制作中道路路口提取方法，首先通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；然后根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；最后在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形。实现高精度地图制作中路口的全自动化提取，适用多种城市道路采集的场景，能够快速帮助作业员定位路口，极大地提高了高精度地图路口制作效率。并且，在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。通过将全景图像的深度估计得到的虚拟三维点云和真实激光点云融合，能够有效的避免由于图像中的遮挡或激光点云缺失造成的目标丢失问题。使用虚拟三维点云和实际激光点云融合特征检测城市路口要素，使得特征更加丰富，提高了路口要素检测的准确率。以下将结合附图通过多个实施例进行展开说明和介绍。
图1是本发明实施例提供的一种高精度地图制作中道路路口提取方法流程示意图，图2为本发明实施例提供的高精度地图制作中道路路口提取方法的完整流程图。如图1所示，该方法包括以下步骤：
S1，获取采集车采集的激光点云、全景图像和轨迹信息数据。
可以理解的是，用于高精地图制作的采集车上携带有激光雷达、组合惯导、LIDAR和车载相机等传感器，能够采集激光点云、全景图像和轨迹信息数据。本发明获取采集车采集处理好的激光点云和全景图像以及轨迹信息数据。经过采集车采集处理后，还获得了轨迹图片映射关系，即激光点云轨迹点与全景图像的映射关系。
S2，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息。
具体的，本发明通过通过图像目标检测算法检测提取全景图像中路口要素目标，能够获取全景图像中路口要素目标的图像包围框位置。其中，路口要素目标包括路口和路口类其他要素；其中，路口类其他要素至少包括人形横道、停止线和路口倒流带。图3为本发明实施例提供的路口的示例图，图3中示出了几类常见的路口，其中，图3(a)是十字路口，图3(b)是T字路口，图3(c)是Y字路口。图3中包含了路口及路口类其他要素。
接着，根据已标记的全景图像以及轨迹图片映射关系，获取路口要素目标在激光点云中对应的轨迹点，进而获取所述轨迹点附近的激光点云。参照图2，然后，本发明通过深度估计将图像转换成三维的虚拟点云，然后与实际激光点云相融合，预测激光点云中的路口要素目标的3D包围框信息。路口要素目标的3D包围框信息即是激光点云中路口目标要素的位置信息。
S3，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块。
本发明根据激光点云中路口要素目标的位置信息，将距离相近的各个路口要素目标关联起来，对激光点云进行切块，获取路口点云块。
S4，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
本实施例中，将路口点云块的激光点云数据投影到二维平面，获得路口点云块的二维鸟瞰图。在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，关键特征点至少包括停止线起始点终点和倒流带尖点，图4为本发明实施例提供的路口要素目标的关键特征点提取示例图。在得到关键特征点后，利用关键特征点构建路口的多边形，即可完成采集车采集数据中路口的自动化提取。图5为本发明实施例提供的路口多边形构建提取示意图。
本发明实施例提出的高精度地图制作中道路路口提取方法，首先获取采集车采集的数据，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息。然后根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；最后在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形。实现高精度地图制作中路口的全自动化提取，适用多种城市道路采集的场景，能够快速帮助作业员定位路口，极大地提高了高精度地图路口制作效率。并且，在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。
在上述实施例的基础上，作为一个可选实施例，步骤S2中，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息，具体包括：
S21，获取激光点云轨迹点对应的全景图像，根据图像目标检测算法检测全景图像中路口要素目标，对包含路口要素目标的全景图像进行标记。
参照图2，为了提高路口的检测泛化能力，本发明采用基于深度学习的目标检测方法，预先训练一个路口要素目标检测模型，然后利用训练好的路口要素目标检测模型检测全景图像中路口要素目标，其中，路口要素目标包括路口和路口类其他要素，路口类其他要素包括人形横道、停止线和路口倒流带等。进一步，在路口要素目标检测完成后，对包含路口要素目标的全景图像进行标记，获得已标记全景图像。
本实施例在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。通过对全景图像中路口及路口类其他要素的提取，能够快速的获取激光点云中路口的范围，能够解决路口定位的问题。
S22，根据已标记的全景图像以及轨迹图片映射关系，获取路口要素目标在激光点云中对应的轨迹点，进而获取所述轨迹点附近的激光点云。
S23，通过预先训练的深度估计模型，对已标记的全景图像进行深度估计，获得已标记全景图像的深度图。
参照图2，本发明采用深度学习的方法预先训练获得深度估计模型。然后通过预先训练的深度估计模型，对已标记的全景图像进行深度估计。深度估计模型首先利用Resnet计算图像的特征图，然后通过一个加空洞卷积的SPP模块提取不同尺度的特征，融合多个尺度的特征构成匹配代价卷，采用跳跃式连接以及多层反卷积网络获取原尺度的卷积层，获得视差估计值，进而得到已标记全景图像的深度图。
S24，根据已标记全景图像及其对应的深度图构建一个虚拟的三维点云，与S22中轨迹点附近的激光点云进行匹配融合，构建点云和图像融合后的特征，然后通过预先训练的3D检测模型，预测激光点云中的路口要素目标的3D包围框信息。
具体的，参照图2，本发明根据已标记全景图像及其对应的深度图构建一个虚拟的三维点云，将虚拟的三维点云与步骤S22中得到的轨迹点附近的激光点云进行融合，构建了激光点云和全景图像融合后的特征。然后根据激光点云和全景图像融合后的特征，利用预先训练得到的3D检测模型，预测激光点云中的路口要素目标的3D包围框信息。
本发明实施例通过将全景图像的深度估计得到的虚拟三维信息和真实激光点云融合，能够有效的避免由于图像中的遮挡或激光点云缺失造成的目标丢失问题。并且，本发明使用全景图片深度估计得到的虚拟三维点云与真实激光点云的融合特征检测路口要素目标，使得特征更加丰富，提高了路口要素目标检测的准确率。
在上述各实施例的基础上，作为一个可选实施例，步骤S3中，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块，具体包括：
S31，根据激光点云中路口要素目标的位置信息将距离相近的多个路口要素目标进行关联。本实施例中，对于任意两个路口要素目标，若二者的距离不超过预设距离阈值，则将两个路口要素目标相关联，进而通过此方法将激光点云中距离相近的多个路口要素目标进行关联。
S32，根据激光点云中相关联的路口要素目标，对激光点云进行切块，获得激光点云中的若干路口点云块。本实施例根据激光点云中相关联的路口要素目标，对激光点云进行切块，能够保留包含可能存在路口的激光点云块。根据点云块与点云块之间的距离以及点云块的尺寸等特征，过滤过小、过大以及不合理的点云块。即可获取多个独立的路口点云块。
本发明实施例根据各路口要素目标之间的距离，将同一路口的路口要素目标关联在一起，能够获取同一路口的路口要素目标，有助于路口点云块的提取。
在上述各实施例的基础上，作为一个可选实施例，步骤S4中，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形，具体包括：
S41，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
图4为本发明实施例提供的路口要素目标的关键特征点提取示例图。本实施例中，将路口点云块的激光点云数据投影到二维平面，获得路口点云块的二维鸟瞰图。然后，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，关键特征点至少包括停止线起始点终点和倒流带尖点。
参照图2，为提高关键特征点提取算法的泛化能力，本发明采用深度学习的方法，预先训练得到关键特征点检测模型，利用训练完成的关键特征点检测模型对路口点云块的二维鸟瞰图进行关键特征点检测，获得路口要素目标的关键特征点，如图4所示。
S42，提取所述二维鸟瞰图中路口要素目标的关键特征点后，根据二维鸟瞰图与激光点云的映射关系，获取激光点云中路口要素目标关键特征点的实际位置。
S43，根据激光点云轨迹线的方向，以及提取的关键特征点，构建路口封闭的多边形，完成高精度地图制作中路口多边形提取。
本实施例中，在步骤S41得到二维鸟瞰图中路口要素目标的关键特征点后，根据二维鸟瞰图与激光点云的映射关系，获取激光点云中路口要素目标关键特征点的实际位置。
进一步地，根据二维鸟瞰图中路口要素目标的关键特征点，以及激光点云轨迹线的方向，制作路口封闭的多边形，即可完成高精度地图制作中路口的自动化提取。图5为本发明实施例提供的路口多边形构建提取示意图。
图6为本发明实施例提供的高精度地图制作中道路路口提取系统的结构框图，参照图6，该系统包括数据获取模块601、目标检测模块602、路口点云块获取模块603和路口构建模块604，其中：
数据获取模块601，用于获取采集车采集的激光点云、全景图像和轨迹信息数据。
目标检测模块602，用于通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；
路口点云块获取模块603，用于根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；
路口构建模块604，用于在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
具体的如何利用数据获取模块601、目标检测模块602、路口点云块获取模块603和路口构建模块604进行高精度地图制作中道路路口的自动化提取，可以参照上述方法实施例，本发明实施例在此不再赘述。
本发明实施例提出的高精度地图制作中道路路口提取系统，首先获取采集车采集的数据，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息。然后根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；最后在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形。实现高精度地图制作中路口的全自动化提取，适用多种城市道路采集的场景，能够快速帮助作业员定位路口，极大地提高了高精度地图路口制作效率。并且，在检测路口的同时，关联检测路口类其他要素，极大地降低了路口的漏检率。
在一个实施例中，基于相同的构思，本发明实施例提供了本发明实施例提供了一种电子设备，如图7所示，该电子设备可以包括：处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行上述各实施例提供的高精度地图制作中道路路口提取方法的步骤，例如包括：S1，获取采集车采集的激光点云、全景图像和轨迹信息数据。S2，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；S3，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；S4，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
在一个实施例中，基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的高精度地图制作中道路路口提取方法的步骤，例如包括：S1，获取采集车采集的激光点云、全景图像和轨迹信息数据。S2，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；S3，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；S4，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种高精度地图制作中道路路口提取方法，其特征在于，包括：
S1，获取采集车采集的激光点云、全景图像和轨迹信息数据；对激光点云、全景图像和轨迹信息数据进行处理，获得轨迹图片映射关系；其中，轨迹图片映射关系是激光点云轨迹点与全景图像的映射关系；
S2，通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；S2具体包括：S21，获取激光点云轨迹点对应的全景图像，根据图像目标检测算法检测全景图像中路口要素目标，对包含路口要素目标的全景图像进行标记；
S22，根据已标记的全景图像以及轨迹图片映射关系，获取路口要素目标在激光点云中对应的轨迹点，进而获取所述轨迹点附近的激光点云；
S23，通过预先训练的深度估计模型，对已标记的全景图像进行深度估计，获得已标记全景图像的深度图；
S24，根据已标记全景图像及其对应的深度图构建一个虚拟的三维点云，与S22中轨迹点附近的激光点云进行匹配融合，构建点云和图像融合后的特征，然后通过预先训练的3D检测模型，预测激光点云中的路口要素目标的3D包围框信息；
S3，根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；S3具体包括：S31，根据激光点云中路口要素目标的位置信息将距离相近的多个路口要素目标进行关联；
S32，根据激光点云中相关联的路口要素目标，对激光点云进行切块，获得激光点云中的若干路口点云块；
S4，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
2.根据权利要求1所述的高精度地图制作中道路路口提取方法，其特征在于，在步骤S2中，所述路口要素目标包括路口和路口类其他要素；其中，路口类其他要素至少包括人行横道、停止线和路口倒流带。
3.根据权利要求1所述的高精度地图制作中道路路口提取方法，其特征在于，步骤S4中，在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形，具体包括：
S41，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的；
S42，提取所述二维鸟瞰图中路口要素目标的关键特征点后，根据二维鸟瞰图与激光点云的映射关系，获取激光点云中路口要素目标关键特征点的实际位置；
S43，根据激光点云轨迹线的方向，以及提取的关键特征点，构建路口封闭的多边形，完成高精度地图制作中路口多边形提取。
4.根据权利要求3所述的高精度地图制作中道路路口提取方法，其特征在于，步骤S41中，在路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，具体包括：
通过预先训练的关键特征点检测模型对路口点云块的二维鸟瞰图进行关键特征点检测，获得路口要素目标的关键特征点。
5.根据权利要求3或4所述的高精度地图制作中道路路口提取方法，其特征在于，所述路口要素目标的关键特征点至少包括停止线起始点终点和倒流带尖点。
6.一种高精度地图制作中道路路口提取系统，其特征在于，包括：
数据获取模块，用于获取采集车采集的激光点云、全景图像和轨迹信息数据，对激光点云、全景图像和轨迹信息数据进行处理，获得轨迹图片映射关系；其中，轨迹图片映射关系是激光点云轨迹点与全景图像的映射关系；
目标检测模块，用于通过图像目标检测算法检测提取全景图像中路口要素目标，结合轨迹信息数据，获取激光点云中路口要素目标的位置信息；目标检测模块具体用于：获取激光点云轨迹点对应的全景图像，根据图像目标检测算法检测全景图像中路口要素目标，对包含路口要素目标的全景图像进行标记；根据已标记的全景图像以及轨迹图片映射关系，获取路口要素目标在激光点云中对应的轨迹点，进而获取所述轨迹点附近的激光点云；通过预先训练的深度估计模型，对已标记的全景图像进行深度估计，获得已标记全景图像的深度图；根据已标记全景图像及其对应的深度图构建一个虚拟的三维点云，与S22中轨迹点附近的激光点云进行匹配融合，构建点云和图像融合后的特征，然后通过预先训练的3D检测模型，预测激光点云中的路口要素目标的3D包围框信息；
路口点云块获取模块，用于根据激光点云中路口要素目标的位置信息，获取激光点云中的路口点云块；路口点云块获取模块具体用于：根据激光点云中路口要素目标的位置信息将距离相近的多个路口要素目标进行关联；根据激光点云中相关联的路口要素目标，对激光点云进行切块，获得激光点云中的若干路口点云块；
路口构建模块，用于在所述路口点云块的二维鸟瞰图中提取路口要素目标的关键特征点，构建路口多边形；其中，所述二维鸟瞰图是将路口点云块的激光点云数据投影到二维平面得到的。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述高精度地图制作中道路路口提取方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述高精度地图制作中道路路口提取方法的步骤。
CN202011198952.0A 2020-10-31 2020-10-31 高精度地图制作中道路路口提取方法及系统 Active CN112270272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011198952.0A CN112270272B (zh) 2020-10-31 2020-10-31 高精度地图制作中道路路口提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011198952.0A CN112270272B (zh) 2020-10-31 2020-10-31 高精度地图制作中道路路口提取方法及系统

Publications (2)

Publication Number Publication Date
CN112270272A CN112270272A (zh) 2021-01-26
CN112270272B true CN112270272B (zh) 2022-07-29

Family

ID=74345477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011198952.0A Active CN112270272B (zh) 2020-10-31 2020-10-31 高精度地图制作中道路路口提取方法及系统

Country Status (1)

Country Link
CN (1) CN112270272B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049700A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种目标检测方法及装置
CN113470348B (zh) * 2021-06-07 2022-07-05 北京三快在线科技有限公司 用于构建道路的交汇口路面的方法、装置、介质及设备
CN114663612A (zh) * 2022-03-24 2022-06-24 北京百度网讯科技有限公司 一种高精度地图构建方法、装置及电子设备
CN114898585B (zh) * 2022-04-20 2023-04-14 清华大学 基于路口多视角的车辆轨迹预测规划方法及系统
CN117495847B (zh) * 2023-12-27 2024-03-19 安徽蔚来智驾科技有限公司 路口检测方法、可读存储介质及智能设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944018A (zh) * 2017-12-11 2018-04-20 江苏省测绘工程院 一种基于激光点云数据的矢量地图位置精度自动质检方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632210B2 (en) * 2013-05-07 2017-04-25 Google Inc. Methods and systems for detecting weather conditions using vehicle onboard sensors
CN108460779B (zh) * 2018-02-12 2021-09-24 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
US10620317B1 (en) * 2018-12-23 2020-04-14 Chongqing Jinkang New Energy Automobile Co., Ltd. Lidar-based high definition map generation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944018A (zh) * 2017-12-11 2018-04-20 江苏省测绘工程院 一种基于激光点云数据的矢量地图位置精度自动质检方法

Also Published As

Publication number Publication date
CN112270272A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112270272B (zh) 高精度地图制作中道路路口提取方法及系统
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
EP3171292B1 (en) Driving lane data processing method, device, storage medium and apparatus
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
CA2678156C (en) Measurement apparatus, measurement method, and feature identification apparatus
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN111190199B (zh) 定位方法及定位装置、计算机设备和可读存储介质
WO2020156923A2 (en) Map and method for creating a map
CN114034295A (zh) 高精地图生成方法、装置、电子设备、介质及程序产品
CN114037966A (zh) 高精地图特征提取方法、装置、介质及电子设备
CN114494618B (zh) 地图的生成方法、装置、电子设备及存储介质
CN116734828A (zh) 道路拓扑信息的确定、电子地图数据处理方法、电子设备
CN114758086A (zh) 一种城市道路信息模型的构建方法及装置
CN114485690A (zh) 导航地图的生成方法、装置、电子设备及存储介质
CN113112597A (zh) 交通元素的显示方法、装置、电子设备及存储介质
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN112507887B (zh) 一种路口标志牌提取及关联的方法及装置
WO2022237210A1 (zh) 障碍物信息生成
KR102384429B1 (ko) 도로지도 구축을 위한 도로 혼잡 위치 판별 및 재조사 경로 생성 방법
CN112258568B (zh) 一种高精度地图要素的提取方法及装置
WO2022193193A1 (zh) 数据处理方法和设备
CN114913470A (zh) 一种事件检测方法及装置
Yang et al. Road detection by RANSAC on randomly sampled patches with slanted plane prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant