CN116839564A - 一种高精地图构建辅助方法、设备及介质 - Google Patents

一种高精地图构建辅助方法、设备及介质 Download PDF

Info

Publication number
CN116839564A
CN116839564A CN202310602298.2A CN202310602298A CN116839564A CN 116839564 A CN116839564 A CN 116839564A CN 202310602298 A CN202310602298 A CN 202310602298A CN 116839564 A CN116839564 A CN 116839564A
Authority
CN
China
Prior art keywords
point cloud
coordinates
map
camera
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310602298.2A
Other languages
English (en)
Inventor
王健
高发钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202310602298.2A priority Critical patent/CN116839564A/zh
Publication of CN116839564A publication Critical patent/CN116839564A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种高精地图构建辅助方法、设备及介质，属于计算机视觉技术领域。该方法获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据。基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标。根据二维图像数据的像素点坐标对应的RGB值及点云投影坐标，在点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标。基于色彩辅助点云坐标及点云数据，确定相应的待标注地图。将待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的待标注地图对待标注地图中待标注对象进行的标注操作，将标注后的待标注对象呈现在待标注地图中的用户标注位置。

Description

一种高精地图构建辅助方法、设备及介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种高精地图构建辅助方法、设备及介质。
背景技术
高精地图(HD map)是一种用于自动驾驶的高精度地图，包含道路形状、道路标记、交通标志和障碍物等地图元素。地图精度可以到厘米级别。
目前，用于机器人、汽车等导航的高精地图，大多是预先对道路的全部信息进行采集，得到涵盖道路丰富三维空间信息的点云地图，由专业人员对道路形状、道路标记、交通标志等地图元素进行标注处理之后生成的。
用于标注处理的点云地图是基于点云数据的三维地图，通常由若干点云数据组成，每个点云数据表示一个特定区域的三维信息。点云地图的精度有限，对于各地图元素的精准参照难以给出，需要人工进行不断地修正标注的地图元素。这使得高精地图的构建十分耗时，构建效率低，且对于不同工作经验的专业人员，最终构建的高精地图的准确程度，也参差不齐，最终影响高精地图的使用效果。
发明内容
本申请实施例提供了一种高精地图构建辅助方法、设备及介质，用于解决当前高精地图构建效率低，且构建的高精地图的准确程度低的问题。
一方面，本申请实施例提供了一种高精地图构建辅助方法，该方法包括：
获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据；所述二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与所述点云数据的拍摄地理位置坐标对应；所述标定包括：与所述激光雷达的外参标定、所述摄像头的内参标定；
基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标；
根据所述二维图像数据的所述像素点坐标对应的RGB值及所述点云投影坐标，在所述点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标；
基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图；其中，所述待标注地图至少包括将与所述色彩辅助点云坐标对应的所述点云数据映射至平面中若干二维网格所形成的反射值地图；所述反射值地图至少包括亮度信息；
将所述待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的所述待标注地图对所述待标注地图中待标注对象进行的标注操作，将标注后的所述待标注对象呈现在所述待标注地图中的用户标注位置。
在本申请的一种实现方式中，基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标，具体包括：
基于所述摄像头的预置内参矩阵及所述摄像头与所述激光雷达的预置外参矩阵，将所述点云数据的点云坐标转换至与所述摄像头对应的图像坐标系，以确定相应的若干像素点坐标；所述像素点坐标为所述点云坐标在所述二维图像数据中对应的坐标；
通过预设像素区域划分范围，筛选各所述像素点坐标，以将筛选后的各所述像素点坐标作为所述点云投影坐标。
在本申请的一种实现方式中，所述内参矩阵为通过张正友标定法对所述摄像头进行相机标定得到的；
所述外参矩阵包括与所述激光雷达、所述摄像头之间的预定安装位置参数对应的平移子矩阵及与所述激光雷达、所述摄像头之间的预定坐标系标定参数对应的旋转子矩阵。
在本申请的一种实现方式中，基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图，具体包括：
将与所述色彩辅助点云坐标对应的所述点云数据，更新至预先基于即时定位与地图构建SLAM建图得到的点云地图，确定所述待标注地图。
在本申请的一种实现方式中，获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据之前，所述方法还包括：
计算所述点云数据的第一时间戳与所述二维图像数据的第二时间戳的差值；
在所述差值与预设比对阈值匹配的情况下，将与所述第一时间戳对应的所述第二时间戳的所述二维图像数据，作为所述点云数据同步采集的所述二维图像数据。
在本申请的一种实现方式中，获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据之后，所述方法还包括：
将所述二维图像数据中各像素点坐标，输入预设畸变矫正模型；所述畸变矫正模型至少包括：径向畸变矫正子模型、切向畸变矫正子模型；所述畸变矫正模型包括通过张正友标定法进行相机标定得到的多个畸变参数；
将所述畸变矫正模块输出的矫正后的像素点坐标，更新至所述二维图像数据。
在本申请的一种实现方式中，基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标之前，所述方法还包括：
根据所述激光雷达的标签，确定与所述激光雷达对应的点云区域划分表；其中，所述点云区域划分表包括过滤所述点云坐标的坐标值取值区间；
将所述点云数据中各所述点云坐标与所述点云区域划分表进行匹配，以过滤所述点云数据中的坐标值不处于相应的所述坐标值取值区间的点云坐标。
在本申请的一种实现方式中，所述摄像头至少包括：一个和/或多个单目相机、全景相机。
另一方面，本申请实施例还提供了一种高精地图构建辅助设备，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据；所述二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与所述点云数据的拍摄地理位置坐标对应；所述标定包括：与所述激光雷达的外参标定、所述摄像头的内参标定；
基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标；
根据所述二维图像数据的所述像素点坐标对应的RGB值及所述点云投影坐标，在所述点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标；
基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图；其中，所述待标注地图至少包括将与所述色彩辅助点云坐标对应的所述点云数据映射至平面中若干二维网格所形成的反射值地图；所述反射值地图至少包括亮度信息；
将所述待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的所述待标注地图对所述待标注地图中待标注对象进行的标注操作，将标注后的所述待标注对象呈现在所述待标注地图中的用户标注位置。
再一方面，本申请实施例还提供了一种高精地图构建辅助非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令能够执行：
获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据；所述二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与所述点云数据的拍摄地理位置坐标对应；所述标定包括：与所述激光雷达的外参标定、所述摄像头的内参标定；
基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标；
根据所述二维图像数据的所述像素点坐标对应的RGB值及所述点云投影坐标，在所述点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标；
基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图；其中，所述待标注地图至少包括将与所述色彩辅助点云坐标对应的所述点云数据映射至平面中若干二维网格所形成的反射值地图；所述反射值地图至少包括亮度信息；
将所述待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的所述待标注地图对所述待标注地图中待标注对象进行的标注操作，将标注后的所述待标注对象呈现在所述待标注地图中的用户标注位置。
本申请通过上述方案，将二维图像数据中的色彩信息添加至点云数据，进而生成高精地图的方式，使得用户能够根据具有色彩的点云地图，进行标注工作。一方面，具有色彩辅助的点云地图，方便用户识别点云地图中地图元素(待标注对象)位置、大小及形状相关信息，也能够在用户后续进行校验时，降低校验工作量，提高高精地图的构建效率。另一方面，对于不同标注工作经验的用户而言，提供带有色彩的待标注地图，让用户能够直观且更方便地参考待标注对象的色彩及所处的色彩区域，更加容易对待标注对象进行标注，可以提高构建高精地图的准确性，同时保障高精地图的使用效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种高精地图构建辅助方法对应的一种机器人的结构示意图；
图2为本申请实施例中一种高精地图构建辅助方法的流程示意图；
图3为本申请实施例中一种高精地图构建辅助方法中的坐标系旋转示意图；
图4为本申请实施例中一种高精地图构建辅助设备的结构示意图。
部件和附图标记列表：
101、激光雷达；102、单目相机；103、云台；301、激光雷达坐标系；302、旋转子矩阵；303、摄像头坐标系。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在机器人导航领域，点云地图是一种基于点云数据的三维地图，通常由多个点云数据组成，每个点云数据表示一个特定区域的XYZ三维信息。点云地图可以提供更加真实、精确的三维环境信息，有助于机器人和自动驾驶系统更加准确地感知和理解周围环境，常用于实时即时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)定位。然而，点云地图的精度有限，其能表述的语义信息也相对局限，需要通过高精地图进行约束及丰富，以提高导航精度。高精地图通常包括车道、车道线、马路边缘等信息，但是绘制高精地图的难度较大，一般需要以激光SLAM构建的点云地图为参照，由人工绘制。同时，点云地图不能对车道线、马路边缘等地图元素的绘制提供精确的参照，人工需要查看二维图像或者按照经验，在点云地图中进行绘制地图元素。
这使得高精地图的构建过程过于繁琐，高精地图的构建效率低，且构建的高精地图可能存在精准度差的问题。
基于此，本申请实施例提供了一种高精地图构建辅助方法、设备及介质，用来解决当前高精地图构建效率低，构建过程繁琐，且构建的高精地图的准确程度低的问题。
以下结合附图，详细说明本申请的各个实施例。
本申请实施例提供了一种高精地图构建辅助方法，在高精地图构建之前，需要对高精地图相关构成数据进行采集，包括但不限于点云数据、二维图像数据。在本申请中，用于采集点云数据的激光雷达可以是设置于机器人(如室外导航机器人)上的，用于采集二维图像数据的摄像头也设置与该导航机器人上，如图1所示，该导航机器人包括激光雷达101、单目相机102以及云台103，该导航机器人可以按照规定的导航路径进行行驶，采集外界环境相应的点云数据、二维图像数据。激光雷达101可以采用32线激光雷达，用于采集更加丰富、精确的环境信息。本申请采用单目相机，可以降低机器人的成本，并且单目相机易于安装，便于导航机器人的使用。在某些场景下，也可以在导航机器人设置多个单目相机或全景相机，采集更多的二维图像数据。
此外，本申请的导航机器人还具有其他传感器，包括但不限于惯性测量单元(Inertial Measurement Unit，IMU)、里程计。此外，本申请的导航机器人还可以是自动驾驶汽车、自动驾驶电动车等，本申请对此不作具体限定。
本申请实施例提供了一种高精地图构建辅助方法，如图2所示，该方法可以包括步骤S201-S205：
S201，服务器获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据。
二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与点云数据的拍摄地理位置坐标对应。标定包括：与激光雷达的外参标定、摄像头的内参标定。
其中，二维图像数据的拍摄地理位置坐标与点云数据的拍摄地理位置坐标对应指的是，完成标定后的摄像头及激光雷达，采集同一预定地理位置坐标的场景中二维图像数据及点云数据。如图1中激光雷达与摄像头采集的同一方向、同一时间戳的点云数据及二维图像数据，即为二者拍摄地理位置坐标对应。
需要说明的是，服务器作为高精地图构建辅助方法的执行主体，仅为示例性存在，执行主体不仅限于服务器，本申请对此不作具体限定。
在本申请实施例中，激光雷达与摄像头已完成传感器标定工作，具体地，摄像头可以使用张正友标定法进行内参标定，得到摄像头内参矩阵及相应的畸变参数。激光雷达与摄像头的外参标定可以是根据二者在机器人上的安装位置参数，以及激光雷达与摄像头分别对应的坐标系得到，安装位置参数可以是用户在安装传感器时设置的位置坐标，外参矩阵中平移子矩阵是从激光雷达位置坐标平移至摄像头位置坐标的矩阵；外参矩阵中旋转子矩阵是从激光雷达坐标系转移至摄像头坐标系的矩阵，旋转子矩阵中包括预定坐标系标定参数，如图3所示，激光雷达坐标系301通过旋转子矩阵302，转换至摄像头坐标系303。
上述内参矩阵为通过张正友标定法对摄像头进行相机标定得到的。外参矩阵包括与激光雷达、摄像头之间的预定安装位置参数对应的平移子矩阵及与激光雷达、摄像头之间的预定坐标系标定参数对应的旋转子矩阵。
其中，旋转子矩阵R举例如下：
上述摄像头(相机)内参标定的实施例中，张正友标定法是一种基于平面标定板的相机标定方法，通过拍摄不同位置和姿态下的标定板图像，计算出摄像头的内参以及畸变参数。具体地，通过标定板上的已知点坐标和相应的像素坐标，建立相机坐标系和图像坐标系之间的映射关系，从而得到相机的内参矩阵和畸变系数。设相机的内参矩阵为K，K是一个3×3的矩阵，通常表示为：
其中，fx、fy是摄像头(相机)的焦距，cx、cy是相机成像平面上的主点坐标，矩阵K描述了相机成像过程中的内部参数，对于相机的成像质量和几何关系具有重要影响。在张正友标定法的内参标定过程中，畸变参数可以组成一个5×1的向量，如(k1,k2,k3,p1,p2)，其中，k1为径向畸变的第一参数，k2为径向畸变的第二参数，k3为径向畸变的第三参数，p1为切向畸变的第一参数，p2为切向畸变的第二参数。相机畸变是由于相机镜头的制造和安装等因素导致的图像失真现象，会影响图像的质量和精度，需结合畸变参数来消除相机畸变。而相机内参是与相机成像像素尺寸有关的，因此在标定时应将相机成像设定像素尺寸为与实际使用中一致，例如相机成像像素尺寸在1920×1080及以上，该相机成像设定像素尺寸仅为示例性存在，本申请对于具体相机成像设定像素尺寸不作具体限定。
在本申请实施例中，由于激光雷达与摄像头的频率可能不同，如激光雷达频率为10赫兹，摄像头频率为30赫兹，二者分别采集到的点云数据、二维图像数据的采集时间不同，使得采集的场景、物体不对应。基于此，服务器在获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据之前，方法还包括：
服务器计算点云数据的第一时间戳与二维图像数据的第二时间戳的差值。在差值与预设比对阈值匹配的情况下，将与第一时间戳对应的第二时间戳的二维图像数据，作为点云数据同步采集的二维图像数据。
换言之，服务器可以进行同一时刻下点云数据和二维图像数据的获取，如点云数据的第一时间戳为00:02，二维图像数据的第二时间戳为00:01，差值绝对值为00:01，将差值与预设比对阈值比对，例如用户预先设定比对阈值为00:00，差值预设比对阈值，则差值与预设比对阈值不匹配，该二维图像数据不是点云数据同步采集的。
服务器还可以根据差值的正负，将计算当前第一时间戳与下一二维图像数据的第二时间戳差值，或者计算下一点云数据的第一时间戳与当前第二时间戳之间的差值。如第一时间戳减第二时间戳的差值为正数，且该差值与比对阈值不匹配，服务器可以将计算当前第一时间戳与下一二维图像数据的第二时间戳差值，直至确定差值与预设比对阈值匹配的第二时间戳；如第一时间戳减第二时间戳的差值为负数，且该差值与比对阈值不匹配，服务器可以将计算下一点云数据的第一时间戳与当前第二时间戳差值，直至确定差值与预设比对阈值匹配的第一时间戳。进而得到点云数据同步采集的二维图像数据。此外，上述比对阈值在与差值匹配时，通过将比对阈值的邻域区间与差值进行匹配，得到相应的匹配结果。比对阈值的领域区间半径可以由用户自行设定，该领域区间半径可以为用户设定的差值误差，例如设置为1秒，比对阈值为0，则时间戳差值在[-1,1]内的点云数据及二维图像数据即为同步采集的。其中，上述1秒在此仅为示例性存在，具体设置方式可以根据实际使用场景进行设定，本申请对此不作具体限定。
本申请可以通过机器人操作系统(Robot Operating System，ROS)中的同步回调函数，实现获取同一时刻的点云数据及二维图像数据的功能。
在本申请的一个实施例中，得到上述的摄像头畸变参数，服务器能够在获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据之后，可以包括：
服务器将二维图像数据中各像素点坐标，输入预设畸变矫正模型。畸变矫正模型至少包括：径向畸变矫正子模型、切向畸变矫正子模型。畸变矫正模型包括通过张正友标定法进行相机标定得到的多个畸变参数。将畸变矫正模块输出的矫正后的像素点坐标，更新至二维图像数据。
畸变矫正模型的径向畸变矫正子模型：
畸变矫正模型的切向畸变矫正子模型：
其中，x0表示输入至畸变矫正模型中的像素点坐标的横坐标，y0表示输入至畸变矫正模型中的像素点坐标的纵坐标，x表示畸变矫正模型输出的像素点坐标的横坐标，y表示畸变矫正模型输出的像素点坐标的纵坐标，r表示以摄像头光轴中心的点为原点的半径。
服务器在得到畸变矫正模型输出的像素点坐标之后，可以更新原二维图像数据中的各原像素点坐标为畸变矫正后的像素点坐标。
S202，服务器基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标。
在本申请实施例中，基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标之前，方法还包括：
服务器根据激光雷达的标签，确定与激光雷达对应的点云区域划分表。其中，点云区域划分表包括过滤点云坐标的坐标值取值区间。将点云数据中各点云坐标与点云区域划分表进行匹配，以过滤点云数据中的坐标值不处于相应的坐标值取值区间的点云坐标。
也就是说，在服务器或与服务器连接的数据库中存储有激光雷达相应的标签，用于唯一标识激光雷达。与各标签对应的点云区域划分表可以包含用于过滤点云坐标的坐标值取值区间，用于过滤点云坐标及其对应的点云数据点。例如对于激光雷达坐标系下的横坐标值的坐标值取值区间为(0，10)，其中，横坐标可以对应于激光雷达采集的点云数据点的远近，纵坐标可以对应于激光雷达采集的点云数据点在同一水平面的宽度，竖坐标可以对应与激光雷达采集的点云数据点的高度。实际使用过程中，点云区域划分表中可以存储有横坐标与纵坐标分别对应的坐标值取值区间。
上述实施例可以理解的是，点云数据点的点云坐标由(x，y，z)来表示在激光雷达坐标系下点云数据点在各方向的距离，首先过滤掉过高及过远的点云，由于在激光雷达坐标系下，x表示向前，z表示向上，通过限制x，z的范围即可达到目的，即过滤掉横坐标值x大于某一固定数值(例如10m)，或竖坐标值z大于某一固定数值(例如2m)的点云坐标及其对应的点云数据点。
在本申请实施例中，基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标，具体包括：
服务器基于摄像头的预置内参矩阵及摄像头与激光雷达的预置外参矩阵，将点云数据的点云坐标转换至与摄像头对应的图像坐标系，以确定相应的若干像素点坐标。像素点坐标为点云坐标在二维图像数据中对应的坐标。通过预设像素区域划分范围，筛选各像素点坐标，以将筛选后的各像素点坐标作为点云投影坐标。
在上述S201步骤的实施例中，完成摄像头的相机标定工作之后，可以得到内参矩阵及外参矩阵，服务器将通过内参矩阵及外参矩阵，把点云数据的点云坐标转换至与摄像头对应的图像坐标系，进而得到点云坐标所对应的像素点坐标。转换过程如下：
其中，[|]为外参矩阵，t为平移子矩阵，(,v)为像素点坐标，u为像素点坐标的横坐标值，v为像素点坐标的纵坐标值。
此外，服务器还可以在将点云坐标转换值图像坐标系后，验证像素点坐标的合法性，如是否满足0≤u≤image_width及0≤v≤image_hh，其中，image_width及image_hh可以是用户预先设置的像素区域划分范围的最大值，本申请对于像素区域划分范围的具体划分范围，不作具体限定。
S203，服务器根据二维图像数据的像素点坐标对应的RGB值及点云投影坐标，在点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标。
在本申请实施例中，二维图像数据的各像素点坐标对应的像素点具有RGB值，RGB值有三个颜色通道分量。服务器可以在得到点云投影坐标之后，确定二维图像数据中与点云投影坐标对应位置的像素点的RGB值，并将生成RGB值对应的亮度坐标如(r0，g0，b0)，所包含的亮度坐标值(包括r0，g0，b0)，添加到点云坐标中。如点云坐标为(x，y，z)，RGB值对应的亮度坐标为(r0，g0，b0)，其中，r0为RGB值的红色通道分量，g0为RGB值的绿色通道分量，b0为RGB值的绿色通道分量。将亮度坐标值添加至点云坐标后，色彩辅助点云坐标可以表示为：(x，y，z，r0，g0，b0)。上述亮度坐标值包括像素点坐标对应的RGB值的三个颜色通道分量的亮度值。例如RGB的三个颜色通道分量分别有256级亮度，从0-255有256个亮度值，相应的亮度坐标值r0，g0，b0分别有256个能够取值的亮度值。
S204，服务器基于色彩辅助点云坐标及点云数据，确定相应的待标注地图。
其中，待标注地图至少包括将与色彩辅助点云坐标对应的点云数据映射至平面中若干二维网格所形成的反射值地图。反射值地图至少包括亮度信息。
在本申请实施例中，激光雷达采集到的激光点云数据中的每个点云数据点的信息包括该数据点的三维空间坐标以及该点云数据点的反射值，反射值由该数据点对应的空间物体的材料决定。利用激光点云数据所在的三维坐标系中与地面相平行的两个坐标轴构建平面，并将构建的平面划分为多个二维网格，每个二维网格的大小相同，之后将激光点云中的数据点投影至所构建的平面中，即形成上述反射值地图。在反射值地图中，每个二维网格内包括以该二维网格为底面的三维柱体空间内的所有点云数据点及对应的反射值。并且，点云数据点还包括上述亮度信息，生成具有色彩的待标注地图。
在本申请实施例中，基于色彩辅助点云坐标及点云数据，确定相应的待标注地图，具体包括：
服务器将与色彩辅助点云坐标对应的点云数据，更新至预先基于即时定位与地图构建SLAM建图得到的点云地图，确定待标注地图。
在服务器得到色彩辅助点云坐标，即将二维图像数据的RGB亮度信息添加至点云数据之后，可以将该时刻对应的被添加亮度信息的点云数据加入到预先构建的点云地图中，进而得到具有色彩的待标注地图。点云地图是通过SLAM建图得到的。
其中，SLAM建图可以是采用业界常用的LIO-SAM建图方法，并在更新点云地图阶段，将所选取点云数据关键帧投影到同时刻单目相机图像上以获取彩色点云。具体步骤可以包括：激光雷达扫描，激光雷达通过发射激光束并接收反射回来的激光束，扫描周围环境，得到一组点云数据。点云滤波，对于得到的点云数据，需要进行滤波处理，去除噪声和无用信息，以提高后续处理的效率和精度。特征提取，从滤波后的点云数据中提取特征，例如平面、边缘、角点等，以便后续的匹配和优化。特征匹配，将当前时刻的特征与上一时刻的特征进行匹配，得到当前时刻的位姿估计。位姿优化，通过优化算法，对位姿估计进行优化，以提高定位精度。然后，执行上述方案中，将与色彩辅助点云坐标对应的点云数据，更新至预先基于即时定位与地图构建SLAM建图得到的点云地图，确定待标注地图的步骤。
S205，服务器将待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的待标注地图对待标注地图中待标注对象进行的标注操作，将标注后的待标注对象呈现在待标注地图中的用户标注位置。
在服务器生成待标注地图之后，可以将待标注地图发送至用户终端，并向用户进行呈现，以便用户根据具有色彩辅助信息的待标注地图，对待标注对象如人行横道、障碍物等进行标注，同时将标注的待标注对象同步呈现在待标注地图的用户标注位置处。在用户标注过程中，服务器可以采用JavaScript对象简谱格式进行保存标注的待标注对象。用户标注完成后，可以将标注好的高精地图用于机器人导航、自动驾驶导航。
本申请通过上述方案，将二维图像数据中的色彩信息添加至点云数据，进而生成高精地图的方式，使得用户能够根据具有色彩的点云地图，进行标注工作。一方面，具有色彩辅助的点云地图，方便用户识别点云地图中地图元素(待标注对象)位置、大小及形状相关信息，也能够在用户后续进行校验时，降低校验工作量，提高高精地图的构建效率。另一方面，对于不同标注工作经验的用户而言，提供带有色彩的待标注地图，让用户能够直观且更方便地参考待标注对象的色彩及所处的色彩区域，更加容易对待标注对象进行标注，可以提高构建高精地图的准确性，同时保障高精地图的使用效果。
图4为本申请实施例提供的一种高精地图构建辅助设备的结构示意图，如图4所示，设备包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据。二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与点云数据的拍摄地理位置坐标对应。标定包括：与激光雷达的外参标定、摄像头的内参标定。基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标。根据二维图像数据的像素点坐标对应的RGB值及点云投影坐标，在点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标。基于色彩辅助点云坐标及点云数据，确定相应的待标注地图。其中，待标注地图至少包括将与色彩辅助点云坐标对应的点云数据映射至平面中二维网格所形成的反射值地图。反射值地图至少包括亮度信息。将待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的待标注地图对待标注地图中待标注对象进行的标注操作，将标注后的待标注对象呈现在待标注地图中的用户标注位置。
本申请实施例还提供了一种高精地图构建辅助非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令能够执行：
获取设置于机器人的激光雷达采集的点云数据及与点云数据同步采集的二维图像数据。二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与点云数据的拍摄地理位置坐标对应。标定包括：与激光雷达的外参标定、摄像头的内参标定。基于点云数据的点云坐标及摄像头的相机坐标系，确定与二维图像数据的至少部分像素点坐标对应的点云投影坐标。根据二维图像数据的像素点坐标对应的RGB值及点云投影坐标，在点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标。基于色彩辅助点云坐标及点云数据，确定相应的待标注地图。其中，待标注地图至少包括将与色彩辅助点云坐标对应的点云数据映射至平面中二维网格所形成的反射值地图。反射值地图至少包括亮度信息。将待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的待标注地图对待标注地图中待标注对象进行的标注操作，将标注后的待标注对象呈现在待标注地图中的用户标注位置。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备、介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备、介质与方法是一一对应的，因此，设备、介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备、介质的有益技术效果。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种高精地图构建辅助方法，其特征在于，所述方法包括：
获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据；所述二维图像数据来自于预先完成标定的摄像头，且其拍摄地理位置坐标与所述点云数据的拍摄地理位置坐标对应；所述标定包括：与所述激光雷达的外参标定、所述摄像头的内参标定；
基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标；
根据所述二维图像数据的所述像素点坐标对应的RGB值及所述点云投影坐标，在所述点云坐标添加对应的亮度坐标值，以生成色彩辅助点云坐标；
基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图；其中，所述待标注地图至少包括将与所述色彩辅助点云坐标对应的所述点云数据映射至平面中若干二维网格所形成的反射值地图；所述反射值地图至少包括亮度信息；
将所述待标注地图发送至相应的用户终端，以响应于检测到用户参考包括亮度信息的所述待标注地图对所述待标注地图中待标注对象进行的标注操作，将标注后的所述待标注对象呈现在所述待标注地图中的用户标注位置。
2.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标，具体包括：
基于所述摄像头的预置内参矩阵及所述摄像头与所述激光雷达的预置外参矩阵，将所述点云数据的点云坐标转换至与所述摄像头对应的图像坐标系，以确定相应的若干像素点坐标；所述像素点坐标为所述点云坐标在所述二维图像数据中对应的坐标；
通过预设像素区域划分范围，筛选各所述像素点坐标，以将筛选后的各所述像素点坐标作为所述点云投影坐标。
3.根据权利要求2所述的一种高精地图构建辅助方法，其特征在于，所述内参矩阵为通过张正友标定法对所述摄像头进行相机标定得到的；
所述外参矩阵包括与所述激光雷达、所述摄像头之间的预定安装位置参数对应的平移子矩阵及与所述激光雷达、所述摄像头之间的预定坐标系标定参数对应的旋转子矩阵。
4.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，基于所述色彩辅助点云坐标及所述点云数据，确定相应的待标注地图，具体包括：
将与所述色彩辅助点云坐标对应的所述点云数据，更新至预先基于即时定位与地图构建SLAM建图得到的点云地图，确定所述待标注地图。
5.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据之前，所述方法还包括：
计算所述点云数据的第一时间戳与所述二维图像数据的第二时间戳的差值；
在所述差值与预设比对阈值匹配的情况下，将与所述第一时间戳对应的所述第二时间戳的所述二维图像数据，作为所述点云数据同步采集的所述二维图像数据。
6.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，获取设置于机器人的激光雷达采集的点云数据及与所述点云数据同步采集的二维图像数据之后，所述方法还包括：
将所述二维图像数据中各像素点坐标，输入预设畸变矫正模型；所述畸变矫正模型至少包括：径向畸变矫正子模型、切向畸变矫正子模型；所述畸变矫正模型包括通过张正友标定法进行相机标定得到的多个畸变参数；
将所述畸变矫正模块输出的矫正后的像素点坐标，更新至所述二维图像数据。
7.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，基于所述点云数据的点云坐标及所述摄像头的相机坐标系，确定与所述二维图像数据的至少部分像素点坐标对应的点云投影坐标之前，所述方法还包括：
根据所述激光雷达的标签，确定与所述激光雷达对应的点云区域划分表；其中，所述点云区域划分表包括过滤所述点云坐标的坐标值取值区间；
将所述点云数据中各所述点云坐标与所述点云区域划分表进行匹配，以过滤所述点云数据中的坐标值不处于相应的所述坐标值取值区间的点云坐标。
8.根据权利要求1所述的一种高精地图构建辅助方法，其特征在于，所述摄像头至少包括：一个和/或多个单目相机、全景相机。
9.一种高精地图构建辅助设备，其特征在于，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够如权利要求1-8任一项所述的一种高精地图构建辅助方法。
10.一种高精地图构建辅助非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令能够执行上述权利要求1-8任一项所述的一种高精地图构建辅助方法。
CN202310602298.2A 2023-05-24 2023-05-24 一种高精地图构建辅助方法、设备及介质 Pending CN116839564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310602298.2A CN116839564A (zh) 2023-05-24 2023-05-24 一种高精地图构建辅助方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310602298.2A CN116839564A (zh) 2023-05-24 2023-05-24 一种高精地图构建辅助方法、设备及介质

Publications (1)

Publication Number Publication Date
CN116839564A true CN116839564A (zh) 2023-10-03

Family

ID=88167892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310602298.2A Pending CN116839564A (zh) 2023-05-24 2023-05-24 一种高精地图构建辅助方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116839564A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253232A (zh) * 2023-11-17 2023-12-19 北京理工大学前沿技术研究院 一种高精地图的标注自动生成方法、存储器及存储介质
CN117557700A (zh) * 2024-01-12 2024-02-13 杭州优链时代科技有限公司 一种用于人物建模的方法及设备
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253232A (zh) * 2023-11-17 2023-12-19 北京理工大学前沿技术研究院 一种高精地图的标注自动生成方法、存储器及存储介质
CN117253232B (zh) * 2023-11-17 2024-02-09 北京理工大学前沿技术研究院 一种高精地图的标注自动生成方法、存储器及存储介质
CN117557700A (zh) * 2024-01-12 2024-02-13 杭州优链时代科技有限公司 一种用于人物建模的方法及设备
CN117557700B (zh) * 2024-01-12 2024-03-22 杭州优链时代科技有限公司 一种用于人物建模的方法及设备
CN117606470A (zh) * 2024-01-24 2024-02-27 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备
CN117606470B (zh) * 2024-01-24 2024-04-16 航天宏图信息技术股份有限公司 高精导航图线状要素智能自适追索生成方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN108694882B (zh) 用于标注地图的方法、装置和设备
CN116839564A (zh) 一种高精地图构建辅助方法、设备及介质
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN111383279B (zh) 外参标定方法、装置及电子设备
JP6260891B2 (ja) 画像処理装置および画像処理方法
CN112017251A (zh) 标定方法、装置、路侧设备和计算机可读存储介质
JP2004348575A (ja) ３次元モデル構築システム及び３次元モデル構築プログラム
CN111830953A (zh) 车辆自定位方法、装置及系统
CN109863547B (zh) 用于使用机器学习和图像处理来构建地图的设备
CN111950426A (zh) 目标检测方法、装置及运载工具
CN109709977B (zh) 移动轨迹规划的方法、装置及移动物体
CN112270320B (zh) 一种基于卫星影像校正的输电线路杆塔坐标校准方法
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN113066112B (zh) 一种基于三维模型数据的室内外融合方法及装置
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
CN116978010A (zh) 图像标注方法和装置、存储介质和电子设备
CN115131360A (zh) 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination