CN113240813B - 三维点云信息确定方法及装置 - Google Patents

三维点云信息确定方法及装置 Download PDF

Info

Publication number
CN113240813B
CN113240813B CN202110516803.2A CN202110516803A CN113240813B CN 113240813 B CN113240813 B CN 113240813B CN 202110516803 A CN202110516803 A CN 202110516803A CN 113240813 B CN113240813 B CN 113240813B
Authority
CN
China
Prior art keywords
point cloud
image
cloud data
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110516803.2A
Other languages
English (en)
Other versions
CN113240813A (zh
Inventor
刘健
熊小东
任海兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202110516803.2A priority Critical patent/CN113240813B/zh
Publication of CN113240813A publication Critical patent/CN113240813A/zh
Application granted granted Critical
Publication of CN113240813B publication Critical patent/CN113240813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种三维点云信息确定方法及装置。所述方法包括：在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。本公开可以提升点云和图像的匹配精度和图像的深度估计，进一步提高了三维点云重建的准确性。

Description

三维点云信息确定方法及装置
技术领域
本公开的实施例涉及自动驾驶技术领域，尤其涉及一种三维点云信息确定方法及装置。
背景技术
随着科学技术的发展，自动驾驶设备(如无人配送车等)已经逐渐进入人们的视野。
在自动驾驶设备的行驶过程中，需要对三维环境进行建模，用于障碍物识别、建图、定位等，常用的传感器包括激光雷达和相机。基于激光雷达输出的点云(3D点集)可以获得准确的位置信息。基于相机输出的图片可以获得丰富的纹理信息，进而可以很好的获取语义信息，所以二者常常被融合用于对环境进行建模。
目前常用的融合方法通过惯导、轮速计、GPS(Global Positioning System，全球定位系统)、RTK(Real-Time Kinematic，实时动态)等分别获取单帧图像和单帧点云的位姿后，将点云投影到图片上获取每个像素的深度值，再将每个像素投影到三维世界，获得彩色点云。
现有激光雷达和相机融合的技术方案主要针对全局快门相机，而随着自动驾驶设备对于感知和建图性能要求的提升，卷帘快门相机被越来越多被用于自动驾驶设备的感知和建图中，其中满足200w像素的车规级彩色相机只有卷帘快门效应的。卷帘快门的问题在于，在拍摄图像时，按行的顺序依次开始曝光，最后一行的曝光时刻相对于第一行的曝光时刻大概有几十ms的延迟。当自动驾驶设备静止时，不会造成任何不利影响。但当自动驾驶设备以较高速度行驶时，在几十ms的时间内，相机的位姿会发生较大变化(例如，以延迟50ms为例，如果此刻车速为72km/h，第一行和最后一行时刻的相机之间距离达到1m)，因此，会由于曝光时间不同导致点云和图像融合过程中产生深度估计错误的问题。
发明内容
本公开的实施例提供一种三维点云信息确定方法及装置，用以提升点云和图像的匹配精度，进而提升图像的深度估计及三维点云信息重建的准确度。
根据本公开的实施例的第一方面，提供了一种三维点云信息确定方法，包括：
在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。
可选地，所述基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息，包括：
根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块；
基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
可选地，所述基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息，包括：
针对每个所述图像块，获取所述图像块中每行像素对应的像素曝光时间；
对所述运动轨迹进行插值处理，得到所述运动轨迹中每个轨迹点在全局坐标系下的目标位置；
基于所述目标位置、所述目标位置对应的时间戳和所述像素曝光时间，确定所述图像块中每行像素的像素位置；
基于所述像素位置，确定所述图像块的位姿信息。
可选地，所述基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据，包括：
根据所述点云数据对应的时间戳对所述运动轨迹进行插值处理，得到所述点云数据中每个点在世界坐标系中的点坐标位置；
将所述点坐标位置转换至所述点云数据中的起始时刻的坐标位置，得到所述点云数据中每个点对应的转换坐标；
根据所述转换坐标，确定所述点云数据对应的补偿点云数据。
可选地，所述根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息，包括：
根据所述图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集；
基于所述点云数据子集，确定所述图像块对应的像素深度信息；
基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
可选地，所述基于所述点云数据子集，确定所述图像块对应的像素深度信息，包括：
将所述点云数据子集投影至所述图像块，得到所述图像块对应的深度图像；
对多个图像块对应的深度图像进行合并处理处理，生成目标深度图像；
对所述目标深度图像进行插值处理，得到所述目标深度图像中每个像素的目标像素深度信息；
基于所述目标像素深度信息，获取所述图像块对应的像素深度信息。
根据本公开的实施例的第二方面，提供了一种三维点云信息确定装置，包括：
目标图像获取模块，用于在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
点云数据获取模块，用于获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
位姿信息获取模块，用于基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
补偿点云数据获取模块，用于基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
三维点云信息确定模块，用于根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。
可选地，所述位姿信息获取模块包括：
图像块获取单元，用于根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块；
位姿信息获取单元，用于基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
可选地，所述位姿信息获取单元包括：
像素曝光时间获取子单元，用于针对每个所述图像块，获取所述图像块中每行像素对应的像素曝光时间；
目标位置获取子单元，用于对所述运动轨迹进行插值处理，得到所述运动轨迹中每个轨迹点在全局坐标系下的目标位置；
像素位置确定子单元，用于基于所述目标位置、所述目标位置对应的时间戳和所述像素曝光时间，确定所述图像块中每行像素的像素位置；
位姿信息确定子单元，用于基于所述像素位置，确定所述图像块的位姿信息。
可选地，所述补偿点云数据获取模块包括：
点坐标位置获取单元，用于根据所述点云数据对应的时间戳对所述运动轨迹进行插值处理，得到所述点云数据中每个点在世界坐标系中的点坐标位置；
转换坐标获取单元，用于将所述点坐标位置转换至所述点云数据中的起始时刻的坐标位置，得到所述点云数据中每个点对应的转换坐标；
补偿点云数据确定单元，用于根据所述转换坐标，确定所述点云数据对应的补偿点云数据。
可选地，所述三维点云信息确定模块包括：
点云数据子集获取单元，用于根据所述图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集；
像素深度信息确定单元，用于基于所述点云数据子集，确定所述图像块对应的像素深度信息；
三维点云信息确定单元，用于基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
可选地，所述像素深度信息确定单元包括：
深度图像获取子单元，用于将所述点云数据子集投影至所述图像块，得到所述图像块对应的深度图像；
目标深度图像生成子单元，用于对多个图像块对应的深度图像进行合并处理处理，生成目标深度图像；
目标像素深度获取子单元，用于对所述目标深度图像进行插值处理，得到所述目标深度图像中每个像素的目标像素深度信息；
像素深度信息获取子单元，用于基于所述目标像素深度信息，获取所述图像块对应的像素深度信息。
根据本公开的实施例的第三方面，提供了一种自动驾驶设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的三维点云信息确定方法。
根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的三维点云信息确定方法。
本公开的实施例提供了一种三维点云信息确定方法及装置，通过在自动驾驶设备处于运动状态的情况下，获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段，获取位于图像采集时段内的与自动驾驶设备关联的点云数据，基于自动驾驶设备在图像采集时段内的运动轨迹，获取目标图像对应的位姿信息，基于运动轨迹和点云数据对应的时间戳，对点云数据进行运动补偿处理，得到点云数据对应的补偿点云数据，根据位姿信息和补偿点云数据，确定与自动驾驶设备关联的三维点云信息。本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
附图说明
为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开的实施例提供的一种三维点云信息确定方法的步骤流程图；
图2为本公开的实施例提供的另一种三维点云信息确定方法的步骤流程图；
图3为本公开的实施例提供的一种三维点云信息确定装置的结构示意图；
图4为本公开的实施例提供的另一种三维点云信息确定装置的结构示意图。
具体实施方式
下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
实施例一
参照图1，示出了本公开的实施例提供的一种三维点云信息确定方法的步骤流程图，如图1所示，该三维点云信息确定方法具体可以包括如下步骤：
步骤101：在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段。
本公开的实施例可以应用于结合运动轨迹对图像和点云数据进行运动补偿，以得到准确程度更高的三维点云的场景中。
在本实施例中，自动驾驶设备也即无人驾驶的设备。在实际应用中，自动驾驶设备可以为地面上行驶的车辆(如汽车、卡车、公交车等)，也可以为空中行驶的车辆(如无人机、飞机、直升机等)，还可以为水上行驶的车辆(如船、潜艇等)。在本示例中，自动驾驶设备可以应用于外卖配送、快递物流等领域，但不仅限于此，具体地，可以根据业务需求而定，本实施例对此不加以限制。
目标图像是指设置于自动驾驶设备上的相机采集的周围环境的图像。
图像采集时段是指采集目标图像的时段，在本具体实现中，在自动驾驶设备处于运动状态时，相机进行图像采集时是按照像素行逐渐扫描采集的，从第一行像素到最后一行像素扫描采集所消耗的时长，则可以将该时长作为目标图像的图像采集时段。
在自动驾驶设备处于运动状态的情况下，可以获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段。
在获取到目标图像和图像采集时段之后，执行步骤102。
步骤102：获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据。
点云数据是指由激光雷达采集的与自动驾驶设备关联的点云，即3D点集，该点云数据可以指示自动驾驶设备关联的外部环境(如障碍物、建筑物、道路等)的轮廓等信息。
在获取到图像采集时段之后，可以基于激光雷达获取位于图像采集时段内的与自动驾驶设备关联的点云数据。
在获取到位于图像采集时段内的与自动驾驶设备关联的点云数据之后，执行步骤103。
步骤103：基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息。
位姿信息可以用于指示目标图像内的对象的位姿。
在获取到位于图像采集时段内的与自动驾驶设备关联的点云数据之后，可以基于自动驾驶设备在图像采集时段内的运动轨迹获取目标图像对应的位姿信息，具体地，对于获取目标图像对应的位姿信息的详细过程将在下述实施例二中进行详细描述，本实施例在此不再加以赘述。
在基于自动驾驶设备在图像采集时段内的运动轨迹获取到目标图像对应的位姿信息之后，执行步骤104。
步骤104：基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据。
补偿点云数据是指对点云数据中的每个3D点进行运动补偿得到的点云数据。
在获取到激光雷达扫描到的与目标图像关联的点云数据之后，可以基于运动轨迹和点云数据对应的时间戳对点云数据进行运动补偿处理，以得到点云数据对应的补偿点云数据，具体地，可以结合运动轨迹获取点云数据对应的位姿信息，然后，结合时间戳对点云数据中的每个3D点进行运动补偿以得到补偿点云数据，具体地，将在下述实施例二中进行详细描述，本实施例在此不再加以赘述。
在基于运动轨迹和点云数据对应的时间戳对点云数据进行运动补偿处理得到点云数据对应的补偿点云数据之后，执行步骤105。
步骤105：根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。
在得到补偿点云数据和目标图像对应的位姿信息之后，可以根据位姿信息和补偿点云数据确定与自动驾驶设备关联的三维点云信息，具体地，可以结合图像中像素深度、像素位置和每个RBG值获取物理世界的三维彩色点(即三维点云信息)。
本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
本公开的实施例提供的三维点云信息确定方法，通过在自动驾驶设备处于运动状态的情况下，获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段，获取位于图像采集时段内的与自动驾驶设备关联的点云数据，基于自动驾驶设备在图像采集时段内的运动轨迹，获取目标图像对应的位姿信息，基于运动轨迹和点云数据对应的时间戳，对点云数据进行运动补偿处理，得到点云数据对应的补偿点云数据，根据位姿信息和补偿点云数据，确定与自动驾驶设备关联的三维点云信息。本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
实施例二
参照图2，示出了本公开的实施例提供的另一种三维点云信息确定方法的步骤流程图，如图2所示，该三维点云信息确定方法具体可以包括如下步骤：
步骤201：在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段。
本公开的实施例可以应用于结合运动轨迹对图像和点云数据进行运动补偿，以得到准确程度更高的三维点云的场景中。
在本实施例中，自动驾驶设备也即无人驾驶的设备。在实际应用中，自动驾驶设备可以为地面上行驶的车辆(如汽车、卡车、公交车等)，也可以为空中行驶的车辆(如无人机、飞机、直升机等)，还可以为水上行驶的车辆(如船、潜艇等)。在本示例中，自动驾驶设备可以应用于外卖配送、快递物流等领域，但不仅限于此，具体地，可以根据业务需求而定，本实施例对此不加以限制。
目标图像是指设置于自动驾驶设备上的相机采集的周围环境的图像。
图像采集时段是指采集目标图像的时段，在本具体实现中，在自动驾驶设备处于运动状态时，相机进行图像采集时是按照像素行逐渐扫描采集的，从第一行像素到最后一行像素扫描采集所消耗的时长，则可以将该时长作为目标图像的图像采集时段。
在自动驾驶设备处于运动状态的情况下，可以获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段。
在获取到目标图像和图像采集时段之后，执行步骤102。
步骤202：获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据。
点云数据是指由激光雷达采集的与自动驾驶设备关联的点云，即3D点集，该点云数据可以指示自动驾驶设备关联的外部环境(如障碍物、建筑物、道路等)的轮廓等信息。
在获取到图像采集时段之后，可以基于激光雷达获取位于图像采集时段内的与自动驾驶设备关联的点云数据。
在获取到位于图像采集时段内的与自动驾驶设备关联的点云数据之后，执行步骤203。
步骤203：根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块。
设定像素行数是指由业务人员预先设置的用于对图像进行拆分的像素行数，对于设定像素行数的具体数值可以根据业务需求而定，本实施例对此不加以限制。
在获取到目标图像之后，可以根据设定像素行数对目标图像进行拆分处理，得到目标图像对应的多个图像块，例如，设定像素行数为10行，目标图像包含100行像素，此时，可以将目标图像拆分为10个图像块，每个图像块即包含了10行像素等。
可以理解地，上述示例仅是为了更好地理解本公开的实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在根据设定像素行数对目标图像进行拆分处理得到目标图像对应的多个图像块之后，执行步骤204。
步骤204：基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
在得到目标图像对应的多个图像块之后，可以基于运动轨迹对多个图像块进行运动补偿处理，以得到多个图像块的位姿信息，具体地，可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现方式中，上述步骤204可以包括：
子步骤A1：针对每个所述图像块，获取所述图像块中每行像素对应的像素曝光时间。
在本实施例中，在对目标图像进行拆分得到多个图像块之后，可以针对每个图像块，获取图像块中每行像素对应的像素曝光时间。
在针对每个图像块获取到每个图像块中每行像素对应的像素曝光时间之后，执行子步骤A2。
子步骤A2：对所述运动轨迹进行插值处理，得到所述运动轨迹中每个轨迹点在全局坐标系下的目标位置。
目标位置是指运动轨迹中每个轨迹点在在全局坐标系下的位置。
在得到自动驾驶设备在图像采集时段内的运动轨迹之后，可以对运动轨迹进行插值处理，以得到运动轨迹中每个轨迹点在全局坐标系下的目标位置。
在对运动轨迹进行插值处理得到运动轨迹中每个轨迹点在全局坐标系下的目标位置之后，执行子步骤A3。
子步骤A3：基于所述目标位置、所述目标位置对应的时间戳和所述像素曝光时间，确定所述图像块中每行像素的像素位置。
在得到目标位置之后，可以基于目标位置、目标位置对应的时间戳和像素曝光时间，确定图像块中每行像素的像素位置。
在基于目标位置、目标位置对应的时间戳和像素曝光时间确定出图像块中每行像素的像素位置之后，执行子步骤A4。
子步骤A4：基于所述像素位置，确定所述图像块的位姿信息。
在确定出图像块中每行像素对像素位置之后，可以根据像素位置确定图像块的位姿信息，具体地，在将目标图像拆分成n(n为正整数)行，假设卷帘快门曝光时间为[tstart,tend]，则第k(取值范围0，…，n-1)行的时间为tk＝tstart+(tend-tstart)*k/n，通过对GNSS/IMU轨迹插值可以获得GNSS/IMU坐标系在全局坐标下的位置，通过相机和GNSS/IMU系统的标定，便可获得相机第k行在全局坐标系的位置。
在基于自动驾驶设备在图像采集时段内的运动轨迹获取到目标图像对应的位姿信息之后，执行步骤205。
步骤205：根据所述点云数据对应的时间戳对所述运动轨迹进行插值处理，得到所述点云数据中每个点在世界坐标系中的点坐标位置。
在获取到点云数据之后，可以根据点云数据对应的时间戳对运动轨迹进行插值处理，得到点云数据中每个点在世界坐标系中的点坐标位置，例如，点云每个点包含该点的生成时的时间戳，所以可以根据时间戳在GNSS/IMU轨迹中插值获得其世界坐标系中的位置。
在根据点云数据对应的时间戳对运动轨迹进行插值处理得到点云数据中每个点在世界坐标系中的点坐标位置之后，执行步骤206。
步骤206：将所述点坐标位置转换至所述点云数据中的起始时刻的坐标位置，得到所述点云数据中每个点对应的转换坐标。
在根据点云数据对应的时间戳对运动轨迹进行插值处理得到点云数据中每个点在世界坐标系中的点坐标位置之后，可以将点坐标位置转换至点云数据中的起始时刻的坐标位置，以得到点云数据中每个点对应的转换坐标。
步骤207：根据所述转换坐标，确定所述点云数据对应的补偿点云数据。
在得到点云数据中每个点对应的转换坐标之后，可以根据转换坐标确定出点云数据对应的补偿点云数据，即将转换坐标作为补偿点云数据。
在根据转换坐标确定出点云数据对应的补偿点云数据之后，执行步骤208。
步骤208：根据所述图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集。
在得到图像块的位姿信息之后，可以根据图像块的位姿信息获取点云数据中与图像块对应的点云数据子集。
在根据图像块的位姿信息获取到点云数据中与图像块对应的点云数据子集之后，执行步骤209。
步骤209：基于所述点云数据子集，确定所述图像块对应的像素深度信息。
在根据图像块的位姿信息获取到点云数据中与图像块对应的点云数据子集之后，可以基于点云数据子集确定出图像块对应的像素深度信息，具体地，可以将每个图像块对应的点云数据子集投影至对应的图像块上，进而，可以得到每个图像块对应的像素深度信息。
在基于点云数据子集确定出图像块对应的像素深度信息之后，执行步骤210。
步骤210：基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
在基于点云数据子集确定出图像块对应的像素深度信息之后，可以根据每个图像块的像素深度信息、每个图像块对应的图像块位置信息和每个图像块上每个像素的RGB值确定出三维点云信息，具体地，由于自动驾驶设备在Z方向和roll，pitch方向运动分量较小，所以每个子块对应的子点云变化不大。以图像第k分块为例，结合获得的图像第k帧位姿，将第k-1、k、k+1分块的对应点云向图像坐标系投影，获得第k分块上对应像素点的深度，没有投影到第k分块的点云丢弃。在获得了每个图像块上一些像素点的深度，但是还不够密集。把每个图像块的深度图合并成整图，并三角化内插得到整幅图像每个像素的深度，从而获得每个图像块上的每个像素的深度。进而可以结合每个图像块的位置、每个图像块的像素深度信息和图像块上每个像素的RGB值，可以得到物理世界的三维彩色点(即三维点云信息)，从而对三维世界进行重构。
本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
本公开的实施例提供的三维点云信息确定方法，通过在自动驾驶设备处于运动状态的情况下，获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段，获取位于图像采集时段内的与自动驾驶设备关联的点云数据，基于自动驾驶设备在图像采集时段内的运动轨迹，获取目标图像对应的位姿信息，基于运动轨迹和点云数据对应的时间戳，对点云数据进行运动补偿处理，得到点云数据对应的补偿点云数据，根据位姿信息和补偿点云数据，确定与自动驾驶设备关联的三维点云信息。本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
实施例三
参照图3，示出了本公开的实施例提供的一种三维点云信息确定装置的结构示意图，如图3所示，该三维点云信息确定装置300具体可以包括如下模块：
目标图像获取模块310，用于在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
点云数据获取模块320，用于获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
位姿信息获取模块330，用于基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
补偿点云数据获取模块340，用于基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
三维点云信息确定模块350，用于根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。
本公开的实施例提供的三维点云信息确定装置，通过在自动驾驶设备处于运动状态的情况下，获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段，获取位于图像采集时段内的与自动驾驶设备关联的点云数据，基于自动驾驶设备在图像采集时段内的运动轨迹，获取目标图像对应的位姿信息，基于运动轨迹和点云数据对应的时间戳，对点云数据进行运动补偿处理，得到点云数据对应的补偿点云数据，根据位姿信息和补偿点云数据，确定与自动驾驶设备关联的三维点云信息。本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
实施例四
参照图4，示出了本公开的实施例提供的另一种三维点云信息确定装置的结构示意图，如图4所示，该三维点云信息确定装置400具体可以包括如下模块：
目标图像获取模块410，用于在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
点云数据获取模块420，用于获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
位姿信息获取模块430，用于基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
补偿点云数据获取模块440，用于基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
三维点云信息确定模块450，用于根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息。
可选地，所述位姿信息获取模块430包括：
图像块获取单元431，用于根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块；
位姿信息获取单元432，用于基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
可选地，所述位姿信息获取单元432包括：
像素曝光时间获取子单元，用于针对每个所述图像块，获取所述图像块中每行像素对应的像素曝光时间；
目标位置获取子单元，用于对所述运动轨迹进行插值处理，得到所述运动轨迹中每个轨迹点在全局坐标系下的目标位置；
像素位置确定子单元，用于基于所述目标位置、所述目标位置对应的时间戳和所述像素曝光时间，确定所述图像块中每行像素的像素位置；
位姿信息确定子单元，用于基于所述像素位置，确定所述图像块的位姿信息。
可选地，所述补偿点云数据获取模块440包括：
点坐标位置获取单元441，用于根据所述点云数据对应的时间戳对所述运动轨迹进行插值处理，得到所述点云数据中每个点在世界坐标系中的点坐标位置；
转换坐标获取单元442，用于将所述点坐标位置转换至所述点云数据中的起始时刻的坐标位置，得到所述点云数据中每个点对应的转换坐标；
补偿点云数据确定单元，用于根据所述转换坐标，确定所述点云数据对应的补偿点云数据。
可选地，所述三维点云信息确定模块450包括：
点云数据子集获取单元451，用于根据所述图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集；
像素深度信息确定单元452，用于基于所述点云数据子集，确定所述图像块对应的像素深度信息；
三维点云信息确定单元453，用于基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
可选地，所述像素深度信息确定单元452包括：
深度图像获取子单元，用于将所述点云数据子集投影至所述图像块，得到所述图像块对应的深度图像；
目标深度图像生成子单元，用于对多个图像块对应的深度图像进行合并处理处理，生成目标深度图像；
目标像素深度获取子单元，用于对所述目标深度图像进行插值处理，得到所述目标深度图像中每个像素的目标像素深度信息；
像素深度信息获取子单元，用于基于所述目标像素深度信息，获取所述图像块对应的像素深度信息。
本公开的实施例提供的三维点云信息确定装置，通过在自动驾驶设备处于运动状态的情况下，获取设置于自动驾驶设备上的相机采集的目标图像，及目标图像对应的图像采集时段，获取位于图像采集时段内的与自动驾驶设备关联的点云数据，基于自动驾驶设备在图像采集时段内的运动轨迹，获取目标图像对应的位姿信息，基于运动轨迹和点云数据对应的时间戳，对点云数据进行运动补偿处理，得到点云数据对应的补偿点云数据，根据位姿信息和补偿点云数据，确定与自动驾驶设备关联的三维点云信息。本公开的实施例通过结合运动轨迹对图像和点云数据进行运动补偿，可以提升点云和图像的匹配精度，进而提升了图像的深度估计，进一步提高了三维点云重建的准确性。
本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的三维点云信息确定方法。
本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的三维点云信息确定方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。
以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种三维点云信息确定方法，其特征在于，包括：
在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息；
所述根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息，包括：
根据图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集；所述图像块是按照设定像素行数对目标图像进行拆分处理得到所述目标图像对应的图像块；
基于所述点云数据子集，确定所述图像块对应的像素深度信息；
基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息，包括：
根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块；
基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息，包括：
针对每个所述图像块，获取所述图像块中每行像素对应的像素曝光时间；
对所述运动轨迹进行插值处理，得到所述运动轨迹中每个轨迹点在全局坐标系下的目标位置；
基于所述目标位置、所述目标位置对应的时间戳和所述像素曝光时间，确定所述图像块中每行像素的像素位置；
基于所述像素位置，确定所述图像块的位姿信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据，包括：
根据所述点云数据对应的时间戳对所述运动轨迹进行插值处理，得到所述点云数据中每个点在世界坐标系中的点坐标位置；
将所述点坐标位置转换至所述点云数据中的起始时刻的坐标位置，得到所述点云数据中每个点对应的转换坐标；
根据所述转换坐标，确定所述点云数据对应的补偿点云数据。
5.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据子集，确定所述图像块对应的像素深度信息，包括：
将所述点云数据子集投影至所述图像块，得到所述图像块对应的深度图像；
对多个图像块对应的深度图像进行合并处理，生成目标深度图像；
对所述目标深度图像进行插值处理，得到所述目标深度图像中每个像素的目标像素深度信息；
基于所述目标像素深度信息，获取所述图像块对应的像素深度信息。
6.一种三维点云信息确定装置，其特征在于，包括：
目标图像获取模块，用于在自动驾驶设备处于运动状态的情况下，获取设置于所述自动驾驶设备上的相机采集的目标图像，及所述目标图像对应的图像采集时段；
点云数据获取模块，用于获取位于所述图像采集时段内的与所述自动驾驶设备关联的点云数据；
位姿信息获取模块，用于基于所述自动驾驶设备在所述图像采集时段内的运动轨迹，获取所述目标图像对应的位姿信息；
补偿点云数据获取模块，用于基于所述运动轨迹和所述点云数据对应的时间戳，对所述点云数据进行运动补偿处理，得到所述点云数据对应的补偿点云数据；
三维点云信息确定模块，用于根据所述位姿信息和所述补偿点云数据，确定与所述自动驾驶设备关联的三维点云信息；
所述三维点云信息确定模块包括：
点云数据子集获取单元，用于根据所述图像块的位姿信息，获取所述点云数据中与所述图像块对应的点云数据子集；所述图像块是按照设定像素行数对目标图像进行拆分处理得到所述目标图像对应的图像块；
像素深度信息确定单元，用于基于所述点云数据子集，确定所述图像块对应的像素深度信息；
三维点云信息确定单元，用于基于所述像素深度信息、所述图像块对应的图像块位置信息和所述图像块上每个像素的RGB值，确定所述三维点云信息。
7.根据权利要求6所述的装置，其特征在于，所述位姿信息获取模块包括：
图像块获取单元，用于根据设定像素行数对所述目标图像进行拆分处理，得到所述目标图像对应的多个图像块；
位姿信息获取单元，用于基于所述运动轨迹对所述多个图像块进行运动补偿处理，得到所述多个图像块的位姿信息。
8.一种自动驾驶设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至5中任一项所述的三维点云信息确定方法。
9.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至5中任一项所述的三维点云信息确定方法。
CN202110516803.2A 2021-05-12 2021-05-12 三维点云信息确定方法及装置 Active CN113240813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516803.2A CN113240813B (zh) 2021-05-12 2021-05-12 三维点云信息确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516803.2A CN113240813B (zh) 2021-05-12 2021-05-12 三维点云信息确定方法及装置

Publications (2)

Publication Number Publication Date
CN113240813A CN113240813A (zh) 2021-08-10
CN113240813B true CN113240813B (zh) 2023-05-16

Family

ID=77133634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516803.2A Active CN113240813B (zh) 2021-05-12 2021-05-12 三维点云信息确定方法及装置

Country Status (1)

Country Link
CN (1) CN113240813B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131507B (zh) * 2022-07-27 2023-06-16 北京百度网讯科技有限公司 图像处理方法、图像处理设备和元宇宙三维重建方法
CN115620264B (zh) * 2022-12-02 2023-03-07 广汽埃安新能源汽车股份有限公司 车辆定位方法、装置、电子设备和计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349249A (zh) * 2019-06-26 2019-10-18 华中科技大学 基于rgb-d数据的实时稠密重建方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111436216B (zh) * 2018-11-13 2023-11-07 北京嘀嘀无限科技发展有限公司 用于彩色点云生成的方法和系统
CN111079765B (zh) * 2019-12-13 2022-07-01 电子科技大学 一种基于深度图的稀疏点云稠密化及路面去除方法
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349249A (zh) * 2019-06-26 2019-10-18 华中科技大学 基于rgb-d数据的实时稠密重建方法及系统

Also Published As

Publication number Publication date
CN113240813A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CA3028653C (en) Methods and systems for color point cloud generation
US11131752B2 (en) Vehicle navigation system using pose estimation based on point cloud
CN107505644B (zh) 基于车载多传感器融合的三维高精度地图生成系统及方法
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
Varga et al. Super-sensor for 360-degree environment perception: Point cloud segmentation using image features
US20210019535A1 (en) Systems and methods for pose determination
CN112005079B (zh) 用于更新高清地图的系统和方法
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
KR101890612B1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
CN113240813B (zh) 三维点云信息确定方法及装置
US20140286537A1 (en) Measurement device, measurement method, and computer program product
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN113160327A (zh) 一种点云补全的实现方法和系统
JP2021056028A (ja) 環境地図調整値算出方法および環境地図調整値算出プログラム
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN114692720A (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
WO2021062587A1 (en) Systems and methods for automatic labeling of objects in 3d point clouds
CN114694107A (zh) 一种图像处理方法、装置、电子设备和存储介质
AU2018102199A4 (en) Methods and systems for color point cloud generation
CN113312403B (zh) 地图获取方法、装置、电子设备及存储介质
CN113447032A (zh) 定位方法、装置、电子设备及存储介质
CN117392234A (zh) 相机与激光雷达的标定方法及装置
CN117496313A (zh) 基于无人驾驶技术的赛车多传感器数据融合实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant