CN116129106A - 一种3d真值获取方法及装置 - Google Patents

一种3d真值获取方法及装置 Download PDF

Info

Publication number
CN116129106A
CN116129106A CN202310425069.8A CN202310425069A CN116129106A CN 116129106 A CN116129106 A CN 116129106A CN 202310425069 A CN202310425069 A CN 202310425069A CN 116129106 A CN116129106 A CN 116129106A
Authority
CN
China
Prior art keywords
point cloud
frame
target
current frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310425069.8A
Other languages
English (en)
Inventor
程飞洋
杨晓钧
郑伟
杨广
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Minieye Innovation Technology Co Ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310425069.8A priority Critical patent/CN116129106A/zh
Publication of CN116129106A publication Critical patent/CN116129106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种3D真值获取方法及装置。所述方法包括：通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发所述自车上的图像采集设备采集图像，得到若干帧点云和各帧所述点云对应的图像；基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框；遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框。本发明能够适应多种应用场景，同步获取准确丰富的3D真值。

Description

一种3D真值获取方法及装置
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种3D真值获取方法及装置。
背景技术
在自动驾驶领域中，训练和评测算法的性能，都需要3D真值，例如3D目标框、目标运动轨迹、自车运动轨迹、3D车道线等。
目前，主要利用视觉三维重建技术重建数据环境并标注获取3D真值。利用视觉三维重建技术重建数据环境这一3D真值获取方法依赖于复杂的视觉算法，计算消耗大，技术栈复杂，且在成像不好的情况下，无法完成三维重建，不具备适配多种复杂场景的能力。而其他基于激光雷达的3D真值获取方法，要么未考虑严格的硬件时间同步，要么在硬件时间同步后，未对因传感器本身的数据采集时间导致的数据延迟做软件算法处理，或者搭配的硬件系统不够完善不能同时产出准确丰富的3D真值。因此，如何优化3D真值获取方法，以适应多种应用场景，同步获取准确丰富的3D真值，成为当前急需解决的一大问题。
发明内容
为了克服现有技术的缺陷，本发明提供一种3D真值获取方法及装置，能够适应多种应用场景，同步获取准确丰富的3D真值。
为了解决上述技术问题，第一方面，本发明的实施例提供一种3D真值获取方法，包括：
通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发所述自车上的图像采集设备采集图像，得到若干帧点云和各帧所述点云对应的图像；
基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框；
遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框。
进一步地，所述硬件同步系统包括所述激光雷达、所述图像采集设备、工控机、接入时钟同步系统的交换机；
所述激光雷达的点云输出端通过所述交换机与所述工控机的点云输入端连接，所述激光雷达的信号控制端与所述工控机的信号接收端连接，所述工控机的信号发送端与所述图像采集设备的信号受控端连接，所述图像采集设备的图像输出端与所述工控机的图像输入端连接；
所述激光雷达，用于在一个预设周期内，将采集的一帧所述点云传输至所述工控机；
所述激光雷达，还用于在采集一帧所述点云时，通过所述工控机向所述图像采集设备发送同步触发信号；
所述图像采集设备，还用于在接收到所述同步触发信号时，将采集的一帧所述点云对应的图像传输至所述工控机。
进一步地，在所述基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框之前，还包括：
建立所述3D目标检测模型；
所述建立所述3D目标检测模型，具体为：
从所有所述点云中随机筛选预设数量的点云作为训练点云，并分别标注每一帧所述训练点云中的所有3D目标框；
建立初始3D目标检测模型，采用所有所述训练点云训练所述初始3D目标检测模型，得到所述3D目标检测模型。
进一步地，在所述基于预先建立的3D目标框检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框之后，还包括：
分别对每一帧所述点云中的所有3D目标框进行人工修正。
进一步地，所述遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框，具体为：
遍历每一帧所述点云，根据所述激光雷达在采集当前帧所述点云时的运动信息，分别对当前帧所述点云中的每一3D目标框进行点云矫正，得到当前帧所述点云中的各个第一3D目标框；
根据所述自车在当前帧所述点云的全局位姿，分别将当前帧所述点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧所述点云中的各个第二3D目标框；
根据当前帧所述点云中各个第二3D目标框的目标运动轨迹，对应对当前帧所述点云中各个第二3D目标框进行运动矫正，得到当前帧所述点云中的各个精准3D目标框。
进一步地，在所述根据所述激光雷达在采集当前帧所述点云时的运动信息，分别对当前帧所述点云中的每一3D目标框进行点云矫正，得到当前帧所述点云中的各个第一3D目标框之前，还包括：
通过惯性测量设备，测量所述激光雷达在采集当前所述点云时的运动信息。
进一步地，在所述根据所述自车在当前帧所述点云的全局位姿，分别将当前帧所述点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧所述点云中的各个第二3D目标框之后，还包括：
根据所述自车的位姿，将各帧所述点云变换到参考帧点云的坐标系下进行拼接，得到路面点云，并在所述路面点云上标注路面元素，生成3D路面元素。
进一步地，在所述根据所述自车的位姿，将各帧所述点云变换到参考帧点云的坐标系下进行拼接，得到路面点云之前，还包括：
通过定位测量设备，根据各帧所述点云对所述自车进行连续位姿估计，得到所述自车的位姿。
进一步地，在所述根据当前帧所述点云中各个第二3D目标框的目标运动轨迹，对应对当前帧所述点云中各个第二3D目标框进行运动矫正，得到当前帧所述点云中的各个精准3D目标框之前，还包括：
结合各帧所述点云中的所有第二3D目标框进行3D目标跟踪，生成各帧所述点云中所有第二3D目标框的目标运动轨迹。
第二方面，本发明一实施例提供一种3D真值获取装置，包括：
同步采集模块，用于通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发所述自车上的图像采集设备采集图像，得到若干帧点云和各帧所述点云对应的图像；
目标检测模块，用于基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框；
数据矫正模块，用于遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框。
本发明的实施例，具有如下有益效果：
通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发自车上的图像采集设备采集图像，得到若干帧点云和各帧点云对应的图像；基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框；遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框，完成获取3D真值。相比于现有技术，本发明的实施例通过硬件同步系统同步采集点云和图像等传感数据，能够保证各传感器在采集数据时的时钟同源，使传感数据保持帧同步和时间同步，通过软件算法对传感数据进行数据矫正，能够消除一帧点云中累积采集时间的影响，使同步采集的传感数据对齐同一时刻，从而实现适应多种应用场景，同步获取准确丰富的3D真值。
附图说明
图1为本发明第一实施例中的一种3D真值获取方法的流程示意图；
图2为本发明第一实施例中示例的硬件同步系统的结构示意图；
图3为本发明第一实施例中示例的软件算法的数据流图；
图4为本发明第二实施例中的一种3D真值获取装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以处理器作为执行主体为例进行说明。
如图1所示，第一实施例提供一种3D真值获取方法，包括步骤S1~S3：
S1、通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发自车上的图像采集设备采集图像，得到若干帧点云和各帧点云对应的图像；
S2、基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框；
S3、遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框。
作为示例性地，在步骤S1，为了解决传感数据帧同步和时间同步的问题，需要考虑不同传感器的帧率、数据类型、获取传感数据时间戳的方式，设计硬件同步系统，令各个传感器采用同一时钟源。根据实际应用需求，可选用激光雷达、图像采集设备、毫米波雷达等传感器。通过硬件同步系统，触发自车上的激光雷达采集点云，得到若干帧点云，以及在激光雷达每采集一帧点云时，同步触发自车上的图像采集设备采集图像，得到各帧点云对应的图像。
在步骤S2中，预先建立3D目标检测模型，基于3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框。
在步骤S3中，为了解决传感数据在累积采集时间内的时刻对齐问题，需要设计软件算法，以将同步采集的传感数据对齐到同一时刻。基于软件算法，遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框，从而可将各帧点云中的所有精准3D目标框作为3D真值输出。
本实施例通过硬件同步系统同步采集点云和图像等传感数据，能够保证各传感器在采集数据时的时钟同源，使传感数据保持帧同步和时间同步，通过软件算法对传感数据进行数据矫正，能够消除一帧点云中累积采集时间的影响，使同步采集的传感数据对齐同一时刻，从而实现适应多种应用场景，同步获取准确丰富的3D真值。
在优选的实施例当中，硬件同步系统包括激光雷达、图像采集设备、工控机、接入时钟同步系统的交换机；激光雷达的点云输出端通过交换机与工控机的点云输入端连接，激光雷达的信号控制端与工控机的信号接收端连接，工控机的信号发送端与图像采集设备的信号受控端连接，图像采集设备的图像输出端与工控机的图像输入端连接；激光雷达，用于在一个预设周期内，将采集的一帧点云传输至工控机；激光雷达，还用于在采集一帧点云时，通过工控机向图像采集设备发送同步触发信号；图像采集设备，还用于在接收到同步触发信号时，将采集的一帧点云对应的图像传输至工控机。
作为示例性地，若传感器选用激光雷达、图像采集设备、毫米波雷达，图像采集设备选用外触发相机，时间同步协议选用PTP时间同步协议，时钟同步系统选用PTP主时钟同步系统，即PTP Master，交换机选用PTP交换机，则将激光雷达的点云输出端通过PTP交换机与工控机的点云输入端连接，将激光雷达的信号控制端与工控机的信号接收端连接，将工控机的信号发送端与外触发相机的信号受控端连接，外触发相机的图像输出端与工控机的图像输入端连接，将毫米波雷达的数据输出端通过CAN网关与工控机的数据输入端链接，设计如图2所示的硬件同步系统。
激光雷达的帧率一般为10Hz，即激光雷达旋转360°扫描周围环境采集一帧点云，一帧点云包含数十万个点云数据，累积采集时间为100ms。根据激光雷达的帧率，确定预设周期，通过硬件同步系统，根据预设周期触发激光雷达采集点云，使激光雷达在一个预设周期内，旋转360°扫描周围环境采集一帧点云，将采集的一帧点云传输至工控机。
图像和点云的数据类型不同，通常采取帧对齐的方式，即一帧图像对应一帧点云。考虑到图像和点云的采集方式和时间不同，采用起始时间同步的方式，即在激光雷达开始采集一帧点云的时刻，由激光雷达触发外触发相机采集一帧图像。通过硬件同步系统，使激光雷达在采集一帧点云时，通过工控机向外触发相机发送同步触发信号，以触发外触发相机采集一帧图像，将采集的一帧点云对应的图像传输至工控机。
毫米波雷达一般以20Hz的频率采集传感数据，由于毫米波雷达一般不支持时间同步协议和触发形式，因此本实施例采用传感数据的落盘时间作为毫米波雷达的传感数据时间戳，负责传感数据写入的软件则部署在工控机上，工控机通过网卡支持PTP时间同步协议，使得毫米波雷达与激光雷达、外触发相机保持时钟同源。
本实施例通过根据选用的传感器设计硬件同步系统，能够有效保证各传感器在采集数据时的时钟同源，使传感数据保持帧同步和时间同步。
在优选的实施例当中，在所述基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框之前，还包括：建立3D目标检测模型；
所述建立3D目标检测模型，具体为：从所有点云中随机筛选预设数量的点云作为训练点云，并分别标注每一帧训练点云中的所有3D目标框；建立初始3D目标检测模型，采用所有训练点云训练初始3D目标检测模型，得到3D目标检测模型。
作为示例性地，当得到所有点云后，从所有点云中随机筛选预设数量的点云作为训练点云，并分别标注每一帧训练点云中的所有3D目标框，从每一帧训练点云中提取3D目标框，得到各帧训练点云中的所有3D目标框。
参考现有技术，可基于卷积神经网络建立初始3D目标检测模型，采用所有训练点云训练初始3D目标检测模型，得到3D目标检测模型。
基于3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框。
在实际应用中，经过人工标注，已得到各帧训练点云中的所有3D目标框，可直接基于3D目标检测模型，对余下各帧点云进行3D目标检测。
本实施例通过以实际采集的部分点云作为训练点云来训练初始3D目标检测模型，建立3D目标检测模型，能够利用3D目标检测模型，快速准确地对各帧点云进行3D目标检测。
在优选的实施例当中，在所述基于预先建立的3D目标框检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框之后，还包括：分别对每一帧点云中的所有3D目标框进行人工修正。
作为示例性地，考虑到利用3D目标检测模型对各帧点云进行3D目标检测，可能存在误检漏检目标的情况，在得到各帧点云中的所有3D目标框后，对各帧点云中的所有3D目标框进行人工修正。这种半自动的3D真值获取方法有利于降低目标检测时间和人工标注成本。
本实施例通过在得到各帧点云中的所有3D目标框后，分别对每一帧点云中的所有3D目标框进行人工修正，能够有效避免出现目标误检漏检的情况。
在优选的实施例当中，所述遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框，具体为：遍历每一帧点云，根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框；根据自车在当前帧点云的全局位姿，分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧点云中的各个第二3D目标框；根据当前帧点云中各个第二3D目标框的目标运动轨迹，对应对当前帧点云中各个第二3D目标框进行运动矫正，得到当前帧点云中的各个精准3D目标框。
作为示例性地，由于一帧点云中的各个点云数据是在累积采集时间内分时测量获取的，因此在激光雷达随自车运动的过程中，激光雷达的运动坐标系会不断变化，导致属于同一帧点云的不同点云数据，其各自的参考坐标系也不同，即运动畸变，需要基于软件算法进行数据矫正。
而相机一般分为全局快门和卷帘快门两种，其中全局快门为所有像素点同时曝光，卷帘快门为像素点逐行曝光，因此卷帘快门相机的曝光时间较长，快速运动的物体会有形变，但在自动驾驶场景下，影响较小，通常可忽略。
虽然采用起始时间同步的方式同步采集点云和图像，但是不同点云数据和不同像素点的获取时间，都会与起始时刻存在一定延迟，速度越低，这种延迟影响越小。
根据上述分析可知，各帧点云中的不同3D目标框存在运动畸变，比如自车的左侧3D目标框和右侧3D目标框的采集时间相差约50ms，需要根据自车和目标的运动信息将不同3D目标框矫正到同一时刻。软件算法的数据流图如图3所示。
遍历每一帧点云，获取激光雷达在采集当前帧点云时的运动信息，根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框。
获取自车在当前帧点云的全局位姿，根据自车在当前帧点云的全局位姿，对当前帧点云中的所有3D目标框进行自运动补偿，即分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，使得当前帧点云中的各个第一3D目标框的坐标均在全局坐标系下，得到当前帧点云中的各个第二3D目标框。
获取当前帧点云中各个第二3D目标框的目标运动轨迹，根据当前帧点云中各个第二3D目标框的目标运动轨迹，对应对当前帧点云中各个第二3D目标框进行运动矫正，得到当前帧点云中的各个精准3D目标框。
本实施例通过分别对每一帧点云中的所有3D目标框进行点云矫正、自运动补偿、运动矫正等数据矫正操作，能够有效消除一帧点云中累积采集时间的影响，使同步采集的传感数据对齐同一时刻。
在优选的实施例当中，在所述根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框之前，还包括：通过惯性测量设备，测量激光雷达在采集当前点云时的运动信息。
作为示例性地，通过惯性测量设备，即IMU设备测量激光雷达在采集当前帧点云时的运动信息，运动信息包括位姿信息，用一个旋转矩阵R和一个平移向量T表示。
根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框。假设起始时刻为t0，激光雷达在t0+Δt时刻测量到一个三维坐标为p的3D目标框，激光雷达在Δt的时间间隔内的运动信息为旋转矩阵RΔt和平移向量TΔt，那么该3D目标框矫正到t0时刻的坐标为p0= [RΔtTΔt]p。
本实施例通过惯性测量测量设备测量激光雷达在采集当前点云时的运动信息，有利于快速准确地对各帧点云中的所有3D目标框进行点云矫正，得到各帧点云中的所有第一3D目标框。
在优选的实施例当中，在所述根据自车在当前帧点云的全局位姿，分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧点云中的各个第二3D目标框之后，还包括：根据自车的位姿，将各帧点云变换到参考帧点云的坐标系下进行拼接，得到路面点云，并在路面点云上标注路面元素，生成3D路面元素。
在优选的实施例当中，在所述根据自车的位姿，将各帧点云变换到参考帧点云的坐标系下进行拼接，得到路面点云之前，还包括：通过定位测量设备，根据各帧点云对自车进行连续位姿估计，得到自车的位姿。
作为示例性地，通过定位测量设备，比如RTK设备或者在RTK信号丢失情况下结合激光雷达SLAM系统，根据与当前帧点云时序连续的若干帧点云，对自车进行连续位姿估计，得到自车在当前帧点云的全局位姿。
其中，利用定位测量设备对自车进行自运动估计，可以得到自车运动轨迹，将自车运动轨迹也作为3D真值输出。
当在硬件同步系统中增设定位测量设备时，考虑到RTK设备通常以100Hz的频率采集定位和运动信息，可以同步GPS时间，激光雷达支持从外部获取时钟源，因此选用PTP时间同步协议，RTK设备通过连接一个PTP Master设备，将GPS时间作为整个时间同步网络的主时钟，通过将激光雷达连接在支持PTP协议的交换机上，从而使RTK设备和激光雷达的传感数据时间戳使用同一时钟源。
根据自车在当前帧点云的全局位姿，分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，补偿自运动，使得当前帧点云中的各个第一3D目标框的坐标均在全局坐标系下，得到当前帧点云中的各个第二3D目标框。假设两帧点云之间的自运动估计为旋转矩阵R和平移向量T，以第一帧点云为世界坐标系，第一帧点云中某一个3D目标框在第二帧点云中的位置齐次坐标为P2，则其在第一帧点云的坐标系下的位置坐标为P2’=[RT]P2。
通过定位测量设备，比如RTK设备或者在RTK信号丢失情况下结合激光雷达SLAM系统，根据各帧点云对自车进行连续位姿估计，得到自车的位姿。
根据自车的位姿，将各帧点云变换到参考帧点云的坐标系下进行拼接，得到路面点云，并在路面点云上标注车道线等路面元素，生成3D车道线等3D路面元素，将3D路面元素也作为3D真值输出。
本实施例通过利用定位测量设备对自车进行自运动估计，能够在获取各帧点云中的所有精准3D目标框的基础上，继续获取自车运动轨迹、3D路面元素等3D真值，从而实现适应多种应用场景，同步获取准确丰富的3D真值。
在优选的实施例当中，在所述根据当前帧点云中各个第二3D目标框的目标运动轨迹，对应对当前帧点云中各个第二3D目标框进行运动矫正，得到当前帧点云中的各个精准3D目标框之前，还包括：结合各帧点云中的所有第二3D目标框进行3D目标跟踪，生成各帧点云中所有第二3D目标框的目标运动轨迹。
作为示例性地，结合各帧点云中的所有第二3D目标框进行3D目标跟踪，生成各帧点云中所有第二3D目标框的目标运动轨迹，将各帧点云中所有第二3D目标框的目标运动轨迹也作为3D真值输出。
本实施例通过在对各帧点云中的所有3D目标框进行自运动补偿后，结合各帧点云中的所有第二3D目标框进行3D目标跟踪，生成各帧点云中所有第二3D目标框的目标运动轨迹，能够在获取各帧点云中的所有精准3D目标框的基础上，继续获取目标运动轨迹，从而实现适应多种应用场景，同步获取准确丰富的3D真值。
基于与第一实施例相同的发明构思，第二实施例提供如图4所示的一种3D真值获取装置，包括：同步采集模块21，用于通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发自车上的图像采集设备采集图像，得到若干帧点云和各帧点云对应的图像；目标检测模块22，用于基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框；数据矫正模块23，用于遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框。
在优选的实施例当中，硬件同步系统包括激光雷达、图像采集设备、工控机、接入时钟同步系统的交换机；激光雷达的点云输出端通过交换机与工控机的点云输入端连接，激光雷达的信号控制端与工控机的信号接收端连接，工控机的信号发送端与图像采集设备的信号受控端连接，图像采集设备的图像输出端与工控机的图像输入端连接；激光雷达，用于在一个预设周期内，将采集的一帧点云传输至工控机；激光雷达，还用于在采集一帧点云时，通过工控机向图像采集设备发送同步触发信号；图像采集设备，还用于在接收到同步触发信号时，将采集的一帧点云对应的图像传输至工控机。
在优选的实施例当中，目标检测模块22，还用于在所述基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框之前，建立3D目标检测模型；
所述建立3D目标检测模型，具体为：从所有点云中随机筛选预设数量的点云作为训练点云，并分别标注每一帧训练点云中的所有3D目标框；建立初始3D目标检测模型，采用所有训练点云训练初始3D目标检测模型，得到3D目标检测模型。
在优选的实施例当中，目标检测模块22，还用于在所述基于预先建立的3D目标框检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框之后，分别对每一帧点云中的所有3D目标框进行人工修正。
在优选的实施例当中，所述遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框，具体为：遍历每一帧点云，根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框；根据自车在当前帧点云的全局位姿，分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧点云中的各个第二3D目标框；根据当前帧点云中各个第二3D目标框的目标运动轨迹，对应对当前帧点云中各个第二3D目标框进行运动矫正，得到当前帧点云中的各个精准3D目标框。
在优选的实施例当中，数据矫正模块23，还用于在所述根据激光雷达在采集当前帧点云时的运动信息，分别对当前帧点云中的每一3D目标框进行点云矫正，得到当前帧点云中的各个第一3D目标框之前，还包括：通过惯性测量设备，测量激光雷达在采集当前点云时的运动信息。
在优选的实施例当中，数据矫正模块23，还用于在所述根据自车在当前帧点云的全局位姿，分别将当前帧点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧点云中的各个第二3D目标框之后，根据自车的位姿，将各帧点云变换到参考帧点云的坐标系下进行拼接，得到路面点云，并在路面点云上标注路面元素，生成3D路面元素。
在优选的实施例当中，数据矫正模块23，还用于在所述根据自车的位姿，将各帧点云变换到参考帧点云的坐标系下进行拼接，得到路面点云之前，通过定位测量设备，根据各帧点云对自车进行连续位姿估计，得到自车的位姿。
在优选的实施例当中，数据矫正模块23，还用于在所述根据当前帧点云中各个第二3D目标框的目标运动轨迹，对应对当前帧点云中各个第二3D目标框进行运动矫正，得到当前帧点云中的各个精准3D目标框之前，结合各帧点云中的所有第二3D目标框进行3D目标跟踪，生成各帧点云中所有第二3D目标框的目标运动轨迹。
综上所述，实施本发明的实施例，具有如下有益效果：
通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发自车上的图像采集设备采集图像，得到若干帧点云和各帧点云对应的图像；基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧点云中的所有3D目标框；遍历每一帧点云，对当前帧点云中的所有3D目标框进行数据矫正，使当前帧点云中各个3D目标框的位置与当前帧点云对应的图像中各个运动目标的位置对应相同，得到各帧点云中的所有精准3D目标框，完成获取3D真值。本发明的实施例通过硬件同步系统同步采集点云和图像等传感数据，能够保证各传感器在采集数据时的时钟同源，使传感数据保持帧同步和时间同步，通过软件算法对传感数据进行数据矫正，能够消除一帧点云中累积采集时间的影响，使同步采集的传感数据对齐同一时刻，从而实现适应多种应用场景，同步获取准确丰富的3D真值。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

Claims (10)

1.一种3D真值获取方法，其特征在于，包括：
通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发所述自车上的图像采集设备采集图像，得到若干帧点云和各帧所述点云对应的图像；
基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框；
遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框。
2.如权利要求1所述的3D真值获取方法，其特征在于，所述硬件同步系统包括所述激光雷达、所述图像采集设备、工控机、接入时钟同步系统的交换机；
所述激光雷达的点云输出端通过所述交换机与所述工控机的点云输入端连接，所述激光雷达的信号控制端与所述工控机的信号接收端连接，所述工控机的信号发送端与所述图像采集设备的信号受控端连接，所述图像采集设备的图像输出端与所述工控机的图像输入端连接；
所述激光雷达，用于在一个预设周期内，将采集的一帧所述点云传输至所述工控机；
所述激光雷达，还用于在采集一帧所述点云时，通过所述工控机向所述图像采集设备发送同步触发信号；
所述图像采集设备，还用于在接收到所述同步触发信号时，将采集的一帧所述点云对应的图像传输至所述工控机。
3.如权利要求1所述的3D真值获取方法，其特征在于，在所述基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框之前，还包括：
建立所述3D目标检测模型；
所述建立所述3D目标检测模型，具体为：
从所有所述点云中随机筛选预设数量的点云作为训练点云，并分别标注每一帧所述训练点云中的所有3D目标框；
建立初始3D目标检测模型，采用所有所述训练点云训练所述初始3D目标检测模型，得到所述3D目标检测模型。
4.如权利要求1或3所述的3D真值获取方法，其特征在于，在所述基于预先建立的3D目标框检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框之后，还包括：
分别对每一帧所述点云中的所有3D目标框进行人工修正。
5.如权利要求1所述的3D真值获取方法，其特征在于，所述遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框，具体为：
遍历每一帧所述点云，根据所述激光雷达在采集当前帧所述点云时的运动信息，分别对当前帧所述点云中的每一3D目标框进行点云矫正，得到当前帧所述点云中的各个第一3D目标框；
根据所述自车在当前帧所述点云的全局位姿，分别将当前帧所述点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧所述点云中的各个第二3D目标框；
根据当前帧所述点云中各个第二3D目标框的目标运动轨迹，对应对当前帧所述点云中各个第二3D目标框进行运动矫正，得到当前帧所述点云中的各个精准3D目标框。
6.如权利要求5所述的3D真值获取方法，其特征在于，在所述根据所述激光雷达在采集当前帧所述点云时的运动信息，分别对当前帧所述点云中的每一3D目标框进行点云矫正，得到当前帧所述点云中的各个第一3D目标框之前，还包括：
通过惯性测量设备，测量所述激光雷达在采集当前所述点云时的运动信息。
7.如权利要求5所述的3D真值获取方法，其特征在于，在所述根据所述自车在当前帧所述点云的全局位姿，分别将当前帧所述点云中的每一第一3D目标框的位置坐标转换为全局坐标，得到当前帧所述点云中的各个第二3D目标框之后，还包括：
根据所述自车的位姿，将各帧所述点云变换到参考帧点云的坐标系下进行拼接，得到路面点云，并在所述路面点云上标注路面元素，生成3D路面元素。
8.如权利要求7所述的3D真值获取方法，其特征在于，在所述根据所述自车的位姿，将各帧所述点云变换到参考帧点云的坐标系下进行拼接，得到路面点云之前，还包括：
通过定位测量设备，根据各帧所述点云对所述自车进行连续位姿估计，得到所述自车的位姿。
9.如权利要求5所述的3D真值获取方法，其特征在于，在所述根据当前帧所述点云中各个第二3D目标框的目标运动轨迹，对应对当前帧所述点云中各个第二3D目标框进行运动矫正，得到当前帧所述点云中的各个精准3D目标框之前，还包括：
结合各帧所述点云中的所有第二3D目标框进行3D目标跟踪，生成各帧所述点云中所有第二3D目标框的目标运动轨迹。
10.一种3D真值获取装置，其特征在于，包括：
同步采集模块，用于通过硬件同步系统，触发自车上的激光雷达采集点云，以及同步触发所述自车上的图像采集设备采集图像，得到若干帧点云和各帧所述点云对应的图像；
目标检测模块，用于基于预先建立的3D目标检测模型，分别从每一帧点云中提取3D目标框，得到各帧所述点云中的所有3D目标框；
数据矫正模块，用于遍历每一帧所述点云，对当前帧所述点云中的所有3D目标框进行数据矫正，使当前帧所述点云中各个3D目标框的位置与当前帧所述点云对应的图像中各个运动目标的位置对应相同，得到各帧所述点云中的所有精准3D目标框。
CN202310425069.8A 2023-04-20 2023-04-20 一种3d真值获取方法及装置 Pending CN116129106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310425069.8A CN116129106A (zh) 2023-04-20 2023-04-20 一种3d真值获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310425069.8A CN116129106A (zh) 2023-04-20 2023-04-20 一种3d真值获取方法及装置

Publications (1)

Publication Number Publication Date
CN116129106A true CN116129106A (zh) 2023-05-16

Family

ID=86303147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310425069.8A Pending CN116129106A (zh) 2023-04-20 2023-04-20 一种3d真值获取方法及装置

Country Status (1)

Country Link
CN (1) CN116129106A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN112902874A (zh) * 2021-01-19 2021-06-04 中国汽车工程研究院股份有限公司 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN115293035A (zh) * 2022-07-31 2022-11-04 南斗六星系统集成有限公司 自动驾驶车辆数采仿真方法、装置、设备及存储介质
CN115841519A (zh) * 2022-11-30 2023-03-24 北京四维万兴科技有限公司 一种图像采集设备的标定精度检测方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN112902874A (zh) * 2021-01-19 2021-06-04 中国汽车工程研究院股份有限公司 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN115293035A (zh) * 2022-07-31 2022-11-04 南斗六星系统集成有限公司 自动驾驶车辆数采仿真方法、装置、设备及存储介质
CN115841519A (zh) * 2022-11-30 2023-03-24 北京四维万兴科技有限公司 一种图像采集设备的标定精度检测方法、装置及设备

Similar Documents

Publication Publication Date Title
EP3438776B1 (en) Method, apparatus and computer program for a vehicle
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN106375706B (zh) 利用双摄像头进行运动物体测速的方法、装置及移动终端
CN107357286A (zh) 视觉定位导航装置及其方法
JP2019526950A (ja) マルチセンサ画像手ぶれ補正技術
EP2581879B1 (en) Three-frame difference moving target acquisition system and method for target track identification
CN111736169B (zh) 一种数据同步方法、设备及系统
CN113160327A (zh) 一种点云补全的实现方法和系统
EP3771198A1 (en) Target tracking method and device, movable platform and storage medium
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN112577517A (zh) 一种多元定位传感器联合标定方法和系统
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
CN104717426A (zh) 一种基于外部传感器的多摄像机视频同步装置及方法
Li et al. Reconstruction of 3D flight trajectories from ad-hoc camera networks
CN114199235B (zh) 一种基于扇面深度相机的定位系统及定位方法
CN113240813B (zh) 三维点云信息确定方法及装置
CN109903308B (zh) 用于获取信息的方法及装置
CN116684740A (zh) 感知训练数据生成方法、装置、计算机设备和存储介质
CN110657801B (zh) 定位方法、装置以及电子设备
CN116129106A (zh) 一种3d真值获取方法及装置
CN116907469A (zh) 多模态数据联合优化的同步定位及建图方法及系统
CN113091740B (zh) 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法
CN108573504A (zh) 用于分析植物的表型的3d影像生成方法及其系统
JPH1023465A (ja) 撮像方法及び装置
US20240011917A1 (en) Damage Detection Based on Images With Varying Resolutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication