CN111220992B - 雷达数据融合方法、装置及系统 - Google Patents

雷达数据融合方法、装置及系统 Download PDF

Info

Publication number
CN111220992B
CN111220992B CN201811414741.9A CN201811414741A CN111220992B CN 111220992 B CN111220992 B CN 111220992B CN 201811414741 A CN201811414741 A CN 201811414741A CN 111220992 B CN111220992 B CN 111220992B
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
pose
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811414741.9A
Other languages
English (en)
Other versions
CN111220992A (zh
Inventor
文驰
徐琥
罗哲
曾钰庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201811414741.9A priority Critical patent/CN111220992B/zh
Publication of CN111220992A publication Critical patent/CN111220992A/zh
Application granted granted Critical
Publication of CN111220992B publication Critical patent/CN111220992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种雷达数据融合方法,包括:从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;确定目标点云数据中的基准点云数据及非基准点云数据;获取由惯导仪采集的、与非基准点云数据具有相同时间戳的第一位姿数据及与基准点云数据具有相同时间戳的第二位姿数据;根据第一位姿数据和第二位姿数据,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换;根据位姿变换对非基准点云数据进行补偿;根据基准点云数据及补偿后的非基准点云数据进行数据融合。本申请提供的方案可以打破应用场景的局限。

Description

雷达数据融合方法、装置及系统
技术领域
本申请涉及计算机技术领域,特别是涉及一种雷达数据融合方法、装置、系统、计算机可读存储介质及计算机设备。
背景技术
随着科技的不断发展,人们越来越多地使用多个雷达分别从不同方位对环境进行扫描,再对多个雷达扫描得到的点云数据进行融合,从而实现全方位地感知周围环境。以自动驾驶领域为例,将多个激光雷达分别安装在车辆上的不同位置处,在车辆行驶过程中,各激光雷达分别从不同方位对车辆的周围环境进行扫描,再对各激光雷达扫描得到的点云数据进行融合,从而实现全方位地感知车辆的周围环境。
传统的雷达数据融合方式中,是基于各雷达之间的交叠区域进行配准,得到各雷达对应的坐标系相互之间的变换矩阵,再将各雷达扫描得到的点云数据投射到指定雷达对应的坐标系上进行数据融合。然而,在传统方式下,数据融合的准确性不高,且仅仅能适用于各雷达之间具有较大的交叠区域的应用场景,存在一定的局限性。
发明内容
基于此,有必要针对传统方式中数据融合准确性不高,且仅仅能适用于各雷达之间具有较大的交叠区域的应用场景,存在一定的局限性的技术问题,提供一种雷达数据融合方法、装置、系统、计算机可读存储介质以及计算机设备。
一种雷达数据融合方法,包括:
从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;
确定所述目标点云数据中的基准点云数据及非基准点云数据;
获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;
根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;
根据所述位姿变换对所述非基准点云数据进行补偿;
根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
一种雷达数据融合装置,包括:
目标点云获取模块,用于从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;
基准区分模块,用于确定所述目标点云数据中的基准点云数据及非基准点云数据;
位姿数据获取模块,用于获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;
位姿变换确定模块,用于根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;
非基准点云补偿模块,用于根据所述位姿变换对所述非基准点云数据进行补偿;
数据融合模块,用于根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
一种雷达数据融合系统,包括控制器、惯导仪及至少两个雷达;
所述至少两个雷达用于扫描周围环境得到点云数据,并将所述点云数据发送至所述控制器;
所述惯导仪用于采集位姿数据,并将所述位姿数据发送至所述控制器;
所述控制器,用于根据接收到的点云数据得到分别对应所述至少两个雷达的待处理点云数据;从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;确定所述目标点云数据中的基准点云数据及非基准点云数据;获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;根据所述位姿变换对所述非基准点云数据进行补偿;根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上所述的雷达数据融合方法中的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上所述的雷达数据融合方法中的步骤。
上述雷达数据融合方法、装置、系统、计算机可读存储介质以及计算机设备,先根据待处理点云数据的时间戳及数据融合条件,初步选出适合进行数据融合的目标点云数据,再根据位姿变换对目标点云数据中的非基准点云数据进行补偿,实现了需要进行数据融合的点云数据的时间同步,提高了数据融合的准确性。并且,无需基于各雷达之间的交叠区域进行配准,打破了应用场景的局限。
附图说明
图1为一个实施例中雷达数据融合方法的应用环境图;
图2为一个实施例中雷达数据融合方法的流程示意图;
图3为一个实施例中无人车的位置变化的示意图;
图4为一个实施例中进行数据融合后点云数据的示意图;
图5为一个实施例中点云数据左乘外参的原理示意图;
图6为一个实施例中激光雷达对应的待处理点云数据的时间戳示意图;
图7为一个实施例中雷达数据融合装置的结构框图;
图8为一个实施例中雷达数据融合系统的结构框图;
图9为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请文件中使用的诸如“第一”和“第二”的术语,是用于对类似的对象作出命名上的区分,但这些对象本身不受这些术语限制。在不脱离本申请的范围的情况下,这些术语在适当的情况下可以互换。
本申请各实施例提供的雷达数据融合方法,可以应用于如图1所示的应用环境中。该应用环境可以涉及终端100,该终端100可以包括控制器110、惯导仪120、雷达130(雷达的数目可以等于或大于2,图1以雷达131及雷达132这两个雷达为例)。其中,惯导仪120、雷达131以及雷达132分别通过有线或无线的方式与处理器110连接。
具体地,雷达131和雷达132分别从不同方位扫描周围环境得到点云数据,并将点云数据发送至控制器110。惯导仪120采集位姿数据,并将位姿数据发送至控制器110。控制器110根据接收到的点云数据得到分别对应雷达131和雷达132的待处理点云数据,并从中获取时间戳满足数据融合条件的目标点云数据,目标点云数据包括分别对应雷达131和雷达132的两帧待处理点云数据。进而,确定两帧待处理点云数据中的基准点云数据及非基准点云数据,再从接收到的位姿数据中获取与非基准点云数据具有相同时间戳的第一位姿数据及与基准点云数据具有相同时间戳的第二位姿数据,并根据第一位姿数据和第二位姿数据,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换,然后根据位姿变换对非基准点云数据进行补偿,再根据基准点云数据及补偿后的非基准点云数据进行数据融合。
其中,终端100可以为无人车、无人机及机器人等等,但不局限于此。
在一个实施例中,如图2所示,提供了一种雷达数据融合方法。以该方法应用于上述图1中的控制器110为例进行说明。该方法可以包括如下步骤S202至S212。
S202,从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据。
点云数据,是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。点云数据可以通过雷达扫描周围环境得到。具体地,雷达可以为激光雷达,激光雷达向周围环境发射激光脉冲并接收反射回来的信号,以此得到关于周围环境的点云数据。此外,雷达输出的点云数据可以携带时间戳,点云数据的时间戳用于表征该点云数据从雷达输出的时间。
目标点云数据包括分别对应各雷达的至少两帧待处理点云数据,且目标点云数据的时间戳满足数据融合条件。具体地,可以从分别对应至少两个雷达的待处理点云数据中,选出与雷达个数相同数目的待处理点云数据,选出的各待处理点云数据与各雷达分别对应,且时间戳满足数据融合条件,选出的待处理点云数据即为目标点云数据。
比如,在无人车上安装激光雷达R1和激光雷达R2共计2个激光雷达,从与激光雷达R1对应的待处理点云数据中选出1帧待处理点云数据,并从与激光雷达R2对应的待处理点云数据中选出1帧待处理点云数据,选出的这2帧待处理点云数据的时间戳满足数据融合条件,这2帧待处理点云数据即为目标点云数据。再比如,在无人车上安装激光雷达R3、R4以及R5共计3个激光雷达,从与激光雷达R3对应的待处理点云数据中选出1帧待处理点云数据、从与激光雷达R4对应的待处理点云数据中选出1帧待处理点云数据、以及从与激光雷达R5对应的待处理点云数据中选出1帧待处理点云数据,选出的这3帧待处理点云数据的时间戳满足数据融合条件,这3帧待处理点云数据即为目标点云数据。
需要说明的是,获取时间戳满足数据融合条件的目标点云数据,可以视为对待处理点云数据的时间戳进行粗对准。其中,数据融合条件可以根据实际需求预先设定,设置数据融合条件的原则是确保通过数据融合条件选出的各待处理点云数据的时间戳相距最近。可以理解,对应不同雷达的各待处理点云数据相距最近时,根据这些待处理点云数据进行数据融合所带来的数据误差最小。
比如,无人车上安装激光雷达R1和激光雷达R2,假设与激光雷达R1对应的1帧待处理点云数据Pc1-1的时间戳为t0,与激光雷达R2对应的1帧待处理点云数据Pc2-1的时间戳为t1,与激光雷达R2对应的1帧待处理点云数据Pc2-2的时间戳为t2,t0与t1的差值的绝对值小于t0与t2的差值的绝对值。在此情况下,根据待处理点云数据Pc1-1和待处理点云数据Pc2-1进行数据融合所带来的误差,少于根据待处理点云数据Pc1-1和待处理点云数据Pc2-2进行数据融合所带来的误差。
在一个实施例中,待处理点云数据可以是对雷达输出的点云数据进行坐标系转换后得到的点云数据,对于每一个雷达输出的点云数据,该雷达输出的点云数据处于该雷达对应的坐标系下,可以将每一个雷达输出的点云数据均转换到同一坐标系下,即实现各雷达输出的点云数据的空间同步。亦即,可以先将每一个雷达输出的点云数据均转换到同一坐标系下(即先对各雷达输出的点云数据进行空间同步),再从经过坐标系转换得到的待处理点云数据中获取目标点云数据。
在另一个实施例中,待处理点云数据也可以是雷达输出的点云数据本身。亦即,可以先从雷达输出的点云数据中选出目标点云数据,后续再将选出的目标点云数据包括的各待处理点云数据转换到同一坐标系下。
S204,确定目标点云数据中的基准点云数据及非基准点云数据。
基准点云数据,可以是目标点云数据包括的各待处理点云数据中,时间戳最晚的待处理点云数据。相应地,目标点云数据包括的各待处理点云数据中,除时间戳最晚的待处理点云数据之外的其它待处理点云数据,均为非基准点云数据。
比如,目标点云数据包括与激光雷达R1对应的1帧待处理点云数据Pc1-1及与激光雷达R2对应的1帧待处理点云数据Pc2-1,待处理点云数据Pc1-1的时间戳为t0,待处理点云数据Pc2-1的时间戳为t1,t1晚于t0,则待处理点云数据Pc2-1为基准点云数据,待处理点云数据Pc1-1为非基准点云数据。
S206,获取由惯导仪采集的、与非基准点云数据具有相同时间戳的第一位姿数据及与基准点云数据具有相同时间戳的第二位姿数据。
位姿数据,可以由惯导仪检测其所附着的物体的运动情况得到。比如,在无人车上安装惯导仪,在无人车行驶过程中,惯导仪检测无人车的运动情况,从而得到相应的位姿数据。具体地,位姿数据可以包括X(X轴上的坐标)、Y(Y轴上的坐标)、Z(Z轴上的坐标)、Roll(围绕Z轴旋转的角度,也称翻滚角)、Pitch(围绕X轴旋转的角度,也称俯仰角)及Yaw(围绕Y轴旋转的角度,也称航偏角)。此外,惯导仪输出的位姿数据可以携带时间戳,位姿数据的时间戳用于表征该位姿数据从惯导仪输出的时间。
相应地,第一位姿数据为时间戳与非基准点云数据的时间戳相同的位姿数据。第一位姿数据的数目与非基准点云数据的数目一致,非基准点云数据的数目为雷达个数减1,第一位姿数据的数目相应也为雷达个数减1。
第二位姿数据为时间戳与基准点云数据的时间戳相同的位姿数据。类似地,第二位姿数据的数目与基准点云数据的数目一致,基准点云数据一般仅有1个,第二位姿数据相应也仅有1个。
S208,根据第一位姿数据和第二位姿数据,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
位姿变换,用于表征从第一位姿数据的时间戳到第二位姿数据的时间戳的这段时间中,惯导仪所附着的物体的位置变化。
比如,无人车上安装激光雷达R1、激光雷达R2以及惯导仪IMU1,与激光雷达R2对应的待处理点云数据Pc2-1为基准点云数据,其时间戳为t1,与激光雷达R1对应的待处理点云数据Pc1-1为非基准点云数据,其时间戳为t0。则,获取由惯导仪IMU1采集的、时间戳同样为t0的第一位姿数据Pa1以及时间戳同样为t1的第二位姿数据Pa2。进而,根据第一位姿数据Pa1和第二位姿数据Pa2,确定t0到t1时刻的位姿变换ΔT。如图3所示,t0到t1时刻的位姿变换用于表征从t0时刻到t1时刻这段时间中,无人车的位置变化。
S210,根据位姿变换对非基准点云数据进行补偿。
在本实施例中,可以根据位姿变换对非基准点云数据进行补偿,以将非基准点云数据,从非基准点云数据的时间戳对应的坐标系转换到基准点云数据的时间戳对应的坐标系下,得到补偿后的非基准点云数据。
比如,待处理点云数据Pc2-1为基准点云数据,其时间戳为t1,待处理点云数据Pc1-1为非基准点云数据,其时间戳为t0,根据时间戳为t0的第一位姿数据Pa1以及时间戳为t1的第二位姿数据Pa2,确定t0到t1时刻的位姿变换ΔT,根据位姿变换ΔT对待处理点云数据Pc1-1进行补偿,以将t0时刻的待处理点云数据Pc1-1转换到t1时刻的坐标系下,得到补偿后的非基准点云数据。
S212,根据基准点云数据及补偿后的非基准点云数据进行数据融合。
在一个实施例中,基准点云数据及补偿后的非基准数据是已经历过前文描述的空间同步的数据,据此可以直接将补偿后的非基准点云数据叠加到基准点云数据上,以完成数据融合。在另一个实施例中,基准点云数据及补偿后的非基准数据还未经历空间同步,据此可以先对基准点云数据及补偿后的非基准点云数据进行空间同步,再将已经历过空间同步的补偿后的非基准点云数据叠加到基准点云数据上,以完成数据融合。此外,图4所示为进行数据融合后的点云数据的示例。
上述雷达数据融合方法,先根据待处理点云数据的时间戳及数据融合条件,初步选出适合进行数据融合的目标点云数据,再根据位姿变换对目标点云数据中的非基准点云数据进行补偿,实现了需要进行数据融合的点云数据的时间同步,提高了数据融合的准确性。并且,无需基于各雷达之间的交叠区域进行配准,打破了应用场景的局限,降低了计算资源的消耗。
在一个实施例中,在从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据的步骤之前,即步骤S202之前,还可以包括如下步骤:获取分别处于至少两个雷达对应的坐标系下的各点云数据;获取各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参;分别根据各外参,将处于相应雷达对应的坐标系下的点云数据投射到惯导仪对应的坐标系下,得到分别对应至少两个雷达的待处理点云数据。
雷达对应的坐标系相对于惯导仪对应的坐标系的外参,可以用于表征该雷达对应的坐标系与该惯导仪对应的坐标系之间的转换关系,且其可以根据该雷达采集的点云数据和该惯导仪采集的位姿数据进行外参标定处理得到。外参的数据形式可以为矩阵。
在本实施例中,每一个雷达输出的点云数据均处于该雷达对应的坐标系下,可以根据各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参,将处于相应雷达对应的坐标系下的点云数据投射到惯导仪对应的坐标系下,具体可以将处于各雷达对应的坐标系下的点云数据,左乘相应雷达对应的坐标系相对于惯导仪对应的坐标系的外参,以得到与各雷达分别对应的待处理点云数据。此外,图5所示为将处于雷达对应的坐标系下的点云数据P,左乘雷达对应的坐标系相对于惯导仪对应的坐标系的外参Tk的示例。
比如,在无人车上安装激光雷达R1、激光雷达R2以及惯导仪IMU1,激光雷达R1输出的点云数据处于激光雷达R1对应的坐标系(以下简称激光雷达R1坐标系)下,激光雷达R2输出的点云数据处于激光雷达R2对应的坐标系(以下简称激光雷达R2坐标系)下。可以根据激光雷达R1相对于惯导仪IMU1的外参Tk1,将激光雷达R1输出的点云数据转换到惯导仪IMU1对应的坐标系(以下简称惯导仪IMU1坐标系)下,具体可以将激光雷达R1输出的点云数据左乘外参Tk1,以得到与激光雷达1对应的待处理点云数据。并且,可以根据激光雷达R2相对于惯导仪IMU1的外参Tk2,将激光雷达R2输出的点云数据转换到惯导仪IMU1坐标系下,具体可以将激光雷达R2输出的点云数据左乘外参Tk2,以此得到与激光雷达2对应的待处理点云数据。
在一个实施例中,至少两个雷达包括两个雷达。在此情况下,数据融合条件可以包括:目标点云数据包括的分别对应两个雷达的两帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值。
在本实施例中,在雷达的个数等于2时,可以从分别对应两个雷达的待处理点云数据中,各选出1帧待处理点云数据,这2帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值,这2帧待处理点云数据即为目标点云数据。
比如,无人车上安装激光雷达R1和激光雷达R2,从与激光雷达R1对应的各待处理点云数据中选出1帧待处理点云数据(假设为待处理点云数据Pc1-1,其时间戳为t0)、以及从与激光雷达R2对应的各待处理点云数据中选出1帧待处理点云数据(假设为待处理点云数据Pc2-1,其时间戳为t1),t0和t1的差值的绝对值小于时间差阈值,待处理点云数据Pc1-1和待处理点云数据Pc2-1即为目标点云数据。
需要说明的是,具体实施时,如图6所示,图6中的黑点为与激光雷达对应的待处理点云数据的时间戳。比如,激光雷达R2新来第3帧待处理点云数据时,假设激光雷达R1的最晚的一帧待处理点云数据为激光雷达R1的第3帧待处理点云数据,此时将激光雷达R2的第3帧待处理点云数据的时间戳和激光雷达R1的第3帧待处理点云数据的时间戳之间的差值的绝对值,与时间戳阈值进行比较,这两个时间戳之间的差值的绝对值小于时间戳阈值,这2帧待处理点云数据即为目标点云数据,也意味着两者完成粗对准,并且激光雷达R2的第3帧待处理点云数据为基准点云数据,激光雷达R1的第3帧待处理点云数据为非基准点云数据。
再比如,激光雷达R2新来第4帧待处理点云数据时,假设激光雷达R1的最晚的一帧待处理点云数据为激光雷达R1的第3帧待处理点云数据,此时将激光雷达R2的第4帧待处理点云数据的时间戳和激光雷达R1的第3帧待处理点云数据的时间戳之间的差值的绝对值,与时间戳阈值进行比较,这两个时间戳之间的差值的绝对值不小于时间戳阈值,这2帧待处理点云数据无法作为目标点云数据。则,继续等待激光雷达R1的第4帧待处理点云数据,再将激光雷达R2的第4帧待处理点云数据的时间戳和激光雷达R1的第4帧待处理点云数据的时间戳之间的差值的绝对值,与时间戳阈值进行比较,这两个时间戳之间的差值的绝对值小于时间戳阈值,这2帧待处理点云数据即为目标点云数据,也意味着两者完成粗对准,并且激光雷达R1的第4帧待处理点云数据为基准点云数据,激光雷达R2的第4帧待处理点云数据为非基准点云数据。
需要说明的是,时间差阈值可以根据实际需求进行设定。比如,时间差阈值可以设为雷达的采样周期的一半,以雷达的采样周期为0.1秒为例,时间差阈值可以设为0.05秒。
在一个实施例中,数据融合条件可以包括:目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值。
在本实施例中,雷达的数目等于2或大于2时,可以从分别对应各雷达的待处理点云数据中,各选出1帧与当前基准时间的差值的绝对值小于时间差阈值的待处理点云数据,选出的与雷达的个数相同数目的各待处理点云数据,即为时间戳满足数据融合条件的目标点云数据。其中,当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定。
比如,无人车上安装激光雷达R3、激光雷达R4以及激光雷达R5,从与激光雷达R3对应的待处理点云数据中,选出1帧其时间戳与当前基准时间的差值的绝对值小于时间差阈值的待处理点云数据Pc3-2,从与激光雷达R4对应的待处理点云数据中,选出1帧其时间戳与当前基准时间的差值的绝对值小于时间差阈值的待处理点云数据Pc4-2,以及从与激光雷达R5对应的待处理点云数据中,选出1帧其时间戳与当前基准时间的差值的绝对值小于时间差阈值的待处理点云数据Pc5-2。据此,待处理点云数据Pc3-2、待处理点云数据Pc4-2以及待处理点云数据Pc5-2这3帧待处理点云数据,即为时间戳满足数据融合条件的目标点云数据。
假设,上一个满足数据融合条件的目标点云数据包括与激光雷达R3对应的待处理点云数据Pc3-1、与激光雷达R4对应的待处理点云数据Pc4-0、以及与激光雷达R5对应的待处理点云数据Pc5-0,则选取待处理点云数据Pc3-2、待处理点云数据Pc4-2以及待处理点云数据Pc5-2时使用的当前基准时间,根据待处理点云数据Pc3-1的时间戳、待处理点云数据Pc4-0的时间戳、以及待处理点云数据Pc5-0的时间戳确定。
在一个实施例中,当前基准时间可以是上一个满足数据融合条件的目标点云数据包括的各待处理点云数据的时间戳的均值加上雷达的采样周期。承接前述示例,假设激光雷达R3至R5的采样周期为0.1秒,选取待处理点云数据Pc3-2、待处理点云数据Pc4-2以及待处理点云数据Pc5-2时使用的当前基准时间,是待处理点云数据Pc3-1的时间戳、待处理点云数据Pc4-0的时间戳、以及待处理点云数据Pc5-0的时间戳的均值tm1加上0.1,即tm1+0.1。
需要说明的是,在具体实施过程中,针对第一次选取目标点云数据,由于不存在上一个满足数据融合条件的目标点云数据,可以分别从对应激光雷达R3的各待处理点云数据中、对应激光雷达R4的各待处理点云数据中、以及对应激光雷达R5的各待处理点云数据中,选出1帧时间戳最晚的待处理点云数据,再在选出的这3帧时间戳最晚的待处理点云数据中,选出时间戳最早的待处理点云数据,再在与激光雷达R4对应的各待处理点云数据中选出与该时间戳最早的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据,在与激光雷达R5对应的各待处理点云数据中选出与该时间戳最早的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据。至此,选出了第一个满足数据融合条件的目标点云数据,该目标点云数据包括以下三帧待处理点云数据:该时间戳最早的待处理点云数据、与激光雷达R4对应的各待处理点云数据中与该时间戳最早的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据、以及与激光雷达R5对应的各待处理点云数据中与该时间戳最早的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据。
假设,激光雷达R3至R5的采样周期为0.1秒,时间戳阈值为0.05秒,对应激光雷达R3、激光雷达R4、激光雷达R5的各待处理点云数据及相应的时间戳如下表1所示。则,从对应激光雷达R3的各待处理点云数据中选出时间戳最晚的待处理点云数据Pc3-1,从对应激光雷达R4的各待处理点云数据中选出时间戳最晚的待处理点云数据Pc4-1,从对应激光雷达R5的各待处理点云数据中选出时间戳最晚的待处理点云数据Pc5-1。再在待处理点云数据Pc3-1、Pc4-1以及Pc5-1这三帧待处理点云数据中,选出时间戳最早的待处理点云数据Pc3-1。进而,在与激光雷达R4对应的各待处理点云数据中选出与待处理点云数据Pcc3-1的时间戳的差值的绝对值小于0.05秒的待处理点云数据Pc4-0,在与激光雷达R5对应的各待处理点云数据中选出与待处理点云数据Pcc3-1的时间戳的差值的绝对值小于0.05秒的待处理点云数据Pc5-0。至此,选出了第一个满足数据融合条件的目标点云数据,该目标点云数据包括待处理点云数据Pc3-1、待处理点云数据Pc4-0以及待处理点云数据Pc5-0。
表1
Figure BDA0001879200950000131
需要说明的是,从上述3帧时间戳最晚的待处理点云数据中,选出时间戳最早的待处理点云数据,再获取与该时间戳最早的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据,能够确保获取到满足数据融合条件的目标点云数据。但若从上述3帧时间戳最晚的待处理点云数据中,选出时间戳最晚或者时间戳位于中间的待处理点云数据,再获取与该时间戳最晚或者时间戳位于中间的待处理点云数据的时间戳的差值的绝对值小于时间戳阈值的待处理点云数据,则可能导致无法获取到满足数据融合条件的目标点云数据。仍以上表1所示为例,在待处理点云数据Pc3-1、Pc4-1以及Pc5-1这三帧待处理点云数据中,选出时间戳最晚的待处理点云数据Pc5-1,在与激光雷达R4对应的各待处理点云数据中选出与待处理点云数据Pc5-1的时间戳的差值的绝对值小于0.05秒的待处理点云数据Pc4-1,但在与激光雷达R3对应的各待处理点云数据(待处理点云数据Pc3-0和Pc3-1)中无法选出与待处理点云数据Pc5-1的时间戳的差值的绝对值小于0.05秒的待处理点云数据。在待处理点云数据Pc3-1、Pc4-1以及Pc5-1这三帧待处理点云数据中,选出时间戳位于中间的待处理点云数据Pc4-1类似,此处不加赘述。
然后,针对第二次选取目标点云数据,可以先确定第一次选取出的满足数据融合条件的目标点云数据的时间戳的均值加上激光雷达的采样周期(承接前述示例,为待处理点云数据Pc3-1的时间戳、待处理点云数据Pc4-0的时间戳、以及待处理点云数据Pc5-0的时间戳的均值加上激光雷达的采样周期),即当前基准时间为tm1+0.1。再在tm1+0.1时刻,从对应激光雷达R3的各待处理点云数据中,选出1帧时间戳与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据,从对应激光雷达R4的各待处理点云数据中选出1帧时间戳与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据,以及从对应激光雷达R5的各待处理点云数据中选出1帧时间戳与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据。至此,选出了第二个满足数据融合条件的目标点云数据,该目标点云数据包括以下三帧待处理点云数据:对应激光雷达R3的各待处理点云数据中与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据(假设为待处理点云数据Pc3-2)、对应激光雷达R4的各待处理点云数据中与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据(假设为待处理点云数据Pc4-2)、以及对应激光雷达R5的各待处理点云数据中与tm1+0.1的差值的绝对值小于时间戳阈值的待处理点云数据(假设为待处理点云数据Pc5-2)。
进而,针对第三次选取目标点云数据,可以先确定第二次选取出的满足数据融合条件的目标点云数据的时间戳的均值加上激光雷达的采样周期(承接前述示例,为待处理点云数据Pc3-2的时间戳、待处理点云数据Pc4-2的时间戳、以及待处理点云数据Pc5-2的时间戳的均值加上激光雷达的采样周期),即当前基准时间为tm2+0.1。再在tm2+0.1时刻,根据与上文所述类似的方式,选出第三个满足数据融合条件的目标点云数据,后续选取目标点云数据的方式均类似,在此不再赘述。
在一个实施例中,根据第一位姿数据和第二位姿数据,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换的步骤,即步骤S208,可以包括如下步骤:将第一位姿数据转换为世界坐标系下的第一位姿矩阵,并将第二位姿数据转换为世界坐标系下的第二位姿矩阵;根据第一位姿矩阵和第二位姿矩阵的逆矩阵,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
具体地,第一位姿数据为包括X、Y、Z、Roll、Pitch及Yaw的多元参数,可以对第一位姿数据进行数据格式转换,将第一位姿数据从多元参数转换为世界坐标系下的4×4矩阵(即第一位姿矩阵)。第二位姿数据类似,在此不再赘述。
得到第一位姿矩阵和第二位姿矩阵后,可以采用以下公式确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换ΔT
ΔT=M1 -1*M0
其中,M0表示第一位姿矩阵,M1表示第二位姿矩阵,M1 -1表示第二位姿矩阵的逆矩阵。
在一个实施例中,根据位姿变换对非基准点云数据进行补偿的步骤,即步骤S210,可以包括如下步骤:将非基准点云数据左乘位姿变换。
以非基准点云数据为待处理点云数据Pc1-1,位姿变换为ΔT为例,将非基准点云数据左乘位姿变换后得到的ΔT*Pc1-1,即为补偿后的非基准点云数据。
在一个实施例中,提供了一种雷达数据融合方法。该方法可以包括如下步骤(1)至(9)。
(1)、获取分别处于至少两个雷达对应的坐标系下的各点云数据。
(2)、获取各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参。
(3)、分别根据各外参,将处于相应雷达对应的坐标系下的点云数据投射到惯导仪对应的坐标系下,得到分别对应至少两个雷达的待处理点云数据。
(4)、从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;其中,目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据,数据融合条件包括以下两项中的一项:至少两个雷达包括两个雷达时,目标点云数据包括的分别对应两个雷达的两帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值;数据融合条件包括:目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值,当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定。
(5)、确定目标点云数据中的基准点云数据及非基准点云数据。
(6)、获取由惯导仪采集的、与非基准点云数据具有相同时间戳的第一位姿数据及与基准点云数据具有相同时间戳的第二位姿数据。
(7)、将第一位姿数据转换为世界坐标系下的第一位姿矩阵,并将第二位姿数据转换为世界坐标系下的第二位姿矩阵。
(8)、根据第一位姿矩阵和第二位姿矩阵的逆矩阵,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
(9)、将非基准点云数据左乘位姿变换,得到补偿后的非基准点云数据。根据基准点云数据及补偿后的非基准点云数据进行数据融合。
需要说明的是,本实施例中对各技术特征的具体限定,可以与前文中对相应技术特征的限定相同,在此不再赘述。
在合理条件下应当理解,虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种雷达数据融合装置700。该装置可以包括如下模块702至712。
目标点云获取模块702,用于从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据。
基准区分模块704,用于确定目标点云数据中的基准点云数据及非基准点云数据。
位姿数据获取模块706,用于获取由惯导仪采集的、与非基准点云数据具有相同时间戳的第一位姿数据及与基准点云数据具有相同时间戳的第二位姿数据。
位姿变换确定模块708,用于根据第一位姿数据和第二位姿数据,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
非基准点云补偿模块710,用于根据位姿变换对非基准点云数据进行补偿。
数据融合模块712,用于根据基准点云数据及补偿后的非基准点云数据进行数据融合。
上述雷达数据融合装置700,先根据待处理点云数据的时间戳及数据融合条件,初步选出适合进行数据融合的目标点云数据,再根据位姿变换对目标点云数据中的非基准点云数据进行补偿,实现了需要进行数据融合的点云数据的时间同步,提高了数据融合的准确性。并且,无需基于各雷达之间的交叠区域进行配准,打破了应用场景的局限,降低了计算资源的消耗。
在一个实施例中,雷达数据融合装置700还可以包括如下模块:点云数据获取模块,用于获取分别处于至少两个雷达对应的坐标系下的各点云数据;外参获取模块,用于获取各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参;坐标系转换模块,用于分别根据各外参,将处于相应雷达对应的坐标系下的点云数据投射到惯导仪对应的坐标系下,得到分别对应至少两个雷达的待处理点云数据。
在一个实施例中,坐标系转换模块,可以用于将处于各雷达对应的坐标系下的点云数据,左乘相应雷达对应的坐标系相对于惯导仪对应的坐标系的外参,得到分别对应至少两个雷达的待处理点云数据。
在一个实施例中,至少两个雷达包括两个雷达。在此情况下,数据融合条件包括:目标点云数据包括的分别对应两个雷达的两帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值。
在一个实施例中,数据融合条件包括:目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值;其中,当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定。
在一个实施例中,时间差阈值为雷达的采样周期的一半。
在一个实施例中,位姿变换确定模块708可以包括如下单元:位姿矩阵获取单元,用于将第一位姿数据转换为世界坐标系下的第一位姿矩阵,并将第二位姿数据转换为世界坐标系下的第二位姿矩阵;位姿变换确定单元,用于根据第一位姿矩阵和第二位姿矩阵的逆矩阵,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
在一个实施例中,非基准点云补偿模块710可以用于将非基准点云数据左乘位姿变换。
在一个实施例中,基准区分模块704可以包括如下单元:基准点云确定单元,用于将目标点云数据包括的各待处理点云数据中时间戳最晚的待处理点云数据,确定为基准点云数据;非基准点云确定单元,用于将目标点云数据包括的除时间戳最晚的待处理点云数据之外的待处理点云数据,确定为非基准点云数据。
在一个实施例中,数据融合模块712可以用于将补偿后的非基准点云数据叠加在基准点云数据上。
需要说明的是,关于雷达数据融合装置700的具体限定,可以参见上文中对于雷达数据融合方法的限定,在此不再赘述。上述雷达数据融合装置700中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图8所示,提供了一种雷达数据融合系统800。该系统可以包括控制器802、惯导仪804及至少两个雷达806;
所述至少两个雷达806,用于扫描周围环境得到点云数据,并将所述点云数据发送至所述控制器;
所述惯导仪804,用于采集位姿数据,并将所述位姿数据发送至所述控制器;
所述控制器802,用于根据接收到的点云数据得到分别对应所述至少两个雷达的待处理点云数据;从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;确定所述目标点云数据中的基准点云数据及非基准点云数据;获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;根据所述位姿变换对所述非基准点云数据进行补偿;根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
上述雷达数据融合系统800,先根据待处理点云数据的时间戳及数据融合条件,初步选出适合进行数据融合的目标点云数据,再根据位姿变换对目标点云数据中的非基准点云数据进行补偿,实现了需要进行数据融合的点云数据的时间同步,提高了数据融合的准确性。并且,无需基于各雷达之间的交叠区域进行配准,打破了应用场景的局限,降低了计算资源的消耗。
在一个实施例中,控制器802可以用于获取分别处于至少两个雷达对应的坐标系下的各点云数据;获取各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参;分别根据各外参,将处于相应雷达对应的坐标系下的点云数据投射到惯导仪对应的坐标系下,得到分别对应至少两个雷达的待处理点云数据。
在一个实施例中,控制器802可以用于将处于各雷达对应的坐标系下的点云数据,左乘相应雷达对应的坐标系相对于惯导仪对应的坐标系的外参,得到分别对应至少两个雷达的待处理点云数据。
在一个实施例中,至少两个雷达包括两个雷达。在此情况下,数据融合条件包括:目标点云数据包括的分别对应两个雷达的两帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值。
在一个实施例中,数据融合条件包括:目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值;其中,当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定。
在一个实施例中,时间差阈值为雷达的采样周期的一半。
在一个实施例中,控制器802可以用于将第一位姿数据转换为世界坐标系下的第一位姿矩阵,并将第二位姿数据转换为世界坐标系下的第二位姿矩阵;根据第一位姿矩阵和第二位姿矩阵的逆矩阵,确定第一位姿数据的时间戳相对于第二位姿数据的时间戳的位姿变换。
在一个实施例中,控制器802可以用于将非基准点云数据左乘位姿变换。
在一个实施例中,控制器802可以用于将目标点云数据包括的各待处理点云数据中时间戳最晚的待处理点云数据,确定为基准点云数据;将目标点云数据包括的除时间戳最晚的待处理点云数据之外的待处理点云数据,确定为非基准点云数据。
在一个实施例中,控制器802可以用于将补偿后的非基准点云数据叠加在基准点云数据上。
需要说明的是,雷达数据融合系统800可以设置于终端上,终端可以为无人车、无人机及机器人等等,但不局限于此。此外,关于雷达数据融合系统800的具体限定,可以参见上文中对于雷达数据融合方法的限定,在此不再赘述。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请任一实施例提供的雷达数据融合方法中的步骤。
该计算机设备可以是图1所示的终端100。如图9所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现本申请任一实施例提供的雷达数据融合方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行本申请任一实施例提供的雷达数据融合方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的雷达数据融合装置可以实现为一种计算机程序的形式,计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该雷达数据融合装置的各个程序模块,比如,图7所示的目标点云获取模块702、基准区分模块704、位姿数据获取模块706、位姿变换确定模块708、非基准点云补偿模块710、以及数据融合模块712。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的雷达数据融合方法中的步骤。
比如,图9所示的计算机设备可以通过如图7所示的雷达数据融合装置700中的目标点云获取模块702执行步骤S202、通过基准区分模块704执行步骤S204、通过位姿数据获取模块706执行步骤S206等等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此,在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请任一实施例提供的雷达数据融合方法中的步骤。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种雷达数据融合方法,包括:
从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;
所述数据融合条件包括:所述目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值;其中,所述当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定;所述数据融合条件根据实际需求预先设定;
确定所述目标点云数据中的基准点云数据及非基准点云数据;
获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;
根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;
根据所述位姿变换对所述非基准点云数据进行补偿;
根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
2.根据权利要求1所述的方法,其特征在于,在所述从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据之前,还包括:
获取分别处于至少两个雷达对应的坐标系下的各点云数据;
获取各所述雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参;
分别根据各所述外参,将处于相应雷达对应的坐标系下的点云数据投射到所述惯导仪对应的坐标系下,得到分别对应所述至少两个雷达的待处理点云数据。
3.根据权利要求1或2所述的方法,其特征在于,所述至少两个雷达包括两个雷达;
所述数据融合条件包括:所述目标点云数据包括的分别对应两个雷达的两帧待处理点云数据的时间戳的差值的绝对值小于时间差阈值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换,包括:
将所述第一位姿数据转换为世界坐标系下的第一位姿矩阵,并将所述第二位姿数据转换为所述世界坐标系下的第二位姿矩阵;
根据所述第一位姿矩阵和所述第二位姿矩阵的逆矩阵,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换。
5.根据权利要求1所述的方法,其特征在于,所述根据所述位姿变换对所述非基准点云数据进行补偿,包括:
将所述非基准点云数据左乘所述位姿变换。
6.一种雷达数据融合装置,包括:
目标点云获取模块,用于从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;所述数据融合条件包括:所述目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值;其中,所述当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定;所述数据融合条件根据实际需求预先设定;
基准区分模块,用于确定所述目标点云数据中的基准点云数据及非基准点云数据;
位姿数据获取模块,用于获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;
位姿变换确定模块,用于根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;
非基准点云补偿模块,用于根据所述位姿变换对所述非基准点云数据进行补偿;
数据融合模块,用于根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
7.根据权利要求6所述的雷达数据融合装置,其特征在于,所述装置还包括:
数据获取模块,用于获取分别处于至少两个雷达对应的坐标系下的各点云数据;
外参获取模块,用于获取各雷达对应的坐标系分别相对于惯导仪对应的坐标系的外参;
坐标系转换模块,用于分别根据各所述外参,将处于相应雷达对应的坐标系下的点云数据投射到所述惯导仪对应的坐标系下,得到分别对应所述至少两个雷达的待处理点云数据。
8.一种雷达数据融合系统,包括控制器、惯导仪及至少两个雷达;
所述至少两个雷达用于扫描周围环境得到点云数据,并将所述点云数据发送至所述控制器;
所述惯导仪用于采集位姿数据,并将所述位姿数据发送至所述控制器;
所述控制器,用于根据接收到的点云数据得到分别对应所述至少两个雷达的待处理点云数据;从分别对应至少两个雷达的待处理点云数据中,获取时间戳满足数据融合条件的目标点云数据;所述目标点云数据包括分别对应不同雷达的至少两帧待处理点云数据;所述数据融合条件包括:所述目标点云数据包括的分别对应不同雷达的至少两帧待处理点云数据的时间戳与当前基准时间的差值均小于时间差阈值;其中,所述当前基准时间根据上一个满足数据融合条件的目标点云数据的时间戳确定;所述数据融合条件根据实际需求预先设定;确定所述目标点云数据中的基准点云数据及非基准点云数据;获取由惯导仪采集的、与所述非基准点云数据具有相同时间戳的第一位姿数据及与所述基准点云数据具有相同时间戳的第二位姿数据;根据所述第一位姿数据和所述第二位姿数据,确定所述第一位姿数据的时间戳相对于所述第二位姿数据的时间戳的位姿变换;根据所述位姿变换对所述非基准点云数据进行补偿;根据所述基准点云数据及补偿后的非基准点云数据进行数据融合。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN201811414741.9A 2018-11-26 2018-11-26 雷达数据融合方法、装置及系统 Active CN111220992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811414741.9A CN111220992B (zh) 2018-11-26 2018-11-26 雷达数据融合方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811414741.9A CN111220992B (zh) 2018-11-26 2018-11-26 雷达数据融合方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111220992A CN111220992A (zh) 2020-06-02
CN111220992B true CN111220992B (zh) 2022-05-20

Family

ID=70828622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811414741.9A Active CN111220992B (zh) 2018-11-26 2018-11-26 雷达数据融合方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111220992B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708048B (zh) * 2020-08-19 2021-02-05 深圳市速腾聚创科技有限公司 点云的运动补偿方法、装置和系统
CN112797990B (zh) * 2020-12-24 2023-01-31 深圳市优必选科技股份有限公司 一种存储介质、机器人及其导航位图生成方法及装置
CN112835007B (zh) * 2021-01-07 2023-04-18 北京百度网讯科技有限公司 点云数据转换方法、装置、电子设备和存储介质
CN113066009B (zh) * 2021-03-24 2023-08-25 北京斯年智驾科技有限公司 港口高精度地图集的构建方法、装置、系统和存储介质
CN113589243B (zh) * 2021-07-30 2023-09-05 北京经纬恒润科技股份有限公司 一种雷达标定方法、装置、设备及存储介质
CN113721248B (zh) * 2021-08-30 2024-05-14 浙江吉利控股集团有限公司 一种基于多源异构传感器的融合定位方法及系统
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115861423A (zh) * 2022-11-29 2023-03-28 北京天玛智控科技股份有限公司 实景监测方法、装置及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336002A (zh) * 2014-08-01 2016-02-17 联想(北京)有限公司 信息处理方法及电子设备
CN108230379A (zh) * 2017-12-29 2018-06-29 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108491533A (zh) * 2018-03-29 2018-09-04 百度在线网络技术(北京)有限公司 数据融合方法、装置、数据处理系统及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4495580A (en) * 1981-03-30 1985-01-22 E-Systems, Inc. Navigation system
DE3922427C1 (zh) * 1989-07-07 1991-01-24 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt Ev, 5300 Bonn, De
CN101865996B (zh) * 2010-05-19 2013-03-27 北京航空航天大学 一种用于机载激光雷达俯仰角偏差实时补偿的方法与装置
CN107092021B (zh) * 2017-04-05 2020-04-21 天津珞雍空间信息研究院有限公司 车载激光雷达三维扫描方法、地物分类方法及系统
CN107688184A (zh) * 2017-07-24 2018-02-13 宗晖(上海)机器人有限公司 一种定位方法以及系统
CN107797129B (zh) * 2017-10-13 2020-06-05 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
CN108345020B (zh) * 2018-02-09 2020-08-18 长沙智能驾驶研究院有限公司 车辆定位方法、系统和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336002A (zh) * 2014-08-01 2016-02-17 联想(北京)有限公司 信息处理方法及电子设备
CN108230379A (zh) * 2017-12-29 2018-06-29 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108491533A (zh) * 2018-03-29 2018-09-04 百度在线网络技术(北京)有限公司 数据融合方法、装置、数据处理系统及存储介质
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法

Also Published As

Publication number Publication date
CN111220992A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111220992B (zh) 雷达数据融合方法、装置及系统
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
EP2665037B1 (en) Onboard camera automatic calibration apparatus
CN112633152B (zh) 停车位检测方法、装置、计算机设备和存储介质
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
CN111684382B (zh) 可移动平台状态估计方法、系统、可移动平台及存储介质
CN114359848A (zh) 目标检测方法、装置、车端感知设备和存储介质
CN111009011B (zh) 车辆方向角的预测方法、装置、系统以及存储介质
JP7231054B2 (ja) 誤差推定装置、誤差推定方法、誤差推定プログラム
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
CN115578709B (zh) 一种车路协同的特征级协同感知融合方法和系统
CN114677588A (zh) 障碍物检测的方法、装置、机器人和存储介质
CN114359334A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN115239815B (zh) 一种相机标定方法及装置
CN114739415A (zh) 基于多传感器融合的多车定位方法、装置及计算机设备
JP5588332B2 (ja) 車両用画像処理装置および車両用画像処理方法
CN110824496B (zh) 运动估计方法、装置、计算机设备和存储介质
CN116047481A (zh) 矫正点云数据畸变方法、装置、设备及存储介质
CN113223076B (zh) 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN115272408A (zh) 车辆静止检测方法、装置、计算机设备和存储介质
CN112652018B (zh) 外参确定方法、外参确定装置及电子设备
CN113593026A (zh) 车道线标注辅助地图生成方法、装置和计算机设备
CN114169356A (zh) 信息补全方法、装置、计算机设备和存储介质
CN113805587B (zh) 多无人车分布式编队控制方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant