CN113759384A - 一种传感器位姿转换关系确定方法、装置、设备和介质 - Google Patents
一种传感器位姿转换关系确定方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113759384A CN113759384A CN202011003315.3A CN202011003315A CN113759384A CN 113759384 A CN113759384 A CN 113759384A CN 202011003315 A CN202011003315 A CN 202011003315A CN 113759384 A CN113759384 A CN 113759384A
- Authority
- CN
- China
- Prior art keywords
- data
- matrix
- determining
- pose
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 386
- 230000009466 transformation Effects 0.000 claims abstract description 272
- 230000001360 synchronised effect Effects 0.000 claims abstract description 59
- 238000013519 translation Methods 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PHTXVQQRWJXYPP-UHFFFAOYSA-N ethyltrifluoromethylaminoindane Chemical compound C1=C(C(F)(F)F)C=C2CC(NCC)CC2=C1 PHTXVQQRWJXYPP-UHFFFAOYSA-N 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Algebra (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种传感器位姿转换关系确定方法、装置、设备和介质，该方法包括：控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；确定相邻两帧所述点云数据之间的匹配矩阵，其中，相邻两帧所述点云数据通过所述匹配矩阵相互转换；确定相邻两帧所述惯导数据之间的位姿变换矩阵，相邻两帧所述惯导数据通过所述位姿变换矩阵相互转换；根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述点云数据与所述惯导数据之间的坐标转换关系。通过本发明实施例的技术方案，实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种传感器位姿转换关系确定方法、装置、电子设备和存储介质。
背景技术
在机器人、无人车以及无人机等自动驾驶领域，不同传感器数据之间的融合是实现自动驾驶技术的基础，而传感器标定是数据融合的基础。传感器标定指预先标定参照物，然后对包括所述参照物的空间通过不同的传感器进行数据采集，最后基于所述参照物确定不同传感器数据之间的坐标转换关系。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有技术中激光雷达标定通常需要寻找具有明显特征的标定物，而且所述标定物要求是静态物体，在进行不同传感器数据融合时，以所述标定物为参考确定不同传感器数据之间的坐标转换关系。该标定方法在实际使用过程中具有很大局限性。
发明内容
本发明实施例提供了一种传感器位姿转换关系确定方法、装置、电子设备和存储介质，实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
第一方面，本发明实施例提供了一种传感器位姿转换关系确定方法，包括：
控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
第二方面，本发明实施例还提供了一种传感器位姿转换关系确定装置，包括：
采集模块，用于控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
匹配矩阵确定模块，用于确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
位姿变换矩阵确定模块，用于确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
坐标转换关系确定模块，用于根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的传感器位姿转换关系确定方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的传感器位姿转换关系确定方法步骤。
上述发明中的实施例具有如下优点或有益效果：
通过控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据，确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
附图说明
图1是本发明实施例一提供的一种传感器位姿转换关系确定方法的流程图；
图2是本发明实施例二提供的一种传感器位姿转换关系确定方法的流程图；
图3是本发明实施例三提供的一种传感器位姿转换关系确定方法的流程图；
图4是本发明实施例四提供的一种传感器位姿转换关系确定方法的流程图；
图5是本发明实施例五提供的一种传感器位姿转换关系确定方法的流程图；
图6是本发明实施例五提供的另一种传感器位姿转换关系确定方法的流程图；
图7是本发明实施例六提供的一种传感器位姿转换关系确定装置的结构示意图；
图8是本发明实施例七提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种传感器位姿转换关系确定方法的流程图，本实施例可适用于对不同的传感器数据进行坐标转换的场景，具体的，本实施例以所述不同的传感器数据分别为激光雷达采集的点云数据以及IMU(inertial measurement unit，惯性测量单元)采集的惯导数据为例，对点云数据与惯导数据之间的坐标转换关系进行说明。该方法可以由传感器位姿转换关系确定装置来执行，该装置可以由软件和/或硬件的方式来实现。
如图1所示，该方法具体包括以下步骤：
步骤110、控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据。
具体的，所述车载第一传感器例如是车载激光雷达，对应的所述第一数据为点云数据；所述车载第二传感器例如可以是IMU(inertial measurement unit，惯性测量单元)，对应的，所述第二数据包括惯导数据，惯导数据通常包括6个量，分别是表示IMU沿x轴、y轴以及z轴的加速度，以及分别绕x轴、y轴以及z轴旋转的角速度。
步骤120、确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换。
其中，所述相邻两帧指第一数据帧的采集时刻相邻，每个第一数据帧均携带有时间戳，该时间戳用于表示该第一数据帧的采集时刻。
假设相邻两帧所述第一数据分别为当前所述第一数据帧，以及与当前所述第一数据帧相邻的前一所述第一数据帧，所述前一所述第一数据帧的数据经过一定的旋转与平移可得到当前所述第一数据帧的数据，用于表示旋转角度、方向以及平移量与方向的数据构成所述匹配矩阵。相邻两帧所述第一数据通过该相邻两帧对应的所述匹配矩阵可以相互转换，通常与当前所述第一数据帧相邻的前一所述第一数据帧的数据乘以所述匹配矩阵，可以得到当前所述第一数据帧的数据。
示例性的，所述确定相邻两帧所述第一数据之间的匹配矩阵，包括：
通过ICP(Iterative closest point，最近点迭代)算法对相邻两帧所述第一数据进行配准，以确定相邻两帧所述第一数据之间的匹配矩阵。常用的点云配准算法还包括基于点线的最近点迭代PL-ICP。点云配准的目的是为了求取转换矩阵，也称匹配矩阵，其目的是通过一定的旋转和平移变换将不同坐标系下的点云数据统一到同一参考坐标系下。其物理意义是：不同角度下对同一个实体看到的样子是不一样的，例如距离或者姿态等，假设通过激光雷达探知到同一个实体的位姿分别为A和B，则点云配准的目的是为了求取A转换到B的转换矩阵。
步骤130、确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换。
其中，所述第二数据具体可以是惯导数据，惯导数据通常包括6个量，分别是表示IMU沿x轴、y轴以及z轴的加速度，以及分别绕x轴、y轴以及z轴旋转的角速度。通过对每帧所述第二数据进行积分运算，可获得IMU在每帧所述第二数据的采集时刻沿x轴、y轴以及z轴的位移，以及分别绕x轴、y轴以及z轴的旋转量(该旋转量在本实施例中称为位姿)。
示例性的，所述确定相邻两帧所述第二数据之间的位姿变换矩阵，包括：
分别对相邻两帧所述第二数据进行积分运算，获得每帧所述第二数据对应的位移以及位姿；
根据每帧所述第二数据对应的位移以及位姿，确定相邻两帧所述第二数据之间的位移差以及位姿差；
根据所述位移差以及位姿差确定所述相邻两帧所述第二数据之间的位姿变换矩阵。
步骤140、根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
其中，每个所述匹配矩阵均与两个相邻的第一数据帧对应，例如当前第一数据帧的时间戳t1为2020年02月15日9点6分零10秒，该时间戳t1表示当前第一数据帧的采集时刻；与当前第一数据帧相邻的前一第一数据帧的时间戳t0为2020年02月15日9点6分零9秒，可以理解是，假设第一数据帧的采集频率为1帧/秒，这里是为了便于说明其中的关系列举的特殊示例，实际应用中以所述第一数据为点云数据为例，点云数据的采集频率通常为至少10帧/秒。则所述前一第一数据帧与所述当前第一数据帧对应一个所述匹配矩阵，该匹配矩阵表示了第一传感器在时间t0-t1之间发生的位姿变化，例如分别在x、y以及z轴的位移，分别绕x、y以及z轴旋转的角度。车载第一传感器针对周围环境采集第一数据的同时，车载第二传感器也在以一定的频率采集第二数据，将采集时刻相同的第一数据帧与第二数据帧确定为时间戳同步的第一数据帧与第二数据数据帧，对应的时间戳同步的第一数据帧对应的匹配矩阵与第二数据帧对应的位姿变换矩阵为时间戳同步的匹配矩阵与位姿矩阵。
例如，设定表示第一传感器在时间t0-t1之间发生的位姿变化的匹配矩阵称为匹配矩阵A，与该匹配矩阵A时间戳同步的位姿变换矩阵为表示第二传感器在时间t0-t1之间发生的位姿变化的位姿变换矩阵，具体是基于时间戳为t0与t1的两帧第二数据帧确定的所述位姿变换矩阵，该位姿变换矩阵称为位姿变换矩阵B。可以理解的，激光雷达与车辆之间是刚性连接，因此激光雷达的位姿变化可代表车辆的位姿变化。同样的，IMU与车辆之间也是刚性连接，IMU的位姿变化可代表车辆的位姿变化。而同一时刻车辆的位姿变化是固定的，因此通过比对激光雷达的位姿变化以及IMU的位姿变化可以确定激光雷达与IMU之间的坐标变换关系。
进一步的，所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系，包括：
基于手眼标定原理，根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
其中，所述手眼标定原理为：AX＝XB，其中A表示某一传感器在某一时间段的位姿变换矩阵，B为另一传感器的同一时间段的位姿变换矩阵，X为两传感器之间的坐标变换关系。可基于上述手眼标定原理根据已经确定的匹配矩阵A以及位姿变换矩阵B求解未知量X，即为所述第一数据与所述第二数据之间的坐标转换关系，实现了无标定物的不同传感器数据之间的坐标变换关系的确定。
本实施例的技术方案，通过控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据，确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
实施例二
图2为本发明实施例二提供的一种传感器位姿转换关系确定方法的流程图，本实施例在上述实施例的基础上，对如何确定时间戳同步的所述匹配矩阵以及所述位姿变换矩阵进行了具体说明。以所述第一传感器为激光雷达，所述第二传感器是IMU为例，可以理解的是，IMU采集惯导数据的频率远大于激光雷达采集点云数据的频率，通常激光雷达采集点云数据的频率为10帧/s，IMU采集惯导数据的频率为50帧/s，由于采集频率不同，因此点云数据帧对应的时间戳与惯导数据帧对应的时间戳不一定相同，因此需要基于时间同步进行点云数据帧与惯导数据帧之间的时间对齐。其中与上述实施例相同或相应的术语的解释在此不再赘述。
参见图2所示，本实施例提供的传感器位姿转换关系确定方法具体包括以下步骤：
步骤210、控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据。
步骤220、确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换。
步骤230、基于时间戳确定与每帧所述第一数据对应的第二数据帧。
示例性的，所述基于时间戳确定与每帧所述第一数据对应的第二数据帧，包括：
将时间戳距离当前帧所述第一数据的时间戳最近的第二数据帧确定为与当前帧所述第一数据对应的第二数据帧。
所述时间戳同步的所述匹配矩阵以及所述位姿变换矩阵，包括：
设定所述匹配矩阵为当前相邻帧所述第一数据之间的匹配矩阵，与所述匹配矩阵时间戳同步的所述位姿变换矩阵为，与所述当前相邻帧所述第一数据分别对应的第二数据帧之间的位姿变换矩阵。
具体的，由于激光雷达和IMU的输出频率不一样，即采集数据的频率不同，一般地，激光雷达采集点云数据的频率比较慢，以激光雷达采集点云数据的时间戳为主时间戳，对IMU采集的惯导数据进行时间同步。如激光雷达采集的点云数据帧的时间戳分别为t0，t1，t2，…，tn；IMU采集的惯导数据的时间戳分别为T0，T1，T2，…，TN，已知t0～t1时间间隔激光雷达的位姿变换矩阵A，即所述匹配矩阵，现需对应的求解t0～t1时间间隔IMU位姿变换矩阵B。由于激光雷达采集点云数据的频率比较慢，而IMU采集惯导数据的频率比较快，即t1-t0>T1-T0，故需要在时刻T0，T1，T2，…，TN中寻找距离t1最近的时间戳，以及距离t0最近的时间戳，查到目标时间戳之后即可根据目标时间戳对应的惯导数据帧得到IMU在x、y以及z轴的加速度，以及分别绕x、y以及z轴旋转的角速度，通过对3个轴的角速度和3个轴的加速度进行积分，即可近似获得t0～t1时刻IMU在x方向、y方向、z方向的位移变化量以及roll(滚动)，pitch(倾斜)，yaw(偏航)变化量，进一步可以转换为矩阵形式得到位姿变换矩阵。
步骤240、将分别与相邻两帧所述第一数据对应的两个第二数据帧确定为相邻两帧第二数据，并确定相邻两帧所述第二数据之间的位姿变换矩阵。
步骤250、根据所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
本实施例的技术方案，在上述实施例的基础上，对如何确定时间戳同步的所述匹配矩阵以及所述位姿变换矩阵进行了具体说明，具体的，将时间戳距离当前帧所述第一数据的时间戳最近的第二数据帧确定为与当前帧所述第一数据对应的第二数据帧，将分别与相邻两帧所述第一数据对应的两个第二数据帧确定为所述相邻两帧所述第二数据，所述时间戳同步的所述匹配矩阵以及所述位姿变换矩阵，包括：设定所述匹配矩阵为当前相邻帧所述第一数据之间的匹配矩阵，与所述匹配矩阵时间戳同步的所述位姿变换矩阵为，与所述当前相邻帧所述第一数据分别对应的第二数据帧之间的位姿变换矩阵，实现了对不同传感器数据采集时刻的对齐，为实现无标定物确定不同传感器数据之间坐标转换关系提供了数据基础。
实施例三
图3为本发明实施例三提供的一种传感器位姿转换关系确定方法的流程图，本实施例在上述实施例的基础上，具体以所述第一传感器为第一激光雷达，对应的所述第一数据为第一点云数据，所述第二传感器为第二激光雷达，对应的所述第二数据为第二点云数据为例，对不同激光雷达所采集的不同点云数据之间的坐标转换关系进行说明。
如图3所示，所述传感器位姿转换关系确定方法包括如下步骤：
步骤510、控制车辆按照设定路线运动，以通过车载第一激光雷达针对周围环境采集第一点云数据，通过车载第二激光雷达采集第二点云数据。
其中，为了获得较准确、完整的坐标转换关系(即使坐标转换矩阵满秩)，所述设定路线优选为S形曲线，周围环境为非空旷的环境。自动驾驶车辆的激光雷达的坐标系通常以车辆行驶方向为x轴，激光雷达的中心为坐标原点，符合右手定则。
步骤520、确定相邻两帧所述第一点云数据之间的匹配矩阵，其中，相邻两帧所述第一点云数据通过所述匹配矩阵相互转换。
其中，所述相邻两帧指第一点云数据帧的采集时刻相邻，每个第一点云数据帧均携带有时间戳，该时间戳用于表示该第一点云数据帧的采集时刻。
假设相邻两帧所述第一点云数据分别为当前所述第一点云数据帧，以及与当前所述第一点云数据帧相邻的前一所述第一点云数据帧，所述前一所述第一点云数据帧的点云数据经过一定的旋转与平移可得到当前所述第一点云数据帧的数据，用于表示所述第一激光雷达的旋转角度、方向以及平移量与方向的数据构成所述匹配矩阵。相邻两帧所述第一点云数据通过该相邻两帧对应的所述匹配矩阵可以相互转换，通常与当前所述第一点云数据帧相邻的前一所述第一点云数据帧的点云数据乘以所述匹配矩阵，可以得到当前所述第一点云数据帧的点云数据。
示例性的，所述确定相邻两帧所述第一点云数据之间的匹配矩阵，包括：
通过ICP(Iterative closest point，最近点迭代)算法对相邻两帧所述第一点云数据进行配准，以确定相邻两帧所述第一点云数据之间的匹配矩阵。常用的点云配准算法还包括基于点线的最近点迭代PL-ICP。点云配准的目的是为了求取转换矩阵，也称匹配矩阵，其目的是通过一定的旋转和平移变换将不同坐标系下的点云数据统一到同一参考坐标系下。其物理意义是：不同角度下对同一个实体看到的样子是不一样的，例如距离或者姿态等，假设通过激光雷达探知到同一个实体的位姿分别为A和B，则点云配准的目的是为了求取A转换到B的转换矩阵。
步骤530、确定相邻两帧所述第二点云数据之间的位姿变换矩阵，相邻两帧所述第二点云数据通过所述位姿变换矩阵相互转换。
其中，确定相邻两帧所述第二点云数据之间的位姿变换矩阵的方式，与上述确定相邻两帧所述第一点云数据之间的匹配矩阵的方式类似，具体为：
通过ICP(Iterative closest point，最近点迭代)算法对相邻两帧所述第二点云数据进行配准，以确定相邻两帧所述第二点云数据之间的位姿变换矩阵。
步骤540、根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一点云数据与所述第二点云数据之间的坐标转换关系。
其中，每个所述匹配矩阵均与两个相邻的第一点云数据帧对应，例如当前第一点云数据帧的时间戳t1为2020年02月15日9点6分零10秒，该时间戳t1表示当前第一点云数据帧的采集时刻；与当前第一点云数据帧相邻的前一第一点云数据帧的时间戳t0为2020年02月15日9点6分零9秒，可以理解是，假设第一点云数据帧的采集频率为1帧/秒，这里是为了便于说明其中的关系列举的特殊示例，实际应用中点云数据的采集频率通常为至少10帧/秒，则所述前一第一点云数据帧与所述当前第一点云数据帧对应一个所述匹配矩阵，该匹配矩阵表示了第一激光雷达在时间t0-t1之间发生的位姿变化，例如分别在x、y以及z轴的位移，分别绕x、y以及z轴旋转的角度。车载第一激光雷达针对周围环境采集第一点云数据的同时，车载第二激光雷达也在以一定的频率采集第二点云数据，将采集时刻相同的第一点云数据帧与第二点云数据帧确定为时间戳同步的第一点云数据帧与第二点云数据帧。
例如，设定表示第一激光雷达在时间t0-t1之间发生的位姿变化的匹配矩阵称为匹配矩阵A，与该匹配矩阵A时间戳同步的位姿变换矩阵为表示第二激光雷达在时间t0-t1之间发生的位姿变化的位姿变换矩阵，具体是基于时间戳为t0与t1的两帧第二点云数据帧确定的所述位姿变换矩阵，该位姿变换矩阵称为位姿变换矩阵B。可以理解的，激光雷达与车辆之间是刚性连接，因此激光雷达的位姿变化可代表车辆的位姿变化，而同一时刻车辆的位姿变化是固定的，因此通过比对第一激光雷达的位姿变化以及第二激光雷达的位姿变化可以确定第一激光雷达与第二激光雷达之间的坐标变换关系。
进一步的，所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一点云数据与所述第二点云数据之间的坐标转换关系，包括：
基于手眼标定原理，根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一点云数据与所述第二点云数据之间的坐标转换关系。
其中，所述手眼标定原理为：AX＝XB，其中A表示某一传感器在某一时间段的位姿变换矩阵，B为另一传感器的同一时间段的位姿变换矩阵，X为两传感器之间的坐标变换关系。可基于上述手眼标定原理根据已经确定的匹配矩阵A以及位姿变换矩阵B求解未知量X，即为所述第一点云数据与所述第二点云数据之间的坐标转换关系，实现了无标定物的不同传感器数据之间的坐标变换关系的确定。
可以理解的是，所述第一激光雷达采集第一点云数据的频率与所述第二激光雷达采集第二点云数据的频率不一定相同，因此需要基于时间戳将第一点云数据与第二点云数据进行时间对齐，以获得同一时刻的所述匹配矩阵以及所述位姿变换矩阵。
所述基于时间戳将第一点云数据与第二点云数据进行时间对齐的过程可参考如下内容：假设第一激光雷达采集第一点云数据的频率比第二激光雷达采集第二点云数据的频率低，以第一激光雷达采集第一点云数据的时间戳为主时间戳，对所述第二点云数据进行时间同步。如所述第一点云数据的时间戳分别为t0，t1，t2，…，tn；所述第二点云数据的时间戳分别为T0，T1，T2，…，TN，已知t0～t1时间间隔第一激光雷达的位姿变换矩阵A，即所述匹配矩阵，现需对应的求解t0～t1时间间隔第二激光雷达的位姿变换矩阵B。由于第一激光雷达采集第一点云数据的频率比较慢，而第二激光雷达采集第二激光点云数据的频率比较快，即t1-t0>T1-T0，故需要在时刻T0，T1，T2，…，TN中寻找距离t1最近的时间戳，以及距离t0最近的时间戳，查到目标时间戳之后即可确定所述目标时间戳对应的所述第二点云数据，基于时间戳同步的所述第一点云数据以及所述第二点云数据，可进一步确定时间戳同步的所述匹配矩阵A与所述位姿变换矩阵B。
本实施例的技术方案，在上述实施例的基础上，以所述第一传感器为第一激光雷达，对应的所述第一数据为第一点云数据，所述第二传感器为第二激光雷达，对应的所述第二数据为第二点云数据为例，对不同激光雷达所采集的不同点云数据之间的坐标转换关系进行了说明，实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
实施例四
图4为本发明实施例四提供的一种传感器位姿转换关系确定方法的流程图，本实施例在上述实施例的基础上，在确定相邻两帧所述第一数据之间的匹配矩阵之前，增加了对第一数据的预处理操作，以提高第一数据的数据质量，为准确确定第一传感器数据与第二传感器数据之间坐标转换关系提供了基础；同时在获得匹配矩阵以及位姿变换矩阵之后，确定坐标转换关系之前，增加了分别对所述匹配矩阵以及所述位姿变换矩阵进行筛选，以过滤错误的所述匹配矩阵和/或错误的所述位姿变换矩阵，并对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，进一步提高了不同传感器数据之间坐标转换关系的确定准确度。其中与上述实施例相同或相应的术语的解释在此不再赘述。
如图4所示，所述传感器位姿转换关系确定方法包括如下步骤：
步骤310、控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据。
步骤320、对所述第一数据进行预处理，以剔除无效第一数据。
本实施例以所述第一数据为点云数据为例，无效的点云数据包括离群点云数据，以及包含设定值的点云数据。例如若激光雷达将激光打到了天空中，此时则无反射激光返回，不同激光雷达的生产商针对该问题有不同的处理策略，通常是若没有接收到反射光线，则在对应位置记录设定无效值，例如(0,0,0)，将包含设定无效值的点云数据帧确定为无效点云数据帧。
步骤330、确定相邻两帧所述第一数据之间的匹配矩阵，确定相邻两帧所述第二数据之间的位姿变换矩阵。
步骤340、分别对所述匹配矩阵以及所述位姿变换矩阵进行筛选，以过滤错误的所述匹配矩阵和/或错误的所述位姿变换矩阵。
其中，以所述第一数据为点云数据为例，所述错误的所述匹配矩阵包括下述至少一种：只有旋转量的匹配矩阵、只有平移量的匹配矩阵、包含非平面运动的无效值的匹配矩阵、旋转量为无效值的匹配矩阵以及平移量为无效值的匹配矩阵；
以所述第二数据为惯导数据为例，所述错误的所述位姿变换矩阵包括下述至少一种：只有旋转量的位姿变换矩阵、只有平移量的位姿变换矩阵、包含非平面运动的无效值的位姿变换矩阵、旋转量为无效值的位姿变换矩阵以及平移量为无效值的位姿变换矩阵。若所述第二数据也为点云数据，则所述错误的所述位姿变换矩阵包括下述至少一种：只有旋转量的位姿变换矩阵、只有平移量的位姿变换矩阵、包含非平面运动的无效值的位姿变换矩阵、旋转量为无效值的位姿变换矩阵以及平移量为无效值的位姿变换矩阵。
具体的，为了获得较准确、完整的坐标转换关系(即使坐标转换矩阵满秩)，所述设定路线设置为S形曲线，即车辆的行驶路线为S形曲线，因此，若所述匹配矩阵或者所述位姿变换矩阵若只有旋转量，或者只有平移量，均认为是错误的匹配矩阵或者错误的位姿变换矩阵。另一方面，由于车辆是平面运动，因此若所述匹配矩阵或者位姿变换矩阵包含非平面运动的无效值，则认为是错误的匹配矩阵或者错误的位姿变换矩阵。
步骤350、对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证。
示例性的，所述对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，包括：
将所述匹配矩阵中的旋转量以及所述位姿变换矩阵中的旋转量分别在同一坐标系下进行显示；
若所述匹配矩阵中的旋转量曲线以及所述位姿变换矩阵中的旋转量曲线重合，则确定所述过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效。
由于激光雷达与车辆之间是刚性连接，IMU与车辆之间也是刚性连接，因此激光雷达以及IMU的位姿变化均代表了车辆的位姿变化，同一时刻车辆的位姿变化是唯一的，因此若同一时刻表征激光雷达位姿变化的匹配矩阵中的旋转量，与表征IMU位姿变化的位姿变换矩阵中的旋转量曲线如果重合，则可确定当前的匹配矩阵以及位姿变换矩阵是有效的，可进一步基于当前的匹配矩阵以及位姿变换矩阵确定点云数据与惯导数据之间的坐标变换关系。
步骤360、若确定过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效，根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
具体的，基于手眼标定原理确定所述坐标转换关系，所述手眼标定原理为：AX＝XB，其中A表示激光雷达在某一时间段(例如t0-t1)的匹配矩阵，B表示IMU在同一时间段(例如t0-t1)的位姿变换矩阵，X为激光雷达与IMU之间的坐标变换关系。可基于上述手眼标定原理根据已经确定的匹配矩阵A以及位姿变换矩阵B求解未知量X。其中，A、B、X可以用矩阵或者四元数或者欧拉等任意形式表示。
下面给出基于四元数的形式对A、B、X进行表示，并求解X的过程：
基于四元数运算，先求解roll和pitch：
将AX＝XB转化为四元数：
其中，平移部分为
旋转部分为
对上述(1)和(2)进行整理可得
进一步整理获得残差ηi，
根据上面各式，可以得到
进而可求得roll和pitch。
然后再求解x、y、yaw，由于激光雷达是平面运动，所以待求解的z值是不可观测的。
通过上面式(2)和已经求出的roll和pitch，可以得到下式(3)：
由于z值不可观测，进一步可以整理为：
进而得到
将以上述求解的x、y、roll、pitch、yaw作为初值，根据AX–XB＝0进行全局优化，可以求得准确的x、y、roll、pitch、yaw，获得激光雷达与IMU之间的坐标变换关系。
本实施例的技术方案，在上述实施例的基础上，在确定相邻两帧所述第一数据之间的匹配矩阵之前，增加了对第一数据的预处理操作，以提高第一数据的数据质量，为准确确定第一传感器数据与第二传感器数据之间坐标转换关系提供了基础；同时在获得匹配矩阵以及位姿变换矩阵之后，确定坐标转换关系之前，增加了分别对所述匹配矩阵以及所述位姿变换矩阵进行筛选，以过滤错误的所述匹配矩阵和/或错误的所述位姿变换矩阵，并对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，进一步提高了不同传感器数据之间坐标转换关系的确定准确度。
实施例五
图5为本发明实施例五提供的一种传感器位姿转换关系确定方法的流程图，本实施例在上述实施例的基础上，在根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之后，增加了对所述坐标转换关系进行验证的步骤，进一步保证了所述坐标转换关系的准确度。其中与上述实施例相同或相应的术语的解释在此不再赘述。
如图5所示，所述传感器位姿转换关系确定方法包括如下步骤：
步骤410、控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据。
步骤420、确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换。
步骤430、确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换。
步骤440、根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
步骤450、根据所述第一数据与所述第二数据之间的坐标转换关系，以及所述位姿变换矩阵确定每个所述位姿变换矩阵对应的推测矩阵。
通过上述步骤420-440，已经确定匹配矩阵A、位姿变换矩阵B以及激光雷达与IMU之间的坐标变换关系X。根据手眼标定原理AX＝XB，可以得到如下关系式：A＝XBX-1或者B＝X-1AX，根据关系式A＝XBX-1，当前已知的B和X，可以得到推测矩阵，标记为A’，进而将该A’与已知的A进行比对，若A’与已知的A完全一致，则所述坐标变换关系X的准确度为100％。或者根据关系B＝X-1AX，当前已知的A，可以得到推测矩阵，标记为B’，通过将B’与已知的B进行比对，可以对坐标变换关系X的准确度进行评价。
具体的，将矩阵A’与已知的矩阵A的对应矩阵元素做差，得到δx、δy、δroll、δpitch、δyaw，分别取每个值的均方根作为五个轴的误差，作为标定结果的评价标准。
步骤460、确定所述推测矩阵与所述匹配矩阵之间的偏差；根据所述偏差对所述坐标转换关系的准确度进行评估。
本实施例的技术方案，在上述实施例的基础上，在根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之后，增加了对所述坐标转换关系进行验证的步骤，进一步保证了所述坐标转换关系的准确度。
在上述各实施例技术方案的基础上，参见图6所示的另一种传感器位姿转换关系确定方法的流程示意图，具体包括：采集激光雷达和IMU的传感器数据；数据预处理，具体是剔除无效数据；利用ICP算法对雷达的相邻帧点云数据进行匹配，获得各相邻帧点云数据对应的匹配矩阵；基于时间戳同步，确定与每帧点云数据对应的惯导数据帧，并基于惯导数据帧求解IMU位姿变换矩阵；对匹配矩阵以及位姿变换矩阵进行筛选，过滤掉错误的匹配矩阵和位姿变换矩阵；判断剩余的匹配矩阵以及位姿变换矩阵的有效性，若匹配矩阵中的激光雷达的旋转角度曲线与IMU的旋转角度曲线重合，则表示剩余的匹配矩阵以及位姿变换矩阵有效，根据手眼标定理论求解激光雷达与IMU之间的坐标变换关系，验证所求解的坐标变换关系的正确性。
以下是本发明实施例提供的传感器位姿转换关系确定装置的实施例，该装置与上述各实施例的传感器位姿转换关系确定方法属于同一个发明构思，在传感器位姿转换关系确定装置的实施例中未详尽描述的细节内容，可以参考上述传感器位姿转换关系确定方法的实施例。
实施例六
图7为本发明实施例六提供的一种传感器位姿转换关系确定装置的结构示意图，该装置具体包括：采集模块610、匹配矩阵确定模块620、位姿变换矩阵确定模块630和坐标转换关系确定模块640。
其中，采集模块610，用于控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；匹配矩阵确定模块620，用于确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；位姿变换矩阵确定模块630，用于确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；坐标转换关系确定模块640，用于根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
进一步的，所述车载第一传感器包括第一车载激光雷达，所述第一数据包括点云数据；
所述车载第二传感器包括惯性测量单元或者第二车载激光雷达，所述第二数据包括惯导数据或者点云数据。
进一步的，匹配矩阵确定模块620具体用于：
通过最近点迭代ICP算法对相邻两帧所述第一数据进行配准，以确定相邻两帧所述第一数据之间的匹配矩阵。
进一步的，位姿变换矩阵确定模块630包括：
积分运算单元，用于分别对相邻两帧所述第二数据进行积分运算，获得每帧所述第二数据对应的位移以及位姿；
第一确定单元，用于根据每帧所述第二数据对应的位移以及位姿，确定相邻两帧所述第二数据之间的位移差以及位姿差；
第二确定单元，用于根据所述位移差以及位姿差确定所述相邻两帧所述第二数据之间的位姿变换矩阵。
进一步的，所述装置还包括：时间戳对齐模块，用于在所述确定相邻两帧所述第二数据之间的位姿变换矩阵之前，
基于时间戳确定与每帧所述第一数据对应的第二数据帧；将分别与相邻两帧所述第一数据对应的两个第二数据帧确定为所述相邻两帧所述第二数据；
其中，第一数据帧的采集频率小于所述第二数据帧的采集频率。
进一步的，所述时间戳对齐模块具体用于：
将时间戳距离当前帧所述第一数据的时间戳最近的第二数据帧确定为与当前帧所述第一数据对应的第二数据帧。
进一步的，所述时间戳同步的所述匹配矩阵以及所述位姿变换矩阵，包括：
设定所述匹配矩阵为当前相邻帧所述第一数据之间的匹配矩阵，与所述匹配矩阵时间戳同步的所述位姿变换矩阵为，与所述当前相邻帧所述第一数据分别对应的第二数据帧之间的位姿变换矩阵。
进一步的，坐标转换关系确定模块640具体用于：基于手眼标定原理，根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
进一步的，所述装置还包括：
预处理模块，用于在所述确定相邻两帧所述第一数据之间的匹配矩阵之前，对所述第一数据进行预处理，以剔除无效第一数据。
进一步的，所述装置还包括：
筛选模块，用于所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之前，
分别对所述匹配矩阵以及所述位姿变换矩阵进行筛选，以过滤错误的所述匹配矩阵和/或错误的所述位姿变换矩阵。
有效性验证模块，用于对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，若确定过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效，则继续执行所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系的操作。
进一步的，所述错误的所述匹配矩阵包括下述至少一种：只有旋转量的匹配矩阵、只有平移量的匹配矩阵、包含非平面运动的无效值的匹配矩阵、旋转量为无效值的匹配矩阵以及平移量为无效值的匹配矩阵；
所述错误的所述位姿变换矩阵包括下述至少一种：只有旋转量的位姿变换矩阵、只有平移量的位姿变换矩阵、包含非平面运动的无效值的位姿变换矩阵、旋转量为无效值的位姿变换矩阵以及平移量为无效值的位姿变换矩阵。
进一步的，所述有效性验证模块包括：
显示单元，用于将所述匹配矩阵中的旋转量以及所述位姿变换矩阵中的旋转量分别在同一坐标系下进行显示；
确定单元，用于若所述匹配矩阵中的旋转量曲线以及所述位姿变换矩阵中的旋转量曲线重合，则确定所述过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效。
进一步的，所述装置还包括：推测模块和评估模块；
所述推测模块用于在所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之后，根据所述第一数据与所述第二数据之间的坐标转换关系，以及所述位姿变换矩阵确定每个所述位姿变换矩阵对应的推测矩阵；
所述评估模块用于确定所述推测矩阵与所述匹配矩阵之间的偏差；根据所述偏差对所述坐标转换关系的准确度进行评估。
进一步的，所述设定路线包括S形曲线。
本实施例的技术方案，通过控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据，确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。实现了一种无标定物的不同传感器数据之间坐标转换关系的确定。
本发明实施例所提供的传感器位姿转换关系确定装置可执行本发明任意实施例所提供的传感器位姿转换关系确定方法，具备执行传感器位姿转换关系确定方法相应的功能模块和有益效果。
实施例七
图8为本发明实施例七提供的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性设备12的框图。图8显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个采集模块610、匹配矩阵确定模块620、位姿变换矩阵确定模块630和坐标转换关系确定模块640)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个采集模块610、匹配矩阵确定模块620、位姿变换矩阵确定模块630和坐标转换关系确定模块640)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及坐标转换关系确定，例如实现本发实施例所提供的一种传感器位姿转换关系确定方法步骤，该方法包括：
控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的传感器位姿转换关系确定方法的技术方案。
实施例八
本实施例八提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的传感器位姿转换关系确定方法步骤，该方法包括：
控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (17)
1.一种传感器位姿转换关系确定方法，其特征在于，包括：
控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
2.根据权利要求1所述的方法，其特征在于，所述车载第一传感器包括第一车载激光雷达，所述第一数据包括点云数据；
所述车载第二传感器包括惯性测量单元或者第二车载激光雷达，所述第二数据包括惯导数据或者点云数据。
3.根据权利要求1所述的方法，其特征在于，所述确定相邻两帧所述第一数据之间的匹配矩阵，包括：
通过最近点迭代ICP算法对相邻两帧所述第一数据进行配准，以确定相邻两帧所述第一数据之间的匹配矩阵。
4.根据权利要求1所述的方法，其特征在于，所述确定相邻两帧所述第二数据之间的位姿变换矩阵，包括：
分别对相邻两帧所述第二数据进行积分运算，获得每帧所述第二数据对应的位移以及位姿；
根据每帧所述第二数据对应的位移以及位姿，确定相邻两帧所述第二数据之间的位移差以及位姿差；
根据所述位移差以及位姿差确定所述相邻两帧所述第二数据之间的位姿变换矩阵。
5.根据权利要求1所述的方法，其特征在于，所述确定相邻两帧所述第二数据之间的位姿变换矩阵之前，还包括：
基于时间戳确定与每帧所述第一数据对应的第二数据帧；
将分别与相邻两帧所述第一数据对应的两个第二数据帧确定为所述相邻两帧所述第二数据；
其中，第一数据帧的采集频率小于所述第二数据帧的采集频率。
6.根据权利要求5所述的方法，其特征在于，所述基于时间戳确定与每帧所述第一数据对应的第二数据帧，包括：
将时间戳距离当前帧所述第一数据的时间戳最近的第二数据帧确定为与当前帧所述第一数据对应的第二数据帧。
7.根据权利要求5所述的方法，其特征在于，所述时间戳同步的所述匹配矩阵以及所述位姿变换矩阵，包括：
设定所述匹配矩阵为当前相邻帧所述第一数据之间的匹配矩阵，与所述匹配矩阵时间戳同步的所述位姿变换矩阵为，与所述当前相邻帧所述第一数据分别对应的第二数据帧之间的位姿变换矩阵。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系，包括：
基于手眼标定原理，根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述确定相邻两帧所述第一数据之间的匹配矩阵之前，还包括：
对所述第一数据进行预处理，以剔除无效第一数据。
10.根据权利要求1-7任一项所述的方法，其特征在于，所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之前，还包括：
分别对所述匹配矩阵以及所述位姿变换矩阵进行筛选，以过滤错误的所述匹配矩阵和/或错误的所述位姿变换矩阵；
对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，若确定过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效，则继续执行所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系的操作。
11.根据权利要求10所述的方法，其特征在于，所述错误的所述匹配矩阵包括下述至少一种：只有旋转量的匹配矩阵、只有平移量的匹配矩阵、包含非平面运动的无效值的匹配矩阵、旋转量为无效值的匹配矩阵以及平移量为无效值的匹配矩阵；
所述错误的所述位姿变换矩阵包括下述至少一种：只有旋转量的位姿变换矩阵、只有平移量的位姿变换矩阵、包含非平面运动的无效值的位姿变换矩阵、旋转量为无效值的位姿变换矩阵以及平移量为无效值的位姿变换矩阵。
12.根据权利要求10所述的方法，其特征在于，所述对过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵的有效性进行验证，包括：
将所述匹配矩阵中的旋转量以及所述位姿变换矩阵中的旋转量分别在同一坐标系下进行显示；
若所述匹配矩阵中的旋转量曲线以及所述位姿变换矩阵中的旋转量曲线重合，则确定所述过滤后的时间戳同步的所述匹配矩阵以及所述位姿变换矩阵有效。
13.根据权利要求1-7任一项所述的方法，其特征在于，所述根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系之后，还包括：
根据所述第一数据与所述第二数据之间的坐标转换关系，以及所述位姿变换矩阵确定每个所述位姿变换矩阵对应的推测矩阵；
确定所述推测矩阵与所述匹配矩阵之间的偏差；
根据所述偏差对所述坐标转换关系的准确度进行评估。
14.根据权利要求1-7任一项所述的方法，其特征在于，所述设定路线包括S形曲线。
15.一种传感器位姿转换关系确定装置，其特征在于，包括：
采集模块，用于控制车辆按照设定路线运动，以通过车载第一传感器针对周围环境采集第一数据，通过车载第二传感器采集第二数据；
匹配矩阵确定模块，用于确定相邻两帧所述第一数据之间的匹配矩阵，其中，相邻两帧所述第一数据通过所述匹配矩阵相互转换；
位姿变换矩阵确定模块，用于确定相邻两帧所述第二数据之间的位姿变换矩阵，相邻两帧所述第二数据通过所述位姿变换矩阵相互转换；
坐标转换关系确定模块，用于根据时间戳同步的所述匹配矩阵以及所述位姿变换矩阵确定所述第一数据与所述第二数据之间的坐标转换关系。
16.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一所述的传感器位姿转换关系确定方法步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-14中任一所述的传感器位姿转换关系确定方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003315.3A CN113759384B (zh) | 2020-09-22 | 2020-09-22 | 一种传感器位姿转换关系确定方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003315.3A CN113759384B (zh) | 2020-09-22 | 2020-09-22 | 一种传感器位姿转换关系确定方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113759384A true CN113759384A (zh) | 2021-12-07 |
| CN113759384B CN113759384B (zh) | 2024-04-05 |
Family
ID=78785850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011003315.3A Active CN113759384B (zh) | 2020-09-22 | 2020-09-22 | 一种传感器位姿转换关系确定方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113759384B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114518111A (zh) * | 2022-03-11 | 2022-05-20 | 六安智梭无人车科技有限公司 | 一种激光雷达与惯性测量单元标定方法及系统 |
| CN115655331A (zh) * | 2022-10-18 | 2023-01-31 | 杭州海康机器人股份有限公司 | 一种基于十字激光的传感器标定方法、装置及机器人 |
| CN118094442A (zh) * | 2024-04-23 | 2024-05-28 | 华科五洲（天津）海洋工程有限公司 | 自升式平台的传感数据模拟方法、装置、服务器及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104764457A (zh) * | 2015-04-21 | 2015-07-08 | 北京理工大学 | 一种用于无人车的城市环境构图方法 |
| CN105157725A (zh) * | 2015-07-29 | 2015-12-16 | 华南理工大学 | 一种二维激光视觉传感器和机器人的手眼标定方法 |
| WO2017197617A1 (zh) * | 2016-05-19 | 2017-11-23 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
| CN110490900A (zh) * | 2019-07-12 | 2019-11-22 | 中国科学技术大学 | 动态环境下的双目视觉定位方法及系统 |
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
-
2020
- 2020-09-22 CN CN202011003315.3A patent/CN113759384B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104764457A (zh) * | 2015-04-21 | 2015-07-08 | 北京理工大学 | 一种用于无人车的城市环境构图方法 |
| CN105157725A (zh) * | 2015-07-29 | 2015-12-16 | 华南理工大学 | 一种二维激光视觉传感器和机器人的手眼标定方法 |
| WO2017197617A1 (zh) * | 2016-05-19 | 2017-11-23 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
| CN110490900A (zh) * | 2019-07-12 | 2019-11-22 | 中国科学技术大学 | 动态环境下的双目视觉定位方法及系统 |
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| HANZHANG XUE: "Real-time 3D Grid Map Building for Autonomous Driving in Dynamic Environment", 2019 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS (ICUS) * |
| 叶珏磊;周志峰;王立端;庞正雅;: "一种多线激光雷达与GNSS/INS系统标定方法", 激光与红外, no. 01 * |
| 沈爱华;罗印升;宋伟;: "一种基于双目视觉的手眼标定方法", 机械设计与制造工程, no. 05 * |
| 韦坤: "基于视觉惯导融合的SLAM系统优化方法研究", 中国优秀硕士学位论文全文数据库 信息科技 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114518111A (zh) * | 2022-03-11 | 2022-05-20 | 六安智梭无人车科技有限公司 | 一种激光雷达与惯性测量单元标定方法及系统 |
| CN115655331A (zh) * | 2022-10-18 | 2023-01-31 | 杭州海康机器人股份有限公司 | 一种基于十字激光的传感器标定方法、装置及机器人 |
| CN118094442A (zh) * | 2024-04-23 | 2024-05-28 | 华科五洲（天津）海洋工程有限公司 | 自升式平台的传感数据模拟方法、装置、服务器及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113759384B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109297510B (zh) | 相对位姿标定方法、装置、设备及介质 | |
| CN109345596B (zh) | 多传感器标定方法、装置、计算机设备、介质和车辆 | |
| CN111415387B (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| CN109931944B (zh) | 一种ar导航方法、装置、车端设备、服务端及介质 | |
| CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
| CN113759384B (zh) | 一种传感器位姿转换关系确定方法、装置、设备和介质 | |
| CN113820735B (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
| CN105953796A (zh) | 智能手机单目和imu融合的稳定运动跟踪方法和装置 | |
| CN114018274B (zh) | 车辆定位方法、装置及电子设备 | |
| CN112781586B (zh) | 一种位姿数据的确定方法、装置、电子设备及车辆 | |
| CN109781117B (zh) | 一种组合定位方法和系统 | |
| CN113933818A (zh) | 激光雷达外参的标定的方法、设备、存储介质及程序产品 | |
| CN106767767A (zh) | 一种微纳多模星敏感器系统及其数据融合方法 | |
| CN113516692A (zh) | 一种多传感器融合的slam方法和装置 | |
| CN111121755B (zh) | 一种多传感器的融合定位方法、装置、设备及存储介质 | |
| CN117191057A (zh) | 基于时空配准和多模矢量分配融合的导航平台构建方法 | |
| CN110487269A (zh) | Gps/ins组合导航方法、装置、存储介质与电子设备 | |
| CN115839726B (zh) | 磁传感器和角速度传感器联合标定的方法、系统及介质 | |
| Zhao et al. | Distributed filtering-based autonomous navigation system of UAV | |
| Sánchez Morales et al. | High precision outdoor and indoor reference state estimation for testing autonomous vehicles | |
| CN117367458A (zh) | 地图的精度验证方法、装置、终端设备及介质 | |
| CN117132904A (zh) | 实时飞行位置定位方法、装置、飞行器以及存储介质 | |
| CN116642511A (zh) | Ar导航图像渲染方法、装置、电子设备及存储介质 | |
| Zhang et al. | Mounting Misalignment and Time Offset Self-Calibration Online Optimization Method for Vehicular Visual-Inertial-Wheel Odometer System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |