CN109544638B - 一种用于多传感器融合的异步在线标定方法 - Google Patents

一种用于多传感器融合的异步在线标定方法 Download PDF

Info

Publication number
CN109544638B
CN109544638B CN201811265340.1A CN201811265340A CN109544638B CN 109544638 B CN109544638 B CN 109544638B CN 201811265340 A CN201811265340 A CN 201811265340A CN 109544638 B CN109544638 B CN 109544638B
Authority
CN
China
Prior art keywords
rotation
time
imu
coordinate system
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811265340.1A
Other languages
English (en)
Other versions
CN109544638A (zh
Inventor
张剑华
王曾媛
吴佳鑫
冯宇婷
贵梦萍
甘雨
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huicui Intelligent Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201811265340.1A priority Critical patent/CN109544638B/zh
Publication of CN109544638A publication Critical patent/CN109544638A/zh
Application granted granted Critical
Publication of CN109544638B publication Critical patent/CN109544638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种用于多传感器融合的异步在线标定方法，通过标定三个传感器的坐标系之间的相互转换关系，将多个传感器的测量信息统一到相同的坐标系下，传统的标定方法局限于两个传感器之间的标定，并且要求严格的时间同步，标定过程较为复杂；本发明分别计算激光雷达、相机、惯性测量单元(IMU)的运动，然后通过使用线性插值获得相同时间间隔内不同传感器的运动，最后通过对齐三个传感器的旋转序列得到两两之间的外部旋转。本发明能够得到较为精确的激光雷达、相机、惯性测量单元(IMU)之间的外部朝向，为后续的标定提供初值。

Description

一种用于多传感器融合的异步在线标定方法
技术领域
本发明涉及机器人视觉、多传感器融合等技术领域，具体涉及多传感器融合的异步在线标定方法。
背景技术
相机、惯性测量单元(IMU)、激光雷达的融合被广泛的应用到机器人定位和建图领域，以达到比单传感器更加精确和鲁棒的效果。单个传感器存在局限性，比如相机在弱纹理、光照变化的情况下容易发生跟踪丢失的情况，惯性测量单元容易累计误差和偏移，激光雷达存在点云的畸变，而结合这三种传感器能够克服单传感器的缺点。
可信赖的多传感器融合的定位和建图算法依赖于精确的外参标定。通过标定三个传感器的坐标系之间的相互转换关系，可以将多个传感器的测量信息统一到相同的坐标系下。传统的标定算法局限于两个传感器之间的标定，并且要求严格的时间同步，标定过程较为复杂。
发明内容
为了克服现有标定方法的局限于两个传感器之间的标定、要求严格的时间同步、过程较为复杂的不足，本发明提出了一种用于多传感器融合的异步在线标定方法，不需要人工标记物和严格的时间同步，能够在线标定相机、惯性测量单元、激光雷达之间的外部朝向。
为了解决上述技术问题，本发明的技术方案如下：
一种用于多传感器融合的异步在线标定方法，包括以下步骤：
1)计算相机的旋转
设点P为相机坐标系下的一个点，其坐标为[x y z]T，设点p1,p2分别是点P在图Fi,Fj中的投影，Ci,Cj分别是在时刻i和时刻j的相机坐标系，使用针孔相机模型，得到尺度无关的表达式：
p1＝KP
p2＝K(RP+t) (1.1)
其中K是相机的内参矩阵，R和t是从Ci到Cj的旋转矩阵和平移向量，进行转换，得到对极约束：
Figure BDA0001844768920000011
其中
Figure BDA0001844768920000012
表示向量t的斜对称矩阵，t＝[a b c]T,
Figure BDA0001844768920000021
定义本质矩阵
Figure BDA0001844768920000022
则式(1.2)写作：
Figure BDA0001844768920000023
在已知内参矩阵的情况下，给定一系列匹配的特征点，就估计出本质矩阵E，对E进行分解，得到旋转矩阵R和平移向量t；
2)计算惯性测量单元的旋转
IMU具有较高的采样频率，通过预积分集成一定时间段内的IMU测量，以避免高频率的状态估计和大量的位姿状态，惯性积分公式写成下面的形式：
Figure BDA0001844768920000024
其中
Figure BDA0001844768920000025
和
Figure BDA0001844768920000026
分别是以t时刻IMU坐标系为参照坐标系的线性加速度和角速度，
Figure BDA0001844768920000027
是向量
Figure BDA0001844768920000028
的斜对称矩阵(公式1.3)，gw是世界坐标系下的重力加速度，
Figure BDA0001844768920000029
分别为IMU在时刻i在世界坐标系下的位置、速度和朝向；
IMU从时刻i到时刻j在i时刻IMU坐标系下的相对变化表示为：
Figure BDA00018447689200000210
3)计算激光雷达的旋转
定义雷达完成一次扫描覆盖为sweep，Pm表示在sweep m期间接受的点云集，假设一次sweep期间的角速度和线性加速度为常量，通过插值的方法获得不同时刻的变换，设t为当前时间，tm为sweep m的开始时间，
Figure BDA00018447689200000211
为雷达在[tm,t]期间的位姿变换，给定点pi,pi∈Pm,ti是点pi的时间戳，
Figure BDA00018447689200000212
是雷达在[tm,ti]期间的位姿变换，
Figure BDA00018447689200000213
通过线性插值估计：
Figure BDA0001844768920000031
定义Γm为从Pm中提取的边缘点和平面的集合，将边缘点和平面点投影到sweep m开始的时候，即tm，得到点集
Figure BDA0001844768920000032
构造如下的几何关系：
Figure BDA0001844768920000033
其中
Figure BDA0001844768920000034
是点pi的坐标，
Figure BDA0001844768920000035
是点pi投影到tm时刻的雷达坐标系下的坐标，在每次sweep结束的时刻，在该sweep期间接收到的点云都会被投影到该sweep结束的时刻，比如在sweep m-1期间接受到的点云Pm-1，被投影到tm时刻的雷达坐标系下，得到点集
Figure BDA0001844768920000036
点集
Figure BDA0001844768920000037
是其中的边缘点和平面点的集合，在集合
Figure BDA0001844768920000038
和
Figure BDA0001844768920000039
中寻找匹配点，得到匹配点之间距离的计算公式：
Figure BDA00018447689200000310
对于Γm中的所有点，构造如下的非线性方程：
Figure BDA00018447689200000311
通过求解最小二乘解，得到
Figure BDA00018447689200000312
的最优解；
4)异步测量的对齐
由于传感器是异步的，上面三个步骤得到相对旋转不一定位于相同的时间段，因此，基于短时间内匀速运动的假设，求得相同时间段内的不同传感器的旋转；
选择相机作为基准传感器，ti和tj是两帧连续图片的采集时间，在这段时间内，惯性测量单元有多次采样，t′i是最接近且晚于或等于ti的IMU采样时间，t′j是最接近且晚于或等于tj的IMU采样时间；首先用步骤2)中的方法对[t′i，t′j]间的IMU数据进行预积分，得到这段时间的IMU旋转
Figure BDA00018447689200000313
雷达在
Figure BDA00018447689200000314
期间的旋转
Figure BDA00018447689200000315
由步骤3)中的方法计算得到，
Figure BDA00018447689200000316
是最接近时间[ti,tj]的雷达sweep时间，定义分数γ表示相对旋转需要被扩展或者缩小的程度：
Figure BDA00018447689200000317
其中t0和t1是根据传感器测量直接计算得到的相对旋转的起始时间和结束时间，t′0和t′1是期望得到的相对旋转的起始时间和结束时间；
定义相对旋转的插值如下：
Figure BDA0001844768920000041
其中Exp(·)是李代数和李群之间的指数映射，Log(·)是李群和李代数之间的对数映射；5)计算传感器之间的外参
对齐相同时间的不同传感器的旋转序列可以估计传感器之间的外部朝向，通过步骤1),2)，3),4)得到[ti,tj]期间的相机旋转
Figure BDA0001844768920000042
IMU旋转
Figure BDA0001844768920000043
激光雷达的旋转
Figure BDA0001844768920000044
对于任何i和j，i<j，下面的式子成立：
Figure BDA0001844768920000045
其中
Figure BDA0001844768920000046
表示从IMU坐标系到相机坐标系的旋转，
Figure BDA0001844768920000047
表示从相机坐标系到雷达坐标系的旋转，
Figure BDA0001844768920000048
表示从雷达到IMU坐标系的旋转；
该线性系统的每一行都有相同的形式：
Figure BDA0001844768920000049
为了恢复旋转矩阵
Figure BDA00018447689200000410
使用单位四元数代替上式中的矩阵：
Figure BDA00018447689200000411
Figure BDA00018447689200000412
符号
Figure BDA00018447689200000413
表示四元数的乘法，定义单位四元数为：
Figure BDA00018447689200000414
其中
Figure BDA00018447689200000415
Figure BDA00018447689200000416
将不断到达的旋转桟入线性系统，得到超定线性方程组：
Figure BDA00018447689200000417
其中N是旋转序列的大小，α是异常值处理的权重；随着新的测量的增加，这个线性系统会进行重构，因此使用之前计算的外部朝向来估计误差，误差被定义为：
Figure BDA00018447689200000418
其中‖·‖是向量的模，权重定义为：
Figure BDA0001844768920000051
其中s是放大残差影响的因子。对于三个传感器之间的标定，得到下式：
Figure BDA0001844768920000052
通过奇异值分解求解上面的超定线性方程，最小奇异值对应的奇异向量就是最小二乘解；
由于在标定的初始阶段可能没有足够的运动，估计的值在标定的早期可能是不准确的；随着新的数据不断到来，标定的外参朝向会逐渐收敛到固定值，当局部时间段τ内的外部旋转
Figure BDA0001844768920000053
的对应的欧拉角的方差分别小于阈值时，认为标定成功，表达式如下：
Figure BDA0001844768920000054
其中
Figure BDA0001844768920000055
分别是四元数
Figure BDA0001844768920000056
对应的偏航、俯仰和滚转角在时间段τ内的方差，η是根据经验设置的阈值，
Figure BDA0001844768920000057
本发明的有益效果为：不需要人工标记物和严格的时间同步，能够在线标定相机、惯性测量单元、激光雷达之间的外部朝向。
附图说明
图1是相机和IMU不同的采样频率和采样时间，其中蓝色的竖线表示相机的采样，绿色的竖线表示IMU的采样。
图2给定时间[t0,t1]内的相对旋转，可以通过插值的方法求得时间[t′o，t′1]内的相对旋转。
图3表示同一传感器在时刻i与时刻j之间的相对旋转与不同传感器之间的外部朝向之间的关系。
图4是多传感器融合的异步在线标定方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图4，一种用于多传感器融合的异步在线标定方法，包括以下步骤：
一种用于多传感器融合的异步在线标定方法，包括以下步骤：
1)计算相机的旋转
设点P为相机坐标系下的一个点，其坐标为[x y z]T，设点p1,p2分别是点P在图Fi,Fj中的投影，Ci,Cj分别是在时刻i和时刻j的相机坐标系，使用针孔相机模型，得到尺度无关的表达式：
p1＝KP
p2＝K(RP+t) (1.1)
其中K是相机的内参矩阵，R和t是从Ci到Cj的旋转矩阵和平移向量，进行转换，得到对极约束：
Figure BDA0001844768920000061
其中
Figure BDA0001844768920000062
表示向量t的斜对称矩阵，t＝[a b c]T,
Figure BDA0001844768920000063
定义本质矩阵
Figure BDA0001844768920000064
则式(1.2)写作：
Figure BDA0001844768920000065
在已知内参矩阵的情况下，给定一系列匹配的特征点，就估计出本质矩阵E，对E进行分解，得到旋转矩阵R和平移向量t；
2)计算惯性测量单元的旋转
IMU具有较高的采样频率，通过预积分集成一定时间段内的IMU测量，以避免高频率的状态估计和大量的位姿状态，惯性积分公式写成下面的形式：
Figure BDA0001844768920000066
其中
Figure BDA0001844768920000067
和
Figure BDA0001844768920000068
分别是以t时刻IMU坐标系为参照坐标系的线性加速度和角速度，
Figure BDA0001844768920000069
是向量
Figure BDA00018447689200000610
的斜对称矩阵(公式1.3)，gw是世界坐标系下的重力加速度，
Figure BDA00018447689200000611
分别为IMU在时刻i在世界坐标系下的位置、速度和朝向；
IMU从时刻i到时刻j在i时刻IMU坐标系下的相对变化表示为：
Figure BDA00018447689200000612
3)计算激光雷达的旋转
定义雷达完成一次扫描覆盖为sweep，Pm表示在sweep m期间接受的点云集，假设一次sweep期间的角速度和线性加速度为常量，通过插值的方法获得不同时刻的变换，设t为当前时间，tm为sweep m的开始时间，
Figure BDA0001844768920000071
为雷达在[tm,t]期间的位姿变换，给定点pi,pi∈Pm,ti是点pi的时间戳，
Figure BDA0001844768920000072
是雷达在[tm,ti]期间的位姿变换，
Figure BDA0001844768920000073
通过线性插值估计：
Figure BDA0001844768920000074
定义Γm为从Pm中提取的边缘点和平面的集合，将边缘点和平面点投影到sweep m开始的时候，即tm，得到点集
Figure BDA0001844768920000075
构造如下的几何关系：
Figure BDA0001844768920000076
其中
Figure BDA0001844768920000077
是点pi的坐标，pi∈Γm，
Figure BDA0001844768920000078
是点pi投影到tm时刻的雷达坐标系下的坐标，在每次sweep结束的时刻，在该sweep期间接收到的点云都会被投影到该sweep结束的时刻，比如在sweep m-1期间接受到的点云Pm-1，被投影到tm时刻的雷达坐标系下，得到点集
Figure BDA0001844768920000079
点集
Figure BDA00018447689200000710
是其中的边缘点和平面点的集合，在集合
Figure BDA00018447689200000711
和
Figure BDA00018447689200000712
中寻找匹配点，得到匹配点之间距离的计算公式：
Figure BDA00018447689200000713
对于Γm中的所有点，构造如下的非线性方程：
Figure BDA00018447689200000714
通过求解最小二乘解，得到
Figure BDA00018447689200000715
的最优解；
4)异步测量的对齐
由于传感器是异步的，上面三个步骤得到相对旋转不一定位于相同的时间段，因此，
基于短时间内匀速运动的假设，求得相同时间段内的不同传感器的旋转；
选择相机作为基准传感器，ti和tj是两帧连续图片的采集时间，在这段时间内，惯性测量单元有多次采样，t′i是最接近且晚于或等于ti的IMU采样时间，t′j是最接近且晚于或等于tj的IMU采样时间；首先用步骤2)中的方法对[t′i，t′j]间的IMU数据进行预积分，得到这段时间的IMU旋转
Figure BDA00018447689200000716
雷达在
Figure BDA00018447689200000717
期间的旋转
Figure BDA00018447689200000718
由步骤3)中的方法计算得到，
Figure BDA00018447689200000719
是最接近时间[ti,tj]的雷达sweep时间，定义分数γ表示相对旋转需要被扩展或者缩小的程度：
Figure BDA0001844768920000081
其中t0和t1是根据传感器测量直接计算得到的相对旋转的起始时间和结束时间，t′0和t′1是期望得到的相对旋转的起始时间和结束时间；
定义相对旋转的插值如下：
Figure BDA0001844768920000082
其中Exp(·)是李代数和李群之间的指数映射，Log(·)是李群和李代数之间的对数映射；
5)计算传感器之间的外参
对齐相同时间的不同传感器的旋转序列可以估计传感器之间的外部朝向，通过步骤1),2)，3),4)得到[ti,tj]期间的相机旋转
Figure BDA0001844768920000083
IMU旋转
Figure BDA0001844768920000084
激光雷达的旋转
Figure BDA0001844768920000085
对于任何i和j，i<j，下面的式子成立：
Figure BDA0001844768920000086
其中
Figure BDA0001844768920000087
表示从IMU坐标系到相机坐标系的旋转，
Figure BDA0001844768920000088
表示从相机坐标系到雷达坐标系的旋转，
Figure BDA0001844768920000089
表示从雷达到IMU坐标系的旋转；
该线性系统的每一行都有相同的形式：
Figure BDA00018447689200000810
为了恢复旋转矩阵
Figure BDA00018447689200000811
使用单位四元数代替上式中的矩阵：
Figure BDA00018447689200000812
Figure BDA00018447689200000813
符号
Figure BDA00018447689200000814
表示四元数的乘法，定义单位四元数为：
Figure BDA00018447689200000817
其中
Figure BDA00018447689200000815
Figure BDA00018447689200000816
将不断到达的旋转桟入线性系统，得到超定线性方程组：
Figure BDA0001844768920000091
其中N是旋转序列的大小，α是异常值处理的权重；随着新的测量的增加，这个线性系统会进行重构，因此使用之前计算的外部朝向来估计误差，误差被定义为：
Figure BDA0001844768920000092
其中‖·‖是向量的模，权重定义为：
Figure BDA0001844768920000093
其中s是放大残差影响的因子。对于三个传感器之间的标定，得到下式：
Figure BDA0001844768920000094
通过奇异值分解求解上面的超定线性方程，最小奇异值对应的奇异向量就是最小二乘解；
由于在标定的初始阶段可能没有足够的运动，估计的值在标定的早期可能是不准确的；随着新的数据不断到来，标定的外参朝向会逐渐收敛到固定值，当局部时间段τ内的外部旋转
Figure BDA0001844768920000095
的对应的欧拉角的方差分别小于阈值时，认为标定成功，表达式如下：
Figure BDA0001844768920000096
其中
Figure BDA0001844768920000097
分别是四元数
Figure BDA0001844768920000098
对应的偏航、俯仰和滚转角在时间段τ内的方差，η是根据经验设置的阈值，
Figure BDA0001844768920000099

Claims (1)

1.一种用于多传感器融合的异步在线标定方法，其特征在于，所述方法包括以下步骤：
1)计算相机的旋转
设点P为相机坐标系下的一个点，其坐标为[x y z]T，设点p1,p2分别是点P在图Fi,Fj中的投影，Ci,Cj分别是在时刻i和时刻j的相机坐标系，使用针孔相机模型，得到尺度无关的表达式：
p1＝KP
p2＝K(RP+t) (1.1)
其中K是相机的内参矩阵，R和t是从Ci到Cj的旋转矩阵和平移向量，进行转换，得到对极约束：
Figure FDA0003060007960000011
其中
Figure FDA0003060007960000012
表示向量t的斜对称矩阵，t＝[a b c]T,
Figure FDA0003060007960000013
定义本质矩阵
Figure FDA0003060007960000014
则式(1.2)写作：
Figure FDA0003060007960000015
在已知内参矩阵的情况下，给定一系列匹配的特征点，就估计出本质矩阵E，对E进行分解，得到旋转矩阵R和平移向量t；
2)计算惯性测量单元的旋转
IMU具有高的采样频率，通过预积分集成设定时间段内的IMU测量，以避免高频率的状态估计和大量的位姿状态，惯性积分公式写成下面的形式：
Figure FDA0003060007960000016
其中
Figure FDA0003060007960000017
和
Figure FDA0003060007960000018
分别是以t时刻IMU坐标系为参照坐标系的线性加速度和角速度，
Figure FDA0003060007960000019
是向量
Figure FDA00030600079600000110
的斜对称矩阵，gw是世界坐标系下的重力加速度，
Figure FDA00030600079600000111
分别为IMU在时刻i在世界坐标系下的位置、速度和朝向；
IMU从时刻i到时刻j在i时刻IMU坐标系下的相对变化表示为：
Figure FDA0003060007960000021
3)计算激光雷达的旋转
定义雷达完成一次扫描覆盖为sweep，Pm表示在sweep m期间接受的点云集，假设一次sweep期间的角速度和线性加速度为常量，通过插值的方法获得不同时刻的变换，设t为当前时间，tm为sweep m的开始时间，
Figure FDA0003060007960000022
为雷达在[tm,t]期间的位姿变换，给定点pi,pi∈Pm,ti是点pi的时间戳，
Figure FDA0003060007960000023
是雷达在[tm,ti]期间的位姿变换，
Figure FDA0003060007960000024
通过线性插值估计：
Figure FDA0003060007960000025
定义Γm为从Pm中提取的边缘点和平面的集合，将边缘点和平面点投影到sweep m开始的时候，即tm，得到点集
Figure FDA0003060007960000026
构造如下的几何关系：
Figure FDA0003060007960000027
其中
Figure FDA0003060007960000028
是点pi的坐标，pi∈Γm，
Figure FDA0003060007960000029
是点pi投影到tm时刻的雷达坐标系下的坐标，在每次sweep结束的时刻，在该sweep期间接收到的点云都会被投影到该sweep结束的时刻，比如在sweep m-1期间接受到的点云Pm-1，被投影到tm时刻的雷达坐标系下，得到点集
Figure FDA00030600079600000210
点集
Figure FDA00030600079600000211
是其中的边缘点和平面点的集合，在集合
Figure FDA00030600079600000212
和
Figure FDA00030600079600000213
中寻找匹配点，得到匹配点之间距离的计算公式：
Figure FDA00030600079600000214
对于Γm中的所有点，构造如下的非线性方程：
Figure FDA00030600079600000215
通过求解最小二乘解，得到
Figure FDA00030600079600000216
的最优解；
4)异步测量的对齐
基于短时间内匀速运动的假设，求得相同时间段内的不同传感器的旋转；
选择相机作为基准传感器，ti和tj是两帧连续图片的采集时间，在这段时间内，惯性测量单元有多次采样，t′i是最接近且晚于或等于ti的IMU采样时间，t′j是最接近且晚于或等于tj的IMU采样时间；首先用步骤2)中的方法对[t′i，t′j]间的IMU数据进行预积分，得到这段时间的IMU旋转
Figure FDA0003060007960000031
雷达在
Figure FDA0003060007960000032
期间的旋转
Figure FDA0003060007960000033
由步骤3)中的方法计算得到，
Figure FDA0003060007960000034
是最接近时间[ti,tj]的雷达sweep时间，定义分数γ表示相对旋转需要被扩展或者缩小的程度：
Figure FDA0003060007960000035
其中t0和t1是根据传感器测量直接计算得到的相对旋转的起始时间和结束时间，t′0和t′1是期望得到的相对旋转的起始时间和结束时间；
定义相对旋转的插值如下：
Figure FDA0003060007960000036
其中Exp(·)是李代数和李群之间的指数映射，Log(·)是李群和李代数之间的对数映射；
5)计算传感器之间的外参
对齐相同时间的不同传感器的旋转序列估计传感器之间的外部朝向，通过步骤1),2)，3),4)得到[ti,tj]期间的相机旋转
Figure FDA0003060007960000037
IMU旋转
Figure FDA0003060007960000038
激光雷达的旋转
Figure FDA0003060007960000039
对于任何i和j，i<j，下面的式子成立：
Figure FDA00030600079600000310
其中
Figure FDA00030600079600000311
表示从IMU坐标系到相机坐标系的旋转，
Figure FDA00030600079600000312
表示从相机坐标系到雷达坐标系的旋转，
Figure FDA00030600079600000313
表示从雷达到IMU坐标系的旋转；
线性系统的每一行都有相同的形式：
Figure FDA00030600079600000314
为了恢复旋转矩阵
Figure FDA00030600079600000315
使用单位四元数代替上式中的矩阵：
Figure FDA00030600079600000316
符号
Figure FDA00030600079600000317
表示四元数的乘法，定义单位四元数为：
Figure FDA00030600079600000318
其中
Figure FDA0003060007960000041
将不断到达的旋转载入线性系统，得到超定线性方程组：
Figure FDA0003060007960000042
其中N是旋转序列的大小，α是异常值处理的权重；随着新的测量的增加，这个线性系统会进行重构，因此使用之前计算的外部朝向来估计误差，误差被定义为：
Figure FDA0003060007960000043
其中‖·‖是向量的模，权重定义为：
Figure FDA0003060007960000044
其中s是放大残差影响的因子，对于三个传感器之间的标定，得到下式：
Figure FDA0003060007960000045
通过奇异值分解求解上面的超定线性方程，最小奇异值对应的奇异向量就是最小二乘解；
随着新的数据不断到来，标定的外参朝向会逐渐收敛到固定值，当局部时间段τ内的外部旋转
Figure FDA0003060007960000046
的对应的欧拉角的方差分别小于阈值时，认为标定成功，表达式如下：
Figure FDA0003060007960000047
其中
Figure FDA0003060007960000048
分别是四元数
Figure FDA0003060007960000049
对应的偏航、俯仰和滚转角在时间段τ内的方差，η是根据经验设置的阈值，
Figure FDA00030600079600000410
CN201811265340.1A 2018-10-29 2018-10-29 一种用于多传感器融合的异步在线标定方法 Active CN109544638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811265340.1A CN109544638B (zh) 2018-10-29 2018-10-29 一种用于多传感器融合的异步在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811265340.1A CN109544638B (zh) 2018-10-29 2018-10-29 一种用于多传感器融合的异步在线标定方法

Publications (2)

Publication Number Publication Date
CN109544638A CN109544638A (zh) 2019-03-29
CN109544638B true CN109544638B (zh) 2021-08-03

Family

ID=65845227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811265340.1A Active CN109544638B (zh) 2018-10-29 2018-10-29 一种用于多传感器融合的异步在线标定方法

Country Status (1)

Country Link
CN (1) CN109544638B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261870B (zh) * 2019-04-15 2021-04-06 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110007293B (zh) * 2019-04-24 2021-11-02 禾多科技（北京）有限公司 场端多线束激光雷达的在线标定方法
CN110428477B (zh) * 2019-06-24 2021-11-02 武汉大学 一种不受速度影响的事件相机的成图方法
CN110514225B (zh) * 2019-08-29 2021-02-02 中国矿业大学 一种矿井下多传感器融合的外部参数标定及精准定位方法
CN110780285B (zh) * 2019-10-24 2022-10-18 深圳市镭神智能系统有限公司 激光雷达与组合惯导的位姿标定方法、系统及介质
CN111308415B (zh) * 2019-11-01 2022-09-02 华为技术有限公司 一种基于时间延迟的在线估计位姿的方法和设备
CN110906923B (zh) * 2019-11-28 2023-03-14 重庆长安汽车股份有限公司 车载多传感器紧耦合融合定位方法、系统、存储介质及车辆
CN110849362B (zh) * 2019-11-28 2022-01-04 湖南率为控制科技有限公司 一种基于车载惯性的激光雷达与视觉组合导航算法
CN111103578B (zh) * 2020-01-10 2022-02-15 清华大学 一种基于深度卷积神经网络的激光雷达在线标定方法
CN111207774B (zh) * 2020-01-17 2021-12-03 山东大学 一种用于激光-imu外参标定的方法及系统
CN111308490B (zh) * 2020-02-05 2021-11-19 浙江工业大学 基于单线激光雷达的平衡车室内定位与导航系统
CN111443337B (zh) * 2020-03-27 2022-03-08 北京航空航天大学 一种基于手眼标定的雷达-imu标定方法
CN111595333B (zh) * 2020-04-26 2023-07-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN111580596B (zh) * 2020-05-19 2022-04-15 北京数字绿土科技股份有限公司 多个imu时间同步方法、装置、终端
CN111958595B (zh) * 2020-08-13 2021-09-17 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN112083400A (zh) * 2020-08-21 2020-12-15 达闼机器人有限公司 运动物体及其传感器的标定方法、装置、存储介质
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN112464432B (zh) * 2020-10-27 2024-05-14 江苏大学 一种基于双速数值积分结构的惯性预积分的优化方法
CN113091771B (zh) * 2021-04-13 2022-09-23 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
CN115268619A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 一种人机交互方法及设备
CN113218435B (zh) * 2021-05-07 2023-01-17 复旦大学 一种多传感器时间同步方法
CN113721260B (zh) * 2021-08-26 2023-12-12 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法
CN114252099B (zh) * 2021-12-03 2024-02-23 武汉科技大学 一种智能车辆多传感器融合自标定方法及系统
CN114383608A (zh) * 2021-12-21 2022-04-22 国家管网集团川气东送天然气管道有限公司 一种多传感器融合的旋转定位方法及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置
CN107862733A (zh) * 2017-11-02 2018-03-30 南京大学 基于视线更新算法的大规模场景实时三维重建方法和系统
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
US10006989B1 (en) * 2015-08-06 2018-06-26 Schaft Inc. Disabling robot sensors
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定系统和方法
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10006989B1 (en) * 2015-08-06 2018-06-26 Schaft Inc. Disabling robot sensors
CN107341831A (zh) * 2017-07-06 2017-11-10 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置
CN107862733A (zh) * 2017-11-02 2018-03-30 南京大学 基于视线更新算法的大规模场景实时三维重建方法和系统
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定系统和方法
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于ORB关键帧闭环检测算法的SLAM方法研究;余杰;《中国优秀硕士学位论文全文数据库》;20170515;全文 *
多传感器融合的室内移动机器人定位;李东轩;《中国优秀硕士学位论文全文数据库》;20180815;全文 *

Also Published As

Publication number Publication date
CN109544638A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109544638B (zh) 一种用于多传感器融合的异步在线标定方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
Montiel et al. Unified Inverse Depth Parametrization for Monocular SLAM.
EP3825954A1 (en) Photographing method and device and unmanned aerial vehicle
US9967463B2 (en) Method for camera motion estimation and correction
CN110456330B (zh) 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN111524194B (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
JP3880702B2 (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
CN111795686A (zh) 一种移动机器人定位与建图的方法
CN110969665B (zh) 一种外参标定方法、装置、系统及机器人
CN112444798B (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
CN110187337B (zh) 一种基于ls和neu-ecef时空配准的高机动目标跟踪方法及系统
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN116295279A (zh) 一种基于无人机遥感的建筑测绘方法及无人机
CN115526914A (zh) 基于多传感器的机器人实时定位和彩色地图融合映射方法
CN112837314B (zh) 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
Voges et al. Finding timestamp offsets for a multi-sensor system using sensor observations
CN113256696A (zh) 基于自然场景的激光雷达和相机的外参标定方法
CN113459841B (zh) 基于无标定双目视觉的自动充电控制方法和装置
CN114913242A (zh) 相机标定方法、装置、系统、电子设备和存储介质
KR20180104504A (ko) 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템
CN114983302B (zh) 姿态的确定方法、装置、清洁设备、存储介质及电子装置
CN114383608A (zh) 一种多传感器融合的旋转定位方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230714

Address after: No. 998, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU HUICUI INTELLIGENT TECHNOLOGY CO.,LTD.

Address before: The city Zhaohui six districts Chao Wang Road Hangzhou City, Zhejiang province 310014 18

Patentee before: JIANG University OF TECHNOLOGY

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An asynchronous online calibration method for multi-sensor fusion

Granted publication date: 20210803

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: HANGZHOU HUICUI INTELLIGENT TECHNOLOGY CO.,LTD.

Registration number: Y2024980004919

PE01 Entry into force of the registration of the contract for pledge of patent right