CN116760500A - 基于补偿优化的自动驾驶多传感器时间同步方法及系统 - Google Patents
基于补偿优化的自动驾驶多传感器时间同步方法及系统 Download PDFInfo
- Publication number
- CN116760500A CN116760500A CN202310470503.4A CN202310470503A CN116760500A CN 116760500 A CN116760500 A CN 116760500A CN 202310470503 A CN202310470503 A CN 202310470503A CN 116760500 A CN116760500 A CN 116760500A
- Authority
- CN
- China
- Prior art keywords
- time
- imu
- lidar
- points
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 230000010354 integration Effects 0.000 claims abstract description 36
- 230000008878 coupling Effects 0.000 claims abstract description 9
- 238000010168 coupling process Methods 0.000 claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 claims abstract description 9
- 238000013519 translation Methods 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
Abstract
本申请提供一种基于补偿优化的自动驾驶多传感器时间同步方法,包括如下步骤:采用GNSS对LiDAR和IMU授时,并对二者时间戳进行线性插值得到粗略的时间同步估计,构建IMU时变时间偏移和LiDAR时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;将LiDAR点云通过特征提取得到线点和平面点,分别构建线点和平面点的残差组成LiDAR残差;基于紧耦合原理,将IMU预积分残差和LiDAR残差联合优化,将时变时间偏移插值迭代优化到最小值,以消除其对定位结果的额外误差影响,实现IMU和LiDAR之间的时间精确同步,以保证多传感器融合定位精度和鲁棒性。本申请还提供一种基于补偿优化的自动驾驶多传感器时间同步系统。
Description
技术领域
本申请属于自动驾驶技术领域,具体涉及一种基于补偿优化的自动驾驶多传感器时间同步方法及系统。
背景技术
在自动驾驶领域中,基于多传感器融合的定位方法逐渐成为研究热点,其中以激光雷达和惯性测量单元二者融合的定位方法应用最为广泛。传感器的时间戳通常会受到触发延迟和传输延迟的影响,导致不同传感器在数据采集和数据发送之间存在不同程度的时间偏移,通常在几毫秒到几百毫秒之间,同时在运算单元接收到数据后也存在由算法耗时和时间基准不同等因素引起的传感器间时间戳未对齐现象,从而造成不同传感器数据流完全对不齐而严重影响算法定位精度和鲁棒性。
因此,实有必要提供一种基于补偿优化的自动驾驶多传感器时间同步方法及系统。
发明内容
本申请实施例的目的是提供一种基于补偿优化的自动驾驶多传感器时间同步方法及系统,采用GNSS对LiDAR和IMU进行授时,并对二者时间戳进行线性插值,以得到粗略的时间同步估计,构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;将LiDAR点云分为线点和平面点,分别构建线点和平面点的残差组成LiDAR残差;基于紧耦合原理,将IMU预积分残差和LiDAR残差联合优化,将时变时间偏移迭代优化到最小值,以消除其对定位结果的额外误差影响,实现IMU和LiDAR之间的时间精确同步,以保证多传感器融合定位精度和鲁棒性。
为了解决上述技术问题,本申请是这样实现的:
一种基于补偿优化的自动驾驶多传感器时间同步方法,包括如下步骤:
S1:采用GNSS为IMU和LiDAR统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐;
S2:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;
S3:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差;
S4:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
优选的,所述步骤S1中“对IMU和LiDAR时间戳进行线性插值”的过程为:IMU初始时间戳为对应的LiDAR前后时间戳分别为/> 时刻LiDAR对应数据为/>通过线性插值获取IMU对应时刻/>的LiDAR数据/>实现IMU和LiDAR时间戳粗同步,插值公式为:
优选的,系统的状态量表示为:
式中,X(t)为t时刻的系统状态量;Xb(t)为t时刻的IMU状态量,包括相对于世界坐标系的平移速度/>和旋转/>以及加速度计零偏ba和陀螺仪零偏bg;Xbl为LiDAR坐标系与IMU坐标系的外部参数,包括相对平移pbl和相对旋转qbl;/>为IMU的时变时间偏移和LiDAR的时变时间偏移的差值;T为矩阵转置操作;
所述IMU测量模型表示为:
式中,分别表示t时刻加速度和角速度的测量值;/>分别表示t时刻加速度和角速度的真实值;/>为世界坐标系到IMU坐标系的旋转;gw为世界坐标系下的重力加速度,/>和/>分别为加速度计和陀螺仪的零偏;/>分别为加速度计和陀螺仪的高斯白噪声。
优选的,i′l和i′b分别为LiDAR和IMU的数据采集时刻,il、jl为相邻两次LiDAR的数据发送时刻,ib、jb分别为相邻两次IMU的数据发送时刻,ib时刻到jl时刻,则从ib时刻到jl时刻,系统的平移、速度和旋转更新的过程为:
式中,分别表示jl时刻系统的平移、速度和旋转;/> 分别表示ib时刻系统的平移、速度和旋转;Δt表示相邻两个LiDAR数据发送时刻il和jl的时间间隔,Δt=jl-il;/>表示当前时刻相对于ib时刻的旋转;
ib时刻到jl时刻,仅与IMU的测量值相关的平移、速度和旋转预积分量表示为:
式中,分别表示与IMU的测量值相关的平移、速度和旋转预积分量;
将预积分量作为测量值对ib到jl时刻间状态量进行约束以构建包含时变时间偏移时间差/>的IMU预积分残差,表示为:
式中表示IMU预积分残差,/>表示噪声测量值或估计值:/> 和/>分别为IMU平移残差、速度残差、旋转残差、加速度计和陀螺仪零偏残差;
式中,表示世界坐标系到ib时刻的IMU坐标系下的旋转;/>表示il时刻系统的平移、速度和旋转;/>表示世界坐标系到il时刻的IMU坐标系下的旋转;/>表示il时刻系统的旋转;[·]xyz为取四元数虚部的运算;/>表示jl时刻的加速度计偏置;/>表示ib时刻的加速度计偏置;/>表示jl时刻的陀螺仪偏置;/>表示jb时刻的陀螺仪偏置。
优选的,所述步骤S3具体包括如下步骤:
S31:根据IMU测量得到的角速度和加速度信息进行积分,求取两点云帧之间的位姿相对变化量,计算过程表示为:
式中,为两点云帧时刻间的平移相对变量;/>表示两点云帧时刻间的速度相对变量;/>为两点云帧时刻间的旋转相对变化量;tk、tk+1分别表示第k、k+1个时间戳;bk表示tk时刻的IMU坐标系,t表示[tk,tk+1]中的任一时刻;/>表示/>nw表示陀螺仪噪声,/>表示角速度测量值,/>表示加速度测量值,/>表示当前t时刻相对tk时刻在IMU坐标系下的旋转变化量,/>为两点云帧位姿相对变化量;
S32:根据时间戳ti∈[tk,tk+1]和位姿相对变化量对当前帧中每一个点云坐标Pk进行线性插值,得到去畸变后的点云坐标/>公式为:
S33:将当前帧点云平均分为若干个子集,随后对每个子集中每一个点Pi左右各选取5个点组成点集S,通过下式计算曲率:
计算曲率后,比较该点曲率与预设的曲率阈值,若大于该阈值,则判定该点为线点,反之,该点为平面点;
S34:将已经判定好类别的特征点分别投影到上一帧,线点找到最近的两个点,平面点找到最近且不共线的三个点,基于线点、平面点的距离运算关系构建LiDAR残差,运算过程表示为:
式中,rl e、rl s分别表示线点和平面点构建的LiDAR残差;m为由点云构建的特征线方向向量;分别为当前帧和上一帧的特征点;ei为搜索得到特征线上的点;分别为/>到/>的旋转和平移转换;n为特征面法向量,D为特征面一般方程中的常数项。
优选的,所述步骤S4具体包括如下步骤:
联合优化通过最小化所述IMU预积分残差和LiDAR残差的先验和马氏范数之和以获得最大后验估计,联合优化的过程表示为:
式中,和/>分别为LiDAR残差和IMU预积分残差;/>表示rl e、rl s之和。
本申请还提供一种基于补偿优化的自动驾驶多传感器时间同步系统,包括:
时间戳粗对齐模块:采用GNSS为IMU和LiDAR统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐;
IMU预积分残差计算模块:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;
LiDAR残差计算模块:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差;
联合优化模块:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
本申请的有益效果在于:
(1)将LiDAR和IMU统一为GNSS授时,并进行线性插值,消除了不同时钟源带来的系统误差,且实现了不同频率传感器之间时间戳的粗略对齐;
(2)通过IMU测量对LiDAR点云去畸变,并且LiDAR提供位姿初值,提高了激光里程计的鲁棒性;
(3)把时变时间偏移补偿为附加状态量并与系统其他状态量进行紧耦合优化,将时变时间偏移迭代优化到最小值,实现传感器之间的时间精确同步。
附图说明
图1表示本申请提供的基于补偿优化的自动驾驶多传感器时间同步方法的流程图;
图2表示IMU和LiDAR时间偏移的示意图;
图3表示对IMU和LiDAR时间戳进行线性插值的示意图;
图4表示考虑时变时间偏移的IMU和LiDAR数据处理流程图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请结合参阅图1-4,本发明提供一种基于补偿优化的自动驾驶多传感器时间同步方法及系统,包括如下步骤:
S1:采用GNSS(Global Navigation Satellite System,全球导航卫星系统)为IMU(Inertial Measurement Unit,惯性测量单元)和LiDAR(Light Detection And Ranging,激光雷达)统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐。
IMU和LiDAR之间通常存在固定时间偏移,固定时间偏移指由传感器发送数据到运算单元接收数据所耗时间和运算单元处理数据所耗时间引起的时间戳不能准确对齐现象,固定时间偏移可直接从系统时间中读取,不需额外进行优化求解。如图2所示,上方为LiDAR的时间轴,下方为IMU的时间轴,向下的箭头表示对应时间轴上的时间戳,1表示LiDAR和IMU的数据采集时刻,二者触发与传输延迟分别为和/>相差/>该偏移量为时变时间偏移,可通过基于补偿优化的方法将其加入系统状态量并进行联合优化以使其收敛。从传感器发送数据到运算单元接收并处理数据的耗时分别为/>和/>这两段时间偏移为固定时间偏移,即其偏移量可通过由GNSS授时的系统时间中精确读取,通过线性插值的方法对该固定时间偏移进行精确对准。运算单元发送数据时刻1′即为两传感器数据融合时刻,tl和tb分别为LiDAR和IMU数据的时间偏移总量,相差td,通过上述对时变和固定时间偏移的处理即可消除该时间偏移总量,实现精确时间同步。
GNSS授时具有精度高、覆盖范围的优点。将LiDAR和IMU统一为GNSS授时,并进行线性插值,消除了不同时钟源带来的系统误差,且实现了不同频率传感器之间时间戳的粗略对齐。
请参阅图3,对IMU和LiDAR时间戳进行线性插值的过程为:IMU初始时间戳为对应的LiDAR前后时间戳分别为/>假设/>时刻LiDAR对应数据为/>通过线性插值获取IMU对应时刻/>的LiDAR数据/>实现IMU和LiDAR时间戳粗同步,插值公式为:
S2:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差。
传感器在数据采集过程往往具有触发延迟和传输延迟,从而导致传感器时间戳无法对齐而产生时间偏移,且该时间偏移会随采样时刻的改变而发生变化,这部分时间偏移为时变时间偏移。在IMU和LiDAR的时间同步过程中,需要对IMU的时变时间偏移和LiDAR的时变时间偏移的差值进行补偿,将该补偿量和IMU状态量共同作为系统状态量进行优化,可以将时变时间偏移迭代优化到最小值。
请结合参阅图2及图4,il ′和i′ b分别为LiDAR和IMU的数据采集时刻,il、jl为相邻两次LiDAR的数据发送时刻,ib、jb分别为相邻两次IMU的数据发送时刻,IMU数据采集时刻到IMU数据发送时刻之间的时间延迟即为IMU的时变时间偏移,记为LiDAR数据采集时刻到LiDAR数据发送时刻之间的时间延迟即为LiDAR的时变时间偏移,记为/>即:/> 由于IMU数据频率通常比LiDAR数据频率高,因此/>大于/>此时二者的差值/>为正值,/>
系统的状态量表示为:
式中,X(t)为t时刻的系统状态量;Xb(t)为t时刻的IMU状态量,包括相对于世界坐标系的平移速度/>和旋转/>以及加速度计零偏ba和陀螺仪零偏bg;Xbl为LiDAR坐标系与IMU坐标系的外部参数,包括相对平移pbl和相对旋转qbl;T为矩阵转置操作。
所述IMU测量模型表示为:
式中,分别表示t时刻加速度和角速度的测量值;/>分别表示t时刻加速度和角速度的真实值;/>为世界坐标系到IMU坐标系的旋转;gw为世界坐标系下的重力加速度,/>和/>分别为加速度计和陀螺仪的零偏;/>分别为加速度计和陀螺仪的高斯白噪声。
对测量值和/>分两时间段进行预积分,一段为从IMU数据发送时刻ib到LiDAR数据发送时刻il;另一段为从LiDAR数据发送时刻il到与该时刻相邻的下一LiDAR数据发送时刻kl。ib时刻到kl时刻,系统的平移、速度和旋转更新的过程为:
式中,分别表示jl时刻系统的平移、速度和旋转;/> 分别表示ib时刻系统的平移、速度和旋转;Δt表示相邻两个LiDAR数据发送时刻il和jl的时间间隔,Δt=jl-il;/>表示当前时刻相对于ib时刻的旋转;
jb时刻到jl时刻,仅与IMU的测量值相关的平移、速度和旋转预积分量表示为:
式中,分别表示与IMU的测量值相关的平移、速度和旋转预积分量。
将预积分量作为测量值对ib到jl时刻间状态量进行约束以构建包含时变时间偏移时间差/>的IMU预积分残差,表示为:
式中表示IMU预积分残差,/>表示噪声测量值或估计值:/> 和/>分别为IMU平移残差、速度残差、旋转残差、加速度计和陀螺仪零偏残差;其中,
式中,表示世界坐标系到ib时刻的IMU坐标系下的旋转;/>表示il时刻系统的平移、速度和旋转;/>表示世界坐标系到il时刻的IMU坐标系下的旋转;/>表示il时刻系统的旋转;[·]xyz为取四元数虚部的运算;/>表示jl时刻的加速度计偏置;/>表示ib时刻的加速度计偏置;/>表示jl时刻的陀螺仪偏置;/>表示ib时刻的陀螺仪偏置。
在IMU预积分残差计算过程中,充分考虑时变时间偏移对定位系统整体影响,提高IMU预积分准确性。
S3:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差。
所述步骤S3具体包括如下步骤:
S31:根据IMU测量得到的角速度和加速度信息进行积分,求取两点云帧之间的位姿相对变化量,计算过程表示为:
式中,为两点云帧时刻间的平移相对变量;/>表示两点云帧时刻间的速度相对变量;/>为两点云帧时刻间的旋转相对变化量;tk、tk+1分别表示第k、k+1个时间戳;bk表示tk时刻的IMU坐标系,t表示[tk,tk+1]中的任一时刻;/>表示/>nw表示陀螺仪噪声,/>表示角速度测量值,/>表示加速度测量值,/>表示当前t时刻相对tk时刻在IMU坐标系下的旋转变化量,/>为两点云帧位姿相对变化量;
S32:基于匀速运动模型,根据时间戳ti∈[tk,tk+1]和位姿相对变化量对当前帧中每一个点云坐标Pk进行线性插值,得到去畸变后的点云坐标/>公式为:
S33:将当前帧点云平均分为若干个子集,随后对每个子集中每一个点Pi左右各选取5个点组成点集S,通过下式计算曲率:
计算曲率后,比较该点曲率与预设的曲率阈值,若大于该阈值,则判定该点为线点,反之,该点为平面点;
S34:将已经判定好类别的特征点分别投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,基于线点、平面点的距离运算关系构建LiDAR残差,运算过程表示为:
式中,rl e、rl s分别表示线点和平面点构建的LiDAR残差;m为由点云构建的特征线方向向量;分别为当前帧和上一帧的点云;ei为搜索得到特征线上的点;/>分别为/>到/>的旋转和平移转换;n为特征面法向量,D为特征面一般方程中的常数项。
通过IMU测量对LiDAR点云去畸变,并且为LiDAR提供位姿初值,提高了LiDAR的鲁棒性。
S4:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
联合优化通过最小化所述IMU预积分残差和LiDAR残差的先验和马氏范数之和以获得最大后验估计,以消除其对定位结果造成的额外误差,可将时变时间偏移迭代到最小值,提高LiDAR和IMU融合定位精度和鲁棒性。联合优化的过程表示为:
式中,和/>分别为LiDAR残差和IMU预积分残差;/>表示rl e、rl s之和。
本申请还提供一种基于补偿优化的自动驾驶多传感器时间同步系统,包括:
时间戳粗对齐模块:采用GNSS为IMU和LiDAR统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐;
IMU预积分残差计算模块:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;
LiDAR残差计算模块:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差;
联合优化模块:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (7)
1.一种基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,包括如下步骤:
S1:采用GNSS为IMU和LiDAR统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐;
S2:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;
S3:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差;
S4:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
2.根据权利要求1所述的基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,所述步骤S1中“对IMU和LiDAR时间戳进行线性插值”的过程为:IMU初始时间戳为对应的LiDAR前后时间戳分别为/> 时刻LiDAR对应数据为/>通过线性插值获取IMU对应时刻/>的LiDAR数据/>实现IMU和LiDAR时间戳粗同步,插值公式为:
3.根据权利要求1所述的基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,系统的状态量表示为:
式中,X(t)为t时刻的系统状态量;Xb(t)为t时刻的IMU状态量,包括相对于世界坐标系的平移速度/>和旋转/>以及加速度计零偏ba和陀螺仪零偏bg;Xbl为LiDAR坐标系与IMU坐标系的外部参数,包括相对平移pbl和相对旋转qbl;/>为IMU的时变时间偏移和LiDAR的时变时间偏移的差值;T为矩阵转置操作;
所述IMU测量模型表示为:
式中,分别表示t时刻加速度和角速度的测量值;/>分别表示t时刻加速度和角速度的真实值;/>为世界坐标系到IMU坐标系的旋转;gw为世界坐标系下的重力加速度,/>和/>分别为加速度计和陀螺仪的零偏;/>分别为加速度计和陀螺仪的高斯白噪声。
4.根据权利要求3所述的基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,i′l和i′b分别为LiDAR和IMU的数据采集时刻,il、jl为相邻两次LiDAR的数据发送时刻,ib、jb分别为相邻两次IMU的数据发送时刻,ib时刻到jl时刻,则从ib时刻到jl时刻,系统的平移、速度和旋转更新的过程为:
式中,分别表示jl时刻系统的平移、速度和旋转;/> 分别表示ib时刻系统的平移、速度和旋转;Δt表示相邻两个LiDAR数据发送时刻il和jl的时间间隔,Δt=jl-il;/>表示当前时刻相对于ib时刻的旋转;
in时刻到jl时刻,仅与IMU的测量值相关的平移、速度和旋转预积分量表示为:
式中,分别表示与IMU的测量值相关的平移、速度和旋转预积分量;
将预积分量作为测量值对ib到jl时刻间状态量进行约束以构建包含时变时间偏移时间差/>的IMU预积分残差,表示为:
式中表示IMU预积分残差,/>表示噪声测量值或估计值:/> 和/>分别为IMU平移残差、速度残差、旋转残差、加速度计和陀螺仪零偏残差;
式中,表示世界坐标系到ib时刻的IMU坐标系下的旋转;/>表示il时刻系统的平移、速度和旋转;/>表示世界坐标系到il时刻的IMU坐标系下的旋转;/>表示il时刻系统的旋转;[·]xyz为取四元数虚部的运算;/>表示jl时刻的加速度计偏置;/>表示ib时刻的加速度计偏置;/>表示jl时刻的陀螺仪偏置;/>表示ib时刻的陀螺仪偏置。
5.根据权利要求4所述的基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,所述步骤S3具体包括如下步骤:
S31:根据IMU测量得到的角速度和加速度信息进行积分,求取两点云帧之间的位姿相对变化量,计算过程表示为:
式中,为两点云帧时刻间的平移相对变量;/>表示两点云帧时刻间的速度相对变量;/>为两点云帧时刻间的旋转相对变化量;tk、tk+1分别表示第k、k+1个时间戳;bk表示tk时刻的IMU坐标系,t表示[tk,tk+1]中的任一时刻;/>表示nw表示陀螺仪噪声,/>表示角速度测量值,/>表示加速度测量值,表示当前t时刻相对tk时刻在IMU坐标系下的旋转变化量,/>为两点云帧位姿相对变化量;
S32:根据时间戳ti∈[tk,tk+1]和位姿相对变化量对当前帧中每一个点云坐标Pk进行线性插值,得到去畸变后的点云坐标/>公式为:
S33:将当前帧点云平均分为若干个子集,随后对每个子集中每一个点Pi左右各选取5个点组成点集S,通过下式计算曲率:
计算曲率后,比较该点曲率与预设的曲率阈值,若大于该阈值,则判定该点为线点,反之,该点为平面点;
S34:将已经判定好类别的特征点分别投影到上一帧,线点找到最近的两个点,平面点找到最近且不共线的三个点,基于线点、平面点的距离运算关系构建LiDAR残差,运算过程表示为:
式中,分别表示线点和平面点构建的LiDAR残差;m为由点云构建的特征线方向向量;/>分别为当前帧和上一帧的特征点;ei为搜索得到特征线上的点;/>分别为/>到/>的旋转和平移转换;n为特征面法向量,D为特征面一般方程中的常数项。
6.根据权利要求5所述的基于补偿优化的自动驾驶多传感器时间同步方法,其特征在于,所述步骤S4具体包括如下步骤:
联合优化通过最小化所述IMU预积分残差和LiDAR残差的先验和马氏范数之和以获得最大后验估计,联合优化的过程表示为:
式中,和/>分别为LiDAR残差和IMU预积分残差;/>表示之和。
7.一种基于补偿优化的自动驾驶多传感器时间同步系统,其特征在于,包括:
时间戳粗对齐模块:采用GNSS为IMU和LiDAR统一授时,并对LiDAR和IMU的时间戳进行线性插值,使LiDAR和IMU的时间戳粗对齐;
IMU预积分残差计算模块:构建IMU的时变时间偏移和LiDAR的时变时间偏移的差值,将该差值添加为系统状态量,通过IMU预积分对该差值进行补偿,构建包含时变时间偏移差值的IMU预积分残差;
LiDAR残差计算模块:计算LiDAR数据中点云的曲率,根据曲率从点云中提取符合线特征和面特征的特征点,将当前帧的特征点投影到上一帧,找到线点对应的最近线,平面点对应的最近平面,构建点-线残差和点面残差,所述点-线残差和点-面残差共同组成LiDAR残差;
联合优化模块:基于紧耦合原理,使用Ceres优化求解器对所述IMU预积分残差和LiDAR残差进行联合优化,得到最小化的时间偏移和时间精确同步后的车辆定位结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310470503.4A CN116760500A (zh) | 2023-04-27 | 2023-04-27 | 基于补偿优化的自动驾驶多传感器时间同步方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310470503.4A CN116760500A (zh) | 2023-04-27 | 2023-04-27 | 基于补偿优化的自动驾驶多传感器时间同步方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116760500A true CN116760500A (zh) | 2023-09-15 |
Family
ID=87953992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310470503.4A Pending CN116760500A (zh) | 2023-04-27 | 2023-04-27 | 基于补偿优化的自动驾驶多传感器时间同步方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116760500A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118031983A (zh) * | 2024-04-11 | 2024-05-14 | 江苏集萃清联智控科技有限公司 | 自动驾驶融合定位方法及系统 |
-
2023
- 2023-04-27 CN CN202310470503.4A patent/CN116760500A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118031983A (zh) * | 2024-04-11 | 2024-05-14 | 江苏集萃清联智控科技有限公司 | 自动驾驶融合定位方法及系统 |
CN118031983B (zh) * | 2024-04-11 | 2024-06-25 | 江苏集萃清联智控科技有限公司 | 自动驾驶融合定位方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10267924B2 (en) | Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry | |
CN108535755B (zh) | 基于mems的gnss/imu车载实时组合导航方法 | |
US10371530B2 (en) | Systems and methods for using a global positioning system velocity in visual-inertial odometry | |
US8224574B2 (en) | System for multiple navigation components | |
US7979231B2 (en) | Method and system for estimation of inertial sensor errors in remote inertial measurement unit | |
CN113311411B (zh) | 一种用于移动机器人的激光雷达点云运动畸变校正方法 | |
US11181379B2 (en) | System and method for enhancing non-inertial tracking system with inertial constraints | |
CN101949710B (zh) | Gnss辅助mems惯性传感器零偏的快速在线动态标定方法 | |
CN112781586B (zh) | 一种位姿数据的确定方法、装置、电子设备及车辆 | |
US8880001B1 (en) | Collaborative positioning, navigation and timing | |
CN113783652B (zh) | 一种组合导航系统的数据同步方法和装置 | |
CN114179825B (zh) | 多传感器融合获取量测值置信度方法及自动驾驶车辆 | |
CN104359496B (zh) | 基于垂线偏差补偿的高精度姿态修正方法 | |
CN113432604B (zh) | 一种能够灵敏检测故障的imu/gps组合导航方法 | |
KR100558367B1 (ko) | Gps및 ins를 이용한 수치지도 제작 시스템 및 방법 | |
CN110044377B (zh) | 一种基于Vicon的IMU离线标定方法 | |
CN116760500A (zh) | 基于补偿优化的自动驾驶多传感器时间同步方法及系统 | |
JP4818260B2 (ja) | インターフェロメトリック・センシングシステム | |
CN115435779A (zh) | 一种基于gnss/imu/光流信息融合的智能体位姿估计方法 | |
CN116576849A (zh) | 一种基于gmm辅助的车辆融合定位方法及系统 | |
CN111189473A (zh) | 一种基于磁传感器和加表的航姿系统陀螺误差补偿方法 | |
CN117346768B (zh) | 同时适用于室内外的多传感器融合感知定位方法 | |
CN114370870B (zh) | 适用于位姿测量卡尔曼滤波的滤波器更新信息筛选方法 | |
CN115793001B (zh) | 一种基于惯导复用的视觉、惯导、卫导融合定位方法 | |
CN117128954A (zh) | 一种面向复杂环境的航行器组合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |