CN112598757A - 一种多传感器时间空间标定方法及装置 - Google Patents

一种多传感器时间空间标定方法及装置 Download PDF

Info

Publication number
CN112598757A
CN112598757A CN202110236278.9A CN202110236278A CN112598757A CN 112598757 A CN112598757 A CN 112598757A CN 202110236278 A CN202110236278 A CN 202110236278A CN 112598757 A CN112598757 A CN 112598757A
Authority
CN
China
Prior art keywords
pose
frames
point
imu
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110236278.9A
Other languages
English (en)
Other versions
CN112598757B (zh
Inventor
李月华
何伟
朱世强
李小倩
谢天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110236278.9A priority Critical patent/CN112598757B/zh
Publication of CN112598757A publication Critical patent/CN112598757A/zh
Application granted granted Critical
Publication of CN112598757B publication Critical patent/CN112598757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种多传感器时间空间标定方法及装置，包括：通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；对所述图像数据进行语义分割及特征点提取，进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；对所述点云数据进行修正，并引入IMU传感器与激光雷达之间的第二时间偏差，对修正后的点云进行配准，计算出两帧点云之间的相对位姿；获取两帧图像间的IMU数据和点云间的IMU数据，通过预积分计算相对位姿和位姿偏差；设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿、所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。

Description

一种多传感器时间空间标定方法及装置
技术领域
本发明涉及多传感器标定技术领域，特别涉及一种多传感器时间空间标定方法及装置。
背景技术
目前传感器标定大多采用离线标定的方法，即在探测系统工作前已完成标定工作，在系统工作时完全使用离线标定的结果进行工作。而探测系统要长期工作在远离地球的地外环境中，工作条件恶劣，其携带的传感器可能会由于风沙或者长期颠簸造成位置改变，此时，离线标定的时间空间偏差与系统实际情况有较大误差，大大影响了探测系统对环境的准确性。虽然部分探测系统会携带标定板来校正这些位置的变化，但是这种系统只能用于视觉传感器的空间位置校准，无法用于其他传感器，此外标定板在长期的恶劣环境中可能会被沙尘覆盖导致校准精度不够或者校正失败。
发明内容
本发明实施例的目的是提供一种多传感器时间空间标定方法及装置，以解决现有存在的相机、激光雷达和IMU传感器之间在长时间地外环境运行过程中出现的时间空间偏差问题。
根据本发明实施例的第一方面，提供一种多传感器时间空间标定方法，包括：
通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。
根据本发明实施例的第二方面，提供一种多传感器时间空间标定装置，包括：
获取模块，用于通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
图像数据处理模块，用于对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
点云数据处理模块，用于引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
IMU数据处理模块，用于获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
迭代优化模块，用于设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。
根据以上技术方案，本发明具有如下技术效果：
由上述实施例可知，本申请提出的多传感器时间空间标定方法可提升探测系统的鲁棒性。一方面，探测系统易受到未知环境中风暴、颠簸等环境因素的影响，本申请提出的多传感器时间空间标定方法可及时修正各传感器间发生的相对位置变化，校准时间偏差，从而提高多传感器数据融合的准确性，提升探测系统的定位精度。另一方面，由于探测系统在实际工作时难以进行人为的传感器校准和标定，因此难以进行长期稳定工作，本申请提出的多传感器时间空间标定方法可一定程度上提升探测系统的有效工作时间，从而提高探测系统的鲁棒性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据一示例性实施例示出的一种多传感器时间空间标定方法的流程图。
图2是根据一示例性实施例示出的图像数据处理的流程图。
图3是根据一示例性实施例示出的点云数据处理的流程图。
图4是根据一示例性实施例示出的IMU数据处理的流程图。
图5是根据一示例性实施例示出的一种多传感器时间空间标定装置的结构示意图。
图6是根据一示例性实施例示出的图像数据处理模块的结构示意图。
图7是根据一示例性实施例示出的点云数据处理模块的结构示意图。
图8是根据一示例性实施例示出的IMU数据处理模块的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1是根据一示例性实施例出的一种多传感器时间空间标定方法的流程图，如图1所示，该方法应用于探测系统，可以包括以下步骤：
步骤S101，测量计算IMU传感器、相机和激光雷达三者之间的空间位置关系，将所述空间位置关系定义为探测系统的空间同步初始值，并定义探测系统的时间同步初始值为0，将所述空间同步初始值和所述时间同步初始值作为迭代优化求解的初始设置；
本实施例中，所述探测系统可以是各种移动机器人，也可以是轮式、履带式移动小车，包括各式移动底盘，但不限于此，本实施例以探测系统为装载有IMU传感器、相机和激光雷达的移动机构为例，各传感器的安装位置不限。
在探测系统长时间工作过程中，由于环境、机构等各种因素影响，各传感器的相对 位置不可避免地会发生变化，如果忽视位置的改变，可能会导致环境感知的精度，甚至发生 某些意想不到的危险，因此，需要对探测系统各传感器的相对位置进行实时在线修正。为了 提高在线修正的精度，需要赋予多传感器时间空间标定系统一个较高精度的初始值，因而 选择高精度的测量设备测量IMU传感器和相机的相对位置关系，并将其定义为IMU传感器和 相机空间同步的初始值，记为
Figure 87231DEST_PATH_IMAGE001
；利用高精度的测量设备测量相机和激光雷达的相对位置 关系，并将其定义为相机和激光雷达空间同步的初始值，记为
Figure 269951DEST_PATH_IMAGE002
。
由于探测系统不可避免地存在触发延时、传输延时和时钟不同步等问题，各传感 器间必然存在时间偏移，为了提高多传感器数据融合的有效性，必须保证各传感器间的时 间一致性，因此需要对探测系统的各传感器进行时间同步。但是，随着探测系统的运行，状 态变量规模不断增大，因此设置滑动窗口对相关变量进行优化，以减少计算量。定义IMU传 感器、相机和激光雷达的时间戳分别为
Figure 518529DEST_PATH_IMAGE003
、
Figure 382580DEST_PATH_IMAGE004
和
Figure 665794DEST_PATH_IMAGE005
，定义IMU传感器和相机间的时间偏差 为
Figure 707830DEST_PATH_IMAGE006
，定义相机和激光雷达间的时间偏差为
Figure 178126DEST_PATH_IMAGE007
。设定时间偏差
Figure 845868DEST_PATH_IMAGE006
、
Figure 780326DEST_PATH_IMAGE007
在每个滑动窗口 内不变，即
Figure 695061DEST_PATH_IMAGE008
、
Figure 918232DEST_PATH_IMAGE009
，该设定是时间同步的前置条件。
步骤S102，通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
本实施例中，所述IMU传感器、相机和激光雷达均与探测系统刚性联结，各传感器的安装位置均没有要求，可有效采集工作空间数据即可。所述工作空间一般指月球、火星等地外无人环境，也包括城市、荒漠等地球上的户外环境，亦包括各类室内场景，本实施例以地外环境为例，因其相对于其他场景，探测系统工作中的多传感器时间空间标定更难通过人为的方式进行。
步骤S103，对所述图像数据进行语义分割及特征点提取，根据语义分割结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；图2是根据一示例性实施例示出的图像数据处理的流程图，该步骤包括以下子步骤：
步骤S1031，对所述图像数据进行语义分割，并提取图像中的特征点，计算所述特 征点在图像坐标系的运动速度，以获取所述特征点位置的真实值；具体地，首先使用语义分 割算法DeepLab V3+对图像进行语义分割，并使用SIFT算法提取图像的特征点。假设
Figure 920823DEST_PATH_IMAGE010
和
Figure 913050DEST_PATH_IMAGE011
分别表示探测系统在
Figure 811736DEST_PATH_IMAGE012
和
Figure 7356DEST_PATH_IMAGE013
时刻采集的连续两帧图像，
Figure 16900DEST_PATH_IMAGE012
和
Figure 129213DEST_PATH_IMAGE013
时刻的时间间隔 较短，因此可假设相机的运动速度是恒定的，即相机在
Figure 933221DEST_PATH_IMAGE012
时刻到
Figure 380251DEST_PATH_IMAGE013
时刻的过程中做匀速 运动。则可近似假设图像中的特征点
Figure 927907DEST_PATH_IMAGE014
也在图像坐标系中进行匀速运动，其运动速度
Figure 894726DEST_PATH_IMAGE015
可 通过特征点在图像中的坐标进行计算：
Figure 135215DEST_PATH_IMAGE016
式中，
Figure 305427DEST_PATH_IMAGE017
和
Figure 656774DEST_PATH_IMAGE018
分别表示特征点在图像
Figure 478100DEST_PATH_IMAGE010
和
Figure 889489DEST_PATH_IMAGE011
中的坐标，
Figure 45533DEST_PATH_IMAGE012
和
Figure 138254DEST_PATH_IMAGE013
分别表示图像
Figure 79665DEST_PATH_IMAGE010
和
Figure 412689DEST_PATH_IMAGE011
的采集时间。
步骤S1032，对两帧所述图像中具有相同语义分割结果的特征点进行匹配，根据所 述匹配的结果定义所述特征点的观测值，根据所述真实值和观测值构建重投影误差方程； 具体地，根据图像
Figure 806761DEST_PATH_IMAGE010
和
Figure 499910DEST_PATH_IMAGE011
的语义分割结果，结合环境的几何信息和语义信息对具有相同 语义分割结果的特征点进行特征匹配，以解决非结构环境中仅依靠几何信息，容易产生误 匹配的问题。对于特征点
Figure 295828DEST_PATH_IMAGE014
，其在图像
Figure 32709DEST_PATH_IMAGE010
和
Figure 914077DEST_PATH_IMAGE011
中的观测值分别为
Figure 410918DEST_PATH_IMAGE019
和
Figure 61342DEST_PATH_IMAGE020
，将图像
Figure 470589DEST_PATH_IMAGE010
中 特征点
Figure 839253DEST_PATH_IMAGE014
的观测值根据相机的运动模型，计算其在图像
Figure 874205DEST_PATH_IMAGE011
中的坐标，并将计算结果作为特 征点
Figure 644715DEST_PATH_IMAGE014
在图像
Figure 270868DEST_PATH_IMAGE011
中的真实值，定义重投影误差为特征点
Figure 376097DEST_PATH_IMAGE014
在图像
Figure 214740DEST_PATH_IMAGE011
中真实值与观测值的 误差，则重投影误差
Figure 574177DEST_PATH_IMAGE021
可表示为：
Figure 840073DEST_PATH_IMAGE022
式中，
Figure 668483DEST_PATH_IMAGE020
和
Figure 310817DEST_PATH_IMAGE019
分别表示特征点
Figure 790340DEST_PATH_IMAGE014
在图像
Figure 227137DEST_PATH_IMAGE010
和
Figure 41378DEST_PATH_IMAGE011
中的观测值，
Figure 221824DEST_PATH_IMAGE023
表示将特征 点
Figure 290274DEST_PATH_IMAGE014
从图像
Figure 897973DEST_PATH_IMAGE010
中投影到图像
Figure 689256DEST_PATH_IMAGE011
，
Figure 407814DEST_PATH_IMAGE024
、
Figure 861929DEST_PATH_IMAGE025
分别是相机在k和k+1 时刻采集数据的位姿，
Figure 640529DEST_PATH_IMAGE026
表示特征点
Figure 429362DEST_PATH_IMAGE014
在图像
Figure 951610DEST_PATH_IMAGE010
中的深度值。
步骤S1033，将所述IMU传感器与相机之间的第一时间偏差引入重投影误差方程， 并将其作为相机的约束条件；具体地，在探测系统中一般将IMU的时间戳作为系统的时间 戳，即上述k和k+1两个采样时间与真实的采集时间均相差
Figure 260232DEST_PATH_IMAGE006
，则
Figure 209733DEST_PATH_IMAGE019
和
Figure 721748DEST_PATH_IMAGE020
可表示为：
Figure 47688DEST_PATH_IMAGE027
Figure 210816DEST_PATH_IMAGE028
将其引入重投影误差函数：
Figure 331218DEST_PATH_IMAGE029
将其进行简写，可得到相机的约束条件为：
Figure 94644DEST_PATH_IMAGE030
式中，
Figure 958695DEST_PATH_IMAGE031
是优化函数的状态变量，P是特征点在世界坐标系下的坐标，即上述
Figure 976329DEST_PATH_IMAGE023
中括弧中的内容。
步骤S104，引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；图3是根据一示例性实施例示出的点云数据处理的流程图，该步骤包括以下子步骤：
步骤S1041，首先计算所述两帧点云的运动速度，并引入所述IMU传感器与激光雷达之间的第二时间偏差，根据所述运动速度和所述第二时间偏差，计算所述两帧点云的真实位姿，修正所述两帧点云的真实位姿，根据每帧点云的真实位姿获取所述每帧点云中每个点的真实坐标；
步骤S1042，根据所述真实坐标分别计算所述每帧点云中每两个连续点的连线与 水平面的夹角，并设定夹角阈值，根据所述夹角阈值和所述夹角，将所述每帧点云中的点分 为地面点和非地面点；具体地，激光雷达扫描得到的点云数据中含有大部分的地面点，这对 于后续障碍物点云的分类、识别和跟踪任务不利，因此需要将点云数据中的地面点进行滤 波。首先，设定地面点集的夹角判定阈值
Figure 533213DEST_PATH_IMAGE032
，对于点云中的每个点，计算两个连续点与水 平面之间的角度
Figure 285399DEST_PATH_IMAGE033
，并比较
Figure 953141DEST_PATH_IMAGE033
与
Figure 28544DEST_PATH_IMAGE032
的大小，如果
Figure 553066DEST_PATH_IMAGE034
，则将该点加入待定点集中， 并进行下一个点的判断。夹角计算的终止条件为：如果
Figure 228767DEST_PATH_IMAGE035
，或者点云数据中不存在 未参与计算的点，则对待定点集的总数
Figure 434621DEST_PATH_IMAGE036
进行判定，如果
Figure 692427DEST_PATH_IMAGE037
，则待定点集中的所有 点被判定为地面点，其他点判定为非地面点，并生成非地面点集，待后续进一步处理。
步骤S1043，对每个所述非地面点进行主成分分析，将其分类为面点和其他点；具体地，为了降低点云匹配的误差，提高点云配准的准确性，对非地面点集进行进一步处理。根据每个非地面点及其邻近的N个最近点构建点云数据集，保证点云数据集中所有的点不在同一个环形上，并利用主成分分析算法思想，计算其均值和协方差矩阵，从而判断每个点的属性。点云中的每个点都是三维点，对于一个三维点组成的数据集，可以表示为：
Figure 76266DEST_PATH_IMAGE038
其均值可表示为：
Figure 521154DEST_PATH_IMAGE039
由此可得到该点与其附近点形成的点集的协方差矩阵：
Figure 530698DEST_PATH_IMAGE040
根据点集的协方差矩阵，进行SVD奇异值分解：
Figure 908590DEST_PATH_IMAGE041
其中，
Figure 961865DEST_PATH_IMAGE042
、
Figure 159628DEST_PATH_IMAGE043
、
Figure 707284DEST_PATH_IMAGE044
为
Figure 674103DEST_PATH_IMAGE045
的特征值，且
Figure 399745DEST_PATH_IMAGE046
，若点集的协方差矩阵在奇异 值分解后特征值的关系为
Figure 84804DEST_PATH_IMAGE047
、
Figure 436151DEST_PATH_IMAGE048
、
Figure 710006DEST_PATH_IMAGE049
，则将对应的点归 类为面点，剩余点为其他点。
步骤S1044，对所述地面点、所述面点和所述其他点分别进行点云配准，计算所述 两帧点云的位姿变换，将其作为激光雷达的约束条件；具体地，点云配准即找到使两点云尽 可能重叠的位姿变换
Figure 121396DEST_PATH_IMAGE050
，使点云匹配后对应点之间的距离最小。针对不同属性的点云分别 进行ICP配准，ICP的目标函数如下：
Figure 28172DEST_PATH_IMAGE051
Figure 714369DEST_PATH_IMAGE052
Figure 609775DEST_PATH_IMAGE053
式中，
Figure 926486DEST_PATH_IMAGE054
和
Figure 586138DEST_PATH_IMAGE055
表示前一帧 和当前帧两个点云集，T表示前一帧到当前帧的位姿变换矩阵。
Figure 279287DEST_PATH_IMAGE056
为两个点云 间的对应点集，若
Figure 58893DEST_PATH_IMAGE057
，则点云
Figure 812086DEST_PATH_IMAGE058
中的点
Figure 693454DEST_PATH_IMAGE059
与点云
Figure 924715DEST_PATH_IMAGE060
中的点
Figure 591451DEST_PATH_IMAGE061
为匹配的点。
Figure 515545DEST_PATH_IMAGE062
和
Figure 884209DEST_PATH_IMAGE063
分别为点
Figure 919161DEST_PATH_IMAGE059
和
Figure 673360DEST_PATH_IMAGE061
的法向量，
Figure 502775DEST_PATH_IMAGE064
为两点之 间对应的信息矩阵，
Figure 624315DEST_PATH_IMAGE065
为两个法向量之间对应的信息矩阵。
Figure 197379DEST_PATH_IMAGE066
和
Figure 307548DEST_PATH_IMAGE067
分别为点
Figure 573445DEST_PATH_IMAGE059
和
Figure 651122DEST_PATH_IMAGE061
的切向量，
Figure 293456DEST_PATH_IMAGE068
为两个法向量之间对应的信息矩阵。
Figure 22247DEST_PATH_IMAGE069
代表如下计算：
Figure 459044DEST_PATH_IMAGE070
对于地面点云和面属性点云，可忽略切向上的位移，而仅关注其在法向上的误差， 因此可设置
Figure 24018DEST_PATH_IMAGE071
。对于其他点云，目标函数与传统ICP方法一致，使用对应点之间的欧 氏距离进行计算，将法向和切向的信息矩阵设置为零矩阵，即
Figure 938884DEST_PATH_IMAGE072
。通过上述方 式，获得当前帧相对于前一帧的相对位姿关系，从而计算两帧点云之间的位置和方向关系。 在多传感器时间空间标定中，该步骤需要求解点集中所有点的目标函数最小值，即：
Figure 300944DEST_PATH_IMAGE073
按照相机约束的书写方式将其进行简写，可得激光雷达的约束条件：
Figure 908643DEST_PATH_IMAGE074
式中，
Figure 960912DEST_PATH_IMAGE075
表示ICP计算中的误差项
Figure 679470DEST_PATH_IMAGE050
，
Figure 382852DEST_PATH_IMAGE031
是优化函数的状态变量。
步骤S105，获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；图4是根据一示例性实施例示出的IMU数据处理的流程图，该步骤可以包括以下子步骤：
步骤S1051，分析所述图像数据和所述IMU数据，获取两帧图像间所有的IMU数据， 通过预积分计算所述两帧图像间的第一位姿；具体地， 通过系统初始状态和惯性测量数据 可以传递系统下一时刻的状态估计，但是在非线性优化中，系统状态在每次迭代过程中都 会发生变化，需要重复积分，为了解决这一问题，使用预积分的方法处理IMU数据。IMU传感 器以固定频率输出在IMU坐标系下的三轴角速度
Figure 161452DEST_PATH_IMAGE076
和三轴加速度
Figure 701018DEST_PATH_IMAGE077
。一般认为IMU的噪声主 要有零均值白噪声
Figure 223266DEST_PATH_IMAGE078
、
Figure 282620DEST_PATH_IMAGE079
和随着时间推移缓慢变化的偏置
Figure 232122DEST_PATH_IMAGE080
、
Figure 993404DEST_PATH_IMAGE081
组成：
Figure 319344DEST_PATH_IMAGE082
式中，
Figure 731739DEST_PATH_IMAGE083
、
Figure 648880DEST_PATH_IMAGE084
是IMU传感器输出的三轴角速度和三轴加速度，
Figure 366300DEST_PATH_IMAGE085
和
Figure 27088DEST_PATH_IMAGE086
是探测系统 角速度和加速度的真值，g是工作空间的重力加速度，q是世界坐标系到IMU传感器的旋转矩 阵四元数。如图4所示，分别分析图像数据和点云数据对应的IMU数据，并计算第一位姿和第 二位姿，将位姿偏作为IMU约束。
分析图像数据和IMU数据，假定图像采集时刻为k和k+1，已知k时刻IMU传感器的状 态量和两时刻间的IMU数据，则可通过预积分计算k+1时刻的状态量，即探测系统的第一位 姿
Figure 44723DEST_PATH_IMAGE087
：
Figure 352339DEST_PATH_IMAGE088
Figure 291476DEST_PATH_IMAGE089
Figure 490376DEST_PATH_IMAGE090
式中，IMU传感器在j时刻的位姿
Figure 628096DEST_PATH_IMAGE091
可表示为
Figure 605148DEST_PATH_IMAGE092
，
Figure 562740DEST_PATH_IMAGE093
表示IMU传感器 在j时刻的旋转，
Figure 34173DEST_PATH_IMAGE094
表示IMU传感器在j时刻的速度，
Figure 26400DEST_PATH_IMAGE095
表示IMU传感器在j时刻的位置，i 和j对应IMU传感器采样的初始位置和终止位置。
步骤S1052，分析所述点云数据和所述图像数据，标记与所述两帧图像采集时刻相 同的两帧点云，获取所述两帧点云间所有的IMU数据，通过预积分计算两帧点云间的第二位 姿；具体地，分析点云数据和图像数据，找到图像采集时刻k和k+1对应的点云数据，再根据 找出的点云数据找出对应时刻的IMU数据，通过预积分计算此时k+1时刻的状态量，即第二 位姿
Figure 410239DEST_PATH_IMAGE096
：
Figure 120706DEST_PATH_IMAGE097
Figure 130250DEST_PATH_IMAGE098
Figure 976983DEST_PATH_IMAGE099
式中，IMU传感器在n时刻的位姿
Figure 295838DEST_PATH_IMAGE100
可表示为
Figure 228022DEST_PATH_IMAGE101
，
Figure 41257DEST_PATH_IMAGE102
表示IMU传感 器在n时刻的旋转，
Figure 8076DEST_PATH_IMAGE103
表示IMU传感器在n时刻的速度，
Figure 733718DEST_PATH_IMAGE104
表示IMU传感器在n时刻的位置， m和n对应IMU传感器采样的初始位置和终止位置。
步骤S1053，将所述第一位姿和所述第二位姿之间的位姿偏差作为 IMU的约束条 件；具体地，理论上，如果不存在时间偏差，图像数据和点云数据对应的IMU数据应该完全一 致，即第一位姿与第二位姿相等，
Figure 418777DEST_PATH_IMAGE105
，但是在实际系统中
Figure 770124DEST_PATH_IMAGE087
和
Figure 591449DEST_PATH_IMAGE106
必然不相等，求解
Figure 720948DEST_PATH_IMAGE087
和
Figure 627724DEST_PATH_IMAGE106
的差值：
Figure 782762DEST_PATH_IMAGE107
按照相机约束的书写方式将其进行简写，可得IMU传感器的约束条件：
Figure 458594DEST_PATH_IMAGE108
式中，
Figure 791618DEST_PATH_IMAGE109
表示k和k+1时刻之间的位姿差值，
Figure 185690DEST_PATH_IMAGE031
是优化函数的状态变量。
步骤S106，设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿、所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定；具体地，在迭代优化过程中，如果使用所有数据进行迭代优化，不仅会增加系统的计算量，甚至引入较大的误差，导致多传感器时间空间标定失败。因此，需要设置一个时间窗口，即滑动窗口，仅处理该段时间内的数据，将该段时间内需要进行优化的状态定义为：
Figure 878839DEST_PATH_IMAGE110
Figure 674757DEST_PATH_IMAGE111
式中，
Figure 677217DEST_PATH_IMAGE112
表示IMU传感器的状态，用
Figure 293006DEST_PATH_IMAGE113
分别表示IMU传感器的旋 转、速度、位置和偏置；
Figure 789847DEST_PATH_IMAGE114
表示视觉特征点在世界坐标系中的位置；
Figure 440271DEST_PATH_IMAGE115
分别表示IMU传感 器与相机和激光雷达的相对位置关系。
联立上述相机约束、激光雷达约束和IMU传感器约束，并引入空间同步初始值和时间同步初始值，构建代价函数：
Figure 115097DEST_PATH_IMAGE116
式中，
Figure 483761DEST_PATH_IMAGE117
是根据空间同步初始值和时间同步初始值构建的先验约束，
Figure 518713DEST_PATH_IMAGE118
是相机约束，
Figure 820382DEST_PATH_IMAGE119
是 激光雷达约束，
Figure 367907DEST_PATH_IMAGE120
是IMU传感器约束。最后利用高斯-牛顿法来优化 非线性最小二乘代价函数，即可得到IMU传感器、相机和激光雷达三者间的空间位置关系和 时间偏差，实现多传感器时间空间标定。
与前述的一种多传感器时间空间标定方法的实施例相对应，本申请还提供了一种多传感器时间空间标定装置的实施例。图5是根据一示例性实施例示出的一种多传感器时间空间标定装置框图。参照图5，该装置可以包括：
初始化模块21，用于测量计算所述IMU传感器、相机和激光雷达三者之间的空间位置关系，将所述空间位置关系定义为探测系统的空间同步初始值，并定义整个系统的时间同步初始值为0，将所述空间同步初始值和所述时间同步初始值作为所述迭代优化求解的初始设置；
获取模块22，用于通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
图像数据处理模块23，用于对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
点云数据处理模块24，用于引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
IMU数据处理模块25，用于获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
迭代优化模块26，用于设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。
图6是根据一示例性实施例示出的图像数据处理模块的结构示意图，上述图像数据处理模块23，包括：
特征提取子模块231，用于对所述图像数据进行语义分割，并提取图像中的特征点，计算所述特征点在图像坐标系的运动速度，以获取所述特征点位置的真实值；
特征匹配子模块232，用于对两帧所述图像中具有相同语义分割结果的特征点进行匹配，根据所述匹配的结果定义所述特征点的观测值，根据所述真实值和观测值构建重投影误差方程；
重投影子模块233，用于将所述IMU传感器与相机之间的第一时间偏差引入重投影误差方程，并将其作为相机的约束条件。
图7是根据一示例性实施例示出的点云数据处理模块的结构示意图，上述点云数据处理模块24，包括：
位姿修正子模块241，用于计算所述两帧点云的运动速度，并引入所述IMU传感器与激光雷达之间的第二时间偏差，根据所述运动速度和所述第二时间偏差，计算所述两帧点云的真实位姿，修正所述两帧点云的真实位姿；
坐标获取子模块242，用于根据每帧点云的真实位姿获取所述每帧点云中每个点的真实坐标；
夹角计算子模块243，用于根据所述真实坐标分别计算所述每帧点云中每两个连续点的连线与水平面的夹角；
地面滤波子模块244，用于设定夹角阈值，根据所述夹角阈值和所述夹角，将所述每帧点云中的点分为地面点和非地面点；
面点评定子模块245，用于对每个所述非地面点进行主成分分析，将其分类为面点和其他点；
位姿计算子模块246，用于对所述地面点、所述面点和所述其他点分别进行点云配准，计算所述两帧点云的相对位姿，将其作为激光雷达的约束条件。
图8是根据一示例性实施例示出的IMU数据处理模块的结构示意图，上述IMU数据处理模块25，具体包括：
第一位姿计算子模块251，用于分析所述图像数据和所述IMU数据，获取两帧图像间所有的IMU数据，通过预积分计算所述两帧图像间的第一位姿；
第二位姿计算子模块252，用于分析所述点云数据和所述图像数据，标记与所述两帧图像采集时刻相同的两帧点云，获取所述两帧点云间所有的IMU数据，通过预积分计算两帧点云间的第二位姿；
位姿偏差计算子模块253，用于将所述第一位姿和所述第二位姿之间的位姿偏差作为 IMU的约束条件。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种多传感器时间空间标定方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的一种多传感器时间空间标定方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多传感器时间空间标定方法，其特征在于，包括：
通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿以及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。
2.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，对所述图像数据进行语义分割及特征点提取，根据语义分割结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程，具体包括：
对所述图像数据进行语义分割，并提取图像中的特征点，计算所述特征点在图像坐标系的运动速度，以获取所述特征点位置的真实值；
对两帧所述图像中具有相同语义分割结果的特征点进行匹配，根据所述匹配的结果定义所述特征点的观测值，根据所述真实值和观测值构建重投影误差方程；
将所述IMU传感器与相机之间的第一时间偏差引入重投影误差方程，并将其作为相机的约束条件。
3.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿，具体包括：
计算所述两帧点云的运动速度，并引入所述IMU传感器与激光雷达之间的第二时间偏差，根据所述运动速度和所述第二时间偏差，计算所述两帧点云的真实位姿，修正所述两帧点云的真实位姿；
根据每帧点云的真实位姿获取所述每帧点云中每个点的真实坐标；
根据所述真实坐标分别计算所述每帧点云中每两个连续点的连线与水平面的夹角；
设定夹角阈值，根据所述夹角阈值和所述夹角，将所述每帧点云中的点分为地面点和非地面点；
对每个所述非地面点进行主成分分析，将其分类为面点和其他点；
对所述地面点、所述面点和所述其他点分别进行点云配准，计算所述两帧点云的相对位姿，将其作为激光雷达的约束条件。
4.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差，具体包括：
分析所述图像数据和所述IMU数据，获取两帧图像间所有的IMU数据，通过预积分计算所述两帧图像间的第一位姿；
分析所述点云数据和所述图像数据，标记与所述两帧图像采集时刻相同的两帧点云，获取所述两帧点云间所有的IMU数据，通过预积分计算两帧点云间的第二位姿；
将所述第一位姿和所述第二位姿之间的位姿偏差作为 IMU的约束条件。
5.根据权利要求1所述的一种多传感器时间空间标定方法，其特征在于，还包括：
测量计算所述IMU传感器、相机和激光雷达三者之间的空间位置关系，将所述空间位置关系定义为探测系统的空间同步初始值，并定义整个系统的时间同步初始值为0，将所述空间同步初始值和所述时间同步初始值作为所述迭代优化求解的初始设置。
6.一种多传感器时间空间标定装置，其特征在于，包括：
获取模块，用于通过IMU传感器获取IMU数据，通过相机获取图像数据，通过激光雷达获取点云数据；
图像数据处理模块，用于对所述图像数据进行语义分割及特征点提取，根据所述语义分割的结果对所述特征点进行匹配，构建重投影误差方程，并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程；
点云数据处理模块，用于引入所述IMU传感器与激光雷达之间的第二时间偏差，对所述点云数据中两帧点云进行位姿修正，对修正后的所述两帧点云进行配准，计算所述两帧点云之间的相对位姿；
IMU数据处理模块，用于获取两帧图像间的IMU数据，通过预积分计算两帧图像的第一位姿，获取两帧点云间的IMU数据，通过预积分计算两帧点云的第二位姿，计算所述第一位姿和第二位姿之间的位姿偏差；
迭代优化模块，用于设定滑动窗口，根据所述滑动窗口内所述重投影误差方程、所述相对位姿及所述位姿偏差进行迭代优化求解，实现多传感器时间空间标定。
7.根据权利要求6所述的一种多传感器时间空间标定装置，其特征在于，所述图像数据处理模块，包括：
特征提取子模块，用于对所述图像数据进行语义分割，并提取图像中的特征点，计算所述特征点在图像坐标系的运动速度，以获取所述特征点位置的真实值；
特征匹配子模块，用于对两帧所述图像中具有相同语义分割结果的特征点进行匹配，根据所述匹配的结果定义所述特征点的观测值，根据所述真实值和观测值构建重投影误差方程；
重投影子模块，用于将所述IMU传感器与相机之间的第一时间偏差引入重投影误差方程，并将其作为相机的约束条件。
8.根据权利要求6所述的一种多传感器时间空间标定装置，其特征在于，所述点云数据处理模块，包括：
位姿修正子模块，用于计算所述两帧点云的运动速度，并引入所述IMU传感器与激光雷达之间的第二时间偏差，根据所述运动速度和所述第二时间偏差，计算所述两帧点云的真实位姿，修正所述两帧点云的真实位姿；
坐标获取子模块，用于根据每帧点云的真实位姿获取所述每帧点云中每个点的真实坐标；
夹角计算子模块，用于根据所述真实坐标分别计算所述每帧点云中每两个连续点的连线与水平面的夹角；
地面滤波子模块，用于设定夹角阈值，根据所述夹角阈值和所述夹角，将所述每帧点云中的点分为地面点和非地面点；
面点评定子模块，用于对每个所述非地面点进行主成分分析，将其分类为面点和其他点；
位姿计算子模块，用于对所述地面点、所述面点和所述其他点分别进行点云配准，计算所述两帧点云的相对位姿，将其作为激光雷达的约束条件。
9.根据权利要求6所述的一种多传感器时间空间标定装置，其特征在于，所述IMU数据处理模块，具体包括：
第一位姿计算子模块，用于分析所述图像数据和所述IMU数据，获取两帧图像间所有的IMU数据，通过预积分计算所述两帧图像间的第一位姿；
第二位姿计算子模块，用于分析所述点云数据和所述图像数据，标记与所述两帧图像采集时刻相同的两帧点云，获取所述两帧点云间所有的IMU数据，通过预积分计算两帧点云间的第二位姿；
位姿偏差计算子模块，用于将所述第一位姿和所述第二位姿之间的位姿偏差作为 IMU的约束条件。
10.根据权利要求6所述的一种多传感器时间空间标定装置，其特征在于，还包括：
初始化模块，用于测量计算所述IMU传感器、相机和激光雷达三者之间的空间位置关系，将所述空间位置关系定义为探测系统的空间同步初始值，并定义整个系统的时间同步初始值为0，将所述空间同步初始值和所述时间同步初始值作为所述迭代优化求解的初始设置。
CN202110236278.9A 2021-03-03 2021-03-03 一种多传感器时间空间标定方法及装置 Active CN112598757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110236278.9A CN112598757B (zh) 2021-03-03 2021-03-03 一种多传感器时间空间标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110236278.9A CN112598757B (zh) 2021-03-03 2021-03-03 一种多传感器时间空间标定方法及装置

Publications (2)

Publication Number Publication Date
CN112598757A true CN112598757A (zh) 2021-04-02
CN112598757B CN112598757B (zh) 2021-06-01

Family

ID=75210229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110236278.9A Active CN112598757B (zh) 2021-03-03 2021-03-03 一种多传感器时间空间标定方法及装置

Country Status (1)

Country Link
CN (1) CN112598757B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
CN113739819A (zh) * 2021-08-05 2021-12-03 上海高仙自动化科技发展有限公司 校验方法、装置、电子设备、存储介质及芯片
CN114013449A (zh) * 2021-11-02 2022-02-08 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和系统
CN114684568A (zh) * 2022-04-29 2022-07-01 天地（常州）自动化股份有限公司 一种煤流速度和煤流量的测量系统及其测量方法
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN115908519A (zh) * 2023-02-24 2023-04-04 南京航空航天大学 一种大型复合材料构件三维测量配准误差控制方法
WO2023093515A1 (zh) * 2021-11-29 2023-06-01 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法
CN116380132A (zh) * 2023-06-06 2023-07-04 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117226854A (zh) * 2023-11-13 2023-12-15 之江实验室 一种夹取任务的执行方法、装置、存储介质及电子设备
WO2024001649A1 (zh) * 2022-06-29 2024-01-04 深圳市海柔创新科技有限公司 机器人定位方法、装置和计算可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344391A (zh) * 2008-07-18 2009-01-14 北京工业大学 基于全功能太阳罗盘的月球车位姿自主确定方法
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN111580596A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 多个imu时间同步方法、装置、终端
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344391A (zh) * 2008-07-18 2009-01-14 北京工业大学 基于全功能太阳罗盘的月球车位姿自主确定方法
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN111580596A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 多个imu时间同步方法、装置、终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李松: "时间偏差校准分布式多传感器多目标跟踪算法", 《西北工业大学学报》 *
田颖: "IMU-Camera的相对位姿标定方法及应用", 《中国优秀硕士学位论文全文数据库》 *
石进桥: "搭载混合视觉系统的无人机对大场景的三维重建技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091771B (zh) * 2021-04-13 2022-09-23 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN113739819A (zh) * 2021-08-05 2021-12-03 上海高仙自动化科技发展有限公司 校验方法、装置、电子设备、存储介质及芯片
CN113739819B (zh) * 2021-08-05 2024-04-16 上海高仙自动化科技发展有限公司 校验方法、装置、电子设备、存储介质及芯片
CN114013449B (zh) * 2021-11-02 2023-11-03 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
JP7369847B2 (ja) 2021-11-02 2023-10-26 アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN114013449A (zh) * 2021-11-02 2022-02-08 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
JP2023021994A (ja) * 2021-11-02 2023-02-14 アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
EP4160271A1 (en) * 2021-11-02 2023-04-05 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for processing data for autonomous vehicle, electronic device, and storage medium
WO2023093515A1 (zh) * 2021-11-29 2023-06-01 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN114684568A (zh) * 2022-04-29 2022-07-01 天地（常州）自动化股份有限公司 一种煤流速度和煤流量的测量系统及其测量方法
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和系统
WO2024001649A1 (zh) * 2022-06-29 2024-01-04 深圳市海柔创新科技有限公司 机器人定位方法、装置和计算可读存储介质
CN115908519A (zh) * 2023-02-24 2023-04-04 南京航空航天大学 一种大型复合材料构件三维测量配准误差控制方法
CN116380132A (zh) * 2023-06-06 2023-07-04 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质
CN116380132B (zh) * 2023-06-06 2023-08-22 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117036511B (zh) * 2023-10-08 2024-03-26 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117226854A (zh) * 2023-11-13 2023-12-15 之江实验室 一种夹取任务的执行方法、装置、存储介质及电子设备
CN117226854B (zh) * 2023-11-13 2024-02-02 之江实验室 一种夹取任务的执行方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112598757B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112598757B (zh) 一种多传感器时间空间标定方法及装置
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
US10885328B2 (en) Determination of position from images and associated camera positions
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
Prescott et al. Line-based correction of radial lens distortion
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111258313A (zh) 多传感器融合slam系统及机器人
EP2901236B1 (en) Video-assisted target location
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
CN112381890B (zh) 一种基于点线特征的rgb-d视觉slam方法
CN114419147A (zh) 一种救援机器人智能化远程人机交互控制方法及系统
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN113516692A (zh) 一种多传感器融合的slam方法和装置
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN113048951B (zh) 一种基于人工智能的测绘无人机抖动检测方法及系统
Kleinschmidt et al. Visual multimodal odometry: Robust visual odometry in harsh environments
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant