CN116721166B - 双目相机和imu旋转外参在线标定方法、装置及存储介质 - Google Patents

双目相机和imu旋转外参在线标定方法、装置及存储介质 Download PDF

Info

Publication number
CN116721166B
CN116721166B CN202310684595.6A CN202310684595A CN116721166B CN 116721166 B CN116721166 B CN 116721166B CN 202310684595 A CN202310684595 A CN 202310684595A CN 116721166 B CN116721166 B CN 116721166B
Authority
CN
China
Prior art keywords
imu
coordinate system
binocular camera
world coordinate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310684595.6A
Other languages
English (en)
Other versions
CN116721166A (zh
Inventor
秦晓辉
周云水
郭翼彪
徐彪
秦兆博
谢国涛
王晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Original Assignee
Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd filed Critical Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Priority to CN202310684595.6A priority Critical patent/CN116721166B/zh
Publication of CN116721166A publication Critical patent/CN116721166A/zh
Application granted granted Critical
Publication of CN116721166B publication Critical patent/CN116721166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及传感器技术领域，具体公开了一种双目相机和IMU旋转外参在线标定方法、装置及存储介质，包括：获取双目相机在地面机器人处于静止状态时采集到的直线图像；获取IMU在地面机器人处于静止状态时的加速度平均值；根据世界坐标系下的重力向量与加速度平均值计算IMU相对于世界坐标系的相对位姿；确定IMU相对于双目相机的偏航角和翻滚角；获取双目相机在地面机器人沿单一方向直线运动时的第一直线以及IMU在地面机器人沿单一方向直线运动时的第二直线；根据第一直线与第二直线确定IMU相机相对于双目相机的俯仰角。本发明提供的双目相机和IMU旋转外参在线标定方法能够在无需复杂运动的情况下实现双目相机和IMU旋转外参的在线标定。

Description

双目相机和IMU旋转外参在线标定方法、装置及存储介质
技术领域
本发明涉及传感器技术领域，尤其涉及一种双目相机和IMU旋转外参在线标定方法、双目相机和IMU旋转外参在线标定装置及存储介质。
背景技术
同时定位与建图(Simultaneous Localization and Mapping，简称SLAM)是无人设备自主运动的核心技术之一。SLAM中常用的传感器包括相机、IMU(InertialMeasurement Unit，惯性测量单元)等，相机捕获的图像中包含丰富的环境信息，但是相机在光照变化强烈、光照不足、快速运动、环境纹理缺失等情况下很可能会失效；IMU作为一种内感受型传感器，其测量不受环境特征的影响，仅基于载体运动产生的惯性信息就可以对位置、速度、姿态等状态进行估计，然而IMU本身存在随机游走，随着时间的递增，IMU给出的位姿估计的置信度越低。采用单一的传感器进行SLAM无法满足精度和鲁棒性的要求，相机和IMU作为两种优势互补的传感器，将相机和IMU融合进行SLAM受到学术界和工业界的极大关注，而融合的前提是对两种传感器的外参进行标定。
相机和IMU之间的旋转外参可以通过离线或者在线的方式进行标定，离线的方式需要人工手持标定板并在合适的位置进行适当旋转和平移，人员时间和精力的投入都比较大。现有的在线初始化算法在标定相机和IMU的旋转外参时，需要搭载该传感器的地面机器人剧烈、复杂的初始化运动。然而室内地面机器人(如地下停车场的无人驾驶车辆等)的运动在其侧向、前向只有有限的旋转量，在此情况下现有的在线初始化算法无法标定出相机和IMU之间沿机器人侧向、前向的旋转量。
因此，如何能够提供无需地面机器人进行复杂运动的相机和IMU旋转外参标定方法成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种双目相机和IMU旋转外参在线标定方法、双目相机和IMU旋转外参在线标定装置及存储介质，解决相关技术中存在的无法实现无需复杂运动即可进行相机和IMU旋转外参标定的问题。
作为本发明的第一个方面，提供一种双目相机和IMU旋转外参在线标定方法，其中，双目相机和IMU均被安装在地面机器人上，所述双目相机和IMU旋转外参在线标定方法包括：
获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
进一步地，获取双目相机在地面机器人处于静止状态时采集到的直线图像，包括：
获取双目相机在地面机器人处于静止状态时其中一目相机采集到的直线图像；
对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得空间向量直线。
进一步地，对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得空间向量直线，包括：
提取所述直线图像中斜率大于预设斜率阈值的二维直线；
将斜率大于预设斜率阈值的二维直线进行双目相机视差三角化处理，获得三维空间下的直线及其对应的普吕克坐标；
对三维空间下的直线进行筛选，以剔除异常直线；
将三维空间下剔除异常直线后剩余的直线进行方向向量求和，并进行归一化处理，获得空间向量直线。
进一步地，对三维空间下的直线进行筛选，以剔除异常直线，包括：
根据随机抽样一致算法对三维空间下的直线进行筛选，以剔除异常直线。
进一步地，将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿，包括：
根据所述空间向量直线与世界坐标系中的空间直线进行对齐以确定相机坐标系与世界坐标系之间的旋转矩阵，其中所述相机坐标系与世界坐标系之间的旋转矩阵的计算公式为：
Rcw＝exp([θ1u1]×)，
其中，[.]×表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，Rcw表示相机坐标系与世界坐标系之间的旋转矩阵，u1表示相机坐标系与世界坐标系之间的旋转轴，θ1表示相机坐标系与世界坐标系之间的旋转角度，g表示世界坐标系下的重力向量，n表示空间直线的数量；
根据所述相机坐标系与世界坐标系之间的旋转矩阵确定双目相机相对于世界坐标系的相对位姿。
进一步地，根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿，包括：
根据预设时间段内所述加速度平均值与同一预设时间段内世界坐标系下的重力向量之间的夹角计算得到IMU与世界坐标系之间的旋转矩阵，其中所述IMU与世界坐标系之间的旋转矩阵的计算公式为：
Rbw＝exp([θ2u2]×)，
其中，[.]×表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，Rbw表示IMU与世界坐标系之间的旋转矩阵，θ2表示IMU与世界坐标系之间的旋转角度，u2表示IMU与世界坐标系之间的旋转轴，g表示世界坐标系下的重力向量，表示预设时间段内所述加速度平均值。
进一步地，根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角，包括：
根据相机坐标系与世界坐标系之间的旋转矩阵以及IMU与世界坐标系之间的旋转矩阵计算IMU与相机坐标系之间的旋转矩阵，计算公式为：
其中，Rbc表示IMU与相机坐标系之间的旋转矩阵，Rcw表示相机坐标系与世界坐标系之间的旋转矩阵，Rbw表示IMU与世界坐标系之间的旋转矩阵；
根据所述IMU与相机坐标系之间的旋转矩阵确定IMU相对于双目相机的偏航角和翻滚角。
进一步地，根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角，包括：
计算相同时间段内的第一直线的多个第一采集点与第二直线上多个第二采集点之间的目标间隔距离；
通过迭代计算获得目标间隔距离无限小时所对应的旋转角度确定为IMU相机相对于双目相机的俯仰角。
作为本发明的另一个方面，提供一种双目相机和IMU旋转外参在线标定装置，其中，双目相机和IMU均被安装在地面机器人上，所述双目相机和IMU旋转外参在线标定装置包括：
第一获取模块，用于获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
双目相机位姿获得模块，用于将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
第二获取模块，用于获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
计算模块，用于根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
第一确定模块，用于根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
第三获取模块，用于获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
第二确定模块，用于根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
作为本发明的另一个方面，提供一种存储介质，其中，用于存储计算机指令，所述计算机指令被处理器加载并执行以实现前文所述的双目相机和IMU旋转外参在线标定方法。
本发明提供的双目相机和IMU旋转外参在线标定方法，通过静止状态下双目相机采集直线图像，并借助该直线图像获得双目相机与世界坐标系的关系，另外通过IMU采集加速度数据，从而确定IMU与世界坐标系之间的关系，进而根据双目相机与世界坐标系的关系以及IMU与世界坐标系的关系确定IMU与双目相机的关系，因此确定了双目相机与IMU旋转外参中的两个旋转量，另外借助于运动状态下的运动数据确定了双目相机与IMU旋转外参的另一个旋转量，至此完成双目相机与IMU旋转外参的标定。因此，本发明提供的双目相机和IMU旋转外参在线标定方法，只需要采用先静止、后运动的两步法即可在室内等结构化环境下，利用环境中的线特征快速在线初始化相机/IMU之间的旋转外参，为旋转外参的优化提供良好的初值，同时还方式也无需复杂运动等即可完成。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的双目相机和IMU旋转外参在线标定方法的流程图。
图2为本发明提供的双目相机在地面机器人静止状态时采集直线图像的流程图。
图3为本发明提供的对直线图像进行归一化吃了以及外点剔除的流程图。
图4为本发明提供的获得双目相机相对于世界坐标系的相对位姿的流程图。
图5为本发明提供的双目相机和IMU旋转外参在线标定方法的具体实施方式流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种双目相机和IMU旋转外参在线标定方法，双目相机和IMU均被安装在地面机器人上，图1是根据本发明实施例提供的双目相机和IMU旋转外参在线标定方法的流程图，如图1所示，所述双目相机和IMU旋转外参在线标定方法包括：
S100、获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
在本发明实施例中，双目相机和IMU均被安装在地面机器人上，且该地面机器人位于结构化环境中，该结构化环境具体可以理解为环境中具有与地面垂直的建筑物等的环境，以便于双目相机能够采集到直线图像，即采集到垂直于地面的直线。在双目相机采集到直线图像时，对该直线图像进行处理以获得空间向量直线。
在本发明实施例中，如图2所示，获取双目相机在地面机器人处于静止状态时采集到的直线图像，包括：
S110、获取双目相机在地面机器人处于静止状态时其中一目相机采集到的直线图像；
具体地，在静止初始化阶段，只需要地面机器人在静止状态下，获取一帧双目相机捕获的左或右目图像和该段时间内的IMU加速度计数据，即可快速计算出相机/IMU之间的旋转外参中沿两个坐标轴的旋转量。
S120、对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得处空间向量直线。
进一步具体地，如图3和图5所示，对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得空间向量直线，包括：
S121、提取所述直线图像中斜率大于预设斜率阈值的二维直线；
在本发明实施例中，具体在获取的左目相机的像素平面上提取斜率超过一定阈值的二维直线，本发明中的预设斜率阈值为||k||≥tan(85°)。
S122、将斜率大于预设斜率阈值的二维直线进行双目相机视差三角化处理，获得三维空间下的直线及其对应的普吕克坐标；
对满足预设斜率阈值的二维直线通过双目相机的视差进行三角化，得到三维空间下的直线Lm及其对应的普吕克Plücker坐标其中下标m＝1,2…n，n为成功三角化的空间直线的数量。
S123、对三维空间下的直线进行筛选，以剔除异常直线；
具体地，可以根据随机抽样一致算法对三维空间下的直线进行筛选，以剔除异常直线。
使用RANSAC(Random Sample Consensus)对Lm进行筛选，完成对三维空间下的异常直线的剔除。
在本发明实施例中，具体可以包括：
1)假设最少需要k＝3条正确的直线L，即可确定出Rcw；
2)设直线为内点的概率为p＝0.95，最终成功的概率m＝0.99，则需要执行RANSAC的次数M为：
3)从直线Lm中随机选取k条直线，假设它们全为内点，并计算这k条的平均方向向量na，
4)计算其余直线的方向向量与na之间的夹角δ，若δ≤3°则认为是内点，统计本次内点的数目；
5)重复3)、4)，直到达到RANSAC的迭代次数M，并得到内点数目最多的情况所对应的直线集合Lm′，Lm′包含了m′条是内点的直线。
S124、将三维空间下剔除异常直线后剩余的直线进行方向向量求和，并进行归一化处理，获得空间向量直线；
在本发明实施例中，对这m′条直线的方向向量求和，并归一化，得到平均方向向量，该平均方向向量作为空间向量直线：
S200、将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
在本发明实施例中，为了能够确定双目相机相对于世界坐标系的相对位姿，可以通过将相机坐标系中的空间直线与世界坐标系中的空间直线进行对齐的方式进行确定。
具体地，如图4所示，将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿，包括：
S210、根据所述空间向量直线与世界坐标系中的空间直线进行对齐以确定相机坐标系与世界坐标系之间的旋转矩阵，其中所述相机坐标系与世界坐标系之间的旋转矩阵的计算公式为：
Rcw＝exp([θ1u1]×)，
其中，[.]×表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，Rcw表示相机坐标系与世界坐标系之间的旋转矩阵，u1表示相机坐标系与世界坐标系之间的旋转轴，θ1表示相机坐标系与世界坐标系之间的旋转角度，g表示世界坐标系下的重力向量，n表示空间直线的数量；
S220、根据所述相机坐标系与世界坐标系之间的旋转矩阵确定双目相机相对于世界坐标系的相对位姿。
S300、获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
同样是在地面机器人处于静止状态时，根据IMU在上述双目相机统同一时间段内的加速度数据进行求平均计算，获得加速度平均值。
S400、根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
在本发明实施例中，具体可以包括：
根据预设时间段内所述加速度平均值与同一预设时间段内世界坐标系下的重力向量之间的夹角计算得到IMU与世界坐标系之间的旋转矩阵，其中所述IMU与世界坐标系之间的旋转矩阵的计算公式为：
Rbw＝exp([θ2u2]×)，
其中，[.]×表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，Rbw表示IMU与世界坐标系之间的旋转矩阵，θ2表示IMU与世界坐标系之间的旋转角度，u2表示IMU与世界坐标系之间的旋转轴，g表示世界坐标系下的重力向量，表示预设时间段内所述加速度平均值。
S500、根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
具体地，可以包括：
根据相机坐标系与世界坐标系之间的旋转矩阵以及IMU与世界坐标系之间的旋转矩阵计算IMU与相机坐标系之间的旋转矩阵，计算公式为：
其中，Rbc表示IMU与相机坐标系之间的旋转矩阵，Rcw表示相机坐标系与世界坐标系之间的旋转矩阵，Rbw表示IMU与世界坐标系之间的旋转矩阵；
根据所述IMU与相机坐标系之间的旋转矩阵确定IMU相对于双目相机的偏航角和翻滚角。
此处需要说明的是，根据IMU与相机坐标系之间的旋转矩阵即可确定偏航角和翻滚角，此处为本领域技术人员所熟知，不再赘述。
应当理解的是，根据IMU与相机坐标系之间的旋转矩阵Rbc能够确定的是IMU相对于双目相机的偏航角和翻滚角，而针对与重力方向平行的方向上的旋转量则需要通过运动状态下的数据进行确定。
在之前的静止初始化阶段已经求得相机和IMU之间沿两个坐标轴的旋转量。对于未知的俯仰角可以在运动过程中通过手眼标定的方式进行求解。即在运动初始化阶段，可使地面机器人沿直线运动。
S600、获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
应当理解的是，由于双目相机和IMU均安装在同一地面机器人上，因此双目相机和IMU在地面机器人沿直线运动时会形成各自的运动直线，通过将这两条直线平行的方式所获得的旋转角度即为俯仰角。
S700、根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
具体可以包括：
计算相同时间段内的第一直线的多个第一采集点与第二直线上多个第二采集点之间的目标间隔距离；
通过迭代计算获得目标间隔距离无限小时所对应的旋转角度确定为IMU相机相对于双目相机的俯仰角。
具体计算过程如下：
1)在i到i+1时刻内的直线运动中，有：
且满足：
此处需要说明的是，表示位姿变换矩阵，R表示旋转矩阵，t表示平移矩阵。表示i+1时刻的IMU坐标系(body系，简称b系)与i时刻的相机坐标系(c系)之间的位姿变换矩阵。其余的表示的物理含义相似，以此类推。此处还可以具体理解为，第二直线上i+1时刻的一点与第一直线上i时刻的相对应的一点之间的位姿变换矩阵，以此类推解释其余的
上述该公式是典型的手眼标定的方式，表示等于与的乘积，也等于与的乘积。
2)将展开：
3)在i到i+1时刻内的直线运动中，有且Rcb×Rbc＝I。则：
其中，为在i到i+1时刻内双目相机的平移矩阵，可通过PnP(Perspective-n-Point)等方法得到；为i到i+1时刻内IMU的平移矩阵，可通过预积分得到。
4)Rbc中沿y轴的旋转量不可观。真实的双目相机与IMU之间的旋转外参应为：
其中，R0为绕y轴转动角度α的旋转矩阵，R0仅包含一个未知量α：
5)通过线性代数的方法求得R0中包含的未知量α，即：
通过对步骤1)中的公式展开，最终获得未知俯仰角α，通过求解α以使得上述公式成立，最终获得俯仰角。
6)代入求得
综上，本发明提供的双目相机和IMU旋转外参在线标定方法，通过静止状态下双目相机采集直线图像，并借助该直线图像获得双目相机与世界坐标系的关系，另外通过IMU采集加速度数据，从而确定IMU与世界坐标系之间的关系，进而根据双目相机与世界坐标系的关系以及IMU与世界坐标系的关系确定IMU与双目相机的关系，因此确定了双目相机与IMU旋转外参中的两个旋转量，另外借助于运动状态下的运动数据确定了双目相机与IMU旋转外参的另一个旋转量，至此完成双目相机与IMU旋转外参的标定。因此，本发明提供的双目相机和IMU旋转外参在线标定方法，只需要采用先静止、后运动的两步法即可在室内等结构化环境下，利用环境中的线特征快速在线初始化相机/IMU之间的旋转外参，为旋转外参的优化提供良好的初值，同时还方式也无需复杂运动等即可完成。
作为本发明的另一实施例，提供一种双目相机和IMU旋转外参在线标定装置，其中，双目相机和IMU均被安装在地面机器人上，所述双目相机和IMU旋转外参在线标定装置包括：
第一获取模块，用于获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
双目相机位姿获得模块，用于将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
第二获取模块，用于获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
计算模块，用于根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
第一确定模块，用于根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
第三获取模块，用于获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
第二确定模块，用于根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
关于本发明实施例的双目相机和IMU旋转外参在线标定装置的具体工作原理及过程可以参照前文的双目相机和IMU旋转外参在线标定方法的描述，此处不再赘述。
作为本发明的另一实施例，提供存储介质，其中，用于存储计算机指令，所述计算机指令被处理器加载并执行以实现前文所述的双目相机和IMU旋转外参在线标定方法。
在本发明实施例中，提供了一种非暂态计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的双目相机和IMU旋转外参在线标定方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种双目相机和IMU旋转外参在线标定方法，其特征在于，双目相机和IMU均被安装在地面机器人上，所述双目相机和IMU旋转外参在线标定方法包括：
获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
2.根据权利要求1所述的双目相机和IMU旋转外参在线标定方法，其特征在于，获取双目相机在地面机器人处于静止状态时采集到的直线图像，包括：
获取双目相机在地面机器人处于静止状态时其中一目相机采集到的直线图像；
对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得空间向量直线。
3.根据权利要求2所述的双目相机和IMU旋转外参在线标定方法，其特征在于，对所述直线图像进行三角化和外点剔除处理后，并进行归一化处理，获得空间向量直线，包括：
提取所述直线图像中斜率大于预设斜率阈值的二维直线；
将斜率大于预设斜率阈值的二维直线进行双目相机视差三角化处理，获得三维空间下的直线及其对应的普吕克坐标；
对三维空间下的直线进行筛选，以剔除异常直线；
将三维空间下剔除异常直线后剩余的直线进行方向向量求和，并进行归一化处理，获得空间向量直线。
4.根据权利要求3所述的双目相机和IMU旋转外参在线标定方法，其特征在于，对三维空间下的直线进行筛选，以剔除异常直线，包括：
根据随机抽样一致算法对三维空间下的直线进行筛选，以剔除异常直线。
5.根据权利要求1所述的双目相机和IMU旋转外参在线标定方法，其特征在于，将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿，包括：
根据所述空间向量直线与世界坐标系中的空间直线进行对齐以确定相机坐标系与世界坐标系之间的旋转矩阵，其中所述相机坐标系与世界坐标系之间的旋转矩阵的计算公式为：
，
，
其中，表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，表示相机坐标系与世界坐标系之间的旋转矩阵，表示相机坐标系与世界坐标系之间的旋转轴，表示相机坐标系与世界坐标系之间的旋转角度，表示世界坐标系下的重力向量，n表示空间直线的数量；
根据所述相机坐标系与世界坐标系之间的旋转矩阵确定双目相机相对于世界坐标系的相对位姿。
6.根据权利要求1所述的双目相机和IMU旋转外参在线标定方法，其特征在于，根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿，包括：
根据预设时间段内所述加速度平均值与同一预设时间段内世界坐标系下的重力向量之间的夹角计算得到IMU与世界坐标系之间的旋转矩阵，其中所述IMU与世界坐标系之间的旋转矩阵的计算公式为：
，
，
其中，表示将一个3*1的向量转换为一个3*3的反对称矩阵，exp(.)表示指数映射函数，表示IMU与世界坐标系之间的旋转矩阵，表示IMU与世界坐标系之间的旋转角度，表示IMU与世界坐标系之间的旋转轴，表示世界坐标系下的重力向量，表示预设时间段内所述加速度平均值。
7.根据权利要求1所述的双目相机和IMU旋转外参在线标定方法，其特征在于，根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角，包括：
根据相机坐标系与世界坐标系之间的旋转矩阵以及IMU与世界坐标系之间的旋转矩阵计算IMU与相机坐标系之间的旋转矩阵，计算公式为：
，
其中，表示IMU与相机坐标系之间的旋转矩阵，表示相机坐标系与世界坐标系之间的旋转矩阵，表示IMU与世界坐标系之间的旋转矩阵；
根据所述IMU与相机坐标系之间的旋转矩阵确定IMU相对于双目相机的偏航角和翻滚角。
8.根据权利要求1所述的双目相机和IMU旋转外参在线标定方法，其特征在于，根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角，包括：
计算相同时间段内的第一直线的多个第一采集点与第二直线上多个第二采集点之间的目标间隔距离；
通过迭代计算获得目标间隔距离无限小时所对应的旋转角度确定为IMU相机相对于双目相机的俯仰角。
9.一种双目相机和IMU旋转外参在线标定装置，其特征在于，双目相机和IMU均被安装在地面机器人上，所述双目相机和IMU旋转外参在线标定装置包括：
第一获取模块，用于获取双目相机在地面机器人处于静止状态时采集到的直线图像，并对所述直线图像进行处理获得空间向量直线；
双目相机位姿获得模块，用于将所述空间向量直线与世界坐标系中的空间直线进行对齐，以获得双目相机相对于世界坐标系的相对位姿；
第二获取模块，用于获取IMU在地面机器人处于静止状态时在预设时间段内的加速度平均值；
计算模块，用于根据同一预设时间段内世界坐标系下的重力向量与所述加速度平均值计算IMU相对于世界坐标系的相对位姿；
第一确定模块，用于根据所述双目相机相对于世界坐标系的相对位姿和所述IMU相对于世界坐标系的相对位姿确定IMU相对于双目相机的偏航角和翻滚角；
第三获取模块，用于获取所述双目相机在地面机器人沿单一方向直线运动时的第一直线以及所述IMU在地面机器人沿单一方向直线运动时的第二直线；
第二确定模块，用于根据所述第一直线与所述第二直线重合时获得的旋转角度确定IMU相机相对于双目相机的俯仰角。
10.一种存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器加载并执行以实现权利要求1至8中任意一项所述的双目相机和IMU旋转外参在线标定方法。
CN202310684595.6A 2023-06-09 2023-06-09 双目相机和imu旋转外参在线标定方法、装置及存储介质 Active CN116721166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310684595.6A CN116721166B (zh) 2023-06-09 2023-06-09 双目相机和imu旋转外参在线标定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310684595.6A CN116721166B (zh) 2023-06-09 2023-06-09 双目相机和imu旋转外参在线标定方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116721166A CN116721166A (zh) 2023-09-08
CN116721166B true CN116721166B (zh) 2024-07-12

Family

ID=87871044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310684595.6A Active CN116721166B (zh) 2023-06-09 2023-06-09 双目相机和imu旋转外参在线标定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116721166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117288187B (zh) * 2023-11-23 2024-02-23 北京小米机器人技术有限公司 机器人位姿确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745452A (zh) * 2013-11-26 2014-04-23 理光软件研究所（北京）有限公司 相机外参评估方法、装置、相机外参标定方法和装置
CN113721260A (zh) * 2021-08-26 2021-11-30 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745452A (zh) * 2013-11-26 2014-04-23 理光软件研究所（北京）有限公司 相机外参评估方法、装置、相机外参标定方法和装置
CN113721260A (zh) * 2021-08-26 2021-11-30 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法

Also Published As

Publication number Publication date
CN116721166A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN109084732B (zh) 定位与导航方法、装置及处理设备
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN109887057B (zh) 生成高精度地图的方法和装置
US11120560B2 (en) System and method for real-time location tracking of a drone
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
Lins et al. Vision-based measurement for localization of objects in 3-D for robotic applications
WO2018048353A1 (en) Simultaneous localization and mapping methods and apparatus
CN103759716A (zh) 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN110296702A (zh) 视觉传感器与惯导紧耦合的位姿估计方法及装置
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
Shi et al. Design and implementation of an omnidirectional vision system for robot perception
WO2022083038A1 (zh) 视觉定位方法及相关装置、设备和计算机可读存储介质
CN108958232A (zh) 一种基于深度视觉的移动扫地机器人slam装置及算法
CN109141411B (zh) 定位方法、定位装置、移动机器人及存储介质
CN116721166B (zh) 双目相机和imu旋转外参在线标定方法、装置及存储介质
CN111179351B (zh) 一种参数标定方法及其装置、处理设备
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN114063099A (zh) 基于rgbd的定位方法及装置
Huttunen et al. A monocular camera gyroscope
Spacek et al. Instantaneous robot self-localization and motion estimation with omnidirectional vision
Panahandeh et al. Vision-aided inertial navigation using planar terrain features
CN111351487A (zh) 多传感器的时钟同步方法、装置及计算设备
CN113450411B (zh) 一种基于方差分量估计理论的实时自身位姿计算方法
CN114879168A (zh) 一种激光雷达与imu标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant