CN116704022A - 基于结构线段的vio系统的位姿估计方法、装置及介质 - Google Patents

基于结构线段的vio系统的位姿估计方法、装置及介质 Download PDF

Info

Publication number
CN116704022A
CN116704022A CN202310414516.XA CN202310414516A CN116704022A CN 116704022 A CN116704022 A CN 116704022A CN 202310414516 A CN202310414516 A CN 202310414516A CN 116704022 A CN116704022 A CN 116704022A
Authority
CN
China
Prior art keywords
line segment
coordinate system
structural line
determining
structural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310414516.XA
Other languages
English (en)
Inventor
卫浩
唐付林
徐泽文
吴毅红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310414516.XA priority Critical patent/CN116704022A/zh
Publication of CN116704022A publication Critical patent/CN116704022A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于结构线段的VIO系统的位姿估计方法、装置及介质，所述方法包括：基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；基于所述图像数据，确定结构线段以及所述结构线段的全局方向；基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；基于更新后的状态向量和协方差矩阵，确定相机的位姿。本发明提供的基于结构线段的VIO系统的位姿估计方法，通过利用结构线段的全局方向来进行位姿估计，由于图像上的结构线段是环境全局方向的直接观测，从而可以利用结构线段消除消除VIO系统在旋转估计中存在的累积误差，进而提高了位姿估计精度。

Description

基于结构线段的VIO系统的位姿估计方法、装置及介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于结构线段的VIO系统的位姿估计方法、装置及介质。
背景技术
近年来，视觉同步定位与地图构建系统(Visual Simultaneous Localizationand Mapping，V-SLAM)和视觉惯性里程计(Visual-Inertial Odometry，VIO)系统在机器人、无人驾驶、虚拟现实和增强现实等领域得到了广泛应用。当前V-SLAM和VIO系统在场景纹理丰富、运动模式简单等情况下能够取得较高的定位精度。
然而，在某些复杂场景(比如人造环境)中，这些系统会出现精度下降或鲁棒性变差的情况。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于结构线段的VIO系统的位姿估计方法、装置及介质。
本发明提供一种基于结构线段的VIO系统的位姿估计方法，包括：
基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
基于更新后的状态向量和协方差矩阵，确定相机的位姿。
在一些实施例中，所述基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系之前，还包括：
在所述图像数据对应的消影点中确定与建筑坐标系的坐标轴方向分别对应的第一消影点、第二消影点和第三消影点；
基于所述第一消影点、所述第二消影点和所述第三消影点，确定建筑坐标系和全局坐标系在X轴和Y轴方向上的第一夹角和第二夹角；
基于所述第一夹角和所述第二夹角，确定所述旋转矩阵。
在一些实施例中，所述基于所述图像数据，确定结构线段以及所述结构线段的全局方向，包括：
基于全局坐标系的坐标轴的方向向量，确定所述方向向量在图像坐标系下对应的第四消影点、第五消影点和第六消影点；
对所述图像数据进行特征提取，确定所述图像数据中的目标线段；
基于所述目标线段的中点、所述第四消影点、所述第五消影点和所述第六消影点，确定第一线段、第二线段和第三线段；
基于所述目标线段分别与所述第一线段、所述第二线段和所述第三线段之间的第三夹角，确定所述结构线段以及所述全局方向。
在一些实施例中，所述基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述全局方向，确定所述结构线段对应的第一投影平面；
基于所述第一投影平面和相机光心，确定第二投影平面；
基于所述结构线段在全局坐标系下的第一普吕克坐标，和所述第二投影平面，确定所述结构线段的初始投影坐标；
基于最小化重投影误差方法对所述初始投影坐标进行优化，确定目标投影坐标；
基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新。
在一些实施例中，所述基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述目标投影坐标和所述全局方向，确定所述结构线段与所述第一投影平面的目标交点；
基于所述目标交点和所述全局方向，确定所述结构线段在全局坐标系下的第二普吕克坐标；
基于所述第二普吕克坐标，确定所述结构线段在相机坐标系下的第三普吕克坐标；
基于所述第三普吕克坐标，将所述结构线段从相机坐标系投影至图像平面，确定所述结构线段的重投影误差；
基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新。
在一些实施例中，所述基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新，包括：
确定所述重投影误差对相机位姿和所述目标投影坐标的雅可比矩阵；
基于所述重投影误差和所述雅可比矩阵，对预测的状态向量和协方差矩阵进行更新。
本发明还提供一种基于结构线段的VIO系统的位姿估计装置，包括：
变换模块，用于基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
第一确定模块，用于基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
更新模块，用于基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
第二确定模块，用于基于更新后的状态向量和协方差矩阵，确定相机的位姿。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于结构线段的VIO系统的位姿估计方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于结构线段的VIO系统的位姿估计方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于结构线段的VIO系统的位姿估计方法。
本发明提供的基于结构线段的VIO系统的位姿估计方法、装置及介质，通过利用结构线段的全局方向来进行位姿估计，由于图像上的结构线段是环境全局方向的直接观测，从而可以利用结构线段消除消除VIO系统在旋转估计中存在的累积误差，进而提高了位姿估计精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于结构线段的VIO系统的位姿估计方法的流程示意图之一；
图2是本发明实施例提供的坐标对齐方法的示意图；
图3是现有技术提供的典型曼哈顿世界模型的示意图；
图4是本发明实施例提供的基于结构线段的VIO系统的位姿估计方法的流程示意图之二；
图5是本发明实施例提供的基于结构线段的VIO系统的位姿估计装置的结构示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
图1是本发明实施例提供的基于结构线段的VIO系统的位姿估计方法的流程示意图之一，如图1所示，本发明实施例提供的基于结构线段的VIO系统的位姿估计方法，包括：
步骤101、基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
步骤102、基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
步骤103、基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
步骤104、基于更新后的状态向量和协方差矩阵，确定相机的位姿。
需要说明的是，本发明提供的基于结构线段的VIO系统的位姿估计方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
在步骤101中，基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系。
VIO是融合相机和惯性测量单元(Inertial Measurement Unit，MU)数据实现同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)的算法。
对VIO系统进行初始化，即利用传感器数据估计系统状态变量(载体速度、重力方向、加速度计和陀螺仪偏差)的初始值，即初始状态向量。
全局坐标系G为VIO系统对应的坐标系。在符合曼哈顿世界模型假设的建筑物中，建筑物的三个主方向提供了一个天然的坐标系，即建筑物坐标系B。
VIO系统的全局坐标系G的三个坐标轴分别表示为X'，Y'和Z'，建筑物坐标系B的三个坐标轴分别表示为X，Y和Z。
VIO初始化完成后，全局坐标系G的Z'轴方向与重力方向对齐，但X'轴和Y'轴的方向是任意分布的。即全局坐标系G的Z'轴方向与建筑物坐标系B的Z轴方向是一致的，但是两个坐标系之间相差一个绕Z轴方向的旋转角度θ。
利用初始化后的连续11帧图像可以完成两个坐标系之间旋转矩阵的计算，并通过得到的旋转矩阵将VIO系统的初始状态向量中的所有参数从全局坐标系G变换到建筑坐标系B下。
在一些实施例中，所述基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系之前，还包括：
在所述图像数据对应的消影点中确定与建筑坐标系的坐标轴方向分别对应的第一消影点、第二消影点和第三消影点；
基于所述第一消影点、所述第二消影点和所述第三消影点，确定建筑坐标系和全局坐标系在X轴和Y轴方向上的第一夹角和第二夹角；
基于所述第一夹角和所述第二夹角，确定所述旋转矩阵。
对于输入的图像，首先检测图像对应的消影点。消影点检测算法同样基于曼哈顿世界模型假设，因此每张图像能够计算出三个对应的消影点vi，其齐次坐标表示为{vi,i＝1,2,3}。
此时，获得的消影点vi与真实世界方向的对应关系未知，需要找到图像上三个消影点与建筑物主方向的对应关系。
定义ex、ey和ez分别表示系统全局坐标系G下对应X'轴、Y'轴和Z'轴方向的单位向量，表示为：
当前全局坐标系G到相机坐标系的旋转矩阵表示为由于全局坐标系G和建筑坐标系B的Z轴方向一致，能通过以下公式确定与建筑坐标系B的Z轴方向对应的第一消影点vz：
其中，K表示预先标定的相机内参数矩阵，vu表示图像对应的消影点，表示全局坐标系G到相机坐标系的旋转矩阵，ez表示全局坐标系G下Z'轴方向的单位向量。
公式(2)确定Z'轴方向消影点的方法可以概括为：首先将全局坐标系G下的Z'轴方向旋转到当前相机坐标系下，然后将图像上提取到的三个消影点从像素坐标系变换到相机坐标系，最后，分别计算相机坐标系下Z'轴方向与三个消影点方向的夹角，最小夹角对应的消影点即为对应建筑坐标系B的Z轴方向的消影点。
确定建筑坐标系B的Z轴方向对应的消影点后，剩余的两个消影点分别对应建筑坐标系B的X轴和Y轴方向，进一步通过以下公式从剩余的两个消影点中确定建筑坐标系B的X轴方向对应的第二消影点vx：
确定X轴和Z轴对应的消影点后，则剩余的消影点即为建筑坐标系B的Y轴方向对应的第三消影点vy。
确定第一消影点、第二消影点和第三消影点后，可以得到建筑坐标系B三个坐标轴的方向向量表示，从而根据建筑坐标系B三个坐标轴的方向向量，确定建筑坐标系B的X轴与当前全局坐标系G的X'轴方向在相机坐标系下的第一夹角以及建筑坐标系B的Y轴和全局坐标系G的Y'轴方向在相机坐标系下的第二夹角/>
第一夹角的计算公式如下：
其中，表示全局坐标系G到相机坐标系的旋转矩阵，K表示预先标定的相机内参数矩阵，ex表示全局坐标系G下X'轴方向的单位向量，vx表示第二消影点。
第二夹角的计算公式如下：
其中，表示全局坐标系G到相机坐标系的旋转矩阵，K表示预先标定的相机内参数矩阵，ey表示全局坐标系G下Y'轴方向的单位向量，vy表示第三消影点。
理论上，应该等于/>然而，两个坐标系的Z轴方向并不是完全对齐的，导致因此，取第一夹角和第二夹角的平均值作为旋转角度的初始值
为了减小随机误差对坐标对齐精度的影响，可以利用连续11帧图像分别计算旋转角度的初始值θinit，取所有有效结果的平均值θavg，作为最终的旋转角度。
从而可以根据最终的θavg后，构建VIO系统全局坐标系G和建筑物坐标系B之间的旋转矩阵
旋转矩阵的表达式如下：
利用将当前系统状态向量的所有参数从全局坐标系G变换到建筑物坐标系B下，完成坐标对齐过程。
图2是本发明实施例提供的坐标对齐方法的示意图，如图2所示，经过坐标对齐步骤后，全局坐标系G与建筑坐标系B重合，从而可以更方便地利用结构线段。并且，基于该坐标对齐方法能够实现VIO系统的全局坐标系G与环境对应的曼哈顿世界模型三个主方向的对齐，能极大地简化结构线段的参数化、重投影误差与雅可比矩阵的计算过程。
在步骤102中，基于所述图像数据，确定结构线段以及所述结构线段的全局方向。
通过对VIO系统采集的图像数据进行线段特征提取，可以提取图像数据中的目标线段。
从提取的目标线段中，根据目标线段的方向可以确定该目标线段是否为结构线段。结构线段指的是与建筑坐标系B的坐标轴的方向相同的线段，建筑坐标系的坐标轴的方向即环境中的主方向，包括三种类型的结构线段：X轴方向的结构线段、Y轴方向的结构线段以及Z轴方向的结构线段。
结构线段与非结构线段的主要区别在于：结构线段编码了环境的全局方向信息，图像上的结构线段是环境全局方向的直接观测。
图3是现有技术提供的典型曼哈顿世界模型的示意图，如图3所示，场景包含三个主方向(X轴、Y轴和Z轴)，每个主方向都存在多条线段。将环境中方向与主方向一致的线段被定义为结构线段，与三个主方向都不一致的线段定义为非结构线段。根据方向的不同，结构线段能够分为三类，即X轴方向的结构线段、Y轴方向的结构线段和Z轴方向的结构线段。
在确定结构线段的方向后，可以确定结构线段对应的第一投影平面，结构线段与第一投影平面的交点的二维坐标为结构线段的2D投影坐标，并在VIO系统使用该坐标表示结构线段。
如图3所示，线段②和⑧为X轴方向的结构线段，对应的投影平面为YOZ；线段①、③、④和⑥为Z轴方向的结构线段，对应的投影平面为XOY；线段⑤和⑦为Y轴方向的结构线段，对应的投影平面为XOZ。
在一些实施例中，所述基于所述图像数据，确定结构线段以及所述结构线段的全局方向，包括：
基于全局坐标系的坐标轴的方向向量，确定所述方向向量在图像坐标系下对应的第四消影点、第五消影点和第六消影点；
对所述图像数据进行特征提取，确定所述图像数据中的目标线段；
基于所述目标线段的中点、所述第四消影点、所述第五消影点和所述第六消影点，确定第一线段、第二线段和第三线段；
基于所述目标线段分别与所述第一线段、所述第二线段和所述第三线段之间的第三夹角，确定所述结构线段以及所述全局方向。
经过坐标对齐步骤后，VIO系统的全局坐标系G与建筑坐标系B重合。将全局坐标系G三个坐标轴的方向向量投影到图像坐标系上，可以得到图像坐标系C下该方向向量对应的消影点v′i，v′i的投影公式如下：
其中，K表示预先标定的相机内参数矩阵，表示全局坐标系G到当前IMU的旋转矩阵，/>表示IMU和相机的旋转矩阵，ei表示全局坐标系G的方向向量。
即通过公式(7)可以得到消影点在图像坐标系C下的齐次坐标表示。
对于图像上提取到的任意一条目标线段lj，目标线段lj的中点为mj，根据中点mj与第四消影点v′x的连线，可以得到第一线段lxj；根据中点mj与第五消影点v′y的连线，可以得到第二线段lyj；根据中点mj与第六消影点v′z的连线，可以得到第三线段lzj。
从而可以得到目标线段lj与第一线段lxj之间的夹角δxj、目标线段l与第二线段lyj之间的夹角δyj，以及目标线段l与第三线段lzj之间的夹角δzj。
如果δxj，δyj和δzj都大于3度，则判断目标线段lj不是结构线段。否则，判断目标线段lj为结构线段。
在判断目标线段为结构线段时，在δxj，δyj和δzj中，选择角度最小的值所对应的坐标轴的方向，作为结构线段的全局方向。
进一步地，为了提高线段方向分类的准确性，可以在多帧图像上检测结构线段的方向一致性。假设三维空间中的一条结构线L能够被连续m帧图像观测到，由于线段检测、跟踪和分类步骤存在误差，可能会导致该线段在不同的图像上被分类到不同的方向上。
假设结构线段L被分类为X轴方向对应的图像最多，共有k帧图像。只有当k/m的比值大于一定阈值时，才判定该线段为X轴方向的结构线段。否则，该线段会被判定为非结构线段。
可选地，本发明实施例在三个主方向采用不同的阈值，其中X轴和Y轴方向阈值为0.75，Z轴方向为0.90。这样设置阈值的原因是，对于手持相机或者无人机在人造环境中拍摄的图像，水平方向的线段比垂直方向的线段提取和跟踪都更加困难。如果设置相同的阈值，水平方向能够被系统利用的结构线段数量极少。
在步骤103中，基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新。
在一些实施例中，所述基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述全局方向，确定所述结构线段对应的第一投影平面；
基于所述第一投影平面和相机光心，确定第二投影平面；
基于所述结构线段在全局坐标系下的第一普吕克坐标，和所述第二投影平面，确定所述结构线段的初始投影坐标；
基于最小化重投影误差方法对所述初始投影坐标进行优化，确定目标投影坐标；
基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新。
为了在VIO系统中利用结构线段的特征，需要首先计算出结构线段在三维空间中的位置。当前没有专门针对结构线段的三角化方法，导致结构线段的全局方向信息在三角化过程中无法被有效利用。因此，本发明实施提出了一种专门针对结构线段的三角化方法。
首先根据结构线段的全局方向，确定结构线段对应的第一投影平面，结构线段的2D投影坐标定义为结构线段与其对应的第一投影平面的交点，第一投影平面与结构线段垂直且通过坐标原点。例如结构线段的全局方向为X轴方向时，则第一投影平面为YOZ。
然后将结构线段作为普通线段，通过传统的线段三角化算法，即多视角约束的线段三角化方法，可以得到结构线段L在全局坐标系G下的第一普吕克矩阵L*(L*为4×4的矩阵)，在这一过程中，结构线段L的方向信息没有被利用，第一普吕克坐标存在角度和位置误差，得到的线段方向和位置都存在误差。
当结构线段的位置与投影平面的距离越远时，得到的初始投影坐标与真实值的差值会越大。因此，将与第一投影平面平行且过当前相机光心的平面作为替代投影平面，即第二投影平面。替代投影平面与结构线段的距离较小，使用替代投影平面计算的初始投影坐标误差也较小。
例如，结构线段L可以被相机Cn观测到，假设相机的光心位置为则经过相机光心的替代投影平面πP的表达式如下：
结构线段L与替代投影平面πP的交点为：
Q＝(L*)πP＝[XP YP ZP WP]T (9)
其中，L*表示第一普吕克坐标，πP表示第二投影平面。
结构线段L的初始投影坐标qinit为：
通过上述步骤得到结构线段L的初始投影坐标后，由于结构线段L的全局方向已知，即能够通过初始投影坐标直接构建出结构线段L的普吕克坐标。所构建的普吕克坐标只存在位置误差，不存在方向误差，即结构线段的全局方向信息在三角化中得到了利用。
然后，通过最小化重投影误差方法对结构线段的位置进行优化，可以得到更加准确的目标投影坐标。本发明实施例使用的优化目标函数如下：
其中，el表示结构线段L的重投影误差，通过采用列文伯格-马夸尔特(Levenberg-Marquardt，LM)算法对上述目标函数进行优化，可以得到更准确的目标投影坐标。目标投影坐标可用于构建当前环境的结构线段地图。
本发明实施例提供的基于结构线段的VIO系统的位姿估计方法，在确定结构线段的初始投影坐标后，利用结构线段的全局方向信息对其位置进行优化，提高了结构线段的位置的准确性，进一步提高了位姿估计精度。
在一些实施例中，所述基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述目标投影坐标和所述全局方向，确定所述结构线段与所述第一投影平面的目标交点；
基于所述目标交点和所述全局方向，确定所述结构线段在全局坐标系下的第二普吕克坐标；
基于所述第二普吕克坐标，确定所述结构线段在相机坐标系下的第三普吕克坐标；
基于所述第三普吕克坐标，将所述结构线段从相机坐标系投影至图像平面，确定所述结构线段的重投影误差；
基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新。
在一些实施例中，所述基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新，包括：
确定所述重投影误差对相机位姿和所述目标投影坐标的雅可比矩阵；
基于所述重投影误差和所述雅可比矩阵，对预测的状态向量和协方差矩阵进行更新。
对于结构线段L，目标投影坐标为q，结构线段L与第一投影平面的3D交点为Q。
在确定结构线段L的全局方向和目标投影坐标q后，能够通过以下公式计算结构线段L与第一投影平面的3D交点，即目标交点Q，表达式如下：
QG＝PTq (12)
其中，P表示从2D投影坐标到3D交点的变换矩阵，
P的表达式如下：
Q为结构线段L上的一点，且由于结构线段L的全局方向已知，可以通过以下公式得到结构线段L在全局坐标系G下的普吕克坐标LG，即第二普吕克坐标，LG的表达式如下：
其中，n表示结构线段L与坐标原点O构成的平面的法向量，{d＝ei,i＝x,y,z}表示结构线段L的全局方向，表示结构线段与其投影平面三维交点QG＝[q1 q2 q3]T的反对称矩阵。
的表达式如下：
即经过上述步骤，得到了结构线段L在全局坐标系G下的普吕克坐标LG。
为了计算结构线段的重投影误差，需要得到结构线段L在图像上的投影。
首先，利用相机位姿计算结构线段L在当前相机坐标系下的普吕克坐标LC，即第三普吕克坐标，LC的表达式如下：
其中，和/>分别表示当前相机在全局坐标系G下的旋转和平移，LG表示第二普吕克坐标。
其次，将结构线段L从相机坐标系投影到图像平面，投影线段l的表达式如下：
其中，fx与fy表示相机的焦距，cx与cy表示相机的主点位置，可通过预先标定确定具体的取值。
结构线段L的重投影误差el为跟踪线段的两个端点xs和xe到投影线段l的距离，重投影误差el的计算公式如下：
其中，xs＝[usvs1]T和xe＝[ueve1]T分别为跟踪线段的端点在像素坐标系下的齐次坐标表示。
根据重投影误差，可以得到重投影误差对相机位姿的雅克比矩阵，以及重投影误差对目标投影坐标的雅克比矩阵。
从而可以根据重投影误差和雅可比矩阵，对预测的状态向量和协方差矩阵进行更新。
可选地，预测过程如下：获取当前图像时刻与上一图像时刻之间的IMU数据，然后利用IMU动力学方程将系统状态向量和协方差从上一时刻积分到当前时刻。其次，由于系统中增加了新的图像，需要进行状态扩增，即将当前相机姿态加入到初始状态向量中，并对协方差矩阵进行扩充，从而得到预测的状态向量和协方差矩阵。
其中，协方差矩阵是与状态向量相关联的矩阵，该矩阵描述了卡尔曼滤波状态估计的不确定度及估计误差之间的相关程度。
在步骤104中，基于更新后的状态向量和协方差矩阵，确定相机的位姿。
根据更新后的状态向量和协方差矩阵，可以准确确定相机的位姿。
本发明实施例提供的基于结构线段的VIO系统的位姿估计方法，通过利用结构线段的全局方向来进行位姿估计，由于图像上的结构线段是环境全局方向的直接观测，从而可以利用结构线段消除消除VIO系统在旋转估计中存在的累积误差，进而提高了位姿估计精度。
图4是本发明实施例提供的基于结构线段的VIO系统的位姿估计方法的流程示意图之二，如图4所示，主要包括四个步骤：VIO初始化和坐标对齐、图像处理、系统预测和系统更新。
S1、VIO初始化和坐标对齐，包括VIO系统初始化和坐标对齐两个步骤。
S1.1、VIO系统初始化主要完成重力方向、速度、位置和尺度初始值的估计。
S1.2、在VIO系统初始化完成之后，坐标对齐步骤利用多帧图像信息计算当前VIO全局坐标系G和建筑坐标系B之间的旋转矩阵，然后将VIO系统的状态变量从全局坐标系G变换到建筑坐标系B下，变换完成后，VIO系统的全局坐标系G的三个坐标轴分别与曼哈顿世界模型的三个主方向保持一致。
S2、图像处理包括：点特征提取、点特征跟踪、线段特征提取、线段特征跟踪和线段方向分类五个步骤。
点特征的提取和跟踪分别使用了角点检测(Feature from Accelerated SegmentTest，FAST)算法和KLT光流跟踪算法(Kanade-Lucas-Tomasi Tracking Method)；线特征的提取与匹配则分别使用了直线提取(Line Segment Detector，LSD)算法和线段描述子(Line Band Discriptor，LBD)。
特别地，为了利用环境中的结构信息，需要对线段跟踪的结果进行分类，从而判断线段是否属于结构线段。如果是结构线段特征，则需要进一步判别其对应的全局方向。
S3、系统预测步骤利用两帧图像之间的IMU信息预测最新的系统状态向量和协方差，这一过程会增大系统的不确定度。
VIO系统的预测过程如下：首先，获取当前图像时刻与上一图像时刻之间的IMU数据，然后利用IMU动力学方程将系统状态向量和协方差从上一时刻积分到当前时刻。其次，由于系统中增加了新的图像，需要进行状态扩增，即将当前相机姿态加入到系统状态向量中，并对协方差矩阵进行扩充。
S4、所提出的结构线段辅助的VIO系统的更新步骤同时利用了点特征和结构线段的观测信息，这一过程系统的不确定性减小。
特别地，对于结构线段，首先利用提出的三角化方法计算得到其投影坐标，然后利用投影坐标计算结构线段特征的重投影误差和雅可比矩阵，最后完成系统状态向量和协方差的更新。
VIO系统的更新过程如下：通过图像处理步骤得到点特征和结构线段特征在连续图像之间的关联关系后，为了在VIO系统利用点特征和结构线段特征的观测信息，首先分别需要进行点特征和线段特征的三角化，得到其在三维空间中的坐标。其次，利用点特征和结构线段特征的观测模型分别计算点特征和结构线段的重投影误差和雅可比矩阵，从而实现对系统状态向量和协方差的更新。
经过上述步骤后，结构线段的全局方向信息被VIO系统充分利用。
本发明实施例提供了一种基于结构线段的VIO系统的位姿估计方法，系统首先进行VIO初始化，之后进行坐标对齐，最后经过图像处理、预测和更新后，得到位姿估计结果。由于结构线段编码了环境的全局方向信息，因此，能够利用结构线段消除VIO系统在旋转估计中存在的累积误差，进而提高系统的位姿估计精度。此外，在使用了结构线段的观测信息后，里程计系统的鲁棒性以及对复杂环境(弱纹理、运动模糊和光照变化)的适应性也能够得到提升。由于人造建筑环境中一般都存在较为明显的结构规律，故本发明具有广泛的应用场景。
下面对本发明提供的基于结构线段的VIO系统的位姿估计装置进行描述，下文描述的基于结构线段的VIO系统的位姿估计装置与上文描述的基于结构线段的VIO系统的位姿估计方法可相互对应参照。
图5是本发明实施例提供的基于结构线段的VIO系统的位姿估计装置的结构示意图，如图5所示，本发明实施例提供的基于结构线段的VIO系统的位姿估计装置，包括：
变换模块510，用于基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
第一确定模块520，用于基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
更新模块530，用于基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
第二确定模块540，用于基于更新后的状态向量和协方差矩阵，确定相机的位姿。
在此需要说明的是，本发明实施例提供的基于结构线段的VIO系统的位姿估计装置，能够实现上述基于结构线段的VIO系统的位姿估计方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
可选地，还包括：第三确定模块，用于：
在所述图像数据对应的消影点中确定与建筑坐标系的坐标轴方向分别对应的第一消影点、第二消影点和第三消影点；
基于所述第一消影点、所述第二消影点和所述第三消影点，确定建筑坐标系和全局坐标系在X轴和Y轴方向上的第一夹角和第二夹角；
基于所述第一夹角和所述第二夹角，确定所述旋转矩阵。
可选地，所述第一确定模块520，具体用于：
基于全局坐标系的坐标轴的方向向量，确定所述方向向量在图像坐标系下对应的第四消影点、第五消影点和第六消影点；
对所述图像数据进行特征提取，确定所述图像数据中的目标线段；
基于所述目标线段的中点、所述第四消影点、所述第五消影点和所述第六消影点，确定第一线段、第二线段和第三线段；
基于所述目标线段分别与所述第一线段、所述第二线段和所述第三线段之间的第三夹角，确定所述结构线段以及所述全局方向。
可选地，所述更新模块530，具体用于：
基于所述全局方向，确定所述结构线段对应的第一投影平面；
基于所述第一投影平面和相机光心，确定第二投影平面；
基于所述结构线段在全局坐标系下的第一普吕克坐标，和所述第二投影平面，确定所述结构线段的初始投影坐标；
基于最小化重投影误差方法对所述初始投影坐标进行优化，确定目标投影坐标；
基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新。
可选地，所述更新模块530，具体用于：
基于所述目标投影坐标和所述全局方向，确定所述结构线段与所述第一投影平面的目标交点；
基于所述目标交点和所述全局方向，确定所述结构线段在全局坐标系下的第二普吕克坐标；
基于所述第二普吕克坐标，确定所述结构线段在相机坐标系下的第三普吕克坐标；
基于所述第三普吕克坐标，将所述结构线段从相机坐标系投影至图像平面，确定所述结构线段的重投影误差；
基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新。
可选地，所述更新模块530，具体用于：
确定所述重投影误差对相机位姿和所述目标投影坐标的雅可比矩阵；
基于所述重投影误差和所述雅可比矩阵，对预测的状态向量和协方差矩阵进行更新。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于结构线段的VIO系统的位姿估计方法，该方法包括：基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；基于更新后的状态向量和协方差矩阵，确定相机的位姿。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于结构线段的VIO系统的位姿估计方法，该方法包括：基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；基于更新后的状态向量和协方差矩阵，确定相机的位姿。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于结构线段的VIO系统的位姿估计方法，该方法包括：基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；基于更新后的状态向量和协方差矩阵，确定相机的位姿。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于结构线段的VIO系统的位姿估计方法，其特征在于，包括：
基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
基于更新后的状态向量和协方差矩阵，确定相机的位姿。
2.根据权利要求1所述的基于结构线段的VIO系统的位姿估计方法，其特征在于，所述基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系之前，还包括：
在所述图像数据对应的消影点中确定与建筑坐标系的坐标轴方向分别对应的第一消影点、第二消影点和第三消影点；
基于所述第一消影点、所述第二消影点和所述第三消影点，确定建筑坐标系和全局坐标系在X轴和Y轴方向上的第一夹角和第二夹角；
基于所述第一夹角和所述第二夹角，确定所述旋转矩阵。
3.根据权利要求1所述的基于结构线段的VIO系统的位姿估计方法，其特征在于，所述基于所述图像数据，确定结构线段以及所述结构线段的全局方向，包括：
基于全局坐标系的坐标轴的方向向量，确定所述方向向量在图像坐标系下对应的第四消影点、第五消影点和第六消影点；
对所述图像数据进行特征提取，确定所述图像数据中的目标线段；
基于所述目标线段的中点、所述第四消影点、所述第五消影点和所述第六消影点，确定第一线段、第二线段和第三线段；
基于所述目标线段分别与所述第一线段、所述第二线段和所述第三线段之间的第三夹角，确定所述结构线段以及所述全局方向。
4.根据权利要求1所述的基于结构线段的VIO系统的位姿估计方法，其特征在于，所述基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述全局方向，确定所述结构线段对应的第一投影平面；
基于所述第一投影平面和相机光心，确定第二投影平面；
基于所述结构线段在全局坐标系下的第一普吕克坐标，和所述第二投影平面，确定所述结构线段的初始投影坐标；
基于最小化重投影误差方法对所述初始投影坐标进行优化，确定目标投影坐标；
基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新。
5.根据权利要求4所述的基于结构线段的VIO系统的位姿估计方法，其特征在于，所述基于所述目标投影坐标，对预测的状态向量和协方差矩阵进行更新，包括：
基于所述目标投影坐标和所述全局方向，确定所述结构线段与所述第一投影平面的目标交点；
基于所述目标交点和所述全局方向，确定所述结构线段在全局坐标系下的第二普吕克坐标；
基于所述第二普吕克坐标，确定所述结构线段在相机坐标系下的第三普吕克坐标；
基于所述第三普吕克坐标，将所述结构线段从相机坐标系投影至图像平面，确定所述结构线段的重投影误差；
基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新。
6.根据权利要求5所述的基于结构线段的VIO系统的位姿估计方法，其特征在于，所述基于所述重投影误差，对预测的状态向量和协方差矩阵进行更新，包括：
确定所述重投影误差对相机位姿和所述目标投影坐标的雅可比矩阵；
基于所述重投影误差和所述雅可比矩阵，对预测的状态向量和协方差矩阵进行更新。
7.一种基于结构线段的VIO系统的位姿估计装置，其特征在于，包括：
变换模块，用于基于全局坐标系和建筑坐标系之间的旋转矩阵，将VIO系统的初始状态向量变换至建筑坐标系；所述旋转矩阵是基于VIO系统采集的图像数据确定的；
第一确定模块，用于基于所述图像数据，确定结构线段以及所述结构线段的全局方向；所述结构线段是与建筑坐标系的坐标轴的方向相同的线段；
更新模块，用于基于所述结构线段以及所述全局方向，对预测的状态向量和协方差矩阵进行更新；所述预测的状态变量和协方差矩阵是基于坐标转换后的初始状态向量确定的；
第二确定模块，用于基于更新后的状态向量和协方差矩阵，确定相机的位姿。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于结构线段的VIO系统的位姿估计方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于结构线段的VIO系统的位姿估计方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于结构线段的VIO系统的位姿估计方法。
CN202310414516.XA 2023-04-18 2023-04-18 基于结构线段的vio系统的位姿估计方法、装置及介质 Pending CN116704022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310414516.XA CN116704022A (zh) 2023-04-18 2023-04-18 基于结构线段的vio系统的位姿估计方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310414516.XA CN116704022A (zh) 2023-04-18 2023-04-18 基于结构线段的vio系统的位姿估计方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116704022A true CN116704022A (zh) 2023-09-05

Family

ID=87842242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310414516.XA Pending CN116704022A (zh) 2023-04-18 2023-04-18 基于结构线段的vio系统的位姿估计方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116704022A (zh)

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN107990899B (zh) 一种基于slam的定位方法和系统
Tanskanen et al. Live metric 3D reconstruction on mobile phones
US10033985B2 (en) Camera pose estimation apparatus and method for augmented reality imaging
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
US20210183100A1 (en) Data processing method and apparatus
WO2020221307A1 (zh) 一种运动物体的追踪方法和装置
Seiskari et al. Hybvio: Pushing the limits of real-time visual-inertial odometry
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
TWI795885B (zh) 視覺定位方法、設備和電腦可讀儲存介質
CN113361365B (zh) 定位方法和装置、设备及存储介质
Wei et al. A point-line vio system with novel feature hybrids and with novel line predicting-matching
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN112907633A (zh) 动态特征点识别方法及其应用
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN116704022A (zh) 基于结构线段的vio系统的位姿估计方法、装置及介质
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN114119885A (zh) 图像特征点匹配方法、装置及系统、地图构建方法及系统
Li et al. IMU-Assisted Uncertainty-Weighted Attitude Estimation Algorithm from Non-Corresponding Points
Grießbach et al. Vision aided inertial navigation
Ismail et al. A review of visual inertial odometry for object tracking and measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination