CN115526931A - 一种单目初始化方法及系统 - Google Patents

一种单目初始化方法及系统 Download PDF

Info

Publication number
CN115526931A
CN115526931A CN202211024887.9A CN202211024887A CN115526931A CN 115526931 A CN115526931 A CN 115526931A CN 202211024887 A CN202211024887 A CN 202211024887A CN 115526931 A CN115526931 A CN 115526931A
Authority
CN
China
Prior art keywords
frame
image
frame image
images
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211024887.9A
Other languages
English (en)
Inventor
周凯
李可润
欧阳鹏
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Qingwei Intelligent Technology Co ltd
Original Assignee
Jiangsu Qingwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Qingwei Intelligent Technology Co ltd filed Critical Jiangsu Qingwei Intelligent Technology Co ltd
Priority to CN202211024887.9A priority Critical patent/CN115526931A/zh
Publication of CN115526931A publication Critical patent/CN115526931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明的提供了一种单目初始化方法，其包括：得到具有视差变化差异的三帧图像。通过三帧图像得到三焦点张量。根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵。根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。本发明的单目初始化方法通过三视图完成单目SLAM的初始化，可较好地避免传统二视图方法可能引入错误地图点的问题，使初始化的结果更加可靠。同时本发明还提供了一种单目初始化系统。

Description

一种单目初始化方法及系统
技术领域
本发明涉及属于图像处理和计算机视觉领域。本发明具体涉及一种单目初始化方法及系统。
背景技术
单目视觉SLAM在无人机和室外移动机器人自定位中有着广泛的应用。单目视觉SLAM的初始化用于确定起始帧位姿以及地图的初始结构。初始化结果的好坏将直接影响整个SLAM过程。现有的单目视觉SLAM的初始化方法一般使用两视图对极几何的方法，即利用起始的两帧图像之间的匹配点通过RANSAC计算基础矩阵，从基础矩阵中提取出两帧图像的相对位姿，并通过三角化匹配点来得到初始的地图点坐标。
两视图方法的不足之处在于若某些错误的匹配点正好位于极线上，则无法利用RANSAC检测出来，导致最终的初始化结果中包含错误的地图点，从而影响后续帧位姿估计的精度。
发明内容
本发明的目的是提供一种单目初始化方法，其通过三视图完成单目SLAM的初始化，可较好地避免上述问题，使初始化的结果更加可靠。
本发明的一方面提供了一种单目初始化方法，包括：
得到具有视差变化差异的三帧图像。通过三帧图像得到三焦点张量。
根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵。根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
在本发明单目初始化方法的一种实施中，得到具有视差变化差异的三帧图像包括：
使相机从一个初始位置开始运动，在相机运动过程中任采集一帧图像作为三帧图像中的第一帧图像，提取第一帧图像中的角点。
使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像。根据设定的筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像。
若无法根据筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过相机重新采集第一帧图像。
在本发明单目初始化方法的另一种实施中，设定的筛选条件包括：筛选条件为：在第一帧图像到第二帧图像的跟踪中和第二帧图像到第三帧图像的跟踪中，有设定占比以上的角点跟踪成功，且所有跟踪成功的角点位移的均值大于设定偏移量。所有跟踪成功的角点在两次跟踪中位移方向矢量的夹角的平均值大于设定角度。
在本发明单目初始化方法的又一种实施中，设定角度为5°。即
Figure BDA0003815261450000021
其中N是两次跟踪成功的角点的个数，θi是第i个角点在两次跟踪中位移方向矢量的夹角。
在本发明单目初始化方法的又一种实施中，通过三帧图像得到三焦点张量包括：
第一帧图像，第二帧图像和第三帧图像中每一个跟踪成功角点的坐标构成了跨三张图像的一组对应点，所有跟踪成功的角点构成了多组对应点。通过RANSAC随机采样一致性方法和多组对应点估计鲁棒的三焦点张量，并记录多组对应点对应中满足内点条件的多组内点。
在本发明单目初始化方法的再一种实施中，根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵还包括：
利用三焦点张量恢复出第一帧图像和第二帧图像之间的第一基础矩阵，以及第一帧图像和第三帧图像之间的第二基础矩阵。然后基于已知的相机内参矩阵，从第一基础矩阵中提取出第一帧和第二帧的第一位姿变换矩阵。从第二基础矩阵中提取出第一帧和第三帧的第二位姿变换矩阵。
在本发明单目初始化方法的再一种实施中，根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标包括：将定位点的坐标系设定为参考坐标系。
给第一位姿变换矩阵指定一个设定尺度，得到第二帧图像的位姿信息，通过第一帧图像和第二帧图像的位姿信息对所述多组内点进行三角化，获取初始地图坐标；
给第二位姿变换矩阵指定多个尺度，利用第二位姿变换矩阵将三角化后的地图点向第三帧图像上投影，寻找使投影误差最小的尺度作为第二位姿变换矩阵的尺度，以保持尺度的一致性。
在本发明单目初始化方法的再一种实施中，还包括：
以多组内点在三帧图像上的重投影误差作为最小化的误差项，以三帧图像的位姿信息和多组内点的三维坐标作为初始值，进行全局光束平差法优化。
根据光束平差法优化的结果作为初始化结果的图像帧位姿和地图坐标。
本发明的第二个方面，公开了一种单目初始化系统，包括：
三帧图像获取单元，其配置为得到具有视差变化差异的三帧图像。
张量获取单元，其配置为通过三帧图像得到三焦点张量。
初始化单元，其配置为根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵。根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
在本发明单目初始化系统的另一种实施中，三帧图像获取单元还配置为，使相机从一个初始位置开始运动，在相机运动过程中任采集一帧图像作为三帧图像中的第一帧图像，提取第一帧图像中的角点。
使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像。根据设定的筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像。
若无法根据筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过相机重新采集第一帧图像。
下文将以明确易懂的方式，结合附图对单目初始化方法的特性、技术特征、优点及其实现方式予以进一步说明。
附图说明
图1是用于说明在本发明一种实施方式中，单目初始化方法的流程示意图。
图2是用于说明在本发明另一种实施方式中，单目初始化系统的组成示意图。
图3是用于说明在本发明再一种实施方式中，三视图角点对应关系示意图。
具体实施方式
为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中只示意性地表示出了与本示例性实施例相关的部分，它们并不代表其作为产品的实际结构及真实比例。
本发明的一方面提供了一种单目初始化方法，如图1所示，包括：
步骤S101，得到具有视差变化差异的三帧图像。通过三帧图像得到三焦点张量。
步骤S102，根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵。根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
在本发明单目初始化方法的一种实施中，得到具有视差变化差异的三帧图像包括：
使相机从一个初始位置开始运动，在相机运动过程中任采集一帧图像作为三帧图像中的第一帧图像，提取第一帧图像中的角点。
使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像。根据设定的筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像。
若无法根据筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过相机重新采集第一帧图像。
在本发明单目初始化方法的另一种实施中，设定的筛选条件包括：筛选条件为：在第一帧图像到第二帧图像的跟踪中和第二帧图像到第三帧图像的跟踪中，有设定占比以上的角点跟踪成功，且所有跟踪成功的角点位移的均值大于设定偏移量。所有跟踪成功的角点在两次跟踪中位移方向矢量的夹角的平均值大于设定角度。
在本发明单目初始化方法的又一种实施中，设定角度为5°。即
Figure BDA0003815261450000041
其中N是两次跟踪成功的角点的个数，θi是第i个角点在两次跟踪中位移方向矢量的夹角。
在本发明单目初始化方法的又一种实施中，通过三帧图像得到三焦点张量包括：
第一帧图像，第二帧图像和第三帧图像中每一个跟踪成功角点的坐标构成了跨三张图像的一组对应点，所有跟踪成功的角点构成了多组对应点。通过RANSAC随机采样一致性方法和多组对应点估计鲁棒的三焦点张量，并记录多组对应点对应中满足内点条件的多组内点。
在本发明单目初始化方法的再一种实施中，根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵还包括：
利用三焦点张量恢复出第一帧图像和第二帧图像之间的第一基础矩阵，以及第一帧图像和第三帧图像之间的第二基础矩阵。然后基于已知的相机内参矩阵，从第一基础矩阵中提取出第一帧和第二帧的第一位姿变换矩阵。从第二基础矩阵中提取出第一帧和第三帧的第二位姿变换矩阵。
在本发明单目初始化方法的再一种实施中，根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标包括：
将定位点的坐标系设定为参考坐标系。
给第一位姿变换矩阵指定一个设定尺度，得到第二帧图像的位姿信息，通过第一帧图像和第二帧图像的位姿信息对所述多组内点进行三角化，获取初始地图坐标；
给第二位姿变换矩阵指定多个尺度，利用第二位姿变换矩阵将三角化后的地图点向第三帧图像上投影，寻找使投影误差最小的尺度作为第二位姿变换矩阵的尺度，以保持尺度的一致性。
在本发明单目初始化方法的再一种实施中，还包括：
以多组内点在三帧图像上的重投影误差作为最小化的误差项，以三帧图像的位姿信息和多组内点的三维坐标作为初始值，进行全局光束平差法优化。
根据光束平差法优化的结果作为初始化结果的图像帧位姿和地图坐标。
本发明的第二个方面，如图2所示，公开了一种单目初始化系统，包括：
三帧图像获取单元101，其配置为得到具有视差变化差异的三帧图像。
张量获取单元102，其配置为通过三帧图像得到三焦点张量。
初始化单元103，其配置为根据三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵。根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
在本发明单目初始化系统的另一种实施中，三帧图像获取单元101还配置为，使相机从一个初始位置开始运动，在相机运动过程中任采集一帧图像作为三帧图像中的第一帧图像，提取第一帧图像中的角点。
使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像。根据设定的筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像。
若无法根据筛选条件从多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过相机重新采集第一帧图像。
本发明的另一种实施方式中的单目初始化方法，其基于的设备包含一个已标定内参数的相机以及必要的计算与存储设备。本发明所述的方法利用相机在运动过程中拍摄得到的三幅场景图像完成单目slam的初始化过程，包括同时恢复三个时刻相机的位姿以及场景的三维结构。具体步骤如下:
步骤S201，在相机运动过程中任选一帧图像作为第一帧图像，提取图像中的所有角点。
步骤S202，使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，并根据跟踪结果筛选出第二帧和第三帧图像。筛选条件为：从第一帧图像到第二帧图像有80％以上的角点跟踪成功，且所有跟踪成功的角点的位移的均值大于dmin；从第二帧图像到第三帧图像有80％以上的角点跟踪成功，且所有跟踪成功的角点的位移的均值大于dmin；所有跟踪成功的角点在两次跟踪中位移方向矢量的夹角的平均值大于5°，即
Figure BDA0003815261450000061
其中N是两次跟踪成功的角点的个数，θi是第i个角点在两次跟踪中位移方向矢量的夹角。前两个条件是为了保证前后帧图像之间有足够的视差，最后一个条件是为了保证两次视差变化的方向有一定的差异。
步骤S203，若无法筛选出满足条件的第二帧和第三帧图像(比如跟踪成功率已低于80％,但角点位移的均值和方向仍未满足条件)，则返回第1步重新选择第一帧图像。
步骤S204，每一个跟踪成功的角点在第一帧，第二帧和第三帧图像中的坐标构成了跨三张图像的一组对应点对应。基于N个跟踪成功的角点构成的N组点对应，利用RANSAC方法估计鲁棒的三焦点张量T,并记录N组点对应中满足内点条件的M组点对应。
步骤S205，利用三焦点张量T恢复出第1帧和第2帧之间的基础矩阵F21，以及第1帧和第3帧之间的基础矩阵F31。然后基于已知的相机内参矩阵K，从F21和F31中提取出第一帧和第二帧之间的位姿变换矩阵[R21,t21]以及第一帧和第三帧之间的位姿变换矩阵[R31,t31]。
步骤S206，将第一帧图像的相机坐标系设定为参考坐标系，在对t21和t31指定一个设定尺度后，即得到了第二帧图像和第三帧图像的位姿。利用三帧图像的位姿对步骤S204，中的M组点对应进行三角化，即可得到M个地图点的三维坐标。
步骤S207，以M个地图点在三帧图像上的重投影误差作为最小化的误差项，以第6步计算得到的三帧图像的位姿和M个地图点的三维坐标作为初始值，进行一次全局BA优化，BA优化后的结果作为最终的初始化结果。
如图3所示，本发明的再一种实施方式中的单目初始化方法，包括步骤：
步骤S301，在相机运动过程中任选一帧图像作为第一帧图像，提取图像中的所有角点。其中角点是图像中比较容易辨认的点，具体地，可以选择Fast角点并设置合适的阈值用于角点判别。
步骤S302，使用LK光流法跟踪第一帧图像中的角点在后续图像中的位置，并根据跟踪结果筛选出第二帧和第三帧图像。筛选条件为：从第一帧图像到第二帧图像有80％以上的角点跟踪成功，且所有跟踪成功的角点的位移的均值大于dmin。
从第二帧图像到第三帧图像有80％以上的角点跟踪成功，且所有跟踪成功的角点的位移的均值大于dmin；所有跟踪成功的角点在两次跟踪中位移方向矢量的夹角的平均值大于5°，即
Figure BDA0003815261450000071
其中N是两次跟踪成功的角点的个数，θi是第i个角点在两次跟踪中位移方向矢量的夹角。
前两个条件是为了保证前后帧图像之间有足够的视差，最后一个条件是为了保证两次视差变化的方向有一定的差异。LK光流法是一种成熟的稀疏光流算法，这里不做展开介绍。
步骤S303，若无法筛选出满足条件的第二帧和第三帧图像(比如跟踪成功率已低于80％,但角点位移的均值和方向仍未满足条件)，则返回第1步重新选择第一帧图像。
步骤S304，每一个跟踪成功的角点在第一帧，第二帧和第三帧图像中的坐标构成了跨三张图像的一组对应点对应。基于N个跟踪成功的角点构成的N组点对应，利用RANSAC方法估计鲁棒的三焦点张量T,并记录N组点对应中满足内点条件的M组点对应。
具体地，计算过程为，设置循环次数K，在每次循环中执行如下操作：
(1)在每次循环中，从N组点对应中随机选择7组点对应构建齐次线性方程组：
At＝0
其中t是T的所有27个元素构成的向量，A是由7组对应点的坐标构成的系数矩阵，其维度是28×27。利用SVD分解的方法计算方程组的最小二乘解，作为T的一个假设。
(2)为每一组对应点对应(x,x′,x″)计算误差d⊥，如公式1，其中
Figure BDA0003815261450000072
其中x，x′，x″是角点在第一帧，第二帧和第三帧图像中的坐标，
Figure BDA0003815261450000073
是是估计的3D空间点根据T投影得到的坐标，如公式2，计算方式如下：
Figure BDA0003815261450000074
其中P′和P″由T计算得到，具体计算方式为：将T表示为3个3×3的矩阵：[T1,T2,T3]，首先由下式计算两个极点e′和e″的坐标：如公式3；
Figure BDA0003815261450000075
其中ui和vi分别是Ti的左零空间向量和右零空间向量。然后由下式得到P′和P″：如公式4
Figure BDA0003815261450000081
(3)统计N组点对应中满足d⊥＜t的点对应的个数，即为T的内点个数。其中t为内点筛选的阈值。
选择K次循环中内点个数最多的T作为三焦点张量的估计结果，同时记录对应的M组内点。
步骤S305，利用三焦点张量T恢复出第1帧和第2帧之间的基础矩阵F21，以及第1帧和第3帧之间的基础矩阵F31。然后基于已知的相机内参矩阵K，从F21和F31中提取出第一帧和第二帧之间的位姿变换矩阵[R21,t21]以及第一帧和第三帧之间的位姿变换矩阵[R31,t31]。
具体地，如公式5，基础矩阵F21和F31的计算方法为：
Figure BDA0003815261450000082
从F21和F31中提取出第一帧和第二帧之间的位姿变换矩阵[R21,t21]以及第一帧和第三帧之间的位姿变换矩阵[R31,t31]的方法为：如公式6，先由下式计算本质矩阵：
Figure BDA0003815261450000083
再分别对E21和E31进行SVD分解得到[R21,t21]和[R31,t31]。
步骤S306，将第一帧图像的相机坐标系设定为参考坐标系，在对t21和t31指定一个设定尺度后，即得到了第二帧图像和第三帧图像的位姿。利用三帧图像的位姿对步骤S304中的M组点对应进行三角化，即可得到M个地图点的三维坐标。对每一组对应点对应(x,x′,x″)先计算归一化坐标：如公式7
Figure BDA0003815261450000084
然后建立对地图点3D坐标X的约束，如公式8：
Figure BDA0003815261450000085
利用最小二乘法求解上述方程组即可解得对应的地图点坐标。
步骤S307，以M个地图点在三帧图像上的重投影误差作为最小化的误差项，以第6步计算得到的三帧图像的位姿和M个地图点的三维坐标作为初始值，进行一次全局BA优化，BA优化后的结果作为最终的初始化结果。
如公式9，最小化的误差项可表示为：
Figure BDA0003815261450000091
其中：
Figure BDA0003815261450000092
应当理解，虽然本说明书是按照各个实施方式中描述的，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种单目初始化方法，其特征在于，包括：
得到具有视差变化差异的三帧图像；通过所述三帧图像得到三焦点张量；
根据所述三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵；根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
2.根据权利要求1所述单目初始化方法，其特征在于，得到具有视差变化差异的三帧图像包括：
使相机从一个初始位置开始运动，在相机运动过程中任采集一帧图像作为所述三帧图像中的第一帧图像，提取所述第一帧图像中的角点；
使用LK光流法跟踪所述第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像；根据设定的筛选条件从所述多幅跟踪结果图像中筛选出第二帧和第三帧图像；
若无法根据筛选条件从所述多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过所述相机重新采集所述第一帧图像。
3.根据权利要求2所述单目初始化方法，其特征在于，所述设定的筛选条件包括：筛选条件为：在第一帧图像到第二帧图像的跟踪中和第二帧图像到第三帧图像的跟踪中，有设定占比以上的角点跟踪成功，且所有跟踪成功的角点位移的均值大于设定偏移量；所有跟踪成功的角点在两次跟踪中位移方向矢量的夹角的平均值大于设定角度。
4.根据权利要求3所述单目初始化方法，其特征在于，所述设定角度为5°；即
Figure FDA0003815261440000011
其中N是两次跟踪成功的角点的个数，θi是第i个角点在两次跟踪中位移方向矢量的夹角。
5.根据权利要求2所述单目初始化方法，其特征在于，所述通过所述三帧图像得到三焦点张量包括：
第一帧图像，第二帧图像和第三帧图像中每一个跟踪成功角点的坐标构成了跨三张图像的一组对应点，所有跟踪成功的角点构成了多组对应点；通过RANSAC随机采样一致性方法和多组对应点估计鲁棒的三焦点张量，并记录多组对应点中满足内点条件的多组内点。
6.根据权利要求1所述单目初始化方法，其特征在于，根据所述三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵还包括：
利用三焦点张量恢复出第一帧图像和第二帧图像之间的第一基础矩阵，以及第一帧图像和第三帧图像之间的第二基础矩阵。然后基于已知的相机内参矩阵，从第一基础矩阵中提取出第一帧和第二帧的第一位姿变换矩阵；从第二基础矩阵中提取出第一帧和第三帧的第二位姿变换矩阵。
7.根据权利要求5所述单目初始化方法，其特征在于，根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标包括：
将所述第一帧的相机坐标系设定为参考坐标系；
给第一位姿变换矩阵指定一个设定尺度，得到第二帧图像的位姿信息，通过第一帧图像和第二帧图像的位姿信息对所述多组内点进行三角化，获取初始地图坐标；
给第二位姿变换矩阵指定多个尺度，利用第二位姿变换矩阵将三角化后的地图点向第三帧图像上投影，寻找使投影误差最小的尺度作为第二位姿变换矩阵的尺度，以保持尺度的一致性。
8.根据权利要求1所述的单目初始化方法，其特征在于，还包括：
以多组内点在三帧图像上的重投影误差作为最小化的误差项，以三帧图像的位姿信息和多组内点的三维坐标作为初始值，进行全局光束平差法优化；
根据光束平差法优化的结果作为初始化结果的图像帧位姿和地图坐标。
9.一种单目初始化系统，其特征在于，包括：
三帧图像获取单元，其配置为得到具有视差变化差异的三帧图像；
张量获取单元，其配置为通过所述三帧图像得到三焦点张量；
初始化单元，其配置为根据所述三焦点张量得到三帧图像中第一帧和第二帧的第一位姿变换矩阵、第一帧和第三帧的第二位姿变换矩阵；根据所述第一位姿变换矩阵和所述第二位姿变换矩阵得到初始化结果的图像帧位姿和地图坐标。
10.根据权利要求9所述单目初始化系统，其特征在于，所述三帧图像获取单元还配置为，使相机从一个初始位置开始运动，在相机的运动过程中任采集一帧图像作为所述三帧图像中的第一帧图像，提取所述第一帧图像中的角点；
使用LK光流法跟踪所述第一帧图像中的角点在后续图像中的位置，得到多幅跟踪结果图像；根据设定的筛选条件从所述多幅跟踪结果图像中筛选出第二帧和第三帧图像；若无法根据筛选条件从所述多幅跟踪结果图像中筛选出第二帧和第三帧图像，则通过所述相机重新采集所述第一帧图像。
CN202211024887.9A 2022-08-25 2022-08-25 一种单目初始化方法及系统 Pending CN115526931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024887.9A CN115526931A (zh) 2022-08-25 2022-08-25 一种单目初始化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024887.9A CN115526931A (zh) 2022-08-25 2022-08-25 一种单目初始化方法及系统

Publications (1)

Publication Number Publication Date
CN115526931A true CN115526931A (zh) 2022-12-27

Family

ID=84696733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024887.9A Pending CN115526931A (zh) 2022-08-25 2022-08-25 一种单目初始化方法及系统

Country Status (1)

Country Link
CN (1) CN115526931A (zh)

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN112115980A (zh) 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
JP6584208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
US11568598B2 (en) Method and device for determining an environment map by a server using motion and orientation data
CN112418288A (zh) 一种基于gms和运动检测的动态视觉slam方法
WO2022247548A1 (zh) 定位方法和装置、电子设备及存储介质
WO2023005457A1 (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN110599545A (zh) 一种基于特征的构建稠密地图的系统
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
Huang et al. 360vo: Visual odometry using a single 360 camera
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN111105467A (zh) 一种图像标定方法、装置及电子设备
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN115526931A (zh) 一种单目初始化方法及系统
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication