CN107747941B - 一种双目视觉定位方法、装置及系统 - Google Patents

一种双目视觉定位方法、装置及系统 Download PDF

Info

Publication number
CN107747941B
CN107747941B CN201710908182.6A CN201710908182A CN107747941B CN 107747941 B CN107747941 B CN 107747941B CN 201710908182 A CN201710908182 A CN 201710908182A CN 107747941 B CN107747941 B CN 107747941B
Authority
CN
China
Prior art keywords
feature points
unit
images
change information
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710908182.6A
Other languages
English (en)
Other versions
CN107747941A (zh
Inventor
宋浩冉
戴天荣
任玉川
李舜铭
曹进喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710908182.6A priority Critical patent/CN107747941B/zh
Publication of CN107747941A publication Critical patent/CN107747941A/zh
Priority to PCT/CN2018/096185 priority patent/WO2019062291A1/zh
Priority to US16/302,024 priority patent/US10989540B2/en
Application granted granted Critical
Publication of CN107747941B publication Critical patent/CN107747941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明实施例提供一种双目视觉定位方法、装置及系统。其中，方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据惯性测量单元在连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从两帧图像中提取两帧图像上相匹配的特征点，并计算各特征点的重投影误差；将上述计算得到的结果作为通用图优化算法的节点或边，以得到优化后的用于定位的第三位姿变化信息。系统包括：双目视觉定位装置以及与之连接的双目摄像单元和惯性测量单元；所述双目摄像单元的左目相机和右目相机对称位于所述惯性测量单元的两侧。本发明实施例提供的技术方案能够提高位置姿态的估计精度和实时性。

Description

一种双目视觉定位方法、装置及系统
技术领域
本发明涉及定位技术领域，尤其涉及一种双目视觉定位方法、装置及系统。
背景技术
同时定位与建图(Simultaneous Localization And Mapping，SLAM)是机器人领域的重要问题。目前，已被广泛应用到移动机器人，无人机，虚拟现实以及增强现实等领域。
目前SLAM技术分为两个部分：前端和后端。前端部分主要是传感器信息的采集，后端部分主要是对传感器信息进行处理，包括位置姿态计算、位置姿态优化、回环检测以及构图等。目前SLAM主要使用摄像头来采集信息，而摄像头很容易受到环境的影响(比如灯光，白墙，桌面等)，导致无法进行位置姿态估计。并且，目前SLAM使用的后端数据处理算法也难以满足实时性要求高的应用场景中。
可见，现有的空间定位和建图方法不仅对位置姿态的估计精度较低，实时性也较差。
发明内容
本发明实施例提供一种双目视觉定位方法、装置及系统，目的在于提高位置姿态的估计精度和实时性。
在本发明的一个实施例中，提供了一种双目视觉定位方法。该方法包括：根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。
可选地，所述根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息，包括：从所述两帧图像的前一帧图像中，提取多个前帧特征点；获取所述多个前帧特征点的坐标信息；分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；获取所述多个后帧特征点的坐标信息；根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
可选地，所述获取所述多个前帧特征点的坐标信息，包括：获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。
可选地，上述方法还可包括：若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。
可选地，所述根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息，包括：对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。
可选地，所述惯性参数包括：角速度和加速度；以及所述对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息，包括：对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；
其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
可选地，经所述通用图优化算法优化计算得到用来定位的所述位姿信息的同时，还得到所述两帧图像中相匹配的特征点的位置信息；以及
所述方法，还包括：
根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
在本发明的另一实施例中，提供了一种双目视觉定位装置。该装置包括：第一计算模块，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；
第二计算模块，用于根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；
第三计算模块，用于分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；
定位模块，用于将所述双目摄像单元在两个时刻的位姿信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的位姿信息。
在本发明的另一实施例中，提供了一种双目视觉定位系统。该系统包括：双目摄像单元、惯性测量单元以及上述双目视觉定位装置；所述双目摄像单元包括左目相机和右目相机；所述惯性测量单元设置在所述双目摄像单元上，且所述左目相机和所述右目相机对称位于所述惯性测量单元的两侧；所述双目摄像单元和所述惯性测量单元分别与所述双目视觉定位装置连接。
本发明实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差；并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的双目视觉定位方法的流程示意图；
图2为基于本发明一实施例提供的双目视觉定位方法计算得到多个特征点的位置信息构建出的一示例性的局部环境地图；
图3为本发明又一实施例提供的双目视觉定位方法的流程示意图；
图4为本发明又一实施例提供的双目视觉定位方法中采用的通用图优化图形架构的示意图；
图5为本发明一实施例提供的双目摄像单元与惯性测量单元的结构示意图；
图6为本发明一实施例提供的双目视觉定位装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的双目视觉定位方法的流程示意图。该方法，包括：
101、根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息。
102、根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息。
103、分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差。
104、将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。
在上述步骤101中，可对所述两帧图像中的特征点进行提取和匹配，再根据两帧图像中特征点的坐标信息可确定出第一位姿变化信息。具体地：从所述两帧图像的前一帧图像中，提取多个前帧特征点；获取所述多个前帧特征点的坐标信息；分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；获取所述多个后帧特征点的坐标信息；根据所述多个前帧特征点的坐标信息和多个所述后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
在实际应用中，可通过SIFT算法或SURF算法来实现所述两帧图像之间的特征点提取和匹配。优选的，在本实施例中所使用的特征点可以为ORB(Oriented FAST and RotatedBRIEF)特征点，ORB特征点是对FAST特征以及BRIEF描述子的一种改进特征点，相比于其他特征点，ORB特征点效率高，并且具有旋转不变性。从所述前一帧图像中提取多个前帧特征点，再从所述后一帧图像中提取与所述多个前帧特征点匹配的多个后帧特征点。所述多个前帧特征点的坐标信息为基准坐标系(例如：世界坐标系)下的三维坐标或者为像平面坐标系下的二维坐标。通常，根据特征点在某一帧图像中的右目图像和左目图像的二维坐标(即像平面坐标系下的二维坐标)，通过三角化重建方法可重现出该特征点在基准坐标系下的三维坐标。后帧特征点的坐标信息为像平面坐标系下的二维坐标或者为基准坐标系下的三维坐标。根据所述多个前帧特征点的坐标信息以及所述多个后帧特征点的坐标信息，可确定出投影矩阵，根据所述投影矩阵可确定出双目摄像单元的旋转变换矩阵以及位移变化向量，也就确定出了第一位姿变化信息。采用该投影矩阵将所述前帧特征点的基准坐标系下的三维坐标投影至后一帧图像的像平面的投影坐标与所述前帧特征点相匹配的后帧特征点的像平面坐标系下的二维坐标之间的误差最小。
在一种可实现的方案中，当所述多个前帧特征点的坐标信息为所述多个前帧特征点在基准坐标系下的三维坐标时，则可通过以下方法来获取所述多个前帧特征点的坐标信息，包括：获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。
其中，双目摄像单元包括左目相机和右目相机。左目图像为左目相机拍摄得到的，右目图像为右目相机拍摄得到的。根据左目和右目图像来计算视差，根据视差即可得到特征点的深度信息。例如：空间点P，它在左右相机上各生成一个像素点(即为特征点)，分别为PL和PR，两者在像素坐标系下的二维坐标分别为UL和UR。双目相机的基线为b，双目相机的焦距为f，那么空间点P的深度z可通过以下公式来计算：
d＝UL-UR (1)
Figure BDA0001424337090000071
其中，d即为左右相机图像的视差。根据视差d，通过公式(2)可对空间点P的深度信息Z。一般来说，视差越大，可估计的空间深度越远，视差越小，可估计的空间深度越近。
得到深度信息之后，根据所述多个前帧特征点的像平面坐标系二维坐标以及深度信息可直接确定出多个前帧特征点在相机坐标系下的三维坐标。根据双目摄像单元在所述连续两个时刻中的前一时刻时的位姿状态信息，通过坐标转换即可将相机坐标系下的三维坐标转换到基准坐标系下的三维坐标。
上述步骤102中，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。通常惯性测量单元会连续采集惯性参数。获取惯性测量单元在所述连续的两个时刻之间采集的惯性参数，对惯性参数进行时间上的积分即可得到第二位姿变化信息。
这里需要说明的是：双目摄像单元的图像采集一般为20Hz～60Hz，而惯性测量单元进行加速度以及角速度的采集速度可以达到最高1000Hz，如果将惯性测量单元采集到的所有角速度和加速度均输入到通用图优化算法中进行计算，则会导致节点过多，计算量过大的问题。预积分可以将两帧或任意帧间的惯性测量信息(角速度和加速度)进行积分，得到一个常数，作为两帧间的运动约束，这样会显著减少节点信息，降低计算负担。通过流形上的预积分得到角速度、速度、位置等信息作为双目摄像单元运动过程中两个时刻位姿间的约束，具体如下：
Figure BDA0001424337090000081
Figure BDA0001424337090000082
Figure BDA0001424337090000083
其中
Figure BDA0001424337090000084
表示i+1状态下世界坐标系的旋转矩阵；
Figure BDA0001424337090000085
表示世界坐标系下i+1状态的位移向量；
Figure BDA0001424337090000086
表示世界坐标系下i+1状态的速度向量；
Figure BDA0001424337090000087
为角速度的雅克比矩阵；
Figure BDA0001424337090000088
为加速度的雅克比矩阵；gw为重力加速度；Δti,i+1为第i时刻到第i+1时刻的时差；ΔVi,i+1第i时刻到第i+1时刻的速度差。
可选地，惯性测量单元包括三轴加速度传感器和陀螺仪，所述惯性参数包括：角速度和加速度。所述对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息的步骤，具体可采用如下方式实现：对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
上述步骤103中，所述特征点的重投影误差指的是采用上述投影矩阵得到的投影点与图像上测量点之间的误差，即采用上述投影矩阵将所述前帧特征点的基准坐标系下的三维坐标投影至后一帧图像的像平面的投影坐标与所述前帧特征点相匹配的后帧特征点的像平面坐标系下的二维坐标之间的误差即为所述前帧特征点的重投影误差。
在上述步骤104中，采用通用图优化算法G2O(General Graph Optimization)来对第一位姿信息、第二位姿信息以及特征点的基准坐标系下的三维坐标进行优化。采用G2O进行优化之前，需要对其中的节点和边进行定义：将所述双目摄像单元所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用于定位的位姿信息。
具体地，将所述双目摄像单元在所述第一位姿变化信息作为所述通用图像优化算法的第一位姿节点；所述两帧图像中特征点坐标作为所述通用图像优化算法中的多个第一路标节点；将所述多个前帧特征点的重投影误差作为所述第一位姿节点分别连接所述多个第一路标节点的第一边；将所述第一位姿变化信息与所述第二位姿变化信息的差值作为连接所述第一位姿节点和第二位姿节点的第二边；将所述第一位姿节点、所述多个第一路标节点、所述第一位姿节点分别连接所述多个第一路标节点的第一边以及所述第二边作为输入，经所述通用图优化算法优化计算得到用于定位的第三位姿信息及所述两帧图像中相匹配的特征点的位置信息。
上述第一位姿变化信息包括第一旋转变化矩阵Rc及第一位移变化矩阵Tc；第二位姿变化信息包括第二旋转变换矩阵Ri及第二位移变化矩阵Ti。第一位姿变化信息与第二位姿变化信息的差值ese3可表征为如下的公式：
Figure BDA0001424337090000091
本发明实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差；并且在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
需要说明的是，在得到第三位姿变化信息之后，可获取双目摄像单元在所述连续的两个时刻的前一时刻的位姿信息，根据前一时刻的位姿信息和所述优化后的位姿变化信息即可得到双目摄像单元在后一时刻的位姿信息。具体地，双目摄像单元在两个时刻的前一个时刻的位姿信息可默认为初始位姿信息，基于上述计算得到的第三位姿变化信息以及初始位姿信息，即可得到两个时刻的后一时刻的位姿信息。上述将两个时刻的前一个时刻的位姿信息默认为初始位姿信息的情况，适用于双目摄像单元刚启动的情况。若两个时刻是双目摄像单元启动后的两个时刻，即需将时间轴往早于所述两个时刻的方向推进，双目摄像单元在启动T0时的位姿信息可默认为初始位姿信息；基于上述位姿变化计算方法即可计算后一帧T1相对启动T0时的位姿变化信息(即优化后的位姿变化信息)，随后根据位姿变化信息及初始位姿信息就能计算得到后一帧T1双目摄像单元的位姿信息；有了T1时双目摄像单元的位姿信息又可按照上述计算过程得到T2时双目摄像单元的位姿信息。由此不断计算，就能得到每个时刻时双目摄像单元采用上述双目视觉定位算法确定的位姿信息以对双目摄像单元进行准确定位。
进一步的，上述步骤104、将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息的同时，还可得到所述两帧图像中相匹配的特征点的位置信息。相应的，上述实施例提供的所述双目视觉定位方法还可包括：根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
其中，上述计算得到的两帧图像中相匹配的特征点可以是多个，如10万个或20万个。实际应用中，特征点越多，后续基于这些特征点构建的环境地图更加详细。上述两帧图像中相匹配的特征点的位置信息，即可作为周围环境的局部地图。例如图2所示为20万个特征点组成的环境稀疏地图。这里经所述通用图优化算法优化计算得到特征点的位置信息可以是特征点在基准坐标系下的三维坐标。
图3为本发明又一实施例提供的双目视觉定位方法的流程示意图。该方法包括：
201、根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息。
202、根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息。
203、分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差。
204、计算所述第一位姿变化信息及所述第二位姿变化信息的差值。
205、基于所述双目摄像单元所述第一位姿变化信息、两帧图像上相匹配的特征点、各所述特征点的重投影误差及所述第一位姿变化信息及所述第二位姿变化信息的差值，定义通用图优化算法的节点和边。
具体的，上述定义过程包括：
2051、将所述双目摄像单元在所述第一位姿变化信息作为所述通用图像优化算法的第一位姿节点。
2052、所述两帧图像中特征点坐标作为所述通用图像优化算法中的多个第一路标节点。
2053、将所述多个前帧特征点的重投影误差作为所述第一位姿节点分别连接所述多个第一路标节点的第一边。
2054、将所述第一位姿变化信息与所述第二位姿变化信息的差值作为连接所述第一位姿节点和第二位姿节点的第二边。
206、将所述第一位姿节点、所述多个第一路标节点、所述第一位姿节点分别连接所述多个第一路标节点的第一边以及所述第二边作为输入，经所述通用图优化算法优化计算得到用于定位的第三位姿信息及所述两帧图像中相匹配的特征点的位置信息。
207、根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
上述步骤201-204可参见上述实施例中相应内容，在此不再赘述。
上述205中，通用图优化(General Graph Optimization，G2O)带有多种多样的求解器，且顶点和边的类型也很多样。通过自定义节点和边，事实上一个优化问题能够表达成图，就可以用G2O来求解。本实施例提供的方案中，采用上述2051～2054中示出的定义方式定义了节点和边，将定位优化问题表达成如图4所示的图形，以采用G2O来求解。这里需要注意的是：图4仅示出了图形的一部分，而不是本方案的全貌图形。因为两帧图像中相匹配的特征点的数量较多，每个特征点作为图形中的一个路标节点；图4不能完全表现出来。参见图4，Zi、Zj及Zk为路标节点，即图像中某一特征点的三维坐标；Xi、Xj及Xk为位姿节点，即双目摄像单元在某连续两个时刻的第一位姿变化信息(包括旋转矩阵R及位移矩阵T)；Ei、Ej及Ek为路标节点与位姿节点之间的边，即特征点Zi的三维坐标的重投影误差、Zj的三维坐标的重投影误差及Zk的三维坐标的重投影误差；Eij及Ejk为位姿间的位姿误差，即采用双目摄像单元在连续的两个时刻采集的两帧图像计算的第一位姿变化信息与采用惯性测量单元在连续的两个时刻之间采集的惯性参数计算得到的第二位姿变化信息之间的差值。
上述步骤207中，例如：路标点用G2O中自带的g2o::VertexSE3Expmap表示，即上述第一路标节点；位姿节点用G2O中自带的g2o::VertexSE3表示；第一边可用G2O中自带的g2o::EdgeSE3ProjectXYZ表示，即第一位姿节点分别连接多个第一路标节点的第一边；第二边可用G2O中自带的g2o::EdgeSE3表示，即第一位姿变化信息与第二位姿变化信息的差值。
需要说明的是，在G2O初始化时，将求解问题用图进行表示。在G2O优化过程中，可采用LM(Levenberg-Marquardt)算法进行迭代求解，LM法是对高斯-牛顿法的一种改进和优化，其收敛速度较快且步长会不断调整。
在上述各实施例或下述各实施例中，所述方法还包括：若从所述两帧图像的后一帧图像中未查找到与各所述前帧特征点相匹配的后帧特征点；将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到各所述前帧特征点匹配的后帧特征点为止。
若从所述两帧图像的后一帧图像中未查找到与各所述前帧特征点相匹配的后帧特征点，则说明无法通过双目摄像单元进行位姿估计，因此，可使用惯性测量单元采集到的信息作为唯一的位姿估计依据，并尝试通过双目摄像单元采集的数据进行重定位，若重定位成功，则根据双目摄像单元和惯性测量单元进行跟踪，若重定位失败，则继续根据惯性测量单元进行定位。可见，本发明实施例提供的技术方案在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。
需要说明的是，由于双目摄像单元上的坐标系与惯性测量单元上的坐标系并不完全相同，并且，两者的数据采集时间也存在一定的偏差。因此，在实现上述各实施例的方法之前，需要对双目摄像单元和惯性测量单元进行联合标定才能得到惯性测量单元坐标系与相机坐标系之间的转换关系以及图像的传入时间以及惯性数据的传入时间的差值。例如：双目摄像单元为双目相机，包括左目相机和右目相机。惯性测量单元设置在左目相机和右目相机连线的中心位置，如图5所示。这种联合标定可以得到最佳空间上的以及时间上的关联关系，对于位姿估计精度的提高很有帮助。联合标定的目的一是为了得到如下信息：双目摄像单元(包括左目相机和右目相机)的坐标系以及惯性测量单元坐标系之间的转换关系；双目摄像单元的时间与惯性测量单元时间的偏置等等。联合标定不同于单一标定(如只标定双目摄像单元的方法)，其通过对双目摄像单元和惯性测量单元进行统一标定，以得到整体系统上的一个标定坐标及标定时间等等，便于双目摄像单元及惯性测量单元均采用相同的标定时间和相同的标定坐标系来进行定位，进而得到更加精准的定位信息。
进一步的，联合标定过程中需要如下信息：1、惯性坐标系下的重力方向，表示为gw；2、双目摄像单元坐标系到惯性测量单元坐标系的变换矩阵，表示为Tc,I；3、双目摄像单元时间与惯性测量单元时间的偏置，表示为d；4、惯性测量单元的初始位姿姿态，表示为Tw,i(t)；5、惯性测量单元中包含的加速度传感器的偏置以及陀螺仪的偏置；等等。
联合标定的过程是在上述各实施例提供的所述方法执行之前完成的。联合标定是指通过Levenberg-Marquardt(LM)算法使得如下公式6最小来取得每一个参数的最优无偏估计。
Figure BDA0001424337090000141
Figure BDA0001424337090000142
Figure BDA0001424337090000143
Figure BDA0001424337090000144
Figure BDA0001424337090000145
Figure BDA0001424337090000146
Figure BDA0001424337090000147
Figure BDA0001424337090000148
Figure BDA00014243370900001412
其中，ymj为特征点
Figure BDA0001424337090000149
在tj+d时刻的像素坐标，eymj为ymj对应的误差函数；eαk为加速度传感器的加速度误差函数；ewk为陀螺仪的加速度误差函数；Jy为观测路标点与预测路标点的误差雅克比矩阵；Jα为观测加速度与预测的加速度的误差雅克比矩阵；Jω为观测角速度与预测的角速度的误差雅克比矩阵；
Figure BDA00014243370900001410
为加速度漂移雅克比矩阵；
Figure BDA00014243370900001411
为角速度漂移雅克比矩阵。
Levenberg-Marquardt(LM)算法是高斯-牛顿法和最速下降法的结合，具有高斯-牛顿法的局部收敛性和梯度下降法的全局特性。特通过自适应调整阻尼因子来达到收敛特征，具有更高的迭代收敛速度。LM算法的计算过程就是，选择一个初始值代入上述各公式，通过不断迭代以得到一个全局最优解，得到的这个全局最优解的迭代结束条件就是让上述公式6的计算结果最小。
图6为本发明一实施例提供的双目视觉定位装置的结构框图。该装置包括：第一计算模块401、第二计算模块402、第三计算模块403以及定位模块404。其中，第一计算模块401，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；第二计算模块402，用于根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；第三计算模块403，用于分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；定位模块404，用于将所述第一位姿变化信息和所述两帧图像上相匹配的特征点作为通用图优化算法的节点，将所述第一位姿变化信息与所述第二位姿变化信息的差值以及各所述特征点的重投影误差作为所述通用图优化算法的边，经所述通用图优化算法优化计算得到用来定位的第三位姿变化信息。
进一步的，所述第一计算模块401，包括：提取单元，用于从所述两帧图像的前一帧图像中，提取多个前帧特征点；第一获取单元，用于获取所述多个前帧特征点的坐标信息；查找单元，用于分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；第二获取单元，用于获取所述多个后帧特征点的坐标信息；计算单元，用于根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
进一步的，所述第一获取单元，具体用于：获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；根据所述多个前帧特征点的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标；其中，所述多个前帧特征点的坐标信息为所述多个前帧特征点在基准坐标系下的三维坐标。
进一步的，上述实施例提供的双目视觉定位装置中的定位模块还用于：若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；
将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。
进一步的，所述第二计算模块402，具体用于：对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。
可选地，所述惯性参数包括：角速度和加速度；以及所述第二计算模块402具体用于：对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
可选地，上述定位模块在进行所述通用图优化算法优化计算得到用来定位的所述第三位姿变化信息的同时，还能得到所述两帧图像中相匹配的特征点的位置信息。相应的，所述装置还包括构建模块；该构建模块用于根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
本发明实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差。并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
这里需要说明的是：上述实施例提供的双目视觉定位装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
在另一实施例中，还提供了双目视觉定位系统。该系统包括：双目摄像单元、惯性测量单元以及上述双目视觉定位装置；所述双目摄像单元包括左目相机和右目相机；所述惯性测量单元设置在所述双目摄像单元上，且所述左目相机和所述右目相机对称位于所述惯性测量单元的两侧；所述双目摄像单元和所述惯性测量单元分别与所述双目视觉定位装置连接。
本发明实施例提供的技术方案中，联合双目摄像单元和惯性测量单元来进行位姿估计，引入惯性测量单元可减少仅根据双目摄像单元进行位姿估计的误差。并且，在双目摄像单元运动剧烈时、受到周围环境噪声影响时或是处于特征纹理较少的区域时，还可根据惯性测量单元采集到的数据进行位姿估计，显著提高稳定性，避免因双目摄像单元受环境影响导致的无法进行位姿估计等问题。此外，使用通用图优化算法来对位姿估计进行优化，可有效减少数据处理时间，提高实时性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种双目视觉定位方法，其特征在于，包括：
根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；
根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；
分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；
将所述双目摄像单元在所述第一位姿变化信息作为通用图像优化算法的第一位姿节点；所述两帧图像中特征点坐标作为所述通用图像优化算法中的多个第一路标节点；将多个前帧特征点的重投影误差作为所述第一位姿节点分别连接所述多个第一路标节点的第一边；将所述第一位姿变化信息与所述第二位姿变化信息的差值作为连接所述第一位姿节点和第二位姿节点的第二边；将所述第一位姿节点、所述多个第一路标节点、所述第一位姿节点分别连接所述多个第一路标节点的第一边以及所述第二边作为输入，经所述通用图优化算法优化计算得到用于定位的第三位姿信息；所述多个前帧特征点为所述两帧图像的前一帧图像对应的特征点。
2.根据权利要求1所述的方法，其特征在于，所述根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息，包括：
从所述两帧图像的前一帧图像中，提取多个前帧特征点；
获取所述多个前帧特征点的坐标信息；
分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；
获取所述多个后帧特征点的坐标信息；
根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
3.根据权利要求2所述的方法，其特征在于，所述获取所述多个前帧特征点的坐标信息，包括：
获取所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标；
根据所述多个前帧特征点的二维坐标、所述双目摄像单元的焦距及所述双目摄像单元的基线，计算所述多个前帧特征点的深度信息；
根据所述多个前帧特征点在所述前一帧图像的左目图像和右目图像中的二维坐标以及深度信息，得到所述多个前帧特征点的三维坐标。
4.根据权利要求2或3所述的方法，其特征在于，还包括：
若从所述两帧图像的后一帧图像中未查找到与所述前帧特征点相匹配的后帧特征点；
将所述第二位姿变化信息作为用于定位的第三位姿变化信息进行输出，直至从所述两帧图像的后一帧图像中查找到与所述多个前帧特征点匹配的多个后帧特征点为止。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息，包括：
对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息。
6.根据权利要求5所述的方法，其特征在于，所述惯性参数包括：角速度和加速度；以及
所述对所述惯性测量单元在所述连续的两个时刻之间采集的惯性参数进行流形上的预积分，得到所述第二位姿变化信息，包括：
对所述惯性测量单元在所述连续的两个时刻之间采集的角速度进行流形上的预积分，得到所述惯性测量单元的旋转变换矩阵；
对所述惯性测量单元在所述连续两个时刻之间采集的加速度进行流形上的预积分，得到所述惯性测量单元的位移变化向量；
其中，所述第二位姿变化信息包括：所述惯性测量单元的旋转变换矩阵及所述惯性测量单元的位移变化向量。
7.根据权利要求1至3中任一项所述的方法，其特征在于，经所述通用图优化算法优化计算得到用来定位的所述第三位姿变化信息的同时，还得到所述两帧图像中相匹配的特征点的位置信息；以及
所述方法，还包括：
根据所述两帧图像中相匹配的特征点的位置信息，构建环境地图。
8.一种双目视觉定位装置，其特征在于，包括：
第一计算模块，用于根据双目摄像单元在连续的两个时刻采集到的两帧图像，计算第一位姿变化信息；
第二计算模块，用于根据所述双目摄像单元上的惯性测量单元在所述连续的两个时刻之间采集的惯性参数，计算第二位姿变化信息；
第三计算模块，用于分别从所述两帧图像中提取两帧图像上相匹配的特征点，并计算各所述特征点的重投影误差；
定位模块，用于将所述双目摄像单元在所述第一位姿变化信息作为通用图像优化算法的第一位姿节点；所述两帧图像中特征点坐标作为所述通用图像优化算法中的多个第一路标节点；将多个前帧特征点的重投影误差作为所述第一位姿节点分别连接所述多个第一路标节点的第一边；将所述第一位姿变化信息与所述第二位姿变化信息的差值作为连接所述第一位姿节点和第二位姿节点的第二边；将所述第一位姿节点、所述多个第一路标节点、所述第一位姿节点分别连接所述多个第一路标节点的第一边以及所述第二边作为输入，经所述通用图优化算法优化计算得到用于定位的第三位姿信息；所述多个前帧特征点为所述两帧图像的前一帧图像对应的特征点。
9.根据权利要求8所述的装置，其特征在于，所述第一计算模块，包括：
提取单元，用于从所述两帧图像的前一帧图像中，提取多个前帧特征点；
第一获取单元，用于获取所述多个前帧特征点的坐标信息；
查找单元，用于分别从所述两帧图像的后一帧图像中查找与所述多个前帧特征点相匹配的多个后帧特征点；
第二获取单元，用于获取所述多个后帧特征点的坐标信息；
计算单元，用于根据所述多个前帧特征点的坐标信息和所述多个后帧特征点的坐标信息，计算所述双目摄像单元的旋转变换矩阵及位移变化向量，以得到所述第一位姿变化信息。
10.一种双目视觉定位系统，其特征在于，包括：双目摄像单元、惯性测量单元以及上述权利要求8或9中的双目视觉定位装置；
所述双目摄像单元包括左目相机和右目相机；
所述惯性测量单元设置在所述双目摄像单元上，且所述左目相机和所述右目相机对称位于所述惯性测量单元的两侧；
所述双目摄像单元和所述惯性测量单元分别与所述双目视觉定位装置连接。
CN201710908182.6A 2017-09-29 2017-09-29 一种双目视觉定位方法、装置及系统 Active CN107747941B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710908182.6A CN107747941B (zh) 2017-09-29 2017-09-29 一种双目视觉定位方法、装置及系统
PCT/CN2018/096185 WO2019062291A1 (zh) 2017-09-29 2018-07-18 一种双目视觉定位方法、装置及系统
US16/302,024 US10989540B2 (en) 2017-09-29 2018-07-18 Binocular vision localization method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710908182.6A CN107747941B (zh) 2017-09-29 2017-09-29 一种双目视觉定位方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107747941A CN107747941A (zh) 2018-03-02
CN107747941B true CN107747941B (zh) 2020-05-15

Family

ID=61255407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908182.6A Active CN107747941B (zh) 2017-09-29 2017-09-29 一种双目视觉定位方法、装置及系统

Country Status (3)

Country Link
US (1) US10989540B2 (zh)
CN (1) CN107747941B (zh)
WO (1) WO2019062291A1 (zh)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110362098B (zh) * 2018-03-26 2022-07-05 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN110542415A (zh) * 2018-05-28 2019-12-06 北京京东尚科信息技术有限公司 用于导航系统的导航方法和装置
CN108481327B (zh) * 2018-05-31 2023-11-07 珠海一微半导体股份有限公司 一种增强视觉的定位装置、定位方法及机器人
CN108958296A (zh) * 2018-06-05 2018-12-07 西安工业大学 一种无人机自主跟踪方法
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
WO2020024182A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 一种参数处理方法、装置及摄像设备、飞行器
CN110794955B (zh) * 2018-08-02 2021-06-08 广东虚拟现实科技有限公司 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN109506642B (zh) * 2018-10-09 2021-05-28 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
CN109462746B (zh) * 2018-10-26 2020-11-06 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN109186549A (zh) * 2018-10-26 2019-01-11 国网黑龙江省电力有限公司电力科学研究院 一种基于视觉的铁塔倾斜角度测量方法
CN109739254B (zh) * 2018-11-20 2021-11-09 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN109544629B (zh) * 2018-11-29 2021-03-23 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN111354042B (zh) * 2018-12-24 2023-12-01 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111383282B (zh) * 2018-12-29 2023-12-01 杭州海康威视数字技术股份有限公司 位姿信息确定方法及装置
CN111415387B (zh) * 2019-01-04 2023-12-29 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN111708010B (zh) * 2019-03-01 2024-04-12 北京图森智途科技有限公司 一种可移动设备的定位方法、装置、系统及可移动设备
CN109992111B (zh) * 2019-03-25 2021-02-19 联想(北京)有限公司 增强现实扩展方法和电子设备
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110246176A (zh) * 2019-05-31 2019-09-17 中广核检测技术有限公司 一种基于机器视觉的蒸发器管板爬行器动态定位方法
CN110375738B (zh) * 2019-06-21 2023-03-14 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110349212B (zh) * 2019-06-28 2023-08-25 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110570453B (zh) * 2019-07-10 2022-09-27 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN111768443A (zh) * 2019-07-23 2020-10-13 北京京东尚科信息技术有限公司 基于移动摄像头的图像处理方法和装置
CN110533728A (zh) * 2019-07-25 2019-12-03 长沙行深智能科技有限公司 基于张正友标定的双目立体视觉相机的标定方法、装置及介质
CN110487274B (zh) * 2019-07-30 2021-01-29 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、系统、导航车及存储介质
CN112348898B (zh) * 2019-08-07 2024-04-05 杭州海康微影传感科技有限公司 一种标定方法、装置及摄像机
CN110689572B (zh) * 2019-08-13 2023-06-16 中山大学 一种三维空间中移动机器人定位系统及方法
CN110490932B (zh) * 2019-08-21 2023-05-09 东南大学 单目红外共面光标迭代优化测量行车吊臂空间位姿方法
CN110517324B (zh) * 2019-08-26 2023-02-17 上海交通大学 基于变分贝叶斯自适应算法的双目vio实现方法
WO2021035703A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 跟踪方法和可移动平台
CN110706257B (zh) * 2019-09-30 2022-07-22 北京迈格威科技有限公司 有效特征点对的识别方法、相机状态的确定方法及装置
CN110706289B (zh) * 2019-10-24 2022-09-30 中国科学技术大学 姿态测量方法及装置
CN112710308A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
WO2021081774A1 (zh) * 2019-10-29 2021-05-06 深圳市大疆创新科技有限公司 一种参数优化方法、装置及控制设备、飞行器
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN112272757A (zh) * 2019-11-22 2021-01-26 深圳市大疆创新科技有限公司 一种探测装置的外参数标定方法、装置及可移动平台
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110989643B (zh) * 2019-11-29 2023-12-19 北京特种机械研究所 一种基于多目视觉的无人机夜间植保系统
CN111091621A (zh) * 2019-12-11 2020-05-01 东南数字经济发展研究院 双目视觉的同步定位与构图方法、装置、设备及存储介质
CN110919658B (zh) * 2019-12-13 2023-03-31 东华大学 一种基于视觉和多坐标系闭环转换的机器人标定方法
CN111161337B (zh) * 2019-12-18 2022-09-06 南京理工大学 一种动态环境下的陪护机器人同步定位与构图方法
CN113012216B (zh) * 2019-12-20 2023-07-07 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN111210477B (zh) * 2019-12-26 2023-07-04 深圳大学 一种运动目标的定位方法及系统
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111882602B (zh) * 2019-12-31 2022-08-12 南京理工大学 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN111260733B (zh) * 2020-01-13 2023-03-24 魔视智能科技(上海)有限公司 车载环视多相机系统的外参数估计方法及其系统
CN113129437A (zh) * 2020-01-14 2021-07-16 北京地平线机器人技术研发有限公司 一种标志物的空间坐标确定方法及装置
CN111415391B (zh) * 2020-02-28 2023-04-28 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法
CN111307146B (zh) * 2020-03-02 2023-07-18 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111220155A (zh) * 2020-03-04 2020-06-02 广东博智林机器人有限公司 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN111220118B (zh) * 2020-03-09 2021-03-02 燕山大学 基于视觉惯性导航系统的激光测距仪及测距方法
CN111310772B (zh) * 2020-03-16 2023-04-21 上海交通大学 用于双目视觉slam的点线特征选取方法及系统
CN111595332B (zh) * 2020-04-13 2023-05-09 宁波深寻信息科技有限公司 一种融合惯性技术与视觉建模的全环境定位方法
CN113532455B (zh) * 2020-04-17 2023-03-31 北京三快在线科技有限公司 视觉融合定位方法、装置、电子设备和可读存储介质
CN111583386B (zh) * 2020-04-20 2022-07-05 清华大学 基于标签传播算法的多视角人体姿态重建方法
CN111598954A (zh) * 2020-04-21 2020-08-28 哈尔滨拓博科技有限公司 一种快速高精度摄像头参数计算方法
CN113554703B (zh) * 2020-04-23 2024-03-01 北京京东乾石科技有限公司 机器人定位方法、装置、系统和计算机可读存储介质
CN111524194B (zh) * 2020-04-24 2023-07-21 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111338383B (zh) * 2020-04-24 2023-10-13 北京泛化智能科技有限公司 基于gaas的自主飞行方法及系统、存储介质
CN111340851A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 基于双目视觉与imu融合的slam方法
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN111649739B (zh) * 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111750853B (zh) * 2020-06-24 2022-06-07 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN111721259B (zh) * 2020-06-24 2022-05-03 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN111784771B (zh) * 2020-06-28 2023-05-23 北京理工大学 基于双目相机的3d三角测量方法及装置
CN111811501B (zh) * 2020-06-28 2022-03-08 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN111754586A (zh) * 2020-06-28 2020-10-09 苏州臻迪智能科技有限公司 外参定标方法、装置、外参标定系统及计算机存储介质
CN111814869B (zh) * 2020-07-06 2022-11-08 北京邮电大学 一种同步定位与建图的方法、装置、电子设备及存储介质
CN111833333B (zh) * 2020-07-16 2023-10-03 西安科技大学 一种基于双目视觉的悬臂式掘进装备位姿测量方法及系统
CN116626960A (zh) * 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
CN112146647B (zh) * 2020-09-11 2022-11-15 珠海一微半导体股份有限公司 一种地面纹理的双目视觉定位方法及芯片
CN112113564B (zh) * 2020-09-21 2022-08-02 上海大学 一种基于图像传感器和惯性传感器的定位方法及系统
CN112161571B (zh) * 2020-10-09 2022-02-22 山东科技大学 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知系统及机器人
CN112325872B (zh) * 2020-10-27 2022-09-30 上海懒书智能科技有限公司 一种基于多传感器耦合的移动设备的定位方法
CN112362034B (zh) * 2020-11-11 2022-07-08 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN112434709B (zh) * 2020-11-20 2024-04-12 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112614171B (zh) * 2020-11-26 2023-12-19 厦门大学 面向工程机械集群作业的空-地一体化动态环境感知系统
CN112734765B (zh) * 2020-12-03 2023-08-22 华南理工大学 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN112649016B (zh) * 2020-12-09 2023-10-03 南昌大学 一种基于点线初始化的视觉惯性里程计方法
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112950709B (zh) * 2021-02-21 2023-10-24 深圳市优必选科技股份有限公司 一种位姿预测方法、位姿预测装置及机器人
CN112598757B (zh) * 2021-03-03 2021-06-01 之江实验室 一种多传感器时间空间标定方法及装置
CN113012196B (zh) * 2021-03-05 2023-03-24 华南理工大学 一种基于双目相机与惯导传感器信息融合的定位方法
CN112907633B (zh) * 2021-03-17 2023-12-01 中国科学院空天信息创新研究院 动态特征点识别方法及其应用
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN113091736B (zh) * 2021-04-02 2023-04-07 京东科技信息技术有限公司 机器人定位方法、装置、机器人及存储介质
CN112802112B (zh) * 2021-04-12 2021-07-16 北京三快在线科技有限公司 视觉定位方法、装置、服务器及存储介质
CN113175925B (zh) * 2021-04-14 2023-03-14 武汉理工大学 定位与导航系统以及方法
CN113052908B (zh) * 2021-04-16 2023-08-04 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113506337B (zh) * 2021-05-17 2024-04-16 南京理工大学 一种基于EPnP的双目相机位姿估计方法
CN113362248A (zh) * 2021-06-23 2021-09-07 合肥朗云物联科技股份有限公司 一种用于检测物体应变的双目检测系统
CN113407030B (zh) * 2021-06-25 2023-08-25 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备和存储介质
CN113393505B (zh) * 2021-06-25 2023-11-03 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备
CN113379911A (zh) * 2021-06-30 2021-09-10 深圳市银星智能科技股份有限公司 Slam方法、slam系统及智能机器人
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113739819B (zh) * 2021-08-05 2024-04-16 上海高仙自动化科技发展有限公司 校验方法、装置、电子设备、存储介质及芯片
CN113865579A (zh) * 2021-08-06 2021-12-31 湖南大学 无人机位姿参数的测量系统及方法
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113689555B (zh) * 2021-09-09 2023-08-22 武汉惟景三维科技有限公司 一种双目图像特征匹配方法及系统
CN113899364B (zh) * 2021-09-29 2022-12-27 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN113847907A (zh) * 2021-09-29 2021-12-28 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN114170146A (zh) * 2021-11-12 2022-03-11 苏州瑞派宁科技有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质
CN114323010B (zh) * 2021-12-30 2024-03-01 北京达佳互联信息技术有限公司 初始特征确定方法、装置、电子设备及存储介质
CN114370871A (zh) * 2022-01-13 2022-04-19 华南理工大学 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN114092569B (zh) * 2022-01-19 2022-08-05 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN115526983B (zh) * 2022-03-30 2023-06-23 荣耀终端有限公司 一种三维重建方法及相关设备
CN114937091B (zh) * 2022-04-28 2023-07-11 广州导远电子科技有限公司 一种车道线的检测方法、系统、电子设备及存储介质
CN114979611A (zh) * 2022-05-19 2022-08-30 国网智能科技股份有限公司 一种双目感知系统和方法
CN114924585B (zh) * 2022-05-19 2023-03-24 广东工业大学 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统
CN115471534A (zh) * 2022-08-31 2022-12-13 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备
CN115272494B (zh) * 2022-09-29 2022-12-30 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN115981465B (zh) * 2022-12-22 2024-01-19 广州阿路比电子科技有限公司 移动环境下ar头盔运动捕捉方法和系统
CN116423505B (zh) * 2023-03-30 2024-04-23 杭州邦杰星医疗科技有限公司 一种机械臂导航手术中机械臂配准模块误差校准方法
CN116664698B (zh) * 2023-07-25 2023-12-22 江苏集萃清联智控科技有限公司 车载双目相机与gnss/imu的自动标定方法
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、系统、智能终端及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006047787A1 (de) * 2006-10-06 2008-04-10 Rheinisch-Westfälische Technische Hochschule Aachen Vorrichtung und Verfahren zur Bestimmung der Trägheitsparameter eines Körpers
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
CN102109348B (zh) * 2009-12-25 2013-01-16 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
CN103345751A (zh) 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN106708066B (zh) * 2015-12-20 2019-07-26 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技（北京）有限公司 机器人运动姿态估计方法
CN106446815B (zh) * 2016-09-14 2019-08-09 浙江大学 一种同时定位与地图构建方法
CN106767820B (zh) * 2016-12-08 2017-11-14 立得空间信息技术股份有限公司 一种室内移动定位与制图方法
CN107085422A (zh) 2017-01-04 2017-08-22 北京航空航天大学 一种基于Xtion设备的多功能六足机器人的远程控制系统
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
CN106813672B (zh) * 2017-01-22 2020-02-14 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10671083B2 (en) * 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) * 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium

Also Published As

Publication number Publication date
US10989540B2 (en) 2021-04-27
WO2019062291A1 (zh) 2019-04-04
US20190204084A1 (en) 2019-07-04
CN107747941A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
CN107341814B (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
CN112649016B (zh) 一种基于点线初始化的视觉惯性里程计方法
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
US9378559B2 (en) System and method for motion estimation
US20210183100A1 (en) Data processing method and apparatus
CN108170297B (zh) 实时六自由度vr/ar/mr设备定位方法
WO2019104571A1 (zh) 图像处理方法和设备
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
CN113551665B (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
WO2023005457A1 (zh) 位姿计算方法和装置、电子设备、可读存储介质
Kostavelis et al. Visual odometry for autonomous robot navigation through efficient outlier rejection
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN110749308B (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
US8509522B2 (en) Camera translation using rotation from device
WO2023279867A1 (zh) 同步定位与建图后端优化方法、装置及存储介质
CN115526931A (zh) 一种单目初始化方法及系统
JP3759712B2 (ja) カメラパラメータ推定方法、装置、プログラム、および記録媒体
CN117949013A (zh) 系统初始化方法、特征跟踪方法、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant