CN109084732B - 定位与导航方法、装置及处理设备 - Google Patents

定位与导航方法、装置及处理设备 Download PDF

Info

Publication number
CN109084732B
CN109084732B CN201810712784.9A CN201810712784A CN109084732B CN 109084732 B CN109084732 B CN 109084732B CN 201810712784 A CN201810712784 A CN 201810712784A CN 109084732 B CN109084732 B CN 109084732B
Authority
CN
China
Prior art keywords
map
positioning
information
visual
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810712784.9A
Other languages
English (en)
Other versions
CN109084732A (zh
Inventor
卢泽
刘骁
童哲航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201810712784.9A priority Critical patent/CN109084732B/zh
Publication of CN109084732A publication Critical patent/CN109084732A/zh
Application granted granted Critical
Publication of CN109084732B publication Critical patent/CN109084732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种定位与导航方法、装置及处理设备，涉及导航技术领域，该方法包括：通过视觉离线地图进行重定位，得到初始位姿信息；所述视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；获取激光雷达装置建立的激光地图；根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航。本发明实施例提供了一种定位与导航方法、装置及处理设备，通过激光雷达装置和视觉装置同时定位与建图，利用视觉定位较好的重定位性能为激光地图提供初始位姿，可以在未知环境中的定位与建图，以及在已建图场景中的定位与自主导航功能，具有较好的精度和鲁棒性。

Description

定位与导航方法、装置及处理设备
技术领域
本发明涉及导航技术领域，尤其是涉及一种定位与导航方法、装置及处理设备。
背景技术
当前，室内机器人越来越多地应用于大型商场、仓库以及家庭等场景，如商场导购机器人、智能仓储机器人、家用扫地机等。在这些应用领域中，机器人需要完成自主导航，而完成自主导航首先需要机器人具备室内定位的功能，也就是说，机器人需要知道自己当前在场景中的位置信息以及去往目的地的位置信息。
目前尚无成熟的室内高精度定位方案。GPS(Global Positioning System，全球定位系统)方案在室内定位误差大；依赖于在场景中粘贴二维码标签来完成室内定位的方案，标签易被损坏，维护成本过高；纯视觉定位的方案对场景的要求过于苛刻，针对纹理性弱、光照强度变化大等场景的鲁棒性较差；激光雷达扫描的方案场景信息不丰富、重定位能力较差。
针对现有技术中室内导航方式导航效果较差的问题，目前尚未提出有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种定位与导航方法、装置及处理设备，通过多传感器融合的室内定位方法，可以在复杂场景下进行定位、建图以及自主导航。
第一方面，本发明实施例提供了一种定位与导航方法，包括：通过视觉离线地图进行重定位，得到初始位姿信息；所述视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；获取激光雷达装置建立的激光地图；根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航。
进一步，所述方法还包括：确定激光定位数据的置信度；当所述置信度小于预设置信度阈值时，将通过视觉离线地图进行重定位获得的位姿信息作为在所述激光地图中的当前定位值；当所述置信度大于或等于所述预设置信度阈值时，将所述激光定位数据获得的位姿信息作为在所述激光地图中的当前定位值。进一步，所述视觉离线地图通过以下方式建立：通过双目摄像装置实时采集图像，并根据所述图像计算初始位姿；通过所述惯性测量单元实时采集角速度信息和加速度信息，并根据所述角速度信息和所述加速度信息确定所述惯性测量单元的状态量；所述惯性测量单元的状态量包括：位移、速度、旋转和零偏值；以重投影误差和所述惯性测量单元的状态量误差为约束对所述初始位姿进行联合优化，得到优化位姿；提取所述图像信息的关键帧并计算地图点，以生成视觉离线地图。
进一步，所述根据所述图像计算初始位姿的步骤，包括：分别提取左图像和右图像的特征点，并进行特征点匹配；进行位姿解算得到初始位姿。
进一步，所述根据所述角速度信息和所述加速度信息确定所述惯性测量单元状态量的步骤，包括：提取所述图像中的多个帧；根据所述多个帧依次估算所述惯性测量单元中陀螺仪的零偏值和加速度计的零偏值。
进一步，所述以重投影误差和所述惯性测量单元的状态量误差为约束对所述初始位姿进行联合优化，得到优化位姿的步骤，包括：将视觉的重投影误差与所述惯性测量单元的状态量时间误差值的和作为约束，对所述初始位姿进行联合优化；利用非线性优化求解优化位姿。
进一步，激光雷达装置建立的所述激光地图与所述视觉离线地图在建图时保持时间一致性。
进一步，所述通过视觉离线地图进行重定位，得到初始位姿信息的步骤，包括：通过双目摄像装置采集图像，并与视觉离线地图进行匹配；当匹配成功时，进行闭环检测及后端优化以得到初始位姿信息。
进一步，所述根据所述初始位姿信息、目标位置信息和所述地图进行定位与导航的步骤，包括：将所述初始位姿信息作为在所述地图中的当前定位初始值；根据所述目标位置信息确定所述地图中目标点信息；根据所述当前定位初始值和所述目标点信息进行导航。
第二方面，本发明实施例提供了一种定位与导航装置，包括：重定位模块，用于通过视觉离线地图进行重定位，得到初始位姿信息；所述视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；激光建图模块，用于获取激光雷达装置建立的激光地图；定位与导航模块，用于根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航。
第三方面，本发明实施例提供了一种定位与导航的处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种定位与导航方法、装置及处理设备，在视觉定位中融合了惯性测量单元测量的数据，利用惯性测量单元的加速度及角速度信息提高了视觉定位的精度及鲁棒性，通过激光雷达装置和视觉装置同时定位与建图，利用视觉定位较好的重定位性能为激光地图提供初始位姿，可以在未知环境中的定位与建图，以及在已建图场景中的定位与自主导航功能，具有较好的精度和鲁棒性。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种处理设备的结构示意图；
图2为本发明实施例提供的一种定位与导航方法的流程图；
图3为本发明实施例提供的视觉融合IMU定位与建图的流程示意图；
图4为本发明实施例提供的视觉离线地图重定位的流程示意图；
图5为本发明实施例提供的激光雷达装置融合码盘进行定位与建图的流程示意图
图6为本发明实施例提供的激光雷达装置、视觉装置进行联合定位与导航的流程示意图
图7为本发明实施例提供的一种定位与导航装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
同时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)，通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统。SLAM技术对于机器人或其他智能体的行动和交互能力至为关键，代表了上述能力的基础：知道在哪里，知道周围环境如何，进而知道下一步如何自主行动。在自动驾驶、服务型机器人、无人机、AR/VR等领域有着广泛的应用。
考虑到依靠单一传感器来实现SLAM存在固有的缺陷，例如对场景纹理性要求较高、重定位能力差等问题，为改善此问题，本发明实施例提供了一种定位与导航方法、装置及处理设备，可以进行多传感器融合定位与建图，实现了复杂场景下的定位、建图以及自主导航的功能。
以下对本发明实施例进行详细介绍。
实施例一：
首先，参照图1来描述用于实现本发明实施例的处理设备100，该处理设备可以用于运行本发明各实施例的方法。
如图1所示，处理设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及数据采集器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的处理设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述处理设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述处理设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述数据采集器110用于进行数据采集，其中，数据采集器所采集的数据包括周围环境视频数据及激光数据等，然后数据采集器还可以将上述数据存储在所述存储器104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的数据传输方法的处理设备可以被实现为诸如智能机器人、智能手机、平板电脑、计算机等智能终端。
实施例二：
参见图2所示的一种定位与导航方法的流程图，该方法可由前述实施例提供的处理设备执行，该方法具体包括如下步骤：
步骤S202，通过视觉离线地图进行重定位，得到初始位姿信息。该视觉离线地图为基于视觉装置与惯性测量单元(Inertial measurement unit，IMU)融合建图获得。
预先通过视觉装置融合IMU进行定位与建图，获得视觉离线地图。在使用视觉定位时融合了IMU的数据，利用IMU的加速度及角速度信息可以提高视觉定位的精度及鲁棒性。
在本实施例中以双目摄像头采集图像为例进行说明。通过该双目摄像头进行实时图像采集，通过IMU进行实时角速度和加速度采集。双目摄像头实时采集场景信息，通过图像特征点匹配，例如ORB特征，删除误匹配后利用基础矩阵或单应矩阵可求得相机的位姿。由IMU可知角速度和加速度，通过预积分求得相邻关键帧的旋转角度、速度、平移距离。由获得的地图点和IMU信息，利用非线性优化可获得更为准确的相机位姿。位姿包含位置(x,y,z)和姿态(yaw,pitch,roll)，即(x,y,z,yaw,pith,roll)六个自由度信息。
其中，重定位可以以下方式执行：通过双目摄像装置采集图像，并与视觉离线地图进行匹配；当匹配成功时，进行闭环检测及后端优化以得到初始位姿信息。在进行重定位时，需要加载上述视觉离线地图，在该视觉离线地图中进行重定位。上述匹配方式例如可以是词袋(Bag of words)匹配。若匹配不成功，即重定位失败，则不断从双目摄像头获取图像进行匹配。
步骤S204，获取激光雷达装置建立的激光地图。
在进行激光定位与建图时，例如可以采用单线激光雷达采集场景数据。在初始化时，随机撒出粒子数据，由里程计数据提供先验信息，通过不断迭代更新完成定位，最终建出场景的二维栅格地图。激光雷达装置的具体方式可以采用现有技术中的定位与建图方式，在此不再赘述。
步骤S206，根据初始位姿信息、目标位置信息和上述激光地图进行定位与导航。
在定位导航开始前导入上述激光雷达装置建立的地图，由于粒子滤波算法无法在静态初始化时收敛，因此可以采用上述步骤的视觉定位确定的初始位姿为激光定位导航提供初始值。在已知目标位置信息的情况下，可以从激光地图中获取目标点信息，实现自主导航。在此需要说明的是，激光雷达装置建立的地图与视觉离线地图在建图时保持时间一致性。定位与导航可以以下方式执行：将初始位姿信息作为在地图中的当前定位初始值；根据目标位置信息确定地图中目标点信息；根据当前定位初始值和目标点信息进行导航。
本发明实施例提供的上述定位与导航方法，在视觉定位中融合了惯性测量单元测量的数据，利用惯性测量单元的加速度及角速度信息提高了视觉定位的精度及鲁棒性，通过激光雷达装置和视觉装置同时定位与建图，利用视觉定位较好的重定位性能为激光地图提供初始位姿，可以在未知环境中的定位与建图，以及在已建图场景中的定位与自主导航功能，具有较好的精度和鲁棒性。对上述视觉定位与IMU融合的视觉离线地图的建立过程，具体说明如下：
(1)通过双目摄像装置实时采集图像，并根据图像计算初始位姿。
针对双目摄像装置获得的左右图像分别提取特征点，并进行特征点匹配，进行位姿解算得到初始位姿。对于两幅图像，首先提取图像中的特征，然后根据两幅图的特征匹配，计算相机的变换矩阵。常用的特征点有Harris角点、SIFT、SURF、ORB等。对于特征点可以使用描述子加以描述。描述子通常是一个向量，含有特征点和周围区域的信息。如果两个特征点的描述子相似，则可以认为它们是同一个点。根据特征点和描述子的信息，以计算出两张图像中的匹配点。
(2)通过惯性测量单元实时采集角速度信息和加速度信息，并根据角速度信息和加速度信息确定惯性测量单元的状态量。该惯性测量单元的状态量包括：位移、速度、旋转和零偏值。
IMU一般由三个单轴加速度计和陀螺仪组成，惯导解算主要是通过加速度计测得的载体加速度和陀螺测得的载体相对于导航坐标系的角速度来对载体的位置、姿态及速度进行解算。在初始化阶段，可以利用相机若干帧来初始化IMU的零偏值，该若干帧例如是指系统启动后的最开始的20帧，用来估计IMU的零偏值。估计零偏值可以分为两个步骤：在不考虑加速度计的情况下估计陀螺仪的零偏值，然后再估计加速度计的零偏值。
(3)以重投影误差和惯性测量单元的状态量误差为约束对初始位姿进行联合优化，得到优化位姿。
在SLAM中，常见的几种约束条件包括：三维点到二维特征的映射关系(通过投影矩阵)、位姿和位姿之间的变换关系(通过三维刚体变换)、二维特征到二维特征的匹配关系(通过F矩阵)。由于视觉里程计和IMU积分值存在一定的累积误差，将视觉的重投影误差及IMU的状态量误差值作为约束进行联合优化，利用非线性优化求解出更准确的相机位姿及IMU状态量。
在仅使用视觉定位时需要优化的只是重投影误差项，将视觉定位与IMU融合后，需要优化的是重投影误差项与IMU的时间误差项，即将视觉定位的重投影误差与IMU状态量时间误差值的和作为约束，对初始位姿进行联合优化，再利用非线性优化求解优化位姿。
(4)提取图像信息的关键帧并计算地图点，以生成视觉离线地图。
上述视觉离线包含关键帧和地图点两部分。关键帧为所有帧的一个子集，挑选关键帧的标准主要是关键帧与关键帧间有一定的距离，且新的关键帧较上一个关键帧包含一定量的特征点。地图点包含3D空间位置坐标和特征描述两部分，位置坐标为(x,y,z)的形式，特征描述为在观测到这个地图点的图片帧中的投影位置提取的特征。
考虑到激光定位的位姿信息不准确或者激光定位无法得到当前位姿时，可以使用视觉定位的位姿信息，上述方法还可以包括以下步骤：
(1)确定激光定位数据的置信度。例如通过最小化评分的方式确定置信度，以此来评价激光定位数据的准确程度。
(2)当置信度小于预设置信度阈值时，将通过视觉离线地图进行重定位获得的位姿信息作为在激光地图中的当前定位值。在激光定位的置信度较低时，例如静态初始化或者当前位置并非位于离线地图内等情况，采用视觉重定位获得的位姿信息，作为在激光地图中的当前定位值。
(3)当置信度大于或等于预设置信度阈值时，将激光定位数据获得的位姿信息作为在激光地图中的当前定位值。可以理解的是，在激光定位的置信度较高时，采用激光定位获得的位姿信息即可。
本发明实施例提供的上述定位与导航方法，在视觉定位中融合了惯性测量单元数据，通过多传感器融合的室内定位，可以在未知环境中的定位与建图，以及在已建图场景中的定位与自主导航功能，具有较好的精度和鲁棒性。
实施例三：
本发明实施例提供了一种多传感器融合定位与建图的系统，包括：图像采集模块、激光雷达数据采集模块、IMU测量模块和数据处理模块。
图像采集模块，本实施例中以采用双目摄像头为例，用于实时采集场景信息，通过图像特征点匹配，例如ORB特征，删除误匹配后利用基础矩阵可求得相机的位姿。
激光雷达数据采集模块，用于构建二维栅格地图。通常采用粒子滤波的方法，利用码盘得到的里程计数据及激光扫描数据构建二维栅格地图，通过蒙特卡洛算法进行定位。
IMU测量模块，用于测量摄像头的角速度和加速度，通过预积分求得相邻关键帧的旋转角度、速度和平移距离。
数据处理模块，例如工控机，可以由获得的地图点、IMU信息，利用非线性优化可获得更为准确的相机位姿。数据处理模块还用于回环检测和后端优化，例如通过DBOW2算法将视觉特征转换为词袋模型，通过词袋匹配实现场景回环检测的功能，可用于全局优化相机位姿及地图。
在此需要说明的是，要求激光与视觉在建图时保持一致性，视觉与激光需要同时建图。导入地图后，将视觉重定位的位姿作为激光定位的初始位姿，以及在激光定位的置信度较低时为其提供位姿信息。由于ROS(Robot Operating System，机器人操作系统)操作系统具备可同时启动多个节点的特性，可以在ROS框架下进行上述处理。
基于上述多传感器融合定位与建图的系统，以下详述定位建图与导航的过程。
(1)视觉定位融合IMU定位与建图
参见图3所示的视觉融合IMU定位与建图的流程示意图。其中，双目摄像头用于实时采集图像信息，惯性测量单元，通过陀螺仪和加速度计采集角速度及加速度信息。
视觉惯性里程计，提取左右图像的特征点进行匹配，并删除误匹配，求解本质矩阵或单应矩阵后可知相机的旋转和平移，即相机的位姿。通过设置阈值条件等筛选出相机的关键帧，这里的阈值条件包括多种策略，例如下一关键帧与当前帧至少间隔20帧、当前帧跟踪到的特征点至少大于50个。SLAM系统中为了减小优化求解器的负担，采用了关键帧策略，IMU的速率显然要快于关键帧的插入，由于IMU的频率远高于视觉的频率，在相邻关键帧间计算出IMU的预积分值，计算预积分值可以减少重复积分的计算。预积分是指通过重新参数化，把关键帧之间的IMU测量值积分成相对运动的约束，避免了因为初始条件变化造成的重复积分，在下一个关键帧到来之前先对IMU数据积分。
后端优化，由于视觉里程计和IMU积分值存在一定的累积误差，将视觉的重投影误差及IMU的状态量(位移、速度、旋转、零偏值)误差值作为约束进行联合优化，利用非线性优化求解出更准确的相机位姿及IMU状态量。在仅使用视觉定位时需要优化的只是重投影误差项，将视觉定位与IMU融合后，需要优化的是重投影误差项与IMU的时间误差项，即将视觉定位的重投影误差与IMU状态量时间误差值的和作为约束，对初始位姿进行联合优化，再利用非线性优化求解优化位姿。
回环检测，又称闭环检测(Loop closure detection)，是指机器人识别曾到达场景的能力。例如利用词袋模型，将图像特征转换为单词，通过词袋匹配进行回环检测，利用全局优化校正当前位姿，完成地图点的融合。如果检测成功，可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉定位，可以利用词袋模型把图像中的视觉特征(SIFT，SURF等)聚类，然后建立词典，进而可以寻找每个图中含有哪些“单词”(word)。
最后，将关键帧及地图点信息保存为地图。
(2)利用视觉离线地图进行定位
参见图4所示的视觉离线地图重定位的流程示意图。首先加载上述(1)中所建的地图，通过BOW词袋匹配完成在离线地图中的定位。在通过双目摄像头获取图像后，提取图像特征并转换为单词，与离线地图的词袋进行匹配。
如果词袋匹配成功，且通过了连续性检测，即筛选出闭环帧，计算sim3变换。当检测到闭环时，闭环连接的两个关键帧的位姿需要通过Sim3优化(以使得其尺度一致)，优化求解两帧之间的相似变换矩阵，使得二维对应点的投影误差最小。求解出当前帧与闭环帧之间的位姿变换，进行后端优化得到优化位姿，即重定位成功。若重定位成功，则利用重定位后的若干帧初始化IMU的零偏值，如同上述(1)的策略，随后进入视觉惯性里程计模块，继续定位与建图。
若词袋匹配不成功，即重定位失败，则不断从双目摄像头模块获取图片进行词袋匹配。
(3)激光雷达装置定位与建图
参见图5所示的激光雷达装置融合码盘进行定位与建图的流程示意图。码盘通过行为编码器对机器人当前的运动里程进行计数，激光雷达采集场景数据。在初始化时，随机撒出粒子数据，由里程计数据提供先验信息，进行例子滤波。通过不断迭代更新，完成定位并建出场景的二维栅格地图。
(4)激光融合视觉进行定位与自主导航
参见图6所示的激光雷达装置、视觉装置进行联合定位与导航的流程示意图。
激光地图由上述(3)所构建，在定位导航开始前导入该激光地图。由于粒子滤波算法无法在机器人静态初始化时收敛，因此采用上述(2)中视觉定位中的位姿为激光定位导航提供初始值。
采用最小化评分的方式来评价激光数据的好坏，即置信度。例如当前机器人所处位置并非离线地图中的区域，或者机器人在离线地图中的定位不准确时，输出较低置信度。当置信度较低时，采用视觉定位的位姿信息作为当前机器人的位姿，当置信度较高时，采用激光定位的位姿。
在预先已知目标位置的情况下，即可从激光地图中获取目标点位置信息，实现自主导航。
实施例三：
对于实施例二中所提供的监控预警方法，本发明实施例提供了一种定位与导航装置，参见图7所示的一种定位与导航装置的结构框图，包括：
重定位模块702，用于通过视觉离线地图进行重定位，得到初始位姿信息；视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；
激光建图模块704，用于获取激光雷达装置建立的激光地图；
定位与导航模块706，用于根据初始位姿信息、目标位置信息和激光地图进行定位与导航。
本发明实施例提供的上述定位与导航装置，在视觉定位中融合了惯性测量单元测量的数据，利用惯性测量单元的加速度及角速度信息提高了视觉定位的精度及鲁棒性，通过激光雷达装置和视觉装置同时定位与建图，利用视觉定位较好的重定位性能为激光地图提供初始位姿，可以在未知环境中的定位与建图，以及在已建图场景中的定位与自主导航功能，具有较好的精度和鲁棒性。
在一种实施方式中，上述装置还包括联合定位与导航模块，用于：确定激光定位数据的置信度；当置信度小于预设置信度阈值时，将通过视觉离线地图进行重定位获得的位姿信息作为在激光地图中的当前定位值；当置信度大于或等于预设置信度阈值时，将激光定位数据获得的位姿信息作为在激光地图中的当前定位值。
在一种实施方式中，视觉离线地图通过以下方式建立：通过双目摄像装置实时采集图像，并根据图像计算初始位姿；通过惯性测量单元实时采集角速度信息和加速度信息，并根据角速度信息和加速度信息确定惯性测量单元的状态量；惯性测量单元的状态量包括：位移、速度、旋转和零偏值；以重投影误差和惯性测量单元的状态量误差为约束对初始位姿进行联合优化，得到优化位姿；提取图像信息的关键帧并计算地图点，以生成视觉离线地图。
在另一种实施方式中，根据图像计算初始位姿的步骤，包括：分别提取左图像和右图像的特征点，并进行特征点匹配；进行位姿解算得到初始位姿。
在另一种实施方式中，根据角速度信息和加速度信息确定惯性测量单元的状态量的步骤，包括：提取图像中的多个帧；根据多个帧依次估算惯性测量单元中陀螺仪的零偏值和加速度计的零偏值。
在另一种实施方式中，以重投影误差和惯性测量单元的状态量误差为约束对初始位姿进行联合优化，得到优化位姿的步骤，包括：将视觉装置的重投影误差与惯性测量单元的状态量时间误差值的和作为约束，对初始位姿进行联合优化；利用非线性优化求解优化位姿。
在另一种实施方式中，激光雷达装置建立的激光地图与视觉离线地图在建图时保持时间一致性。
在另一种实施方式中，上述重定位模块还用于：通过双目摄像装置采集图像，并与视觉离线地图进行匹配；当匹配成功时，进行闭环检测及后端优化以得到初始位姿信息。
在另一种实施方式中，上述定位与导航模块还用于：将初始位姿信息作为在地图中的当前定位初始值；根据目标位置信息确定地图中目标点信息；根据当前定位初始值和目标点信息进行导航。本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
此外，本实施例提供了一种定位与导航的处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
进一步，本实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例所提供的方法的步骤。
本发明实施例所提供的一种定位与导航方法、装置及处理设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种定位与导航方法，其特征在于，包括：
通过双目摄像装置采集图像，并与视觉离线地图进行匹配，以实现重定位，得到初始位姿信息；所述视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；
获取激光雷达装置建立的激光地图；
根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航；
其中，所述视觉离线地图通过以下方式建立：
通过双目摄像装置实时采集图像，并根据所述图像计算初始位姿；
通过所述惯性测量单元实时采集角速度信息和加速度信息，并根据所述角速度信息和所述加速度信息确定所述惯性测量单元的状态量；所述惯性测量单元的状态量包括：位移、速度、旋转和零偏值；
以重投影误差和所述惯性测量单元的状态量误差为约束对所述初始位姿进行联合优化，得到优化位姿；
提取所述图像信息的关键帧并计算地图点，以生成视觉离线地图；
其中，所述根据所述角速度信息和所述加速度信息确定所述惯性测量单元的状态量的步骤，包括：
提取所述图像中的多个帧；
根据所述多个帧依次估算所述惯性测量单元中陀螺仪的零偏值和加速度计的零偏值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定激光定位数据的置信度；其中，所述置信度用于评价激光定位数据的准确程度；
当所述置信度小于预设置信度阈值时，将通过视觉离线地图进行重定位获得的位姿信息作为在所述激光地图中的当前定位值；
当所述置信度大于或等于所述预设置信度阈值时，将所述激光定位数据获得的位姿信息作为在所述激光地图中的当前定位值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像计算初始位姿的步骤，包括：
分别提取左图像和右图像的特征点，并进行特征点匹配；
进行位姿解算得到初始位姿。
4.根据权利要求1所述的方法，其特征在于，所述以重投影误差和所述惯性测量单元的状态量误差为约束对所述初始位姿进行联合优化，得到优化位姿的步骤，包括：
将视觉的重投影误差与所述惯性测量单元的状态量时间误差值的和作为约束，对所述初始位姿进行联合优化；
利用非线性优化求解优化位姿。
5.根据权利要求3-4任一项所述的方法，其特征在于，激光雷达装置建立的所述激光地图与所述视觉离线地图在建图时保持时间一致性。
6.根据权利要求1所述的方法，其特征在于，所述通过视觉离线地图进行重定位，得到初始位姿信息的步骤，包括：
通过双目摄像装置采集图像，并与视觉离线地图进行匹配；
当匹配成功时，进行闭环检测及后端优化以得到初始位姿信息。
7.根据权利要求1或6所述的方法，其特征在于，所述根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航的步骤，包括：
将所述初始位姿信息作为在所述激光地图中的当前定位初始值；
根据所述目标位置信息确定所述激光地图中目标点信息；
根据所述当前定位初始值和所述目标点信息进行导航。
8.一种定位与导航装置，其特征在于，包括：
重定位模块，用于通过双目摄像装置采集图像，并与视觉离线地图进行匹配，以实现重定位，得到初始位姿信息；所述视觉离线地图为基于视觉装置与惯性测量单元融合建图获得；
激光建图模块，用于获取激光雷达装置建立的激光地图；
定位与导航模块，用于根据所述初始位姿信息、目标位置信息和所述激光地图进行定位与导航；
其中，所述视觉离线地图通过以下方式建立：
通过双目摄像装置实时采集图像，并根据所述图像计算初始位姿；
通过所述惯性测量单元实时采集角速度信息和加速度信息，并根据所述角速度信息和所述加速度信息确定所述惯性测量单元的状态量；所述惯性测量单元的状态量包括：位移、速度、旋转和零偏值；
以重投影误差和所述惯性测量单元的状态量误差为约束对所述初始位姿进行联合优化，得到优化位姿；
提取所述图像信息的关键帧并计算地图点，以生成视觉离线地图；
其中，所述根据所述角速度信息和所述加速度信息确定所述惯性测量单元的状态量的步骤，包括：
提取所述图像中的多个帧；
根据所述多个帧依次估算所述惯性测量单元中陀螺仪的零偏值和加速度计的零偏值。
9.一种定位与导航的处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7任一项所述的方法的步骤。
CN201810712784.9A 2018-06-29 2018-06-29 定位与导航方法、装置及处理设备 Active CN109084732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712784.9A CN109084732B (zh) 2018-06-29 2018-06-29 定位与导航方法、装置及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712784.9A CN109084732B (zh) 2018-06-29 2018-06-29 定位与导航方法、装置及处理设备

Publications (2)

Publication Number Publication Date
CN109084732A CN109084732A (zh) 2018-12-25
CN109084732B true CN109084732B (zh) 2021-01-12

Family

ID=64837057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712784.9A Active CN109084732B (zh) 2018-06-29 2018-06-29 定位与导航方法、装置及处理设备

Country Status (1)

Country Link
CN (1) CN109084732B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752724A (zh) * 2018-12-26 2019-05-14 珠海市众创芯慧科技有限公司 一种图像激光一体式导航定位系统
CN109725580A (zh) * 2019-01-17 2019-05-07 深圳市锐曼智能装备有限公司 机器人的远程控制方法
CN110009739B (zh) * 2019-01-29 2023-03-24 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN109887057B (zh) * 2019-01-30 2023-03-24 杭州飞步科技有限公司 生成高精度地图的方法和装置
CN111568304B (zh) * 2019-02-18 2023-09-01 北京奇虎科技有限公司 扫地机器人定位方法、装置及扫地机器人
CN110044354B (zh) * 2019-03-28 2022-05-20 东南大学 一种双目视觉室内定位与建图方法及装置
CN111765888A (zh) * 2019-04-01 2020-10-13 阿里巴巴集团控股有限公司 设备定位方法、装置、电子设备及可读存储介质
TWI711804B (zh) * 2019-05-15 2020-12-01 宜陞有限公司 自駕車輛之車輛導航設備
CN110118973B (zh) * 2019-05-27 2020-12-18 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN112097742B (zh) * 2019-06-17 2022-08-30 北京地平线机器人技术研发有限公司 一种位姿确定方法及装置
CN110243380B (zh) * 2019-06-26 2020-11-24 华中科技大学 一种基于多传感器数据与角度特征识别的地图匹配方法
CN112308904B (zh) * 2019-07-29 2024-07-02 北京初速度科技有限公司 一种基于视觉的建图方法、装置及车载终端
CN110568447B (zh) * 2019-07-29 2022-03-08 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110234029B (zh) * 2019-07-31 2021-12-17 上海商汤临港智能科技有限公司 多传感器数据的播放处理方法、装置、设备和存储介质
CN110471441A (zh) * 2019-08-12 2019-11-19 南京理工大学 一种基于激光探测的四旋翼无人机避障方法
CN112445210B (zh) * 2019-08-15 2023-10-27 纳恩博（北京）科技有限公司 运动轨迹的确定方法及装置、存储介质、电子装置
CN112414391B (zh) * 2019-08-20 2024-06-18 北京京东乾石科技有限公司 一种机器人的重定位方法及装置
WO2021035471A1 (en) * 2019-08-26 2021-03-04 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning a target subject
CN112154355B (zh) * 2019-09-19 2024-03-01 深圳市大疆创新科技有限公司 高精度地图定位方法、系统、平台及计算机可读存储介质
CN110873875B (zh) * 2019-11-26 2022-08-16 爱菲力斯(深圳)科技有限公司 机器人定位方法、机器人以及控制机器人上岗作业装置
CN111044036B (zh) * 2019-12-12 2021-10-15 浙江大学 基于粒子滤波的远程定位方法
CN113835422B (zh) * 2020-06-08 2023-09-29 杭州海康机器人股份有限公司 一种视觉地图构建方法和移动机器人
CN111805535B (zh) * 2020-06-11 2022-06-07 浙江大华技术股份有限公司 一种定位导航方法、装置以及计算机存储介质
CN111931589B (zh) * 2020-07-15 2024-06-21 京东科技信息技术有限公司 机器人的重定位方法及装置、存储介质、电子设备
CN111928860A (zh) * 2020-07-24 2020-11-13 上海交通大学烟台信息技术研究院 一种基于三维曲面定位能力的自主车辆主动定位方法
CN112083718B (zh) * 2020-08-13 2023-08-04 惠州拓邦电气技术有限公司 视觉导航机器人的控制方法、装置及计算机可读存储介质
CN114814872A (zh) * 2020-08-17 2022-07-29 浙江商汤科技开发有限公司 位姿确定方法及装置、电子设备和存储介质
CN114102577B (zh) * 2020-08-31 2023-05-30 北京极智嘉科技股份有限公司 一种机器人及应用于机器人的定位方法
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112558087B (zh) * 2020-11-20 2023-06-23 东风汽车集团有限公司 一种自动驾驶车辆的定位系统及方法
CN112700495B (zh) * 2020-11-25 2024-08-16 北京旷视机器人技术有限公司 位姿确定方法、装置、机器人、电子设备及存储介质
CN112461230B (zh) * 2020-12-07 2023-05-09 优必康(青岛)科技有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112631303B (zh) * 2020-12-26 2022-12-20 北京云迹科技股份有限公司 一种机器人定位方法、装置及电子设备
CN114859370A (zh) * 2021-01-20 2022-08-05 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质
CN112819891B (zh) * 2021-02-01 2023-12-22 深圳万拓科技创新有限公司 激光扫地机的位姿重定位方法、装置、设备及介质
CN112964276B (zh) * 2021-02-09 2022-08-05 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法
CN112882054B (zh) * 2021-02-26 2023-10-27 广州优亿信息科技有限公司 一种室内机器人定位导航系统及信号采集方法
CN113405544B (zh) * 2021-05-08 2024-02-09 中电海康集团有限公司 一种移动机器人的建图与定位方法及系统
CN113510703B (zh) * 2021-06-25 2022-09-16 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN114088104B (zh) * 2021-07-23 2023-09-29 武汉理工大学 一种自动驾驶场景下的地图生成方法
CN113776533A (zh) * 2021-07-29 2021-12-10 北京旷视科技有限公司 可移动设备的重定位方法及装置
CN115700507B (zh) * 2021-07-30 2024-02-13 北京小米移动软件有限公司 地图更新方法及其装置
CN113607160B (zh) * 2021-08-24 2023-10-31 湖南国科微电子股份有限公司 视觉定位恢复方法、装置、机器人和可读存储介质
CN113885046B (zh) * 2021-09-26 2024-06-18 天津大学 针对低纹理车库的智能网联汽车激光雷达定位系统及方法
CN113959444A (zh) * 2021-09-30 2022-01-21 达闼机器人有限公司 用于无人设备的导航方法、装置、介质及无人设备
CN117940739A (zh) * 2021-10-28 2024-04-26 深圳市大疆创新科技有限公司 可移动平台的定位方法和装置
CN114046787B (zh) * 2021-10-29 2024-01-30 广州文远知行科技有限公司 基于传感器的位姿优化方法、装置、设备及存储介质
CN114485629A (zh) * 2021-12-16 2022-05-13 广州极飞科技股份有限公司 无人设备导航方法、装置、设备和存储介质
WO2024087066A1 (zh) * 2022-10-26 2024-05-02 北京小米移动软件有限公司 图像定位方法、装置、电子设备及存储介质
CN115388902B (zh) * 2022-10-28 2023-03-24 苏州工业园区测绘地理信息有限公司 室内定位方法和系统、ar室内定位导航方法和系统
CN115979262B (zh) * 2023-03-21 2023-06-13 峰飞航空科技(昆山)有限公司 飞行器的定位方法、装置、设备及存储介质
CN116660916B (zh) * 2023-05-26 2024-02-02 广东省农业科学院设施农业研究所 一种用于果园移动机器人的定位方法、建图方法及电子设备
CN117315175B (zh) * 2023-09-28 2024-05-14 广东拓普视科技有限公司 一种基于机器人的构图定位装置及其方法
CN117073690B (zh) * 2023-10-17 2024-03-15 山东大学 一种基于多地图策略的导航方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9809169B1 (en) * 2013-03-15 2017-11-07 Mouhamad A. Naboulsi Safety control system for vehicles
CN106153048A (zh) * 2016-08-11 2016-11-23 广东技术师范学院 一种基于多传感器的机器人室内定位及制图系统
CN106681330A (zh) * 2017-01-25 2017-05-17 北京航空航天大学 基于多传感器数据融合的机器人导航方法及装置
CN107515891A (zh) * 2017-07-06 2017-12-26 杭州南江机器人股份有限公司 一种机器人地图制作方法、装置和存储介质
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法

Also Published As

Publication number Publication date
CN109084732A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109084732B (zh) 定位与导航方法、装置及处理设备
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN107160395B (zh) 地图构建方法及机器人控制系统
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
Laidlow et al. Dense RGB-D-inertial SLAM with map deformations
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
WO2020063878A1 (zh) 一种处理数据的方法和装置
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
Zhang et al. Vision-aided localization for ground robots
CN111791235B (zh) 一种机器人多相机视觉惯性点线特征定位方法及装置
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
CN111220155A (zh) 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN114088087A (zh) 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114255323A (zh) 机器人、地图构建方法、装置和可读存储介质
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
Hong et al. Visual inertial odometry using coupled nonlinear optimization
CN116958452A (zh) 三维重建方法和系统
Qayyum et al. Inertial-kinect fusion for outdoor 3d navigation
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
Irmisch et al. Simulation framework for a visual-inertial navigation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant