CN111161337A - 一种动态环境下的陪护机器人同步定位与构图方法 - Google Patents

一种动态环境下的陪护机器人同步定位与构图方法 Download PDF

Info

Publication number
CN111161337A
CN111161337A CN201911312945.6A CN201911312945A CN111161337A CN 111161337 A CN111161337 A CN 111161337A CN 201911312945 A CN201911312945 A CN 201911312945A CN 111161337 A CN111161337 A CN 111161337A
Authority
CN
China
Prior art keywords
imu
image
state vector
integration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911312945.6A
Other languages
English (en)
Other versions
CN111161337B (zh
Inventor
郭健
史一露
李胜
龚勋
朱佳森
朱文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911312945.6A priority Critical patent/CN111161337B/zh
Publication of CN111161337A publication Critical patent/CN111161337A/zh
Application granted granted Critical
Publication of CN111161337B publication Critical patent/CN111161337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nursing (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种动态环境下的陪护机器人同步定位与构图方法。方法包括：标定双目相机与惯性测量单元IMU，通过双目相机采集图像数据，通过IMU采集加速度与角速度数据；对加速度与角速度进行处理得到IMU预积分；对图像进行预处理，获得每帧图像的深度数据，结合帧差法与IMU预积分检测并剔除运动物体区域；进行视觉里程计的计算，获得相机的位姿变化；将IMU预积分与视觉里程计进行紧耦合，采用阻尼牛顿法对陪护机器人的位姿进行优化；根据陪护机器人的最优位姿建构稀疏特征点地图与八叉树地图。本发明融合了双目相机与惯性测量单元，并且结合了运动物体区域检测技术，提高了系统的准确性与可靠性。

Description

一种动态环境下的陪护机器人同步定位与构图方法
技术领域
本发明属于同步定位与构图技术，具体为一种动态环境下的陪护机器人同步定位与构图方法。
背景技术
同步定位与构图方法是当前机器人领域的关键技术之一，其能使机器人在未知环境中进行自主定位与地图构建。传统的室内服务机器人同步定位与构图方法多针对静态环境。但是，实际应用环境中的人、宠物等动态物体会产生干扰，导致传统的同步定位与构图方法适应性不好，鲁棒性不强。同时，由于室内环境较为复杂，采用单一传感器的同步定位与构图方法准确性低，存在一定的局限性，无法满足实际定位和地图构建的需求。
发明内容
本发明的目的在于提供一种动态环境下的陪护机器人同步定位与构图方法，用以提高在动态室内场景中陪护机器人定位和地图构建的准确性与可靠性。
实现本发明目的的技术方案为：一种动态环境下的陪护机器人同步定位与构图方法，具体步骤为：
步骤1、标定双目相机与惯性测量单元IMU，通过双目相机采集图像数据，通过IMU采集加速度与角速度数据；
步骤2、对加速度与角速度进行处理得到IMU预积分；
步骤3、对图像进行预处理，获得每帧图像的深度数据，结合帧差法与IMU预积分检测并剔除运动物体区域；
步骤4、进行视觉里程计的计算，获得相机的位姿变化；
步骤5、将IMU预积分与视觉里程计进行紧耦合，采用阻尼牛顿法对陪护机器人的位姿进行优化；
步骤6、根据陪护机器人的最优位姿建构稀疏特征点地图与八叉树地图。
优选地，对加速度与角速度进行处理得到IMU预积分的具体公式为：
Figure BDA0002325018920000021
Figure BDA0002325018920000022
Figure BDA0002325018920000023
式中，
Figure BDA0002325018920000024
表示当前t时刻相较于i时刻IMU的旋转增量，下标中的B表示IMU坐标系；
Figure BDA0002325018920000025
表示当前t时刻加速度的bias零偏；
Figure BDA0002325018920000026
表示当前t时刻陀螺仪的bias零偏；
Figure BDA0002325018920000027
表示当前t时刻的加速度测量值；
Figure BDA0002325018920000028
表示当前t时刻在IMU坐标系下角速度的测量值。
优选地，结合帧差法与IMU预积分检测并剔除运动物体区域的具体方法为：
通过IMU预积分与双目相机的位置关系计算出相机i时刻至j时刻的相对运动[pij,qij]；
将相机i时刻至j时刻的相对运动[pij,qij]作为帧差法的运动补偿，计算i时刻的图像Fi中所有像素经过[pij,qij]的位姿变化后在j时刻的位置，得到理论上j时刻的图像F′j，将理论上j时刻的F′j与j时刻的实际图像Fj进行灰度值差分，得到差分图像Dj；若差分图像Dj上像素点的灰度值大于设置阈值，将该像素点设定为运动物体区域，反之，设定为静态背景区域，并剔除图像Fj中的运动物体区域，获得静态图像。
优选地，相机i时刻至j时刻的相对运动qij与pij的计算公式为：
Figure BDA0002325018920000029
式中，TCB为IMU与双目相机的变换矩阵；
Figure BDA00023250189200000210
为IMU预积分；vi为IMU在i时刻运动的速度，
Figure BDA00023250189200000211
为i时刻IMU的相对于世界的旋转。
优选地，采用阻尼牛顿法进行非线性优化，得到优化后的机器人位估计的具体方法为：
步骤5-1、确定非线性优化的目标函数为：
Figure BDA0002325018920000031
其中，rp为边缘化的先验信息，Jp为其对应的雅可比矩阵，
Figure BDA0002325018920000032
为IMU预积分残差，
Figure BDA0002325018920000033
为视觉重投影残差，X为待优化的状态向量；
步骤5-2、计算状态向量增量ΔX，计算公式为：
(HP+HB+HC+μI)ΔX＝g
式中，HP为边缘化先验约束相对于状态向量X的海塞矩阵、HB为IMU预积分残差相对于状态向量X的海塞矩阵、HC为视觉残差相对于状态向量X的海塞矩阵；μ为阻尼因子，I为单位阵；g具体为：
Figure BDA0002325018920000034
式中，Jp为边缘化先验约束相对于X的雅可比矩阵，
Figure BDA0002325018920000035
为IMU预积分残差相对于X的雅可比矩阵，
Figure BDA0002325018920000036
为视觉残差相对于X的雅可比矩阵；
步骤5-3、判断状态向量增量是否小于设定阈值，若小于设定阈值，
则此时状态向量X最优，进行步骤5-5，否则根据状态向量增量重新确定状态向量X，重新计算目标函数；
步骤5-4、判断目标函数的值是否小于设定阈值，若小于，则此时状态向量X最优，进行步骤5-5；否则进行步骤5-2；
步骤5-5、根据最优的状态向量X确定最优的陪护机器人位姿。
本发明与现有技术相比，其显著优点为：
(1)本发明融合了双目相机与IMU进行同步定位与构图，相机数据克服IMU数据漂移的缺陷，而IMU数据提供快速运动时的位姿估计，将相机与IMU结合，提高了同步定位与构图的准确性与可靠性；
(2)本发明将IMU预积分与帧差法结合用于检测图像中的运动物体区域，有效减轻动态物体对定位与构图的干扰，提高了鲁棒性。
附图说明
图1为本发明的流程图。
图2为本发明的陪护机器人运动观测图。
具体实施方式
一种动态环境下的陪护机器人同步定位与构图方法，具体包括如下步骤：
步骤1、标定双目相机与惯性测量单元IMU，通过双目相机采集图像数据，通过IMU采集加速度与角速度数据。惯性测量单元IMU由三轴加速度计和三轴陀螺仪组成，加速度计采集加速度信息，陀螺仪采集角速度。
步骤2、对加速度与角速度进行处理得到IMU预积分，用于表示IMU的位姿变化。相对于常用的PVQ模型，用IMU预积分表示IMU的位姿变化，可以减少优化机器人位姿时的计算量。i时刻到j时刻之间的IMU预积分用
Figure BDA0002325018920000041
Figure BDA0002325018920000042
表示，具体定义为：
Figure BDA0002325018920000043
Figure BDA0002325018920000044
Figure BDA0002325018920000045
式中，
Figure BDA0002325018920000046
表示当前t时刻相较于i时刻IMU的旋转增量，下标中的B表示IMU坐标系；
Figure BDA0002325018920000047
表示当前t时刻加速度的bias零偏，其上标a表示加速度；
Figure BDA0002325018920000048
表示当前t时刻陀螺仪的bias零偏，其上标g表示陀螺仪。
Figure BDA0002325018920000049
表示当前t时刻的加速度测量值，其上标B表示IMU坐标系，同理，
Figure BDA00023250189200000410
表示当前t时刻在IMU坐标系下角速度的测量值。
步骤3、对图像进行预处理，获得每帧图像的深度数据，结合帧差法与IMU预积分来检测并剔除运动物体区域。具体步骤为：
步骤3-1、预处理图像，获得每帧图像的深度数据。双目相机采集的是左右两个相机的图像，此时图像中只包含物体的灰度值而没有深度数据，需要通过计算视差得到每帧图像的深度数据。本发明采用Census与SAD融合的立体匹配方法计算并优化视差，从而得到每帧图像的深度数据。
步骤3-2、结合帧差法与IMU预积分检测并剔除运动物体区域，获得静态图像。家庭室内环境中会存在人、宠物等动态物体，采用包含运动物体的图像进行定位构图会影响同步定位与构图系统的准确性与鲁棒性。因此，需要检测、剔除图像上的运动物体区域。已知i时刻的图像Fi与j时刻的图像Fj，检测剔除图像Fj上的运动区域的具体步骤为：
步骤3-2-1、双目相机与IMU是固定安装在陪护机器人上的，获得了IMU位姿变化后，可以通过IMU预积分与双目相机的位置关系计算出相机的i时刻至j时刻的相对运动[pij,qij]，其中，qij为相机j时刻相对于i时刻的旋转，pij为相机j时刻相对于i时刻的的平移，qij与pij具体计算方法为：
Figure BDA0002325018920000051
其中，TCB为IMU与双目相机的变换矩阵，用于表示IMU与双目相机的位置相对关系。
Figure BDA0002325018920000052
根据公式(1)获得。vi为IMU在i时刻运动的速度，
Figure BDA0002325018920000053
为i时刻IMU的相对于世界的旋转。
步骤3-2-2、将[pij,qij]作为帧差法的运动补偿，计算Fi中所有像素经过[pij,qij]的位姿变化后在j时刻的位置，得到理论上j时刻的图像F′j。将理论上j时刻的F′j与实际的图像Fj进行灰度值差分，得到差分图像Dj。若差分图像Dj上像素点的灰度值大于设置阈值，认为该像素点属于运动物体区域。反之，则为静态背景区域。然后剔除图像Fj中的运动物体区域，获得静态图像。
步骤4、进行视觉里程计的计算，获得相机的位姿变化。在静态图像上提取ORB特征点，并根据图像的深度数据计算ORB特征点的三维坐标。对前后两帧图像进行ORB特征点匹配，然后利用ICP算法进行视觉里程计的计算，获得两帧图像之间相机的位姿变化。
步骤5、将IMU预积分与视觉里程计进行紧耦合，采用阻尼牛顿法进行非线性优化对陪护机器人的位姿进行优化。
如图2中所示，IMU、双目相机、陪护机器人位置是固定的，所以IMU的预积分与视觉里程计都可以推导出陪护机器人的位姿。但是，IMU的角速度与加速度随时间会有一定的漂移，图像在运动过快时会出现模糊，因此只通过IMU预积分或者视觉里程计来估计陪护机器人的位姿，都会存在一定的缺陷，精度较低。本发明将IMU预积分与视觉里程计进行紧耦合，采用阻尼牛顿法进行非线性优化，提高机器人位姿估计的精度。
步骤5-1、确定非线性优化的目标函数，非线性优化的目的是为了寻找到最优的状态变量X，使目标函数最小。本发明中非线性优化的目标函数定义为：
Figure BDA0002325018920000061
其中，rp为边缘化的先验约束，
Figure BDA0002325018920000062
为IMU预积分残差，
Figure BDA0002325018920000063
为视觉重投影残差。rp、
Figure BDA0002325018920000064
的值都与状态向量X有关。X为待优化的状态向量，包括n个时刻的陪护机器人的状态x1…xn，m个特征点的逆深度λ1…λm，相机到IMU的外参xBC。X具体定义为：
X＝[x1,…,xn,xBC,λ1,…,λm] (4)
Figure BDA0002325018920000065
其中，pk为k时刻陪护机器人的平移，vk为k时刻陪护机器人的速度，qk为k时刻陪护机器人的旋转。
Figure BDA0002325018920000066
分别为加速度计和陀螺仪的bias零偏。
步骤5-2、计算状态向量增量ΔX，计算公式为：
(HP+HB+HC+μI)ΔX＝g (5)
式(5)中，HP为边缘化先验约束相对于状态向量X的海塞矩阵、HB为IMU预积分残差相对于状态向量X的海塞矩阵、HC为视觉残差相对于状态向量X的海塞矩阵；μ为阻尼因子，I为单位阵；g具体计算公式为：
Figure BDA0002325018920000067
式(6)中，Jp为边缘化先验约束相对于X的雅可比矩阵，
Figure BDA0002325018920000068
为IMU预积分残差相对于X的雅可比矩阵，
Figure BDA0002325018920000071
为视觉残差相对于X的雅可比矩阵。
依据阻尼牛顿法，通过寻找状态向量的增量ΔX来使目标函数最小。
步骤5-3、判断状态向量增量是否小于设定阈值，若小于设定阈值，则此时状态向量X最优，进行步骤5-5，否则根据状态向量增量重新确定状态向量X，重新计算目标函数；
步骤5-4、判断目标函数的值是否小于设定阈值，若小于，则此时状态向量X最优，进行步骤5-5；否则进行步骤5-2；
步骤5-5、根据最优的状态向量X确定最优的陪护机器人位姿。
步骤6、获得优化的陪护机器人位姿后，建构稀疏特征点地图与八叉树地图，具体步骤为：
步骤6-1、根据机器人的位姿与特征点的三维坐标构建稀疏特征点地图，用于陪护机器人的定位。
步骤6-2、根据步骤3中获得的图像深度数据恢复出图像中每个像素点在空间中的三维坐标。机器人的位姿确定后，结合对应图像上每个像素点的三维坐标，可以构建稠密点云地图。采用八叉树方法将稠密点云地图转化为三维八叉树地图，用于陪护机器人的导航系统并节省地图存储空间。
本发明将双目相机与惯性测量单元(IMU)融合进行精准高效的定位和地图构建，并结合运动物体区域检测技术，使陪护机器人能够真正地在实际场景中服务人类。

Claims (5)

1.一种动态环境下的陪护机器人同步定位与构图方法，其特征在于，具体步骤为：
步骤1、标定双目相机与惯性测量单元IMU，通过双目相机采集图像数据，通过IMU采集加速度与角速度数据；
步骤2、对加速度与角速度进行处理得到IMU预积分；
步骤3、对图像进行预处理，获得每帧图像的深度数据，结合帧差法与IMU预积分检测并剔除运动物体区域；
步骤4、进行视觉里程计的计算，获得相机的位姿变化；
步骤5、将IMU预积分与视觉里程计进行紧耦合，采用阻尼牛顿法对陪护机器人的位姿进行优化；
步骤6、根据陪护机器人的最优位姿建构稀疏特征点地图与八叉树地图。
2.根据权利要求1所述的动态环境下的陪护机器人同步定位与构图方法，其特征在于，对加速度与角速度进行处理得到IMU预积分的具体公式为：
Figure FDA0002325018910000011
Figure FDA0002325018910000012
Figure FDA0002325018910000013
式中，
Figure FDA0002325018910000014
表示当前t时刻相较于i时刻IMU的旋转增量，下标中的B表示IMU坐标系；
Figure FDA0002325018910000015
表示当前t时刻加速度的bias零偏；
Figure FDA0002325018910000016
表示当前t时刻陀螺仪的bias零偏；
Figure FDA0002325018910000017
表示当前t时刻的加速度测量值；
Figure FDA0002325018910000018
表示当前t时刻在IMU坐标系下角速度的测量值。
3.根据权利要求1所述的动态环境下的陪护机器人同步定位与构图方法，其特征在于，结合帧差法与IMU预积分检测并剔除运动物体区域的具体方法为：
通过IMU预积分与双目相机的位置关系计算出相机i时刻至j时刻的相对运动[pij,qij]；
将相机i时刻至j时刻的相对运动[pij,qij]作为帧差法的运动补偿，计算i时刻的图像Fi中所有像素经过[pij,qij]的位姿变化后在j时刻的位置，得到理论上j时刻的图像F′j，将理论上j时刻的F′j与j时刻的实际图像Fj进行灰度值差分，得到差分图像Dj；若差分图像Dj上像素点的灰度值大于设置阈值，将该像素点设定为运动物体区域，反之，设定为静态背景区域，并剔除图像Fj中的运动物体区域，获得静态图像。
4.根据权利要求3所述的动态环境下的陪护机器人同步定位与构图方法，其特征在于，相机i时刻至j时刻的相对运动qij与pij的计算公式为：
Figure FDA0002325018910000021
式中，TCB为IMU与双目相机的变换矩阵；
Figure FDA0002325018910000022
为IMU预积分；vi为IMU在i时刻运动的速度，
Figure FDA0002325018910000023
为i时刻IMU的相对于世界的旋转。
5.根据权利要求1所述的动态环境下的陪护机器人同步定位与构图方法，其特征在于，采用阻尼牛顿法进行非线性优化，得到优化后的机器人位估计的具体方法为：
步骤5-1、确定非线性优化的目标函数为：
Figure FDA0002325018910000024
其中，rp为边缘化的先验信息，Jp为其对应的雅可比矩阵，
Figure FDA0002325018910000025
为IMU预积分残差，
Figure FDA0002325018910000026
为视觉重投影残差，X为待优化的状态向量；
步骤5-2、计算状态向量增量ΔX，计算公式为：
(HP+HB+HC+μI)ΔX＝g
式中，HP为边缘化先验约束相对于状态向量X的海塞矩阵、HB为IMU预积分残差相对于状态向量X的海塞矩阵、HC为视觉残差相对于状态向量X的海塞矩阵；μ为阻尼因子，I为单位阵；g具体为：
Figure FDA0002325018910000031
式中，Jp为边缘化先验约束相对于X的雅可比矩阵，
Figure FDA0002325018910000032
为IMU预积分残差相对于X的雅可比矩阵，
Figure FDA0002325018910000033
为视觉残差相对于X的雅可比矩阵；
步骤5-3、判断状态向量增量是否小于设定阈值，若小于设定阈值，则此时状态向量X最优，进行步骤5-5，否则根据状态向量增量重新确定状态向量X，重新计算目标函数；
步骤5-4、判断目标函数的值是否小于设定阈值，若小于，则此时状态向量X最优，进行步骤5-5；否则进行步骤5-2；
步骤5-5、根据最优的状态向量X确定最优的陪护机器人位姿。
CN201911312945.6A 2019-12-18 2019-12-18 一种动态环境下的陪护机器人同步定位与构图方法 Active CN111161337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911312945.6A CN111161337B (zh) 2019-12-18 2019-12-18 一种动态环境下的陪护机器人同步定位与构图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911312945.6A CN111161337B (zh) 2019-12-18 2019-12-18 一种动态环境下的陪护机器人同步定位与构图方法

Publications (2)

Publication Number Publication Date
CN111161337A true CN111161337A (zh) 2020-05-15
CN111161337B CN111161337B (zh) 2022-09-06

Family

ID=70557316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911312945.6A Active CN111161337B (zh) 2019-12-18 2019-12-18 一种动态环境下的陪护机器人同步定位与构图方法

Country Status (1)

Country Link
CN (1) CN111161337B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795686A (zh) * 2020-06-08 2020-10-20 南京大学 一种移动机器人定位与建图的方法
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN112097768A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113155126A (zh) * 2021-01-04 2021-07-23 航天时代飞鸿技术有限公司 一种基于视觉导航的多机协同目标高精度定位系统及方法
CN113155140A (zh) * 2021-03-31 2021-07-23 上海交通大学 用于室外特征稀疏环境下的机器人slam方法及系统
WO2023273057A1 (zh) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 一种机器人定位方法、装置、机器人及存储介质
WO2023142353A1 (zh) * 2022-01-26 2023-08-03 奥比中光科技集团股份有限公司 一种位姿预测方法及装置
CN118244785A (zh) * 2024-05-28 2024-06-25 浙江大学湖州研究院 空地双模的两栖无人机及其定位方法、装置、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111795686A (zh) * 2020-06-08 2020-10-20 南京大学 一种移动机器人定位与建图的方法
CN111795686B (zh) * 2020-06-08 2024-02-02 南京大学 一种移动机器人定位与建图的方法
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN112097768A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN112097768B (zh) * 2020-11-17 2021-03-02 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113155126B (zh) * 2021-01-04 2023-10-20 航天时代飞鸿技术有限公司 一种基于视觉导航的多机协同目标高精度定位系统及方法
CN113155126A (zh) * 2021-01-04 2021-07-23 航天时代飞鸿技术有限公司 一种基于视觉导航的多机协同目标高精度定位系统及方法
CN113155140B (zh) * 2021-03-31 2022-08-02 上海交通大学 用于室外特征稀疏环境下的机器人slam方法及系统
CN113155140A (zh) * 2021-03-31 2021-07-23 上海交通大学 用于室外特征稀疏环境下的机器人slam方法及系统
WO2023273057A1 (zh) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 一种机器人定位方法、装置、机器人及存储介质
WO2023142353A1 (zh) * 2022-01-26 2023-08-03 奥比中光科技集团股份有限公司 一种位姿预测方法及装置
CN118244785A (zh) * 2024-05-28 2024-06-25 浙江大学湖州研究院 空地双模的两栖无人机及其定位方法、装置、存储介质
CN118244785B (zh) * 2024-05-28 2024-07-23 浙江大学湖州研究院 空地双模的两栖无人机及其定位方法、装置、存储介质

Also Published As

Publication number Publication date
CN111161337B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111161337B (zh) 一种动态环境下的陪护机器人同步定位与构图方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN109540126B (zh) 一种基于光流法的惯性视觉组合导航方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN111561923B (zh) 基于多传感器融合的slam制图方法、系统
CN108717712B (zh) 一种基于地平面假设的视觉惯导slam方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9071829B2 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
TWI397671B (zh) 定位載體、估測載體姿態與建地圖之系統與方法
CN108406731A (zh) 一种基于深度视觉的定位装置、方法及机器人
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN208323361U (zh) 一种基于深度视觉的定位装置及机器人
CN114608561A (zh) 一种基于多传感器融合的定位与建图方法及系统
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN113639743B (zh) 一种基于行人步长信息辅助的视觉惯性slam定位方法
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
CN117739972B (zh) 一种无全球卫星定位系统的无人机进近阶段定位方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant