CN111784775B - 一种标识辅助的视觉惯性增强现实注册方法 - Google Patents

一种标识辅助的视觉惯性增强现实注册方法 Download PDF

Info

Publication number
CN111784775B
CN111784775B CN202010670828.3A CN202010670828A CN111784775B CN 111784775 B CN111784775 B CN 111784775B CN 202010670828 A CN202010670828 A CN 202010670828A CN 111784775 B CN111784775 B CN 111784775B
Authority
CN
China
Prior art keywords
identification
artificial
map
augmented reality
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010670828.3A
Other languages
English (en)
Other versions
CN111784775A (zh
Inventor
桂健钧
邓宝松
周明作
张周
李靖
闫野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202010670828.3A priority Critical patent/CN111784775B/zh
Publication of CN111784775A publication Critical patent/CN111784775A/zh
Application granted granted Critical
Publication of CN111784775B publication Critical patent/CN111784775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明属于增强现实技术领域，具体涉及一种标识辅助的视觉惯性增强现实注册方法。本发明包括如下步骤：步骤1、对自然特征容易跟踪失败的区域张贴人工标识；步骤2、对相机的实时跟踪，从相机获取图像帧；步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图；步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧；步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图；步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。本发明利用标识辅助视觉惯导进行相机的定位和对周围环境的建图，统一SLAM系统的坐标系，提高虚实注册的鲁棒性。

Description

一种标识辅助的视觉惯性增强现实注册方法
技术领域
本发明属于计算机视觉、机器人定位与导航以及增强现实技术领域，具体涉及一种标识辅助的视觉惯性增强现实注册方法。
背景技术
增强现实(Augmented Reality，AR)是为了弥补虚拟现实中无真实环境的缺陷衍生而来，是一种将虚拟信息和真实世界“无缝”融合的新技术，把原本在现实世界的一定场景下很难体验到的实体信息(视觉、听觉、触觉、味觉等)，通过计算机等技术，模拟仿真后再叠加到真实世界，真实世界和虚拟物体实时地融合渲染到了同一个显示设备上，从而达到对现实感知的增强，使人类感知到现实中难以体验到的信息。
增强现实是一种底层技术，只要是需要对现实增强感知的场合都可以使用增强现实技术。例如：在电子商务领域中可以使用增强现实技术在用户面前展示线上产品，使用户在未购买产品的情况下逼真地感受产品；在旅游展览产业中使用增强现实技术展示难以在真实世界中修复的景观和物品，给旅客更梦幻的体验；在军事领域上可使用增强现实技术更直观地显示作战信息；另外，在游戏、教育、医疗等等其它领域增强现实都有着非常广泛的应用。
增强现实的关键技术之一是跟踪二维平面或三维物体将虚拟物体注册到真实场景中，实时保持在相机运动过程中，虚拟物体和真实场景的几何一致性。普通的方形黑白人工标识由于识别速度快、成本低、精度高、鲁棒性好等优点，广泛用于增强现实注册，但是当标识不在视野中时相机就无法定位。在机器人领域视觉惯导融合的同时建图和定位技术是目前相机定位成本较低精度较高的方案，但是在它的世界坐标系一般是系统初始化的第一帧，即每次运行定位系统的世界坐标系都不同，这样只有通过检测环境中的平面等信息加上用户交互来确定虚拟物体的位置，虚拟物体的位置无法预先用世界坐标准确表示，所构建的地图难以复用，且难以长时间保持鲁棒性。
发明内容
本发明的目的在于，针对现有技术的缺陷，提供一种标识辅助的视觉惯导增强现实注册方法，利用标识辅助视觉惯导进行相机的定位和对周围环境的建图，统一SLAM系统的坐标系，提高虚实注册的鲁棒性。
本发明采用的技术方案：
一种标识辅助的视觉惯性增强现实注册方法，包括如下步骤：
步骤1、预先实验对自然特征容易跟踪失败的区域张贴人工标识，张贴基准人工标识；
步骤2、在增强现实系统使用场景中放置好所有的人工标识后，开始对相机的实时跟踪，从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；
步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；
步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；
步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；
步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。
所述步骤1包括如下步骤：
步骤1.1、在ArUco字典中选择一些标识，按照相机分辨率和工作距离，打印出这些标识，测量标识的边长L；
步骤1.2、预先不粘贴人工标识，在不放置人工标识的增强现实系统使用场景中，使用基于特征点的SLAM算法，同时定位和建图，在此过程中记录算法容易跟踪失败的区域，随后在这些区域按大小增加适当数量的ID不同的人工标识；
步骤1.3、在增强现实系统使用场景中放置人工标识，尤其在容易跟踪失败的区域根据区域大小增加适量工标识。
所述步骤2包括如下步骤：
步骤2.1、将图像划分网格，每个网格提取一定数量特征点，根据实际效果设置两个阈值T1，T2，分别代表每帧图像和每个网格所需要的特征点数量，若图像或网格特征点数量不足，则舍弃该帧图像或网格；
步骤2.2、对相邻两帧图像间IMU预积分；
步骤2.3、将图像进行自适应二值化和形态学运算：对二值化的图像提取轮廓，过滤掉过大、过小和不是四边形的轮廓，使用单应矩阵将四边形去除透视投影，然后用Otsu的方法二值化，二值化后的图形转换为一个二进制的值和字典中的值对比，从而识别人工标识。
所述步骤3包括如下步骤:
步骤3.1、分别假设初始化场景为平面和非平面计算单应矩阵和基础矩阵，再按照两种解法的得分选择其中一个作为最终解，从而恢复初始化两帧间的运动；
步骤3.2、利用IMU信息或人工标识信息恢复单目相机场景估算的真实尺度；
步骤3.3、如果检测到基准人工标识，把基准人工标识坐标系设为世界坐标系，调整以前的地图坐标，后续的跟踪建图以新的世界坐标系为准，如果没有检测到基准人工标识，则世界坐标为初始化的第一帧。
所述步骤3.1中，
在初始化场景中，从相机获取有足够匹配点的两帧图像，分别记为xr，xc，分别计算单应矩阵Hcr和基础矩阵Fcr:
xc＝Hcrxr,
Figure BDA0002582210100000041
按照对称变换误差分别计算两种模型的得分：
Figure BDA0002582210100000042
Figure BDA0002582210100000043
其中M表示H或F，根据下面的得分比例，当RH>0.45时选择基础矩阵：
RH＝SH/(SH+SF)
分解H矩阵或F矩阵得到初始化两帧的位姿，三角化初始地图点，得到初始化地图。
所述步骤4中，具体子步骤包括:
步骤4.1、当上一帧跟踪成功，则假设当前帧的与上一帧间的变换是固定值，再通过特征匹配地图点，优化当前帧位姿；
步骤4.2、在纯视觉无法估计位姿的情况下利用IMU信息和人工标识信息，当视觉跟踪失败时，完全使用IMU信息估计位姿，这时观测到人工标识可得相机相对于人工标识的位姿，可求出这两个位姿间的变换，进而可以求出这个人工标识的世界坐标，将这个标识加入地图，可作为后续跟踪使用；
步骤4.3：当跟踪失败时进行重定位。
所述步骤5中，具体子步骤包括:
步骤5.1、通过每一帧检测人工标识，和在词袋数据库中对比关键帧，检测回环；
步骤5.2、检测到回环后，根据回环约束，对全局地图包括关键点、关键帧、人工标识的位姿使用全局光束平差法优化；
步骤5.3、保存优化后地图，供下次或其他用户在当前场景复用。
所述步骤5.1包括如下步骤：
步骤5.1.1、当没有关键帧中没有检测到人工标识按照词袋检测回环；
步骤5.1.2、人工标识检测回环。
与现有技术相比，本发明的有益效果在于：
(1)本发明提供一种标识辅助的视觉惯性增强现实注册方法,选定的人工标识坐标系作为世界坐标，保证每次运行SLAM系统可以在同一个坐标系下；大多数视觉SLAM算法都是以系统开始运行的第一帧的位姿作为世界坐标系，这样在增强现实系统中就无法预设虚拟物体的位置，然而在人工标识三维注册算法中通常假设人工标识是固定不动的，这样可以规定某个人工标识自身坐标系为增强现实系统的世界坐标系；
(2)本发明提供一种标识辅助的视觉惯性增强现实注册方法,利用人工标识快速进行重定位和回环检测，提高系统的鲁棒性；视觉SLAM中的回环检测存在一定错误率、受光照和动态环境影响较大、效率不高。而二维码标识相对稳定，且具有编号，若将系统中每个标识设定独一无二的编号，可以认为看到两次相同编号标识时在同一位置，从而帮助系统重定位和回环优化；
(3)本发明提供一种标识辅助的视觉惯性增强现实注册方法,利用人工标识修正单目相机定位的累积误差，提高系统定位的准确性；由于单目相机无法获取深度信息，所以随着相机的运动，所估计的相机位姿会有较大的累积误差，可以通过人工标识进行修正。
附图说明
图1是本发明一种标识辅助的视觉惯性增强现实注册方法流程图；
图2是本发明使用的人工标识示意图；
图3是人工标识坐标系和相机位置关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种标识辅助的视觉惯性增强现实注册方法作进一步详细说明。
如图1所示，本发明提供一种标识辅助的视觉惯导增强现实注册方法，方法包括：
步骤1：预先实验对自然特征容易跟踪失败的区域张贴人工标识，在适当位置张贴基准人工标识，如图2所示；
根据本发明的一种实施方式，步骤1包括：
步骤1.1：在ArUco字典中选择一些标识，按照相机分辨率和工作距离，选择适当的大小，打印出这些标识，测量标识的边长L，人工标识坐标系如图3所示。
步骤1.2：预先不粘贴人工标识，在不放置人工标识的增强现实系统使用场景中，使用基于特征点的SLAM算法，同时定位和建图，在此过程中记录算法容易跟踪失败的区域，随后在这些区域按大小增加适当数量的ID不同的人工标识。
步骤1.3：在增强现实系统使用场景中放置人工标识，尤其在容易跟踪失败的区域根据区域大小增加适量工标识。
步骤1.4：根据增强现实系统的使用场景，在便于测量所要放置的虚拟物体坐标、相机相对容易观测到、不明显影响美观的位置上粘贴代表世界坐标系的人工标识。
步骤2：在增强现实系统使用场景中放置好所有的人工标识后，开始对相机的实时跟踪。从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；
步骤2具体包括包括：
步骤2.1：将图像划分网格，每个网格提取一定数量特征点。为了保证基于特征点的位姿计算的可靠性，需要根据实际效果设置两个阈值T1，T2，分别代表每帧图像和每个网格所需要的特征点数量，若图像或网格特征点数量不足，则舍弃该帧图像或网格。所述特征点可以为ORB、ZKAZE等。
步骤2.2：对相邻两帧图像间IMU预积分。
步骤2.3：将图像进行自适应二值化和形态学运算。对二值化的图像提取轮廓，过滤掉过大、过小和不是四边形的轮廓。使用单应矩阵将四边形去除透视投影，然后用Otsu的方法二值化。二值化后的图形转换为一个二进制的值和字典中的值对比，从而识别人工标识。
步骤3：从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；
步骤3.1、从增强现实系统使用场景中的任意位置开始建立初始地图
地图初始化的目的是计算相邻两帧位姿从而三角化地图点。由于无法知道初始场景是否为平面，所以分别假设初始化场景为平面和非平面计算单应矩阵和基础矩阵。再按照两种解法的得分选择其中一个作为最终解，从而恢复初始化两帧间的运动。在初始化场景中，从相机获取有足够匹配点的两帧图像，分别记为xr，xc，分别计算单应矩阵Hcr和基础矩阵Fcr:
xc＝Hcrxr,
Figure BDA0002582210100000071
按照对称变换误差分别计算两种模型的得分：
Figure BDA0002582210100000081
Figure BDA0002582210100000082
其中M表示H或F，根据下面的得分比例，当RH>0.45时选择基础矩阵：
RH＝SH/(SH+SF)
分解H矩阵或F矩阵得到初始化两帧的位姿，三角化初始地图点，得到初始化地图。在此过程中同时检查提供世界坐标系的人工标识，将初始地图转换到世界坐标系下。
步骤3.2、获取真实尺度
纯视觉特征的单目初始化是没有真实尺度信息的，可利用IMU信息或人工标识信息恢复单目相机场景估算的真实尺度。
Figure BDA0002582210100000083
其中tc为当前帧相对人工标识的平移向量，tr为参考帧相对于人工标识的平移向量，t为当前帧和参考帧间的平移向量。
步骤3.3：步骤3.3、以人工标识为基准调整坐标系
无标识的SLAM系统初始化是以第一帧Fr的坐标系为世界坐标系。当初始化时相机观测到基准人工标识，可得第一帧在基准人工标识坐标系下的位姿：
Figure BDA0002582210100000084
当前帧相对于第一帧的位姿：(Rc,tc)，可求出这两个位姿间的变换T，则所有帧的位姿都可以变换到基准人工标识坐标系下。即把基准人工标识坐标系设为世界坐标系，调整以前的地图坐标，后续的跟踪建图以新的世界坐标系为准。如果没有检测到基准人工标识，则世界坐标为初始化的第一帧。
步骤4：随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；步骤4包括：
步骤4.1：当上一帧跟踪成功，则假设当前帧的与上一帧间的变换是固定值，再通过特征匹配地图点，优化当前帧位姿。计算与上一帧平均视差和匹配的特征点数量，若视差大于阈值或特征点数量小于阈值，将当前帧作为关键帧加入地图。
步骤4.2：在纯视觉无法估计位姿的情况下利用IMU信息和人工标识信息，当视觉跟踪失败时，完全使用IMU信息估计位姿，这时观测到人工标识可得相机相对于人工标识的位姿，可求出这两个位姿间的变换，进而可以求出这个人工标识的世界坐标，将这个标识加入地图，可作为后续跟踪使用。
步骤4.3：当跟踪失败时进行重定位。
根据本发明的一种实施方式，步骤4.3包括：
步骤4.3.1：词袋重定位，根据最新插入的关键帧的词袋向量对比关键帧数据库。
步骤4.3.2：人工标识重定位，观测到了人工标识就能估计出相机当前的位姿，以这个位姿作为准确的当前帧位姿。
步骤5：当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；步骤5包括：
步骤5.1：在相机运动到相同位置时需要回环检测矫正漂移，否则累计误差越来越大；
步骤5.2：检测到回环后，根据回环约束，对全局地图包括关键点、关键帧、人工标识的位姿使用全局光束平差法优化；
步骤5.3：保存优化后的地图，构建了当前环境的全局地图，可供其他用户或下次使用，由于世界坐标系固定，则虚拟物体的位置也是固定的，所以该地图复用性强。
根据本发明的一种实施方式，步骤5.1包括：
步骤5.1.1：当没有关键帧中没有检测到人工标识按照词袋检测回环。首先计算最近插入的关键帧和它的相邻帧之间的相似度。保存最低分数，查询数据库，得到最相似的非相邻关键帧，相似度比所保存的最低相似度高。得到n个候选关键帧。这些关键帧和最近插入的关键帧进行闭环。特征点匹配如果匹配数量足够，我们将相应地图点的三维位置去求解最合适的刚体变化T，使用RANSAC PnP算法。
步骤5.1.2：人工标识检测回环。每一帧都执行人工标识的回环检测，而不是等到插入关键帧。当相机观测到一个人工标识，如果这个人工标识没有被相邻参考关键帧观测到，说明检测到了回环。矫正人工标识所估计的位姿和跟踪的位姿之间的漂移。关键点和人工标识都可以检测到的回环，两种回环显示的相机位姿漂移都必须被矫正，沿着从参考关键帧到检测到回环的第一个关键帧均匀传播误差，优化Sim(3)关键帧位姿。
步骤6：根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应该涵盖在本发明的保护范围之内。

Claims (6)

1.一种标识辅助的视觉惯性增强现实注册方法，其特征在于，包括如下步骤：
步骤1、预先实验对自然特征容易跟踪失败的区域张贴人工标识，张贴基准人工标识；
步骤2、在增强现实系统使用场景中放置好所有的人工标识后，开始对相机实时跟踪，从相机获取图像帧，对每帧图像进行提取特征点和检查人工标识，在获取两帧图像之间进行IMU预积分；
步骤3、从增强现实系统使用场景中的任意位置开始建立初始地图，如果检测到人工标识，则以人工标识为基准调整坐标系；
步骤4、随着相机运动，实时估算相邻图像间的位姿，并且不断插入关键帧，如果跟踪失败则进行重定位；
步骤5、当检测到回环时，优化观测的信息，构建全局一致的地图，以自定义格式保存该地图，可供下次或其他用户在当前环境中使用；
步骤6、根据环境地图和基准人工标识的位置，对虚拟物体进行三维注册；
所述步骤3包括如下步骤:
步骤3.1、分别假设初始化场景为平面和非平面计算单应矩阵和基础矩阵，再按照两种解法的得分选择其中一个作为最终解，从而恢复初始化两帧间的运动；
步骤3.2、利用IMU信息或人工标识信息恢复单目相机场景估算的真实尺度；
步骤3.3、如果检测到基准人工标识，把基准人工标识坐标系设为世界坐标系，调整以前的地图坐标，后续的跟踪建图以新的世界坐标系为准，如果没有检测到基准人工标识，则世界坐标为初始化的第一帧；
所述步骤3.1中，
在初始化场景中，从相机获取有足够匹配点的两帧图像，分别记为xr，xc，分别计算单应矩阵Hcr和基础矩阵Fcr：
xc＝Hcrxr，
Figure FDA0002947797770000021
按照对称变换误差分别计算两种模型的得分：
Figure FDA0002947797770000022
Figure FDA0002947797770000023
其中M表示H或F，根据下面的得分比例，当RH＞0.45时选择基础矩阵：
RH＝SH/(SH+SF)
分解H矩阵或F矩阵得到初始化两帧的位姿，三角化初始地图点，得到初始化地图；
M表示计算模型，当M＝H时，表示单应矩阵模型，M＝F时，表示基础矩阵模型；
Figure FDA0002947797770000024
表示图像帧之间对称变换误差；
Figure FDA0002947797770000025
表示不同帧上的特征点像素坐标，上标[·]i表示特征点编号，下标[·]c/r表示特征点所属帧；
TM表示基于卡方检验的95％置信区间阈值，当误差大于该值，认为该点是外点需要剔除，值赋为0；
Г是常量，设定与TH值相等，用于保证两个模型使用相同的对称变换误差d计算时获相等的值。
2.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1、在ArUco字典中选择一些标识，按照相机分辨率和工作距离，打印出这些标识，测量标识的边长L；
步骤1.2、预先不粘贴人工标识，在不放置人工标识的增强现实系统使用场景中，使用基于特征点的SLAM算法，同时定位和建图，在此过程中记录算法容易跟踪失败的区域，随后在这些区域按大小增加适当数量的ID不同的人工标识；
步骤1.3、在增强现实系统使用场景中放置人工标识，在容易跟踪失败的区域根据区域大小增加人工标识。
3.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤2包括如下步骤：
步骤2.1、将图像划分网格，每个网格提取一定数量特征点，根据实际效果设置两个阈值T1，T2，分别代表每帧图像和每个网格所需要的特征点数量，若图像或网格特征点数量不足，则舍弃该帧图像或网格；
步骤2.2、对相邻两帧图像间IMU预积分；
步骤2.3、将图像进行自适应二值化和形态学运算：对二值化的图像提取轮廓，过滤掉过大、过小和不是四边形的轮廓，使用单应矩阵将四边形去除透视投影，然后用Otsu的方法二值化，二值化后的图形转换为一个二进制的值和字典中的值对比，从而识别人工标识。
4.如权利要求1所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤4中，具体子步骤包括:
步骤4.1、当上一帧跟踪成功，则假设当前帧的与上一帧间的变换是固定值，再通过特征匹配地图点，优化当前帧位姿；
步骤4.2、在纯视觉无法估计位姿的情况下利用IMU信息和人工标识信息，当视觉跟踪失败时，完全使用IMU信息估计位姿，这时观测到人工标识可得相机相对于人工标识的位姿，可求出这两个位姿间的变换，进而可以求出这个人工标识的世界坐标，将这个标识加入地图，可作为后续跟踪使用；
步骤4.3：当跟踪失败时进行重定位。
5.如权利要求4所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤5中，具体子步骤包括:
步骤5.1、通过每一帧检测人工标识，和在词袋数据库中对比关键帧，检测回环；
步骤5.2、检测到回环后，根据回环约束，对全局地图包括关键点、关键帧、人工标识的位姿使用全局光束平差法优化；
步骤5.3、保存优化后地图，供下次或其他用户在当前场景复用。
6.如权利要求5所述的一种标识辅助的视觉惯性增强现实注册方法，其特征在于，所述步骤5.1包括如下步骤：
步骤5.1.1、当关键帧中没有检测到人工标识按照词袋检测回环；
步骤5.1.2、人工标识检测回环。
CN202010670828.3A 2020-07-13 2020-07-13 一种标识辅助的视觉惯性增强现实注册方法 Active CN111784775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010670828.3A CN111784775B (zh) 2020-07-13 2020-07-13 一种标识辅助的视觉惯性增强现实注册方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010670828.3A CN111784775B (zh) 2020-07-13 2020-07-13 一种标识辅助的视觉惯性增强现实注册方法

Publications (2)

Publication Number Publication Date
CN111784775A CN111784775A (zh) 2020-10-16
CN111784775B true CN111784775B (zh) 2021-05-04

Family

ID=72767643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010670828.3A Active CN111784775B (zh) 2020-07-13 2020-07-13 一种标识辅助的视觉惯性增强现实注册方法

Country Status (1)

Country Link
CN (1) CN111784775B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129451B (zh) * 2021-03-15 2022-09-30 北京航空航天大学 基于双目视觉定位的全息三维影像空间定量投影方法
CN113345017B (zh) * 2021-05-11 2022-09-20 香港理工大学深圳研究院 一种使用标志辅助视觉slam的方法
CN116358533B (zh) * 2023-05-31 2023-08-29 小米汽车科技有限公司 回环检测数据的处理方法、装置、存储介质以及车辆

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369183A (zh) * 2017-07-17 2017-11-21 广东工业大学 面向mar的基于图优化slam的跟踪注册方法及系统
CN107564060A (zh) * 2017-07-13 2018-01-09 塔米智能科技（北京）有限公司 一种消除slam导航累积误差的方法
CN107657640A (zh) * 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法
CN107767425A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于单目vio的移动端AR方法
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN109816696A (zh) * 2019-02-01 2019-05-28 西安全志科技有限公司 一种机器人定位与建图方法、计算机装置及计算机可读存储介质
CN109945871A (zh) * 2019-03-15 2019-06-28 中山大学 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110111389A (zh) * 2019-05-14 2019-08-09 南京信息工程大学 一种基于slam的移动增强现实跟踪注册方法和系统
CN110243360A (zh) * 2018-03-08 2019-09-17 深圳市优必选科技有限公司 机器人在运动区域的地图构建及定位方法
CN110726413A (zh) * 2019-10-25 2020-01-24 中国人民解放军国防科技大学 面向大规模slam的多传感器融合与数据管理机制
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN110827361A (zh) * 2019-11-01 2020-02-21 清华大学 基于全局标定架的相机组标定方法及装置
EP3627447A1 (en) * 2018-09-24 2020-03-25 Tata Consultancy Services Limited System and method of multirotor dynamics based online scale estimation for monocular vision

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564060A (zh) * 2017-07-13 2018-01-09 塔米智能科技（北京）有限公司 一种消除slam导航累积误差的方法
CN107369183A (zh) * 2017-07-17 2017-11-21 广东工业大学 面向mar的基于图优化slam的跟踪注册方法及系统
CN107657640A (zh) * 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法
CN107767425A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于单目vio的移动端AR方法
CN110243360A (zh) * 2018-03-08 2019-09-17 深圳市优必选科技有限公司 机器人在运动区域的地图构建及定位方法
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
EP3627447A1 (en) * 2018-09-24 2020-03-25 Tata Consultancy Services Limited System and method of multirotor dynamics based online scale estimation for monocular vision
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN109816696A (zh) * 2019-02-01 2019-05-28 西安全志科技有限公司 一种机器人定位与建图方法、计算机装置及计算机可读存储介质
CN109945871A (zh) * 2019-03-15 2019-06-28 中山大学 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110111389A (zh) * 2019-05-14 2019-08-09 南京信息工程大学 一种基于slam的移动增强现实跟踪注册方法和系统
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN110726413A (zh) * 2019-10-25 2020-01-24 中国人民解放军国防科技大学 面向大规模slam的多传感器融合与数据管理机制
CN110827361A (zh) * 2019-11-01 2020-02-21 清华大学 基于全局标定架的相机组标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ArUco-SLAM:基于ArUco二维码阵列的单目实时建图定位系统;邢伯阳 等;《北京理工大学学报》;20200415;第40卷(第4期);第427-433页 *
RafaelMuñoz-Salinas 等.UcoSLAM: Simultaneous localization and mapping by fusion of keypoints and squared planar markers.《Pattern Recognition》.2020,第101卷第1-11页. *

Also Published As

Publication number Publication date
CN111784775A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784775B (zh) 一种标识辅助的视觉惯性增强现实注册方法
US11151744B1 (en) Automated data capture
EP3067861B1 (en) Determination of a coordinate conversion parameter
US10380763B2 (en) Hybrid corner and edge-based tracking
CN107025662B (zh) 一种实现增强现实的方法、服务器、终端及系统
Reitmayr et al. Going out: robust model-based tracking for outdoor augmented reality
TWI574223B (zh) 運用擴增實境技術之導航系統
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US9047507B2 (en) Upper-body skeleton extraction from depth maps
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
US8565479B2 (en) Extraction of skeletons from 3D maps
CN109544636A (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
US20220198834A1 (en) Skeleton recognition method, storage medium, and information processing device
CN106249881A (zh) 增强现实视场空间和虚拟三维目标动态配准方法
JP7147753B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018147313A (ja) オブジェクト姿勢推定方法、プログラムおよび装置
CN112348869A (zh) 通过检测和标定恢复单目slam尺度的方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN113129451B (zh) 基于双目视觉定位的全息三维影像空间定量投影方法
CN113190120B (zh) 位姿获取方法、装置、电子设备及存储介质
CN112200917A (zh) 一种高精度增强现实方法及系统
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant