CN110111389B - 一种基于slam的移动增强现实跟踪注册方法和系统 - Google Patents

一种基于slam的移动增强现实跟踪注册方法和系统 Download PDF

Info

Publication number
CN110111389B
CN110111389B CN201910396181.7A CN201910396181A CN110111389B CN 110111389 B CN110111389 B CN 110111389B CN 201910396181 A CN201910396181 A CN 201910396181A CN 110111389 B CN110111389 B CN 110111389B
Authority
CN
China
Prior art keywords
dimensional
camera
angular velocity
acceleration
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910396181.7A
Other languages
English (en)
Other versions
CN110111389A (zh
Inventor
刘佳
谢余磊
李为斌
陈伟
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910396181.7A priority Critical patent/CN110111389B/zh
Publication of CN110111389A publication Critical patent/CN110111389A/zh
Application granted granted Critical
Publication of CN110111389B publication Critical patent/CN110111389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SLAM的移动增强现实跟踪注册方法，通过移动相机采集现实场景图像，采用AGAST‑FREAK算法提取现实场景图像中的特征点，完成场景地图初始化，再使用IMU数据和所提取到的特征点构建局部场景地图，插入关键帧，拓展并优化全局地图，注册虚拟物体以备实时调用。本发明在局部地图扩展优化用时、移动端表现、定位精度、速度、鲁棒性等方面均占有优势。

Description

一种基于SLAM的移动增强现实跟踪注册方法和系统
技术领域
本发明涉及增强现实跟踪注册技术领域，具体而言涉及一种基于SLAM的移动增强现实跟踪注册方法和系统。
背景技术
目前，增强现实跟踪注册技术主要可分为基于传感器跟踪注册技术、基于视觉跟踪注册技术和混合跟踪注册技术三类。其中基于视觉跟踪注册技术受到业内越来越多的关注，主要可分为基于标识或自然特征的方法。基于标识的方法是室内增强现实应用中最为常用的跟踪注册方法，典型如ARToolKit库、ARTag库和SRC库等。但是该方法受标识物的约束，且对光照、遮挡等因素有较为严格的要求。另外就是基于自然特征的跟踪注册算法，该方法在现实场景中选取固定的特征点，最后通过跟踪注册算法在场景中叠加虚拟物体。虽然该类方法识别精度高、判别力强，但是复杂度高，且鲁棒性和准确性有待进一步提高。
SLAM算法最初是在机器人领域得到应用，主要是通过特征点来确定目标在未知场景中的姿态和实时构建三维环境地图，本发明申请把SLAM算法引入到增强现实中可以更好的提升跟踪注册方法的精确度和鲁棒性，从而能够有效地解决增强现实中因相机快速运动导致注册的虚拟物体漂移的问题。
发明内容
本发明目的在于提供一种基于SLAM的移动增强现实跟踪注册方法，通过移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化，再使用IMU数据和所提取到的特征点构建局部场景地图，插入关键帧，拓展并优化全局地图，注册虚拟物体以备实时调用。本发明在局部地图扩展优化用时、移动端表现、定位精度、速度、鲁棒性等方面均占有优势。
为达成上述目的，结合图1至图3，本发明提出一种基于SLAM的移动增强现实跟踪注册方法，所述方法包括：
S1：移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化；
S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图；
S3：构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图；
S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。
本发明采用改进后的AGAST和FREAk算法，在相机视差满足θ≥1°条件下能够稳定提取现实场景图像中的特征点，完成场景地图初始化。
进一步地，在使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图步骤中，利用移动设备自带的IMU惯性传感器，测量出线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动，包括以下步骤：
S21：测量得到线性加速度
Figure BDA0002058194020000021
和角速度/>
Figure BDA0002058194020000022
S22：根据下述公式计算得到线性加速度a和角速度ω的真实值：
Figure BDA0002058194020000023
其中，
Figure BDA0002058194020000024
和/>
Figure BDA0002058194020000025
为加速度/>
Figure BDA0002058194020000026
和角速度/>
Figure BDA0002058194020000027
测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算。
S23：计算得到当前帧在全局坐标系下的实时线性速度v；
S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度；
S25：根据连续时间下的运动模型，计算得到相机运动参数的瞬时变化率为：
Figure BDA0002058194020000028
其中，
Figure BDA0002058194020000029
ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声。
在步骤S3中，后台构建全局地图，并在全局地图中插入关键帧，拓展、更新、优化全局地图的过程包括以下子步骤：
S31，在前台线程将当前帧确定为一个新关键帧Fk，加入全局地图；
S32，在每个新关键帧Fk中观测是否存在新的特征点X，如果存在新的特征点，判断特征点X与新关键帧Fk最大的射线夹角α(i,k)是否满足条件α(i,k)≥δα，若满足，将特征点X定义为全局地图中的一个特征点，其中，δα为相机的最小旋转角；
S33，使用新加入的特征点X扩展新关键帧Fk中已有的可见三维平面，通过计算特征点X到平面距离|nTX+d|的值，确定特征点X是否在平面P上，具体的：
如果三维点X同时满足以下条件，将该三维点X加入到属于平面P的三维点集p中：
(1)X不属于其他任何三维平面；
(2)三维点集p中至少有一个三维特征点靠近点X；
(3)|nTX+d|≤0.01dk，其中dk是关键帧Fk中所有可见三维特征点的平均深度；
S34，对平面P上未确定的三维点采用以下步骤获取新三维平面：
S341，随机抽取三个三维特征点初始化三维点集合p，采用奇异值分解求解三维平面参数P；
S342，判断与三维点集p中点相邻的三维点是否符合平面方程，若符合，将三维点添加至三维点集p中；
S343，采用三维点集p中所有点对平面P进行优化，优化公式为：
Figure BDA0002058194020000031
S344，使用经过优化的平面参数P扩展三维点集p，重复步骤S343，反复执行扩展三维点集p与平面参数P优化，直至没有新的三维特征点能够被加入至三维点集p；
S345，随机抽取三个三维特征点重复步骤S341～S344。
最后采用unity进行三维建模，绘制虚拟物体，将虚拟物体导入至编程环境中以备实时调用。
基于前述方法，本发明还提及一种基于SLAM的移动增强现实跟踪注册系统，所述系统包括以下模块：
1)相机。
2)用于移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化的模块。
3)用于使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图的模块。
4)用于构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图的模块。
5)用于根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册的模块。
以上本发明的技术方案，与现有相比，其显著的有益效果在于：
(1)可以应对相机的快速运动，保证虚拟物体注册的精确度和稳定性。
(2)使用IMU数据，能够准确定位相机的姿态信息，确保方法的鲁棒性。
(3)由于融合IMU数据的AGAST-FREAK SLAM，即使在缺少特征点的情况下，在跟踪和定位精度方面都有优秀表现。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明的一种基于SLAM的移动增强现实跟踪注册方法流程图。
图2是本发明的一种基于SLAM的移动增强现实跟踪注册方法定位相机姿态信息和构建局部场景地图流程图。
图3是本发明的一种基于SLAM的移动增强现实跟踪注册方法插入关键帧构建全局地图流程图。
图4是本发明的使用AGAST-FREAK方法提取并匹配场景中特征点的实验结果图及原理示意图。
图5是本发明的使用融合IMU数据的AGAST-FREAK SLAM方法构建的场景地图及原理示意图。
图6是本发明的一种基于SLAM的移动增强现实跟踪注册方法的实验结果图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1至图3，本发明提及一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述方法包括：
S1：移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化。其中，使用AGAST-FREAK方法提取并匹配场景中特征点的实验结果图及原理示意图如图4所示。
在相机视差满足θ≥1°条件下，缓慢移动相机，采集几帧现实场景图像，使用改进后的AGAST和FREAk算法(以下称为AGAST-FREAK算法)稳定提取现实场景图像中的特征点，完成场景地图初始化。改进后的AGAST-FREAK算法在尺度和旋转等方面具有良好的鲁棒性。
S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图。
延续ORB-SLAM算法框架，使用AGAST-FREAK算法提取到的现实场景图像中的特征点，并且与IMU数据相融合，定位相机姿态信息和构建局部场景地图。
该方法主要针对移动端的增强现实。由于移动设备通常自带IMU惯性传感器，因此可利用自带的IMU惯性传感器，测量出线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动，起到定位相机姿态信息及构建局部场景地图的目的。该步骤S2具体可分解为如下子步骤：
S20：假设惯性传感器与相机的位置一样。
S21：测量得到线性加速度
Figure BDA0002058194020000051
和角速度/>
Figure BDA0002058194020000052
S22：根据下述公式计算得到线性加速度a和角速度ω的真实值，
Figure BDA0002058194020000053
其中，
Figure BDA0002058194020000054
和/>
Figure BDA0002058194020000055
为加速度/>
Figure BDA0002058194020000056
和角速度/>
Figure BDA0002058194020000057
测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算。
S23：计算得到当前帧在全局坐标系下的实时线性速度v。
S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度。
S25：根据连续时间下的运动模型计算，得到相机运动参数的瞬时变化率为，
Figure BDA0002058194020000058
其中
Figure BDA0002058194020000059
ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声。
在实际应用中，通常将优化变量设置为IMU的方位，通过相机和IMU的相对位置得到相机的实际方位。前文假设IMU惯性传感器与相机的位置一样，但实际上IMU传感器与相机位置并不相同，所以可事先对IMU传感器进行标定。
S3：在后台构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图。
可分解为如下子步骤：
S31，在前台线程将当前帧确定为一个新关键帧Fk，加入全局地图，后台进程被激活。
S32，在每个新关键帧Fk中观测是否存在新的特征点X，如果存在新的特征点，判断特征点X与新关键帧Fk最大的射线夹角α(i,k)是否满足条件α(i,k)≥δα，若满足，将特征点X定义为全局地图中的一个特征点，其中，δα为相机的最小旋转角。
S33，使用新加入的特征点X扩展新关键帧Fk中已有的可见三维平面，通过计算特征点X到平面距离|nTX+d|的值，确定特征点X是否在平面P上，具体的：
如果三维点X同时满足以下条件，将该三维点X加入到属于平面P的三维点集p中：
(1)X不属于其他任何三维平面。
(2)三维点集p中至少有一个三维特征点靠近点X。
(3)|nTX+d|≤0.01dk，其中dk是关键帧Fk中所有可见三维特征点的平均深度。
S34，对平面P上未确定的三维点采用以下步骤获取新三维平面，可采用类似RANSAC的方案：
S341，随机抽取三个三维特征点初始化三维点集合p，采用奇异值分解求解三维平面参数P。
S342，判断与三维点集p中点相邻的三维点是否符合平面方程，若符合，将三维点添加至三维点集p中。
S343，采用三维点集p中所有点对平面P进行优化，优化公式为：
Figure BDA0002058194020000061
S344，使用经过优化的平面参数P扩展三维点集p，重复步骤S343，反复执行扩展三维点集p与平面参数P优化，直至没有新的三维特征点能够被加入至三维点集p。
S345，随机抽取三个三维特征点重复步骤S341～S344。
全局地图在后台构建并优化完成。图5是使用融合IMU数据的AGAST-FREAK SLAM方法构建的场景地图及示意图。
S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。
可任意选择要注册的位置，也即特征点位置，通过在unity中进行三维建模，绘制虚拟物体，并将虚拟物体导入以备实时调用。图6是基于本发明的实验结果图。
利用本发明方法，按照实施方案所述，本发明算法在特征提取和特征跟踪模块用时基本与其它算法(实验对比算法为ORB-SLAM、PTAM算法)持平，但在地图拓展部分用时明显优于其它算法。并且本发明算法能够保证程序运行超过30帧，良好满足在移动端增强现实的表现。各算法在前台图像每帧处理时间指标的对比结果如表1所示。
表1前台图像每帧处理时间
Figure BDA0002058194020000071
进一步的，在具体实施中，将本发明算法与ORB-SLAM、LSD-SLAM算法在定位关键帧和跟踪关键帧两个方面进行比较。在比较过程中，根据相机移动速度将算法对比按两种情况进行区分。A种情况中相机在小范围内移动，包括三种序列；B种情况中相机在快速运动过程中，也包括三种序列。
通过对两种情况六种序列进行算法比较，结果如下：
(1)相机在小范围内移动情况下，比较定位关键帧的标准误差、成功跟踪帧数占总帧数的比率两个指标，各算法表现均良好，本发明算法整体表现与其它两种算法无差别。
(2)相机在快速运动过程中，与增强现实应用在初始化时的真实情况最为符合，本发明算法在定位关键帧的标准误差指标上存在一定误差，但在成功跟踪帧数占总帧数的比率指标上明显高于其他算法。
在相机快速运动过程中，每种算法成功跟踪帧数占总帧数的比率指标都较低，这是增强现实所面临最具挑战性的问题，但通过比较具体数值可知本发明算法的整体跟踪效果优于ORB-SLAM与LSD-SLAM。
(3)从定位关键帧的标准误差指标上看，本发明算法能够达到ORB-SLAM算法的定位精度，而且在速度上略快于ORB-SLAM算法，鲁棒性略优于ORB-SLAM算法。
在真实的增强现实应用中，无规律的运动相对较多，本文算法的鲁棒性略占优势。
表2、表3分别为定位关键帧的标准误差、成功跟踪帧数占总帧数的比率两个指标在两种情况六种序列下三种算法的对比结果。
表2定位关键帧的标准误差
Figure BDA0002058194020000072
Figure BDA0002058194020000081
/>
表3成功跟踪帧数占总帧数的比率
Figure BDA0002058194020000082
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，所述方法包括：
S1：移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化；
S2：使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图；利用IMU惯性传感器，测量出相机的线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动；
所述通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动包括以下步骤：
S21：测量得到线性加速度
Figure FDA0004185429250000011
和角速度/>
Figure FDA0004185429250000012
S22：根据下述公式计算得到线性加速度a和角速度ω的真实值：
Figure FDA0004185429250000013
其中，
Figure FDA0004185429250000014
和/>
Figure FDA0004185429250000015
为加速度/>
Figure FDA0004185429250000016
和角速度/>
Figure FDA0004185429250000017
测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算；
S23：计算得到当前帧在全局坐标系下的实时线性速度v；
S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度；
S25：根据连续时间下的运动模型，计算得到相机运动参数的瞬时变化率为：
Figure FDA0004185429250000018
其中，
Figure FDA0004185429250000019
ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声；
S3：构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图；
S4：根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册。
2.根据权利要求1所述的一种基于SLAM的移动增强现实跟踪注册方法，其特征在于，在步骤S1中，相机视差θ满足下述条件：θ≥1°。
3.根据权利要求1-2任意一项中所述的基于SLAM的移动增强现实跟踪注册方法，其特征在于，步骤S3中，所述构建全局地图，并在全局地图中插入关键帧，拓展、更新、优化全局地图的过程包括以下步骤：
S31，在前台线程将当前帧确定为一个新关键帧Fk，加入全局地图；
S32，在每个新关键帧Fk中观测是否存在新的特征点X，如果存在新的特征点，判断特征点X与新关键帧Fk最大的射线夹角α(i,k)是否满足条件α(i,k)≥δα，若满足，将特征点X定义为全局地图中的一个特征点，其中，δα为相机的最小旋转角度；
S33，使用新加入的特征点X扩展新关键帧Fk中已有的可见三维平面，通过计算特征点X到平面距离|nTX+d|的值，确定特征点X是否在平面P上：如果三维点X同时满足以下条件，将该三维点X加入到属于平面P的三维点集p中：
(1)X不属于其他任何三维平面；
(2)三维点集p中至少有一个三维特征点靠近点X；
(3)|nTX+d|≤0.01dk，其中dk是关键帧Fk中所有可见三维特征点的平均深度；
S34，对平面P上未确定的三维点采用以下步骤获取新三维平面：
S341，随机抽取三个三维特征点初始化三维点集合p，采用奇异值分解求解三维平面参数P；
S342，判断与三维点集p中点相邻的三维点是否符合平面方程，若符合，将三维点添加至三维点集p中；
S343，采用三维点集p中所有点对平面P进行优化，优化公式为：
Figure FDA0004185429250000021
S344，使用经过优化的平面参数P扩展三维点集p，重复步骤S343，反复执行扩展三维点集p与平面参数P优化，直至没有新的三维特征点能够被加入至三维点集p；
S345，随机抽取三个三维特征点重复步骤S341～S344。
4.根据权利要求1所述的基于SLAM的移动增强现实跟踪注册方法，其特征在于，在步骤S4中，采用unity进行三维建模，绘制虚拟物体，将虚拟物体导入至编程环境中以备实时调用。
5.一种基于SLAM的移动增强现实跟踪注册系统，其特征在于，所述系统包括：
相机；
用于移动相机采集现实场景图像，采用AGAST-FREAK算法提取现实场景图像中的特征点，完成场景地图初始化的模块；
用于使用IMU数据和所提取到的特征点定位相机姿态信息和构建局部场景地图的模块；利用IMU惯性传感器，测量出相机的线性加速度a和角速度ω，通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动；
所述通过限制线性加速度a和角速度ω的取值以约束滑动窗口内相邻帧之间的运动包括以下步骤：
S21：测量得到线性加速度
Figure FDA0004185429250000031
和角速度/>
Figure FDA0004185429250000032
S22：根据下述公式计算得到线性加速度a和角速度ω的真实值：
Figure FDA0004185429250000033
其中，
Figure FDA0004185429250000034
和/>
Figure FDA0004185429250000035
为加速度/>
Figure FDA0004185429250000036
和角速度/>
Figure FDA0004185429250000037
测量值与真实值之间误差的高斯噪声，ba和bω为加速度和角速度跟随时间变换的偏移量，采用角速度和加速度的高斯噪声nω、na由驱动的随机游走模型计算；
S23：计算得到当前帧在全局坐标系下的实时线性速度v；
S24：获取相机的运动参数扩展公式为M＝(R,p,v,ba,bω)，其中，R为旋转矩阵，p为当前帧相机的速度；
S25：根据连续时间下的运动模型，计算得到相机运动参数的瞬时变化率为：
Figure FDA0004185429250000038
/>
其中，
Figure FDA0004185429250000039
ωx、ωy、ωz分别是在X、Y和Z方向上的角速度；wa和wω分别是加速度、角速度的惯性测量的高斯噪声；
用于构建全局地图，并在全局地图中插入关键帧，拓展和优化全局地图的模块；
用于根据所拍摄现实场景图像中的特征点完成相机实时定位和虚拟物体精确注册的模块。
CN201910396181.7A 2019-05-14 2019-05-14 一种基于slam的移动增强现实跟踪注册方法和系统 Active CN110111389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910396181.7A CN110111389B (zh) 2019-05-14 2019-05-14 一种基于slam的移动增强现实跟踪注册方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910396181.7A CN110111389B (zh) 2019-05-14 2019-05-14 一种基于slam的移动增强现实跟踪注册方法和系统

Publications (2)

Publication Number Publication Date
CN110111389A CN110111389A (zh) 2019-08-09
CN110111389B true CN110111389B (zh) 2023-06-02

Family

ID=67489830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396181.7A Active CN110111389B (zh) 2019-05-14 2019-05-14 一种基于slam的移动增强现实跟踪注册方法和系统

Country Status (1)

Country Link
CN (1) CN110111389B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749308B (zh) * 2019-09-30 2021-10-29 浙江工业大学 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN111260084B (zh) * 2020-01-09 2024-03-15 长安大学 基于增强现实协同装配维修的远程系统及方法
CN111795686B (zh) * 2020-06-08 2024-02-02 南京大学 一种移动机器人定位与建图的方法
CN111784775B (zh) * 2020-07-13 2021-05-04 中国人民解放军军事科学院国防科技创新研究院 一种标识辅助的视觉惯性增强现实注册方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107564107A (zh) * 2017-07-19 2018-01-09 中国农业大学 一种增强现实实现工具的设计方法与设备
CN108665540A (zh) * 2018-03-16 2018-10-16 浙江工业大学 基于双目视觉特征和imu信息的机器人定位与地图构建系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199414B2 (en) * 2016-09-14 2021-12-14 Zhejiang University Method for simultaneous localization and mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法
CN107564107A (zh) * 2017-07-19 2018-01-09 中国农业大学 一种增强现实实现工具的设计方法与设备
CN108665540A (zh) * 2018-03-16 2018-10-16 浙江工业大学 基于双目视觉特征和imu信息的机器人定位与地图构建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于SLAM的增强现实跟踪注册方法;李乐 等;《计算机与数字工程》;20171231;第2470-2473页 *
面向移动增强现实的跟踪注册技术研究;林城;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20170615;第9-57页 *

Also Published As

Publication number Publication date
CN110111389A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110111389B (zh) 一种基于slam的移动增强现实跟踪注册方法和系统
CN107292949B (zh) 场景的三维重建方法、装置及终端设备
US11199414B2 (en) Method for simultaneous localization and mapping
US10762643B2 (en) Method for evaluating image data of a vehicle camera
US9888235B2 (en) Image processing method, particularly used in a vision-based localization of a device
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
CN106920259B (zh) 一种定位方法及系统
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
JP2018507476A (ja) コンピュータビジョンに関する遮蔽処理
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
CN112418288A (zh) 一种基于gms和运动检测的动态视觉slam方法
CN114120301A (zh) 一种位姿确定方法、装置及设备
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN112258647B (zh) 地图重建方法及装置、计算机可读介质和电子设备
Singh et al. Fusing semantics and motion state detection for robust visual SLAM
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
JP2017091202A (ja) 物体認識方法及び物体認識装置
CN106934818B (zh) 一种手部运动跟踪方法及系统
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
CN114399532A (zh) 一种相机位姿确定方法和装置
Miyama Fast stereo matching with super-pixels using one-way check and score filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant