CN112200917B - 一种高精度增强现实方法及系统 - Google Patents
一种高精度增强现实方法及系统 Download PDFInfo
- Publication number
- CN112200917B CN112200917B CN202011058831.6A CN202011058831A CN112200917B CN 112200917 B CN112200917 B CN 112200917B CN 202011058831 A CN202011058831 A CN 202011058831A CN 112200917 B CN112200917 B CN 112200917B
- Authority
- CN
- China
- Prior art keywords
- information
- motion
- augmented reality
- point
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000012217 deletion Methods 0.000 claims abstract description 9
- 230000037430 deletion Effects 0.000 claims abstract description 9
- 230000035945 sensitivity Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 239000003550 marker Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高精度增强现实方法，包括以下步骤：在每一真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；执行匹配性分析，排除特征点的增删变化干扰，计算不同视点之间的相对位置信息；获取所述视点的运动变化信息和运动跟踪信息，计算不同视点之间的相关性信息；对惯性信息进行修正，再根据时空敏感性的特点，实现惯性辅助定位。本发明的增强现实方法能建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。本发明还公开了一种采用上述方法的系统。
Description
技术领域
本发明涉及增强现实空间信息技术领域，特别是涉及一种高精度增强现实方法及系统。
背景技术
增强现实(Augmented Reality)，简称AR，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标就是把虚拟场景叠加到现实场景里，将真实的环境和虚拟的物体实时地叠加到同一个画面和空间内同时存在。
在军事领域，部队可以利用增强现实来增强战场环境信息，利用大空间高精度定位定姿技术把握战场动态，在真实环境中融合虚拟物体，可以增强真实的战场场景。向系统中输入部队的位置信息，系统不仅能向部队显示真实的战场场景，而且能够通过增加虚拟物体强调肉眼无法看见的环境信息以及敌方或己方的隐藏力量来增强真实战场场景的显示，真正实现各种战场信息的可视化。
现有的应用于军事领域的增强现实技术中，多通过惯性测量单元、轮式里程计等实现定位，由于实际应用环境的复杂性和不可预知性，其定位精度较差。
发明内容
本发明的一个目的在于提出一种定位精度高的增强现实方法。
一种高精度增强现实方法，包括以下步骤：
获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；
对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；
获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；
通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
本发明的有益效果是：本发明的增强现实方法能实现一个支持多人协同的分布式虚拟现实系统框架，实现多个人在同一个虚拟环境下进行交互的功能，支持多机位姿和操作信息同步与反馈操作；建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。
另外，根据本发明提供的高精度增强现实方法，还可以具有如下附加的技术特征：
进一步地，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。
进一步地，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。
进一步地，所述可信度分析之前还包括：
采用平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t；
在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配；
若匹配点对数小于预设阈值，则重置参考帧，若匹配点对数大于预设阈值，则判定为找到对应点，执行初始化操作。
进一步地，所述执行初始化操作中，包括：
若场景是一个平面或者视差较小的时候，采用单应性矩阵H，并使用基础矩阵F恢复运动；
若场景是一个非平面或视差大的场景，调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。
进一步地，所述获取运动跟踪信息的步骤包括：
在当前帧和地图之间寻找所有当前帧和特征点的对应关系，以所述对应关系来优化当前帧的位姿，实现对每一帧图像进行跟踪计算，得到所述运动跟踪信息。
进一步地，所述获取运动跟踪信息的步骤还包括：
将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与关键帧节点相连接的边，同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW；
创建该点云的前三帧测试通过约束，用于保存地图点。
进一步地，所述获取运动跟踪信息的步骤还包括：
若在图像中无人工标志点，则通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动；
若在图像中含有人工标志点，则通过人工标志点的先验信息来计算当前帧相机的位姿。
进一步地，所述获取运动跟踪信息的步骤还包括：
对图像进行灰度化和阈值化，再通过单应矩阵来求解相机坐标系下的标志点位姿。
本发明还提出一种高精度增强现实系统，采用上述的方法，包括：
特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；
匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；
运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；
辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明第一实施例的高精度增强现实方法的流程示意图；
图2是本发明第二实施例的高精度增强现实系统的结构框图。
具体实施方式
为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
请参阅图1，本发明的第一实施例提出一种高精度增强现实方法，包括以下步骤。
S1.获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量。
具体的，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。
需要说明的是，ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(Features from Accelerated Segment Test)算法发展来的，特征点描述是根据BRIEF(Binary Robust IndependentElementary Features)特征描述算法改进的。
另外，在使用FAST提取出特征点之后，给其定义一个特征点方向，以此来实现特征点的旋转不变形。
另外，BRIEF算法计算出来的是一个二进制串的特征描述符。它是在一个特征点的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)。然后比较每个点对的灰度值的大小。如果I(pi)>I(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串。一般n取128、256或512，opencv默认为256。另外，值得注意的是为了增加特征描述符的抗噪性，算法首先需要对图像进行高斯平滑处理。在ORB算法中，在这个地方进行了改进，在使用高斯函数进行平滑后，又用了其他操作，使其更加的具有抗噪性。
S2.对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息。
具体的，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。
应当指出的是，ORB算法最大的特点就是计算速度快。这首先得益于使用FAST检测特征点，FAST的检测速度正如它的名字一样是出了名的快。再次是使用BRIEF算法计算描述子，该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。
需要说明的是，步骤S1和步骤S2为视觉定位定姿计算，通过用户视角的视频获取当前视点的真实世界图像，提取关键点信息并对关键点信息进行特征提取和相似性度量，完成不同图像下同一目标点的相似度评价。通过不同时刻获取图像的特征点集合信息进行匹配性分析，结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，计算不同视点间的相对位置信息。
S3.获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息。
需要说明的是，系统的第一步是初始化，ORB_SLAM使用的是一种自动初始化方法。这里同时计算两个模型：用于平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t。
另外，在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配。如果匹配点对数过少，就重置参考帧。在找到对应点之后，开始进行初始化工作。
另外，当场景是一个平面、或近似为一个平面、或者视差较小的时候，可以使用单应性矩阵H，而使用基础矩阵F恢复运动，需要场景是一个非平面、视差大的场景。调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。调用FindFundamental方法，计算基础矩阵F，使用归一化8点法。
应当指出的是，获取运动跟踪信息为ORB_SLAM系统中最基本的一步，会对每一帧图像进行跟踪计算。Tracking线程运行在主线程中，主要思路是在当前帧和(局部)地图之间寻找尽可能多的对应关系，来优化当前帧的位姿。每次新采集到一帧图像，就是用下列接口将图像传入SLAM系统就行处理。
在本实施例中，均采用ORB特征描述子。先在8层图像金字塔中，提取FAST特征点。提取特征点的个数根据图像分辨率不同而不同，高分辨率的图像提取更多的角点。然后对检测到的特征点用ORB来描述，用于之后的匹配和识别。跟踪这部分主要用了几种模型：运动模型、关键帧和重定位。
为进一步降低误差，可制作运动图，首先将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与那些能够共享地图点的关键帧节点相连接的边。同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW。为了保存地图点，必须在创建该点云的前三帧测试通过约束，才能真正被保存，这样才能保证可跟踪且不容易在三角化时出现较大误差。
另外，对于单帧图像的标志点的定位优化，在SLAM的前端视觉里程计中，由于单目相机不能通过单张照片来确定深度信息，故需要通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动，但是如果在图像中含有人工标志点，我们便能通过人工标志点的先验信息来计算当前帧相机的位姿。本节将会完整的介绍如何判断当前帧是否含标志点和计算标志点位姿，在计算出位姿后，根据标志点的误差项较小的特点通过最小化重投影误差的方法对位姿进行优化。
在本实施例中，标志点的识别首先通过对图像进行预处理，即对图像进行灰度化、阈值化。通过阈值化能够较好的识别图像中的四边形，然后通过单应矩阵来求解相机坐标系下的标志点位姿。图像预处理主要包含图像的灰度化、图像的阈值化。通过研究不同的灰度化、阈值化方法，为系统选择合适的预处理方法。
需要说明的是，标志点识别即人工标志识别的应用在AR领域应用已较为普遍，在很多AR开源库和计算机视觉库中已有很多算法来支持人工标志的识别，在目前应用很广泛的开源计算机视觉库OpenCV中提供了一些基础算法用来对人工标志进行识别。标志识别过程首先对获得的二值图像进行轮廓检测，轮廓检测算法是根据suzuki在1988年发布的论文来实现，论文对轮廓检测的方法和方式进行了介绍。
应当指出的是，在完成轮廓检测后，还要对检测到的轮廓进行多边形逼近，来查找所有可能是标志点的多边形。本实施例通过计算机视觉内置函数来进行该操作，使用该函数首先确定检测到的标志点是否是四边形。接着判断四边形的周长是否符合所设置的经验值，来进一步对四边形进行筛选。完成四边形的识别后，通过SURF特征点检测和匹配对四边形图案进行投影变换，获得四边形的正面视图。因为标志点在环境中的旋转角度和模版的旋转角度是不同的，在计算过程中世界坐标系的中心是标志点的中心，所以需要确定四边形的旋转角度。本实施例通过对匹配好的特征点的角度进行投票，来确定旋转角度，然后对标志点进行定位。
需要说明的是，对于基于标志点的单帧位姿优化，根据单应性矩阵能够求解出以标志点为原点的世界坐标和相机坐标系两者之间的坐标系转换矩阵，即相机在世界坐标系下的位姿。但是由于现实环境中的系统误差和噪声等的存在，使得位姿求解等式不能完全成立，对此过程中的误差归结为重投影误差。
S4.通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
应当指出的是，基于视觉图像匹配技术的相对姿态角解算可以有效提供较为精确的载体姿态角变化量，可以利用该变化量辅助惯性个人定位，达到抑制惯性参数发散的目的。
在本实施例中，视觉辅助惯性个人定位的方式主要有如下几类：
1)辅助标定方式：视觉解算得到的姿态角变化量作为基准信息辅助惯性设备进行在线标定，得到器件标度因数等参数；
2)全过程辅助方式：每一个人体足部零速时刻，摄像头采集图像，计算得到相邻足部支撑时刻惯性传感器(载体)姿态角的变化量，修正惯性导航误差；
3)择性辅助方式：视觉导航设备在某些特定点工作，计算惯性传感器(载体)姿态角的变化，修正惯性导航误差。
本发明的优势在于，本发明的增强现实方法能实现一个支持多人协同的分布式虚拟现实系统框架，实现多个人在同一个虚拟环境下进行交互的功能，支持多机位姿和操作信息同步与反馈操作；建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。
请参阅图2，本发明第二实施例提出一种高精度增强现实系统，采用上述的方法，包括：
特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；
匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；
运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；
辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
在本实施例中，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。
另外，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种高精度增强现实方法，其特征在于，包括以下步骤：
获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；
对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；
获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；
通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
2.根据权利要求1所述的高精度增强现实方法，其特征在于，所述特征点集合信息通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。
3.根据权利要求1所述的高精度增强现实方法，其特征在于，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。
4.根据权利要求1所述的高精度增强现实方法，其特征在于，所述可信度分析之前还包括：
采用平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t；
在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配；
若匹配点对数小于预设阈值，则重置参考帧，若匹配点对数大于预设阈值，则判定为找到对应点，执行初始化操作。
5.根据权利要求4所述的高精度增强现实方法，其特征在于，所述执行初始化操作中，包括：
若场景是一个平面或者视差较小的时候，采用单应性矩阵H，并使用基础矩阵F恢复运动；
若场景是一个非平面或视差大的场景，调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。
6.根据权利要求1所述的高精度增强现实方法，其特征在于，获取所述运动跟踪信息的步骤包括：
在当前帧和地图之间寻找所有当前帧和特征点的对应关系，以所述对应关系来优化当前帧的位姿，实现对每一帧图像进行跟踪计算，得到所述运动跟踪信息。
7.根据权利要求6所述的高精度增强现实方法，其特征在于，获取所述运动跟踪信息的步骤还包括：
将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与关键帧节点相连接的边，同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW；
创建点云的前三帧测试通过约束，用于保存地图点。
8.根据权利要求6所述的高精度增强现实方法，其特征在于，获取所述运动跟踪信息的步骤还包括：
若在图像中无人工标志点，则通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动；
若在图像中含有人工标志点，则通过人工标志点的先验信息来计算当前帧相机的位姿。
9.根据权利要求8所述的高精度增强现实方法，其特征在于，获取所述运动跟踪信息的步骤还包括：
对图像进行灰度化和阈值化，再通过单应矩阵来求解相机坐标系下的标志点位姿。
10.一种高精度增强现实系统，其特征在于，采用权利要求1-9任意一项所述的方法，包括：
特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；
匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；
运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；
辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058831.6A CN112200917B (zh) | 2020-09-30 | 2020-09-30 | 一种高精度增强现实方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058831.6A CN112200917B (zh) | 2020-09-30 | 2020-09-30 | 一种高精度增强现实方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200917A CN112200917A (zh) | 2021-01-08 |
| CN112200917B true CN112200917B (zh) | 2024-08-20 |
Family
ID=74007197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011058831.6A Active CN112200917B (zh) | 2020-09-30 | 2020-09-30 | 一种高精度增强现实方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200917B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591720A (zh) * | 2021-08-02 | 2021-11-02 | 广州小鹏自动驾驶科技有限公司 | 车道偏离检测方法、装置及计算机存储介质 |
| CN115984516B (zh) * | 2022-12-16 | 2023-11-17 | 工业富联(杭州)数据科技有限公司 | 基于slam算法的增强现实方法及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038758A (zh) * | 2016-10-14 | 2017-08-11 | 北京联合大学 | 一种基于orb算子的增强现实三维注册方法 |
| CN109671120A (zh) * | 2018-11-08 | 2019-04-23 | 南京华捷艾米软件科技有限公司 | 一种基于轮式编码器的单目slam初始化方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11199414B2 (en) * | 2016-09-14 | 2021-12-14 | Zhejiang University | Method for simultaneous localization and mapping |
| KR101971791B1 (ko) * | 2017-09-28 | 2019-04-23 | 한국과학기술원 | 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법 |
| CN109688343A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 增强现实演播室的实现方法和装置 |
-
2020
- 2020-09-30 CN CN202011058831.6A patent/CN112200917B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038758A (zh) * | 2016-10-14 | 2017-08-11 | 北京联合大学 | 一种基于orb算子的增强现实三维注册方法 |
| CN109671120A (zh) * | 2018-11-08 | 2019-04-23 | 南京华捷艾米软件科技有限公司 | 一种基于轮式编码器的单目slam初始化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200917A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| US8452080B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
| CN107742311B (zh) | 一种视觉定位的方法及装置 | |
| CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| US10380763B2 (en) | Hybrid corner and edge-based tracking | |
| JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
| CN108805917B (zh) | 空间定位的方法、介质、装置和计算设备 | |
| EP2614487B1 (en) | Online reference generation and tracking for multi-user augmented reality | |
| CN109166149A (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| US10755422B2 (en) | Tracking system and method thereof | |
| JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
| KR20160003066A (ko) | 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam | |
| CN104050475A (zh) | 基于图像特征匹配的增强现实的系统和方法 | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN109766758A (zh) | 一种基于orb特征的视觉slam方法 | |
| Puwein et al. | Joint camera pose estimation and 3d human pose estimation in a multi-camera setup | |
| CN112200917B (zh) | 一种高精度增强现实方法及系统 | |
| CN113190120B (zh) | 位姿获取方法、装置、电子设备及存储介质 | |
| Liu et al. | A SLAM-based mobile augmented reality tracking registration algorithm | |
| WO2011048497A2 (en) | Computer vision based hybrid tracking for augmented reality in outdoor urban environments | |
| KR101039298B1 (ko) | 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법 | |
| CN111724438B (zh) | 一种数据处理方法、装置 | |
| Yang et al. | Fast and accurate visual odometry from a monocular camera | |
| CN115655264B (zh) | 位姿估计方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |