CN112200917A - 一种高精度增强现实方法及系统 - Google Patents

Abstract

本发明公开了一种高精度增强现实方法，包括以下步骤：在每一真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；执行匹配性分析，排除特征点的增删变化干扰，计算不同视点之间的相对位置信息；获取所述视点的运动变化信息和运动跟踪信息，计算不同视点之间的相关性信息；对惯性信息进行修正，再根据时空敏感性的特点，实现惯性辅助定位。本发明的增强现实方法能建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。本发明还公开了一种采用上述方法的系统。

Description

一种高精度增强现实方法及系统

技术领域

本发明涉及增强现实空间信息技术领域，特别是涉及一种高精度增强现实方法及系统。

背景技术

增强现实(Augmented Reality)，简称AR，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标就是把虚拟场景叠加到现实场景里，将真实的环境和虚拟的物体实时地叠加到同一个画面和空间内同时存在。

在军事领域，部队可以利用增强现实来增强战场环境信息，利用大空间高精度定位定姿技术把握战场动态，在真实环境中融合虚拟物体，可以增强真实的战场场景。向系统中输入部队的位置信息，系统不仅能向部队显示真实的战场场景，而且能够通过增加虚拟物体强调肉眼无法看见的环境信息以及敌方或己方的隐藏力量来增强真实战场场景的显示，真正实现各种战场信息的可视化。

现有的应用于军事领域的增强现实技术中，多通过惯性测量单元、轮式里程计等实现定位，由于实际应用环境的复杂性和不可预知性，其定位精度较差。

发明内容

本发明的一个目的在于提出一种定位精度高的增强现实方法。

一种高精度增强现实方法，包括以下步骤：

获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；

对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；

获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；

通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

本发明的有益效果是：本发明的增强现实方法能实现一个支持多人协同的分布式虚拟现实系统框架，实现多个人在同一个虚拟环境下进行交互的功能，支持多机位姿和操作信息同步与反馈操作；建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。

另外，根据本发明提供的高精度增强现实方法，还可以具有如下附加的技术特征：

进一步地，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。

进一步地，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。

进一步地，所述可信度分析之前还包括：

采用平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t；

在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配；

若匹配点对数小于预设阈值，则重置参考帧，若匹配点对数大于预设阈值，则判定为找到对应点，执行初始化操作。

进一步地，所述执行初始化操作中，包括：

若场景是一个平面或者视差较小的时候，采用单应性矩阵H，并使用基础矩阵F恢复运动；

若场景是一个非平面或视差大的场景，调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。

进一步地，所述获取运动跟踪信息的步骤包括：

在当前帧和地图之间寻找所有当前帧和特征点的对应关系，以所述对应关系来优化当前帧的位姿，实现对每一帧图像进行跟踪计算，得到所述运动跟踪信息。

进一步地，所述获取运动跟踪信息的步骤还包括：

将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与关键帧节点相连接的边，同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW；

创建该点云的前三帧测试通过约束，用于保存地图点。

进一步地，所述获取运动跟踪信息的步骤还包括：

若在图像中无人工标志点，则通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动；

若在图像中含有人工标志点，则通过人工标志点的先验信息来计算当前帧相机的位姿。

进一步地，所述获取运动跟踪信息的步骤还包括：

对图像进行灰度化和阈值化，再通过单应矩阵来求解相机坐标系下的标志点位姿。

本发明还提出一种高精度增强现实系统，采用上述的方法，包括：

特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；

匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；

运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；

辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明第一实施例的高精度增强现实方法的流程示意图；

图2是本发明第二实施例的高精度增强现实系统的结构框图。

具体实施方式

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

请参阅图1，本发明的第一实施例提出一种高精度增强现实方法，包括以下步骤。

S1.获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量。

具体的，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。

需要说明的是，ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(Features from Accelerated Segment Test)算法发展来的，特征点描述是根据BRIEF(Binary Robust IndependentElementary Features)特征描述算法改进的。

另外，在使用FAST提取出特征点之后，给其定义一个特征点方向，以此来实现特征点的旋转不变形。

另外，BRIEF算法计算出来的是一个二进制串的特征描述符。它是在一个特征点的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)。然后比较每个点对的灰度值的大小。如果I(pi)>I(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串。一般n取128、256或512，opencv默认为256。另外，值得注意的是为了增加特征描述符的抗噪性，算法首先需要对图像进行高斯平滑处理。在ORB算法中，在这个地方进行了改进，在使用高斯函数进行平滑后，又用了其他操作，使其更加的具有抗噪性。

S2.对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息。

具体的，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。

应当指出的是，ORB算法最大的特点就是计算速度快。这首先得益于使用FAST检测特征点，FAST的检测速度正如它的名字一样是出了名的快。再次是使用BRIEF算法计算描述子，该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。

需要说明的是，步骤S1和步骤S2为视觉定位定姿计算，通过用户视角的视频获取当前视点的真实世界图像，提取关键点信息并对关键点信息进行特征提取和相似性度量，完成不同图像下同一目标点的相似度评价。通过不同时刻获取图像的特征点集合信息进行匹配性分析，结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，计算不同视点间的相对位置信息。

S3.获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息。

需要说明的是，系统的第一步是初始化，ORB_SLAM使用的是一种自动初始化方法。这里同时计算两个模型：用于平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t。

另外，在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配。如果匹配点对数过少，就重置参考帧。在找到对应点之后，开始进行初始化工作。

另外，当场景是一个平面、或近似为一个平面、或者视差较小的时候，可以使用单应性矩阵H，而使用基础矩阵F恢复运动，需要场景是一个非平面、视差大的场景。调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。调用FindFundamental方法，计算基础矩阵F，使用归一化8点法。

应当指出的是，获取运动跟踪信息为ORB_SLAM系统中最基本的一步，会对每一帧图像进行跟踪计算。Tracking线程运行在主线程中，主要思路是在当前帧和(局部)地图之间寻找尽可能多的对应关系，来优化当前帧的位姿。每次新采集到一帧图像，就是用下列接口将图像传入SLAM系统就行处理。

在本实施例中，均采用ORB特征描述子。先在8层图像金字塔中，提取FAST特征点。提取特征点的个数根据图像分辨率不同而不同，高分辨率的图像提取更多的角点。然后对检测到的特征点用ORB来描述，用于之后的匹配和识别。跟踪这部分主要用了几种模型：运动模型、关键帧和重定位。

为进一步降低误差，可制作运动图，首先将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与那些能够共享地图点的关键帧节点相连接的边。同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW。为了保存地图点，必须在创建该点云的前三帧测试通过约束，才能真正被保存，这样才能保证可跟踪且不容易在三角化时出现较大误差。

另外，对于单帧图像的标志点的定位优化，在SLAM的前端视觉里程计中，由于单目相机不能通过单张照片来确定深度信息，故需要通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动，但是如果在图像中含有人工标志点，我们便能通过人工标志点的先验信息来计算当前帧相机的位姿。本节将会完整的介绍如何判断当前帧是否含标志点和计算标志点位姿，在计算出位姿后，根据标志点的误差项较小的特点通过最小化重投影误差的方法对位姿进行优化。

在本实施例中，标志点的识别首先通过对图像进行预处理，即对图像进行灰度化、阈值化。通过阈值化能够较好的识别图像中的四边形，然后通过单应矩阵来求解相机坐标系下的标志点位姿。图像预处理主要包含图像的灰度化、图像的阈值化。通过研究不同的灰度化、阈值化方法，为系统选择合适的预处理方法。

需要说明的是，标志点识别即人工标志识别的应用在AR领域应用已较为普遍，在很多AR开源库和计算机视觉库中已有很多算法来支持人工标志的识别，在目前应用很广泛的开源计算机视觉库OpenCV中提供了一些基础算法用来对人工标志进行识别。标志识别过程首先对获得的二值图像进行轮廓检测，轮廓检测算法是根据suzuki在1988年发布的论文来实现，论文对轮廓检测的方法和方式进行了介绍。

应当指出的是，在完成轮廓检测后，还要对检测到的轮廓进行多边形逼近，来查找所有可能是标志点的多边形。本实施例通过计算机视觉内置函数来进行该操作，使用该函数首先确定检测到的标志点是否是四边形。接着判断四边形的周长是否符合所设置的经验值，来进一步对四边形进行筛选。完成四边形的识别后，通过SURF特征点检测和匹配对四边形图案进行投影变换，获得四边形的正面视图。因为标志点在环境中的旋转角度和模版的旋转角度是不同的，在计算过程中世界坐标系的中心是标志点的中心，所以需要确定四边形的旋转角度。本实施例通过对匹配好的特征点的角度进行投票，来确定旋转角度，然后对标志点进行定位。

需要说明的是，对于基于标志点的单帧位姿优化，根据单应性矩阵能够求解出以标志点为原点的世界坐标和相机坐标系两者之间的坐标系转换矩阵，即相机在世界坐标系下的位姿。但是由于现实环境中的系统误差和噪声等的存在，使得位姿求解等式不能完全成立，对此过程中的误差归结为重投影误差。

S4.通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

应当指出的是，基于视觉图像匹配技术的相对姿态角解算可以有效提供较为精确的载体姿态角变化量，可以利用该变化量辅助惯性个人定位，达到抑制惯性参数发散的目的。

在本实施例中，视觉辅助惯性个人定位的方式主要有如下几类：

1)辅助标定方式：视觉解算得到的姿态角变化量作为基准信息辅助惯性设备进行在线标定，得到器件标度因数等参数；

2)全过程辅助方式：每一个人体足部零速时刻，摄像头采集图像，计算得到相邻足部支撑时刻惯性传感器(载体)姿态角的变化量，修正惯性导航误差；

3)择性辅助方式：视觉导航设备在某些特定点工作，计算惯性传感器(载体)姿态角的变化，修正惯性导航误差。

本发明的优势在于，本发明的增强现实方法能实现一个支持多人协同的分布式虚拟现实系统框架，实现多个人在同一个虚拟环境下进行交互的功能，支持多机位姿和操作信息同步与反馈操作；建立一个典型的虚拟现实场景，并综合利用定位定姿设备和输入设备与虚拟环境和目标进行定位和交互，通过在增强现实硬件设备的显示，达到虚实结合的交互效果。

请参阅图2，本发明第二实施例提出一种高精度增强现实系统，采用上述的方法，包括：

特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；

匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；

运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；

辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

在本实施例中，所述特征点集合信息的通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。

另外，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种高精度增强现实方法，其特征在于，包括以下步骤：

获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；

对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；

获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；

通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

2.根据权利要求1所述的高精度增强现实方法，其特征在于，所述特征点集合信息通过ORB算法特征提取获得，所述ORB算法包括特征点提取和特征点描述，所述特征点提取用于获取所述特征点集合信息，所述特征点描述用于获取所述相似性度量。

3.根据权利要求1所述的高精度增强现实方法，其特征在于，所述匹配性分析为结合特征点对之间的匹配度分析，排除特征点的增删变化干扰，恢复匹配上的特征点的深度，并同时得到特征点的三维空间位置，此坐标成为世界坐标系，它以初始化时的相机光心为坐标系原点。

4.根据权利要求1所述的高精度增强现实方法，其特征在于，所述可信度分析之前还包括：

采用平面场景的单应性矩阵H和用于非平面场景的基础矩阵F，然后通过一个评分规则来选择合适的模型，恢复相机的旋转矩阵R和平移向量t；

在初始化的基础上开始进行每一帧的跟踪，在当前帧Fc中提取ORB特征点，与参考帧Fr进行匹配；

若匹配点对数小于预设阈值，则重置参考帧，若匹配点对数大于预设阈值，则判定为找到对应点，执行初始化操作。

5.根据权利要求4所述的高精度增强现实方法，其特征在于，所述执行初始化操作中，包括：

若场景是一个平面或者视差较小的时候，采用单应性矩阵H，并使用基础矩阵F恢复运动；

若场景是一个非平面或视差大的场景，调用FindHomography方法，计算单应性矩阵H，采用归一化的直接线性变换。

6.根据权利要求1所述的高精度增强现实方法，其特征在于，所述获取运动跟踪信息的步骤包括：

在当前帧和地图之间寻找所有当前帧和特征点的对应关系，以所述对应关系来优化当前帧的位姿，实现对每一帧图像进行跟踪计算，得到所述运动跟踪信息。

7.根据权利要求6所述的高精度增强现实方法，其特征在于，所述获取运动跟踪信息的步骤还包括：

将新的关键帧Ki作为新的节点Ki加入Covibility Graph，并且更新与关键帧节点相连接的边，同时更新关键帧Ki的生长树，并计算表示关键帧的词袋BOW；

创建该点云的前三帧测试通过约束，用于保存地图点。

8.根据权利要求6所述的高精度增强现实方法，其特征在于，所述获取运动跟踪信息的步骤还包括：

若在图像中无人工标志点，则通过运动过程中的两帧图像进行特征点匹配来计算相机的位姿移动；

若在图像中含有人工标志点，则通过人工标志点的先验信息来计算当前帧相机的位姿。

9.根据权利要求8所述的高精度增强现实方法，其特征在于，所述获取运动跟踪信息的步骤还包括：

对图像进行灰度化和阈值化，再通过单应矩阵来求解相机坐标系下的标志点位姿。

10.一种高精度增强现实系统，其特征在于，采用权利要求1-9任意一项所述的方法，包括：

特征提取模块，用于获取用户多个视点的真实世界图像，在每一所述真实世界图像中针对同一目标点提取关键点信息，根据所有的所述关键点信息提取特征点集合信息和相似性度量；

匹配性分析模块，用于对所述特征点集合信息执行匹配性分析，排除特征点的增删变化干扰，再利用匹配性分析后的特征点集合信息计算不同视点之间的相对位置信息；

运动计算模块，用于获取所述视点的运动变化信息和运动跟踪信息，结合所述相对位置信息，得到基于视觉的真实世界采样点的视觉定位信息和运动信息，计算不同视点之间的相关性信息；

辅助定位模块，用于通过所述视觉定位信息和所述运动信息，结合视觉信息的可信度分析，对惯性信息进行修正，再根据所述视觉定位信息和所述运动信息在运动过程中时空敏感性的特点，实现惯性辅助定位。

Images