CN113932805B - 用于提高ar虚拟对象定位准确性与速度的方法 - Google Patents

Abstract

本申请描述了一种用于提高AR虚拟对象定位准确性与速度的方法，该方法包括：读取AR设备的SLAM组件参数；从该SLAM组件参数中提取环境特征点以获取其数量I_P；确定I_P是否小于阈值N；如果I_P小于N，则读取该AR设备的IMU组件参数；基于该IMU组件参数来计算并保存空间坐标系的原点O；以及基于原点O来确定AR设备的空间模型的坐标。该方法还包括：确定AR设备的状态是否发生改变；若改变，则再次读取其当前IMU组件参数；根据当前IMU组件参数计算当前空间坐标系的当前原点O’以及其相对于原点O的空间偏移值Δ和角度偏移值α；以及基于当前原点O’以及空间偏移值Δ和角度偏移值α来确定空间模型的当前坐标。

Description

用于提高AR虚拟对象定位准确性与速度的方法

技术领域

本申请涉及新兴信息技术领域，并且更为具体地，涉及AR技术和空间定位技术，更为具体地，涉及一种用于在弱特征点的环境中提高增强现实中的虚拟对象定位准确性与速度的方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的最终目的是在屏幕上把虚拟世界套在现实世界上并进行互动。因此实现虚拟世界与现实世界的无缝锚定是实现良好用户体验的关键所在。因此，精确的定位技术对于实现AR技术来说至关重要。

然而，当在室内使用AR设备时，由于传统的精确定位手段(诸如，GPS等)无法使用或精度很差，目前对于这种情况的解决方案通常是采用即时定位与地图构建(simultaneous localization and mapping，简称SLAM)技术，它的原理是通过多个摄像头所拍摄图像的特征点来建立空间坐标系从而对虚拟物品进行空间定位。

图1中示出了现有技术中的SLAM技术的实现过程。由SLAM的系统摄像头来获取环境图像。然后从该环境图像中获取环境特征点，从而确定空间坐标系。然后，基于该坐标系来计算虚拟空间模型的相对坐标并进行固定。

然而，SLAM技术在一些情况下是无法使用的：第一，当面对环境不可辨认时，比如纯色的墙，纯色的桌子。即，此时，环境中的特征点很弱时(例如，单色墙、光滑平面等)，就会使得采用SLAM技术仍然无法对AR设备进行准确定位。第二，面对室外环境，因为深度传感器有距离限制，空间大小超出限制就没有深度信息了。因此，在这种情况下，SLAM技术也无法实现。

因此，因为SLAM技术的上述缺陷，在将其用于进行AR设备的虚拟定位时，虚拟世界与现实世界的叠加容易出现定位不准的问题，从而严重地影响了客户的体验。

因此，本领域中急需一种用于提高AR虚拟对象定位准确性与定位速度的方法。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。

如上所述，AR设备的定位准确性与速度是AR领域中涉及虚拟世界构建和用户体验度的关键技术。但在室内环境中，既无法使用传统的GPS定位技术，而使用SLAM技术也会碰到定位特征点欠缺的情况(诸如，只有单色墙、光滑平面等)。在上述情况下，AR设备的定位就会非常困难，进而容易造成虚拟世界的物品脱离需要附着的真实世界的情况。然而对AR技术而言，大多都是在室内使用，因此上述情况出现的概率相对较大。

为了解决上述问题以便更好地提升客户的体验度，本申请提出了一种根据惯性测量单元(Inertial Measurement Unit，简称IMU)实时数据与初始坐标原点相对偏移量来进行快速定位的方法。这种方法能够很好地解决现实环境中特征点欠缺所导致的虚拟世界定位偏差大且定位速度很慢的问题。采用本申请的方法，能够很好地提高AR设备在虚拟世界的定位精度与速度，从而避免虚拟世界与真实环境的“脱节”，进而极大地提升了用户的体验度。

根据本申请的具体实施方式，描述了一种用于提高AR虚拟对象定位准确性与速度的方法，该方法包括：

读取AR设备的SLAM组件参数；从该SLAM组件参数中提取环境特征点以获取环境特征点的数量I_P；确定该环境特征点的数量I_P是否小于环境特征点的数量阈值N；如果I_P小于N，则读取该AR设备的IMU组件参数；基于该IMU组件参数来计算并保存空间坐标系的原点O；以及基于该原点O来确定该AR设备的空间模型的坐标。

根据本申请的优选实施例，该方法进一步包括：确定该AR设备的状态是否发生改变；如果该AR设备的状态发生改变，则再次读取该AR设备的当前IMU组件参数；根据该当前IMU组件参数计算当前空间坐标系的当前原点O’以及其相对于该原点O的空间偏移值Δ和角度偏移值α；以及基于该当前原点O’以及该空间偏移值Δ和该角度偏移值α来确定该AR设备的空间模型的当前坐标。

根据本申请的优选实施例，该方法进一步包括：如果I_P≥N，则使用SLAM特征点法来建立空间坐标系并获取该AR设备的空间模型的坐标。

根据本申请的优选实施例，该数量阈值N能根据实际情况通过实验或先验地确定。

根据本申请的优选实施例，该IMU组件参数包括：陀螺仪的x/y/z轴坐标、x/y/z轴重力偏移值、加速度计的x/y/z轴坐标、加速度偏移值、以及磁力计的x/y/z轴坐标。

根据本申请的优选实施例，基于该IMU组件参数来计算该空间坐标系的原点O或该当前空间坐标系的原点O’包括用该IMU组件参数来代替原SLAM组件参数。

根据本申请的优选实施例，基于该当前原点O’以及该空间偏移值Δ和该角度偏移值α来确定该AR设备的空间模型的当前坐标进一步包括：基于该空间偏移值Δ和该角度偏移值α来计算该当前原点O’相对于该原点O的坐标。

根据本申请的优选实施例，基于该当前原点O’以及该空间偏移值Δ和该角度偏移值α来确定该AR设备的空间模型的当前坐标进一步包括：基于该当前原点O’的坐标来确定该AR设备的空间模型的当前坐标。

根据本申请的优选实施例，该原点O的坐标或该当前原点O’的坐标被存储在系统缓存中用作坐标系的基准。

为能达成前述及相关目的，这一个或多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。但是，这些特征仅仅是指示了可采用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方案。

附图说明

为了能详细理解本申请的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本申请的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

在附图中：

图1是解说现有技术中对于VR中的定位技术的实现过程；

图2是解说根据本申请的实施例的用于提高增强现实中的虚拟对象的定位准确性与速度的方法的概念性示意图；以及

图3是解说根据本申请的实施例的用于提高增强现实中的虚拟对象的定位准确性与速度的方法的流程图。

具体实施方式

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文所描述的概念的仅有配置。本详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在某些实例中，以框图形式示出众所周知的组件以便避免淡化此类概念。

应当理解，基于本公开，其他实施例将是显而易见的，并且可以在不脱离本公开的范围的情况下做出系统、结构、过程或机械改变。

以下结合附图来详细描述本申请的实施方式。

参照图2和图3，参照可执行本文所描述的动作或功能的一个或多个组件以及一种或多种方法描绘了诸方面。在一方面，本文使用的术语“组件”、“模块”可以是构成系统的诸部分之一，可以是硬件或软件或其某种组合，并且可以被划分成其他组件或模块。

此外，尽管以下在图3中所描述的操作以特定次序呈现和/或如由示例组件执行，但应理解这些动作的次序以及执行动作的组件可取决于实现而变化。此外，应当理解，以下动作或功能可由专门编程的处理器、执行专门编程的软件或计算机可读介质的处理器、或由能够执行所描述的动作或功能的硬件组件和/或软件组件的任何其他组合来执行。

在SLAM技术中，AR设备通过基于特征点来建构真实世界(目标环境)的三维空间坐标系。如果此时目标环境中的空间特征点(I_P)的数量少于阈值N，则进一步构建基于IMU参数的空间系统坐标系。其中基于增加的参组数(诸如但不限于，陀螺仪的x/y/z轴坐标、x/y/z轴重力偏移值、加速度计的x/y/z轴坐标、加速度偏移值、以及磁力计的x/y/z轴坐标等)来计算坐标原点。将计算出的坐标系原点O的状态保存到系统内存作为空间中各物体坐标的基准。并且，根据O点坐标计算出虚拟空间系统中各物体的相应坐标。

如本领域技术人员众所周知的，本领域存在很多专门算法用于确定环境特征点，因此本文在此不做赘述。关于环境特征点的阈值，如本领域技术人员能够领会和了解的，目前在本领域中可以根据具体的情况通过实验或经验来确定该数量。根据不同的操作环境和实际情况，本领域技术人员可以确定相应的特征点阈值。

当AR设备的状态发生变化时，通过上述IMU参数组重新计算出当前的空间坐标原点O’相对于之前保存的原点O的x/y/z坐标及角度等参数的偏移值，然后将虚拟世界中物体根据这些偏移值计算出相对于现原点O’的坐标，从而快速将这些物体准确而快速地定位到现有空间中，显著提高了位置估算的准确性和鲁棒性。

因此，通过将IMU与SLAM技术进行结合，只需利用现有的AR设备组件，在无需新增任何组件和模块的前提下，即使在空间环境中定位特征点缺乏的情况下，也能准确且快速地将AR设备在虚拟世界中的位置进行界定，从而避免虚拟世界与真实环境的“脱节”，并且很大程度上提高了用户的体验度。

图2中解说了根据本申请的实施例的用于提高增强现实中的虚拟对象的定位准确性与速度的方法的概念性示意图。该方案显著提高了位置估算的准确性和鲁棒性。

如图1中所示，当真实环境中出现特征点欠缺的情况时，如果仅仅根据SLAM系统获取的图像进行特征点提取来建立空间坐标系，就会出现定位不准确以及速度比较慢的问题，从而导致虚拟空间中对应于AR设备的模型不能被准确渲染到虚拟空间中的实际位置。

根据本申请的具体实施例，通过弱特征点空间坐标系生成模块，在系统检测到环境中的特征点的数量不足，即小于阈值数量时(即，I_P<N)，系统会进一步读取IMU组件的参数(诸如但不限于，陀螺仪的x/y/z轴坐标、x/y/z轴重力偏移值、加速度计的x/y/z轴坐标、加速度偏移值、以及磁力计的x/y/z轴坐标等)。

然后，用这些参数来代替原空间坐标系计算矩阵中SLAM参数组，计算出弱特征点的环境空间的坐标原点O。然后，就能基于原点O来计算AR设备在虚拟空间中的模型的相对位置。

当AR设备的位置状态发生改变时，本申请的方案再次读取此时IMU组件的参数，以便建立新的空间坐标系原点O’，然后计算出O’相对于O的空间坐标偏移值Δ和角度偏移值α。

通过计算出的这两个偏移值，进一步计算出空间坐标系中AR设备的虚拟空间模型相对O’的坐标，从而快速并且精确地定位到空间中此时的位置。

图3中进一步解说了根据本申请的实施例的用于提高增强现实中的虚拟对象的定位准确性与速度的方法的流程图。该方法显著提高了位置估算的准确性和鲁棒性。

如图3中所示，该方法主要包括以下步骤。

S1：系统读取AR设备的SLAM组件参数；

S2：从上述组件参数中提取环境特征点以获取环境特征点的数量I_P；

S3：确定环境特征点的数量I_P是否小于环境特征点的数量阈值N；

S4：如果I_P小于N，则说明当前无法采用常规的特征点法来建立环境空间坐标系，则系统继续读取设备的IMU组件参数；

S5：根据读取的IMU组件参数来计算当前空间坐标系的原点O，并将其保存在系统缓存中；

S6：判断设备的状态是否发生改变；

S7：如果设备状态发生改变，则再次读取设备当前的IMU组件参数；

S8：根据当前IMU组件参数计算当前空间坐标系原点O’以及相对于原点O的空间偏移值Δ和角度偏移值α；

S9：获得设备的空间模型的当前坐标。

当然如果I_P不于N，则在步骤S10处继续使用常规的SLAM特征点法来建立空间坐标系并获取设备在空间中的确定位置。

如上所述，本申请的技术方案提出了在缺少环境特征点的情况下，AR设备利用其IMU组件参数来计算设备在虚拟空间中的模型的位置的方法与其详细的实现流程。通过在其中增加了弱特征点空间坐标系生成模块，利用IMU组件参数来计算出初始空间坐标原点O和在设备状态改变后的原点O’及其偏移量(空间偏移和角度偏移两方面)来获得空间中模型的相对坐标，从而能够快速并且准确地定位设备在空间中的模型当前坐标值。这样，就能解决由于定位不准确导致的虚拟物体在空间中“漂移”等问题，从而提升了用户体验。与现有技术相比，该方式显著提高了位置估算的准确性和鲁棒性。

并且，当前的IMU定位技术成本低、技术成熟，其获取的数据几乎不需要计算。因此，与现有的AR定位技术相比，本申请的技术方案具有以下突出的技术优势。采用本申请的方案，无需新增任何定位设备，该方案直接利用AR设备现有的SLAM/IMU组件来实现快速而精确的设备定位，因此不但节省了成本，还极大地提高了精确度和速度，进而极大地提升了用户的体验。

根据本公开的各方面、要素、或要素的任何部分、或者要素的任何组合可用包括一个或多个处理器的“处理系统”来实现。处理器的示例包括：微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立的硬件电路以及其他配置成执行本公开中通篇描述的各种功能性的合适硬件。处理系统中的一个或多个处理器可以执行软件。软件应当被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、函数等，无论其是用软件、固件、中间件、微代码、硬件描述语言、还是其他术语来述及皆是如此。软件可驻留在计算机可读介质上。该计算机可读介质可以是非瞬态计算机可读介质。作为示例，非瞬态计算机可读介质包括：磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，紧致盘(CD)、数字多用盘(DVD))、智能卡、闪存设备(例如，记忆卡、记忆棒、钥匙驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦式PROM(EPROM)、电可擦式PROM(EEPROM)、寄存器、可移动盘、以及任何其他用于存储可由计算机访问与读取的软件与/或指令的合适介质。作为示例，计算机可读介质还可包括载波、传输线、以及任何其他用于传送可由计算机访问和读取的软件和/或指令的合适介质。计算机可读介质可以驻留在处理系统中、在处理系统外部、或跨包括该处理系统的多个实体分布。计算机可读介质可以在计算机程序产品中实施。作为示例，计算机程序产品可包括封装材料中的计算机可读介质。本领域技术人员将认识到如何取决于具体应用和加诸于整体系统上的总体设计约束来最佳地实现本公开中通篇给出的所描述的功能性。

应该理解，所公开的方法中各步骤的具体次序或阶层是示例性过程的解说。基于设计偏好，应该理解，可以重新编排本文描述的方法或方法体系中各步骤的具体次序或阶层。所附方法权利要求以样本次序呈现各种步骤的要素，且并不意味着被限定于所呈现的具体次序或阶层，除非在本文中有特别叙述。

提供先前描述是为了使本领域任何技术人员均能够实践本文中所述的各种方面。对这些方面的各种改动将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。因此，权利要求并非旨在被限定于本文中所示出的各方面，而是应被授予与权利要求的语言相一致的全部范围，其中对要素的单数形式的引述并非旨在表示“有且仅有一个”(除非特别如此声明)而是“一个或多个”。除非特别另外声明，否则术语“一些”指的是一个或多个。引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：至少一个a；至少一个b；至少一个c；至少一个a和至少一个b；至少一个a和至少一个c；至少一个b和至少一个c；以及至少一个a、至少一个b和至少一个c。本公开通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文中所公开的任何内容都并非旨在贡献给公众，无论这样的公开是否在权利要求书中被显式地叙述。

Claims (8)

1.一种用于提高AR虚拟对象定位准确性与速度的方法，所述方法包括：

读取AR设备的SLAM组件参数；

从所述SLAM组件参数中提取环境特征点以获取环境特征点的数量I_P；

确定所述环境特征点的数量I_P是否小于环境特征点的数量阈值N；

如果I_P小于N，则读取所述AR设备的IMU组件参数；

基于所述IMU组件参数来计算并保存空间坐标系的原点O；以及

基于所述原点O来确定所述AR设备的空间模型的坐标，

其中所述方法进一步包括：

确定所述AR设备的状态是否发生改变；

如果所述AR设备的状态发生改变，则再次读取所述AR设备的当前IMU组件参数；

根据所述当前IMU组件参数计算当前空间坐标系的当前原点O’以及其相对于所述原点O的空间偏移值Δ和角度偏移值α；以及

基于所述当前原点O’以及所述空间偏移值Δ和所述角度偏移值α来确定所述AR设备的空间模型的当前坐标。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：如果I_P≥N，则使用SLAM特征点法来建立空间坐标系并获取所述AR设备的空间模型的坐标。

3.如权利要求1所述的方法，其特征在于，所述数量阈值N能根据实际情况通过实验或先验地确定。

4.如权利要求1所述的方法，其特征在于，所述IMU组件参数包括：陀螺仪的x/y/z轴坐标、x/y/z轴重力偏移值、加速度计的x/y/z轴坐标、加速度偏移值、以及磁力计的x/y/z轴坐标。

5.如权利要求1所述的方法，其特征在于，基于所述IMU组件参数来计算所述空间坐标系的原点O或所述当前空间坐标系的原点O’包括用所述IMU组件参数来代替原SLAM组件参数。

6.如权利要求1所述的方法，其特征在于，基于所述当前原点O’以及所述空间偏移值Δ和所述角度偏移值α来确定所述AR设备的空间模型的当前坐标进一步包括：

基于所述空间偏移值Δ和所述角度偏移值α来计算所述当前原点O’相对于所述原点O的坐标。

7.如权利要求6所述的方法，其特征在于，基于所述当前原点O’以及所述空间偏移值Δ和所述角度偏移值α来确定所述AR设备的空间模型的当前坐标进一步包括：

基于所述当前原点O’的坐标来确定所述AR设备的空间模型的当前坐标。

8.如权利要求1所述的方法，其特征在于，所述原点O的坐标或所述当前原点O’的坐标被存储在系统缓存中用作坐标系的基准。