CN112085853A - 一种基于摄像头和vr设备的ar显示方法及系统 - Google Patents

Abstract

本申请公开了一种基于摄像头和VR设备的AR显示方法及系统，用以解决现有的AR技术应用存在操作方式单一、沉浸感较差，或设备成本较高，视场角较小，不利于推广的问题。该系统包括虚拟现实VR设备，用于实时采集自身的运动信息；扩展设备，与所述VR设备连接，用于实时采集当前场景的视频数据，获取所述运动信息，并根据所述视频数据与所述运动信息，进行同步定位与建图，以及，用于在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至所述VR设备进行显示。本系统通过摄像头、VR设备、AR处理的结合，以较低的成本、较简单的结构，实现了一种新的AR展示形式，具有更低的成本、更大的视场角，有利于提升用户的沉浸感。

Description

一种基于摄像头和VR设备的AR显示方法及系统

技术领域

本申请涉及增强现实技术领域，尤其涉及一种基于摄像头和VR设备的AR显示方法及系统。

背景技术

随着科技的不断进步与发展，增强现实(Augmented Reality，AR)技术的应用越来越广泛。

目前，AR技术的应用主要体现在两方面。第一，终端中搭建有AR框架，可以运行多种AR应用。第二，通过AR设备，如AR眼镜等，进行虚拟现实交互。

但是，上述AR技术的应用均存在一定问题。在终端中运行AR应用时，用户只能通过触屏的方式进行虚拟现实交互，沉浸感较差，且空间感知能力有限。AR设备的操作方式比较多样化，沉浸感也较高，但由于AR设备中起到关键作用的光学组件的结构较复杂，AR设备造价较高，且视场角较小，不利于产品推广。

发明内容

本申请实施例提供一种方法及装置，用以解决现有的AR技术应用存在操作方式单一、沉浸感较差，或设备成本较高，视场角较小，不利于推广的问题。

本申请实施例提供的一种基于摄像头和VR设备的AR系统，包括：

虚拟现实VR设备，用于实时采集自身的运动信息；

扩展设备，与所述VR设备连接，用于实时采集当前场景的视频数据，获取所述运动信息，并根据所述视频数据与所述运动信息，进行同步定位与建图，以及，用于在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至所述VR设备进行显示。

在一个示例中，所述扩展设备包括摄像头与处理器；所述摄像头与处理器相连接；所述摄像头，用于采集当前场景的视频数据；所述处理器，用于获取所述运动信息与视频数据，进行同步定位与建图，并在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至所述VR设备进行显示。

在一个示例中，所述扩展设备安装有AR框架。

在一个示例中，所述VR设备为VR头盔、VR眼镜中的任意一种。

在一个示例中，所述VR设备，具体用于通过内设的惯性测量单元组件，实时采集自身的运动信息。

在一个示例中，所述扩展设备，具体用于根据所述视频数据，计算图像深度，同步构建3D场景，并在所述3D场景中叠加虚拟数据。

在一个示例中，所述扩展设备，具体用于对叠加的虚拟数据进行渲染处理。

在一个示例中，所述摄像头固定在所述VR设备前方。

本申请实施例提供的一种基于摄像头和VR设备的AR显示方法，包括：

扩展设备实时获取当前场景的视频数据；

实时获取VR设备的运动信息；

根据所述视频数据以及运动信息，进行同步定位与建图；

在同步建图的场景中叠加虚拟数据，并将叠加后的AR画面发送至所述VR设备进行显示。

在一个示例中，所述方法还包括：预先根据所述VR设备，进行信息配置

本申请实施例提供一种基于摄像头和VR设备的AR显示方法及系统，至少包括以下有益效果：

通过摄像头、VR设备、AR处理的结合，以较低的成本、较简单的结构，实现了一种新的AR展示形式。本系统不是由人眼通过复杂的光学组件直接看到现实场景，而是将现实场景经过处理后实时展示在用户的视野中，达到人眼即时看到的效果。并且，基于VR设备所具有的较大的视场角，使得用户在感受AR画面时，与现有的AR设备相比，可拥有较大的视场角，有利于增强用户的沉浸感，便于产品推广。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的基于摄像头和VR设备的AR系统结构示意图；

图2为本申请实施例提供的基于摄像头和VR设备的AR显示方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的基于摄像头和VR设备的AR系统结构示意图。

如图1所示，本系统主要包括虚拟现实(Virtual Reality，VR)设备11与扩展设备12。VR设备11与扩展设备12可通过无线或有线的方式连接。

VR设备11可根据自身安装的惯性测量单元(Inertial measurement unit，IMU)组件，通过IMU组件中包括的三轴加速度计与陀螺仪，实时采集自身的运动信息，以对用户的头部运动信息进行追踪。其中，运动信息可包括三轴的加速度与角速度。

扩展设备12可通过自身安装的摄像头121，实时采集当前场景的视频数据，即用户在佩戴VR设备时视线前方对应的场景视频数据。并且，扩展设备12可获取VR设备采集的运动信息，根据视频数据与运动信息，进行同步定位，以实时定位用户的头部动作。

扩展设备12还可根据获取的视频数据，进行同步建图，以获取当前场景的同步定位建图(Simultaneous localization and mapping，SLAM)信息。之后，扩展设备12可根据SLAM信息，在同步建图的场景中叠加虚拟数据，获得现实图像与虚拟图像并存的AR画面，并将叠加后的AR画面发送至VR设备进行显示。

在本申请实施例中，通过摄像头、VR设备、AR处理的结合，以较低的成本、较简单的结构，实现了一种新的AR展示形式。本系统不是由人眼通过复杂的光学组件直接看到现实场景，而是将现实场景经过处理后实时展示在用户的视野中，达到人眼即时看到的效果。并且，基于VR设备所具有的较大的视场角，使得用户在感受AR画面时，与现有的AR设备相比，可拥有较大的视场角，有利于增强用户的沉浸感，便于产品推广。

在一个实施例中，扩展设备可以是一体化结构。通过其一体化结构，扩展设备能够实现采集视频图像、进行同步定位与建图、获取SLAM信息、进行AR处理等多种功能，并将处理后的AR画面传输到VR设备进行显示。

例如，扩展设备可以是安装有摄像头与AR框架的移动终端，包括手机、平板电脑等。移动终端可固定在VR设备前方，与VR设备之间以较短的连接线，通过USB接口连接，或通过HDMI接口连接，具体可根据VR设备的配置进行确定。

移动终端可通过摄像头采集视频图像，并通过自身预先配置好的AR框架，实现SLAM信息的获取，并承担AR处理过程。其中，移动终端安装的AR框架，可根据机型的不同进行相应的配置，例如，安卓系统手机可配置ARCore，iphone系统手机可配置ARKit。

将扩展设备设置为一体化结构，可进一步简化AR系统的结构设计。并且，将扩展设备与VR设备连接为一个整体，可避免扩展设备与VR设备进行有线连接时，会对VR设备的移动空间产生限制。

在一个实施例中，如图1所示，扩展设备12可以是分体设置。一种可能的实现方式为，扩展设备12包括摄像头121与处理器122。

摄像头121固定在VR设备前方，用于采集当前场景的视频数据。如图1所示，摄像头121可以是移动终端的后置摄像头，移动终端与VR设备相固定。

处理器122与VR设备分离，与摄像头121、VR设备11连接，承担计算功能，用于获取运动信息与视频数据，进行同步定位与建图，并在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至VR设备进行显示。

或者，处理器122可仅与VR设备11连接，由VR设备11与摄像头121连接，将摄像头121采集的视频数据通过VR设备11发送给处理器122。其中，VR设备与处理器的连接方式可以是无线连接，也可以有线连接。

处理器122可以是具有相应计算能力的终端，如电脑等。处理器122中可预先配置有相应的AR框架，以实现对视频数据的AR处理。例如，处理器可安装有相应的开发工具，包括Unity等。

通过将扩展设备分体设置，可尽量减轻VR设备的重量，优化用户的使用感，提升用户体验。并且，通过另外的处理器进行AR处理，可保证处理器具有足够强的计算能力，有利于加快处理过程，减少显示给用户的AR画面与真实画面之间的延迟。

在一个实施例中，VR设备可以是VR头盔、VR眼镜中的任意一种。

若VR设备为VR眼镜，则除VR眼镜本身所需的移动终端之外，本系统还包括扩展设备。则在本AR系统中，扩展设备在对视频数据进行AR处理后，可将获得的AR画面发送至VR眼镜本身所需的移动终端，由该移动终端为用户进行画面显示。

或者，本系统可对扩展设备与VR眼镜本身所需的移动终端进行集成，以使扩展设备能够同时具备两者的功能，在对视频数据进行AR处理，获得AR画面后，可将AR画面显示给用户。

在一个实施例中，AR系统中包括移动终端时，由于移动终端中也包括陀螺仪等装置，则扩展设备可同时获取移动终端的运动信息与VR设备的运动信息。

于是，扩展设备可综合两者的运动信息，来进行同步定位，实现对用户头部的动作追踪。这样在一定程度上可有利于提高同步定位的准确性，实现对用户头部动作的准确追踪。

在一个实施例中，扩展设备在获取视频数据后，可根据视频数据，对图像深度进行计算，以根据视频数据中不同物体距离摄像头的远近不同，同步构建3D现实场景。之后，扩展设备可根据AR开发工具中预定义的场景、模型等，在构建出的3D现实场景中叠加虚拟物体的数据，以实现现实画面与虚拟画面的结合。

在一个实施例中，扩展设备在对获取到的视频数据进行AR处理，添加虚拟数据时，可对叠加的虚拟数据进行渲染处理，以增强虚拟物体在现实视频数据中的融入度，使之更加真实、没有违和感。

在一个实施例中，扩展设备中的摄像头可以是单目摄像头。通过AR框架的配置，可使通过单目摄像头获取到的视频数据具有深度感知的能力，用于进行同步建图。

以上为本申请实施例提供的基于摄像头和VR设备的AR系统，基于同样的发明思路，本申请实施例还提供了相应的基于摄像头和VR设备的AR显示方法，如图2所示。

图2为本申请实施例提供的基于摄像头和VR设备的AR显示方法流程图，具体步骤包括：

S201：扩展设备实时获取当前场景的视频数据。

S202：实时获取VR设备的运动信息。

在本申请实施例中，扩展设备可通过固定在VR设备前方的摄像头，实时获取其采集到的当前场景的视频数据。并且，扩展设备可通过连接的VR设备，实时获取其通过IMU组件采集到的运动信息。

S203：根据视频数据以及运动信息，进行同步定位与建图。

在本申请实施例中，扩展设备可根据获取到的视频数据以及运动数据，实时追踪用户的头部动作，实现同步定位。并且，扩展设备可根据自身配置的AR框架，以及视频数据，进行同步建图，以构建与真实场景相对应的3D场景。

S204：在同步建图的场景中叠加虚拟数据，并将叠加后的AR画面发送至VR设备进行显示。

在本申请实施例中，扩展设备可采用AR开发工具，在同步构建的3D场景中添加虚拟物体数据，以实现真实场景与虚拟数据的叠加、融合。之后，扩展设备可将叠加后的AR画面传输给VR设备，向用户进行展示。

在一个实施例中，在进行AR显示之前，扩展设备需预先根据VR设备的需要，以及AR处理的需要，进行自身的信息配置，包括与VR设备的连接、AR框架的安装等。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

本申请实施例提供的方法与系统是一一对应的，因此，方法也具有与其对应的系统类似的有益技术效果，由于上面已经对系统的有益技术效果进行了详细说明，因此，这里不再赘述方法的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于摄像头和VR设备的AR系统，其特征在于，包括：

虚拟现实VR设备，用于实时采集自身的运动信息；

扩展设备，与所述VR设备连接，用于实时采集当前场景的视频数据，获取所述运动信息，并根据所述视频数据与所述运动信息，进行同步定位与建图，以及，用于在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至所述VR设备进行显示。

2.根据权利要求1所述的系统，其特征在于，所述扩展设备包括摄像头与处理器；所述摄像头与处理器相连接；

所述摄像头，用于采集当前场景的视频数据；

所述处理器，用于获取所述运动信息与视频数据，进行同步定位与建图，并在同步建图的场景中叠加虚拟数据，将叠加后的AR画面发送至所述VR设备进行显示。

3.根据权利要求1所述的系统，其特征在于，所述扩展设备安装有AR框架。

4.根据权利要求1所述的系统，其特征在于，所述VR设备为VR头盔、VR眼镜中的任意一种。

5.根据权利要求1所述的系统，其特征在于，所述VR设备，具体用于通过内设的惯性测量单元组件，实时采集自身的运动信息。

6.根据权利要求1所述的系统，其特征在于，所述扩展设备，具体用于根据所述视频数据，计算图像深度，同步构建3D场景，并在所述3D场景中叠加虚拟数据。

7.根据权利要求6所述的系统，其特征在于，所述扩展设备，具体用于对叠加的虚拟数据进行渲染处理。

8.根据权利要求2所述的系统，其特征在于，所述摄像头固定在所述VR设备前方。

9.一种基于摄像头和VR设备的AR显示方法，其特征在于，应用于权利要求1～8中任一项所述的AR系统，包括：

扩展设备实时获取当前场景的视频数据；

实时获取VR设备的运动信息；

根据所述视频数据以及运动信息，进行同步定位与建图；

在同步建图的场景中叠加虚拟数据，并将叠加后的AR画面发送至所述VR设备进行显示。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

预先根据所述VR设备，进行信息配置。

Images