CN115454250A - 用于增强现实交互的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了一种用于在增强现实(AR)场景中与虚拟物体进行交互的方法。根据在此描述的方法，在用户设备呈现的AR场景中，呈现目标对象的指示信息以及目标对象的一个或多个组成部分。响应于用户设备的姿态的改变，一个或多个组成部分在AR场景中的渲染被相应更新。如果更新后的一个或多个组成部分在视觉上与指示信息匹配，则在AR场景中呈现作为整体的目标对象。根据本公开的实施例，用户能够通过改变其设备的姿态，在AR场景中灵活地控制一个或多个组成部分，使其在视觉上匹配并且最终拼装成目标物体。用户在AR场景中的交互体验和意趣能够得到提升。

Description

用于增强现实交互的方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及增强现实(AR)，并且更具体地，涉及用于在AR场景中进行交互的方法、装置、设备和计算机可读存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界进行融合的技术。AR设备可以将虚拟对象与真实世界中的画面叠加在一起呈现在AR场景中。这样，出现在用户视野中的图像既包括真实世界的画面也包括虚拟对象。也即，AR场景可以使用户同时看到虚拟对象和真实世界，带给用户沉浸式的体验。AR在游戏、仿真、模拟等诸多领域具有广泛的应用。各种交互技术允许用户与AR场景中与虚拟对象或者物体进行交互。这些交互技术的方式、效率、效果，直接影响用户使用AR设备的体验。

发明内容

在本公开的第一方面，提供一种用于增强现实AR交互的方法。该方法包括：在用户设备呈现的AR场景中，呈现目标对象的指示信息以及目标对象的一个或多个组成部分；基于用户设备的姿态的改变，更新一个或多个组成部分在AR场景中的渲染；以及响应于更新后的一个或多个组成部分在视觉上与指示信息匹配，在AR场景中呈现作为整体的目标对象。

在本公开的第二方面，提供一种用于增强现实AR交互的装置。该装置包括：呈现控制模块，被配置为在用户设备呈现的AR场景中，呈现目标对象的指示信息以及目标对象的一个或多个组成部分；渲染更新模块，被配置为基于用户设备的姿态的改变，更新一个或多个组成部分在AR场景中的渲染；以及对象交互模块，被配置为响应于更新后的一个或多个组成部分在视觉上与指示信息匹配，在AR场景中呈现作为整体的目标对象。

在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的各实施例能够在其中实现的示例环境的示意图；

图2示出了阐释“近大远小”原理的示意图；

图3示出了根据本公开一些实施例的用于AR交互的方法的流程图；

图4A和图4B分别示出了根据本公开一些实施例的在AR场景中呈现目标对象的指示信息的若干示例的示意图；

图4C和图4D分别示出了根据本公开一些实施例的一个或多个组成部分随着用户设备姿态的改变的渲染更新的示意图；

图4E示出了根据本公开一些实施例的当一个或多个组成部分在视觉上与目标对象的指示信息达到匹配时的示意图；

图4F示出了根据本公开一些实施例的作为整体来呈现和操控目标对象的示意图；

图5A、图5B和图5C示出了根据本公开一些实施例的操作目标对象的组成部分去匹配目标对象轮廓的另一示例的示意图；

图6示出了根据本公开的一些实施例的用于增强现实的装置的框图；以及

图7示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。

术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

下面结合附图来描述本公开的实施例。通过下文描述将会理解，根据本公开的实施例，为用户提供了一种在AR场景中与虚拟对象交互的方案。在AR场景中，同时向用户呈现关于目标虚拟对象的指示信息，以及该虚拟对象的一个或多个组成部分。最初，这些组成部分在视觉上是分散的，即，没有被组装成目标虚拟对象。用户可以改变其用户设备的姿态(例如，朝向、倾斜、距离等)，来改变用于该AR场景的AR虚拟相机的视场(FoV)。相应地，这些组成部分在AR场景中的渲染效果也会被刷新。当用户设备达到了某个预定的姿态时，在视觉上，AR场景中渲染的一个或多个组成部分将与目标虚拟对象相匹配。此时，可以触发“组装”操作，即，这些分散的组成部分在被渲染为作为整体的目标虚拟对象。而后，用户可以交互地操控作为整体的目标虚拟对象。以此方式，用户能够获得有意趣的交互过程，提升AR环境的用户体验。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，在用户设备110处或者由用户设备110向用户130呈现AR场景150。AR场景150可以被呈现在用户设备110的屏幕上。AR场景150可以包括真实世界的画面154和叠加在画面154上的虚拟对象1531和1532。

在画面154中，对象1541和1542是真实世界中的真实对象在AR场景150中的表示，例如是真实对象的图像或其他形式的表示。仅为了便于讨论，对象1541和1542在本文中也称为3D对象。当用户设备110的姿态发生变化时，用于该AR场景的AR相机的视场也随之变化。相应地，画面154将随着用户设备110姿态的改变而发生变化。相应地，在画面154中呈现的3D对象的渲染也会更新，导致这些3D对象的视觉效果随之改变。类似地，虚拟对象1531和1532的渲染也会更新，导致这些虚拟对象的视觉效果随之改变。

在一些实施例中，用户设备110可以包括定位组件。定位组件用于获取用户设备110的姿态，并且基于姿态来实时地确定AR场景中的对象以及虚拟相机的位置。由此，可以实现渲染随用户设备110姿态变化的更新。

应当理解，AR场景150仅是示例性的，而无意限制本公开的范围。AR场景150可以包括叠加在画面154上的更多或更少的虚拟对象，或者可以包括其他元素，诸如用户界面(UI)元素。

用户设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动电话、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、游戏设备、可穿戴设备、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，用户设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

用户设备110可以具有安装于其上的AR引擎120。AR引擎120用于驱动AR场景150的呈现。在一些实施例中，AR引擎120可以是AR游戏引擎；相应地，AR场景150可以是AR游戏场景。在一些实施例中，AR引擎120可以是内容共享类应用(或称“社交类应用”)的一部分。该社交应用能够向用户130提供与多媒体内容消费相关的服务，例如允许用户发布、观看、评论、转发、创作多媒体作品，等等。相应地，AR场景150可以是AR内容创作场景。例如，在某些实施例中，AR场景150可以是社交应用提供的特效的一部分。上文描述的定位组件可以是AR引擎120的一部分。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。用户设备110可以包括任何合适的结构和功能来实现用于与AR场景的交互。

可以理解，根据透视原理，当用户或者虚拟相机的视场不同时，在AR场景中呈现的3D对象的视觉效果也将发生改变。以人眼为例，眼睛里的水晶体相当于凸透镜，而视网膜相当像面。人眼看见一个物体，是通过该物体在视网膜上成像。从瞳孔中心对物体的张角与视角相等。因此，视角的大小决定了视网膜上物体的像的大小。当一个物体距离眼睛远时，视角比较小，因此看起来的尺寸也比较小；而当同样的物体距离眼睛近时，视角变大，看起来的视觉效果也就更大。物体的尺寸没有改变，但是因为视角不同，导致视觉效果的大小发生了改变。这就是视觉上的“近大远小”原理。相机在拍摄和成像中，同样遵循这一原理。

利用这一原理，能够实现一些在真实世界中不会发生的视觉效果。例如，图2示出了相机所捕获的场景200。在场景200中，因为手距离视点较近，因此手的成像202看起来就比较大；而太阳距离视点很远，因此太阳的成像204看起来很小。这就使得能够实现“手捏太阳”的效果。

类似地，由于视点和/或视角的不同，同一物体在AR场景中被渲染的视觉效果可以存在诸多变化。根据本公开的实施例，在支持用户与AR场景中的3D对象进行交互的过程中充分利用了这些视觉和成像的原理，提供了一套能够使用户获得良好体验的交互机制。

图3示出了根据本公开一些实施例的用于AR交互的方法200的流程图。在一些实施例中，方法200例如可以在图1所示的用户设备110处实现，例如由AR引擎120或者其他适当的模块/装置来实现。

在框302，在用户设备110所呈现的AR场景中，呈现目标对象的指示信息以及目标对象的一个或多个组成部分。

图4A示出了在用户设备110呈现的AR场景400中呈现目标对象的指示信息及其组成部分的示意图。如图所示，在AR场景400中，包括由用户设备110的相机捕获的真实世界部分402以及虚拟对象。在此示例中，真实世界部分402是书架，并且被用作场景的背景部分。

虚拟对象包括目标对象的一个或多个组成部分。在图4A所示的示例中，目标对象(或者称“目标虚拟物体”)是一个雪人。AR场景400中呈现有目标对象的多个组成部分406、408和410。更具体地，组成部分406是雪人的帽子，组成部分408是雪人的头部，组成部分410是雪人的身体。注意，在某些实施例中，也可以仅仅呈现目标对象的一个组成部分，例如最主要或者最大的组成部分。

AR场景400中还呈现有目标对象雪人的指示信息。在图4A所示的示例中，该指示信息是目标对象“雪人”的轮廓404。轮廓404被呈现为轮廓线。在某些实施例中，轮廓404可以以预定的大小和/或位置被呈现在AR场景400中。也即，当用户改变用户设备110的姿态从而引发AR场景400的视场发生改变时，轮廓404在用户设备110的用户界面上的位置和大小可以保持不变。备选地，在另一些实施例中，轮廓404也可以随着场景的改变而改变位置和/或大小。仅仅通过看到被拆分的组成部分，用户难以分辨要组装成的目标对象的整体形貌。通过向用户呈现目标对象的轮廓可以对碎片拼接的目标有明确认识。以此方式，可以进一步提高用户体验。

注意，轮廓仅仅目标对象的指示信息的一个示例。其他适当方式的指示信息也是可能的。例如在图4B所示的示例中，其他呈现内容与图4A的示例一致，但是目标对象的指示信息从轮廓变成了图标412。图标412的外观是一个雪人，从而向用户指明：当前的目标对象是一个雪人。作为补充或者取代图标，也可以显示文字、动画等作为目标对象的指示信息。本公开的内容在此方面不受限制。

返回图3，在框304，基于用户设备110的姿态的改变，更新目标对象的一个或多个组成部分在AR场景中的渲染。具体而言，在操作中，用户可以改变其用户设备110的朝向、角度、位置等各种姿态参数。用户设备110的姿态的改变将会导致用于AR场景的AR相机的视场发生变化。相应地，在经由用户界面呈现给用户的渲染结果中，场景中3D对象的视觉效果也将发生变化。例如，定位组件可以实时获得用户设备110的姿态，从而改变AR相机的位置和一个或多个组成部分的坐标。一个或多个组成部分的渲染也随之改变。

图4C和图4D分别示出了根据本公开一些实施例的一个或多个组成部分随着用户设备110的姿态改变的渲染更新的示意图。在图4C所示的示意图中，可以看到，随着用户按照箭头414指示的方向改变用户设备110的朝向，AR场景400中的3D对象的渲染随之更新。随着用户设备110的相机的视场变化，背景部分(即，真实世界场景的影像)所包含的场景相较于图4A-4B而言发生了变化。

同时，目标对象的组成部分406-408的渲染也随着AR相机视场的改变发生更新。具体来说，根据近大远小原理，组成部分406在视觉上变小，而组成部分410在视觉上变大。而且，因为AR相机视角的改变，各个组成部分的可见部分也可随之变化。即，一些之前不可见的部分可能变得可见；一些之前可见的部分可能变得不再可见。

再者，根据视觉和成像原理，当AR相机的视场不同时，实际相对关系保持不变的多个物体在视觉上的相对位置关系可能发生变化。根据这一原理，随着用户设备110的姿态发生变化，由于AR场景中透视关系的改变，各个组成部分之间在视觉上的位置关系也可能发生变化。具体而言，在所示的例子中，与图4A和4B所示的状态相比，组成部分406-410之间的距离看起来发生了变化。注意，这仅仅是渲染更新带来的视觉上的改变，它们在场景中的实际相对位置关系并未改变。

图4D示出了用户进一步沿着方向416改变用户设备110的姿态所导致的目标对象组成部分406-410的渲染的更新。具体而言，在图4D所示的示例中，用户向左手边平移用户设备110，使得更新后渲染的组成部分406-410在AR场景400中看起来比图4C靠右，从而更加接近目标对象的指示信息(具体地，在此例中是轮廓404)。

综上，在操作中，可以根据用户设备110的姿态来确定AR相机的视场，并根据视场在AR场景400中渲染目标对象的组成部分406-410。与此同时，可以注意到，在图4C和图4D所示的示例中，轮廓404并未随用户设备110的姿态改变更改变其外观。即，轮廓404在用户界面中保持在固定的位置和大小。备选地，在其他实施例中，轮廓404也可以随着用户设备110的姿态改变而适当改变其位置和大小，但是改变的程度可以不同于组成部分406-410。

将会理解，随着用户通过改变设备姿态来调整目标对象的一个或多个组成部分406-410的呈现，在某个状态下，更新后的一个或多个组成部分406-410在视觉上，与目标对象的指示信息相互匹配。例如，在图4E所示的状态下，组成部分406-410在视觉上构成的总体轮廓与目标对象的轮廓404相互吻合。也即，在给定的容差范围内，二者在形状和大小上彼此一致。

可以通过各种适当的算法来检测这种视觉上的匹配。例如，在一些实施例中，AR引擎120可以预先计算和存储一个与目标对象相关联的目标机位。当与AR场景关联的AR相机的机位与该目标机位接近或对准时，认为目标对象的多个组成部分在视觉上恰好落入轮廓限定的范围。在操作中，随着用户设备110的姿态的改变，AR引擎120相应确定AR相机的当前机位，并且将当前机位目标机位进行比较。

机位可以通过各种适当的方式来表征，例如通过相机的方位、高度、距离、朝向，等等。如果AR相机的当前机位与预定的目标机位之差低于预定阈值，则可以确定一个或多个组成部分在视觉上与轮廓匹配。例如，如果AR相机的当前机位与目标机位的位置和旋转角朝向在一定误差范围内，可以认为这两个机位接近，从而可以确定一个或多个组成部分在视觉上与轮廓匹配。

将会理解，在指示信息不是轮廓的其他实施例中，上述机位匹配的方法同样适用。即，当用户操作用户设备110使得AR相机达到预定的目标机位时，认为这些组成部分在视觉上组成的整体效果与所显示的图标或者文字达到了匹配。

但是应当理解的是，这种预定目标机位的匹配并不是必须的，而仅仅是示例性的。例如，在一些备选实施例中，可以在更新组成部分的渲染之后，计算这些组成部分的最大外部包围盒，并且将该包围盒和作为目标对象指示信息的轮廓进行匹配，从而检测视觉上的匹配。其他匹配方式也是可能，本公开在此方面不受限制。

图4E示出了根据本公开一些实施例的组成部分406-410在视觉上与目标对象的指示信息相互匹配时的示意图。在此示例中，可以看到，组成部分406-410作为一个整体在视觉上恰好落入轮廓404之内。

返回图3，响应于上述匹配，在框306，在AR场景中呈现作为整体的目标对象。例如参考图4F，AR场景400中绘制出一个完整的、作为一个整体的目标对象418，即，雪人。此时雪人的各个组成部分不再是分离的独立个体。相反，它们在AR场景400中作为一个对象或者虚拟物体来呈现和绘制。

例如，当用户再次改变用户设备110的姿态时，组装之后的雪人的绘制将随之更新，但是不会再呈现如图4C和4D中那种各个组成部分彼此分离的“爆炸图”效果。也就是说，当目标对象的组成部分在视觉上与目标对象的指示信息相互匹配之后，AR引擎120不再随用户设备110的姿态的改变来更新组成部分406-410的渲染；而是仅仅渲染和更新作为一个整体的目标对象418。

在一些实施例中，如果使用定位组件，响应于上述匹配，可以禁用或关闭定位组件。这意味着用户对用户设备110姿态的改变(例如，用户的抖动)不会影响AR相机的位置。而是通过机位托管校准，来将AR相机的机位与目标机位对准。由此，目标对象可以作为一个整体被渲染。

在这种实施例中，在AR相机的机位与目标机位接近时，即可将目标对象作为一个整体来呈现。以此方式，可以避免用户设备的轻微抖动(例如，用户的手抖)导致用户需要花费较长时间才能达到对象组装目标。这进一步提高了用户体验。

备选地或附加地，在一些实施例中，当一个或多个组成部分在框306被“组装”成目标对象之后，用户可以将目标对象418作为一个整体来操作，例如旋转、缩放、拖动，等等。例如，在上述的托管校准完成之后，可以启用AR组件。以归还用户的操控权限。以后，用户可以与作为整体的目标对象进行交互。

在某些实施例中，一旦更新后的组成部分在视觉上与目标对象的指示信息达到匹配，AR引擎120还可以停止在AR场景400中继续绘制目标对象的指示信息，例如其轮廓信息。例如，在图4F中，不再显示轮廓404。

上文已经参考若干示例场景描述了本公开的一些实施例。根据本公开的实施例，用户可以通过调整其用户设备的姿态，将AR场景中的一个或多个独立的组成部分，在视觉上拼装成一个完整的目标对象。整个交互的过程充满挑战和意趣，能够被广泛应用于社交应用的AR特效、认知行为训练和辅助、仿真、游戏等多个领域，提高用户的交互体验。

图5A、图5B和图5C示出了根据本公开一些实施例的操作目标对象的组成部分去匹配目标对象轮廓的另一示例的示意图。在此所示的例子中，AR场景500同样具有背景部分502，其是通过用户设备110的相机捕获的真实世界场景的影像，在该示例中背景部分。

除背景部分502之外，如图5A所示，首先在AR场景500中向用户呈现了目标对象“汉堡包”的轮廓504和该目标对象的多个组成部分506、508、510、512、514。更具体地，在此示例中，这些组成部分是组成汉堡包的面包片、肉饼、芝士片和蔬菜。

如图5B所示，用户通过调整用户设备110的姿态，使得组成部分506、508、510、512、514在视觉上恰好落入轮廓504之内，并且二者的边界之间的差距在预定的容差范围之内。如上所述，在一些实施例中，这例如可以通过检测AR相机的机位是否达到预定的目标机位来检测。

如图5C所示，一旦确定组成部分506、508、510、512、514在视觉上与轮廓504达成匹配，定位组件被禁用以转移用户的操控权。也即，随后目标对象“汉堡包”516作为一个整体来进行渲染的更新和/或响应的用户操作，而各个组成部分506、508、510、512、514不再能够被独立地操控。同时，停止显示轮廓504。

图6示出了用于AR交互的装置600的框图。如图所示，装置600包括呈现控制模块610，被配置为在用户设备呈现的AR场景中，呈现目标对象的指示信息以及所述目标对象的一个或多个组成部分。装置600还包括渲染更新模块620，被配置为基于所述用户设备的姿态的改变，更新所述一个或多个组成部分在所述AR场景中的渲染。装置600进一步包括对象交互模块630，被配置为响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，在所述AR场景中呈现作为整体的所述目标对象。

在一些实施例中，呈现控制模块610被配置为在所述AR场景中以预定的大小和/或位置呈现所述目标对象的轮廓。

在一些实施例中，呈现控制模块610被进一步配置为响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止所述轮廓在所述AR场景中的呈现。

在一些实施例中，对象交互模块630被进一步配置为：响应于在作为整体呈现所述目标对象之后接收到针对所述目标对象的输入，根据所述输入将所述目标对象作为整体进行操控。

在一些实施例中，装置600还包括视觉匹配模块(未示出)，被配置为如下确定所述一个或多个组成部分在视觉上与所述指示信息是否匹配：根据所述用户设备的姿态，确定用于所述AR场景的AR相机的当前机位；将所述当前机位同与所述目标对象相关联的预定目标机位进行比较；以及响应于所述当前机位与所述目标机位之差低于预定阈值，确定所述一个或多个组成部分在视觉上与所述指示信息匹配。

在一些实施例中，渲染更新模块620被配置为：根据所述用户设备的姿态，确定用于所述AR场景的AR相机的视场；以及根据所述AR相机的所述视场在所述AR场景中渲染所述一个或多个组成部分。

在一些实施例中，渲染更新模块620被进一步配置为：响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止随所述用户设备的姿态的改变更新所述一个或多个组成部分的渲染。

装置600中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置600中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图7示出了其中可以实施本公开的一个或多个实施例的计算设备700的框图。应当理解，图7所示出的计算设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的计算设备700可以用于实现图1的用户设备110。

如图7所示，计算设备700是通用电子设备的形式。计算设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备700的并行处理能力。

计算设备700通常包括多个计算机存储介质。这样的介质可以是计算设备700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备700内被访问。

计算设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元740实现通过通信介质与其他电子设备进行通信。附加地，计算设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备700交互的设备进行通信，或者与使得计算设备700与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

Claims (16)

1.一种用于增强现实AR交互的方法，包括：

在用户设备呈现的AR场景中，呈现目标对象的指示信息以及所述目标对象的一个或多个组成部分；

基于所述用户设备的姿态的改变，更新所述一个或多个组成部分在所述AR场景中的渲染；以及

响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，在所述AR场景中呈现作为整体的所述目标对象。

2.根据权利要求1所述的方法，其中呈现所述指示信息包括在所述AR场景中以预定的大小和/或位置呈现所述目标对象的轮廓。

3.根据权利要求2所述的方法，还包括：

响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止所述轮廓在所述AR场景中的呈现。

4.根据权利要求1和2中任一项所述的方法，还包括：

响应于在作为整体呈现所述目标对象之后接收到针对所述目标对象的输入，根据所述输入将所述目标对象作为整体进行操控。

5.根据权利要求1和2中任一项所述的方法，还包括如下确定所述一个或多个组成部分在视觉上与所述指示信息是否匹配：

根据所述用户设备的姿态，确定用于所述AR场景的AR相机的当前机位；

将所述当前机位同与所述目标对象相关联的预定目标机位进行比较；以及

响应于所述当前机位与所述目标机位之差低于预定阈值，确定所述一个或多个组成部分在视觉上与所述指示信息匹配。

6.根据权利要求1和2中任一项所述的方法，其中更新所述一个或多个组成部分在所述AR场景中的渲染包括：

根据所述用户设备的姿态，确定用于所述AR场景的AR相机的视场；以及

根据所述AR相机的所述视场在所述AR场景中渲染所述一个或多个组成部分。

7.根据权利要求1和2中任一项所述的方法，还包括：

响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止随所述用户设备的姿态的改变更新所述一个或多个组成部分的渲染。

8.一种用于增强现实AR交互的装置，包括：

呈现控制模块，被配置为在用户设备呈现的AR场景中，呈现目标对象的指示信息以及所述目标对象的一个或多个组成部分；

渲染更新模块，被配置为基于所述用户设备的姿态的改变，更新所述一个或多个组成部分在所述AR场景中的渲染；以及

对象交互模块，被配置为响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，在所述AR场景中呈现作为整体的所述目标对象。

9.根据权利要求7所述的装置，其中所述呈现控制模块被配置为：在所述AR场景中以预定的大小和/或位置呈现所述目标对象的轮廓。

10.根据权利要求9所述的装置，其中所述呈现控制模块被进一步配置为：响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止所述轮廓在所述AR场景中的呈现。

11.根据权利要求8和9中任一项所述的装置，其中所述对象交互模块被进一步配置为：响应于在作为整体呈现所述目标对象之后接收到针对所述目标对象的输入，根据所述输入将所述目标对象作为整体进行操控。

12.根据权利要求8和9中任一项所述的装置，还包括视觉匹配模块，被配置为如下确定所述一个或多个组成部分在视觉上与所述指示信息是否匹配：

根据所述用户设备的姿态，确定用于所述AR场景的AR相机的当前机位；

将所述当前机位同与所述目标对象相关联的预定目标机位进行比较；以及

响应于所述当前机位与所述目标机位之差低于预定阈值，确定所述一个或多个组成部分在视觉上与所述指示信息匹配。

13.根据权利要求8和9中任一项所述的装置，其中所述渲染更新模块被配置为：

根据所述用户设备的姿态，确定用于所述AR场景的AR相机的视场；以及

根据所述AR相机的所述视场在所述AR场景中渲染所述一个或多个组成部分。

14.根据权利要求8和9中任一项所述的装置，其中所述渲染更新模块被进一步配置为：响应于更新后的所述一个或多个组成部分在视觉上与所述指示信息匹配，停止随所述用户设备的姿态的改变更新所述一个或多个组成部分的渲染。

15.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至7中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至7中任一项所述的方法。

Images