CN111902794A - 增强现实对象的交互系统 - Google Patents

Abstract

在增强现实或混合现实或虚拟现实环境中提供与虚拟对象的交互以及虚拟对象之间的交互的系统和方法中，检测到的状况可能触发来自放置在物理环境视图中的虚拟对象的动画响应。所检测到的状况可以包括检测用户在设定阈值放置距离或接近度内、检测另一虚拟对象在设定阈值放置距离或接近度内、对物理环境视图中的特定环境状况的检测、以及其他这样的因素。可以响应于检测到特定虚拟对象和/或其他状况来触发虚拟对象的特定行为动画。

Description

增强现实对象的交互系统

技术领域

该描述通常涉及计算设备在增强现实(AR)环境和/或虚拟现实(VR)环境中的使用。

背景技术

增强现实系统、或混合现实系统或虚拟现实系统可以允许用户观看场景，例如，与他们的物理环境相对应的场景，并用虚拟对象或虚拟角色来增强其物理环境的场景。增强现实(AR)系统和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式增强和/或虚拟现实环境。用户可以通过与各种电子设备进行交互来体验这种增强现实或混合现实或虚拟现实环境。用户可以通过例如手势、电子设备的操纵和/或外部设备可操作地耦合到电子设备在增强现实、混合现实或虚拟现实环境中移动通过元素并且与其交互。这种类型的增强现实或混合现实或虚拟现实体验中的用户体验将通过与放置在物理环境的场景视图中的虚拟对象和/或角色的紧密、相关、场境交互来增强。这样的交互将增强用户增强现实或混合现实体验的现实性，并增强用户在增强现实或混合现实体验中的存在。

发明内容

在一个总体方面，一种计算机实现的方法可以包括，由电子设备显示混合现实场景，检测对要放置在混合现实场景中的第一虚拟对象的选择，响应于检测到的选择在混合现实场景中的放置位置处显示所选择的第一虚拟对象，检测多个动画触发器中的动画触发器，基于检测到的动画触发器，从多个动画中识别第一虚拟对象的动画，以及响应于检测到的动画触发器，执行所识别的第一虚拟对象的动画。

在另一个总体方面，一种系统可以包括计算设备，该计算设备被配置成生成混合现实环境。该计算设备可以包括存储器，其存储可执行指令；以及处理器，其被配置成执行指令。指令的执行可以使计算设备显示混合现实场景，检测对要放置在混合现实场景中的第一虚拟对象的选择，响应于检测到的选择在混合现实场景中的放置位置处显示所选择的第一虚拟对象，检测多个动画触发器中的动画触发器，基于检测到的动画触发器从多个动画中识别第一虚拟对象的动画，并响应于检测到的动画触发器执行所识别的第一虚拟对象的动画。

在附图和以下描述中阐述一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其他特征将显而易见。

附图说明

图1A-1C图示用于生成增强现实或混合现实环境的示例性系统。

图2A至图2H图示根据本文所述的实现方式的虚拟对象在增强现实或混合现实环境中的动画和交互。

图3A-3D图示根据本文描述的实现方式的虚拟对象在增强现实或混合现实环境中的动画和交互。

图4A至图4J图示根据本文描述的实现方式的虚拟对象在增强现实或混合现实环境中的动画和交互。

图5是用于生成增强现实或混合现实环境的示例性系统的框图。

图6是根据本文描述的实施方式的在增强现实或混合现实环境中提供虚拟对象的交互的方法的流程图。

图7示出可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。

具体实施方式

增强现实(AR)系统或混合现实系统可以允许用户在物理环境中放置三维(3D)虚拟对象或增强现实对象或混合现实对象，并且在头戴式显示设备的显示部分上例如在相机视图内观看3D虚拟对象/增强现实对象/混合现实对象等等。在一些实施方式中，3D虚拟/增强现实/混合现实对象可以以相对逼真的方式与用户交互，并且彼此交互，以使3D虚拟/增强现实/混合现实对象感觉好像它们在用户的物理环境中物理存在，而不是仅仅虚拟地存在。在一些实施方式中，3D虚拟/增强现实/混合现实对象与用户以及彼此之间的交互对周围环境和周围环境的变化可以是场境的、或者是场境适当的、或者是一致的、交互的，并且有反应的，使得进一步增强物理环境中3D虚拟/增强现实/混合现实对象放置的现实性。在下文中，仅出于简化说明的目的，将在此描述的实现方式称为混合现实系统，该系统允许用户将3D虚拟对象放置在物理环境中以创建混合现实环境或混合现实体验。

图1A-1C图示具有可以生成增强现实、或混合现实或虚拟环境的一个或多个电子设备的用户。如图1A中所示的示例所图示，在一些实施方式中，用户可以在手持设备10的显示部分12上观看和体验混合现实环境，该显示部分12显示由手持设备10的成像设备14捕获的物理环境的相机视图，以及用户在显示部分12上显示的物理环境的相机视图中放置的虚拟对象。如图1B中所示的示例中所图示，在一些实施方式中，用户可以经由头戴式设备16的显示部分来观看和体验混合现实环境。在这种布置中，物理环境通过头戴式设备16对于用户来说可见，并且虚拟对象可以由用户放置并且在头戴式设备16的显示部分上可见，该虚拟对象叠加在用户的物理环境视图上。如图1C中所示的示例中所图示，在一些实施方式中，用户可以经由头戴式设备18的显示部分来观看和体验混合现实环境，该头戴式设备18的显示部分遮挡用户对物理环境的直接可见性。在这种布置中，可以在头戴式设备18的显示部分上显示物理环境的通过图像，以及用户放置的虚拟对象叠加在物理环境的通过图像上。图1A-1C中所图示的手持式设备10以及头戴式设备16和18中的每一个都是包括能够在增强现实或混合现实环境中显示虚拟现实对象的显示设备的电子设备。在下文中，仅为了便于讨论和说明，根据在此描述的实现方式的在混合现实环境中提供对象交互的系统的示例将会基于与图1A中所图示的相似的电子设备的显示设备上显示的相机视图而呈现。然而，本文中将要描述的原理可以应用于能够生成和呈现混合现实环境的其他电子设备和/或系统，其中用户可以放置3D虚拟对象，用于与虚拟对象进行交互，和/或用于虚拟对象当中的交互。

图2A和2B是在物理环境1000中的用户的第三人称视角。在图2A和图2B中，用户在物理环境1000中的位置1000A处。用户在物理环境1000中的位置1000A可以在此示例中对应于由用户所持有的电子设备的成像设备或相机的位置。混合现实场景100(例如，对应于物理环境1000的相机视图)可以由电子设备的成像设备捕获。混合现实场景100可以被显示在例如电子设备的显示设备上，以供用户观看。在图2B中，仅为了便于讨论和图示，以与电子设备分离的放大状态图示物理环境1000的混合现实场景100。经由电子设备对用户可见的混合现实100可以表示物理环境1000的在电子设备的成像设备的视野内捕获的一部分。

用户可以将第一虚拟对象A放置在混合现实场景100中，如图2C中所示。在图2C中所示的示例中，第一虚拟对象A是第一虚拟角色A，其被定位在地面上的位置110处，该位置110对应于距在位置1000A处的用户的第一距离D1。在该示例中，距离D1可以表示在用户放置第一角色A时在位置1000A处的用户与第一角色A的放置位置110之间的距离。在一些情况下，用户可能会在物理环境1000中移动。随着用户接近角色A的放置位置110，减小用户与角色A的放置位置110之间的距离，系统可能会检测到用户正在靠近角色A。例如，系统可以检测到用户在角色A的放置位置110的阈值距离D2内。换句话说，系统可以检测到用户与角色A的放置位置110之间的距离小于或等于阈值距离D2。

系统可以将对用户在角色A的阈值距离内的检测视为动画触发器。响应于检测到用户在角色A的放置位置110的阈值距离D2内(即，响应于检测到的动画触发器)，系统可以使角色A以适当、自然或预期的方式对用户的接近做出反应。例如，在一些实施方式中，响应于检测到用户在角色A的放置位置110的阈值距离D2内(即，响应于检测到的动画触发器)，系统可以通过例如使角色A通过转向面对用户做出反应对角色A进行动画处理，如图2D中所示。

类似地，在一些实施方式中，用户可以将第一虚拟角色A放置在第一放置位置110处，如图2E中所示并且如上所述，并且然后将以例如第二虚拟角色B的形式的第二虚拟对象B放置在第二放置位置120处，例如靠近第一虚拟角色A，如图2F中所示。系统可以检测第二角色B在第一角色A的阈值放置距离D3内的放置。系统可以将对第一角色A和第二角色B在彼此的阈值放置距离D3内的检测作为动画触发器，并且可以对第一角色A和/或第二角色B进行动画处理，或使第一角色A和/或第二角色B以适当的方式做出反应。也就是说，检测到第一角色A和第二角色B彼此在阈值距离D3内的动画触发器可以使系统执行第一角色A或第二角色B中至少一个的动画。例如，响应于检测到第二角色B在第一角色A的阈值放置距离D3内，系统可以使第一角色A朝向第二角色B转向，如在图2G中所示，并且/或者可能导致第一角色A和第二角色B转动以面对彼此。在一些实施方式中，第一角色A和/或第二角色B的动画可以在第一角色A的阈值距离内继续超出对第二角色B的这种类型的识别。例如，第一角色A和第二角色B可以通过例如交谈、移动到新位置110A、120A等来继续以适当、自然或预期的方式进行交互，如在图2H中所示。在一些实施方式中，响应于检测到的动画触发器/检测到用户在第一角色A的位置110的设定阈值距离内和/或第二角色B的位置120的设定阈值距离内，系统可能会导致第一角色A和/或第二角色B以适当的方式对用户在阈值距离内的检测做出反应，如上所述。

图2A-2H中所示的混合现实场景100的每个顺序图示(在一些实施方式中，对应于由电子设备的成像设备捕获的相机视图100)是静止图像，表示在特定动画和/或第一和第二虚拟角色A和B的交互中的一点处的快照。然而，可以理解的是，由混合现实场景100中的第一虚拟角色A和第二虚拟角色B显示的动画或交互可以是3D虚拟对象的基本上连续的动态动画，或者3D虚拟对象的间歇性动态动画，以提供虚拟角色的运动的相对真实表示。

电子设备(以及电子设备的成像设备或相机)在物理环境中的位置可以由系统已知并跟踪。电子设备/相机在物理环境中的已知/跟踪的位置可以基本上对应于用户在物理环境中的位置。系统还可以已知虚拟对象的放置位置(在上面关于图2A-2H描述的示例中的虚拟角色A和B)。在该示例中，虚拟对象的放置位置可以是对应于物理环境中的物理位置的混合现实场景中的放置位置(在一些实现中，对应于物理环境的相机视图)。混合现实场景中的每个虚拟对象的放置位置与物理环境中的物理位置之间的这种对应关系可以允许系统检测电子设备(即，用户)相对于放置在包括物理环境的混合现实场景中的虚拟对象的距离和/或其定位和/或定向。每个虚拟对象的放置位置与物理环境中的物理位置之间的这种对应关系还可以允许系统检测放置在包括物理环境的混合现实场景中的不同虚拟对象之间的距离和/或所述不同虚拟对象的相对定位和/或相对定向。

在一些实施方式中，对物理环境的混合现实场景中的每个虚拟对象的位置的这种检测和/或跟踪，以及对电子设备/用户的位置的检测和/或跟踪可以是基于虚拟对象和电子设备/用户的相应的个别的三维坐标位置。例如，物理环境的混合现实场景中的每个虚拟对象可以具有关联的三维坐标位置，例如，关联的(x，y，z)坐标位置。混合现实场景中的每个虚拟对象的(x，y，z)坐标位置可以对应于物理环境中的物理三维(x，y，z)坐标位置。类似地，电子设备/用户可以在物理环境中具有关联的三维(x，y，z)坐标位置。当混合现实场景被更新以反映电子设备/用户的移动、虚拟对象的移动/动画等时，虚拟对象和电子设备/用户的相应的三维(x，y，z)坐标位置可以被间歇地更新，或者基本上连续地更新。当检测到的虚拟对象的三维(x，y，z)坐标位置和检测到的电子设备/用户的三维(x，y，z)坐标位置被更新时，相应的检测到的三维(x，y，z)坐标位置可以用于计算电子设备/用户与虚拟对象之间和/或虚拟对象之间的距离，并更新经计算的距离。该系统可以使用以这种方式计算出的距离来确定电子设备/用户何时已经移动到处于虚拟对象的设定阈值距离内的位置或者已经移动到虚拟对象的设定阈值距离之外的位置，第二虚拟对象何时在第一虚拟对象的设定阈值放置距离之内或已移出第二虚拟对象的设定阈值放置距离等。

在将诸如例如虚拟角色的虚拟对象放置在如上所述的包括物理环境的混合现实场景中(特别是在如上所述的物理环境的相机视图中)，与用户的交互和/或彼此的交互可以使虚拟对象感觉更加存在、并且更加现实。虚拟对象可以遵循基于事件的交互系统，包括基于例如先前定义的情境规则的集合确定的动画、触发器和效果的集合。在一些实施方式中，属性的集合可以与放置在混合现实场景中的每个虚拟对象相关联。检测到的动画触发器/触发状况可能会导致系统基于所遇到的触发状况的类型执行选定或所识别的动画。

在一些实施方式中，属性集合可以包括例如动画属性集合。动画属性集合可以包括例如特定对象可以支持或者可以响应于检测到的动画触发器、状况、输入等而执行的多个不同动画。在一些实施方式中，多个不同的动画可以与放置在物理环境中的每个虚拟对象相关联。系统可以基于检测到的动画触发器或触发状况从多个动画中选择或识别动画之一，以供虚拟对象在特定情况或环境下执行。

例如，放置动画可以在放置在包括物理环境的混合现实场景中时由虚拟对象执行，以表现出到达混合现实场景中的放置位置的感觉。在图3A中所图示的示例中，将虚拟对象C放置在包括物理环境1000的混合现实场景100(或相机视图100)中表示的真实桌子上。在将虚拟对象C放置在桌子上时，例如，虚拟对象C可以睁开眼睛，环顾四周以提供熟悉其周围环境的效果等等。

当虚拟对象在混合现实场景中显示时，虚拟对象可以执行空闲动画，但是没有任何会触发特定反应或行为的输入、状况等(例如，检测到的用户接近)。在图3B中所图示的示例中，在没有检测到例如电子设备/相机/用户和/或另一虚拟对象的存在和/或将触发来自虚拟对象C的特定响应的其他状况的情况下，虚拟对象C沿着桌子表面来回移动，与该特定虚拟对象C的空闲行为特性(即，可能期待放置在桌面上的螃蟹发生的空闲行为)一致。在不存在触发特定交互的特定状况的情况下执行虚拟对象C的此空闲动画可以提供更真实的效果，从而导致虚拟对象C在物理环境1000中出现为更多。

虚拟对象可以当例如系统检测到用户和/或另一个虚拟对象的接近时(即，检测到电子设备/相机/用户和/或其他虚拟对象在虚拟对象的放置位置的设定阈值距离内，如图2D、图2G以及图2H中所示的示例中所图示)执行受影响的动画或交互式动画。在一些实施方式中，特定的或定制的、受影响的/交互动画可以由虚拟对象在特定情况下/响应于特定动画触发器而执行。特定情况可以包括例如第一虚拟对象和第二虚拟对象以一些相关联的方式并且在第一和第二虚拟对象的存在下期望某些反应的情况。在图3C中所图示的示例中，虚拟对象C响应于检测到电子设备/相机/用户在设定阈值距离D2之内而进行动画处理。在此示例中，虚拟对象C转动以面对电子设备/相机/用户，并猛咬其爪(在这种情况下，可能是螃蟹所期望的)。类似地，在图3D中所图示的示例中，虚拟对象C和虚拟对象D都响应于检测到彼此在设定阈值放置距离D3内而进行动画处理。在此示例中，虚拟对象C和虚拟对象D的动画涉及互相打架或抓住(在这种情况下可能会发生这种情况)。

在一些实施方式中，属性集合可以包括行为属性，诸如例如响应于检测到的状况或输入触发由虚拟角色执行的特定动作或动画的逻辑。行为属性集合可以是场境的，因为考虑到所涉及的虚拟对象的类型、虚拟对象和用户之间的关系、混合现实场景或其中虚拟对象被放置的相机视图等等触发的动作和/或动画是适当的和/或预期的和/或令人信服的，例如，如图3C和图3D中所图示。这些场境行为属性或特性可以进一步增强混合现实场景中的虚拟对象的栩栩如生的性质。

例如，在一些实施方式中，在虚拟对象的放置位置的设定阈值距离或设定阈值接近度内检测电子设备或相机位置(基本上对应于用户的位置)可能会触发脚本化行为或脚本化动画的集合，从而导致虚拟对象以上述场境适当方式与用户交互。这可以包括，例如，在检测到的电子设备/相机/用户的方向上看(如以上关于图2D和3C所描述的)、挥动、跳跃和其他形式的确认以及与用户的交互。类似地，检测到的电子设备/相机位置/用户位置从设定阈值距离内到设定阈值距离外的运动可以触发虚拟对象的脚本化行为或动画的不同集合。

同样地，在一些实施方式中，检测到第二虚拟对象在第一虚拟对象的放置位置的设定阈值放置距离或设定阈值放置接近度内可以触发脚本化行为或脚本化动画的集合，从而导致第一虚拟对象和第二虚拟对象看起来以场境适当的方式相互交互。这可以包括例如，转向看着彼此(如以上关于图2G所描述的)、朝着彼此移动/彼此做手势(如以上关于图2G所描述的)、当第一对象移动时第二虚拟对象跟随第一对象的注视、第二虚拟对象对第一虚拟对象的动作(如上关于图3D所述)进行适当/场境反应、大笑、打架、跳舞和将会是第一和第二虚拟对象之间令人信服和/或预期的交互的其他形式的确认和交互。类似地，检测到第二虚拟对象从设定阈值距离内到移动设定阈值距离之外可以触发第一虚拟对象的脚本化行为或动画的不同集合。

如上所述，图3A-图3D中所示的混合现实场景100或在一些实施方式中的相机视图100的每个顺序图示是静止或静态的二维图像，表示特定动画和/或第一和第二虚拟角色C和D的交互中的某个点的快照。但是，可以理解，该动画、或者由第一和第二虚拟角色C和D在混合现实场景100中显示的交互可以是3D虚拟对象的基本上连续的动态动画，或者可以是3D虚拟对象的间歇性动态动画，从而提供虚拟角色运动的相对真实的表示。

脚本化行为或动画的集合可以更简单地由物理环境的混合现实场景或相机视图中的虚拟对象随机执行，而无需考虑相机/用户位置和/或定向，和/或虚拟对象位置和/或定向。但是，这种方法不会导致现实或令人信服的效果。当虚拟对象与用户交互和/或彼此交互时，类似于真实的人、真实的动物和其他此类对象在类似的环境中如何交互以及当遇到类似情况时，将与电子设备/相机/用户和虚拟对象的相对位置/方向有关的这些输入与这些属性集组合到系统中可能会使虚拟对象在包括物理对象的混合现实场景中更令人信服地出现。以这种方式触发的反应、响应、行为、交互等可以提供现实的令人信服的混合真实环境，从而增强用户体验。

在物理环境的相机视图310中的虚拟对象的放置以及从虚拟角色的图库330中选择的虚拟角色的交互的另一示例在图4A-4J中被图示。在该特定示例中，电子设备300可以包括显示器320，以及成像设备340或相机340。可以基于相机340捕获到的图像在显示器320上显示包括物理环境的混合现实场景310或相机视图310。图库330可以包括多个虚拟对象或虚拟角色以供用户选择以将其选择和放置在混合现实场景310或包括显示器320上显示的物理环境的相机视图310中。

第一虚拟角色330A可以由用户选择，如图4B中所示，并且被放置在混合现实场景310或相机视图310中的第一放置位置310A处，如图4C和图4D中所示。然后，用户可以选择第二虚拟角色330B，如图4E中所示，以用于放置在混合现实场景310或相机视图310中的第二放置位置310B，如图4F中所示。系统可以检测第二虚拟角色310B在第一虚拟角色310A的阈值放置距离内的放置并将其解释为动画触发器。就是说，如图4F中所示，第一虚拟角色330A可以例如通过转向第二虚拟角色330B、微笑等来对第二虚拟角色330B的放置做出反应。因此，检测到的动画触发器可以引起针对第一虚拟角色310A或第二虚拟角色310B中的至少一个的动画的标识。可以以与上述类似的方式将其他虚拟角色添加到混合现实场景310或相机视图310。同样，可以以类似方式从混合现实场景310或相机视图310中移除虚拟角色。

第一虚拟角色330A和/或第二虚拟角色330B中的一个或两个可以响应于检测到的第一虚拟角色330A和第二虚拟角色330B之间的放置距离小于阈值放置距离D3(即，响应于检测到此动画触发器)而进行动画处理。系统可以基于例如脚本化行为、触发状况等，从多个动画中选择或识别将由第一和/或第二虚拟角色310A和310B执行的动画的类型。在一些实施方式中，第一虚拟角色330A和第二虚拟角色330B之间的距离可以小于或等于在物理环境的相机视图310中的初始放置时的设定阈值放置距离。在一些实施方式中，用户可以移动第一虚拟角色330A和/或第二虚拟角色330B中的一个或两个，以将第一虚拟角色和第二虚拟角色移动到设定阈值距离D3内，以使第一虚拟角色330A或第二虚拟角色330B之一进行动画处理。

在图4G-4J中所示的示例中，响应于检测到第一和第二虚拟角色330A和330B在小于或等于设定阈值放置距离D3的距离处(例如，第一动画触发器)，第二虚拟角色330B进行动画处理。在该示例中，第二虚拟角色330B的动画包括跳舞。响应于第二虚拟角色330B的动画(跳舞)(例如，第二动画触发器)，第一虚拟角色330A在该示例中以拍手的形式与场境动画进行反应。在一些实施方式中，可以调整相机视图310中的虚拟角色的定向和/或大小或缩放比例。在一些实施方式中，可以将定向和/或大小/缩放比例的调整并入虚拟角色的动画中。在一些实施方式中，可以通过用户输入来实现定向和/或大小/缩放比例的调整。图4H图示其中调整第二虚拟角色330B的定向的示例。图4H和图4I图示调整第二虚拟角色330B的大小或缩放比例的示例。

如上所述，图4A-4J中所示的混合现实场景310或相机视图310的每个顺序图示都是静止图像，表示在第一和第二虚拟角色330A和330B的特定动画和/或交互中的某个点处的快照。然而，可以理解，由第一和第二虚拟角色330A和330B在混合现实场景310或相机视图310中显示的动画或交互可以是3D虚拟对象的基本连续的动态动画，或3D虚拟对象的间歇动态动画，以提供虚拟角色移动的相对现实的表示。

图5是根据本文描述的实施方式的电子设备500的框图，该电子设备500可以生成增强现实或混合现实环境，并提供虚拟角色的交互。如图5中所示，电子设备可以包括用户接口系统520，该用户接口系统520包括输出设备和输入设备。输出设备可以包括例如用于视觉输出的显示器、用于音频输出的扬声器等。输入设备可以包括例如可以接收触觉用户输入的触摸输入设备、可以接收可听用户输入的麦克风等。电子设备500还可以包括感测系统540。感测系统540可包括例如光传感器、音频传感器、图像传感器/成像设备或相机、距离/接近度传感器、位置传感器、和/或其他传感器和/或传感器的不同组合。感测系统540中包括的一些传感器可以提供对电子设备500的位置检测和跟踪。感测系统540的一些传感器可以提供对物理环境的图像的捕获以显示在用户界面系统520的组件上。电子设备500还可以包括控制系统580。控制系统580可以包括例如电源控制设备、音频和视频控制设备、光学控制设备和/或其他此类设备，以及/或者设备的不同组合。用户界面系统520和/或感测系统540和/或控制系统580可以包括更多或更少的设备，这取决于特定的实施方式，并且可以具有所示的不同的物理布置。电子设备500还可以包括与用户界面系统520、感测系统540和控制系统580通信的处理器590、存储器585和通信模块595。通信模块595可以提供电子设备500和其他外部设备之间的通信。

在图6中示出根据本文描述的实施方式的用于在增强或混合现实环境中提供虚拟对象的交互的方法600。用户可以使用例如电子设备来发起增强现实、混合现实或虚拟现实体验以显示包括物理环境的视图的混合现实场景(框610)。包括物理环境的视图的混合现实场景可以是例如由电子设备的成像设备捕获并显示在电子设备的显示设备上的物理环境的相机视图。可以将一个或多个虚拟对象放置在包括物理环境的混合现实场景中(框620)。可以基于用户所做的选择将一个或多个虚拟对象放置在包括物理环境的混合现实场景或相机视图中，并显示在电子设备的显示设备上，叠加在混合现实场景上、或相机视图上。

响应于检测到用于交互的触发器(框630)，可以基于检测到的触发的类型来对混合现实场景或相机视图中显示的虚拟对象进行动画处理以进行交互(框640)。在一些实施方式中，检测到电子设备在虚拟对象的放置位置的设定阈值距离或接近度内可以触发动画以与用户交互。在一些实施方式中，检测到新虚拟对象在现有虚拟对象的放置位置的设定阈值距离或接近度内可以触发动画，用于在新虚拟对象与现有虚拟对象之间的交互。在一些实施方式中，与新虚拟对象相关联的特性可以针对新虚拟对象与现有虚拟对象之间的特定类型的交互触发特定动画。在一些实施方式中，放置虚拟对象的环境中的状况可以触发虚拟对象的动画。在一些实施方式中，可以根据规则集合来实现虚拟对象的动画。该过程可以继续直到确定不再检测到触发以用于交互(框650)并且/或者增强现实/混合现实体验已经终止(框660)。

图7示出可以与本文描述的技术一起使用的计算机设备700和移动计算机设备750的示例。计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和高速扩展端口710的高速接口708，以及连接到低速总线714和存储设备706的低速接口712。部件702、704、706、708、710和712中的每一个都使用各种总线互连，并且可以被安装在通用主板上或视情况以其他方式安装。处理器702可以处理用于在计算设备700内执行的指令，包括存储在存储器704或存储设备706中的指令以在外部输入/输出设备(诸如耦合到高速接口708的显示器716)上显示用于GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，可以连接多个计算设备700，每个设备提供部分必要的操作(例如，作为服务器库、一组刀片式服务器或多处理器系统)。

存储器704在计算设备700内存储信息。在一种实施方式中，存储器704是一个或多个易失性存储单元。在另一种实施方式中，存储器704是一个或多个非易失性存储单元。存储器704也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备706能够为计算设备700提供大容量存储。在一种实施方式中，存储设备706可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或一系列设备，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是计算机或机器可读介质，诸如存储器704、存储设备706或处理器702上的存储器。

高速控制器708管理计算设备700的带宽密集型操作，而低速控制器712管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器708被耦合到存储器704、显示器716(例如，通过图形处理器或加速器)，并且被耦合到可以接受各种扩展卡(未示出)的高速扩展端口710。在实施方式中，低速控制器712被耦合到存储设备706和低速扩展端口714。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以通过网络适配器被耦合到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或诸如交换机或路由器的网络设备。

如图所示，可以以多种不同的形式实现计算设备700。例如，它可以被实现为标准服务器720，或者被多次实现为一组这种服务器中。它也可以被实现为机架服务器系统724的一部分。此外，它还可以在诸如膝上型计算机722的个人计算机中实现。替代地，来自计算设备700的部件可以与移动设备(未示出)中的其他部件进行组合，诸如设备750。每个这种设备可以包含一个或多个计算设备700、750，并且整个系统可以由彼此通信的多个计算设备700、750组成。

除其他部件之外，计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768。还可以向设备750提供存储设备，诸如微驱动器或其他设备，以提供附加的存储。部件750、752、764、754、766和768中的每个部件均使用各种总线互连，并且多个部件可以被安装在通用主板上或视情况以其他方式安装。

处理器752可以执行计算设备750内的指令，包括存储在存储器764中的指令。处理器可以被实现为包括单独的以及多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供设备750的其他部件的协调，诸如用户界面的控制、设备750运行的应用程序以及设备750的无线通信。

处理器752可以通过控制接口758和耦合到显示器754的显示器接口756与用户进行通信。例如，显示器754可以是TFT LCD(薄膜晶体管液晶显示器)或者OLED(有机发光二极管)显示器，或其他适当的显示技术。显示器接口756可以包括用于驱动显示器754向用户呈现图形和其他信息的适当电路。控制接口758可以从用户接收命令并且将其转换以提交给处理器752。此外，可以提供与处理器752通信的外部接口762，以实现设备750与其他设备的近区通信。例如，外部接口762可以在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。

存储器764将信息存储在计算设备750内。存储器764可以被实现为一个或多个计算机可读介质、一个或多个易失性存储单元或者一个或多个非易失性存储单元。还可以提供扩展存储器774并且通过扩展接口772将其连接到设备750，例如，扩展接口772可以包括SIMM(单列直插存储器模块)卡接口。这种扩展存储器774可以为设备750提供额外的存储空间，或者也可以为设备750存储应用程序或其他信息。具体地，扩展存储器774可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以被提供为用于设备750的安全模块，并且可以用允许安全使用设备750的指令进行编程。此外，可以经由SIMM卡以及附加信息，诸如以不可入侵的方式将识别信息放置在SIMM卡上来提供安全应用。

例如，存储器可以包括闪存和/或NVRAM存储器，如下所述。在一种实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是诸如存储器764、扩展存储器774或处理器752上的存储器的计算机或机器可读介质，例如，其可以通过收发器768或外部接口762被接收。

设备750可以通过在必要时可以包括数字信号处理电路的通信接口766进行无线通信。通信接口766可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA200或GPRS等等。例如，这种通信可以通过射频收发器768进行。此外，可以进行短程通信，诸如使用蓝牙、Wi-Fi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块770可以向设备750提供附加的导航和与位所有关的无线数据，其可以被设备750上运行的应用程序适当地使用。

设备750还可以使用可以从用户接收语音信息并将其转换为可用的数字信息的音频编解码器760在听觉上进行通信。音频编解码器760同样可以为用户生成可听声音，诸如通过扬声器，例如在设备750的听筒中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备750上运行的应用程序生成的声音。

如图所示，计算设备750可以以多种不同的形式实现。例如，它可以实现为蜂窝电话780。它也可以被实现为智能电话782、个人数字助理或其他类似的移动设备的一部分。

可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在一个或多个计算机程序中的实施方式，该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，其耦合到存储系统、至少一个输入设备和至少一个输出设备以接收数据和指令，并且耦合到存储系统，至少一个输入设备和至少一个输出设备以发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言，和/或以汇编/机器语言实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的互动，本文描述的系统和技术可以在具有显示器设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以向用户显示信息以及具有用户可以通过其向计算机提供输入的键盘和指向设备(例如鼠标或轨迹球)的计算机上实现。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

本文描述的系统和技术可以在包括后端部件(例如，作为数据服务器)，或包括中间件部件(例如，应用程序服务器)或包括前端部件(例如，具有图形用户界面或用户可以通过其与本文描述的系统和技术的实施方式进行交互的Web浏览器的客户端计算机)，或这种后端、中间件或前端部件的任意组合的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生的。

在一些实施方式中，图7中描绘的计算设备可以包括与虚拟现实(VR头戴式耳机/HMD设备790)对接的传感器。例如，包括在图7中描绘的计算设备750或其他计算设备上的一个或多个传感器，可以向VR头戴式耳机790提供输入，或者通常，可以向VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备750可以使用传感器确定VR空间中计算设备的绝对位置和/或检测到的旋转，然后可以将其用作VR空间的输入。例如，计算设备750可以作为诸如控制器、激光指示器、键盘、武器等的虚拟对象被并入VR空间。当用户将计算设备/虚拟对象并入VR空间时其位置可以允许用户定位计算设备以便以某种方式在VR空间中观看虚拟对象。例如，如果虚拟对象表示激光指示器，用户可以像实际的激光指示器一样操纵计算设备。用户可以左右、上下、圆圈等方式移动计算设备并且以与使用激光指示器类似的方式使用设备。

在一些实施方式中，包括在或连接到计算设备750上的一个或多个输入设备可以被用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板，指向设备、鼠标、轨迹球，操纵杆、相机、麦克风、耳机或具有输入功能的耳塞，游戏控制器或其他可连接的输入设备。当计算设备被合并到VR空间中时，与计算设备750上包括的输入设备进行交互的用户会使特定动作在VR空间中发生。

在一些实施方式中，计算设备750的触摸屏可以被渲染为VR空间中的触摸板。用户可以与计算设备750的触摸屏进行交互。例如，在VR头戴式耳机790中，将交互渲染为在VR空间中所渲染的触摸板上的移动。所渲染的移动可以控制VR空间中的虚拟对象。

在一些实施方式中，计算设备750上包括的一个或多个输出设备可以向VR空间中的VR头戴式耳机790的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或声音的。输出和/或反馈可以包括但不限于振动、一个或多个灯或频闪灯的打开、关闭或闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、频闪灯和扬声器。

在一些实施方式中，计算设备750可以表现为在计算机生成的3D环境中的另一个对象。用户与计算设备750的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。这些动作可能会更改针对单个用户或多个用户的内容显示(例如，老师或导游的动作可能会更改所有参加虚拟旅行或实地考察的用户的内容显示)。在VR空间中的激光指示器的示例中，计算设备750表现为在计算机生成的3D环境中的虚拟激光指示器。当用户操纵计算设备750时，VR空间中的用户看到激光指示器的移动。用户在计算设备750或VR头戴式耳机790上的VR环境中从与计算设备750的交互中接收反馈。

在一些实施方式中，计算设备750可以包括触摸屏。例如，用户可以以可以模仿触摸屏上发生的事情和VR空间中发生的事情的特定方式与触摸屏进行交互。例如，用户可以使用捏合型运动来缩放在触摸屏上显示的内容。触摸屏上的这种捏合型运动可以导致VR空间中提供的信息被缩放。在另一示例中，计算设备可以在计算机生成的3D环境中被渲染为虚拟书。在VR空间中，可以在VR空间中显示书的页面，并且用户的手指跨触摸屏上的轻扫可以解释为转动/翻转虚拟书的页面。当转动/翻转每个页面时，除了看到页面内容变化之外，还可以向用户提供音频反馈，诸如书中翻页的声音。

在一些实施方式中，除了计算设备之外，还可以在计算机生成的3D环境中渲染一个或多个输入设备(例如，鼠标，键盘)。渲染的输入设备(例如，渲染的鼠标、渲染的键盘)可以在VR空间中渲染时使用，以控制VR空间中的对象。

计算设备700旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备750旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示的部件，它们的连接和关系以及它们的功能仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实施方式。

已经描述了多个实施例。然而，将理解的是在不脱离本说明书的精神和范围的情况下可以进行各种修改。

此外，附图中描绘的逻辑流程不需要所示的特定顺序、或连续顺序来实现期望的结果。此外，可以从所述的流程中提供其他步骤或者去除步骤，并且可以向所描述的系统中添加其他部件或从中移除其他部件。因此，其他实施例在所附权利要求的范围内。

尽管已经如本文中所述的那样描述了所述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解的是所附权利要求书旨在覆盖落入实施方式范围内的所有这种修改和改变。应当理解的是它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文所述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。

Claims (19)

1.一种计算机实现的方法，包括：

由电子设备显示混合现实场景；

检测用于放置在所述混合现实场景中的第一虚拟对象的选择；

响应于所检测到的选择，将所选择的第一虚拟对象显示在所述混合现实场景中的放置位置处；

检测多个动画触发器中的动画触发器；

基于所检测到的动画触发器，从多个动画中识别用于所述第一虚拟对象的动画；以及

响应于所检测到的动画触发器，执行所识别的所述第一虚拟对象的动画。

2.根据权利要求1所述的计算机实现的方法，其中，检测所述动画触发器、识别所述动画和执行所识别的动画包括：

检测所述电子设备与所述第一虚拟对象的放置位置之间的距离；

确定所检测到的距离小于或等于阈值距离；

响应于确定所检测到的距离小于或等于所述阈值距离，识别交互式动画；以及

执行所述交互式动画，使所述第一虚拟对象响应于确定所检测到的距离小于或等于所述阈值距离而执行与所述电子设备的用户的场境交互。

3.根据权利要求2所述的计算机实现的方法，其中，检测所述动画触发器包括：

检测与所述第一虚拟对象在所述混合现实场景中的放置位置相对应的所述物理环境中的位置；

跟踪所述电子设备在所述物理环境中的位置；以及

响应于检测到所述电子设备在所述物理环境中的位置与所述第一虚拟对象在所述物理环境中的位置之间的距离小于或等于所述阈值距离，检测所述动画触发器。

4.根据权利要求2所述的计算机实现的方法，其中，检测所述电子设备与所述第一虚拟对象的放置位置之间的距离包括：

检测所述电子设备在所述物理环境中的三维坐标位置；

检测与所述第一虚拟对象在所述混合现实场景中的所述放置位置相对应的所述第一虚拟对象在所述物理环境中的三维坐标位置；以及

基于所检测到的所述第一虚拟对象的坐标位置和所检测到的所述电子设备在所述物理环境中的坐标位置，检测所述电子设备与所述第一虚拟对象之间的距离。

5.根据权利要求2所述的计算机实现的方法，其中，从所述多个动画中识别动画和执行所识别的动画包括：

响应于所检测到的动画触发器而识别受影响的动画；和

执行所述第一虚拟对象的受影响的动画，所述受影响的动画包括与所述第一虚拟对象和用户之间的交互以及和所述混合现实场景相关联的环境相关联的多个场境行为属性。

6.根据权利要求1所述的计算机实现的方法，其中，检测所述动画触发器、识别所述动画和执行所选择的动画包括：

检测第二虚拟对象在距所述第一虚拟对象的所述放置位置的小于或等于阈值放置距离的距离处的放置；

识别受影响的动画；以及

执行所述受影响的动画，使所述第一虚拟对象或所述第二虚拟对象中的至少一个响应于检测到所述第一虚拟对象和所述第二虚拟对象在彼此的所述阈值放置距离内而执行与所第一虚拟对象或所第二虚拟对象中的另一个的场境交互。

7.根据权利要求6所述的计算机实现的方法，其中，执行所述受影响的动画包括：

执行所述第一虚拟对象或所述第二虚拟对象中的至少一个的受影响的动画，所述受影响的动画包括多个场境行为属性，所述多个场境行为属性与所述第一虚拟对象和所述第二虚拟对象之间的关系相关联并且与和所述混合现实场景相关联的环境相关联。

8.根据权利要求6所述的计算机实现的方法，其中，检测所述动画触发器包括：

检测与所述第一虚拟对象在所述混合现实场景中的放置位置相对应的所述物理环境中的第一位置；

检测与所述第二虚拟对象在所述混合现实场景中的放置位置相对应的所述物理环境中的第二位置；以及

响应于检测到所述第一虚拟对象在所述物理环境中的第一位置与所述第二虚拟对象在所述物理环境中的第二位置之间的距离小于或等于所述阈值放置距离，检测所述动画触发器。

9.根据权利要求8所述的计算机实现的方法，其中，检测所述第一虚拟对象的第一位置与所述第二虚拟对象的位置之间的距离包括：

检测与所述第一虚拟对象在所述混合现实场景中的放置位置相对应的所述第一虚拟对象在所述物理环境中的三维坐标位置；

检测与所述第二虚拟对象在所述混合现实场景中的放置位置相对应的所述第二虚拟对象在所述物理环境中的三维坐标位置；以及

基于所检测到的所述第一虚拟对象的三维坐标位置和所检测到的所述第二虚拟对象的三维坐标位置，检测所述第一虚拟对象与所述第二虚拟对象之间的距离。

10.根据权利要求1所述的计算机实现的方法，其中，检测所述动画触发器、从所述多个动画中识别动画和执行所识别的动画包括：

检测所述第一虚拟对象在所述混合现实场景中的初始放置；

响应于检测到所述第一虚拟对象的初始放置，识别空闲动画；以及

执行所述第一虚拟对象的空闲动画，所述第一虚拟对象的空闲动画对应于与所述第一虚拟对象相关的空闲行为特性。

11.根据权利要求1所述的计算机实现的方法，其中，显示混合现实场景包括：

由所述电子设备的成像设备捕获物理环境的图像；

在所述电子设备的显示设备上显示由所述成像设备捕获的所述物理环境的图像；以及

在所述显示设备上在与所述物理环境中的物理位置相对应的所述混合现实场景中的放置位置处显示叠加在所述物理环境的图像上的所选择的第一虚拟对象。

12.一种系统，包括：

计算设备，所述计算设备被配置成生成混合现实环境，所述计算设备包括：

存储器，所述存储器存储可执行指令；和

处理器，所述处理器配置成执行所述指令以使所述计算设备：

显示混合现实场景；

检测用于放置在所述混合现实场景中的第一虚拟对象的选择；

响应于所检测到的选择，在所述混合现实场景中的放置位置处显示所选择的第一虚拟对象；

检测多个动画触发器中的动画触发器；

基于所检测到的动画触发器，从多个动画中识别用于所述第一虚拟对象的动画；以及

响应于所检测到的动画触发器，执行所识别的所述第一虚拟对象的动画。

13.根据权利要求12所述的系统，其中，所述处理器进一步被配置成执行所述指令以使所述计算设备：

检测所述计算设备与所述第一虚拟对象的放置位置之间的距离；

确定所检测到的距离小于或等于阈值距离；

响应于确定所检测到的距离小于或等于阈值距离，识别交互式动画；以及

执行所述交互式动画，使所述第一虚拟对象响应于确定所检测到的距离小于或等于阈值距离而执行与所述电子设备的用户的场境交互。

14.根据权利要求13所述的系统，其中，在检测所述动画触发器时，所述处理器进一步被配置成执行所述指令以使所述计算设备：

检测与所述第一虚拟对象在所述混合现实场景中的放置位置相对应的所述物理环境中的三维坐标位置；

跟踪所述计算设备在所述物理环境中的三维坐标位置；

基于所检测到的所述第一虚拟对象的坐标位置和所检测到的所述电子设备在所述物理环境中的坐标位置，检测所述计算设备与所述第一虚拟对象之间的距离；以及

基于所检测到的所述第一虚拟对象的三维坐标位置和所检测到的所述计算设备在所述物理环境中的三维坐标位置，响应于检测到所述电子设备在所述物理环境中的位置与所述第一虚拟对象在所述物理环境中的位置之间的距离小于或等于所述阈值距离，检测所述动画触发器。

15.根据权利要求12所述的系统，其中，在从所述多个动画中识别动画和执行所选择的动画时，所述处理器进一步被配置成执行所述指令以使所述计算设备：

响应于所检测到的动画触发器而识别受影响的动画；以及

执行所述第一虚拟对象的受影响的动画，所述受影响的动画包括与所述第一虚拟对象和用户之间的交互以及和所述混合现实场景相关联的环境相关联的多个场境行为属性。

16.根据权利要求12所述的系统，其中，所述处理器进一步被配置成执行所述指令以使所述计算设备：

检测第二虚拟对象在距所述第一虚拟对象的放置位置的小于或等于阈值放置距离的距离处的放置；

响应于所检测到的所述第二虚拟对象的放置，从所述多个动画中识别受影响的动画；以及

执行所述受影响的动画，使所述第一虚拟对象或所述第二虚拟对象中的至少一个响应于检测到所述第一虚拟对象和所述第二虚拟对象在彼此的所述阈值放置距离内而执行与所述第一虚拟对象或所述第二虚拟对象中的另一个的场境交互。

17.根据权利要求16所述的系统，其中，所述受影响的动画包括多个场境行为属性，所述多个场境行为属性与所述第一虚拟对象和所述第二虚拟对象之间的关系相关联，以及与和所述混合现实场景相关联的环境相关联。

18.根据权利要求16所述的系统，其中，所述处理器进一步被配置成执行所述指令以使所述计算设备：

检测与所述第一虚拟对象在所述混合现实场景中的放置位置相对应的所述第一虚拟对象在所述物理环境中的三维坐标位置；

检测与所述第二虚拟对象在所述混合现实场景中的放置位置相对应的所述第二虚拟对象在所述物理环境中的三维坐标位置；

基于所检测到的所述第一虚拟对象的三维坐标位置和所检测到的所述第二虚拟对象的三维坐标位置，检测所述第一虚拟对象与所述第二虚拟对象之间的距离；以及

响应于检测到所述物理环境中的所述第一虚拟对象与所述第二虚拟对象之间的距离小于或等于所述阈值放置距离，检测所述动画触发器。

19.根据权利要求12所述的系统，其中，所述处理器进一步被配置成执行所述指令以使所述计算设备：

激活所述计算设备的成像设备，并且捕获物理环境的图像；

在所述计算设备的显示设备上显示由所述成像设备捕获的所述物理环境的图像；以及

在所述显示设备上在与所述物理环境中的物理位置相对应的所述混合现实场景中的放置位置处显示叠加在所述物理环境的图像上的所识别的第一虚拟对象。

Images