CN108369449A - 第三方全息门户 - Google Patents

Abstract

公开了一种用于经由头戴式显示设备在用户真实世界三维环境中显示第三方全息门户的方法。所述方法可以包括：接收指定了条件的许可，其中在所述条件下，第三方被授权在用户真实世界三维环境中显示全息门户。可以从第三方接收用于在所述用户真实世界三维环境中显示所述第三方全息门户的请求。如果所述条件被满足并且响应于所述请求，则所述头戴式显示设备可以在所述用户真实世界三维环境中显示全息门户，其中，全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。

Description

第三方全息门户

背景技术

随着个人移动性和生活的补发继续增长，人们越来越多地使用与其他人连接的技术。一个人可以电子地与一个或多个其他人共享他或她的生活。接收方可以赞赏从所选择的人那接收这样的通信。

发明内容

在本文中公开了用于显示第三方全息门户(portal)的头戴式显示设备和方法。在一个示例中，头戴式显示设备包括至少部分透明的显示器、处理器、和存储器。存储器保存能够由处理器执行的指令，该指令用于从用户接收指定了条件的许可，在所述条件下，第三方被授权使得头戴式显示设备在用户真实世界的三维环境中显示第三方全息门户。

从第三方接收用于在用户真实世界三维环境中显示第三方全息门户的请求。如果条件被满足并且响应于该请求，经由头戴式显示器来在用户真实世界三维环境中显示第三方全息门户，其中，第三方全息门户包括与第三方相关联的第三方实际世界三维环境中的活动的视觉表示。

提供了该发明内容以用简化的形式引入在以下的具体实施方式中进一步描述的概念的选择。该发明内容不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在该公开的任何部分中所述的确定中的任何或全部的实现。

附图说明

图1示出了根据本描述的示例的用于显示第三方全息门户的头戴式显示设备。

图2为根据本描述的示例的图1的头戴式显示设备的示意图。

图3示出了根据本描述的示例的在用户真实世界三维环境中穿戴图1的头戴式显示设备的用户。

图4示出了根据本描述的示例的与第三方相关联的第三方真实世界三维环境。

图5示出了根据本描述的另一示例的图3的用户，其查看图4的第三方真实世界三维环境中的活动的视觉表示。

图6示出了根据本描述的示例的图3的用户，其查看图4的第三方真实世界三维环境中的活动的视觉表示。

图7A和7B是根据本描述的示例的方法的流程图，该方法用于在用户真实世界三维环境中显示第三方全息门户。

图8示出了根据本描述的实施例的计算系统。

具体实施方式

本描述涉及在用户真实世界三维环境中经由头戴式显示设备来显示第三方全息门户。第三方全息门户可以包括与第三方相关联的第三方真实世界三维环境中的活动的视觉表示。如在下文中更加详细地描述的，在一些示例中，可以向头戴式显示设备发送图像数据以使得设备在用户的真实世界三维环境中显示第三方全息门户。

在一些示例中，显示设备可以包括HMD设备，例如增强现实显示设备，其包括被配置为通过显示器可视地增强真实世界三维环境的视野的至少部分透明的显示器。图1示出了根据本公开的示例的能够由用户穿戴的HMD设备100。在其他示例中，HMD设备可以采用任何其他合适的形式，其中至少部分透明的显示器被支撑在观看者的一只眼睛或两只眼睛之前。

在图1的示例中，HMD设备100包括环绕用户头部的、用于将至少部分透明的右显示面板104R和至少部分透明的左显示面板104L定位在用户眼睛附近的框架102。该框架支持额外的立体的、透明显示部件，如在下文中更加详细地描述的。HMD设备100可以在增强现实应用中使用，其中虚拟显示影像与真实世界影像是混合的。

在该示例中，HMD设备100包括分别的右和左显示面板，104R和104L，从用户的视角来看，其可以是整个或部分透明的，以给予用户他或她的周围环境的清晰视野。处理器108可操作地耦合至显示面板104R和104L以及其他的显示系统部件。处理器108包括被配置为向显示面板104R和104L提供图像信号、接收感知信号、以及执行在本文中所描述的各种控制过程的逻辑和相关联的计算机存储器。

显示面板104R和104L促进向HMD设备100的穿戴者的眼睛传递全息图像。以该方式，显示面板104R和104L可以被配置为通过所述面板向观看物理环境的穿戴者在视觉上增强真实世界三维物理环境的外表。

任何合适的显示技术和配置可以用于经由至少部分透明的显示面板104R和104L来显示图像。例如，所述面板可以被配置为使得HMD设备100的穿戴者能够通过正在显示虚拟对象表示的一个或多个部分透明的像素来观看物理环境中的真实世界对象。例如，所述面板可以包括诸如透明的有机发光二级管(OLED)显示器之类的图像生成元件。

作为另一示例，HMD设备100可以包括所述面板边缘上的光调节器。在该示例中，所述面板可以充当用于从光调节器向穿戴者的眼睛传递光的光导。这样的光导可以使得穿戴者能够感知位于穿戴者正在观看的物理环境中的3D全息图像，并且也允许穿戴者观看该物理环境中的物理对象，因此创建了增强显示环境。在其他示例中，显示面板可以使用硅基液晶(LCOS)显示器。额外地，尽管图1的示例示出了分别的右和左显示面板104R和104L，但是在其他示例中可以使用在两只眼睛上扩展的单个显示面板。

HMD设备100还可以包括用于向处理器108提供信息的各种传感器和相关系统。这样的传感器可以包括但不限于一个或多个面向内的图像传感器112、114，一个或多个面向外的图像传感器116、118，惯性测量单元(IMU)124，以及一个或多个麦克风130。HMD设备100还可以包括用于向穿戴者广播音频的立体扬声器140R和140L。一个或多个面向内的图像传感器112、114可以被配置为从穿戴者的眼睛获得采用目光跟踪数据形式的图像数据(例如，传感器112可以从穿戴者眼睛中的一个获得图像数据，而传感器114可以从穿戴者的眼睛中的另一个获得图像数据)。

处理器108可以执行指令，所述指令用于基于从图像传感器112、114所接收的信息来以任何合适的方式确定穿戴者眼睛中的每个的目光方向。例如，一个或多个光源(例如，红外光源)可以被配置为使得光的闪烁从穿戴者的每个眼睛的角膜反射。一个或多个图像传感器112、114可以被配置为捕获穿戴者眼睛的图像。如通过从图像传感器收集的图像数据所确定的闪烁的和瞳孔的图像可以用于确定每个眼睛的光轴。

使用该信息，处理器108可以执行用于确定穿戴者在哪一方向上注视的指令。处理器108还可以通过将用户的目光向量投射到周围环境的3D模型上来确定穿戴者目光的位置和/或穿戴者正在注视的物理的和/或虚拟的对象的身份。一个或多个光源和一个或多个面向内的图像传感器112、114可以共同表示被配置为测量用户眼睛的一个或多个目光参数的目光传感器。

在其他实现中，可以在HMD设备100中采用不同类型的目光传感器来测量用户眼睛的一个或多个目光参数。由一个或多个目光传感器测量的目光参数的示例可以包括眼睛目光方向或目光向量、头部朝向、眼睛目光速度、眼睛目光加速度、眼睛目光方向的角度变化、和/或任何其他合适的跟踪信息。在一些实现中，针对HMD设备100的穿戴者的两只眼睛可以独立地记录眼睛目光跟踪。

一个或多个面向外的图像传感器116、118可以被配置为测量HMD设备100所处的物理环境的物理环境属性(例如，光强度)。在一个示例中，图像传感器116可以包括被配置为收集物理空间的可见光图像的可见光相机。此外，图像传感器118可以包括被配置为收集物理空间的深度图像的深度相机。更加特别地，在一个示例中，深度相机是红外飞行时间深度相机。在另一示例中，深度相机是红外结构光深度传感器。

可以由处理器108使用来自面向外的图像传感器116、118的数据以检测在HMD设备100的视野中的运动，例如基于手势的输入或者由穿戴者或由视野中的人或物理对象执行的其他运动。在一个示例中，来自面向外的图像传感器116、118的数据可以用于检测由HMD设备100的穿戴者所执行的用户输入，例如手势(例如，手指的捏、握拳、利用手指或手来指等)，其指示要采用的动作、对在显示设备上显示的全息图或其他虚拟对象的选择、或其他命令。

来自面向外的图像传感器116、118的数据还可以由处理器108使用以确定能够在真实世界三维环境中实现HMD设备100的位置/运动跟踪的方向/位置和朝向数据(例如，从成像环境特征)。在一些示例中，可以针对真实世界对象(例如，结构或结构的一部分)来执行这样的位置/运动跟踪。来自面向外的图像传感器116、118的数据可以由处理器108使用以从HMD设备100的角度构建周围环境的静态图像和/或视频图像。

来自面向外的图像传感器116、118的数据可以由处理器108使用来识别物理空间的表面。由此，面向外的图像传感器116、118可以是指被配置为测量物理空间的一个或多个表面参数的表面传感器。

处理器108可以执行用于以任何合适的方式来识别物理空间的表面的指令。在一个示例中，可以基于从由图像传感器118的深度相机所提供的深度数据导出的深度地图来识别物理空间的表面。在另一示例中，处理器108可以执行用于使用来自面向外的图像传感器116、118的信息来生成或更新物理空间的三维模型的指令。

额外地或可替代地，来自面向外的图像传感器116、118的信息可以被传送至负责生成和/或更新物理空间的模型的远程计算设备120。HMD设备10可以经由至网络的有线连接或无线连接而可通信地耦合至一个或多个其他设备。在一些示例中，网络可以采用局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或其组合的形式，并且可以包括互联网。

计算设备120可以采用以下形式：服务器、网络化计算机、游戏操作杆、移动通信设备、可穿戴计算设备、台式计算机、膝上型计算机、平板计算机、机顶盒(例如，有线电视盒子、卫星电视盒子)、或任何其他类型的合适的计算设备。在一些示例中，计算设备120可以包括较大的电子或机械设备或系统内的嵌入系统。在下文中关于图8更加详细地描述了涉及计算设备120的组件和计算方面的额外的细节。

可以评估HMD设备100相对于物理空间的相对位置和/或朝向，以使得可以利用期望的朝向在期望的真实世界位置中准确地显示增强现实图像。特别地，处理器108可以执行指令以生成物理空间的3D模型，其包括用于识别物理空间中的表面的表面重构信息。

IMU 124可以被配置为向处理器108提供HMD设备100的位置和/或朝向数据。在一个实现中，IMU 124可以被配置为三轴或三个自由度(3DOF)的位置传感器系统。该示例位置传感器系统可以例如包括用于指示或测量3D空间内HMD 100的朝向关于三个正交轴(例如，俯仰、偏航、和滚动)的改变的三个陀螺仪。从IMU的传感器信号导出的朝向可以用于经由透明的显示器来显示具有现实和稳定的位置和朝向的一个或多个全息图像。

在另一示例中，IMU 124可以被配置为六轴或六个自由度(6DOF)的位置传感器系统。这样的配置可以包括用于指示或测量HMD设备100沿三个正交空间轴(例如，x、y和z)的位置改变以及关于三个正交旋转轴(例如，俯仰、偏航、和滚动)的设备方向改变的三个加速计和三个陀螺仪。在一些实现中，来自面向外的图像传感器116、118和IMU 124的位置和方向数据可以结合使用以确定HMD设备100的位置和朝向(或6DOF姿势)。

在一些示例中，6DOF位置传感器系统可以用于以锁定世界的方式显示全息表示。锁定世界的全息表示看上去相对于通过HMD设备100可看见的真实世界对象是固定的，由此使得HMD设备100的穿戴者能够在围绕真实世界物理环境移动的同时将锁定世界的全息图感知为在物理环境中以固定的位置和朝向保持静止。

在其他示例中，HMD设备100可以以锁定身体的显示模式来操作，在该模式中可以经由具有锁定身体位置的HMD设备来显示一个或多个全息对象。在锁定身体的位置中，全息对象看起来相对于HMD设备100的穿戴者是固定的，而全息对象的锁定身体位置看起来相对于真实世界对象是可移动的。

从面向外的图像传感器116、118接收的光学传感器信息和/或从IMU124接收的位置传感器信息可以用于评估HMD设备100相对于其他真实世界物理对象的有利点的位置和朝向。在一些实施例中，有利点的位置和朝向可以利用六个自由度(例如，世界空间X、Y、Z、俯仰、偏航、旋转)来表征。有利点可以全局地或独立于真实世界背景来表征。

HMD设备100还可以支持其他合适的定位技术，例如GPS或其他全球导航系统。此外，尽管已经描述了位置传感器系统的具体示例，但是应当理解的是，可以使用任何其他的合适的传感器系统。例如，可以基于来自在HMD设备100上安装的和/或在设备外部的传感器的任何组合的传感器信息来确定头部位置或姿势和/或运动数据，所述传感器包括但不限于，任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、磁力计、相机(例如，可见光相机、红外相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，WIFI天线/接口)等。

处理器108可以包括逻辑处理器，而HMD设备100可以包括易失性存储和非易失性存储，如在下文中关于图8更加详细地讨论的，其与至少部分透明的面板以及HMD设备100的各种传感器进行通信。

现在参考图2-7，示例使用示出了现在将呈现的本公开方面的情况。如在图2中示意性地示出的，HMD设备100可以包括存储在非易失性存储204中的门户程序200。门户程序200可以被加载到存储器208中，并且其指令由处理器212执行以执行用于显示在本文中所描述的第三方全息门户的方法和过程中的一个或多个。

在一些示例中，HMD设备100的用户220可以向HMD设备100提供包括一个或多个许可230的用户输入224。一个或多个许可230可以指定一个或多个条件234，在所述条件下，第三方被授权使得HMD设备100在用户真实世界三维环境中显示第三方全息门户240。现在参考图3，在一个示例中，Adam 320可以站在他的客厅300中并且可以穿戴着HMD设备100，如在图1和2中所示出的并且在上文中所描述的。如上所述，HMD设备100可以包括至少部分透明的显示器，其被配置为通过对他的客厅300的真实世界三维环境的显示来可视地增强用户Adam 320的视野。

如在图2中示意性地示出的，第三方250可以发送来自第三方计算设备264的请求260以经由HMD设备100来在诸如Adam的客厅300之类的用户真实世界三维环境中显示第三方全息门户240。例如并且也参考图4，Adam的朋友Robin 420可以使用HMD设备410来向Adam的HMD设备发送请求260。在其他示例中，Robin 420可以经由诸如机顶盒计算设备424、视频相机438、或任何其他合适的计算设备之类的另一第三方计算设备来发送请求260。

在接收到请求260之后，门户程序200可以确定该请求是否满足许可230的条件234。例如，如果第三方在诸如社交网络A或社交网络B中的一个之类的一个或多个社交网络266上被链接至用户Adam 320，则Adam可以输入指定第三方被授权以使得Adam的HMD设备100在Adam的客厅300中显示第三方全息门户的许可。

在其他示例中，用户Adam 320可以输入指定第三方在标识可以在Adam的客厅300中显示其全息门户的所选择的第三方的授权列表中列出的条件的许可。在其他示例中，也可以利用前述许可和其他许可的各种组合。

在本示例中，如果朋友Robin 420在社交网络A或社交网络B之一上链接至用户Adam 320，则响应于Robin的请求260，Adam的HMD设备100可以在Adam的客厅300中显示Robin的全息门户240。如在下文中更加详细地描述的，Robin的全息门户可以包括对与Robin相关联的真实世界三维环境中的活动的视觉表示。在图4的示例中，这样的第三方真实世界三维环境包括Robin的家庭房间440。

也参考图2，在一些示例中，在Robin的家庭房间440中的活动的视觉表示268可以包括由Robin的HMD设备410所捕获的图像数据270和/或使用其来构建。在一些示例中，这样的图像数据270可以额外地或可替代地包括由机顶盒计算设备424、视频相机438、和/或任何其他合适的图像捕获设备所捕获的图像数据。

现在参考图3，在一个示例中，Robin的全息门户可以包括经由他的HMD设备100向用户Adam 320显示的全息窗330。在一些示例中，HMD设备100可以在Adam的客厅300中在锁定世界的位置显示全息窗330，例如在沙发上方。在其他示例中，全息门户可以采用诸如虚拟电视、虚拟小型化广告牌、浮动飞艇等之类的虚拟显示器的形式。在其他示例中并且如在下文中关于图6更加详细地描述的，全息门户可以包括将第三方真实世界三维环境中的活动的视觉表示显示为出现在用户的真实世界三维环境之外的这样的环境的至少一部分的全息表示，例如在看上去已经被部分移除的墙之外。

在一些示例中，在确定请求满足所述条件之后，可以向用户可编程地显示全息门户。在其他示例中，可以响应于针对HMD设备100的用于显示所选择的人的全息门户的用户命令而显示所述全息门户。

如在图3的示例中所示出的，可以在没有第三方真实世界三维环境中的活动的视觉表示的情况下显示全息窗330。在该示例中，用户Adam 320可以提供指示HMD设备100在全息窗330中显示在朋友Robin的家庭房间440中的活动的视觉表示的用户输入。例如，用户Adam可以通过指向全息窗330来提供这样的输入，其中手势可以被HMD设备100捕获且识别为用于显示视觉表示的指令。也可以使用诸如其他手势、语言命令、眼睛运动之类的任何其他合适形式的用户输入。

现在参考图5，第三方真实世界三维环境中的活动的视觉表示可以包括第三方真实世界三维环境的至少一部分的当前预览500。在不同的示例中，所述视觉表示可以包括来自第三方真实世界三维环境的图像数据的变化的量。

在图5的示例中并且也参考图4，当前预览500包含朋友Robin 420的第一全息图像510和在Robin的家庭房间440的椅子上坐着的另一个人450的第二全息图像520。在该示例中，Robin的家庭房间440中的其他物理对象(例如，桌子454、沙发456、平面屏幕电视458等)没有包括在当前预览500中。以该方式，用户Adam 320可以快速地看见他的朋友Robin和另一人当前在Robin的家庭房间440中。

如在图4和图5中示意性地示出的，HMD设备100可以使用来自Robin的家庭房间440的图像数据来对当前预览500内的第一全息图像510和第二全息图像520进行准确地理定位，以与朋友Robin 420和在Robin的家庭房间中的另一个人450相同的位置和朝向。换句话说，可以通过对当前预览500内的第一全息图像510和第二全息图像520对应地确定地理位置和朝向来再现朋友Robin 420和另一个人450关于Robin的家庭房间440的相对地理位置和朝向。

在一些示例中，当前预览500中的全息图像可以被显示为包括房间中的活动的静态的、锁定世界的虚拟对象。在其他示例中，当前预览500可以跟踪并显示人和物理对象在房间中的移动，例如朋友Robin 420朝向另一个人450走去。在这些示例中，当前预览500可以向用户Adam 320显示房间中的活动的实时的全息视觉表示，包括Robin 420和另一个人450及其运动的全息表示。HMD设备100可以通过在如由用户Adam 320所感知的不同的深度显示全息图像来创建三维的观看体验。以该方式，HMD设备100可以向用户Adam 320显示Robin的家庭房间440的三维真实世界环境的至少一部分的三维视觉表示。

在一些示例中，Robin的家庭房间440的三维虚拟模型可以使用由诸如图像捕获设备428、HMD设备410中的相机、和/或机顶盒计算设备424中的相机之类的可见光相机和/或深度相机所捕获的图像数据来生成。使用该图像数据和覆盖在真实世界家庭房间440上的三维坐标空间，可以生成房间的三维虚拟模型。该模型可以由前述设备中的一个来生成并且被发送至用户Adam的HMD设备100，或者可以由HMD设备100使用从第三方计算设备264中的一个或多个接收的图像数据270来生成，如上文所描述的。

通过继续参考图5的示例，全息窗330可以仅占用户的真实世界三维环境的一部分。以该方式，例如，用户可以观看和/或与第三方真实世界三维环境中的视觉表示进行交互，同时还保留至少部分的用户的视野内(例如，他或她的外围视觉内)的用户的真实世界环境。额外地，通过简单地移动用户的目光，用户可以在没有任何额外的输入或与HMD设备100的交互的情况下快速且容易地离开第三方真实世界三维环境的视觉表示，以注意用户的真实世界环境中的对象或其他事物，并且反之亦然。

在一些示例中，用户Adam 320可以提供对HMD设备100的用户输入，该用户输入将他的客厅300中的锁定世界位置指定为要显示全息窗330的真实世界位置。例如，用户Adam320可以口头上陈述“将Robin的门户放在沙发上”，该命令可以由在HMD设备100中的语音识别组件识别并且被相应地执行。一旦显示了全息窗330，用户Adam 320可以将窗的位置在客厅300内移动。为了移动该窗，他可以对HMD设备100使用语音命令、物理手势、眼睛目光输入、或任何其他合适的用户输入。

在一个示例中，用户Adam 320可以在电视530上观看他最喜欢的棒球队。为了帮助他密切关注比赛，他可以将全息窗330从沙发334上移动到在电视530旁边的位置。以该方式，他可以监视比赛并且通过轻微地移动他的目光而容易地瞥见Robin的家庭房间中的活动的当前预览500。在一些示例中并且如在下文中更加详细地描述的，用户Adam 320还可以经由全息窗330来与朋友Robin 420和/或其他人450交互。

在一些示例中，用户Adam 320可以向HMD设备100提供缩放输入以增大或减小房间300中的全息窗的大小。这样的缩放输入可以采用物理手势(例如，捏命令)、语音命令、或任何其他合适的用户输入的形式。在图5的示例中，用户Adam 320可以将全息窗从沙发之上重新定位到电视530旁边的位置，并且可以将其大小减小到经调整的全息窗330’。

再次参考图2，在一些示例中，第三方全息门户可以包括某些活动在第三方真实世界三维环境中正在发生或已经发生的通知280。在一个示例中，通知280可以包括自从用户最后访问第三方真实世界三维环境起已经更新了第三方真实世界三维环境中的内容的警告。例如并且再次参考图3，用户Adam 320可能已经在昨天晚上9：30最后观看了朋友Robin的家庭房间440中的活动的视觉表示。在该观看之后，用户Adam 320指示HMD设备100停止显示朋友Robin的家庭房间440中的活动的视觉表示。

如在图3的示例中所示出的，基于在昨天晚上9：30之后在朋友Robin的家庭房间中更新的内容，门户程序200可以使得HMD设备100在全息窗330内显示警告用户Adam在Robin的家庭房间中的内容自从他最后观看该房间之后已经被更新的更新通知340。在该示例中，跟新通知340包括在全息窗330中显示的词语“更新！”。在其他示例中，可以通过显示不同的词语、诸如闪烁符号之类的警告图标、或任何其他合适的可视指示符来提供更新通知。在其他示例中，可听见的或可触摸的警告可以用于更新通知。

在一些示例中，经更新的内容可以包括人进入或离开Robin的家庭房间440、物理或虚拟的对象被引入到房间中、物理或虚拟的对象从房间中被移除、或者房间的其他内容被改变或修改。

通过继续参考图3，在一些示例中，第三方全息门户可以包括第三方当前存在于其第三方真实世界三维环境中的存在通知350。在图3的示例中，HMD设备100的门户程序200可以确定朋友Robin 420已经进入她的家庭房间。在一些示例中，这样的确定可以使用来自Robin的家庭房间440的图像数据270以及从她的脸部特征中识别Robin的脸部识别技术来进行。在其他示例中，Robin的HMD设备410可以包括GPS定位能力，并且可以将其在Robin的家庭房间440中的位置发送至用户Adam的HMD设备100。

在该示例中，存在通知350包括在全息窗330中显示的词语“Robin在她的房间中！”。正如该更新通知，在其他示例中，可以通过显示不同的词语、诸如闪烁符号之类的警告图标、或任何其他合适的可视指示符来提供存在通知。在其他示例中，音频或可触摸警告可以用于存在通知。

在一些示例中，存在通知可以包括与第三方对应的头像(avatar)。通过继续参考图3，在一个示例中，HMD设备100可以通过显示全息的鸟360在房间300中飞行来向用户Adam320提供存在通知。在该示例中，全息的鸟的360包括与Adam的朋友Robin(也是鸟的名字)相对应的头像。以该方式，当用户Adam 320看见全息的鸟360时，他关于他的朋友Robin被提醒并且被警告Robin当前在她的家庭房间440中。如果期望的话，用户Adam320接着控制全息窗330以如在上文中所描述的显示Robin的家庭房间440中的活动的视觉表示。在一个示例中，用户Adam 320可以经由手势、可听见的命令等来选择全息的鸟360以触发全息窗330显示Robin的家庭房间440中的活动的视觉表示。

应当理解的是，与第三方相对应的各种不同的头像可以用于警告用户Adam 320第三方当前在他们的第三方真实世界三维环境中。例如并且再次参考图3，用户Adam 320可以具有亲密的朋友Frank，其在他们的大学足球队中的昵称是“坦克(Tank)”。可以在用户Adam的客厅300中显示全息坦克的370来警告Adam坦克当前在与Frank相关联的真实世界三维环境中，例如他的媒体房间。

如上文所描述的，在一些示例中，第三方全息门户240可以采用显示与第三方相关联的第三方真实世界三维环境中的活动的视觉表示的全息窗330的形式。在其他示例中，第三方全息门户240可以包括用户的真实世界三维环境中的空间的用户定义的位置或体积。参考图5，在一个示例中，第三方全息门户240可以包括在全息窗330的一般位置中的沙发334之上的某一体积的空间。在该示例中，全息窗330可以对用户Adam 320不可见，而朋友Robin的第一全息图像510和另一个人450的第二全息图像520被显示在沙发334之上的空间中。

在一些示例中并且如上文所述的，第三方全息门户可以包括将第三方真实世界三维环境中的活动的视觉表示显示为出现在用户的真实世界三维环境之外的这样的环境的至少一部分的全息表示，例如在看上去已经被部分移除的墙之外。现在参考图6，在一个示例中，用户Adam 320例如可以通过指向全息的鸟360来选择与他的朋友Robin相对应的鸟。响应于该选择，HMD设备100可以使得用户Adam 320感知到用户Adam的客厅300的墙600部分被扯开，如在610处所指示的。HMD设备100可以在房间300之外显示朋友Robin的家庭房间440的一部分的全息视觉表示630，就如同其位于相邻房间中的墙600之后。以该方式，全息门户可以包括墙600中已经被虚拟移除的部分614，并且用户Adam 320可以享受其中朋友的家庭房间440看上去在他客厅300旁边的增强现实体验。

在其他示例中，可以在用户Adam的客厅300中的其他的真实世界三维对象上或上方显示第三方全息门户，例如沙发的枕头334、咖啡桌338等。

在一些示例中，用户Adam 320的全息表示可以被显示在第三方真实世界三维环境中的活动的视觉表示内。通过继续参考图6，在一个示例中，用户Adam 320的全息头像620可以由HMD设备100显示在朋友Robin的家庭房间的视觉表示630内。用户Adam 320可以经由对HMD设备100的输入来移动他的头像620，例如通过利用他的手做手势、移动他的头、走路或改变他身体的朝向或位置等。在一些示例中，头像620可以镜像用户Adam320的运动，如在图6的示例中所示出的。可以在房间之间共享音频。以该方式，HMD设备100和门户程序200可以向用户Adam 320提供在他客厅300中的增强现实体验，其包括在看上去像在Adam客厅旁边的Robin的家庭房间440的全息视觉表示630中与他朋友Robin 420的全息图像510虚拟地交互。

在一些示例中，第三方真实世界三维环境中的活动的视觉表示可以包括与在第三方真实世界三维环境中物理地或虚拟地存在的第三方不同的至少一个人的标识284。再次参考图5，当前预览500内的第二全息图像520可以与名字为Ed的另一个人相对应。用户Adam的HMD设备100可以经由脸部识别来识别Ed，识别从与Ed相关联的计算设备所发送的数据，或其他合适的方法。在识别到Ed之后，HMD设备100可以在这个人的全息图像520的旁边显示“Ed”。以该方式，用户Adam 320可以在决定是否与房间中的人虚拟交互之前，被通知关于在朋友Robin的家庭房间440中存在的其他人。

在一些示例中，可以在不通知第三方关于用户正在观看视觉表示的情况下，向用户显示第三方真实世界三维环境中的活动的视觉表示。例如并且再次参考图5，用户Adam320可以在不通知朋友Robin的情况下观看Robin的家庭房间中的活动的当前预览500。以该方式，用户Adam 320可以在决定是否与Robin或物理地或虚拟地在该房间中存在的其他人交互之前，观看Robin的家庭房间中的活动。例如，用户Adam 320可以看见Ed当前与Robin在房间里。用户Adam 320可能不喜欢Ed。由此，当用户Adam320看见Ed在朋友Robin的家庭房间中出现时，Adam可以决定在此时避免与Robin交互并且避免让他的存在被知道。

在一些示例中，当用户在第三方真实世界三维环境中观看活动的视觉表示时，可以通知第三方。例如并且参考图4，当用户Adam 320正在观看Robin的家庭房间440的活动的视觉表示时，Robin的HMD设备410可以显示在她的房间中浮动的全息眼睛460。

再次参考图4，在一些示例中，全息对象和/或全息的人可以在朋友Robin的家庭房间440中被地理定位。例如，朋友Robin 420可以已经创建了她已经在她家庭房间440中的锁定世界位置中地理定位的全息海报470。Robin 420还可能是狂热的玩家，并且可能已经赚了全息的两代皇家474和478，她在她的咖啡桌480上在锁定世界位置中对其进行虚拟显示。

再次参考图6的示例，在一些示例中，经由用户Adam的HMD设备100所显示的Robin的家庭房间440中的活动的视觉表示630可以包括全息海报470的全息图像640以及家庭房间440中在其地理定位的锁定世界位置中的全息的两袋黄金474和478的两个全息图像650和660。以该方式，朋友Robin 420可以分享并且用户Adam 320可以观看朋友Robin 420或其他人已经在Robin的家庭房间440中地理定位的全息对象。

在一些示例中，一个或多个人的全息头像可以地理定位在Robin的家庭房间440中。参考图6，在一个示例中，人Ed450可能没有物理地出现在Robin的家庭房间440中，但是Ed的全息头像可能地理定位在房间中。在该示例中并且如在图6中所示出的，用户Adam的HMD设备100可以与标识“虚拟的Ed”一起显示Ed的全息图像520，以向Adam传达Ed的全息头像地理定位在该房间中，相对于Ed的实际的人出现。

图7A和7B是根据本描述的示例的方法700的流程图，该方法用于经由头戴显示设备在用户真实世界三维环境中显示第三方全息门户。参考在上文中描述并且在图1-6中所示出的软件和硬件组件来提供对方法700的以下描述。应当理解的是，还可以使用其他合适的硬件和软件组件在其他的上下文中执行方法700。

参考图7A，在704处，方法700可以包括经由来自头戴式显示设备的用户的输入接收许可，该许可指定第三方在其下被授权以使得头戴式显示设备在用户真实世界三维环境中显示第三方全息门户的条件。在708处，该条件可以包括第三方经由社交网络链接至用户。在712处，方法700可以包括从第三方接收请求以经由头戴式显示设备在用户真实世界三维环境中显示第三方全息门户。在716处，方法700可以包括确定条件是否被满足。

在720处，方法700可以包括，如果该条件被满足并且响应于该请求，使得头戴式显示设备在用户真实世界三维环境中显示第三方全息门户，其中，第三方全息门户包括与第三方相关联的第三方真实世界三维环境中的活动的视觉表示。在724处，第三方全息门户可以包括从用户最后访问第三方真实世界三维环境起已经更新了第三方真实世界三维环境的内容的通知。

在728处，第三方全息门户可以包括第三方当前出现在他们的第三方真实世界三维环境中的通知。在732处，所述通知可以包括与第三方相对应的头像。在736处，第三方真实世界三维环境中的活动的视觉表示可以包括第三方真实世界三维环境的至少一部分的当前预览。

现在参考图7B，在740处，方法700可以包括在不通知第三方关于用户正在观看视觉表示的情况下，显示第三方真实世界三维环境中的活动的视觉表示。在744处，第三方真实世界三维环境中的活动的视觉表示可以包括与物理地或虚拟地在第三方真实世界三维环境中存在的第三方不同的至少一个人的标识。

在748处，头戴式显示设备可以包括被配置为通过显示器可视地增强用户真实世界三维环境的视野的至少部分透明的显示器，并且可以使得头戴式显示设备在用户真实世界三维环境中在锁定世界位置处显示第三方全息门户。在752处，方法700可以包括从用户接收缩放输入。在756处，方法700可以包括，响应于所述缩放输入，在锁定世界位置处增大或减小第三方全息门户在用户真实世界三维环境中的大小。

应当理解的是，方法700是通过示例的方式提供的并且不意味着进行限制。因此，应该理解的是，方法700可以包括与在图7A和7B中示出的那些步骤相关的额外的和/或可替代的步骤。此外，应该理解的是，可以以任何合适的顺序来执行方法700。另外地，应该理解的是，可以在不脱离本公开的范围的情况下从方法700省略一个或多个步骤。

在一些实施例中，在本文中所描述的方法和过程可以依赖于一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序接口(API)、库、和/或其他计算机程序产品。

图8示意性示出了能够实行在上文中所描述的方法和过程中的一个或多个的计算系统800的非限制性实施例。以简化的形式示出了计算系统800。计算系统800可以采取如在图1中所示出的一个或多个头戴式显示设备的形式、或者与头戴式显示设备通信耦合的一个或多个设备，例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、和/或其他计算色设备。

计算系统800包括逻辑处理器804、易失性存储器808、以及非易失性存储设备812。计算系统800可以可选地包括显示子系统816、输入子系统820、通信子系统824、和/或没有在图8中示出的其他组件。

逻辑处理器804包括被配置为执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置为执行作为一个或多个应用、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分的指令。这样的指令可以被实现为执行任务、实现数据类型、转换一个或多个组件的状态、获得技术效果、或者以其他方式达到期望的结果。

逻辑处理器可以包括被配置为执行软件指令的一个或多个物理处理器(硬件)。额外地或可替代地，逻辑处理器可以包括被配置为执行硬件实现的逻辑或固件指令的一个或多个硬件逻辑电路或固件设备。逻辑处理器804的处理器可以是单核的或多核的，并且在其上执行的指令可以被配置用于顺序地、并行地、和/或分布式处理。逻辑处理器的个体组件可以可选地分布在两个或更多个分别的设备之间，其可以远程地定位和/或被配置用于协同处理。逻辑处理器的方面可以由在云计算配置中配置的、远程可访问的、网络化的计算设备虚拟化和执行。在这样的情况下，这些经虚拟化的方面可以在各种不同的机器的不同的物理逻辑处理器上运行。

易失性存储器808可以包括物理设备，其包括随机存取存储器。易失性存储器808通常由逻辑处理器804利用以在软件指令的处理期间暂时地存储信息。应当理解的是，当易失性存储器808的电源被切断时，易失性存储器808通常不继续存储指令。

非易失性存储设备812包括一个或多个物理设备，其被配置为保存能够由逻辑处理器执行以实现在本文中所描述的方法和过程的指令。当实现这样的方法和过程时，可以转换非易失性存储设备812的状态——例如，以保存不同的数据。

非易失性存储设备812可以包括可移动的和/或内置的物理设备。非易失性存储设备812可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、闪速存储器等)、和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、或其他大容量存储设备技术。非易失性存储设备812可以包括非易失性、动态、静态、读/写、只读、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。应当理解的是，非易失性存储设备812被配置为即使当切断非易失性存储设备812的电源时也保留指令。

逻辑处理器804、易失性存储器808、以及非易失性存储设备812的方面可以一起被集成到一个或多个硬件逻辑组件中。例如，这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和专用标准产品(PSSP/ASSP)、片上系统(SOC)、以及复杂可编程逻辑设备(CPLD)。

术语“程序”可以用于描述被实现成执行特定功能的计算系统800的方面。在一些情况下，可以使用部分的易失性存储器808经由执行由非易失性存储设备812保存的指令的逻辑处理器804来将程序实例化。应当理解的是，可以从相同的应用、服务、代码块、对象、库、例程、API、功能等中实例化不同的程序。同样，可以由不同的应用、服务、代码块、对象、例程、API、功能等来实例化相同的程序。术语“程序”包含个体的或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

当被包括时，显示子系统816可以用于呈现由非易失性存储设备812保存的数据的视觉表示。当在本文中描述的方法和过程改变由非易失性存储设备保存的数据并且因此转换非易失性存储设备的状态时，显示子系统816的状态可以同样被转换成可视地表示底层数据的改变。显示子系统816可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享的外壳中与逻辑处理器804、易失性存储器808、和/或非易失性存储设备812组合，或者这样的显示设备可以是外围显示设备。针对图1中的示例HMD设备100，显示面板104R和104L被配置为通过显示诸如作为显示子系统816的示例的全息图之类的虚拟对象来可视地增强真实世界三维物理环境的外观。

当被包括时，输入子系统820可以包括或与一个或多个用户输入设备接合。在一些实施例中，输入子系统可以包括或与所选择的自然用户输入(NUI)部件接合。这样的部件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板下被处理。示例性的NUI部件可以包括用于语言和/或语音识别的麦克风；用于机器视觉和/或手势识别的深度相机；用于运动检测、目光检测、和/或意图识别的头部跟踪器、眼跟踪器、加速度计、和/或陀螺仪；用于评估脑部活动的电场感测部件；针对HMD设备100在上文中所描述的传感器中的任何一个；和/或任何其他合适的传感器。

当被包括时，通信子系统824可以被配置为将计算系统800与一个或多个其他计算设备可通信地耦合。通信子系统824可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域或广域网络进行通信。在一些实施例中，通信子系统可以允许计算系统800经由诸如互联网之类的网络向其他设备发送消息和/或从其他设备接收消息。

以下的段落提供了对本主题申请的权利要求的额外的支持。一个方面提供了一种用于经由头戴式显示设备在用户真实世界三维环境中显示第三方全息门户的方法，所述方法包括：经由来自所述头戴式显示设备的用户的输入接收指定了条件的许可，其中在所述条件下，第三方被授权使得所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户；从所述第三方接收用于经由所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户的请求；确定所述条件是否被满足；以及如果所述条件被满足并且响应于所述请求，使得所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户，其中，所述第三方全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。所述方法可以额外地或可选地包括，其中，所述条件包括所述第三方是经由社交网络链接至所述用户的。所述方法可以额外地或可选地包括，其中，所述第三方全息门户包括自所述用户最后访问所述第三方真实世界三维环境以后已经更新所述第三方真实世界三维环境的内容的通知。所述方法可以额外地或可选地包括，其中，所述第三方全息门户包括所述第三方当前正出现在其第三方真实世界三维环境中的通知。所述方法可以额外地或可选地包括，其中，所述通知包括与所述第三方相对应的头像。所述方法可以额外地或可选地包括，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括所述第三方真实世界三维环境的至少部分的当前预览。所述方法可以额外地或可选地包括显示所述第三方真实世界三维环境中的活动的所述视觉表示，而不通知所述第三方关于所述用户正在观看所述视觉表示。所述方法可以额外地或可选地包括，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括与物理地或虚拟地出现在所述第三方真实世界三维环境中的所述第三方不同的至少一个人的标识。所述方法可以额外地或可选地包括，其中，所述头戴式显示设备包括至少部分透明的显示器，被配置为通过所述显示器视觉地增强所述用户真实世界三维环境的视野，其中，所述头戴式显示设备被使得在所述用户真实世界三维环境中在锁定世界的位置处显示所述第三方全息门户。所述方法可以额外地或可选地包括从所述用户接收缩放输入；以及响应于所述缩放输入，增大或减小所述第三方全息门户在所述用户真实世界三维环境中的大小。

另一方面提供了一种头戴式显示设备，包括：至少部分透明的显示器；处理器；以及存储器，其保存能够由所述处理器执行以进行以下操作的指令：从用户接收指定了条件的许可，其中在所述条件下，第三方被授权使得所述头戴式显示设备在所述用户真实世界三维环境中显示第三方全息门户；从所述第三方接收用于在所述用户真实世界三维环境中显示所述第三方全息门户的请求；确定所述条件是否被满足；以及如果所述条件被满足并且响应于所述请求，使得所述至少部分透明的显示器在所述用户真实世界三维环境中显示所述第三方全息门户，其中，所述第三方全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。所述头戴式显示设备可以额外地或可选地包括，其中，所述条件包括所述第三方是经由社交网络链接至所述用户的。所述头戴式显示设备可以额外地或可选地包括，其中，所述第三方全息门户包括自所述用户最后访问所述第三方真实世界三维环境以后已经更新所述第三方真实世界三维环境的内容的通知。所述头戴式显示设备可以额外地或可选地包括，其中，所述第三方全息门户包括所述第三方当前正出现在其第三方真实世界三维环境中的通知。所述头戴式显示设备可以额外地或可选地包括，其中，所述通知包括与所述第三方相对应的头像。所述头戴式显示设备可以额外地或可选地包括，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括所述第三方真实世界三维环境的至少部分的当前预览。所述头戴式显示设备可以额外地或可选地包括，其中，所述指令能够由所述处理器执行以显示所述第三方真实世界三维环境中的活动的所述视觉表示，而不通知所述第三方关于所述用户正在观看所述视觉表示。所述头戴式显示设备可以额外地或可选地包括，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括与物理地或虚拟地出现在所述第三方真实世界三维环境中的所述第三方不同的至少一个人的标识。所述头戴式显示设备可以额外地或可选地包括，其中，所述指令能够由所述处理器执行以在所述用户真实世界三维环境中在锁定世界的位置处显示所述第三方全息门户。

另一方面提供了一种头戴式显示设备，包括：至少部分透明的显示器；处理器；以及存储器，其保存能够由所述处理器执行以进行以下操作的指令：从用户接收指定了第三方经由社交网络被链接至所述用户的条件的许可；从所述第三方接收用于是饿的至少部分透明的显示器在用户真实世界三维环境中显示第三方全息门户的请求；确定所述第三方是否经由所述社交网络被链接至所述用户；以及如果所述第三方经由所述社交网络被链接至所述用户并且响应与所述请求，使得所述至少部分透明的显示器在所述用户真实世界三维环境中在锁定世界的位置处显示所述第三方全息门户，其中，所述第三方全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。

应当理解的是，在本文中所描述的配置和/或方法在本质上是示例性的，并且这些具体的实施例或示例不被认为是限制性意义，这是因为许多其他的变化是可能的。在本文中所描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此，所示出和/或描述的各种动作可以以所示出的和/或描述的顺序、以其他顺序、并行地执行，或被省略。同样地，可以改变上文描述的过程的顺序。

本公开的主题包括在本文中公开的各种过程、系统和配置、以及其他特征、功能、动作、和/或属性的所有新颖的和非显而易见的组合和子组合，以及其任何一个和全部等同物。

Claims (15)

1.一种用于经由头戴式显示设备在用户真实世界三维环境中显示第三方全息门户的方法，所述方法包括：

经由来自所述头戴式显示设备的用户的输入接收指定了条件的许可，在所述条件下第三方被授权使得所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户；

从所述第三方接收用于经由所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户的请求；

确定所述条件是否被满足；以及

如果所述条件被满足并且响应于所述请求，使得所述头戴式显示设备在所述用户真实世界三维环境中显示所述第三方全息门户，其中，所述第三方全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。

2.根据权利要求1所述的方法，其中，所述条件包括所述第三方是经由社交网络链接至所述用户的。

3.根据权利要求1所述的方法，其中，所述第三方全息门户包括自所述用户最后访问所述第三方真实世界三维环境以后已经更新所述第三方真实世界三维环境的内容的通知。

4.根据权利要求1所述的方法，其中，所述第三方全息门户包括所述第三方当前正出现在其第三方真实世界三维环境中的通知。

5.根据权利要求4所述的方法，其中，所述通知包括与所述第三方相对应的头像。

6.根据权利要求1所述的方法，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括所述第三方真实世界三维环境的至少部分的当前预览。

7.根据权利要求1所述的方法，还包括显示所述第三方真实世界三维环境中的活动的所述视觉表示，而不通知所述第三方关于所述用户正在观看所述视觉表示。

8.根据权利要求1所述的方法，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括与物理地或虚拟地出现在所述第三方真实世界三维环境中的所述第三方不同的至少一个人的标识。

9.根据权利要求1所述的方法，其中，所述头戴式显示设备包括至少部分透明的显示器，被配置为通过所述显示器视觉地增强所述用户真实世界三维环境的视野，其中，所述头戴式显示设备被使得在所述用户真实世界三维环境中在锁定世界的位置处显示所述第三方全息门户。

10.根据权利要求1所述的方法，还包括：

从所述用户接收缩放输入；以及

响应于所述缩放输入，增大或减小所述第三方全息门户在所述用户真实世界三维环境中的大小。

11.一种头戴式显示设备，包括：

至少部分透明的显示器；

处理器；以及

存储器，其保存能够由所述处理器执行以进行以下操作的指令：

从用户接收指定了条件的许可，在所述条件下第三方被授权使得所述头戴式显示设备在用户真实世界三维环境中显示第三方全息门户；

从所述第三方接收用于在所述用户真实世界三维环境中显示所述第三方全息门户的请求；

确定所述条件是否被满足；以及

如果所述条件被满足并且响应于所述请求，使得所述至少部分透明的显示器在所述用户真实世界三维环境中显示所述第三方全息门户，其中，所述第三方全息门户包括与所述第三方相关联的第三方真实世界三维环境中的活动的视觉表示。

12.根据权利要求11所述的头戴式显示设备，其中，所述条件包括所述第三方是经由社交网络链接至所述用户的。

13.根据权利要求11所述的头戴式显示设备，其中，所述第三方全息门户包括自所述用户最后访问所述第三方真实世界三维环境以后已经更新所述第三方真实世界三维环境的内容的通知。

14.根据权利要求11所述的头戴式显示设备，其中，所述第三方全息门户包括所述第三方当前正出现在其第三方真实世界三维环境中的通知。

15.根据权利要求11所述的头戴式显示设备，其中，所述第三方真实世界三维环境中的活动的所述视觉表示包括所述第三方真实世界三维环境的至少部分的当前预览。