CN112104595B - 基于位置的应用流激活 - Google Patents

Abstract

一种实现基于位置的应用激活的系统和方法。该系统包括一个或多个服务器，该服务器存储并提供持久性虚拟世界系统，该虚拟世界系统包括现实世界的虚拟版本，该虚拟版本包括虚拟附接到根据现实世界坐标定位的虚拟世界实体的一个或多个应用，一个或多个服务器被配置为计算虚拟世界实体的状态并处理应用；响应于接收到用户设备访问与所述应用相关联的触发区的通知，向所述用户设备发送最小量的应用图形表示；响应于接收到用户与应用图形表示交互的通知，确定将被发送到用户设备的合适的应用媒体流，对媒体流进行重载计算任务，并且将该流传递到用户设备，该用户设备对媒体内容进行轻量级计算任务以输出媒体内容。

Description

基于位置的应用流激活

相关申请的交叉引用

本申请要求2019年6月18日提交的临时申请No.62/863041的权益，出于所有目的将其全部公开内容通过引用并入本文。

技术领域

本发明的各方面一般涉及计算机通信，尤其涉及响应于用户交互而激活应用媒体内容流。

背景技术

通常，基于位置的服务(LBS)被部署在可由无线设备接入的无线网络中，无线设备例如移动电话，平板计算机，头戴式显示器和其它设备。LBS可以包括宽范围的服务，其可以基于用户相对于特定地点的当前位置。LBS的例子包括提供最近餐馆的位置，银行自动柜员机(ATM)的位置，或个人的场所；包裹跟踪；基于当前客户位置提供针对潜在客户的广告；个性化天气服务。LBS通常经由无线设备的用户可以预订或连接到的无线网络作为临时用户来提供。一旦连接，当前用户位置可以从各种类型的信息中导出，例如GPS，上行链路到达时间差(u-TDOA)等。

某些应用，尤其是涉及沉浸式交互体验(例如，增强现实，虚拟现实或融合现实)的那些应用，可能需要媒体内容渲染。通常，需要沉浸式交互的这些应用主要在客户端(设备)侧上被下载和托管，从而导致执行应用的高硬件需求。还可能要求用户下载多个应用，每个应用对应于不同类型的体验，增加了用户设备上的存储器和其它硬件要求。此外，由于硬件限制，使用用户设备(诸如移动设备或其它移动计算机)的渲染可能限制用户能够接收的媒体内容的质量和类型以及媒体内容流的质量和速度。

发明内容

提供该概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不打算确定权利要求所要求保护的主题的关键特征,也不打算被用来帮助确定权利要求所要求保护的主题的范围。

如本文所述，一个或多个问题通过实现基于位置的流激活的系统和方法的实施例来解决。

根据本公开的实施例的系统包括一个或多个服务器，所述一个或多个服务器包括存储器和处理器，所述一个或多个服务器存储并提供持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界的虚拟版本，虚拟版本包括与根据现实世界坐标定位的虚拟世界实体相关联或虚拟附接到所述虚拟世界实体的一个或多个应用，并且所述一个或多个服务器被配置为至少：计算所述虚拟世界实体的状态并处理所述一个或多个应用。在实施例中，一个或多个用户设备经由网络连接到所述一个或多个服务器，并且被配置为接收和执行所述一个或多个应用。

响应于检测到用户设备进入配置在所述一个或多个应用周围的触发区，所述一个或多个服务器经由无线网络向所述用户设备发送与所述一个或多个应用相关联的最小量的应用图形表示。在一个实施例中，通过接收用户设备的位置的通知(例如，来自跟踪用户设备的位置的无线网络)来检测用户设备进入触发区，该位置与触发区的已知边界相比较。响应于检测到用户与应用图形表示的交互，所述一个或多个服务器基于用户观看位置，朝向和观看角度来确定两个或更多个媒体流，此后对要经由用户设备传递给用户的媒体内容执行重载计算。服务器最终可以将所渲染的媒体内容发送到用户设备，用户设备可以仅需要在其上执行轻量级计算任务以便将媒体内容输出到用户。

因此，当前的系统和方法使得用户能够在用户接近应用虚拟附接的对象时查看应用，以及使得用户设备能够在交互时无缝地流式传送与应用相关的媒体内容。用户设备可能只需要下载应用图形表示并对计算的媒体内容执行轻量级计算任务，以便充分地表示应用，从而避免了下载任何大应用文件的需要。

根据实施例，所述服务器可以被提供为包括处理器和存储器的硬件和软件，其中所述处理器可以被配置为执行包括在耦合到所述服务器的存储器中的指令，并且其中所述存储器被配置为存储指令和数据。由指令启用的功能可以至少包括媒体内容的预处理，适当媒体流的确定以及媒体内容的渲染。媒体内容的预处理可以至少包括执行声音和视频压缩和组装。

根据实施例，一旦用户设备上已经开始流式传送，如果用户离开服务器区，则用户可以具有继续与服务器区之外的应用交互的选项。在这种情况下，媒体内容上的重载计算可以被传送到其它服务器区中的其它服务器。

存储器可以存储持久性虚拟世界系统，该虚拟世界系统可以包括现实世界的虚拟版本，该虚拟版本包括根据现实世界坐标定位的虚拟世界实体，包括纬度和纵向位置和朝向数据。应用可以虚拟地附接的虚拟世界实体可以表示现实世界对象，或者可以是不存在于现实世界中的完全虚拟对象。作为示例，用户可以在应用触发区内查看包括可以基于现实世界对象的位置，朝向和维度来定位的应用的现实世界对象。在另一示例中，用户可以在应用触发区内查看附接到仅存在于虚拟世界中但附接到现实世界中的现有位置的物品的应用。在一些实施例中，持久性虚拟世界系统可以另外包括在现实世界空间中配置的一个或多个应用存储，每个应用存储包括一个或多个应用。在一些实施例中，应用可以被用户完全虚拟地访问。换句话说，用户可以使用用户设备在虚拟现实中移动到存储在持久性虚拟世界系统中的位置，而不必在物理上移动到那些位置。所述地点可以是在现实世界中找到的地点，可以是仅在虚拟世界中找到的计算机生成的地点，或者可以包括它们的组合。在这些实施例中，用户能够在访问配置在虚拟实体周围的虚拟触发区之后查看和访问应用。

在一些实施例中，服务器可以位于计算中心中，该计算中心位于相对靠近虚拟附接到应用的物品的区域中。计算中心可以指被安排来容纳计算机系统和相关组件的设施，例如电信和存储系统，电源，冗余数据通信连接，环境控制和各种安全设备。

根据实施例，用户设备可以包括各种操作组件，这些操作组件至少包括：输入和输出模块，其被配置成能够与用户交互；电源，其被配置成向用户设备供电；存储器，其被配置成存储应用指令和遥测元数据；一个或多个传感器，其被配置成从用户获得各种遥测元数据；一个或多个收发器，其被配置成向天线发送通信信号和从天线接收通信信号；以及网络接口，其被配置为连接到所述网络并且从所述网络接收计算机可读指令，每个组件还可操作地连接到处理器。

在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络连接，例如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网(Wi-Fi)连接，Wi-Fi可以提供60GHz的数据。所提供的通信系统可以允许大约1到大约5毫秒的端到端(E2E)等待时间和到现场端点1-10Gbps的下行链路速度，这符合执行典型的高度交互的应用所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

根据实施例，安装在用户设备上的感测机构包括惯性跟踪感测机构和收发器的组合。惯性跟踪传感机构可以利用诸如加速度计和陀螺仪的设备，这些设备可以集成在惯性测量单元(IMU)中。收发器可以被实现为向天线发送无线通信信号和从天线接收无线通信信号。在一个实施例中，收发器是mmW收发器。在使用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并将数据发送回天线。由mmW收发器提供的惯性传感器和位置跟踪以及由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或甚至亚毫米的位置和朝向跟踪，这可以在跟踪客户端元件的实时位置和朝向时提高精度。在一些实施例中，可以通过采用本领域已知的几种技术来实现跟踪，例如到达时间(TOA)，到达角度(AOA)，或本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)。在替代实施例中，感测机构和收发器可在单个跟踪模块装置中耦合在一起。

一种由根据本公开实施例的包括一个或多个服务器计算机的服务器系统执行的计算机实现的方法，包括在包括一个或多个服务器计算机的服务器系统的存储器中提供持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界的虚拟版本，虚拟版本包括虚拟附接到根据现实世界坐标定位的虚拟世界实体的一个或多个应用；接收一个或多个用户设备的位置；至少部分地基于所述一个或多个用户设备的位置来确定所述一个或多个用户设备是否已经进入应用触发区；在确定所述一个或多个用户设备已经进入应用触发区时，向所述一个或多个用户设备提供最小量的应用图形表示；在接收到所述一个或多个用户设备已经下载或以其它方式接收到所述最小量的应用图形表示的通知时，基于所述用户观看位置，朝向和观看角度来确定两个或更多个媒体流；响应于确定两个或更多个媒体流，对应用媒体内容执行重载计算任务；以及将所渲染的媒体内容发送到所述一个或多个用户设备，所述一个或多个用户设备可能仅需要在其上执行轻量级计算任务，以便将所述媒体内容输出到用户。

在实施例中，重载计算任务包括由一个或多个服务器对应用媒体内容进行预处理，该预处理至少包括声音和视频压缩操作。对媒体内容的重载计算任务可以进一步包括物理模拟，照明，阴影模拟，或渲染，或其组合。

在实施例中，确定媒体流的过程可以进一步基于存储在存储器中的或例如通过社交媒体网络或其它数据共享平台从另一计算设备或系统获得的用户的简档信息。

以上概述不包括本公开的所有方面的详尽列表。预期本公开包括可以从以上概述的各个方面的所有合适的组合来实践的所有系统和方法，以及在以下详细描述中公开的那些以及在随本申请提交的权利要求书中具体指出的那些。这样的组合具有在以上概述中未具体陈述的特定优点。根据附图和下面的详细描述，其它特征和优点将是显而易见的。

附图说明

参考以下描述和附图将更好地理解本公开的具体特征、方面和优点，其中：

图1A-1B描绘了根据本公开的实施例的系统的示意性表示；

图2描绘了根据本公开的实施例的系统的示意图，详细描述了云服务器的表示；

图3A-3B描绘了根据本公开的实施例的系统的示意图，详细描述了用户设备的表示；

图4描绘了根据本公开的实施例的方法的流程图。

具体实施方式

图1A-1B示出了根据本公开的实施例的系统100的示意性表示。在用户与应用102的最小量的图形表示进行交互时，系统100使得能够通过网络104相对于一个或多个数字现实应用102进行无缝和自动的媒体内容流式传输。

在图1A所示的示例性实施例中，采用用户设备108的用户106可以首先位于触发区110之外的区域中。触发区110可以被提供在服务器区112内，并且可以由配置在应用102周围的周界来确定，应用102与实体114相关联或虚拟附接到实体114。

当应用102虚拟地附接到实体时，与应用102相关联的触发区110例如可以在与应用102虚拟地附接到的实体配合的空间内移动或定位或重新定位，或者随着应用102附接到的实体从该空间移除或重新引入该空间而从该空间移除或重新引入该空间。或者，应用102可以是未附接的或与其虚拟附接的实体分离的。如果该应用未被附接，则该应用可以被定位在独立于任何实体的位置的空间中。如果该应用与它虚拟附接的实体分离，则该应用可以例如从该实体仍然存在的空间中移除，或者保持在独立于该实体的位置的固定位置中，或者独立于该实体移动。

应用102还可以包括存储在服务器116中的实体114的位置、朝向和维度数据。服务器区112可以被配置在触发区110周围，并且可以被提供在相对靠近服务器116的区域中。服务器区112可以包括一个或多个应用102和相应的触发区110。

尽管在这里公开的示例中系统100被描述为包括单个服务器116，但是应当理解，这里描述为由单个服务器(例如，服务器116)执行的功能可以由包括多个服务器计算机的服务器系统执行，反之亦然。

触发区可以被计算为用户和虚拟位置之间的距离，其中在现实世界中已经配置了应用。例如，触发区可以被设置为例如在与应用相关联的位置、对象或实体周围从10到30米。或者，可以根据用户的视野来设置触发区，例如，当与应用相关联的位置、对象或实体在用户的视野中时，则可以针对该特定用户来触发该应用。视野触发区可以独立于离用户的距离。或者，触发区也可以是由用户的听觉领域定义的区域(例如，当用户不能看到与应用相关联的位置、对象或实体时，因为它被隐藏在另一个对象的后面，但是他在理论上可以听到来自它的任何声音)。这种类型的触发区可能受到距离的限制，但是也可以考虑附近材料或物体的任何潜在的声音吸收。

根据图1B中的描述，当用户106接近触发区110时，网络104可以基于用户设备108的位置数据来检测和跟踪用户设备108。一旦客户端访问触发区110，网络104就可以用信号通知服务器116向用户设备108发送最小量的应用图形表示。如本文所用，术语“最小量”不是指最小的可能量，而是指预定的或阈值量。最小量可以根据系统设计、用户偏好等而变化。以下提供了可能的最小量的示例。

如果用户106经由用户设备108与应用图形表示交互，则服务器116可以基于用户观看位置、朝向和观看角度来确定两个或更多个媒体流，可以使用例如从用户设备、或外部凝视跟踪系统、或其它源、或其组合接收的位置、朝向和/或观看角度信息来计算用户观看位置、朝向和观看角度。之后，服务器116可以继续对要经由用户设备108传递到用户106的媒体内容执行重载计算，然后可以将计算的媒体内容发送到用户设备108，用户设备108可以仅需要对渲染后的媒体内容进行轻量级计算任务，以便向用户适当地输出媒体内容。应用可以虚拟附接的虚拟世界实体可以表示现实世界对象，或者可以是不存在于现实世界中的完全虚拟对象。表示现实世界对象的虚拟世界实体在这里可以被称为虚拟副本。

在本公开中，术语"虚拟副本"是指现实世界元素的准确且持久性虚拟表示。在实施例中，虚拟副本包括提供自计算能力和自主行为的数据和模型。虚拟副本的数据和模型可以通过连接到现实世界元素的多个软件平台，软件引擎和传感器而被输入。数据是虚拟副本的属性，模型是对应的现实世界元素的任何方面的图形、数学和逻辑表示，数据和模型可用于在持久性虚拟世界系统中复制现实，例如3D模型，动态模型，几何模型和机器学习模型。

在本公开中，术语"持久性"用于表征在没有连续进行进程或网络连接的情况下可以继续存在的系统的状态。例如，术语"持久性"可用于表征虚拟世界系统，其中虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和数字现实应用在用于创建虚拟副本、纯虚拟对象和数字现实应用的过程停止之后继续存在，而不依赖于用户连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置(例如，在服务器中)。以这种方式，即使用户没有连接到服务器，虚拟副本、纯虚拟对象和数字现实应用在被配置用于实现特定目标时可以相互交互和协作。

"自计算能力"，在这里也称为"自管理能力"，是指持久性虚拟世界系统的虚拟副本应用人工智能算法以便自主管理计算机资源(例如，分布式计算资源)的能力。在一个实施例中，具有自计算能力的虚拟副本能够自主地管理计算资源以适应相应现实世界元素的环境或现实世界元素本身的变化。因此，每个虚拟副本可以根据在持久性虚拟世界系统中反映的现实世界中的条件，通过分配所需的资源，自主地发送和执行命令以及根据每个环境的需要生成事件而自主地动作。实现这种类型的行为可能需要在虚拟副本的建模期间用人工智能算法训练虚拟副本。因此，虚拟副本编辑器的角色可限于定义引导自我管理过程的一般策略和规则。例如，在汽车事故的情况下，靠近事故的自主车辆的虚拟副本可以决定降低其速度或停止，以便使交通状况恶化，并且在车辆中的乘客甚至可以知道存在事故之前，通知相关的当局。

本公开的系统100可以在云到边缘基础设施中实现，所述云到边缘基础设施可以使用共有云或私有云，雾服务器以及边缘设备和系统(例如企业系统，移动平台和用户设备)来显示分布式计算能力，所有这些都可以通过网络连接。使用云到边缘计算网络，对计算能力、计算机基础设施(例如，通过所谓的基础设施作为服务，或IaaS)、应用和商业过程的访问可以作为服务根据需要经由客户端设备被递送给用户。这样，包括物理服务器和网络设备的资源能够实现共享存储和计算，共享存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求等因素来动态分配。

一对虚拟现实孪生，或孪生对，包括现实世界元素及其对应的虚拟副本或虚拟孪生，并且可以被认为是网络物理系统或CPS。CPS是计算与物理进程的集成，物理进程的行为由系统的网络和物理部分来定义。因此，虚拟副本是CPS的网络部分，而物理部分是现实世界元素。然后，虚拟副本可以被认为是现实孪生的扩展，其允许将物理部分与人工智能和仿真连接，以改善对象的能力和性能。

在一些实施例中，虚拟副本包括3D世界和建筑数据中的一个或多个，例如基于SLAM或衍生建图的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据，其可以用于为数字现实应用建模3D结构。

在一些实施例中，持久性虚拟世界系统的每个虚拟副本可以使用适合与当前地理定位技术一起使用的参考坐标系进行地理定位。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，WGS84是GPS使用的当前参考坐标系。

虚拟副本可以表示连接到持久性虚拟世界系统的元素，例如用户设备和其它设备，以及未连接的元素。用户设备可以是例如移动设备，个人计算机，游戏控制台，媒体中心，智能隐形眼镜和头戴式显示器。其它设备可以指可以连接到网络，可以彼此通信，并且从多个源接收感测信息的任何设备或机器，这是一种现在被称为物联网(IoT)的技术概念，并且这种设备可以被称为IoT设备。未连接的元素是指这样的元素，对于这些元素，虚拟副本模型仅基于对应的现实元素的相应现实外观和物理，但是它们没有连接到持久性虚拟世界系统，因此不发送任何实时状态更新。这些未连接的元素可以是，例如，地形和其它自然存在的元素，例如树，山，地形和天空，它们可以根据它们的视觉外观和物理建模，但是可以不包含从它们捕获实时数据的传感器。

用于将现实世界对象转换为虚拟副本的建模技术可以基于本领域已知的技术。例如，建筑物所有者可以提供已经存在的建筑物的数字模型，其可以被集成在持久性虚拟世界系统104中。在其它实施例中，雷达成像，例如合成孔径雷达，真实孔径雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术，可以用于在将现实世界对象集成在持久性虚拟世界系统中之前，对它们进行建图和建模。

举例来说，在应用102虚拟地附接到现实世界对象的虚拟副本的情况下，应用102可虚拟地附接到位于公园内某处的现实世界鞋。在该示例中，应用102可能需要被配置为(例如，在应用的开发阶段期间)在鞋的现实世界坐标处可用。该系统可以提供关于鞋的多种类型的信息，包括现实世界坐标中的鞋的位置、朝向和尺寸。存储在服务器116中的鞋的数字版本可以在用户106访问在鞋周围配置的触发区110之后，通过用户设备108作为静态或动画鞋对用户106是可见的。虚拟鞋例如可以静态地漂浮在空中，并且还可以进行循环动画，例如围绕其中心轴旋转。在另一个例子中，完全虚拟的物体不存在于现实世界中，例如虚拟鞋，其不存在于现实生活中并且可以被配置成漂浮在空中。在该示例中，用户106将仅能够通过用户设备108观看漂浮的鞋。

上面的示例描述了虚拟附接到静态虚拟世界实体的应用。然而，应用也可以虚拟地附加到动态虚拟世界实体，例如现实世界的人。在该示例中，应用102的触发区110可以在应用开发阶段期间被部署在现实世界的人的用户设备108周围，并且应用的坐标可以基于对用户106所携带的一个或多个用户设备108的连续跟踪。因此，一旦用户106已经访问了位于应用102虚拟附接的人周围的触发区110，应用102就可以被激活，并且此后可以开始与来自应用102的媒体内容进行交互。

根据实施例，一旦服务器116开始流式传送对应于应用102的媒体内容，如果用户离开服务器区112，则用户可以具有继续与服务器区112之外的应用102交互的选项。根据实施例，最小量的应用图形表示可以包括一个或多个图像，该图像向用户106显示应用的清晰表示，并且只需要用户设备108下载少量的数据。例如，最小量的应用图形表示可以包括一个或多个静态二维图像，循环动画的动态二维图像，静态三维图像，循环动画的动态三维图像，或其任何组合。

在一些实施例中，服务器116可以位于计算中心，该计算中心位于相对靠近虚拟世界实体114的区域中。计算中心可以指被安排来容纳计算机系统和相关组件的设施，例如电信和存储系统，电源，冗余数据通信连接，环境控制和各种安全设备。根据实施例，网络104可以包括天线(未示出)，其可以被配置为向系统100的元素提供通信。天线可以通过有线或其它方式连接到计算中心。在其它实施例中，在计算中心和/或由计算中心服务区域的内提供天线。在一些实施例中，为了服务位于室外的用户设备108，天线可以包括基于毫米波(mmW)的天线系统或者基于mmW的天线和sub 6GHz天线系统的组合。在其它实施例中，天线可以包括其它类型的天线，例如4G天线，或者可以用作mmW/sub GHz天线系统的支持天线。在用于服务位于室内的交互设备的天线的实施例中，天线可以使用无线局域网(WiFi)，包括但不限于提供60GHz的数据。

在其它实施例中，全球导航卫星系统(GNSS)(其统称为多个基于卫星的导航系统，例如GPS,BDS,Glonass,QZSS,Galileo和IRNSS)可用于实现设备的定位。使用来自足够数量的卫星和诸如三角测量和三边测量的技术的信号，GNSS可以计算设备的位置，速度，高度和时间。在一个实施例中，外部定位系统由辅助GNSS(AGNSS)通过现有蜂窝通信网络的体系结构来增强，其中现有体系结构包括5G。在其它实施例中，AGNSS跟踪系统还由4G蜂窝通信网络支持。在室内实施例中，通过诸如Wi-Fi的无线电无线局域网进一步增强GNSS，优选地但不限于，提供60GHz的数据。在替代实施例中，通过本领域已知的其它技术来增强GNSS，例如通过差分GPS(DGPS)，基于卫星的增强系统(SBAS)，实时运动学(RTK)系统。在一些实施例中，通过设备中的AGNSS和惯性传感器的组合来实现设备的跟踪。

在一些实施例中，提供网络104对用户设备108的跟踪可以使用本领域已知的几种技术来执行。例如，可以通过采用到达时间(TOA)，到达角度(AOA)以及本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)来执行跟踪。

根据实施例，用户设备108可以包括允许连接到无线网络104并且可以允许与一个或多个应用102交互的硬件和软件。经由用户设备108与应用102的用户交互可以是启用手势，由此用户106可以采用一个或多个手势来进行交互。例如，手势可以是自然用户界面(NUI)手势，这使得用户能够自然地与设备交互，而不受诸如鼠标，键盘，遥控器等输入设备所施加的人工约束。NUI方法的示例包括采用手势的那些方法，例如触觉和非触觉接口，例如语音识别，触摸识别，面部识别，触笔识别，空气手势(例如手姿势和运动以及其它身体/肢体运动/姿势)，头和眼睛跟踪，声音和语音发声，以及至少与例如视觉、语音、声音、姿势和触摸数据相关的机器学习。NUI技术包括但不限于触敏显示器，声音和语音识别，意图和目标理解，使用深度相机(例如，立体相机系统，红外相机系统，彩色相机系统及其组合)的运动姿势检测，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示器，头部，眼睛和凝视跟踪，沉浸式增强现实和虚拟现实系统(例如，HoloLens^TM，由微软公司制造，或OculeRift^TM，它们是头戴式计算机设备，具有使用全息透镜和空间声音以及其它能力的显示器)，所有这些提供更自然的用户界面，以及使用电场感测电极(例如，脑电图仪(EEG))和其它神经生物反馈方法感测脑活动的技术。

根据实施例，来自应用102的媒体内容可以包括以下中的至少一个：图像数据，3D几何形状，视频数据，音频数据，文本数据，触觉数据或其组合。此外，媒体内容的一个或多个部分可以包括增强现实(AR)，虚拟现实(VR)或混合现实(MR)数字内容。AR数字内容可以包括由诸如声音，视频，图形或GPS数据之类的计算机生成的感测输入增强的物理的，现实世界的环境元素。增强技术通常是实时地执行的，并且在具有环境元素的语义情境中执行，例如覆盖现实世界中的补充信息或虚拟对象。AR数字内容允许关于用户106的周围现实世界或现实世界中的虚拟对象覆盖的信息变成交互式和数字可操纵的。VR数字内容可以包括用于用模拟的现实世界代替现实世界的虚拟元素。MR数字内容可以包括与虚拟元素交互的增强的物理，现实世界环境元素的混合。例如，MR体验可以包括相机捕获真实人的情况。随后，合适的计算机软件创建人的3D网格，然后将其插入到虚拟世界中并且能够与现实世界交互。

在应用102中使用的媒体内容的记录或生成可以通过在专利申请号PCT/EP2016/001626中描述的方法来执行，该申请由本公开的同一发明人于2017年4月6日提交。如该公开中所解释的，当预先记录的或现场媒体稍后作为媒体内容呈现给一个或多个用户106时，则希望考虑每个用户106的实际观看朝向和相对头部位置，以便可以向每个单独的用户106提供包括具有右视差信息的正确图像的输出流。为此目的，用户设备108可以配备有传感器以确定用户设备108的相对位置以及耳机相对于观看者的相对朝向(三个角度)。该跟踪信息可以等于服务器116的6个自由度，以确定如何从多个媒体流中生成输出流。服务器116可以将包括观看位置、观看朝向和/或观看角度的用户设备的视角与从由相机阵列记录或由计算机产生的预先记录的或现场视频记录的视场或视角进行比较。随后，服务器116可以确定要呈现给用户设备的两个或更多个媒体流，并且可以确定与用户106的观看位置、观看朝向和/或观看角度最佳对应的一个或多个媒体流。类似地，确定向用户显示的最小量的应用图形表示可以包括考虑用户观看位置，观看朝向和/或观看角度，以便向用户显示正确的图像。

图2描绘了根据本公开的实施例的系统的示意图，详细描述了服务器116的表示。图2可以包括与图1A-1B类似的元素，因此可以包含相同或类似的附图标记。

在图2中，示例性服务器116经由网络104通信地连接到用户设备108，并且至少包括处理器202和存储器204。

处理器202可以被配置为访问和执行包括在存储器中的指令和数据，包括对来自应用的媒体内容的处理。该处理可以包括各种操作，以允许来自应用的输入，例如视觉和声音输入，并且将该输入转换为输出视频流，该输出视频流此后被流式传送到用户设备108。当从应用接收媒体内容时，处理器202可以执行媒体内容的预处理操作，包括声音和视频压缩和组装。处理器202还可以基于用户设备108的观看位置，朝向和/或观看角度来确定要传送到用户设备108的两个或更多个媒体流；执行媒体流的渲染任务。类似地，在用户访问触发区时，处理器202可以基于客户端观看位置，朝向和/或观看角度来确定最小量的应用图形表示的适当定位。在确定两个或更多个媒体流之后，处理器202可以以这样的方式对媒体内容进行重载计算，即用户设备108可能只需要对处理后的媒体内容执行轻量级计算任务，以便向用户充分地呈现处理后的媒体内容。

媒体内容的渲染可以包括各种渲染技术，这些渲染技术可以形成从应用接收的两个或更多个真实感3D媒体流，包括但不限于扭曲(warp)，拼接和内插两个或更多个媒体流。渲染可以包括基于输入流数据的更复杂的重构过程。例如，渲染可以依赖于标准图像重建技术的组合，例如拼接，扭曲，内插和外插。例如，可能需要在基于可用媒体流没有或有限(可视)信息可用的区域中进行外推，以便填充媒体数据中的空白或空洞。然而，应当理解，重建过程不限于计算机视觉技术，并且可以进一步考虑关于场景的空间数据，其可以包括重建的3D几何信息，关于材料的参数和光场中的一个或多个，其可以对应于所捕获的场景中的光流等的任意组合。空间数据可用于利用3D渲染技术来重新渲染所捕获的场景。在一个或多个实施例中，输出流的渲染可以包括使用深度学习技术和/或神经网络，其可以被用于从拍摄自不同视点的相同场景的媒体流的图像序列或帧序列，重新创建输出流的图像或帧。这可以实现输出流的复杂重构和生成，即使场景的至少一部分没有被完全或完全详细地捕获。

在一些实施例中，处理器202不限于来自应用的二维视觉输出数据，并且例如可以能够接收应用的立体输出和相关命令，并产生两个视频流或一个隔行视频流，为用户的每个相应眼睛传输视觉数据。类似地，处理器202还能够生成承载空间声音数据的音频流以及用于其它多维多模式数据的数据流。

在一个实施例中，可以进一步处理多个媒体流，使得输出流的质量被聚焦到观看者实际正在观看的位置，例如基于确定的凝视朝向，或者在帧的中心。此外，媒体流可以被处理，以便能够进行预测的运动重建或外推媒体流，包括预测观看者接下来要看哪里并且预先重建这个区域。此外，可以应用考虑眼睛的聚焦距离(例如由瞳孔的相对位置和朝向确定)的附加处理，以进一步提高输出流的质量和保真度。非限制性的例子是聚焦距离相关的偏移和视差效应以及场景的那些部分的失焦模糊，这些部分可以被确定为对于观看者是失焦的。

存储器204可以存储处理器202可访问的信息，包括可以由处理器202执行的指令和数据(未示出)。存储器204可以是能够存储处理器202可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，所述电子设备例如硬盘驱动器，存储卡，闪存驱动器，ROM,RAM,DVD或其它光盘，以及其它可写和只读存储器。除了永久存储器之外，存储器204还可以包括临时存储器。指令可直接(例如，机器代码)或间接(例如，脚本)由处理器202执行。指令可以以目标代码格式存储以供处理器202直接处理，或者以任何其它计算机语言存储，包括可以按需解释或预先编译的独立源代码模块的脚本或集合。数据可以由处理器202根据指令检索，存储或修改。例如，数据可以存储在计算机寄存器中，作为具有多个不同字段和记录，XML文档或平面文件的表存储在关系数据库中。数据也可以以任何计算机可读格式格式化。

存储器204可以包括持久性虚拟世界系统206。持久性虚拟世界系统206可以包括现实世界的虚拟版本，该虚拟版本包括根据现实世界坐标定位的现实世界实体，包括纬度和纵向位置和朝向数据。持久性虚拟世界系统206还可以包括在现实世界空间中配置的一个或多个应用存储208，每个应用存储208包括一个或多个应用102。应用存储208的每个应用102可以虚拟地附加到在现实世界位置可用的虚拟世界实体，并且可以由最少量的应用图形表示来表示。

在一些实施例中，用户可以完全虚拟地(即，在虚拟现实中)访问应用216。换句话说，用户可以使用用户设备108来虚拟地行进到存储在持久性虚拟世界系统206中的虚拟地点，而不必物理地移动到这些地点。地点可以是在现实世界中找到的地点，可以是仅在虚拟世界中找到的计算机生成的地点，或者可以包括它们的组合。在这些实施例中，用户能够在访问配置在虚拟实体周围的虚拟触发区之后查看和访问应用216。

图3A-3B描绘了根据本公开的实施例的系统的示意图，详细描述了用户设备108的表示。在一些实施例中，用户设备108被实现为包括硬件和/或软件的计算设备，所述硬件和/或软件被配置为接收可消费媒体数据并且以沉浸式内容的形式向用户呈现内容。

在图3A中，用户设备108经由网络104通信地连接到服务器116。用户设备108可以包括系统组件，例如输入/输出(I/O)模块302，电源304，存储器306，传感器308和收发器310，以及网络接口312，它们都可操作地连接到处理器314。

I/O模块302被实现为被配置为与用户交互并向一个或多个其它系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块302可以被配置为与用户交互，基于交互生成用户输入数据，并且在用户输入数据被传送到诸如服务器116之类的其他处理系统之前将用户输入数据提供给用户设备108的处理器314。在另一示例中，I/O模块302被实现为被配置为与用户设备108交互的外部计算定点设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)。在其它实施例中，I/O模块302可提供比上述功能更多、更少或不同的功能。

电源304被实现为被配置为向用户设备108供电的计算硬件。在一个实施例中，电源304可以是电池。电源304可以被内置到用户设备108中或者可以从用户设备108中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，用户设备108可以通过用另一个电源304替换一个电源304来重新供电。在另一个实施例中，电源304可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线("USB")火线，以太网，雷电或耳机电缆。在又一个实施例中，电源304可以通过感应充电进行再充电，其中，当感应充电器和电源304两者非常接近时，使用电磁场将能量从感应充电器传递到电源304，但不需要通过电缆彼此插入。在另一个实施例中，可以使用对接站来促进充电。

存储器306可以被实现为适于存储应用指令和存储来自传感器308的用户设备108的遥测元数据的计算软件和硬件。存储器204可以是能够存储处理器314可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，所述电子设备例如硬盘驱动器，存储卡，闪存驱动器，ROM,RAM,DVD或其它光盘，以及其它可写和只读存储器。除了永久存储器之外，存储器204还可以包括临时存储器。

传感器308可以被实现为适于从用户获得各种遥测元数据的计算软件和硬件。传感器308可以包括例如惯性测量单元(IMU)，加速计，陀螺仪，光传感器，触觉传感器，相机，眼睛跟踪传感器和麦克风等中的一个或多个。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告用户设备108的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，IMU内的加速度计可以包括能够在三个正交方向上测量加速度的三轴加速度计。在其它实施例中，可以在IMU内包括一个，两个，三个或更多个单独的加速度计。在其它实施例中，可以包括与IMU分开的附加加速度计和陀螺仪。光传感器，触觉传感器，相机，眼睛跟踪传感器和麦克风可以被用于捕获来自用户和他或她的环境的输入细节，该输入细节可以被发送到服务器，以根据用户的观看位置和朝向，离应用的距离和环境因素，例如照明和声音，以及实现与语音和触觉相关的交互，来确定要被递送到用户设备的一个或多个媒体流。

收发器310可以被实现为计算软件和硬件，其被配置为使得用户设备108能够从天线接收通信信号并且当与媒体内容交互时将数据发送回天线。在一些实施例中，可以使用mmW收发器，其可以被配置为从天线接收mmW波信号，并且当与沉浸式内容交互时将数据发送回天线。收发器310可以是双向通信收发器310。

在实施例中，将IMU，加速度计和陀螺仪的能力与由收发器310提供的位置跟踪以及由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能相结合可以实现亚厘米或亚毫米位置和朝向跟踪，这可以提高在跟踪交互设备的实时位置和朝向时的精确度，并且可以改善在与沉浸式媒体内容交互时的一般用户体验。

网络接口312可以被实现为计算软件和硬件，以通信地连接到网络104，从网络104接收由服务器116发送的计算机可读程序指令，并且转发计算机可读程序指令，以便存储在用户设备的存储器306中，以便由处理器314执行。

处理器314可以被实现为计算硬件和软件，其被配置为接收用户输入数据，提供成像请求，接收成像数据，将成像数据处理成环境或其它数据，处理用户输入数据和/或成像数据以生成用户交互数据，提供服务器请求，接收服务器响应，和/或将用户交互数据，环境数据和内容对象数据提供给一个或多个其它系统组件。例如，处理器314可以从I/O模块302接收用户输入数据，并且可以分别实现存储在用户设备108的存储器306中的应用。在其它示例中，处理器314可从传感器308(例如，关于用户的手移动，控制器操纵，行进轨迹等的信息)，从收发器310或从其组合接收位置，位置或其它遥测元数据。处理器314还能够实现模拟或数字信号处理算法，例如原始数据减少或滤波。

图3B示出了实施例，其中用户设备108包括I/O模块302，电源304，存储器306，耦合的传感器/收发器316和网络接口312，它们都可操作地连接到处理器314。用户设备108的各个组件的功能与图3A中详细描述的相同。

在其它实施例中，可以省略用户设备108的一个或多个组件，或者可以添加一个或多个附加组件。

图4描绘根据本发明实施例的用于能够实现基于位置的应用的激活的计算机实施的方法400的流程图。例如，方法400可以由根据本公开的实施例的系统执行，例如关于图1至3所讨论的系统。

方法400可以在步骤402和404处开始，在服务器的存储器中提供包括现实世界的虚拟版本的持久性虚拟世界系统，现实世界的虚拟版本包括虚拟附接到根据现实世界坐标定位的虚拟世界实体的一个或多个应用。在服务器中提供应用还可以包括开发，测试，验证，部署应用和将应用存储在服务器的存储器中。在服务器中提供数字应用还可以包括由服务器进行的预处理，例如执行声音和视频压缩和组装。然后，如步骤406所示，当采用用户设备的用户接近应用时，网络可以检测并跟踪用户设备位置。方法400可以进行到检查408，检查用户设备是否位于触发区内。在否定的情况下，方法400返回到步骤404，检测和跟踪用户设备位置以检测和跟踪用户设备位置。如果用户设备已经位于触发区内，则方法400如步骤410所示进行，服务器向用户设备提供最小量的应用图形表示。提供最小量的应用图形表示可以包括考虑用户观看位置，观看朝向和/或观看角度来确定图形表示，以便向用户显示正确的图像。

然后，在步骤412中，方法400继续，服务器基于用户观看位置，朝向和角度来确定两个或更多个媒体流。随后，在步骤414中，方法400进行，服务器对媒体内容进行重载计算，此后在步骤416中，向用户设备提供最近计算的媒体内容以及在用户设备上进行轻量级计算任务的指令。然后，用户设备可以对所计算的媒体内容进行这些轻量级计算任务，并继续与应用进行交互，在418中结束该过程。

虽然已经在附图中描述和示出了某些实施例，但是应当理解，这样的实施例仅仅是说明性的，而不是对宽泛的发明进行限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改。因此,本说明书应被认为是示例性的而不是为了限制本发明。

Claims (20)

1.一种能够实现基于位置的应用激活的系统，其特征在于，包括：

一个或多个服务器，所述一个或多个服务器包括存储器和处理器，所述一个或多个服务器存储和提供包括现实世界空间的虚拟版本的持久性虚拟世界系统，所述虚拟版本包括一个或多个应用，所述一个或多个应用虚拟附接到根据现实世界坐标定位的一个或多个虚拟世界实体，利用所述一个或多个应用的应用图形表示，在所述现实世界空间的所述虚拟版本中表示所述一个或多个应用，其中，与所述一个或多个应用的所述应用图形表示交互的用户从所述一个或多个应用接收媒体内容，并且所述一个或多个服务器被配置为至少：

计算所述一个或多个虚拟世界实体的状态；

响应于检测到用户设备进入与所述一个或多个应用相关联的触发区，激活所述一个或多个应用，并经由无线网络向所述用户设备发送所述一个或多个应用的最小量的所述应用图形表示；

响应于检测到用户与所述一个或多个应用的所述应用图形表示的交互，基于用户观看位置、朝向和观看角度来确定两个或更多个媒体流，其中确定所述两个或更多个媒体流向所述一个或多个服务器发送信号，以对相应的应用媒体内容进行重载计算任务；和

向所述用户设备流式传送媒体内容，用于输出所述媒体内容。

2.如权利要求1所述的系统，其特征在于，还包括经由无线网络连接到所述一个或多个服务器、并被配置成接收和执行所述一个或多个应用的所述用户设备。

3.如权利要求1所述的系统，其特征在于，所述重载计算任务包括由所述一个或多个服务器对所述应用媒体内容进行预处理，所述预处理至少包括声音和视频压缩操作。

4.如权利要求3所述的系统，其特征在于，关于媒体内容的所述重载计算任务还包括物理模拟、照明、阴影模拟或渲染，或其组合。

5.如权利要求1所述的系统，其特征在于，所述一个或多个应用虚拟附接的所述一个或多个虚拟世界实体包括现实世界对象的虚拟副本，所述虚拟副本包括提供自计算能力和自主行为的数据和模型。

6.如权利要求5所述的系统，其特征在于，所述虚拟副本表示连接到所述持久性虚拟世界系统的元素和未连接的元素，连接的元素包括计算设备。

7.如权利要求1所述的系统，其特征在于，所述一个或多个应用虚拟附接的所述一个或多个虚拟世界实体包括不存在于所述现实世界中的完全虚拟对象。

8.如权利要求1所述的系统，其特征在于，所述用户设备包括移动电话，膝上型计算机，移动游戏控制台，头戴式显示器，智能隐形眼镜或透视设备。

9.如权利要求1所述的系统，其特征在于，所述系统被配置成用于在增强现实，虚拟现实，混合现实或其组合中与所述一个或多个应用进行用户交互。

10.如权利要求1所述的系统，其特征在于，还基于存储在所述存储器中的或通过社交媒体网络获得的用户的简档信息来确定所述两个或更多个媒体流。

11.一种计算机实现的方法，其特征在于，用于能够实现由包括一个或多个服务器计算机的服务器系统进行的基于位置的应用的激活，所述计算机实现的方法包括：

在所述服务器系统中提供包括现实世界空间的虚拟版本的持久虚拟世界系统，所述虚拟版本包括一个或多个应用，所述一个或多个应用虚拟附接到根据现实世界坐标定位的虚拟世界实体；

接收一个或多个用户设备的位置；

至少部分地基于所述一个或多个用户设备的所述位置来确定所述一个或多个用户设备是否已经进入应用触发区；

在确定所述一个或多个用户设备进入所述应用触发区时，向所述一个或多个用户设备提供最小量的应用图形表示；

响应于所述一个或多个用户设备已经下载了所述最小量的应用图形表示的指示，基于用户观看位置、朝向和观看角度来确定两个或更多个媒体流；

响应于确定所述两个或更多个媒体流，对应用媒体内容进行重载计算任务；和

向所述一个或多个用户设备发送渲染的媒体内容和在其上进行轻量级计算任务的指令。

12.如权利要求11所述的方法，其特征在于，所述重载计算任务包括预处理所述应用媒体内容，所述预处理至少包括声音和视频压缩操作。

13.如权利要求12所述的方法，其特征在于，所述重载计算任务还包括进行物理模拟，照明，阴影模拟或渲染中的一个或多个，或其组合。

14.如权利要求11所述的方法，其特征在于，所述一个或多个应用虚拟附接的所述虚拟世界实体包括现实世界对象的虚拟副本，所述虚拟副本包括提供自计算能力和自主行为的数据和模型。

15.如权利要求14所述的方法，其特征在于，所述虚拟副本表示连接到所述持久性虚拟世界系统的元素和未连接的元素，连接的元素包括计算设备。

16.如权利要求11所述的方法，其特征在于，所述一个或多个应用虚拟附接的所述虚拟世界实体包括不存在于所述现实世界中的完全虚拟对象。

17.根据权利要求11所述的方法，其特征在于，所述一个或多个用户设备包括一个或多个移动电话，膝上型计算机，移动游戏控制台，头戴式显示器，智能隐形眼镜或透视设备。

18.如权利要求11所述的方法，其特征在于，还包括在增强现实，虚拟现实或混合现实或其组合中处理用户交互。

19.如权利要求11所述的方法，其特征在于，还基于存储在所述服务器系统中的或通过社交媒体网络获得的用户的简档信息来确定所述两个或更多个媒体流。

20.一种其上存储有计算机代码的非暂时性计算机可读介质，其特征在于，所述计算机代码被配置成使一个或多个计算设备进行以下步骤，所述步骤包括：

提供包括现实世界空间的虚拟版本的持久性虚拟世界系统，所述虚拟版本包括一个或多个应用，所述一个或多个应用虚拟附接到根据现实世界坐标定位的虚拟世界实体；

接收一个或多个用户设备的位置；

至少部分地基于所述一个或多个用户设备的所述位置来确定所述一个或多个用户设备是否已经进入应用触发区；

在接收到所述一个或多个用户设备进入所述应用触发区的指示时，向所述一个或多个用户设备提供最小量的应用图形表示；

响应于所述一个或多个用户设备已经下载了最小量的应用图形表示的指示，基于用户观看位置、朝向和观看角度来确定两个或更多个媒体流；

响应于确定所述两个或更多个媒体流，对应用媒体内容进行重载计算任务；和

向所述一个或多个用户设备发送渲染的媒体内容和在其上进行轻量级计算任务的指令。

Images