CN112102498A - 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 - Google Patents

Abstract

一种系统，方法和芯片，其可用于将数字现实应用附接到虚拟世界中的动态对象并实现与所述动态对象的交互。该系统包括服务器，该服务器包括存储静态和动态现实世界对象的虚拟副本的持久性虚拟世界系统。经由网络连接到服务器的客户端设备实现与虚拟附接到现实世界的动态对象的一个或多个数字现实应用的交互。安装在现实世界的动态对象上的芯片存储至少包括主机动态对象的地理位置数据的动态对象数据。将存储在服务器中的静态对象数据和动态对象数据组合生成持久性虚拟世界系统，可以被流式传送到客户端设备，以便与用户交互，同时精确地跟踪动态对象和客户端设备。

Description

用于将应用虚拟地附接到动态对象并实现与动态对象的交互 的系统和方法

相关申请的交叉引用

本申请要求2019年6月18日提交的临时申请No.62/863092的权益，出于所有目的将其全部公开内容通过引用并入本文。

技术领域

本发明大体上涉及计算机系统，并且更具体地涉及数字现实应用及与数字现实中的动态对象的交互。

背景技术

用于向用户提供数字现实应用内容的技术发展已经实现了过去不可能的体验。特别地，诸如增强现实(AR)，虚拟现实(VR)和混合现实(MR)的数字现实改变了用户对他们正在看什么，听什么和感觉到什么的感知，以及有多少现实世界进入这些体验，从而向用户提供在现实世界或想象世界中的场所中物理存在的感觉。

传统上，AR内容被定位为两种方式之一：本地和全球。在本地，AR可以相对于相机附近的可跟踪特征(例如，标记/QR代码)或在3-D空间(例如，具有点云)中被定位。另一方面，全球定位的AR相对于全球坐标系(通常是世界大地测量系统(WGS)等)被定位。这样，这种定位受到设备能够在同一坐标系内定位和定向的准确和精确程度的限制。

动态对象的实际跟踪通常由多个传感器实现，多次忽略现实环境中的地形和其它对象的位置。一些无标记AR技术采用通过SLAM或其它方法的映射，以便定位应用并实现应用和场景中现实对象之间的交互，但是这些技术可能是耗时或耗资源的。根据用户的观看位置和朝向，体验通常也是个性化的，而不能够实现与其他用户共享体验。此外，用户可能需要下载随后直接在用户的客户端设备上运行的应用，这使得客户端设备耗费时间和资源。最后，跟踪客户端设备的观看位置和朝向对于媒体流如何被传送给用户是决定性的。然而，当前的跟踪技术可能导致不准确，并且可能导致媒体流与用户的移动不协调，从而导致诸如眩晕，不舒服的问题，并且有时导致低交互时间和对这种应用的需求。

所希望的是一种系统和方法，其能够与考虑到与现实世界的关系的数字现实应用进行个人或共享交互，同时提供对现实世界中的对象和用户的准确跟踪。

用于向用户提供数字现实应用内容的技术发展已经实现了过去不可能的体验。特别地，诸如增强现实(AR)，虚拟现实(VR)和混合现实(MR)之类的数字现实改变了用户对他们正在看什么，听和感觉的感知，以及有多少真实世界进入这些体验，从而向用户提供真实世界或想象世界中的场所中的物理存在的感觉。

传统上，AR内容被定位为两种方式之一：本地和全局。在本地，AR可以相对于相机附近的可跟踪特征(例如，标记/QR代码)或在3-D空间(例如，具有点云)中定位。另一方面，全球定位的AR相对于全球坐标系(通常是世界大地测量系统(WGS)等)定位。这样，这种定位受到设备能够在同一坐标系内定位和定向的精确和精确程度的限制。

动态对象的实际跟踪通常由多个传感器实现，多次忽略真实环境中的地形和其它对象的位置。一些无标记AR技术采用通过SLAM或其它方法的映射，以便定位应用程序并实现应用程序和场景中真实对象之间的交互，但是这些技术可能是耗时或耗资源的。根据用户的观看位置和方向，体验通常也是个性化的，而不允许与其他用户共享体验。此外，用户可能需要下载随后直接在用户的客户端设备上运行的应用程序，这使得客户端设备耗费时间和资源。最后，跟踪客户端设备的观看位置和方向对于媒体流如何被传送给用户是决定性的。然而，当前的跟踪技术可能导致不准确，并且可能导致媒体流与用户的移动不协调，从而导致诸如眩晕，不舒服的问题，并且有时导致低交互时间和对这种应用的需求。

所希望的是一种系统和方法，其能够与考虑到与现实世界的关系的数字现实应用程序进行个人或共享交互，同时提供对现实世界中的对象和用户的准确跟踪。

发明内容

提供该概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。

背景技术中公开的缺点在本公开的实施例中通过用于将数字现实应用附接到动态对象和/或实现与动态对象的交互的系统和方法来解决。所述系统和方法包括虚拟化现实世界的静态对象，并且将包括对象或应用数据的一个或多个芯片虚拟地附接到动态对象。可以将来自芯片的数据直接传送到客户端设备，从而减少等待时间并增强数字现实体验，同时可以从服务器获得来自静态对象的数据，从用户的视角产生包括动态和静态对象的平滑虚拟世界。在附接应用之前虚拟化现实世界的静态对象使得能够以更现实的方式呈现诸如静态对象和动态对象或其它虚拟对象之间的冲突和遮挡之类的效果。另外，系统和方法可以包括实时移动和眼睛跟踪能力，其使得能够根据观看者的位置和朝向来提供媒体流。将芯片附接或嵌入到动态对象中还可以使得能够在增强，虚拟或融合的现实环境中配置动态对象，以实现对动态对象的物理或虚拟改变。应用和虚拟对象可以经由诸如移动设备，个人计算机，游戏控制台，媒体中心和头戴式显示器中的一个或多个的客户端设备来交互。

本公开的系统包括被配置为存储和处理数据的服务器，该服务器包括存储静态和动态现实世界对象的虚拟副本的持久性虚拟世界系统；以及安装在现实世界的动态对象上的包括存储器和处理器的芯片，存储器包括动态对象数据和指令，动态对象数据和指令在由处理器执行时触发处理器对所述主机动态对象执行一个或多个物理或虚拟动作。动态对象数据至少包括主机动态对象的地理位置数据。将存储在服务器中的静态对象数据与动态对象数据相结合，生成持久性虚拟世界系统，并将持久性虚拟世界系统的内容流式传送到客户端设备与用户交互。当具有客户端设备的用户接近与数字现实应用相关联(例如，虚拟地附接到数字现实应用)的动态对象时，数字现实应用检索客户端设备的物理位置和朝向，触发客户端设备从服务器，芯片或其组合检索和输出应用数据。在一个实施例中，客户端设备经由网络连接到服务器，并且实现与虚拟附接到动态对象的一个或多个数字现实应用的交互。客户端设备接收与在增强现实，虚拟现实或混合现实中的持久性虚拟世界系统内观看的应用相对应的媒体流。

在一个实施例中，所述芯片被配置成从所述一个或多个服务器检索包括物理数据，3D数据结构和一个或多个应用或应用数据的附加数据，其中所述芯片被配置成将所述附加数据与存储在所述芯片中的地理位置数据组融合，并将组合的数据流式传送到所述客户端设备。客户端设备可以同时从服务器接收静态对象数据。客户端设备可以将附加数据和服务器数据融合到一个持久性虚拟世界系统中，该虚拟世界系统包括世界的对象和对应的应用。

在另一个实施例中，动态对象数据包括物理数据，3D数据结构，一个或多个应用或应用数据，以及地理位置数据，并且动态对象数据被配置为由客户端设备直接从芯片检索并由客户端设备与来自一个或多个服务器的静态对象数据组合到持久性虚拟世界系统中。

在另一个实施例中，包括物理数据，3D数据结构和/或虚拟附接到动态对象的一个或多个应用的附加数据被存储在一个或多个服务器中，并且其中一个或多个服务器被配置为将来自芯片的地理位置数据和附加数据融合到持久性虚拟世界系统中，该持久性虚拟世界系统可以被流式传送到客户端设备。

在另一个实施例中，包括物理数据，3D数据结构，和/或一个或多个应用或应用数据，以及地理位置的附加数据被存储在芯片中并且被传送到一个或多个服务器，其中，一个或多个服务器被配置为将附加数据和静态对象数据融合到持久性虚拟世界系统中，该持久性虚拟世界系统可以被流式传送到客户端设备。

在这样的附加数据被存储在服务器中的任何实施例中，芯片可以在一个或多个服务器中存储对附加数据的一个或多个位置的一个或多个引用，所述服务器可以包括相关数据或元数据。在说明性的情形中，客户端设备可以直接连接到芯片(其可以位于例如客户端设备中或任何现实世界对象或计算设备中，诸如物联网(IoT)设备)，并且芯片将位置(或指向该位置的数据或元数据)存储在服务器中，使得芯片能够在将数据传送到客户端设备之前访问和检索服务器中的数据。引用附加数据在服务器中的位置的数据或元数据可以是指向或引用到包括附加数据的服务器中的数据库的某种类型的引用ID号，代码或其它类型的位置数据。

在一个实施例中，来自数字现实应用的媒体体验可以在两个或更多个用户之间共享。服务器可以计算两个或更多个客户端设备的姿势(位置和朝向)，并为每个客户端设备提供相应的媒体流，同时从芯片中检索主机动态对象的位置和其它数据(如果必要的话)。

根据实施例，数字现实应用可以利用多种技术中的一种或多种来向客户端设备广播信号，从而警告客户端设备数字现实应用在客户端设备的位置附近可用。在一个实施例中，如果用户先前已经预订了服务器中的应用，则客户端设备的位置可以由服务器跟踪。因此，当用户接近数字现实应用时，数字现实应用可能已经准备好向客户端设备广播信号。在一个实施例中，当具有客户端设备的用户进入数字现实应用活动的位置时，数字现实应用可以经由来自芯片的接收机或双向收发机来检测来自设备的信号，指示设备可以在广播信号之前接收数字现实应用媒体流。

在一些实施例中，媒体流包括增强现实，虚拟现实或混合现实内容。媒体流可以包括3D图像数据，3D几何形状，3D实体，3D感测数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，朝向数据和照明数据等。因此，媒体流可以包括与数字现实应用虚拟附接到其上的动态对象相匹配的形状和图像，或者可以是包括对应于数字现实应用的特定功能的形状的一个或多个特征的改变的形状和图像的增强。

在一个实施例中，通过使用客户端设备或芯片在动态对象上的位置的近似技术来生成动态对象的3D交互形状。3D交互形状允许程序员虚拟地连接数字现实应用并允许用户与动态对象和应用之间的交互。近似技术可以包括外推或内插技术。更具体地，3D交互形状可以从芯片上的形状数据或者从芯片和一个或多个客户端设备外推，或者从来自芯片和动态对象上的一个或多个客户端设备的形状数据内推。例如，动态对象的3D交互形状可以在缺少任何其他客户端设备时仅从一个设备外推，例如从头戴式显示器外推，以便计算用户的向下近似。如果存在两个设备，例如头戴式显示器和鞋芯片，则服务器可以在两个设备之间插入一个部分。在另一个示例中，用户可以使用头戴式显示器，蜂窝电话和一个或两个鞋中的芯片，并且可以通过使用来自3个或更多个设备的数据来内插交互体积。因此，在这些实施例中，3D交互形状对应于芯片所附接的动态对象的形状的近似，并且交互形状相对于动态对象形状的精度与动态对象上的设备的数量和位置成比例。

根据一个实施例，动态对象数据包括被配置为生成3D交互形状的3D数据结构。在说明性场景中，3D数据结构生成用户可经由客户端设备观看并与其交互的3D交互形状。3D数据结构是指能够有效访问和修改的3D对象的数据组织和存储格式，包括例如八叉树，四叉树，BSP树，稀疏体素八叉树，3D阵列和k-d树。例如，3D数据结构可以存储在服务器中，或者存储在附接到动态对象或者嵌入到动态对象中并连接到服务器的芯片中。当3D数据结构直接生成3D交互形状时，交互形状相对于动态对象的精确度水平可以高于经由外推或内插的近似，但是可能需要更多的数据以及处理能力来生成3D交互形状。在一些实施例中，3D数据结构可以经由建模工具输入，例如经由容易获得的对象的CAD或CAE模型。例如，车主可以提供持久性虚拟世界系统的管理员，或者可以自己输入其车的已存在的数字CAD或CAE模型。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位与建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本进行建模。在其它实施例中，雷达成像，例如合成孔径雷达，现实孔径雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术，可以用于在将静态对象集成到持久性虚拟世界系统之前对静态对象进行建图和建模。利用这些更多的技术方案尤其可以在结构的原始模型不可用的情况下执行，或者在存在丢失的信息或者需要向CAD或CAE模型不提供的虚拟世界实体添加附接信息的情况下执行。

根据实施例，由芯片在主机动态对象上触发的一个或多个动作包括对主机动态对象的物理，虚拟或混合修改。在一个实施例中，虚拟地附接到包括芯片的主机动态对象的应用可以实现主机动态对象配置器，使得终端用户能够虚拟地修改该对象，并且还能够实现对主机动态对象的一个或多个物理变化。例如，配置器可以使用户能够观看由另一个用户穿着的鞋，可以增强鞋以观看鞋的可用尺寸，颜色和价格，以及可买到鞋的一个或多个商店。应用可以通过网络连接到存储包括商品数据的服务器。在另一个例子中，配置器可以使得穿着包括芯片的鞋的用户能够实现鞋中的物理变化，例如改变鞋的温度(例如，冷却，干燥或加热鞋)。本领域的技术人员可以理解，为了在鞋中实现物理变化，相应的操作机构和电路需要连接到附接到或嵌入在鞋中的芯片，例如电源，和I/O模块，网络接口，以及一个或多个加热或冷却元素。

在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络连接，例如通过第五代无线系统通信(5G)，或提供数据的无线局域网(Wi-Fi)。例如，60GHz。所提供的通信系统可允许低(例如，约1到约5毫秒)端到端(E2E)等待时间和高(例如，1-10Gbps)下行链路速度到该领域中的端点，符合执行典型的高度交互式数字现实应用110所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

根据一个实施例，安装在动态对象和/或客户端设备上的感测机构包括惯性跟踪感测机构和收发器的组合。惯性跟踪传感机构可以利用诸如加速度计和陀螺仪的设备，这些设备可以集成在惯性测量单元(IMU)中。加速度计测量线性加速度，其可以被积分以找到速度，然后再次被积分以找到相对于初始点的位置。陀螺仪测量角速度，其也可以被集成以确定相对于初始点的角位置。也可以包括与IMU分离的附接加速度计和陀螺仪。收发器可以被实现为向天线发送无线通信信号和从天线接收无线通信信号。在一个实施例中，收发器是mmW收发器。在使用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并将数据发送回天线。由mmW收发器提供的惯性传感器和位置跟踪以及由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米的位置和定向跟踪，这可以在跟踪所连接元素的实时位置和定向时提高精度。在一些实施例中，可以通过采用本领域已知的几种技术来实现跟踪，例如到达时间(TOA)，到达角度(AOA)，或本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)。在替代实施例中，感测机构和收发器可在单个跟踪模块装置中耦合在一起。

根据实施例，本公开的芯片可以在用于虚拟地将数字现实应用附接到主机动态对象并且实现与主机动态对象的交互的系统中使用。所述芯片包括：存储器，其存储虚拟世界系统中的主机动态对象的动态对象数据和指令，所述动态对象数据至少包括所述主机动态对象的地理位置数据；以及处理器，其经配置以执行所述存储器中的指令，所述指令在由所述处理器执行时触发所述处理器对所述主机动态对象执行一个或多个动作，例如致使所述主机动态对象被虚拟地或物理地操纵。芯片可以包括一个或多个传感器，其被配置为至少提供地理位置数据。存储在服务器中的动态对象数据和数据是可组合的，以便在持久性虚拟世界系统中生成内容，该内容被流式传送到与应用交互的客户端设备。

存储在芯片中的数据还可以包括主机动态对象的3D数据结构，物理数据和数字现实应用。在其它实施例中，芯片被配置成从服务器检索3D数据结构，物理数据和数字现实应用，并且仅向服务器提供地理位置数据。在一个实施例中，芯片中的或从服务器检索的3D数据结构生成用户可经由客户端设备观看并与其交互的3D交互形状。3D数据结构可以产生3D交互形状，其中可以附接数字现实应用，或者可以通过诸如外推或内插之类的近似技术来产生。在一个实施例中，通过到达时间(TOA)，到达角度(AOA)，视觉成像，GPS，雷达技术或其组合来执行地理位置数据的生成和跟踪。

根据实施例，一种方法包括经由存储在服务器中的副本编辑器创建来自现实世界的静态对象的虚拟副本，所述虚拟副本至少包括位置和空间设置，物理设置和3D数据结构；将一个或多个芯片连接到动态对象，所述一个或多个芯片包括存储器和处理器，所述存储器包括动态对象数据和指令，所述动态对象数据和指令在由所述处理器执行时触发由相应的主机动态对象的一个或多个动作，所述动态对象数据至少包括所述主机动态对象的地理位置数据；将一个或多个应用虚拟地附接到所述动态对象；以及在持久性虚拟世界系统中生成来自服务器的数据和来自芯片的数据的组合。该方法还可以包括由使用客户端设备的用户接近和查看一个或多个所述数字现实应用；客户端设备检索服务器和芯片数据的组合，所述服务器和芯片数据的组合输出应用并使得能够在持久性虚拟世界系统中进行交互；通过客户端设备与数字现实应用内容进行交互。

动态对象数据可以包括被配置为生成3D交互形状的3D数据结构。根据实施例，该方法还包括由所述一个或多个芯片从所述服务器检索所述动态对象的附加数据，所述附加数据包括物理数据，3D数据结构以及一个或多个应用或应用数据；将所述附加数据与来自所述芯片的所述地理位置数据组合；以及将组合的数据直接流式传送到一个或多个客户端设备。客户端设备同时接收来自服务器的静态对象数据；芯片将芯片数据和服务器数据融合到一个持久性虚拟世界系统中。

在另一个实施例中，该方法还包括由客户端设备从芯片检索包括3D数据结构，一个或多个应用或应用数据和/或地理位置数据的数据；接收(例如，同时)来自服务器的静态对象数据；以及将从芯片检索到的数据和接收到的静态对象数据组合到持久性虚拟世界系统中，所述持久性虚拟世界系统的内容可以由客户端设备输出。

在另一个实施例中，该方法还包括在服务器中存储附加数据，该附加数据包括物理数据，3D数据结构，和/或虚拟附接到动态对象的一个或多个应用；服务器从芯片中检索地理位置数据；以及将来自所述芯片的地理位置数据和所述附加数据融合到持久性虚拟世界系统中，所述持久性虚拟世界系统可以被流式传送到所述客户端设备。

在另一个实施例中，该方法还包括在芯片中存储附加数据，该附加数据包括物理数据，3D数据结构，和/或一个或多个应用或应用数据以及地理位置数据；将所述附加数据连同所述地理位置数据一起传送到所述服务器；以及将所述附加数据，所述地理位置数据和静态对象数据融合到持久性虚拟世界系统中，所述持久性虚拟世界系统可以被流式传送到所述客户端设备。

以上概述不包括本公开的所有方面的详尽列表。预期本公开包括可以从以上概述的各个方面的所有合适的组合来实践的所有系统和方法，以及在以下详细描述中公开的那些以及在随本申请提交的权利要求书中具体指出的那些。这样的组合具有在以上概述中未具体陈述的特定优点。根据附图和下面的详细描述，其它特征和优点将是显而易见的。

附图说明

参考以下描述和附图将更好地理解本公开的具体特征、方面和优点，其中：

图1描绘了根据实施例的用于将数字现实应用虚拟地附接到动态对象和/或实现与动态对象的交互的系统。

图2A-2D描述了系统的几个实施例，其可以用于虚拟地将数字现实应用附接到动态对象和/或实现与动态对象的交互。

图3A-3B描绘了根据实施例的从3D数据结构生成的交互体积，如在用于虚拟地将数字现实应用附接到动态对象和/或能够实现与动态对象的交互的系统中所使用的。

图4A-4B描绘了根据实施例的从近似生成的交互体积，如在用于虚拟地将数字现实应用附接到动态对象和/或实现与动态对象的交互的系统中所使用的。

图5描绘了虚拟附接到动态对象的数字现实应用的示例性实施例。

图6示出了根据实施例的在用于虚拟地将数字现实应用附接到动态对象和/或实现与动态对象的交互的系统中使用的芯片的操作组件。

图7示出了根据实施例的用于将数字现实应用虚拟地附接到动态对象和/或实现与动态对象的交互的方法。

具体实施方式

在以下描述中，参考通过示例方式示出各种实施例的附图。此外，下面将通过参考几个示例来描述各种实施例。应当理解，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构上的改变。

图1描绘了根据实施例的用于虚拟地将数字现实应用附接到动态对象和/或实现与动态对象的交互的系统100。

系统100包括被配置为存储和处理数据的服务器102，服务器102包括存储现实世界静态对象104的虚拟副本的持久性虚拟世界系统；经由网络108连接到服务器的客户端设备106，客户端设备106实现与一个或多个数字现实应用的交互；以及安装在现实世界的动态对象112上的包括存储器和处理器的芯片110，存储器包括数据和指令，当由处理器执行时，数据和指令触发处理器对主机动态对象112进行一个或多个物理或虚拟动作。

在本公开中，术语“虚拟副本”是指现实世界元素的准确且持久性的虚拟表示。在实施例中，虚拟副本包括提供自计算能力和自主行为的数据和模型。虚拟副本的数据和模型可以通过连接到现实世界元素的多个软件平台，软件引擎和传感器被输入。数据是虚拟副本的属性，模型是对应的现实世界元素的任何方面的图形，数学和逻辑表示，现实世界元素可用于在持久性的虚拟世界系统中复制现实，例如3D模型，动态模型，几何模型和机器学习模型。

在本公开中，术语“持久性”用于表征在没有连续执行进程或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可用于表征虚拟世界系统，其中虚拟世界系统和其中包括的所有虚拟副本，纯虚拟对象和数字现实应用在用于创建虚拟副本，纯虚拟对象和数字现实应用的进程停止之后继续存在，并且不依赖于用户连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置(例如，在服务器102中)。以这种方式，即使用户没有连接到服务器，虚拟副本，纯虚拟对象和数字现实应用在被配置用于实现特定目标时可以相互交互和协作。

“自计算能力”，在这里也称为“自管理能力”，是指持久性虚拟世界系统的虚拟副本应用人工智能算法以便自主管理计算机资源(例如，分布式计算资源)的能力。在实施例中，具有自计算能力的虚拟副本能够自主地管理计算资源，以适应对应的现实世界元素的环境或现实世界元素本身的变化。因此，每个虚拟副本可以通过分配所需的资源，自主地发送和执行命令以及根据每个环境的需要生成事件，根据在持久性虚拟世界系统中反映的现实世界中的条件而自主地动作。实现这种类型的行为可能需要在虚拟副本的建模期间用人工智能算法训练虚拟副本。因此，虚拟副本编辑器的角色可限于定义引导自管理过程的一般策略和规则。例如，在汽车事故的情况下，靠近事故的自主车辆的虚拟副本可以决定降低其速度或停止，以便使交通状况恶化，并且在车辆中的乘客甚至可以知道存在事故之前，通知相关的当局。

本公开的系统100可以在云到边缘基础设施中实现，所述云到边缘基础设施可以使用公有云或私有云，雾服务器以及边缘设备和系统(例如企业系统，移动平台和用户设备)来显示分布式计算能力，所有这些都可以通过网络连接。使用云到边缘计算网络，对计算能力，计算机基础设施(例如，通过所谓的基础设施作为服务，或IaaS)，应用和商业过程的访问可以作为服务根据需要经由客户端设备被递送给用户。这样，包括物理服务器和网络设备的资源能够实现共享存储和计算，所述共享存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求等因素来动态分配。

在本公开中，术语“静态”被用于表征在现实世界中具有固定位置和朝向的对象，并因此表征在持久性虚拟世界系统中的相应虚拟副本中的对应的固定位置和朝向输入。例如，术语“静态”可用于表征在典型条件下停留在相同位置的现实世界中的对象，例如图1中作为静态对象104示出的喷泉和雕像。仅在远程情况下，静态对象可以从它们的固定位置移位，例如在重塑包括静态对象的区域期间。在这种情况下，可能必须手动地或基于感测数据(例如，来自相机的光学数据，雷达数据等)来更新移位的静态对象的位置和朝向。静态对象的其它示例可以包括自然形态，例如岩石，谷地，河流，火山，山脉，湖泊和树木。

在本公开中，术语“动态”被用于表征在现实世界中具有可变位置和朝向的对象，并且因此表征在持久性性虚拟世界系统的虚拟副本中具有相应的可变位置和朝向的对象。例如，术语“动态”可以用于表征现实世界中通常可以从一个区域移动到另一个区域的对象，例如被示为动态对象112的汽车。其它示例性动态对象可以是任何类型的移动运载工具，例如自行车，无人机，飞机和船。在其它示例中，动态对象还可以包括生物，例如人和动物。

芯片110的数据至少包括主机动态对象的地理位置数据。将存储在服务器102中的静态对象数据与动态对象112上的芯片数据相结合，生成持久性虚拟世界系统。当具有客户端设备106的用户116接近数字现实应用时，数字现实应用检索客户端设备106的物理位置和朝向，触发客户端设备106从服务器102、芯片110或其组合检索和输出应用数据，该应用数据包括媒体流114，该媒体流114对应于在任何增强的、虚拟或混合现实中的持久性虚拟世界系统的环境内看到的应用。在一些实施例中，芯片110可以直接向客户端设备106提供数据，从而减少等待时间并增强用户体验。在其它实施例中，芯片还可以将部分或全部数据发送到服务器，其中动态对象数据和应用可以与静态对象数据融合以形成经由网络108被流式传送到客户端设备106的持久性虚拟世界系统。

在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统100可以通过网络108连接，网络108包括毫米波(mmW)或mmW与sub 6GHz通信系统的组合，例如通过第五代无线系统通信(5G)，或提供例如60GHz的数据的无线局域网(Wi-Fi)。所提供的通信系统可允许低(例如，约1到约5毫秒)端到端(E2E)等待时间和到该领域中的端点的高(例如，1-10Gbps)下行链路速度，符合执行典型的高度交互式数字现实应用110所必需的参数。这产生高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统100可以通过第四代无线系统通信(4G)通信地连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

在实施例中，来自数字现实应用的媒体体验可以在两个或更多个用户116之间共享。服务器102可以计算两个或更多个客户端设备106的姿势(位置和朝向)，并为每个客户端设备106提供对应的媒体流114，同时从芯片110检索主机动态对象112的位置和(如果需要的话)其他数据。

根据实施例，数字现实应用可以利用多种技术中的一种或多种来向客户端设备106广播信号，警告客户端设备106数字现实应用在客户端设备106的位置附近可用。在一个实施例中，如果用户116先前已经预订了服务器102中的应用，则客户端设备106的位置可以被跟踪并在存储在服务器102中的持久性性虚拟世界系统处可用。因此，当用户116接近数字现实应用时，数字现实应用可能已经准备好向客户端设备广播信号。在一个实施例中，当具有客户端设备的用户116进入数字现实应用处于激活状态的位置时，数字现实应用可以经由来自芯片110的接收机或双向收发机来检测来自设备的信号，指示客户端设备106可以在广播该信号之前接收数字现实应用媒体流114。

在一些实施例中，媒体流114包括增强现实，虚拟现实或混合现实内容。媒体流114可以包括3D图像数据，3D几何形状，3D实体，3D感测数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，朝向数据和照明数据等。因此，媒体流114可以包括与数字现实应用所附接的动态对象相匹配的形状和图像，或者可以是包括对应于数字现实应用的特定功能的形状的一个或多个特征的变化的形状和图像的增强。

图2A-2D描绘了用于虚拟地将数字现实应用附接到动态对象112和/或实现与动态对象112的交互的系统200的几个实施例。图2A-2D的一些元素可以类似于图1的元素。因此，可以使用类似或相同的附图标记来标识那些元素。

在参照图2A描述的实施例中，包括物理数据202、3D数据结构204和一个或多个应用206和/或应用数据的数据被输入到虚拟副本208中，并由芯片110从服务器102检索作为服务器动态对象数据210。芯片110将数据与地理位置数据212组合，并经由网络108将数据直接流式传送到客户端设备106。客户端设备106同时从服务器102接收静态对象数据214。然后，客户端设备106将芯片数据和服务器数据融合到一个持久性虚拟世界系统216中，作为增强现实、虚拟现实或混合现实中的任何一个中的媒体流218输出给用户116。

在参考图2B描述的实施例中，包括物理数据202、3D数据结构204、一个或多个应用206和/或应用数据、以及地理位置数据212的数据作为芯片数据220被存储在芯片110中，并且经由网络108被直接流式传送到客户端设备106。客户端设备106同时接收静态对象数据214，并组合经由客户端设备106输出到用户116的媒体流114中的数据。

在参考图2C描述的实施例中，包括物理数据202、3D数据结构204、和/或虚拟附接到动态对象112的一个或多个应用206的数据被存储在服务器102中，但是地理位置数据212是从芯片110检索的。然后，服务器102将来自芯片110的地理位置数据212和服务器数据融合到持久性虚拟世界系统216中，被流式传送到客户端设备106。

当应用206虚拟地附接到诸如动态对象112的现实世界的元素时，应用206可以例如被定位或重新定位在与它虚拟地附接到的对象配合的空间内，或者当它附接到的对象从该空间移除或重新引入该空间时从该空间被移除或重新引入该空间。可替换地，应用206可以与它虚拟附接的对象不附接到或分离。如果应用206未被附接，则该应用可以被定位在与任何对象的位置无关的空间中。如果应用206与它虚拟附接的对象分离，则该应用可以例如从该对象仍然存在的空间中移除，或者保持在独立于该对象的位置的固定位置中，或者独立于该对象移动。

在参考图2D描述的实施例中，包括物理数据202、3D数据结构204、一个或多个应用206和/或应用数据以及地理位置数据212的数据被存储在芯片110中，并被传送到服务器102。然后，服务器102将芯片数据和静态对象214融合到持久性虚拟世界系统216中，被流式传送到客户端设备106。

图3A-B描述了用于从3D数据结构204生成3D交互形状302的系统300的实施例。图3A-B的一些元素可以与图1-2D的元素相似，因此可以使用相似或相同的附图标记来标识那些元素。

图3A示出了从汽车的3D数据结构204生成的汽车动态对象112的3D交互形状302的示例。3D数据结构204涉及能够有效访问和修改的3D对象的数据组织和存储格式，包括例如八叉树，四叉树，BSP树，稀疏体素八叉树，3D阵列和k-d树。3D数据结构204可以存储在服务器中，或者存储在附接到动态对象112或者嵌入到动态对象112中并且连接到服务器的芯片中。

在一些实施例中，3D数据结构204可以经由建模工具输入，例如经由容易获得的对象的CAD或CAE模型输入。例如，车主可以提供持久性虚拟世界系统的管理员，或者可以自己输入其汽车的已存在的数字CAD或CAE模型。例如，对于汽车动态对象112，可以通过在服务器或芯片中输入汽车模型细节或图来从3D数据结构204中提取形状数据，可以包括汽车的尺寸和形状以及汽车的其它部件。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位与建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本进行建模。在其它实施例中，雷达成像，例如合成孔径雷达，现实孔径雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术，可以用于在将动态对象集成到持久性虚拟世界系统之前对动态对象进行绘制和建模。利用这些更多的技术方案尤其可以在结构的原始模型不可用的情况下执行，或者在存在丢失的信息或者需要向CAD或CAE模型不提供的虚拟世界实体添加附加信息的情况下执行。

图3B示出了从人的3D数据结构204生成的人动态对象112的3D交互形状302的示例。可以通过适当的成像技术或者通过将数据输入到服务器或芯片的存储器中来输入人的3D数据结构204。例如，可以通过在服务器或芯片中提供和存储人的多个图像来生成人的3D数据结构204，人的多个图像将用于提取尺寸和形状数据来生成创建3D交互形状302所需的3D数据结构204。在其它实施例中，预先设计的人化身也可以由用户选择，这可以使得能够改变诸如人化身的尺寸和形状的特征，这些特征此后可以作为3D交互形状302来使用。

当3D数据结构204直接生成3D交互形状时，交互形状相对于动态对象的精确度水平可以高于经由外推法或内插法的近似，但是可能需要更多的数据以及处理能力来生成3D交互形状。

图4A-B描述了用于从近似402生成3D交互形状302的系统400的实施例。图4A-B的一些元素可以与图1-3B的元素相似，因此可以使用相似或相同的附图标记来标识那些元素。

参照图4A，执行汽车动态对象112的近似402，以生成椭圆形形式的3D交互形状302。在图4A的特定示例中，汽车仅包括存储汽车位置的一个芯片。通过内插法或外推法技术，可以基于汽车上的芯片位置来近似汽车的实际形状。可以采用适于与代表原始动态对象形状的近似402的用户进行交互的其它形状，诸如矩形，正方形，圆形或不同形状的组合。

参考图4B，执行人的近似402以生成不同形式的3D交互形状302。3D交互形状302的精度与人类用户上的设备的数量和位置成正比，其中每个设备提供多个数据点，这些数据点可用于通过外推法或内插法来进行近似并生成3D交互形状302。在图4B中，示出了人形近似402的三个示例。

在图4B顶部的第一示例中，使用头戴式显示客户端设备106的人提供可用于近似3D交互形状302的地理位置数据点。所生成的3D交互形状302具有细长的椭圆形形状，当在数字现实中观看时，该椭圆形形状可以与其他用户交互。

在图4B的中间部分中的第二示例中，使用头戴式显示客户端设备106和一个或多个芯片110的人生成可用于近似3D交互形状的另外的数据点，其比图4B的第一示例中生成的交互形状更精确。

在图4B的底部的第三示例中，使用头戴式显示客户端设备106、移动电话客户端设备106和一个或多个芯片110的人生成可用于近似3D交互形状的其它数据点，其比在图4B的第一和第二示例中生成的交互形状更精确。

图5描述了数字现实应用的示例性实施例，该数字现实应用提供了附接到诸如鞋的动态对象或嵌入在诸如鞋的动态对象中的配置器500的功能。

配置器500使得终端用户能够虚拟地修改主机动态对象，而且还能够在主机动态对象上实现一个或多个物理变化。例如，配置器500可以使用户能够观看由另一个用户穿戴的或位于商店中的鞋，并且可以增强鞋以观看诸如鞋型号，尺寸，颜色和价格的鞋信息502。用户可以具有其它增强选项，例如旋转鞋504和改变颜色506。

配置器500还可以通过网络连接到包括销售信息508的商店服务器，销售信息508可以包括可用商店510，价格512，型号514，尺寸516和颜色518。

配置器500还可以允许调节鞋的物理配置520，例如改变经受特定权利(例如，仅向鞋的所有者允许这些特征)的鞋的温度(例如，冷却，干燥或加热鞋)。本领域的技术人员可以理解，为了在鞋中实现物理变化，对应的操作机构需要连接到附接到或嵌入鞋中的芯片，例如电源，和I/O模块，网络接口，以及一个或多个加热或冷却元件。

图6示出了根据实施例的在用于虚拟地将数字现实应用附接到动态对象和/或实现与动态对象的交互的系统中使用的芯片110的操作组件600。

芯片110可以包括操作部件，诸如输入/输出(I/O)模块602；电源604；存储器606；形成跟踪模块612的传感器608和收发器610；以及网络接口614，全部可操作地连接到处理器616。

I/O模块602被实现为被配置为与用户交互并向一个或多个其它系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块602可以被配置为直接向芯片输入数据，基于交互生成用户输入数据，并且在经由网络将用户输入数据传送到其他处理系统之前，将用户输入数据提供给处理器616，例如提供给服务器或客户端设备。在另一示例中，I/O模块602被实现为被配置为与客户端设备交互的外部计算定点设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)。在其它实施例中，I/O模块602可提供比上述功能更多、更少或不同的功能。

电源604被实现为被配置为向芯片110提供功率的计算硬件和软件。在一个实施例中，电源604可以是电池。电源604可以内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过用另一个电源604替换一个电源604来对设备重新供电。在另一个实施例中，电源604可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线("USB")火线，以太网，雷电或耳机电缆。在又一个实施例中，电源604可以通过感应充电进行再充电，其中，当感应充电器和电源604两者非常接近时，使用电磁场将能量从感应充电器传递到电源604，但不需要通过电缆彼此插入。在另一个实施例中，可以使用对接站来促进充电。

存储器606可以被实现为适于存储应用指令的计算硬件和软件。存储器606可以是能够存储处理器616可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质。除了永久存储器之外，存储器606还可以包括临时存储器。

传感器608可以被实现为计算硬件和软件，其适于获得感测数据并确定/跟踪芯片110的位置和朝向，并将该信息发送到服务器或客户端设备以确定动态对象的位置和朝向。传感器608还可以包括一个或多个惯性测量单元(IMU)，加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告客户端设备106的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计和/或与IMU分开配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，加速度计包括能够在三个正交方向上测量加速度的三轴加速度计。

收发器610可被实现为计算硬件和软件，其被配置为使设备能够从天线接收无线电波并将数据发送回天线。在一些实施例中，可以使用mmW收发器，其可以被配置为从天线接收mmW波信号，并且当与媒体内容交互时将数据发送回天线。收发器610可以是双向通信收发器610。

在实施例中，跟踪模块612可以通过将IMU，加速度计和陀螺仪的能力与收发器610提供的位置跟踪相结合来实现，并且由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米位置和定向跟踪，这可以在跟踪动态对象的实时位置和定向时提高精度。在替代实施例中，感测机构和收发器610可在单个跟踪模块装置中耦合在一起。

网络接口614可以被实现为计算软件和硬件，以通信地连接到网络，从由服务器或客户端设备发送的网络接收计算机可读程序指令，并转发计算机可读程序指令，以便存储在存储器606中，由处理器616执行。

处理器616可以被实现为计算硬件和软件，其被配置为接收和处理数据，该数据可以触发对主机动态对象或对表示主机动态对象的交互形状的一个或多个变化。例如，处理器616可以被配置为提供服务器数据请求，向服务器或客户端设备提供数据，从传感器接收和处理位置和朝向数据，和/或向一个或多个其它系统组件提供数据。例如，处理器616可以从I/O模块602接收用户输入数据，并且可以分别实现存储在存储器606中的应用。在其它示例中，处理器616可从感测机构接收从现实世界捕获的感官数据，或可通过跟踪模块612接收动态对象的准确位置和朝向，且可在将数据发送到服务器以用于进一步处理之前准备一些数据。

图7示出了根据实施例的用于将数字现实应用虚拟地附接到动态对象和/或实现与动态对象的交互的方法700。方法700可以由系统(诸如参照图1-6描述的系统)来实现。

根据实施例，方法700在框702和704中开始，经由存储在服务器中的副本编辑器创建来自现实世界的静态对象的虚拟副本，虚拟副本至少包括位置和空间设置，物理设置和3D数据结构。方法700在框706中继续，将一个或多个芯片连接到包括存储器和处理器的动态对象，该存储器包括数据和指令，当由处理器执行时，该数据和指令触发由主机动态对象进行的一个或多个动作，该数据至少包括主机动态对象的地理位置数据。

在框708中，方法700通过将一个或多个应用虚拟地附接到动态对象来继续，这可以通过将应用数据直接链接到服务器中或芯片中的动态对象来完成。方法700在框710中继续，由使用客户端设备的用户接近和查看链接到动态对象的一个或多个数字现实应用，然后在框712中，由客户端设备检索在持久性虚拟世界系统中输出应用和交互的服务器和芯片数据的组合。最后，方法700如框714和716所示结束，用户经由客户端设备与数字现实应用内容交互，同时跟踪动态对象。

根据实施例，方法700还包括由芯片从服务器检索包括物理，3D数据结构和应用的动态对象的数据；将数据与来自所述芯片的地理位置组合；将数据直接流式传送到客户端设备；客户端设备同时接收来自服务器的静态对象数据；并且芯片将芯片数据和服务器数据融合为一个持久性虚拟世界系统。

在另一个实施例中，方法700还包括由客户端设备从芯片检索包括3D数据结构，应用和地理位置的数据；同时接收来自服务器的静态对象数据；以及由客户端设备将数据组合到要输出的持久性虚拟世界系统中。

在另一个实施例中，方法700还包括在服务器中存储数据，该数据包括物理，3D数据结构和虚拟附接到动态对象的应用；服务器从芯片中检索地理位置数据；以及将来自芯片的地理位置数据和服务器数据融合成被流式传送到客户端设备的持久性虚拟世界系统。

在另一个实施例中，方法700还包括在芯片中存储包括物理，3D数据结构，应用和地理位置的数据；将数据传送至服务器；将芯片数据和静态对象数据融合到被流式传送至客户端设备的持久性虚拟世界系统。

虽然已经在附图中描述和示出了某些实施例，但是应当理解，这样的实施例仅仅是说明性的，而不是对宽泛的发明进行限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改。因此，本说明书被认为是说明性的，而不是限制性的。

Claims (20)

1.一种系统，其特征在于，包括：

一个或多个服务器，所述一个或多个服务器包含持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界的静态对象和动态对象的虚拟副本；和

芯片，所述芯片安装在所述现实世界的主机动态对象上，所述芯片包括存储器和处理器，所述存储器包括动态对象数据和指令，所述动态对象数据和所述指令在由所述处理器执行时触发所述处理器对相应的所述主机动态对象进行一个或多个动作，所述动态对象数据至少包括所述主机动态对象的地理位置数据，其中所述持久性虚拟世界系统包括来自所述一个或多个服务器的数据和来自所述芯片的数据的组合，并且其中，当客户端设备接近与数字现实应用相关联的主机动态对象时，所述数字现实应用检索所述客户端设备的物理位置和朝向，并且触发所述客户端设备从所述一个或多个服务器检索和输出应用数据。

2.如权利要求1所述的系统，其特征在于，所述动态对象数据包括被配置成生成3D交互形状的3D数据结构。

3.如权利要求2所述的系统，其特征在于，所述3D交互形状是通过外插或内插来自所述芯片、所述客户端设备中的一个或多个的形状数据，或来自所述一个或多个芯片和所述客户端设备的形状数据的组合而生成的。

4.如权利要求1所述的系统，其特征在于，所述芯片被配置成从所述一个或多个服务器检索包括物理数据，3D数据结构以及一个或多个应用或应用数据的附加数据，其中所述芯片被配置成将所述附加数据与存储在所述芯片中的所述地理位置数据组合，并将组合的数据流式传送到所述客户端设备。

5.如权利要求1所述的系统，其特征在于，所述动态对象数据包括物理数据，3D数据结构，一个或多个应用或应用数据，以及所述地理位置数据，并且所述动态对象数据被配置成由所述客户端设备直接从所述芯片检索，并由所述客户端设备与来自所述一个或多个服务器的静态对象数据组合到所述持久性虚拟世界系统中。

6.如权利要求1所述的系统，其特征在于，包括物理数据，3D数据结构或虚拟附接到所述动态对象的一个或多个应用的附加数据被存储在所述一个或多个服务器中，其中所述芯片包括对所述一个或多个服务器中的所述附加数据的一个或多个位置的参考，并且其中所述一个或多个服务器被配置成将来自所述芯片的所述地理位置数据和所述附加数据融合到所述持久性虚拟世界系统中。

7.如权利要求1所述的系统，其特征在于，包括物理数据，3D数据结构，一个或多个应用或应用数据和地理位置数据的附加数据被存储在所述芯片中，并被传送到所述一个或多个服务器，其中所述一个或多个服务器被配置成将所述附加数据和静态对象数据融合到所述持久性虚拟世界系统中。

8.一种芯片，其特征在于，包括：

存储器，所述存储器存储持久性虚拟世界系统中的主机动态对象的动态对象数据和指令，所述动态对象数据至少包括所述主机动态对象的地理位置数据；

处理器，所述处理器被配置为执行所述存储器中的所述指令，所述指令在被执行时使得所述主机动态对象被虚拟地或物理地操纵；和

一个或多个传感器，所述一个或多个传感器被配置为至少提供所述主机动态对象的所述地理位置数据，

其中，所述动态对象数据和存储在服务器中的数据是可组合的，以在所述持久性虚拟世界系统中生成内容，所述内容要被流式传送到与应用交互的客户端设备。

9.如权利要求8所述的芯片，其特征在于，所述动态对象数据包括被配置为生成3D交互形状的3D数据结构。

10.如权利要求9所述的芯片，其特征在于，所述3D交互形状是通过外插或内插来自所述芯片、或一个或多个所述客户端设备的形状数据，或来自所述芯片和所述一个或多个客户端设备的形状数据的组合而生成的。

11.如权利要求8所述的芯片，其特征在于，所述芯片被配置成从所述服务器检索包括物理数据，3D数据结构以及一个或多个应用或应用数据的附加数据，以将所述附加数据与存储在所述芯片中的所述地理位置数据组合，并将组合的数据流式传送到所述客户端设备。

12.如权利要求8所述的芯片，其特征在于，所述芯片被配置成直接向所述客户端设备提供包括物理数据，3D数据结构以及一个或多个应用或应用数据的附加数据以及所述地理位置数据。

13.如权利要求8所述的芯片，其特征在于，包括物理数据，3D数据结构以及虚拟附接到所述主机动态对象的一个或多个应用的附加数据被存储在所述服务器中，其中所述服务器被配置成将来自所述芯片的所述地理位置数据和附加数据融合到所述持久性虚拟世界系统中。

14.如权利要求8所述的芯片，其特征在于，包括物理数据，3D数据结构，一个或多个应用或应用数据的附加数据与所述地理位置数据一起存储在所述芯片中，并被传送到所述服务器，其中所述服务器被配置成将所述附加数据和静态对象数据融合到所述持久性虚拟世界系统中。

15.一种方法，其特征在于，包括：

经由存储在服务器中的副本编辑器创建来自现实世界的静态对象的虚拟副本，所述虚拟副本至少包括位置和空间设置，物理设置和3D数据结构；

将一个或多个芯片连接到主机动态对象，所述一个或多个芯片包括存储器和处理器，所述存储器包括动态对象数据和指令，所述动态对象数据和所述指令在由所述处理器执行时触发相应的所述主机动态对象的一个或多个动作，所述动态对象数据至少包括所述主机动态对象的地理位置数据；

将一个或多个应用虚拟地附接到所述主机动态对象；和

在持久性虚拟世界系统中生成来自所述服务器的数据和来自所述芯片的数据的组合。

16.如权利要求15所述的方法，其特征在于，所述动态对象数据还包括被配置为生成3D交互形状的3D数据结构。

17.根据权利要求15所述的方法，其特征在于，进一步包括：

由所述一个或多个芯片从所述服务器检索包括物理数据，3D数据结构和一个或多个应用或应用数据的附加动态对象数据；

将所述附加动态对象数据与来自所述芯片的所述地理位置数据组合；和

将组合的数据直接流式传送到一个或多个客户端设备。

18.如权利要求15所述的方法，其特征在于，还包括由所述客户端设备从所述芯片检索包括3D数据结构，应用数据和所述地理位置数据的数据；

从所述服务器接收静态对象数据；和

将从所述芯片检索到的所述数据和接收到的所述静态对象数据组合到所述持久性虚拟世界系统中。

19.如权利要求15所述的方法，其特征在于，还包括在所述服务器中存储附加数据，所述附加数据包括物理数据，3D数据结构以及虚拟附接到所述动态对象的一个或多个应用；

由所述服务器从所述芯片检索所述地理位置数据；和

将来自所述芯片的所述地理位置数据和所述附加数据融合到所述持久性虚拟世界系统中。

20.如权利要求15所述的方法，还包括在所述芯片中存储所述附加数据以及所述地理位置数据，所述附加数据包括物理数据，3D数据结构，以及一个或多个应用或应用数据；

将所述附加数据和所述地理位置数据传送至所述服务器；和

将所述附加数据和静态对象数据融合到所述持久性虚拟世界系统中。

Images