CN112102497A - 用于将应用和交互附接到静态对象的系统和方法 - Google Patents

Abstract

公开了一种用于将数字现实应用和交互附接到静态对象的系统和方法。系统包括服务器，被配置为存储和处理输入数据，所述服务器包括存储器和处理器；以及经由网络连接到所述服务器的多个客户端设备，多个客户端设备被配置为使得能够与数字现实应用进行交互。存储器包含具有结构化数据的数据库，数据库包含存储静态对象的虚拟副本的持久性虚拟世界系统。基于包括地点和空间，物理和3D结构的静态对象来配置虚拟副本。该系统使应用开发者能够在虚拟副本上附接数字现实应用。当采用客户端设备的用户接近数字现实应用时，数字现实应用检测客户端设备的物理位置和方位，触发服务器与客户端设备共享数字现实应用内容。

Description

用于将应用和交互附接到静态对象的系统和方法

相关申请的交叉引用

本申请要求2019年6月18日提交的临时申请No.62/863077的权益，出于所有目的将其全部公开内容通过引用并入本文。

技术领域

本公开一般地涉及计算机系统，并且更具体地涉及数字现实应用。

背景技术

用于向用户提供数字现实应用内容的技术发展已经实现了过去不可能的体验。特别地，诸如增强现实(AR)，虚拟现实(VR)和混合现实(MR)的数字现实改变了用户对他们正在看什么，听什么和感觉到什么的感知，以及有多少现实世界进入这些体验，从而向用户提供现实世界或想象世界中的场所中的物理存在的感觉。

增强现实(AR)是现实世界环境的实况视图，其元素被诸如视频，文本或3D计算机模型的计算机生成的对象叠加。AR技术可以被分成两个类别，具体地，基于标记的和无标记的AR。基于标记的AR可以被分组为基于图像和基于位置的AR。基于图像的AR需要特定的标记来登记3D对象在现实世界图像上的位置。相反，基于位置的AR使用诸如来自GPS的数据的位置数据来识别位置。使用基于位置的AR的应用范围从基于用户在现实世界中的位置的呈现信息到具有定制接近通知的位置感知的社交网络。对于实际的交互应用模拟，组装训练或教育实验，基于图像的AR是优选的。

当前的AR技术存在几个缺点。例如，不管AR应用被配置为基于标记或基于无标记，当前的AR应用通常由用户根据标记被配置的形状和/或AR应用所附接的位置来单独查看。AR应用通常不是持久性的，并且不考虑3D世界的所有几何形状和虚拟元素的映射以及与这些元素交互的应用。根据用户的观看位置和方位，体验通常也是个性化的，而不允许与其他用户共享体验。此外，用户可能需要下载随后直接在用户的客户端设备上运行的应用，这使得客户端设备耗费时间和资源。最后，跟踪客户端设备的观看位置和方位对于媒体流如何被传送给用户是决定性的。然而，当前的跟踪技术可能导致不准确，并且可能导致媒体流与用户的移动不协调，从而导致诸如眩晕，不舒服的问题，并且有时导致低交互时间和对这种应用的需求。

所希望的是一种系统和方法，该系统和方法使得能够在现实世界中对应用和个人或共享交互进行持久性和精确的基于位置和几何形状的持久性定位，所述系统和方法考虑了与现实世界的关系。

发明内容

提供该概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不打算确定权利要求所要求保护的主题的关键特征,也不打算被用来帮助确定权利要求所要求保护的主题的范围。

在背景技术中公开的缺点通过本公开的实施例通过用于将数字现实应用和交互附接到静态对象的系统和方法来解决。所述系统和方法包括将现实和虚拟现实融合到融合现实中，所述融合现实涉及现实对象的虚拟副本，数字现实应用和用户之间的交互。所述系统和方法实现用户和应用之间的共享或个人体验。另外，所述系统和方法提供使得能够根据观看者的位置和方位来提供媒体流的功能(例如，实时移动和眼睛跟踪能力)。可以通过物理地去往那些对象的地点或者通过在虚拟现实中去往这些对象来到达附接了数字现实应用的静态对象。

根据本公开的实施例的用于将数字现实应用和交互附接到静态对象的系统，包括被配置为存储和处理输入数据的服务器，所述服务器包括存储器和处理器；以及多个客户端设备，其经由网络连接到所述服务器并且被配置为能够与一个或多个数字现实应用进行交互。在一个实施例中，一个或多个服务器包含存储现实世界的静态对象的虚拟副本的持久性虚拟世界系统，所述虚拟副本包括诸如地点和空间，物理设置以及3D数据结构等基于静态对象的设置以及其他可能的设置。持久性虚拟世界系统被配置成虚拟地将数字现实应用附接在虚拟副本上。在一个实施例中，该系统使得应用开发者能够通过提供他们自己的数字现实应用并指示该持久性虚拟世界系统将他们的数字现实应用附接到该虚拟副本上来修改该持久性虚拟世界系统。

当采用客户端设备的用户接近数字现实应用虚拟附接到的地点，对象或实体时，数字现实应用检测客户端设备的物理位置和方位。例如，数字现实应用可以从客户端设备或从跟踪客户端设备的位置和方位的其它计算设备接收位置和方位数据。例如，数字现实应用可以将接收到的位置数据与触发区域进行比较，触发服务器向已经进入触发区域的客户端设备发送数字现实应用内容。在一个实施例中，通过接收用户设备的位置的通知并将位置与触发区域的已知边界进行比较来检测客户端设备进入触发区域。

数字现实应用内容可以在融合现实，虚拟现实或真实现实中呈现。数字现实应用内容或与数字现实应用的交互可以是个人设备或用户的，或与其它客户端设备共享。客户端设备可以是一个或多个移动设备，个人计算机，游戏控制台，媒体中心，智能隐形眼镜和头戴式显示器，其被配置为使得能够经由用户接口在用户和数字现实应用内容之间进行交互。

地点和空间被配置为允许建立地点，相对三维位置和方位，以及虚拟副本的缩放。物理的配置使得能够指定虚拟副本的物理特性，例如刚体动力学，软体物理，流体动力学，遮挡和碰撞检测等。3D数据结构是指能够有效访问和修改的3D对象的数据组织和存储格式，包括例如八叉树，四叉树，BSP树，稀疏体素八叉树，3D阵列和k-d树。

数字现实应用实际上附接到现实世界中的地方。因此，不佩戴或不使用客户端设备的用户可以接近数字现实应用虚拟附接的地方，而不触发系统中的任何反应(即，不使用户能够查看数字现实应用)。然而，当用户激活和使用客户端设备时，数字现实应用可以检测客户端设备的观看位置和方位，并且可以在用户交互期间检索与位置和方位对准的相应媒体流。在一些实施例中，包括在媒体流中的数字现实应用内容包括3D图像数据，3D几何形状，3D实体，3D感觉数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，方位数据，触觉数据或照明数据，或其组合。

根据实施例，数字现实应用可以利用多种技术中的一种或多种来向客户端设备广播信号，从而警告客户端设备数字现实应用在客户端设备的位置附近可用。在一个实施例中，如果用户先前已经预订了服务器中的应用，则客户端设备的位置可以在任何时候在存储在服务器中的持久性虚拟世界系统处可用。因此，当用户接近数字现实应用时，数字现实应用可能已经准备好向客户端设备广播信号。在另一个实施例中，如果用户先前已经预订了服务器或者从服务器预订了一个或多个特定的数字现实应用，则数字现实应用可以在广播信号之前不断地搜索登记的设备。在一个实施例中，当具有客户端设备的用户进入数字现实应用活动的位置时，数字现实应用可以检测来自设备的信号，指示设备可以在广播信号之前接收数字现实应用媒体流。

在一些实施例中，当用户使用数字现实设备时，用户可以选择查看融合现实或虚拟现实中的元素。在融合现实中，用户可以查看现实世界元素加上与一个或多个其它虚拟元素一起虚拟附接在其上的一个或多个应用。因此，融合现实包括由诸如声音，视频，图形和GPS之类的计算机生成的输入或其它跟踪数据增强的物理的、现实世界的环境元素。增强技术通常是实时地执行的，并且在具有环境元素的语义情境中执行，例如覆盖现实世界中的补充信息或虚拟对象。融合现实内容允许关于用户的周围现实世界的信息或现实世界中的虚拟对象叠加成为交互式和数字可操纵的。在虚拟现实中，用户可以以虚拟化的方式观看相同的静态对象，用模拟的对象代替现实世界。例如，用户可以从其归属位置选择远程位置并探索该位置，以便找到一个或多个数字现实应用并与其交互。

在一些实施例中，用户可能不需要下载数字现实应用以便使应用变得用户可见或可访问。取而代之的是，服务器可以直接从服务器检索应用图形表示，并且如果交互级别增加，则对客户端设备执行远程计算和渲染，这可能只需要执行轻量级计算以便显示数字现实内容。在其它实施例中，客户端设备可以在预定的交互级别之后下载应用或应用的一部分并执行客户端侧计算和渲染。

根据实施例，可以经由一个或多个第三方3D引擎，本地3D引擎或其组合来开发数字现实应用。同样，虚拟副本可以经由来自一个或多个源的多个开发者来开发。由于所有信息都包括在服务器中，因此用户能够独立于所使用的开发软件和开发人员的来源来查看所有应用和虚拟副本。因此，在一个方向上观看包括经由不同源开发的多个应用的用户可以查看多个应用，并且能够与它们交互。同样，用户能够根据隐私级别和交互的深度来查看其他用户与相应应用的一些或全部交互。

在将数字现实应用附接到相应的静态对象之前虚拟化现实世界允许应用开发者在附接应用时利用包括虚拟副本的位置和方位的地点。此外，由于每个静态对象作为虚拟副本存储在服务器中，因此可以以更实际的方式实现诸如静态对象和数字元素之间的冲突和遮挡之类的效果。例如，数字现实应用可以被现实世界对象遮挡，因为对应于现实世界对象的虚拟副本可以阻止用户观看数字现实应用，从而实现现实效果。

根据一个实施例，通过静态对象的容易获得的计算机辅助绘图(CAD)或计算机辅助工程(CAE)模型来创建虚拟副本。例如，机器所有者可以提供持久性性虚拟世界系统的管理员，或者可以自己输入其机器的已存在的数字CAD或CAE模型。类似地，建筑物拥有者可以向建筑物信息模型(BIM)提供将被存储在持久性虚拟世界系统中的建筑物细节，建筑物细节可以包括可能不可见或不容易通过感测机构获得的信息。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位和建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本进行建模。在其它实施例中，雷达成像，例如合成孔径雷达，现实孔径雷达，AVTIS雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术可以用于在将静态对象集成到持久性虚拟世界系统中之前映射和建模静态对象。利用这些更多的技术方案尤其可以在结构的原始模型不可用的情况下执行，或者在存在丢失的信息或者需要向CAD模型不提供的虚拟世界实体添加附加信息的情况下执行。

在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络连接，例如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网(Wi-Fi)连接，Wi-Fi可以提供60GHz的数据。所提供的通信系统可以允许大约1到大约5毫秒的端到端(E2E)等待时间和1-10Gbps的下行链路速度到该领域中的端点，这符合执行典型的高度交互的应用所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

在其它实施例中，全球导航卫星系统(GNSS)(其统称为多个基于卫星的导航系统，例如GPS,BDS,Glonass,QZSS,Galileo和IRNSS)可用于实现设备的定位。使用来自足够数量的卫星和诸如三角测量和三边测量的技术的信号，GNSS可以计算设备的位置，速度，高度和时间。在实施例中，外部定位系统由辅助GNSS(AGNSS)通过现有蜂窝通信网络的体系结构来增强，其中现有体系结构包括5G。在其它实施例中，AGNSS跟踪系统还由4G蜂窝通信网络支持。在室内实施例中，通过诸如Wi-Fi的无线电无线局域网进一步增强GNSS，优选地但不限于，提供60GHz的数据。在替代实施例中，通过本领域已知的其它技术来增强GNSS，例如通过差分GPS(DGPS)，基于卫星的增强系统(SBAS)，实时运动学(RTK)系统。在一些实施例中，通过设备中的AGNSS和惯性传感器的组合来实现设备的跟踪。

根据实施例，安装在所连接的设备上的感测机构包括惯性跟踪感测机构和收发器的组合。惯性跟踪传感机构可以利用诸如加速度计和陀螺仪的设备，这些设备可以集成在惯性测量单元(IMU)中。加速度计测量线性加速度，其可以被结合以找到速度，然后再次被结合以找到相对于初始点的位置。陀螺仪测量角速度，其也可以被结合以确定相对于初始点的角位置。也可以包括与IMU分离的附加加速度计和陀螺仪。收发器可以被实现为向天线发送无线通信信号和从天线接收无线通信信号。在实施例中，收发器是mmW收发器。在使用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并将数据发送回天线。由mmW收发器提供的惯性传感器和位置跟踪以及由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米的位置和方位跟踪，这可以在跟踪所连接元件的实时位置和方位时提高精度。在一些实施例中，可以通过采用本领域已知的几种技术来实现跟踪，例如到达时间(TOA)，到达角度(AOA)，或本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)。在替代实施例中，感测机构和收发器可在单个跟踪模块装置中耦合在一起。

作为示例，数字现实应用虚拟地附接到放置在公园中的特定地方的静态鞋。在没有客户端设备的情况下，用户可以只观看鞋子，但是当用户使用客户端设备时，用户可以观看可以由发光或发出声音的鞋子表示的数字现实应用。数字现实应用可以向用户警告数字现实应用的存在，并且用户此后可以触摸该数字现实应用的虚拟图形表示，可以触发其他形式的交互。例如，在用户触摸数字现实应用的图形表示之后，图形表示可以增加尺寸，可以使用户能够旋转鞋，以文本的形式观看鞋特性，观看关于鞋的视频，改变鞋的一些特性，例如颜色，尺寸或风格，并且可以购买所选择的鞋。鞋可以保持在公园中的特定位置或别处，直到由鞋供应商决定，并且此后可以将鞋移动到另一个位置，对于该另一个位置，可能需要在服务器中更新鞋的地点和空间设置。在其它实例中，鞋可以在虚拟现实中完全观看，例如在不同的设置中，例如在沙漠，山或另一城市中显示鞋。

根据实施例，提供了一种用于将数字现实应用和交互附接到静态对象的方法。该方法可以在诸如本公开的系统的系统中实现。提供存储现实世界的静态对象的虚拟副本的持久性虚拟世界系统，所述虚拟副本包括静态对象地点和空间，物理设置和3D数据结构；以及将数字现实应用虚拟地附加到所述虚拟副本，使得当客户端设备接近数字现实应用虚拟地附加到的地点，对象或实体时，所述数字现实应用检测所述客户端设备的物理位置和方位，触发所述服务器计算机系统向所述客户端设备发送数字现实应用内容。

在实施例中，该方法通过开发者经由存储在服务器中的副本编辑器创建静态对象的虚拟副本来开始。随后，该方法继续添加虚拟副本现实世界属性，包括地点和空间设置，物理设置和3D数据结构。然后，该方法通过开发者经由存储在服务器中的副本编辑器将数字现实应用附加到虚拟副本来继续。

在实施例中，用户接近并查看数字现实应用。在一些实施例中，用户可以接近融合现实中的数字现实应用。在其它实施例中，用户可以接近虚拟现实中的数字现实应用。接近数字现实应用触发数字现实应用检测和跟踪客户端设备位置和方位，并将客户端位置和方位发送到服务器。然后，服务器从客户端设备检索并跟踪观看位置和方位，以此后向客户端设备发送应用媒体流，该应用媒体流被调整并对准用户的观看位置和方位。最后，用户通过客户端设备与数字现实应用交互。

以上概述不包括本公开的所有方面的详尽列表。预期本公开包括可以从以上概述的各个方面的所有合适的组合来实践的所有系统和方法，以及在以下详细描述中公开的那些以及在随本申请提交的权利要求书中具体指出的那些。这样的组合具有在以上概述中未具体陈述的特定优点。根据附图和下面的详细描述，其它特征和优点将是显而易见的。

附图说明

参考以下描述和附图将更好地理解本公开的具体特征、方面和优点，其中：

图1A-1B描绘了根据实施例的用于将应用和交互附加到静态对象的系统的示意性表示，该系统详细描述了查看虚拟附加到现实世界的元素的一个或多个应用并与该应用交互的一个或多个用户；

图2A-2B描绘了根据实施例的用于将应用和交互附接到静态对象的系统的示意性表示，详细描述了虚拟副本的配置以及应用附接到虚拟副本；

图3A-3B描绘了根据实施例的用于将应用和交互附加到静态对象的系统的示意性表示，详细描述了现实世界，虚拟世界和融合世界之间的连接；

图4描述了根据实施例的用于将应用和交互附加到静态对象的系统的示意性表示，详细描述了客户端设备的操作组件；和

图5描绘了根据实施例的用于将应用和交互附接到静态对象的方法的示意性表示。

具体实施方式

在以下描述中，参考通过示例方式示出各种实施例的附图。此外，下面将通过参考几个实例来描述各种实施例。应当理解，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构上的改变。

图1A-1B描绘了根据实施例的用于将应用和交互附接到静态对象的系统100的示意性表示，其详细描述了查看虚拟附接到现实世界的元素的一个或多个应用并与所述一个或多个应用交互的一个或多个用户。

如图1A-1B所示，系统100包括被配置为存储和处理输入数据的服务器102，以及由用户106使用的多个客户端设备104，客户端设备104经由网络108连接到服务器102。客户端设备104被配置成使用户能够与一个或多个数字现实应用110交互。服务器102包含具有结构化数据的数据库，该数据库包含存储现实世界的静态对象112的虚拟副本的持久性虚拟世界系统。系统100使应用开发者能够将数字现实应用110附接在虚拟副本上。当采用客户端设备104的用户106接近虚拟地附接到静态对象112的一个或多个数字现实应用110时，数字现实应用110检测客户端设备的物理位置和方位，触发服务器102与客户端设备104共享数字现实应用110的内容。尽管在这里公开的示例中系统100被描述为包括单个服务器102，但是应当理解，这里描述为由单个服务器(例如，服务器102)执行的功能可以由包括多个服务器计算机的服务器系统执行，反之亦然。

在实施例中，数字现实应用110通过接收从客户端设备104或从跟踪客户端设备的位置和方位的其它计算设备发送的位置和方位数据来检测客户端设备104的位置和方位。在这样的实施例中，数字现实应用110可以将接收到的位置数据与触发区域进行比较，触发服务器102与已经进入触发区域的客户端设备104共享数字现实应用110的内容。客户端设备104可以是一个或多个移动设备，个人计算机，游戏控制台，媒体中心和头戴式显示器，其被配置成能够经由用户接口与用户106和数字现实应用110内容进行交互。

当数字现实应用110被虚拟地附接到诸如静态对象112的现实世界的元素时，数字现实应用110可以例如被定位或重新定位在与它被虚拟附接的对象配合的空间内，或者当它被附接的对象从该空间被移除或重新引入该空间时从该空间被移除或重新引入该空间。或者，数字现实应用110可以与它被虚拟附接的对象分离或分开。如果数字现实应用110未被附接，则该应用可以被定位在与任何对象的位置无关的空间中。如果数字现实应用110与它虚拟附接的对象分开，则该应用可以例如从该对象仍然存在的空间中移除，或者保持在与该对象的位置无关的固定位置中，或者独立于该对象移动。

触发区域可以被计算为用户和虚拟位置之间的距离，其中在现实世界中已经配置了应用。例如，触发区域可以被设置为例如围绕与应用相关联的位置、对象或实体从10到30米。或者，可以根据用户的视野来设置触发区域，例如，当与应用相关联的位置、对象或实体在用户的视野中时，则可以针对该特定用户来触发该应用。视野触发区域可以独立于离用户的距离。或者，触发区域也可以是由用户的听觉领域定义的区域(例如，当因为它被隐藏在另一个对象的后面而用户不能看到与应用相关联的位置、对象或实体，但是他在理论上可以听到来自它的任何声音时)。这种类型的触发区域可能受到距离的限制，但是也可以考虑附近材料或物体的任何潜在的声音吸收。

在本公开中，术语“静态”被用于表征在现实世界中具有固定位置和方位的对象，并因此表征在持久性虚拟世界系统中的相应虚拟副本中的对应的固定位置和方位输入。例如，术语“静态”可用于表征在典型条件下停留在相同位置的现实世界中的对象，例如在图1A-1B中示为静态对象112的喷泉，鞋和雕像。在一些情况下，静态对象可对应于本质上便携式但预期在延长的时间内保持在适当位置的现实世界的对象。例如，当鞋112固定在适当位置或期望保持在适当位置时(例如，作为博物馆展示或作为零售店中的促销展示)，鞋112可以被认为是静态对象。在其它情况下，静态对象对应于本质上不是便携式的现实对象(例如喷泉和雕像)。除了在罕见的情况下之外，例如在对包括静态对象的区域进行重塑期间，这种对象可以保持在适当的位置。在这种情况下，移位的静态对象的位置和方位可能必须手动更新或者基于从照相机或其它源获得的数据(例如，来自照相机的光学数据，雷达数据等)来更新。静态物体的其它示例可以包括天然地层，例如岩石，谷地，河流，火山，山脉，湖泊和树木。

在本公开中，术语“动态”被用于表征在现实世界中具有可变位置和方位的对象，并且因此表征在持久性性虚拟世界系统的虚拟副本中具有相应的可变位置和方位的对象。例如，术语“动态”可以用于表征现实世界中通常可以从一个区域移动到另一个区域的对象，例如汽车。其它示例性动态对象可以是任何类型的移动运载工具，例如自行车，无人机，飞机和船。在其它示例中，动态对象还可以包括生物，例如人和动物。

在本公开中，术语“虚拟副本”是指现实世界元素的准确且持久性的虚拟表示。在实施例中，虚拟副本包括提供自计算能力和自主行为的数据和模型。虚拟副本的数据和模型可以通过连接到现实世界元素的多个软件平台，软件引擎和传感器被输入。数据是虚拟副本的属性，模型是对应的现实世界元素的任何方面的图形，数学和逻辑表示，现实世界元素可用于在持久性的虚拟世界系统中复制现实，例如3D模型，动态模型，几何模型和机器学习模型。

在本公开中，术语“持久性”用于表征在没有连续执行进程或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可用于表征虚拟世界系统，其中虚拟世界系统和其中包括的所有虚拟副本，纯虚拟对象和数字现实应用在用于创建虚拟副本，纯虚拟对象和数字现实应用的进程停止之后继续存在，并且不依赖于用户连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置(例如，在服务器中)。以这种方式，即使用户没有连接到服务器，虚拟副本，纯虚拟对象和数字现实应用在被配置用于实现特定目标时可以相互交互和协作。

“自计算能力”，在这里也称为“自管理能力”，是指持久性虚拟世界系统的虚拟副本应用人工智能算法以便自主管理计算机资源(例如，分布式计算资源)的能力。在实施例中，具有自计算能力的虚拟副本能够自主地管理计算资源，以适应对应的现实世界元素的环境或现实世界元素本身的变化。因此，每个虚拟副本可以通过分配所需的资源，自主地发送和执行命令以及根据每个环境的需要生成事件，根据在持久性虚拟世界系统中反映的现实世界中的条件而自主地动作。实现这种类型的行为可能需要在虚拟副本的建模期间用人工智能算法训练虚拟副本。因此，虚拟副本编辑器的角色可限于定义引导自管理过程的一般策略和规则。例如，在汽车事故的情况下，靠近事故的自主车辆的虚拟副本可以决定降低其速度或停止，以便使交通状况恶化，并且在车辆中的乘客甚至可以知道存在事故之前，通知相关的当局。

本公开的系统100可以在云到边缘基础设施中实现，所述云到边缘基础设施可以使用公有云或私有云，雾服务器以及边缘设备和系统(例如企业系统，移动平台和用户设备)来显示分布式计算能力，所有这些都可以通过网络连接。使用云到边缘计算网络，对计算能力，计算机基础设施(例如，通过所谓的基础设施作为服务，或IaaS)，应用和商业过程的访问可以作为服务根据需要经由客户端设备被递送给用户。这样，包括物理服务器和网络设备的资源能够实现共享存储和计算，所述共享存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求等因素来动态分配。

一对虚拟现实孪生或孪生对包括现实世界元素及其对应的虚拟副本或虚拟孪生，并且可以被认为是网络物理系统或CPS。CPS是计算与物理进程的集成，物理进程的行为由系统的网络和物理部分来定义。因此，虚拟副本是CPS的网络部分，而物理部分是现实世界元素。然后，虚拟副本可以被认为是现实孪晶的扩展，其允许将物理部分与人工智能和模拟连接，以改善对象的能力和性能。

在一些实施例中，用户106可能不需要下载数字现实应用110以使应用变成用户106可见或可访问的，并从数字现实应用110接收相应的媒体流114。取而代之的是，服务器102可以直接从服务器102检索应用图形表示给用户106，并且如果交互级别增加，则对客户端设备104执行远程计算和渲染，客户端设备104可能只需要执行轻量级计算来显示数字现实内容。在其它实施例中，客户端设备104可以在预定的交互级别之后下载数字现实应用110或数字现实应用110的一部分，并进行客户端计算和渲染。

在一些实施例中，包括在媒体流114中的数字现实应用110内容包括以下中的至少一个：3D图像数据，3D几何形状，3D实体，3D感知数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，方位数据和照明数据。

在一些实施例中，虚拟副本包括3D世界和建筑数据中的一个或多个，例如基于SLAM或派生映射的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据，其可以用于为数字现实应用建模3D结构。

在一些实施例中，持久性虚拟世界系统的每个虚拟副本可以使用适合与当前地理定位技术一起使用的参考坐标系进行地理定位。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，WGS84是GPS使用的当前参考坐标系。

根据实施例，可以经由一个或多个第三方3D引擎，本地3D引擎或其组合来开发数字现实应用110。同样，可以经由来自一个或多个源的多个开发者来开发虚拟附接的数字现实应用110的虚拟副本。由于所有信息被包括在服务器102中，因此用户106能够独立于所使用的开发软件和开发者的源来查看所有应用和虚拟副本。因此，在一个方向上观看包括经由不同源开发的多个应用的用户106可以观看多个应用，并且可以能够与其交互。同样，用户106能够根据所期望的隐私级别或访问权限以及交互的深度来查看其他用户106与相应应用的一些或全部交互。

在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统100可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络108连接，例如通过第五代无线系统通信(5G)。在其它实施例中，无线局域网(Wi-Fi)提供60GHz的数据。所提供的通信系统可以允许低(例如，大约1到大约5毫秒的端到端(E2E)等待时间)和高(例如，1-10Gbps)下行链路速度到该领域中的端点，符合执行典型的高度交互式数字现实应用110所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统100可以通过第四代无线系统通信(4G)通信地连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

如图1A所示，多个用户106可以各自查看不同的静态对象112，每个静态对象112具有虚拟附接的一个或多个数字现实应用110。在图1A的示例中，喷泉，鞋和雕像是数字现实应用110可以虚拟地附接到其上的静态对象112，其中每个静态对象112被预先建模并存储在服务器102中。当视野116包括一个静态对象112时，每个用户106可以观看与每个用户106的观看位置和方位相对应的相应的静态对象112和数字现实应用110。

在另一个实施例中，如图1B所示，当用户106的视野116包括多个数字现实应用110时，单个用户106能够观看与用户106的观看位置和方位相对应的相应的多个静态对象112和数字现实应用110。因此，用户106可以观看喷泉，鞋子和雕像以及分别虚拟地附接到每个的数字现实应用110。

图2A-2B描绘了根据实施例的用于将应用和交互附接到静态对象的系统200的示意性表示，详细描述了虚拟副本的配置以及将应用附接到虚拟副本。图2A-2B的一些元素可以与图1A-1B的元素相似，因此可以使用相似或相同的附图标记来标识那些元素。

系统200包括服务器102，服务器102包括处理器202和存储器204。处理器202被配置为对存储在存储器204中的数据执行指令。如图2A所示，存储器204包含具有结构化数据的数据库，该数据库包含持久性虚拟世界系统，该持久性虚拟世界系统存储从现实世界元素中选择的静态对象的虚拟副本206，该虚拟副本206包括基于对应的静态对象112的地点和空间208，物理设置210和3D数据结构212等。

在将数字现实应用110附接到对应的静态对象之前虚拟化现实世界允许应用开发者利用包括虚拟副本的位置和方位的地点。此外，诸如静态对象和数字元素之间的冲突和遮挡之类的效果可以以更现实的方式实现，因为每个现实世界元素作为虚拟副本存储在服务器102中。例如，数字现实应用110可以被现实世界对象遮挡，因为对应于现实世界对象的虚拟副本可以阻止用户106观看数字现实应用110，从而实现现实效果。同样，当现实世界被虚拟化时，应用或虚拟元素与现实世界对象之间的冲突效果被启用，从而产生现实效果。

地点和空间208被配置为允许设置地点，相对三维位置和方位，以及虚拟副本206的缩放。物理210的配置使得能够指定虚拟副本206的物理特性，例如刚体动力学，软体物理，流体动力学，遮挡和碰撞检测等。3D数据结构212涉及能够有效访问和修改的3D对象的数据组织和存储格式，包括例如八叉树，四叉树，BSP树，稀疏体素八叉树，3D阵列和k-d树。

如图2B所示，系统200使应用开发者能够将数字现实应用110(例如，数字现实应用110a-c)附接在相应的虚拟副本206a-c上。

根据实施例，通过容易获得的静态对象的CAD模型创建虚拟副本206。例如，机器所有者可以提供持久性虚拟世界系统的管理员，或者可以自己输入其机器的已存在的数字CAD或CAE模型。类似地，建筑物拥有者可以向建筑物信息模型(BIM)提供将被存储在持久性虚拟世界系统中的建筑物细节，可以包括可能不可见或不容易通过感测机构获得的信息。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位和建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本206进行建模。在其它实施例中，雷达成像，例如合成孔径雷达，现实孔径雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术，可以用于在将静态对象集成到持久性虚拟世界系统之前对静态对象进行制图和建模。利用这些更多的技术方案尤其可以在结构的原始模型不可用的情况下执行，或者在存在丢失的信息或者需要向CAD或CAE模型不提供的虚拟世界实体添加附加信息的情况下执行。

图3A-3B描绘了根据实施例的用于将应用和交互附接到静态对象的系统300的示意性表示，详细描述了现实世界，虚拟世界和融合世界之间的连接。图3A-3B的一些元素可以与图1A-2B的元素相似，因此可以使用相似或相同的附图标记来标识那些元素。

数字现实应用110经由存储在虚拟世界304中的虚拟副本206虚拟地附接到现实世界302中的一个或多个静态对象112。因此，如图3A所示，没有佩戴或使用客户端设备104的用户106可以接近数字现实应用110虚拟附接的现实世界地点，而无需触发系统300中的任何反应，并且无需用户106能够观看数字现实应用110。此时，基于现实世界302开发的虚拟世界304可以仅包括静态对象112和附接在其上的数字现实应用110的信息。

另一方面，如图3B所示，当用户106激活并使用客户端设备104时，数字现实应用110可以检测并执行对客户端设备104的观看位置和方位的跟踪306，并且可以从服务器102检索相应的媒体流114，调整这些媒体流以便在用户交互期间与用户观看位置和方位对准。检测客户端设备104激活融合世界308，由此用户106在现实世界302中的移动在虚拟世界304中被实时登记。跟踪306例如可以包括跟踪用户移动的旋转310和平移312，这对于调整传递到客户端设备104的媒体流114的观看位置和方位可能是必需的。

根据实施例，数字现实应用110可以利用多种技术中的一种或多种来向客户端设备104广播信号，从而警告客户端设备104数字现实应用110在客户端设备104的位置附近可用。在一个实施例中，如果用户106先前已经预订了服务器102中的应用，则客户端设备104的位置可以在任何时候在存储在服务器102中的持久性虚拟世界系统处可用。因此，当用户106接近数字现实应用110时，数字现实应用110可能已经准备好向客户端设备104广播信号。在另一个实施例中，如果用户106先前已经预订了服务器102或者从服务器102预订了一个或多个特定的数字现实应用110，则数字现实应用110可以在广播信号之前不断地搜索登记的设备。在一个实施例中，当具有客户端设备104的用户106进入数字现实应用110活动的位置时，数字现实应用110可以检测来自客户端设备104的信号，指示该设备可以在广播该信号之前接收数字现实应用110媒体流。

作为示例，数字现实应用110虚拟地附接到放置在公园中的特定位置的静态鞋。在没有客户端设备104的情况下，用户106可以只观看鞋子，但是当用户使用客户端设备104时，用户106可以观看可以由发光或发出声音的鞋表示的数字现实应用110。数字现实应用110可以向用户106警告数字现实应用110的存在，并且用户106之后可以触摸该数字现实应用110的虚拟的图形表示，可以触发其他形式的交互。例如，在用户106触摸数字现实应用110的图形表示之后，图形表示可以增加尺寸，可以使用户106能够旋转鞋，以文本的形式观看鞋特性，观看关于鞋的视频，改变鞋的一些特性，例如颜色，尺寸或风格，并且可以购买所选择的鞋。鞋可以保持在公园中的特定位置或直到由鞋提供商决定的别处，并且此后可以将鞋移动到另一个位置，对于该另一个位置，可能需要在服务器102中更新鞋地点和空间设置。在其它示例中，鞋可以在虚拟现实中完全观看，例如在沙漠，山或另一城市中，例如以不同的设置显示鞋。

图4示出了根据实施例的用于将应用和交互附接到静态对象的系统400的示意性表示，详细描述了客户端设备的操作组件。

客户端设备104可以包括诸如输入/输出(I/O)模块402的操作组件；电源404；存储器406；形成跟踪模块412的传感器408和收发器410；以及网络接口414，全部可操作地连接到处理器416。

I/O模块402被实现为被配置为与用户交互并向一个或多个其它系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块402可以被配置为与用户交互，基于交互生成用户输入数据，并且在经由网络被传送到诸如服务器的其它处理系统之前将用户输入数据提供给处理器416。在另一示例中，I/O模块402被实现为被配置为与客户端设备104交互的外部计算定点设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)。在其它实施例中，I/O模块402可提供与上述功能相比更多，更少或不同的功能。

电源404被实现为被配置为向客户端设备104供电的计算硬件和软件。在一个实施例中，电源404可以是电池。电源404可以内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过用另一个电源404替换一个电源404来对设备重新供电。在另一个实施例中，电源404可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线("USB")火线，以太网，雷电或耳机电缆。在又一个实施例中，电源404可以通过感应充电进行再充电，其中，当感应充电器和电源404两者非常接近时，电磁场用于将能量从感应充电器传递到电源404，但不需要通过电缆彼此插入。在另一个实施例中，可以使用对接站来促进充电。

存储器406可以被实现为适于存储应用指令的计算硬件和软件。存储器406可以是能够存储处理器416可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，所述电子设备例如硬盘驱动器，存储卡，闪存驱动器，ROM,RAM,DVD或其它光盘，以及其它可写和只读存储器。除了永久存储器之外，存储器406还可以包括临时存储器。

传感器408可以被实现为适于从现实世界获得数据的计算硬件和软件。在一些实施例中，传感器408中的一个或多个可以确定/跟踪客户端设备104的位置和方位，并将该信息发送到服务器以确定客户端设备的位置和方位。例如，传感器408可以包括一个或多个摄像机，例如一个或多个深度摄像机。传感器还可以包括一个或多个惯性测量单元(IMU)，加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告客户端设备104的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计和/或与IMU分开配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，加速度计包括能够在三个正交方位上测量加速度的三轴加速度计。

收发器410可被实现为计算硬件和软件，其被配置为使设备能够从天线接收无线电波并将数据发送回天线。在一些实施例中，可以使用mmW收发器，其可以被配置为从天线接收mmW波信号，并且当与沉浸式内容交互时将数据发送回天线。收发器410可以是双向通信收发器410。

在实施例中，跟踪模块412可以通过将IMU，加速度计和陀螺仪的能力与由收发器410提供的位置跟踪相结合来实现，并且由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米位置和方位跟踪，这可以在跟踪客户端设备104的实时位置和方位时提高精度。在替代实施例中，感测机构和收发器410可在单个跟踪模块装置中耦合在一起。

网络接口414可以被实现为计算软件和硬件，以通信地连接到网络，从由服务器或由客户端设备104发送的网络接收计算机可读程序指令，并转发计算机可读程序指令，以便存储在存储器406中，由处理器416执行。

处理器416可以被实现为计算硬件和软件，其被配置为接收和处理来自感测机构的数据以及数字现实应用数据和指令。举例来说，处理器416可经配置以提供成像请求，接收成像数据，将成像数据处理成环境或其它数据，处理用户输入数据和/或成像数据以产生用户交互数据，执行基于边缘(设备上)的机器学习训练和推断，提供服务器请求，接收服务器响应，和/或将用户交互数据，环境数据和内容对象数据提供到一个或多个其它系统组件。例如，处理器416可以从I/O模块402接收用户输入数据，并且可以分别实现存储在存储器406中的应用。在其它示例中，处理器416可从感测机构接收从现实世界捕获的数据，或可通过跟踪模块412接收客户端装置104的准确位置和方位，且可在将数据发送到服务器以用于进一步处理之前准备一些数据。在其它示例中，处理器416可以在执行数字现实应用的同时执行从服务器接收的媒体流的基于边缘的渲染。在其它示例中，处理器416可以接收由服务器渲染的媒体流，并且可以对媒体流执行轻量级操作，以便输出媒体流。

图5描述了根据实施例的用于将应用和交互附接到静态对象的方法500的框图。方法500可以由系统(诸如参考图1A-4描述的系统)来实现。

根据实施例，用于将数字现实应用和交互附接到静态对象的方法500在框502和504中开始，开发者经由存储在服务器中的副本编辑器来创建在现实世界元素中选择的静态对象的虚拟副本。随后，方法500在框506中继续，添加虚拟副本现实世界属性，包括地点和空间设置，物理设置和3D数据结构。然后，在框508中，方法500继续，开发者经由存储在服务器中的副本编辑器将数字现实应用附接到虚拟副本。

在框510中，方法500继续，用户接近并查看数字现实应用。在一些实施例中，用户可以接近融合现实中的数字现实应用。在其它实施例中，用户可以接近虚拟现实中的数字现实应用。接近数字现实应用触发数字现实应用来检测和跟踪客户端设备位置和方位，并将客户端位置和方位发送到服务器，如框512所示。在框514，服务器从客户端设备检索并跟踪观看位置和方位，然后，在框516，向客户端设备发送被调整并对准用户的观看位置和方位的应用媒体流。最后，在框518和520中，用户经由客户端设备与数字现实应用进行交互。

虽然已经在附图中描述和示出了某些实施例，但是应当理解，这样的实施例仅仅是说明性的，而不是对宽泛的发明进行限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改。因此,本说明书应被认为是示例性的而不是为了限制本发明。

Claims (20)

1.一种系统，其特征在于，包括：

包括存储器和处理器的一个或多个服务器；

其中所述一个或多个服务器包含存储现实世界的静态对象的虚拟副本的持久性虚拟世界系统，所述虚拟副本包括静态对象地点和空间、物理设置和3D数据结构，其中所述持久性虚拟世界系统被配置为虚拟地将数字现实应用附接到所述虚拟副本上，使得当客户端设备接近数字现实应用虚拟附接到的地点、对象或实体时，所述数字现实应用检测所述客户端设备的物理位置和方位，触发所述一个或多个服务器向所述客户端设备发送数字现实应用内容。

2.如权利要求1所述的系统，其特征在于，所述数字现实应用内容以真实现实，融合现实或虚拟现实来呈现。

3.如权利要求1所述的系统，其特征在于，与所述数字现实应用的交互是个人的或与其它客户端设备共享。

4.如权利要求1所述的系统，其特征在于，所述虚拟副本是通过计算机视觉技术，计算机辅助绘图，计算机辅助工程模型或其组合来创建的。

5.如权利要求4所述的系统，其特征在于，所述计算机视觉技术包括通过照片，视频，深度测量，同步定位和建图(SLAM)扫描或雷达成像技术或其组合的基于汽车或无人机的图像扫描。

6.如权利要求1所述的系统，其特征在于，所述数字现实应用内容由所述服务器直接流式传送到所述客户端设备，并且随着交互级别增加，所述客户端设备可下载所述数字现实应用或其部分，并进行本地计算和渲染。

7.如权利要求1所述的系统，其特征在于，所述一个或多个数字现实应用提供的数字内容包括3D图像数据，3D几何形状，3D实体，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，方位数据，触觉数据或照明数据，或其组合。

8.根据权利要求1所述的系统，其特征在于，所述客户端设备包括惯性测量单元和收发器的组合，所述惯性测量单元和所述收发器能够对所述计算设备进行亚厘米或亚毫米的跟踪。

9.如权利要求8所述的系统，其特征在于，所述收发器是毫米波收发器，所述毫米波收发器被配置成无线地从天线接收mmW无线电波，并将所述数据发送回所述天线。

10.如权利要求8所述的系统，其特征在于，通过到达时间(TOA)，到达角度(AOA)，视觉成像，GPS或雷达技术或其组合来进行所述跟踪。

11.一种方法，其特征在于，包括：

由包括存储器和处理器的服务器计算机系统提供存储现实世界的静态对象的虚拟副本的持久性虚拟世界系统，所述虚拟副本包括静态对象地点和空间、物理设置和3D数据结构；和

将数字现实应用虚拟地附接到所述虚拟副本，使得当客户端设备接近数字现实应用虚拟地附接到的地点、对象或实体时，所述数字现实应用检测所述客户端设备的物理位置和方位，触发所述服务器计算机系统向所述客户端设备发送数字现实应用内容。

12.根据权利要求11所述的方法，其特征在于，进一步包含：

通过存储在服务器中的副本编辑器创建从所述现实世界中选择的所述静态对象的虚拟副本；

添加虚拟副本现实世界属性，包括地点和空间设置、物理设置和3D数据结构；

通过存储在所述服务器中的所述副本编辑器将数字现实应用虚拟地附接到所述虚拟副本。

13.根据权利要求11所述的方法，其特征在于，还包括：

服务器检索并跟踪所述客户端设备的观看位置和方位；和

所述服务器向所述客户端设备发送数字现实应用内容。

14.如权利要求11所述的方法，其特征在于，所述数字现实应用内容以真实现实，融合现实或虚拟现实呈现。

15.如权利要求11所述的方法，其特征在于，与所述数字现实应用的交互是个人的或与其它客户端设备共享。

16.根据权利要求11所述的方法，其特征在于，所述虚拟副本是经由计算机视觉技术，计算机辅助绘图或计算机辅助工程模型或其组合来创建的。

17.根据权利要求16所述的方法，其特征在于，所述计算机视觉技术包括通过照片，视频，深度测量，同步定位和建图(SLAM)扫描或雷达成像技术或其组合的基于汽车或无人机的图像扫描。

18.如权利要求11所述的方法，其特征在于，所述数字现实应用内容由所述服务器直接流式传送到所述客户端设备，并且随着交互级别增加，所述客户端设备可下载所述数字现实应用，并进行本地计算和渲染。

19.如权利要求11所述的方法，其特征在于，由所述一个或多个数字现实应用提供的数字内容包括3D图像数据，3D几何形状，3D实体，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，方位数据，触觉数据或照明数据，或其组合。

20.根据权利要求11所述的方法，其特征在于，所述客户端设备包括惯性测量单元和收发器的组合，所述惯性测量单元和所述收发器能够对所述计算设备进行亚厘米或亚毫米的跟踪。

Images