CN112100798A - 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法 - Google Patents

Abstract

一种用于将现实世界元素的虚拟副本开发和部署到持久性虚拟世界系统中的系统。在虚拟环境中执行虚拟副本的开发，该虚拟环境使得能够开发和配置虚拟副本，该虚拟副本反映对应的现实元素的行为和外观。虚拟副本通过由感测机构所捕获的使虚拟副本与现实世界元素实时同步的数据被丰富。虚拟副本在基于虚拟世界的质量保证系统中被共享，其中在必要时，它们可以被批准或拒绝用于随后的调整。在批准和部署之后，在部署的持久性虚拟世界系统中共享副本，该持久性虚拟世界系统对于终端用户是可见的，用于管理和交互虚拟副本。还公开了其方法。

Description

用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统 中的系统和方法

技术领域

本发明大体上涉及计算机系统，且更具体地说，涉及一种用于产生现实世界元素的虚拟副本并将其部署到情境丰富的持久性虚拟世界系统中的系统和方法。

背景技术

虚拟世界是提供现实或虚拟世界的图形和物理表示的模拟环境，其中用户可以通过化身或彼此的虚拟副本彼此交互或与其他元素交互。虚拟世界被用于例如创建视频游戏，创建电影中的动画或在飞行模拟器中训练飞行员。在所有这些应用中，程序被用于基于用户输入或学习行为来模拟交互、移动和改变的虚拟对象。

虚拟世界中的对象可以遵循与重力，地形，运动，物理和运动学相关的规则，这些规则可以基于或不基于现实世界元素。因此，存在用于创建现实世界项目的虚拟副本的当前技术。然而，这些虚拟副本不包含现实世界元素的所有数据和它们周围的情境。此外，副本通常不与它们的现实世界对应物同步，以反映在现实世界中作出的改变。这限制了将虚拟世界用于诸如在建筑物，工厂，城市等中管理操作的重要应用的能力。

虚拟副本的开发，测试和部署可以是计算密集型的。此外，数字现实环境的可变特性(例如，增强现实，虚拟现实和融合现实)在创建虚拟副本时对开发者提出了挑战。所希望的是一种便于虚拟副本的开发、部署和操作的系统和方法，该系统和方法能够以不太计算密集型的方式精确地反映它们所代表的现实世界元素，包含来自每个元素的高水平的同步信息，并且在集成的生态系统中。

发明内容

提供该概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不打算确定权利要求所要求保护的主题的关键特征,也不打算被用来帮助确定权利要求所要求保护的主题的范围。

背景技术中所描述的一个或多个缺点通过如本文所公开的一种用于将现实世界元素的虚拟副本开发和部署到持久性虚拟世界系统中的系统和方法来解决。

一方面，根据本公开的用于开发和部署现实世界元素的虚拟副本的系统包括服务器系统，服务器系统包括一个或多个服务器计算机，每个服务器计算机存储器和处理器，所述服务器系统存储持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界元素的虚拟副本，虚拟副本具有自计算能力，所述服务器系统还存储被配置为向虚拟副本输入显式数据和指令的副本编辑器，以及基于虚拟世界的质量保证(QA)系统，所述基于虚拟世界的质量保证(QA)系统被配置为测试和验证所述虚拟副本。服务器系统被配置为从经由网络连接到服务器系统的设备接收多源数据，并使用接收到的多源数据实时地同步和更新虚拟副本。该设备可以包括被配置成获得多源数据的感测机构，所述多源数据用于实时地丰富，同步和更新虚拟副本。该设备可以包括被配置成向用户提供对持久性虚拟世界系统，副本编辑器和基于虚拟世界的QA系统的访问的用户设备，或被配置在现实世界的多个区域中以利用多源数据持续更新持久性虚拟世界系统的其他设备，或其组合。

副本编辑器可以输入与每个数字副本有关的显式数据和指令，所述显式数据和指令可以描述特征，例如，每个副本的形状，定位，位置和取向，物理属性以及预期的功能和影响。虚拟副本包括通过副本编辑器中包括的软件模块和工具输入的数据和指令，副本编辑器包括建模工具，位置和空间设置，物理设置，操作设置，人工智能模块，数据同步模块和副本测试模块。这些模块和工具被配置成使开发人员能够无缝地开发，配置，测试和同步虚拟副本。

在通过副本编辑器开发虚拟副本之后，虚拟副本开发者可以利用通过安装在连接到持久性虚拟世界系统的设备上的感测机构获得的多源数据使虚拟副本同步。多源数据能够实现实时更新每个虚拟副本的状态的恒定数据流。一旦虚拟副本被同步，虚拟副本开发者可以通过虚拟副本编辑器测试同步的虚拟副本。虚拟副本开发者可以向持久性虚拟世界系统管理员发送验证请求，持久性虚拟世界系统管理员可以经由基于持久性虚拟世界系统的QA系统来查看该请求。持久性虚拟世界系统管理员可以经由基于持久性基于虚拟世界系统的QA系统来验证虚拟副本，并且如果必要的话，将调整请求发送到虚拟副本编辑器，此后虚拟副本编辑器可以调整虚拟副本，直到它们符合持久性虚拟世界系统管理员。持久性虚拟世界系统管理员此后可以将虚拟副本部署到持久性虚拟世界系统中，使它们可用于其他用户。

在一些实施例中，现实世界元素可能还不可用，例如当现实世界元素没有感测机构或者没有构建或安装时。在这种情况下，这种现实世界元素的虚拟副本可以基于在持久性虚拟世界系统内执行的模拟。

在一个实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并改善一般的数字现实体验，系统可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络连接，例如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网(Wi-Fi)连接，其可以例如提供60GHz的数据。所提供的通信系统可以允许低的(例如，大约1到大约5毫秒)端到端(E2E)延迟和高的(例如，1-10Gbps)的下行链路速度到达该领域中的端点，这符合执行典型的高度交互的数字现实应用所必需的参数。这导致高质量，低延迟，实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。

根据一个实施例，安装在用户设备上的感测机构包括惯性跟踪感测机构和收发器的组合。惯性跟踪感测机构可以利用诸如加速度计和陀螺仪的设备，这些设备可以集成在惯性测量单元(IMU)中。收发器可以被实现为向天线发送无线通信信号和从天线接收无线通信信号。优选地，收发器是mmW收发器。在使用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并将数据发送回天线。由mmW收发器提供的惯性传感器和位置跟踪以及由基于mmW的天线提供的精确跟踪，低延迟和高服务质量(QOS)功能可以实现亚厘米甚至亚毫米的位置和定向跟踪，这可以在跟踪客户端元素的实时位置和定向时提高精度。在一些实施例中，可以通过采用本领域已知的几种技术来实现跟踪，例如到达时间(TOA)，到达角度(AOA)，或本领域已知的其它跟踪技术(例如，视觉成像，雷达技术等)。在替代实施例中，感测机构和收发器可在单个跟踪模块装置中耦合在一起。

提供对所连接的元素的准确跟踪可用于在持久性虚拟世界系统内显示虚拟副本的可靠状态，特别是它们的位置和定向，这对于各种应用可能是相关的。此外，由于现实设备可以使用其虚拟副本来通过虚拟世界感测现实，因此能够准确，实时地跟踪连接的元素可以减少对物理上感测其它连接的设备的需要。

在另一个方面，由服务器系统执行的方法包括提供持久性虚拟世界系统，该持久性虚拟世界系统包括现实世界元素的虚拟副本，该虚拟副本具有自计算能力，配置为向虚拟副本输入显式数据和指令的副本编辑器，配置为测试和验证虚拟副本的基于虚拟世界的质量保证系统；从连接到服务器系统的设备接收多源数据；以及使用接收到的多源数据来实时同步和更新虚拟副本。

根据一个实施例，提供了一种用于将虚拟副本开发和部署到持久性虚拟世界系统中的方法。该方法可以在本公开的系统中实现。该方法可以包括由虚拟副本开发者经由副本编辑器开发对应的现实元素的虚拟副本，所述副本编辑器在所述服务器上被托管和计算，并由经由网络连接到所述服务器的用户设备访问，每个虚拟副本包括数据和指令，所述数据和指令使得每个虚拟副本能够实现自计算能力。该方法继续，虚拟副本开发者经由安装在多个设备上的感测机构接收的多源数据使虚拟副本与对应的现实世界元素同步。然后，该方法继续，虚拟副本开发者经由虚拟副本编辑器测试同步的虚拟副本。如果虚拟副本被虚拟副本开发者批准，则他或她可以向持久性虚拟世界系统管理员发送验证请求。该方法继续，由持久性虚拟世界系统管理员通过基于虚拟世界的质量保证系统来验证虚拟副本。如果虚拟副本不符合，则该方法继续，由持久性虚拟世界系统管理员向虚拟副本开发者发送应用调整请求。该方法继续，由虚拟副本开发者经由副本编辑器调整虚拟副本。最后，如果虚拟副本是符合的，则持久性虚拟世界系统管理员可以经由基于虚拟世界的质量保证系统将虚拟副本部署到部署的持久性虚拟世界系统中。

以上概述不包括本公开的所有方面的详尽列表。预期本公开包括可以从以上概述的各个方面的所有合适的组合来实践的所有系统和方法，以及在以下详细描述中公开的那些以及在随本申请提交的权利要求书中具体指出的那些。这样的组合具有在以上概述中没有具体陈述的优点。根据附图和下面的详细描述，其它特征和优点将是显而易见的。

附图说明

参考以下描述和附图将更好地理解本公开的具体特征、方面和优点，其中：

图1描绘根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统的图。

图2描绘了根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统的图，其详细描述了多源数据的捕获以及与服务器共享数据。

图3描绘了根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统的图，其详细描述了副本编辑器的组件。

图4示出了根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统的图，其详细描述了基于虚拟世界的质量保证系统的组件。

图5描绘根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统的图，其详细描述了设备的操作组件。

图6示出了根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的方法的框图。

具体实施方式

在以下描述中，参考通过示例方式示出各种实施例的附图。此外，下面将通过参考几个实例来描述各种实施例。应当理解，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构上的改变。

图1描绘根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的系统100的图。系统100包括被配置成存储和处理输入数据和指令的服务器102，服务器102还包括存储器104和处理器106。存储器104存储持久性虚拟世界系统108，其包括具有自计算能力的现实世界元素的虚拟副本110、被配置为向每个虚拟副本输入显式数据和指令的副本编辑器112、以及被配置为测试和验证虚拟副本110的基于虚拟世界的质量保证(QA)系统114。处理器106被配置为执行关于存储器104中存储的数据的指令。系统100还包括经由网络118连接到服务器102的一个或多个设备116。设备116包括被配置成获得多源数据120的感测机构，该多源数据120用于同步和更新虚拟副本110。每个设备116可从一个或多个源(例如，从一个或多个现实世界元素、环境传感器、计算设备等)获取数据。总的来说，设备116从多个源获取数据。如本文所使用的，术语“多源数据”是指从多个源获得的数据。设备116可以包括用户设备122以及其他设备124，用户设备122被配置成访问持久性虚拟世界系统108，副本编辑器112和基于虚拟世界的QA系统114，其他设备124被配置在现实世界的多个区域中，以经由多源数据120连续地更新持久性虚拟世界系统108。

用户设备122可以是例如移动设备，个人计算机，游戏控制台，媒体中心，智能隐形眼镜和头戴式显示器。其它设备124可以指可以连接到网络，可以彼此通信，并且从多个源接收信息的任何计算设备或机器，这是一种现在称为物联网(IoT)的技术概念，并且这种设备可以被称为IoT设备。虚拟副本110可以代表连接到持久性虚拟世界系统108的设备116(例如，用户设备122和其他设备124)以及未连接元素。未连接元素是指仅提供对应的现实世界元素的相应现实外观和其它特征(例如，物理学)的元素，因为它们不包括感测机构。这些未连接元素可以是，例如，地形和其它自然存在的元素，例如树，山，地形，天空等，它们已经根据它们的视觉外观和物理学进行了建模和模拟，但是可以不包含用于从它们捕获实时数据的传感器。如本文使用的术语“指令”是指被配置为由处理器执行的代码(二进制代码)。在虚拟副本的情境中，指令可以指的是表示现实世界元素的外观和行为的代码。用于执行本发明的各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，编程语言包括面向对象的编程语言，例如Java,Smalltalk,C++等，以及常规的过程编程语言，例如“C”编程语言或类似的编程语言。

显式数据可以包括可能不是由感测机构获得的数据，而是可能需要通过副本编辑器112被数字地输入的数据，例如优先级数据，建物筑材料，壁厚，电气设备和电路，水管，灭火器，紧急出口，窗口位置，机器性能参数，机器传感器和阀位置等。通过副本编辑器112输入的显式数据和指令可以包括，除了现实世界元素的形状，物理和其它属性之外，详细描述现实世界元素的预期功能和行为的描述性数据和指令，包括例如，预期的电和水消耗，建筑物内的预期人流量和设施的预期碳排放量。

这里使用的“优先级数据”是指根据现实世界系统108的相对重要性对现实世界元素进行分级分类。例如，某些车辆(例如，救护车)或人(例如，总统，政府官员，警察等)可以具有更高的优先级，其可以影响基于数据推断执行的决策。

如本公开中所使用的术语“现实世界元素”是指在现实世界中发现的可以由感测机构感测的元素。例如，现实世界元素可以是在现实世界中找到的移动或静态实体，包括人类，车辆，建筑物，物体，游艺场所，自然形成物和街道等。

在本公开中，术语“持久性”用于表征在没有连续执行处理或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可用于表征虚拟世界系统，其中虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和应用在用于创建虚拟副本、纯虚拟对象和应用的处理停止之后继续存在，并且不依赖于用户连接到虚拟世界系统。因此，虚拟世界系统被保存在例如服务器中的非易失性存储位置中。以这种方式，即使用户没有连接到服务器，虚拟副本、纯虚拟对象和应用在被配置用于实现特定目标时可以相互交互和协作。

如上所述，虚拟副本可以基于多源数据进行更新，例如通过更新已知的参数或特征，通过用额外的参数或特征来丰富虚拟副本，或者类似的方式。在本公开中，术语“丰富”用于描述基于多源数据120向虚拟副本提供进一步特性的动作。丰富虚拟副本可被视为一种特殊形式，即用一种或多种新形式的数据更新虚拟副本，而这些新形式的数据可能以前在虚拟副本中没有出现过。例如，丰富虚拟副本可以指提供从多个设备116上的感测机构捕获的现实世界数据，其中进一步的现实世界数据包括视频数据，温度数据，实时能量消耗数据，实时水消耗数据，速度或加速度数据等。

“自计算能力”，在这里也被称为“自管理能力”，是指持久性虚拟世界系统的虚拟副本应用人工智能算法的能力，以便自主地管理计算资源(例如，分布式计算资源)。在实施例中，具有自计算能力的虚拟副本能够自主管理计算资源，以适应相应的现实世界元素的环境或现实世界元素本身的变化。因此，每个虚拟副本可以根据在持久性虚拟世界系统中反映的现实世界中的条件，通过分配所需的资源、自主地发送和执行命令以及根据每个环境的需要生成事件而自主地动作。实现这种类型的行为可能需要在虚拟副本的建模期间用人工智能算法训练虚拟副本。因此，虚拟副本编辑器的角色可以被限制为定义引导自管理处理的一般策略和规则。例如，在汽车事故的情况下，靠近事故的自主车辆的虚拟副本可以决定降低它们的速度或停止，以便使交通状况恶化，并且在靠近事故的车辆中的乘客甚至可以在知道存在事故之前，就通知相关的当局。

一对虚拟-现实孪生体或孪生体对包括现实世界元素及其对应的虚拟副本或虚拟孪生体，并且可以被认为是信息物理系统或CPS。CPS是计算进程与物理进程的统一体，其行为由系统的网络和物理部分来定义。因此，虚拟副本是CPS的网络部分，而物理部分是现实世界元素。然后，虚拟副本110可以被认为是现实孪生体的扩展，其允许将物理部分与人工智能和模拟相连接，以改善对象的能力和性能。在一些实施例中，虚拟副本110可以是物理组件和物理进程的一部分的替代。例如，当传感器在现实对应物中出现故障的情况下，现实孪生体的感测输入由虚拟世界中的虚拟孪生体的交互提供。在另一个示例中，如果电池在现实孪生体中运行为低，则可以通过虚拟副本110在虚拟世界中进行对于现实孪生体的部分计算。

现实世界元素的虚拟化以及将每个现实世界元素的相应数据和指令添加到虚拟副本110能够实现每个虚拟副本110和整个持久性虚拟世界系统108的自计算能力和自主模拟。取决于现实世界元素的虚拟化的复杂度水平，3D计算可以从简单的3D计算到更高级的3D计算。例如，已被虚拟化以仅包括一些属性(例如几何模型和3D模型，但不包括人工智能模型)的对象可限制计算，并因此限制可使用虚拟副本110的应用。因此，同样包括复杂模型的精确3D映射对于实现更高质量的模拟和以多种方式增强用于多个应用的现实是必需的。

在一些实施例中，现实世界元素可能还不可用，例如当还没有包括感测机构或还没有建造或安装时。在这种情况下，这种现实世界元素的虚拟副本可以基于在持久性虚拟世界系统进行的模拟。

作为示例，电梯的虚拟副本110(例如，虚拟副本A)可以包括表示作为现实建筑物(例如，虚拟副本B)的一部分的现实电梯的几何形状，材料，物理特性以及机械和运行的数据和指令。诸如从一个楼层(例如，虚拟副本C)到另一个楼层的移动之类的运行可以随着电梯在现实生活中的移动而在持久性虚拟世界系统108中实时更新。同样，可以通过操纵虚拟副本110而在现实生活中间接操纵电梯。

根据一个实施例，天线(未示出)可以被配置为发射和接收能够与系统100进行移动通信的无线电波。天线可以通过有线或无线装置连接到服务器可以位于的计算中心或数据中心。在其它实施例中，在计算中心和/或由计算中心服务的区域内提供天线。在一些实施例中，为了提供与位于室外的计算设备的连接，天线可以包括基于毫米波(mmW)的天线系统或者基于mmW的天线和Sub 6GHz天线系统的组合，例如第五代无线系统通信网络(5G)。在其它实施例中，天线可以包括其它类型的天线，例如4G天线，其可以用作mmW/subGHz天线系统的支持天线。在天线用于提供与位于室内的计算设备的连接的实施例中，天线可以使用无线局域网(WiFi)，优选地但不限于，提供60GHz的数据。

在其它实施例中，全球导航卫星系统(GNSS)(其统称为基于多个卫星的导航系统，例如GPS，BDS，Glonass，QZSS，Galileo和IRNSS)可用于实现设备的定位。使用来自足够数量的卫星和诸如三角测量和三边测量的技术的信号，GNSS可以计算设备的位置，速度，高度和时间。在优选实施例中，通过现有蜂窝通信网络的体系结构，外部定位系统由辅助GNSS(AGNSS)来增强，其中现有体系结构包括5G。在其它实施例中，AGNSS跟踪系统还由4G蜂窝通信网络支持。在室内实施例中，通过诸如Wi-Fi的无线电无线局域网进一步增强GNSS，优选地，但不限于，提供60GHz的数据。在替代实施例中，通过本领域已知的其它技术来增强GNSS，例如通过差分GPS(DGPS)，基于卫星的增强系统(SBAS)，实时运动学(RTK)系统。在一些实施例中，通过设备中的AGNSS和惯性传感器的组合来实现设备的跟踪。

在本公开的一些实施例中，系统100可以在云到边缘基础设施中实现，云到边缘基础设施可以使用公共云或专用云，雾服务器以及边缘设备和系统(例如企业系统，移动平台和用户设备)来显示分布式计算能力，所有这些都可以通过网络连接。使用云到边缘计算网络，对计算能力、计算机基础设施(例如，通过所谓的基础设施作为服务，或IaaS)、应用和商业过程的访问可以根据需要作为服务，经由客户端设备被传输给用户。这样，包括物理服务器和网络设备的资源能够实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求等因素来动态分配。

根据一个实施例，用户126能够以任何增强现实、虚拟现实或混合现实来访问持久性虚拟世界系统108，从而与其他用户或虚拟对象(例如虚拟副本110，应用，广告等)交互。因此，例如，用户126可以通过选择虚拟现实中的位置来访问现实世界的远程位置，使得该区域中的其他用户能够查看在期望位置的用户的虚拟化身并与用户交互。

作为示例，持久性虚拟世界系统108中部署的虚拟副本110可以由诸如房主，工厂管理者和城市政府官员之类的用户通过适当的用户设备122来访问，监视，操纵和管理。每个持久性虚拟世界系统用户126的管辖范围和管理范围可以取决于持久性虚拟世界系统管理员可能需要提供的用户许可。例如，使用持久性虚拟世界系统108的房主可以限于管理其家庭中的虚拟副本110；工厂管理者可以被授权只管理其工厂内部的虚拟副本110；并且政府官员可以被授权访问、查看和管理持久性虚拟世界系统108中的所有或大多数虚拟副本110。

图2描绘了根据实施例的用于将现实世界元素的虚拟副本开发、测试和部署到持久性虚拟世界系统中的系统200的图，其详细描述了多源数据的捕获以及与服务器102共享数据。图2的一些元素可以类似于图1的元素。因此，可以使用类似或相同的附图标记来标识那些元素。

如图2所示，系统200包括设备116，该设备116包括安装在其上的感测机构，感知机构被配置成捕获多源数据120，该多源数据120用于丰富虚拟副本。设备116经由网络118连接到服务器102。多源感知数据120包括现实世界元素202的可捕捉数据，包括3D图像数据，3D几何形状，3D实体，3D动态对象，视频数据，音频数据，优先级数据，化学成分，废物生产数据，文本数据，时间数据，位置数据，定向数据，速度数据，温度数据，湿度数据，污染数据，照明数据，体积数据，流量数据，色度数据，功耗数据，带宽数据和海量数据等等中的一个或多个。

多源数据120包括情境数据，情境数据可被分类成直接影响现实世界元素的微观情境204和从多个微观情境204导出的宏观情境206的。本公开中使用的术“情境”或“情境数据”是指与特定现实世界元素的直接或间接环境相关的数据。术语“微观情境”是指直接围绕现实世界元素的情境，例如人，对象或可直接影响现实世界元素的条件。微观情境可以包括紧紧围绕并影响每个现实世界元素202的环境的数据，诸如3D图像数据，3D几何结构，3D实体，3D动态对象，视频数据，音频数据，文本数据，时间数据，元数据，安全数据，位置数据，照明数据，温度数据和服务质量(QOS)等。

术语“宏观情境”是指围绕现实世界元素的间接或更远的情境。宏观情境204可以由服务器从多个微观情境206导出，从而产生系统的更全面的信息，例如制造厂的当前效率，空气质量，气候变化水平，公司效率，城市效率，国家效率等。取决于指定的目标，可以在不同的级别上考虑和计算宏观情境206。

多源数据120还用于使虚拟副本110与相应的现实世界元素202同步。感测机构包括一个或多个温度传感器，接近传感器，惯性传感器，红外传感器，污染传感器(例如，气体传感器)，压力传感器，光传感器，超声波传感器，烟雾传感器，触摸传感器，色度传感器，湿度传感器，水传感器，电传感器或其组合。通过向多个设备116提供不断捕获来自现实世界的数据的感测机构，存储在服务器102中的虚拟世界和每个虚拟副本110利用反映现实世界状况的实时多源数据120来保持被更新。

在图2的图示中，多源数据120包括由安装在设备116上的感测机构捕获的数据，该设备116可以是建筑物202a，用户设备202b和车辆202c的一部分，每一个都更新它们各自的微观情境204(例如，微观情境204a-c)，该微观情境204又用于计算和推断宏观情境206。例如，经由网络118连接到服务器102的车辆202c可以包括诸如速度传感器，跟踪模块和照相机之类的感测机构，所有这些都提供可以被捕获并发送到服务器102的多源感知数据120。微观情境204c可以包括车辆202c周围的环境的元素或条件。在另一个示例中，建筑物202a可以包括若干设备，这些设备包括提供多源数据120的感测机构，多源感知数据120表示建筑物202a的操作，包括能量消耗，水使用，利用空间，温度，资源利用效率，碳排放量，对建筑物202a内所有设备的跟踪，以及表示建筑物202a内和附近的微观情境204a的图像。在另一示例中，用户设备202b包括捕获用户设备202b周围区域的多源数据118的感测机构(例如，照相机和麦克风)，从而更新相应的微观情境204b。由用户设备202b的感测机构捕获的数据还可以更新持久性虚拟世界系统中可用的相应用户的虚拟化身，例如更新用户位置或此时进行的动作。

图3描绘了根据实施例的副本编辑器112的图。系统300的每个组件和模块包括具有代码的指令，该代码是被配置为提供不同功能的程序的一部分。副本编辑器112可以包括建模工具302，位置和空间设置304，物理设置306，操作设置308，人工智能模块310，数据同步模块312，副本测试模块314和验证请求模块316。每个开发的虚拟副本110可以由一个或多个副本开发者318在副本编辑器112内查看和编辑。

副本编辑器112可以是例如计算机辅助绘图(CAD)或计算机辅助工程(CAE)软件，其可以存储输入和编辑虚拟副本110所必需的显式数据和指令。副本编辑器112可以允许输入与每个虚拟副本110相关的显式数据和指令，这些显式数据和指令描述每个虚拟副本110的形状，定位，位置和方向，物理属性以及预期的功能和影响。建模工具302可以使副本开发者318能够构建虚拟副本110，并且可以包括所有种类的开发工具，例如3D游戏引擎软件开发工具包。建模工具302还可以使得能够输入容易获得的现实世界元素的CAD和CAE模型。例如，机器所有者可以提供已经存在的机器的数字CAD和CAE模型。类似地，建筑物所有者可以提供建筑物信息模型(BIM)，该建筑物信息模型是设施的物理和功能特性的数字表示，并将建筑物信息模型存储在持久性虚拟世界系统108中。在其它实施例中，建模工具302使得能够通过各种照片，视频，深度测量和/或同步定位和建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本110进行建模。在其它实施例中，雷达成像，例如合成孔径雷达、现实孔径雷达、光检测和测距(LIDAR)、逆孔径雷达、单脉冲雷达和其它类型的成像技术，可以用于在将现实世界元素集成到持久性虚拟世界系统中之前对现实世界元素进行映射和建模。雷达成像解决方案尤其可以在结构的原始模型不可用的情况下进行，或者在存在丢失的信息或者需要向CAD或CAE模型不提供的虚拟世界实体添加附加信息的情况下进行。

在一些实施例中，虚拟副本110包括3D世界和建筑物数据中的一个或多个，例如基于SLAM或派生映射的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据，其可以用于对数字现实应用的3D结构进行建模。

在一些实施例中，可以使用适于与当前地理定位技术一起使用的参考坐标系来地理定位每个虚拟副本。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，WGS84是GPS使用的当前参考坐标系。

在本公开中，术“影响”指的是每个虚拟副本对宏观情境的短期或长期影响，或者指的是一组虚拟副本对宏观情境的影响。例如，一个或多个虚拟副本可以在制造厂的总效率，空气质量，气候变化水平，公司效率，资源消耗(例如，水或电消耗)等方面具有影响。当开发现实世界元素的虚拟副本时，虚拟副本开发者应该定义虚拟副本的属性和行为，以便最小化对环境的负面影响，这可能涉及最大化资源使用效率并确保每个虚拟副本或一组虚拟副本的过程优化。例如，当对制造工厂中的制造机器人的一个或多个虚拟副本进行建模时，每个虚拟副本应该知道期望的总工厂效率，使得每个虚拟副本的生产速度和资源消耗满足该目标。另一个与影响相关的目标可以是，例如，保持可能的最低碳排放量，这可以通过在虚拟孪生体的制造过程中优化能量消耗来实现。因此，虚拟副本的动作被转化成现实孪生体的相应动作，从而导致现实世界的优化，并因此使每个现实孪生体的负面影响最小化。

位置和空间设置304被配置为允许建立虚拟副本可用的位置和空间，相对三维位置和取向，以及虚拟副本110的缩放。物理设置306被配置成能够指定虚拟副本110的物理特性，例如刚性体动力学，软体物理，流体动力学和碰撞检测等。操作设置308被配置为使得能够指定虚拟副本110的预期功能和影响，例如所确定的虚拟副本110的预期行为。例如，操作设置308可以配置生产机器的操作，根据特定条件指定采取哪些移动和动作。人工智能模块310能够对人工智能应用执行机器学习和推断，人工智能应用可以被用作通过处理它们各自的虚拟副本110来管理和优化现实世界元素的解决方案。数据同步模块312被配置成接收和处理由设备的感测机构捕获的多源数据，以便使虚拟副本110与相应的现实世界元素同步。

副本编辑器112还包括副本测试模块314，其能够测试虚拟副本110，这可以在虚拟副本开发的任何时间执行。可以执行测试，以便验证现实世界的位置和定向以及虚拟副本110相对于相应现实世界元素的功能和行为。

在开发和同步虚拟副本110之后，虚拟副本开发者318可以继续经由验证请求模块316请求持久性虚拟世界系统管理员，以批准将虚拟副本110部署到持久性虚拟世界系统中。

图4示出了根据实施例的基于虚拟世界的QA系统114的图。图4的一些元素可以类似于图1-3的元素，并且因此类似或相同的附图标记可用于标识那些元素。基于虚拟世界的QA系统114可以由持久性虚拟世界系统管理员402用来测试已经通过副本编辑器开发的虚拟副本110，从而如果需要，则允许向虚拟副本开发者发送调整请求，并且如果符合，则将虚拟副本110部署到持久性虚拟世界系统中。

准备好进行符合检查的虚拟副本110可以通过副本管理员测试模块404进行测试，以便确定是批准还是拒绝虚拟副本110。通过基于虚拟世界的QA系统114，持久性虚拟世界系统管理员402可以测试虚拟副本，并且在必要时向虚拟副本开发者提供副本调整请求。副本开发者然后可以继续对虚拟副本执行进一步的调整，以便遵从来自持久性虚拟世界系统管理员402的请求。持久性虚拟世界系统管理员402可以经由副本批准/拒绝模块406来批准或拒绝虚拟副本110。一旦虚拟副本110遵从这些请求，持久性虚拟世界系统管理员402就可以通过副本部署模块408将虚拟副本部署到持久性虚拟世界系统中。

图5描绘装置116的示意图。设备116可以包括用户设备122和其它设备124，如参考图1所描述的。

设备116可以包括操作组件，诸如输入/输出(I/O)模块502；电源504；存储器506；形成跟踪模块512的感测机构508和收发器510；以及诸如网络接口514的通信电路，全部可操作地连接到处理器516。

I/O模块502被实现为被配置为与用户交互并向一个或多个其它系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块502可以被配置为与用户交互，基于交互生成用户输入数据，并且在经由网络传送到其他处理系统(例如服务器)之前将用户输入数据提供给处理器516。在另一示例中，I/O模块502被实现为外部计算指向设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)，其被配置为与其它连接的元素交互。在其它实施例中，I/O模块502可提供与上述功能不同的、额外的、或较少的功能。

电源504被实现为被配置为向设备116供电的计算硬件和软件。在一个实施例中，电源504可以是电池。电源504可以内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过用另一个电源504替换一个电源504来对设备重新供电。在另一个实施例中，电源504可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线(“USB”)火线，以太网，雷电接口或耳机电缆。在又一个实施例中，电源504可以通过感应充电进行再充电，其中，当感应充电器和电源504两者非常接近但不需要通过电缆彼此插入时，使用电磁场将能量从感应充电器传递到电源504。在另一个实施例中，可以使用扩展坞来促进充电。

存储器506可以被实现为适于存储应用程序指令和存储由感测机构捕获的多源数据的计算硬件和软件。存储器506可以是能够存储处理器516可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，例如硬盘驱动器，存储卡，闪存驱动器，ROM,RAM,DVD或其它光盘，以及其它可写和只读存储器。除了永久存储器之外，存储器506还可以包括临时存储器。

感测机构可以被实现为计算硬件和软件，其适于从现实世界获得多源数据并确定/跟踪设备116的位置和定向，并且因此确定/跟踪可以链接到设备116的一个或多个现实世界元素的位置和定向。感测机构可以包括但不限于一个或多个温度传感器，接近传感器，惯性传感器，红外传感器，污染传感器(例如，气体传感器)，压力传感器，光传感器，超声波传感器，烟雾传感器，触摸传感器，色度传感器，湿度传感器，水传感器，电传感器或其组合。特别地，感测机构包括一个或多个惯性测量单元(IMU)，加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告设备116的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计和/或与IMU分开配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，加速度计包括能够测量三个正交方向上的加速度的三轴加速度计。

收发器510可以被实现为计算硬件和软件，其被配置为使设备能够从天线接收无线电波并将数据发送回天线。在一些实施例中，可以使用mmW收发器510，其可以被配置为从天线接收mmW波信号，并且当与沉浸式内容交互时将数据发送回天线。收发器510可以是双向通信收发器510。

根据一个实施例，收发器510使得能够经由连接到网络的基于分布式账本的通信流水线在计算设备之间进行直接通信。基于分布式账本的通信流水线可以通过使用密码术、采样密码“密钥”和密码签名而允许以安全和准确的方式存储信息，从而能够通过分散网络在设备116之间进行直接通信。可能需要设备116之间的直接通信并因此被服务器旁路处理的情况可能包括紧急情况，其中可能需要在非常短的时间段内作出决定。例如，在两辆车辆即将碰撞的自主驾驶的情况下，可能需要能够实现两辆车辆之间的直接通信，以产生可防止碰撞的更快的响应。在其它实施例中，分布式账本也可以在服务器与设备116之间使用，其中服务器可以在将数据分发到每个设备116之前，负责验证数据。在进一步的实施例中，分布式账本可以利用更靠近服务器，更靠近天线或两者的某些设备116，以便将这些设备116分配为中央结构来验证和分发数据。

在一个实施例中，跟踪模块512可以通过将IMU，加速度计和陀螺仪的能力与由收发器510提供的位置跟踪相结合来实现，并且由基于mmW的天线提供的精确跟踪、低延迟和高QoS功能可以实现亚厘米或亚毫米的位置和定向跟踪，这可以在跟踪设备116的实时位置和定向时提高精度。在替代实施例中，感测机构和收发器510可在单个跟踪模块设备中耦合在一起。

网络接口514可以被实现为计算软件和硬件，以通信地连接到网络，从网络接收由服务器或其他设备发送的计算机可读程序指令，并转发这些指令以便存储在存储器506中以供处理器516执行。

处理器516可以被实现为被配置为接收和处理指令的计算硬件和软件。举例来说，处理器516可被配置为提供成像请求，接收成像数据，将成像数据处理成环境或其它数据，处理用户输入数据和/或成像数据以产生用户交互数据，执行基于边缘(设备上)的机器学习训练和推断，提供服务器请求，接收服务器响应，和/或将用户交互数据，环境数据和内容对象数据提供到一个或多个其它系统组件。例如，处理器516可以从I/O模块502接收用户输入数据，并且可以分别实现存储在存储器506中的应用程序。在其它实例中，处理器516可以从感测机构接收从现实世界捕获的多源数据，或可通过跟踪模块512接收设备116的准确位置和定向，且可在将数据发送到服务器以用于进一步处理之前准备一些数据。设备上的处理器516可以共享由服务器执行的一些处理任务。例如，包括一个或多个感测机构的“其它设备”(例如，IoT设备)中的一个可以通过处理器512处理由感测机构发送的多源数据中的一些，更新设备的状态，并将该数据发送到服务器以更新相应的虚拟副本的状态。

图6示出了根据实施例的用于将现实世界元素的虚拟副本开发，测试和部署到持久性虚拟世界系统中的方法的框图。方法600可以在系统中实现，例如参照图1-5所示的系统。

方法600开始于框602和604，由虚拟副本开发者通过副本编辑器开发相应现实世界元素的虚拟副本。开发虚拟副本还可以包括经由副本编辑器建立虚拟副本配置，该虚拟副本配置包括位置、物理和操作设置的设置，虚拟副本的人工智能设置，以及执行所开发的虚拟副本的测试。此后，方法600继续到框606，使虚拟副本与相应的现实元素同步，这可以通过接收和处理经由包括感测机构的设备所接收到的多源感知数据来完成。在另一个实施例中，现实元素可能还不可用，例如当还没有包括感知机构或还没有建造或安装时。在这种情况下，这种现实世界元素的虚拟副本可以基于在持久性虚拟世界系统内执行的模拟。在框608，方法600继续，由虚拟副本开发者经由副本编辑器测试同步的虚拟副本。

在框610中，如果虚拟副本被虚拟副本开发者批准，则方法600可以通过向持久性虚拟世界系统管理员发送验证请求来继续。在检查612中，方法600可以继续由持久性虚拟世界系统管理员通过基于虚拟世界的QA系统来检查和确定虚拟副本是否符合，这可以包括对虚拟副本进行测试。可基于一组规则来进行对符合性的检查，这一组规则可与外观，物理，位置和关于与对应的现实世界元素的虚拟副本有关的其它数据有关。如果虚拟副本不符合，则方法600继续到框614，由持久性虚拟世界系统管理员经由基于虚拟世界的QA系统向副本编辑器发送应用调整请求。副本开发者然后可以继续到框616，经由副本编辑器调整虚拟副本。否则，如果虚拟副本是符合的，则方法600继续，由持久性虚拟世界系统管理员通过基于虚拟世界的QA系统将虚拟副本部署到持久性虚拟世界系统108中，如框618所示，此后在终结框620中完成该过程。

虽然已经在附图中描述和示出了某些实施例，但是应当理解，这样的实施例仅仅是说明性的，而不是对宽泛的发明进行限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改。因此,本说明书应被认为是示例性的而不是为了限制本发明。

Claims (20)

1.一种用于开发和部署现实世界元素的虚拟副本的系统，其特征在于，所述系统包括：

服务器系统，所述服务器系统包括一个或多个服务器计算机，每个服务器计算机包括存储器和处理器，所述服务器系统存储持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界元素的虚拟副本，所述虚拟副本具有自计算能力，所述服务器系统还存储被配置为向所述虚拟副本输入显式数据和指令的副本编辑器、以及被配置为测试和验证所述虚拟副本的基于虚拟世界的质量保证系统，

其中，所述服务器系统被配置为从经由网络连接到所述服务器系统的设备接收多源数据，并使用接收到的所述多源数据实时地同步和更新所述虚拟副本。

2.如权利要求1所述的系统，其特征在于，连接到所述服务器系统的所述设备包括被配置为访问所述持久性虚拟世界系统、副本编辑器和基于虚拟世界的质量保证系统的用户设备，或被配置在现实世界的多个区域中以经由所述多源数据来更新所述持久性虚拟世界系统的其他设备，或其组合。

3.如权利要求1所述的系统，其特征在于，所述副本编辑器包括建模工具，位置和空间设置，物理设置，操作设置，人工智能模块，数据同步模块，或副本测试模块，或其组合。

4.如权利要求3所述的系统，其特征在于，所述建模工具包括3D游戏引擎软件开发工具包。

5.如权利要求3所述的系统，其特征在于，所述建模工具使得能够基于所述现实世界元素的CAD和CAE模型来生成具有显式数据和指令的虚拟副本。

6.根据权利要求3所述的系统，其特征在于，所述建模工具使得能够通过照片，视频，深度测量，同步定位和建图(SLAM)扫描或雷达成像技术或其组合，来输入基于汽车或无人机的图像扫描流水线，以便对所述虚拟副本进行建模。

7.如权利要求3所述的系统，其特征在于，所述数据同步模块使得能够将多源数据处理并结合到所述虚拟副本中，使得能够将虚拟副本与对应的所述现实世界元素进行单向或双向同步。

8.如权利要求1所述的系统，其特征在于，通过所述副本编辑器输入的所述显式数据和指令描述所述现实世界元素的形状，定位，位置和取向，物理属性或预期的功能和影响，或其组合。

9.如权利要求1所述的系统，其特征在于，所述多源数据还包括情境数据，所述情境数据包括直接影响现实世界元素的微观情境、以及从多个微观情境导出的宏观情境。

10.如权利要求1所述的系统，其特征在于，所述虚拟副本基于未连接的现实世界元素的模拟数据。

11.一种由服务器系统进行的方法，其特征在于，所述服务器系统包括一个或多个服务器计算机，所述一个或多个服务器计算机具有存储器和一个或多个处理器，所述方法包括：

提供包括现实世界元素的虚拟副本的持久性虚拟世界系统、被配置为向所述虚拟副本输入显式数据和指令的副本编辑器、以及被配置为测试和验证所述虚拟副本的基于虚拟世界的质量保证系统，所述虚拟副本具有自计算能力；

从连接到所述服务器系统的设备接收多源数据；以及

实时地同步和更新所述虚拟副本。

12.根据权利要求11所述的方法，其特征在于，进一步包含：

由虚拟副本开发者经由所述副本编辑器开发至少一个所述虚拟副本；

使用所述多源数据，使至少一个所述虚拟副本与一个或多个对应的现实世界元素同步；

由所述虚拟副本编辑器对同步后的至少一个所述虚拟副本进行测试；

如果至少一个所述虚拟副本被所述虚拟副本编辑器批准，则经由所述基于虚拟世界的质量保证系统，向持久性虚拟世界系统管理员发送验证请求；

由所述持久性虚拟世界系统管理员经由所述基于虚拟世界的质量保证系统来验证至少一个所述虚拟副本；

如果至少一个所述虚拟副本不符合，则所述持久性虚拟世界系统管理员向所述虚拟副本开发者发送一个或多个应用调整请求；

由所述虚拟副本开发者经由所述副本编辑器调整至少一个所述虚拟副本；以及

如果至少一个所述虚拟副本是符合的，则所述虚拟副本管理员经由所述基于虚拟世界的质量保证系统将至少一个所述虚拟副本部署到部署的持久性虚拟世界系统中。

13.如权利要求12所述的方法，其特征在于，开发至少一个所述虚拟副本还包括采用建模工具，位置和空间设置，物理设置，操作设置，人工智能模块，数据同步模块，或副本测试模块，或其组合。

14.如权利要求13所述的方法，其特征在于，所述建模工具包括3D游戏引擎软件开发工具包。

15.如权利要求13所述的方法，其特征在于，所述建模工具使得能够基于所述现实世界元素的CAD和CAE模型来生成具有显式数据和指令的虚拟副本。

16.根据权利要求13所述的方法，其特征在于，所述建模工具使得能够通过照片，视频，深度测量，同步定位和建图(SLAM)扫描或雷达成像技术或其组合，来输入基于汽车或无人机的图像扫描流水线，以便对所述虚拟副本进行建模。

17.如权利要求13所述的方法，其特征在于，所述数据同步模块使得能够将多源数据处理并结合到所述虚拟副本中，使得能够将虚拟副本与对应的所述现实世界元素进行单向或双向同步。

18.如权利要求11所述的方法，其特征在于，所述多源数据包括情境数据，所述情境数据包括直接影响现实世界元素的微观情境、以及从多个微观情境导出的宏观情境。

19.如权利要求11所述的方法，其特征在于，所述虚拟副本基于未连接的现实世界元素的模拟数据。

20.一种或多种其上存储有指令的非暂时性计算机可读介质，其特征在于，所述指令被配置成使包括存储器和至少一个处理器的服务器计算机系统以下步骤：

提供包括现实世界元素的虚拟副本的持久性虚拟世界系统、被配置为向所述虚拟副本输入显式数据和指令的副本编辑器、以及被配置为测试和验证所述虚拟副本的基于虚拟世界的质量保证系统，所述虚拟副本具有自计算能力；

从连接到所述服务器的计算设备接收多源数据，所述多源数据用于实时地同步和更新所述虚拟副本。

Images