CN117631821A - 用于扩展现实应用程序的物理环境的数字孪生 - Google Patents

Abstract

用于促进为扩展现实应用程序生成物理环境的数字孪生的计算机实施方法和系统。该方法包括接收与物理环境的表示相关联的数据和与物理环境中的一个或多个物体的表示相关联的数据，以及在某一时刻与物理环境中的一个或多个物体中的每一个的布置、结构、功能、操作状态和/或性能相关联的数据。该方法还包括基于接收到的至少一些数据生成用于扩展现实应用程序的数字孪生数据，并且将数字孪生数据提供给安装有扩展现实应用程序的扩展现实装置，以促进生成在某一时刻具有一个或多个物体的物理环境的数字孪生。

Description

用于扩展现实应用程序的物理环境的数字孪生

技术领域

本发明涉及用于扩展现实应用程序的物理环境的数字孪生。具体地，本发明涉及用于促进生成或用于生成用于扩展现实应用程序的物理环境的数字孪生的系统和方法。

背景技术

工程服务供应商(例如，电信服务供应商)的工程师通常需要对位于不同地点的装置进行检查、维护和/或维修。有时，工程师可能不熟悉要检查、维护和/或维修的装置(例如，电信装置)(以及因此如何检查、维护和/或维修它)，或者工程师可能不熟悉地点。因此，工程师可能不得不花费额外的时间来完成该工作。在另一方面，在地点工作完成后，工程师可能需要更新装置和/或地点的记录，通常使用纸质和/或电子表格。该过程有时候很耗时并且较容易出现人为错误。

发明内容

本发明的一些实施方式的目的是解决上述一个或多个需要或者克服或大体改善上述一个或多个缺点。本发明的一些其他实施方式可能不解决上述需要并且可能不克服或不大体改善上述缺点(但解决其他需要或问题)。

在第一方面，提供了一种计算机实施方法，其用于促进为扩展现实应用程序生成物理环境的数字孪生。该计算机实施方法包括：(a)接收与物理环境的表示相关联的数据和与物理环境中一个或多个物体的表示相关联的数据，以及(b)接收在某一时刻与物理环境中的一个或多个物体中的每一个的布置、结构、功能、操作状态和/或性能相关联的数据。该计算机实施方法还包括：(c)基于在步骤(a)和(b)中接收到的至少一些数据，生成用于扩展现实应用程序的数字孪生数据，以及(d)将数字孪生数据提供给安装有扩展现实应用程序的扩展现实装置，以促进生成在该某一时刻具有一个或多个物体的物理环境的数字孪生。步骤(a)到步骤(d)可以数据处理系统处执行，该数据处理系统与安装有扩展现实应用程序的扩展现实装置可操作地连接。数字孪生可用于提高操作过程(例如，佩戴扩展现实装置的用户将要执行或正在执行的操作)的效率和/或可靠性。

可选地，物理环境包括数据中心环境(例如，服务器机房)。可选地，一个或多个物体包括一个或多个容器和布置在一个或多个容器中或上的一个或多个装置。一个或多个容器可以包括以下至少一个：机架、柜和框架。一个或多个装置可以包括以下至少一个：服务器、路由器、开关、磁盘存储器和电源。

可选地，步骤(a)包括：(a1)接收与物理环境的图形表示相关联的数据和与物理环境中的一个或多个物体的图形表示相关联的数据。

可选地，与物理环境的图形表示相关联的数据包括物理环境的数字地图。数字地图可以是物理环境的二维(2D)地图或三维(3D)地图。

可选地，与物理环境中的一个或多个物体的图形表示相关联的数据包括一个或多个物体的相应模型。该相应模型可以是2D模型或3D模型。相应3D模型可以由相应物体的宽度、深度和高度来定义。

可选地，步骤(a)包括：(a2)接收与物理环境的预定义特征相关联的数据和/或与物理环境中的一个或多个物体的预定义特征相关联的数据。预定义特征可以是用户定义的特征。在一个示例中，在步骤(c)中仅使用在步骤(a2)和(b)中接收的数据(即，在步骤(c)中不使用在步骤(a1)中接收的数据)。

可选地，与物理环境的预定义特征相关联的数据包括与物理环境的数字地图中的一个或多个预定义区域相关联的数据。与物理环境的数字地图中的一个或多个预定义区域相关联的数据可以包括与该一个或多个区域所布置在的位置和区域(相对于物理环境的地图)相关联的数据，与区域中的容器的定向和/或类型相关联的数据，与区域中的容器的行数和列数相关联的数据等。

可选地，与物理环境中的一个或多个物体的预定义特征相关联的数据包括与一个或多个容器中的至少一个的预定义布局相关联的数据。与一个或多个容器中的至少一个的预定义布局相关联的数据可以包括与一个或多个容器中的至少一个中的隔室的行数和/或列数相关联的数据，以及与一个或多个容器中的至少一个的类型相关联的数据。

可选地，与物理环境中的一个或多个物体的预定义特征相关联的数据包括与一个或多个装置中的至少一个的一个或多个预定义兴趣点相关联的数据。与一个或多个装置中的至少一个的一个或多个预定义兴趣点相关联的数据可以包括与一个或多个装置中的至少一个的类型相关联的数据，以及与装置中的一个或多个预定义兴趣点的位置、区域和描述相关联的数据。一个或多个预定义兴趣点可以布置在一个或多个装置中的至少一个的面上。

可选地，步骤(a)中的数据是从物体模型数据库接收的，该物体模型数据库存储与物理环境的表示相关联的物体模型数据和与物理环境中一个或多个物体的表示相关联的物体模型数据。

可选地，该方法还包括将与物理环境的图形表示相关联的数据和与物理环境中一个或多个物体的图形表示相关联的数据提供给安装有扩展现实应用程序的扩展现实装置，以促进生成在该某一时刻(或在另一时刻)具有一个或多个物体的物理环境的数字孪生(或更新数字孪生)。与物理环境的图形表示相关联的数据可以包括物理环境的数字地图。该提供可以是从物体模型数据库到扩展现实装置的。与物理环境中的一个或多个物体的图形表示相关联的数据可以包括一个或多个物体的相应模型(例如，2D模型或3D模型)。

可选地，步骤(b)包括接收在该某一时刻与物理环境中的一个或多个物体中的每一个的布置、结构、功能、操作状态和性能相关联的数据。

可选地，与一个或多个物体中的每一个的布置相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的位置和区域相关联的数据。可选地，与一个或多个物体中的每一个的结构相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的内部和/或外部结构相关联的数据。内部和/或外部结构可以包括与每个相应物体(例如，容器、容器中或容器上的装置等)相关联的定向、布局和/或模型。可选地，与一个或多个物体中的每一个的功能相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的物体间或物体内逻辑连接相关联的数据。可选地，与一个或多个物体中的每一个的性能相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的历史性能相关联的数据。

可选地，该方法还包括：(e)至少基于数字孪生数据，生成在该某一时刻具有一个或多个物体的物理环境的数字孪生，以及(f)向佩戴安装有扩展现实应用程序的扩展现实装置的用户呈现具有一个或多个物体的物理环境的数字孪生。可选地，步骤(e)在扩展现实装置处执行。可选地，步骤(f)是在佩戴扩展现实装置的用户处于物理环境中时在扩展现实装置执行的。

可选地，该方法还包括：(g)接收在该某一时刻之后的另一时刻与物理环境中一个或多个物体的更新(或改变)布置、结构、功能、操作状态和/或性能相关联的更新数据，(h)至少基于该更新数据生成用于扩展现实应用程序的更新数字孪生数据，以及(i)向安装有扩展现实应用程序的扩展现实装置提供更新数字孪生数据，以促进生成在该另一时刻的物理环境的更新数字孪生。步骤(g)到步骤(i)可以在数据处理系统处执行，该数据处理系统与安装有扩展现实应用程序的扩展现实装置可操作地连接。该接收可以基于布置、结构、功能、操作状态和/或性能的更新(或改变)而自动进行。

可选地，该更新数据对应于动态数据，在该另一时刻未被更新(例如，未被改变)的与物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能相关联的数据对应于静态数据，以及在步骤(h)中，基于静态数据和动态数据以及在步骤(a)中接收到的数据生成更新数字孪生数据。

可选地，该方法还包括(j)至少基于更新数字孪生数据，生成在另一时刻具有一个或多个物体的物理环境的更新数字孪生，以及(k)向佩戴安装有扩展现实应用程序的扩展现实装置的用户呈现在该另一时刻具有一个或多个物体的物理环境的更新数字孪生。可选地，步骤(j)在扩展现实装置处执行。可选地，步骤(k)是在佩戴扩展现实装置的用户处于物理环境中时在扩展现实装置执行的。

可选地，该方法还包括基于检测到在物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能的变化，或者在检测到在物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能的变化时，重复步骤(g)至步骤(i)至少一次。该变化可以由用户在物理环境中佩戴的扩展现实装置检测到。该重复可以是自动的而无需用户干预。

可选地，该方法还包括：基于步骤(g)至步骤(i)的重复，将步骤(j)和步骤(k)至少重复一次。

可选地，扩展现实装置或扩展现实应用程序可操作以：协助在物理环境中佩戴扩展现实装置的用户在物理环境中导航。

可选地，扩展现实装置或扩展现实应用程序可操作以：将在物理环境中佩戴扩展现实装置的用户引导到物理环境中的预定位置。

可选地，扩展现实装置或扩展现实应用程序可操作以：指导在物理环境中佩戴扩展现实装置的用户在物理环境中执行预定任务。

可选地，扩展现实装置或扩展现实应用程序可操作以：协助在物理环境中佩戴扩展现实装置的用户确定物理环境中一个或多个物体的结构、功能、操作状态和/或性能。

可选地，步骤(b)和/或步骤(g)中的数据是从后端数据库接收的，该后端数据库存储与物理环境和物理环境中的一个或多个物体相关联的数据。

可选地，步骤(b)和/或步骤(g)中的数据是响应于在安装有扩展现实应用程序的扩展现实装置处接收到的用户输入而接收的。

可选地，扩展现实装置或扩展现实应用程序可操作以：当佩戴扩展现实装置的用户操纵一个或多个物体时，基于检测到的一个或多个物体的结构、功能、操作状态和/或性能的变化而促进后端数据库的更新。

可选地，扩展现实应用程序是以下中的一个：虚拟现实应用程序、增强现实应用程序和混合现实应用程序；以及扩展现实装置是以下中的相应一个：虚拟现实装置、增强现实装置和混合现实装置。

可选地，该方法还包括：(l)接收与物理环境的表示相关联的更新数据和/或与物理环境中一个或多个物体的表示相关联的更新数据；(m)至少基于该更新数据生成用于扩展现实应用程序的更新数字孪生数据；以及(n)向安装有扩展现实应用程序的扩展现实装置提供更新数字孪生数据，以促进生成在一个时刻的物理环境的更新数字孪生。

在第二方面，提供了一种用于操作安装有扩展现实应用程序的扩展现实装置的方法。该方法包括接收基于第一方面的方法生成的数字孪生数据(和更新数字孪生数据)，至少基于接收到的数字孪生数据(和更新数字孪生数据)生成数字孪生(和更新数字孪生)，并向佩戴扩展现实装置的用户呈现数字孪生(和更新数字孪生)。用户优选地位于物理环境中。这些方法步骤优选地全部在扩展现实装置处执行。

可选地，该方法还包括在扩展现实装置处接收与物理环境的图形表示相关联的数据和与物理环境中一个或多个物体的表示相关联的数据，以促进生成在某一时刻(或另一时刻)具有一个或多个物体的物理环境的数字孪生(或更新数字孪生)。与物理环境的图形表示相关联的数据可以包括物理环境的数字地图。该提供可以是从物体模型数据库到扩展现实装置的。与物理环境中的一个或多个物体的图形表示相关联的数据可以包括一个或多个物体的相应模型(例如，2D模型或3D模型)。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：协助在物理环境中佩戴扩展现实装置的用户在物理环境中导航。可选地，该方法还包括使用数字孪生向用户呈现物理环境的地图或布局。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：将在物理环境中佩戴扩展现实装置的用户引导到物理环境中的预定位置。可选地，该方法还包括使用数字孪生向用户呈现到物理环境中的预定位置或物体的行进路径。可选地，该方法还包括使用数字孪生向用户呈现一个或多个物体在物理环境中的位置。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：指导在物理环境中佩戴扩展现实装置的用户在物理环境中执行预定任务。可选地，该方法还包括使用数字孪生向用户呈现执行预定任务的指令。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：协助在物理环境中佩戴扩展现实装置的用户确定物理环境中一个或多个物体的结构、功能、操作状态和/或性能。可选地，该方法还包括使用数字孪生向用户呈现与一个或多个物体的结构、功能、操作状态和/或性能相关联的信息。可选地，该方法还包括使用更新数字孪生向用户呈现与一个或多个物体的更新的结构、功能、操作状态和/或性能相关联的信息。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，该方法还包括检测物理环境中一个或多个物体的布置、结构、功能、操作状态和/或性能的变化(例如，该变化为用户对一个或多个物体的操纵的结果)；并将与检测到的变化相关联的数据传输到后端数据库。检测和/或传输可以由安装有扩展现实应用程序的扩展现实装置执行。将与检测到的变化相关联的数据传输到后端数据库可以触发第一方面中的步骤(g)到步骤(i)(以及步骤(j)和步骤(k))。

可选地，扩展现实应用程序是以下中的一个：虚拟现实应用程序、增强现实应用程序和混合现实应用程序；以及扩展现实装置是以下中的相应一个：虚拟现实装置、增强现实装置和混合现实装置。

在第三方面，提供了一种系统，其用于促进为扩展现实应用程序生成物理环境的数字孪生。该系统包括被布置为执行或促进执行第一方面的方法的一个或多个处理器。该一个或多个处理器被布置为：(a)接收与物理环境的表示相关联的数据和与物理环境中一个或多个物体的表示相关联的数据，以及(b)接收在某一时刻与物理环境中的一个或多个物体中的每一个的布置、结构、功能、操作状态和/或性能相关联的数据。该一个或多个处理器还被布置为：(c)基于在步骤(a)和(b)中接收到的至少一些数据，生成用于扩展现实应用程序的数字孪生数据，以及(d)将数字孪生数据提供给安装有扩展现实应用程序的扩展现实装置，以促进生成在该某一时刻具有一个或多个物体的物理环境的数字孪生。该系统可以是数据处理系统，其与安装有扩展现实应用程序的扩展现实装置可操作地连接。

可选地，物理环境包括数据中心环境(例如，服务器机房)。可选地，一个或多个物体包括一个或多个容器和布置在一个或多个容器中或上的一个或多个装置。一个或多个容器可以包括以下至少一个：机架、柜和框架。一个或多个装置可以包括以下至少一个：服务器、路由器、开关、磁盘存储器和电源。

可选地，对于(a)，该一个或多个处理器被布置为：(a1)接收与物理环境的图形表示相关联的数据和与物理环境中的一个或多个物体的图形表示相关联的数据。

可选地，与物理环境的图形表示相关联的数据包括物理环境的数字地图。数字地图可以是物理环境的二维(2D)地图或三维(3D)地图。

可选地，与物理环境中的一个或多个物体的图形表示相关联的数据包括一个或多个物体的相应模型。该相应模型可以是2D模型或3D模型。相应3D模型可以由相应物体的宽度、深度和高度来定义。

可选地，对于(a)，该一个或多个处理器被布置为：(a2)接收与物理环境的预定义特征相关联的数据和/或与物理环境中的一个或多个物体的预定义特征相关联的数据。预定义特征可以是用户定义的特征。

可选地，与物理环境的预定义特征相关联的数据包括与物理环境的数字地图中的一个或多个预定义区域相关联的数据。与物理环境的数字地图中的一个或多个预定义区域相关联的数据可以包括与该一个或多个区域所布置在的位置和区域(相对于物理环境的地图)相关联的数据，与区域中的容器的定向和/或类型相关联的数据，与区域中的容器的行数和列数相关联的数据等。

可选地，与物理环境中的一个或多个物体的预定义特征相关联的数据包括与一个或多个容器中的至少一个的预定义布局相关联的数据。与一个或多个容器中的至少一个的预定义布局相关联的数据可以包括与一个或多个容器中的至少一个中的隔室的行数和/或列数相关联的数据，以及与一个或多个容器中的至少一个的类型相关联的数据。

可选地，与物理环境中的一个或多个物体的预定义特征相关联的数据包括与一个或多个装置中的至少一个的一个或多个预定义兴趣点相关联的数据。与一个或多个装置中的至少一个的一个或多个预定义兴趣点相关联的数据可以包括与一个或多个装置中的至少一个的类型相关联的数据，以及与装置中的一个或多个预定义兴趣点的位置、区域和描述相关联的数据。一个或多个预定义兴趣点可以布置在一个或多个装置中的至少一个的面上。

可选地，(a)中的数据是从物体模型数据库接收的，该物体模型数据库存储与物理环境的表示相关联的物体模型数据和与物理环境中一个或多个物体的表示相关联的物体模型数据。

可选地，对于(b)，该一个或多个处理器被布置为：接收在该某一时刻与物理环境中的一个或多个物体中的每一个的布置、结构、功能、操作状态和性能相关联的数据。

可选地，与一个或多个物体中的每一个的布置相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的位置和区域相关联的数据。可选地，与一个或多个物体中的每一个的结构相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的内部和/或外部结构相关联的数据。内部和/或外部结构可以包括与每个相应物体(例如，容器、容器中或容器上的装置等)相关联的定向、布局和/或模型。可选地，与一个或多个物体中的每一个的功能相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的物体间或物体内逻辑连接相关联的数据。可选地，与一个或多个物体中的每一个的性能相关联的数据包括在该某一时刻与物理环境中的一个或多个物体中的每一个的历史性能相关联的数据。

可选地，该一个或多个处理器还被布置为：(g)接收在该某一时刻之后的另一时刻与物理环境中一个或多个物体的更新(或改变)布置、结构、功能、操作状态和/或性能相关联的更新数据，(h)至少基于该更新数据生成用于扩展现实应用程序的更新数字孪生数据，以及(i)向安装有扩展现实应用程序的扩展现实装置提供更新数字孪生数据，以促进生成在该另一时刻的物理环境的更新数字孪生。该接收可以基于布置、结构、功能、操作状态和/或性能的更新(或改变)而自动进行。

可选地，该更新数据对应于动态数据，在该另一时刻未被更新(例如，未被改变)的与物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能相关联的数据对应于静态数据，以及在(h)中，基于静态数据和动态数据以及在(a)中接收到的数据生成更新数字孪生数据。

可选地，该一个或多个处理器还被布置为：基于检测到在物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能的变化，或者在检测到在物理环境中的一个或多个物体的布置、结构、功能、操作状态和/或性能的变化时，重复(g)至(i)至少一次。该变化可以由用户在物理环境中佩戴的扩展现实装置检测到。该重复可以是自动的而无需用户干预。

可选地，扩展现实应用程序可操作以：协助在物理环境中佩戴扩展现实装置的用户在物理环境中导航。

可选地，扩展现实应用程序可操作以：将在物理环境中佩戴扩展现实装置的用户引导到物理环境中的预定位置。

可选地，扩展现实应用程序可操作以：指导在物理环境中佩戴扩展现实装置的用户在物理环境中执行预定任务。

可选地，扩展现实应用程序可操作以：协助在物理环境中佩戴扩展现实装置的用户确定物理环境中一个或多个物体的结构、功能、操作状态和/或性能。

可选地，(b)和/或(g)中的数据是从后端数据库接收的，该后端数据库存储与物理环境和物理环境中的一个或多个物体相关联的数据。

可选地，(b)和/或(g)中的数据是响应于在安装有扩展现实应用程序的扩展现实装置处接收到的用户输入而接收的。

可选地，扩展现实应用程序可操作以：当佩戴扩展现实装置的用户操纵一个或多个物体时，基于检测到的一个或多个物体的结构、功能、操作状态和/或性能的变化而促进后端数据库的更新。

可选地，扩展现实应用程序是以下中的一个：虚拟现实应用程序、增强现实应用程序和混合现实应用程序；以及扩展现实装置是以下中的相应一个：虚拟现实装置、增强现实装置和混合现实装置。

可选地，该一个或多个处理器还被布置为：(l)接收与物理环境的表示相关联的更新数据和/或与物理环境中一个或多个物体的表示相关联的更新数据；(m)至少基于该更新数据生成用于扩展现实应用程序的更新数字孪生数据；以及(n)向安装有扩展现实应用程序的扩展现实装置提供更新数字孪生数据，以促进生成在一个时刻的物理环境的更新数字孪生。

在第四方面，提供了一种安装有扩展现实应用程序的扩展现实装置。该扩展现实装置被布置为接收基于第一方面的方法生成的数字孪生数据(和更新数字孪生数据)，至少基于接收到的数字孪生数据(和更新数字孪生数据)生成数字孪生(和更新数字孪生)，并向佩戴扩展现实装置的用户呈现数字孪生(和更新数字孪生)。用户优选地位于物理环境中。

可选地，扩展现实装置还被布置为接收与物理环境的图形表示相关联的数据和与物理环境中一个或多个物体的表示相关联的数据，以促进生成在某一时刻(或另一时刻)具有一个或多个物体的物理环境的数字孪生(或更新数字孪生)。与物理环境的图形表示相关联的数据可以包括物理环境的数字地图。该提供可以是从物体模型数据库到扩展现实装置的。与物理环境中的一个或多个物体的图形表示相关联的数据可以包括一个或多个物体的相应模型(例如，2D模型或3D模型)。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：协助在物理环境中佩戴扩展现实装置的用户在物理环境中导航。可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生向用户呈现物理环境的地图或布局。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：将在物理环境中佩戴扩展现实装置的用户引导到物理环境中的预定位置。可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生向用户呈现到物理环境中的预定位置或物体的行进路径。可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生向用户呈现一个或多个物体在物理环境中的位置。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：指导在物理环境中佩戴扩展现实装置的用户在物理环境中执行预定任务。可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生向用户呈现执行预定任务的指令。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生来：协助在物理环境中佩戴扩展现实装置的用户确定物理环境中一个或多个物体的结构、功能、操作状态和/或性能。可选地，扩展现实装置或扩展现实应用程序可操作以使用数字孪生向用户呈现与一个或多个物体的结构、功能、操作状态和/或性能相关联的信息。可选地，扩展现实装置或扩展现实应用程序可操作以使用更新数字孪生向用户呈现与一个或多个物体的更新的结构、功能、操作状态和/或性能相关联的信息。该呈现可以基于在扩展现实装置处接收的用户输入。

可选地，扩展现实装置还被布置为检测物理环境中一个或多个物体的布置、结构、功能、操作状态和/或性能的变化(例如，该变化为用户对一个或多个物体的操纵的结果)；并将与检测到的变化相关联的数据传输到后端数据库。将与检测到的变化相关联的数据传输到后端数据库可以触发数字孪生的更新。

可选地，扩展现实装置还被布置为：(e)至少基于数字孪生数据，生成在该某一时刻具有一个或多个物体的物理环境的数字孪生，以及(f)向佩戴安装有扩展现实应用程序的扩展现实装置的用户呈现具有一个或多个物体的物理环境的数字孪生。

可选地，扩展现实装置还被布置为：(j)至少基于更新数字孪生数据，生成在另一时刻具有一个或多个物体的物理环境的更新数字孪生，以及(k)向佩戴安装有扩展现实应用程序的扩展现实装置的用户呈现在该另一时刻具有一个或多个物体的物理环境的更新数字孪生。

可选地，扩展现实应用程序是以下中的一个：虚拟现实应用程序、增强现实应用程序和混合现实应用程序；以及扩展现实装置是以下中的相应一个：虚拟现实装置、增强现实装置和混合现实装置。

在第五方面，提供了一种非暂时性计算机可读存储介质，其存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行第一方面的方法的指令。

在第六方面，提供了一种非暂时性计算机可读存储介质，其存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行第二方面的方法的指令。

在第七方面，提供了一种计算机程序产品，其包括被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行第一方面的方法的指令。该计算机程序产品可以使用硬件和/或软件来实现。

在第八方面，提供了一种计算机程序产品，其包括被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行第二方面的方法的指令。该计算机程序产品可以使用硬件和/或软件来实现。

在第九方面，提供了一种系统，其包括第三方面的系统和第四方面的扩展现实装置。第三方面的系统和第四方面的扩展现实装置被布置为可彼此进行数据通信。

在第十方面，提供了一种方法，其包括第一方面的方法和第二方面的方法。

通过考虑详细描述和附图，本发明的其他特征和方面将变得显而易见。在适当和适用的情况下，在本文关于一个方面或实施方式描述的任何一个或多个特征可以与本文关于任何一个或多个其他方面或实施方式描述的任何一个或多个其他特征组合。

附图说明

现在将参考附图以示例的方式描述本发明的实施方式，其中：

图1是本发明一个实施方式的系统的示意图；

图2是本发明一个实施方式的用于促进数字孪生的生成的方法的流程图；

图3是本发明一个实施方式的用于操作安装有扩展现实应用程序的扩展现实装置的方法的流程图；

图4是本发明一个实施方式的用于促进数字孪生的生成的示意图；

图5A是一个示例物理环境的3D地图的示意图；

图5B是一个示例物理环境的2D地图的示意图；

图5C是一个示例容器的3D模型的示意图；

图5D是一个示例路由器的3D模型的示意图；

图5E是一个示例开关的3D模型的示意图；

图6A是示出在一个示例中物理环境地图中的区域的定义的示意图；

图6B是示出在一个示例中将容器放置在区域中的示意图；

图6C是示出在一个示例中区域的布局的定义的示意图；

图6D是示出在一个示例中区域中的容器分配的示意图；

图7A是一个示例中容器的3D模型的示意图；

图7B是示出图7A的容器的布局的定义的示意图；

图8A是示出一个示例开关的3D模型的示意图；

图8B是示出图8A的开关的面上的兴趣点(point of interest)的布局的定义的示意图；

图9是示出在一个示例中容器的顺序的示意图；

图10A是示出用于物体/路径寻找应用的数字孪生表示的图；

图10B是示出用于物体/路径寻找应用的数字孪生表示的另一个图；

图11A是示出用于数据可视化应用的数字孪生表示的图；

图11B是示出用于数据可视化应用的数字孪生表示的另一个图；

图11C是示出用于数据可视化应用的数字孪生表示的又一个图；

图12是将数字孪生表示用于混合现实人机交互应用的方法的流程图；

图13是本发明一个实施方式的系统的示意图；以及

图14是本发明一个实施方式的被布置为实现本发明的一种或多种方法的至少一部分的信息处理系统的框图。

具体实施方式

图1示出了本发明一个实施方式的系统100。系统100包括扩展现实装置102和数据处理系统104。扩展现实装置102安装有扩展现实应用程序。数据处理系统104用于促进生成用于扩展现实应用程序的物理环境的数字孪生。在一个示例中，物理环境是具有一个或多个物体的数据中心环境。物体包括容器(例如，机架、柜、框架等)和布置在容器中或在容器上的装置(例如，服务器、路由器、开关、磁盘存储器、电源等)。扩展现实装置102可以是虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)或混合现实装置(例如，耳机)。扩展现实应用程序可以是虚拟现实应用程序、增强现实应用程序或混合现实应用程序。扩展现实装置102可以由可能在物理环境中的用户佩戴或携带。系统104可以包括一个处理器、计算机或服务器或者彼此可操作地连接的多个处理器、计算机和/或服务器。扩展现实装置102和系统104被布置为通过一个或多个有线通信链路或无线通信链路进行数据通信。

图2示出了本发明一个实施方式的被布置被由系统104执行的方法200。除非另有说明，否则所示的方法200中的方法步骤在系统104处执行。

方法200包括步骤202，其中接收与物理环境的表示相关联的数据和与物理环境中的一个或多个物体的表示相关联的数据。在一个示例中，步骤202涉及接收与物理环境的图形表示相关联的数据和与物理环境中的物体的图形表示相关联的数据。与物理环境的图形表示相关联的数据可以包括物理环境的数字地图(2D或3D)。与物理环境中的物体的图形表示相关联的数据可以包括物体的相应模型(例如，由宽度、深度和/或高度定义的3D模型)。在一个示例中，步骤202涉及接收与物理环境的预定义(例如，由用户定义的)特征相关联的数据和/或与物理环境中的物体的预定义特征相关联的数据。与物理环境的预定义特征相关联的数据包括与物理环境的数字地图中的预定义区域相关联的数据，其可以包括例如：与区域在环境中的位置和区域相关联的数据，与区域中的容器的定向和/或类型相关联的数据，与区域中的容器的行数和列数相关联的数据等。与物理环境中的物体的预定义特征相关联的数据包括与至少一个容器的预定义布局相关联的数据和/或与装置中的至少一个的一个或多个预定义兴趣点相关联的数据。与至少一个容器的预定义布局相关联的数据可以包括与至少一个容器中的隔室的行数和/或列数相关联的数据，以及与至少一个容器的类型相关联的数据。与装置中的至少一个的一个或多个预定义兴趣点相关联的数据可以包括与装置中的至少一个的类型相关联的数据，以及与兴趣点的位置、区域和描述相关联的数据(例如，兴趣点可以布置在装置中的至少一个的面上)。步骤202中的数据可以从用户界面(用户输入)、从系统104的本地存储器(例如，物体模型数据库)和/或从与系统104连接的外部存储器接收。

方法200还包括步骤204，其中接收与物理环境中的每个物体的布置、结构、功能、操作状态和/或性能相关联的数据。在一个示例中，步骤204涉及接收与物理环境中的每个物体的布置、结构、功能、操作状态和性能(所有五项)相关联的数据。数据可以表示物理环境中的每个物体在特定时刻的布置、结构、功能、操作状态和/或性能(应理解：物理环境中的每个物体的布置、结构、功能、操作状态和/或性能可能会随着时间而改变)。与每个物体的布置相关联的数据可以包括与物理环境中的每个物体的位置和区域相关联的数据。与每个物体的结构相关联的数据可以包括与物理环境中的每个物体的内部和/或外部结构相关联的数据。与每个物体的功能相关联的数据可以包括与物理环境中的每个物体的物体间或物体内逻辑连接相关联的数据。可选地，与每个物体的性能相关联的数据可以包括与物理环境中的每个物体的历史性能相关联的数据。根据实施方式，步骤204可以在步骤202之前执行、在步骤202之后执行或与步骤202同时执行。步骤204中的数据可以从用户界面(用户输入)、从系统104的本地存储器4和/或从与系统104连接的外部存储器(例如，存储与物理环境和物理环境中的物体相关联的数据的后端数据库)接收。

在步骤202和步骤204之后，方法200进行到步骤206，其中基于在步骤202和步骤204中接收到的数据生成用于扩展现实应用程序的数字孪生数据。数字孪生数据可以用于促具有一个或多个物体的物理环境的数字孪生的生成。

在步骤208中，生成的数字孪生数据被提供给安装有扩展现实应用程序的扩展现实装置102，以促进生成在某一时刻(对应于步骤204中的数据的时刻)具有一个或多个物体的物理环境的数字孪生，其可以是大体实时的以反映现实世界中的实时物理环境。

如果步骤204的数据和/或步骤202的数据被改变或更新，则方法200可以返回到步骤202和步骤204并以更新的数据重复，以生成更新数字孪生数据并将更新数字孪生数据提供给安装有扩展现实应用程序的扩展现实装置102。在一个示例中，方法200包括在步骤202和步骤204中检测数据的改变或更新，并且在检测到改变或更新时，基于改变或更新的数据自动重复方法200。这允许数字孪生与现实世界中的实时物理环境保持同步或保持最新状态。在一个示例中，系统104将被告知该数据的改变或更新。在一个示例中，系统104将定期或周期性地确定该数据的改变或更新是否已经发生。

图3示出了本发明一个实施方式的被布置为由安装有扩展现实应用程序的扩展现实装置102执行的方法300。除非另有说明，否则方法300中的方法步骤在扩展现实装置102处执行。

方法300开始于步骤302，其中在扩展现实装置102处接收数字孪生数据。数字孪生数据可以是在步骤208中从系统104提供的数字孪生数据。

在步骤304中，在扩展现实装置102处生成具有一个或多个物体的物理环境的数字孪生。数字孪生的生成可以是自动的或响应于装置处的用户输入(例如，请求)102的。数字孪生的生成至少基于数字孪生数据和与物理环境及其物体的图形表示相关联的数据。与物理环境及其物体的图形表示相关联的数据可以是数字孪生数据的一部分，也可以是单独的数据流(例如，来自相同的数据源或不同的数据源)。

在步骤306中，具有一个或多个物体的物理环境的数字孪生被呈现给佩戴扩展现实装置102的用户。数字孪生的呈现可以是自动的或响应于装置处的用户输入(例如，请求)102的。佩戴扩展现实装置102的用户可以在物理环境中并且可选地与物理环境交互。

向用户呈现数字孪生可以提高用户将要执行的或正在执行的操作过程的效率和/或可靠性。在一种应用中，数字孪生可以协助在物理环境中佩戴扩展现实装置102的用户在物理环境中导航。例如，可以使用数字孪生向用户呈现物理环境的地图或布局。在一种应用中，数字孪生可以将在物理环境中佩戴扩展现实装置102的用户引导到物理环境中的预定位置。例如，可以使用数字孪生向用户呈现到物理环境中的预定位置或物体的行进路径或物理环境中的物体的位置。在一种应用中，数字孪生可以指导在物理环境中佩戴扩展现实装置102的用户在物理环境中执行预定任务。例如，可以使用数字孪生向用户呈现用于执行预定任务的指令。在一种应用中，数字孪生可以协助在物理环境中佩戴扩展现实装置102的用户确定物理环境中一个或多个物体的结构、功能、操作状态和/或性能。例如，可以使用数字孪生将物体的结构、功能、操作状态和/或性能或者更新的结构、功能、操作状态和/或性能呈现给用户。

方法300还可以包括步骤308，其中扩展现实装置102检测物理环境中的物体的布置、结构、功能、操作状态和/或性能的变化。可以使用装置102的一个或多个传感器(例如，图像传感器、运动传感器、深度传感器)或以其他方式与装置102可操作地联接的一个或多个传感器来执行检测。该检测可以作为环境中的物体被操纵(例如，由用户)的结果而执行。

方法300还可以包括步骤310，其中将与检测到的变化相关联的数据传输到外部装置(例如，存储与物理环境和物理环境中的物体相关联的数据的后端数据库)。在一个示例中，这可以继而触发方法200的步骤204中的更新，以及方法200的重复，从而导致在步骤302中接收到更新数字孪生数据，并且至少重复步骤302至步骤306。

图4示出了本发明一个实施方式的用于促进数字孪生的生成的图示400。图示400可以被认为是方法200的具体实现。在图示400中，用户U(不一定是佩戴扩展现实装置的用户)可以通过用户界面输入与物理环境(例如，数据中心环境)和物理环境中的物体的表示相关联的数据。数据可以包括与以下相关联的数据：物理环境的数字地图、物理环境中的物体的3D模型以及与物理环境和/或物理环境中的物体相关联的用户定义输入或特征(例如，用户定义的地图区域、容器和兴趣点布局)。用户界面可以是由数据处理系统提供的用户界面。用户U提供的数据可以用于形成或可以存储在物体模型数据库(OMD)中。物体模型数据库可以是数据处理系统的一部分或者可以与数据处理系统分开但可操作地连接。

后端系统数据库可以是存储与物理环境和物理环境中的物体相关联的数据的数据库。存储在数据库中的数据可以包括与物理环境中的物体的布置、结构、功能、操作状态和/或性能相关联的数据。存储在后端系统数据库中的数据可以包括静态数据(即通常随时间保持相对稳定或保持不变的数据)以及动态数据(即可能随时间变化的数据)。静态数据可能与物理环境和/或物体的结构特征有关。动态数据可能与物理环境中的物体的功能特性有关。后端系统数据库中的数据可以更新，可选地大体实时更新，以反映物理环境和物体的实时状况。

与物理环境和/或物体相关联的用户定义输入或特征(例如，用户定义的地图区域、容器和兴趣点布局)以及来自后端系统数据库的静态数据和动态数据被组合以创建一组数字孪生数据，其用于创建物理环境的数字孪生。创建的数字孪生数据可以称为实时数字孪生数据。实时数字孪生数据和与物理环境的数字地图和物理环境中的物体的3D模型相关联的数据可以提供给安装在增强现实装置中的增强现实(AR)应用程序，该增强现实装置可以由在物理环境中的用户佩戴。具有增强现实应用程序的增强现实装置可以基于接收到的数据生成数字孪生。

在一些示例中，增强现实装置的增强现实应用程序可以检测物理环境中的物体的布置、结构、功能、操作状态和/或性能的变化。检测到的变化(即与检测到的变化相关联的数据(“部分动态数据”))，可以被提供给后端系统数据库。与检测到的变化相关联的数据可以存储在后端系统数据库中，可以覆盖或可以不覆盖现有的旧数据。

图5A示出了示例物理环境的数字地图(3D)，其可以用作图示400中物理环境的表示相关联的数据的示例。

图5B示出了示例物理环境的数字地图(2D)，其可以用作图示400中物理环境的表示相关联的数据的示例。

图5C示出了示例容器(例如，服务器机架)的模型(3D)，其可以用作图示400中物理环境中的物体的表示相关联的数据的示例。

图5D示出了示例路由器的模型(3D)，其可以用作图示400中物理环境中的物体的表示相关联的数据的示例。

图5E示出了示例开关的模型(3D)，其可以用作图示400中物理环境中的物体的表示相关联的数据的示例。

图6A到图6D示出了在一个示例中的用户定义的地图区域的布局的创建。用户定义的地图区域的布局可以用作图示400中的用户定义输入或特征的示例。在图6A中，区域可以由用户在物理环境的地图中定义(例如，绘制)。在图6B中，用户可以选择要放置在定义区域中的物体，例如容器。作为该选择的一部分，用户可以输入容器的3D模型名称和容器的定向(例如，垂直、水平等)。在图6C中，区域的布局可以由用户定义。区域的布局可以包括区域中的容器数量(例如，容器的行数和容器的列数)。作为区域的布局定义的一部分，用户可以输入所需的容器行数和容器列数。在图6D中，一旦图6A至图6C中的操作完成，系统可以根据接收到的用户输入自动将容器分配到区域中。在一个示例中，用户定义的地图区域的布局可以包括与地图中区域的位置和区域、区域中的容器的3D模型名称/标识符、区域中的容器的定向、容器的位置和容器布局标识符等相关联的信息。

图7A和图7B示出了在一个示例中的用户定义的容器的布局的创建。用户定义的容器的布局可以包括与容器中的隔间的数量相关联的信息(例如，隔间的行数和隔间的列数)和相应容器的3D模型名称/标识符。

图8A和图8B示出了在一个示例中用户定义的兴趣点的布局的创建。用户定义的兴趣点的布局可以包括与装置的3D模型名称/标识符以及装置的正面上的兴趣点(例如，位置、区域、描述等)相关联的信息。兴趣点可以与用户要在扩展现实应用程序/装置的协助下执行的任务相关联。

在一个示例中，图示400中的静态数据可以包括与环境的地图中的一组区域和一组容器子区域相关联的信息。与环境的地图中的一组区域相关联的信息可以包括区域的开始位置(例如，左上、右上、左下、右下等)、区域中容器的排序(列/行，离散/连续)，以及容器排序中的一组容器现实标识符。图9示出了不同的容器排序示例(列或行，离散或连续)。与一组容器子区域相关联的信息可以包括容器子区域的开始位置、容器中子区域的排序(列/行、离散/连续)、容器子区域排序中的一组容器子区域现实标识符，以及容器的3D模型名称或标识符。如本文所用，“现实标识符”或更一般地“标识符”是用于将虚拟/数字物体或物体部分与对应的现实世界物体或物体部分进行映射的标识符。

在一个示例中，静态数据与用户定义的地图区域的布局和用户定义的容器的布局被组合以提供容器列表。容器列表可以包括与一组容器相关联的信息，其可以包括容器的容器现实标识符、容器的位置和定向、容器的物体模型标识符、容器所布置在的区域的标识符，以及一组容器子区域(容器子区域现实标识符)。

在一个示例中，图示400中的动态数据可以包括与一组物体(例如，装置)和一组连接(例如，逻辑和/或功能连接)相关联的信息。与一组物体(装置)相关联的信息可以包括容器现实标识符、容器子区域现实标识符、物体的3D模型名称、物体的组名称(例如，控制台、服务器、路由器、开关等)，以及物体名称(例如，名称、前缀)。与一组连接(物体的)相关联的信息可以包括连接的起点、连接的终点和与连接相关联的组名称(例如，电路名称)。在一个示例中，使用{物体标识符，兴趣点标识符}来定义点，其中兴趣点现实标识符是可选的并且可以是逻辑标识符或物理位置。

在一个示例中，容器列表与用户定义的兴趣点布局和动态数据被结合以提供一组实时数字孪生数据(DT数据)。实时数字孪生数据可以包括与一组容器和一组连接相关联的信息。与一组容器相关联的信息可以包括容器的容器现实标识符、容器的位置和定向、容器的物体模型标识符、与容器所布置在的区域相关联的区域标识符，以及容器中的一组物体或装置(可能进一步包括物体中的连接)。与一组连接相关联的信息可以包括连接的起点、连接的终点以及与连接相关联的组名称。在一个示例中，使用{容器标识符-子区域(行，列)，兴趣点标识符}来定义点。

在一个示例中，实时数字孪生数据和物体模型列表被组合以形成数字孪生。物体模型列表可以包括与环境的单个数字地图和一组模型(包括模型的名称、模型的3D数据和与模型相关联的一组用户定义的兴趣点)相关联的信息。在一个示例中，对于形成的数字孪生，物体模型列表的3D数字地图被放置在虚拟空间中。对于实时数字孪生数据的每个物体，从物体模型列表中搜索与其3D模型名称具有相同名称的模型，并将其3D数据放置在容器标识符所占用的空间-子区域(行，列)。对于实时数字孪生数据的每个连接，兴趣点的位置由容器标识符-子区域(行，列)和兴趣点标识符所占据的空间决定，并且兴趣点之间的逻辑相关性以2D或3D图示显示或示出。

可以将数字孪生呈现给佩戴安装有扩展现实应用程序的扩展现实装置的用户。在一个示例中，扩展现实应用程序可以基于物体名称、容器现实标识符和/或区域标识符“提取”一些数字孪生数据。在一个示例中，如果动态数据、静态数据和/或用户输入发生变化，则创建更新数字孪生并将其“推送”到安装有扩展现实应用程序的扩展现实装置。数字孪生可用于可视化与环境中的物体相关联的数据。

图10A和图10B示出了在一个示例中用于物体/路径寻找应用的数字孪生表示。安装有扩展现实应用程序的扩展现实装置的用户可以与装置交互以使用数字孪生来导航环境。数字孪生可以协助用户可视化环境中的物理行进路径以到达目标目的地(例如，数据中心环境中的目标服务器)。

图11A至图11C示出了在一个示例中用于数据可视化应用的数字孪生表示。安装有扩展现实应用程序的扩展现实装置的用户可以在环境中与装置交互以使用数字孪生来读取装置的性能数据。数字孪生可以协助用户可视化环境中的物体之间的逻辑连接。

图12示出了在一个示例中将数字孪生表示用于混合现实人机交互应用的方法1200。方法1200中的方法步骤可以在安装有扩展现实应用程序的扩展现实装置处执行。

方法1200开始于步骤1202，其中容器的3D模型和容器中/容器上的装置被组合为M(M是指具有容器和装置的环境的数字模型)。然后，在步骤1204中，确定函数P，以使得P(M)对应于现实。这有助于在物理环境的数字孪生和物理环境之间进行坐标转换。在步骤1206中，检测在环境中佩戴扩展现实装置的用户的手/手指位置(例如，通过扩展现实装置)。在步骤1208中，确定检测到的用户的手/手指位置是否对应于装置上的兴趣点。如果在步骤1208中确定检测到的用户的手/手指位置对应于装置上的兴趣点，这表明装置被操纵，因此方法进行到步骤1210以更新后端系统数据库。如果在步骤1208中确定检测到的用户的手/手指位置不对应于装置上的兴趣点，则方法1200返回到步骤1206。

图13是本发明一个实施方式的系统1300的示意图。系统1300包括三组主要的处理器1302、1304和1306。系统1300可以被认为是图示400的更详细的表示。

处理器1302是安装有增强现实应用的增强现实头戴式装置的一部分。处理器1302包括用于实现数据可视化的数据可视化模块、用于渲染数字孪生的渲染模块、用于在虚拟和真实环境之间进行映射的空间映射模型、用于参考真实空间校准虚拟空间的校准模型、用于确定增强现实头戴式装置相对于环境的位置的跟踪模块、用于检测人机交互或处理与用户和在环境中的增强现实头戴式装置之间的交互相关联的数据人机交互(HMI)模块。处理器1302可以与存储器、显示器、电源(例如，电池)、传感器(例如，深度传感器、图像传感器、运动传感器等)可操作地连接。

处理器1304是布置为准备数字孪生数据的数据处理系统的一部分。处理器1304包括：被布置为接收与物理环境(例如，数据中心环境)和物理环境中的物体的表示相关联的数据的用户界面模块、用于生成物体模型数据库的物体模型数据库生成模块、生成的物体模型数据库、以及被布置为创建数字孪生数据(其用于传输到处理器1302作进一步处理)的数字孪生数据创建模块。

处理器1306是后端系统数据库的一部分。后端系统数据库可以包括存储与物理环境和物理环境中的物体相关联的数据的数据库和用于转换从处理器1302接收的数据的数据转换模块。

图13的系统1300的操作与图4中的图示400大体相同，因此在此不再赘述。

图14示出了本发明一个实施方式的示例信息处理系统1400，其可以用作服务器、数据处理系统、数据库(例如，后端系统数据库)或其他类型的信息处理系统。信息处理系统1400可用于执行本发明的一种或多种方法的至少一部分。信息处理系统1400一般包括接收、存储和执行适当的计算机指令、命令和/或代码所需的适当部件。信息处理系统1400的主要部件是处理器1402和存储器1404。处理器1402可以包括以下一个或多个：一个或多个CPU、一个或多个MCU、一个或多个逻辑电路、一个或多个树莓派芯片、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)和/或被配置为解释和/或执行程序指令和/或处理信号和/或信息和/或数据任何一个或多个数字或模拟电路/电路。存储器1404可以包括：一个或多个易失性存储器(例如RAM、DRAM、SRAM)、一个或多个非易失性存储器(例如ROM、PROM、EPROM、EEPROM、FRAM、MRAM、FLASH、SSD、NAND、NVDIMM)，或它们的任何组合。适当的计算机指令、命令、代码、信息和/或数据可以存储在存储器1404中。用于执行或促进执行本发明的方法实施方式的计算机指令可以存储在存储器1404中。处理器1402和存储器1404可以集成或分离(并且可操作地连接)。可选地，信息处理系统1400还包括一个或多个输入装置1406。输入装置1406的示例包括：键盘、鼠标、触控笔、图像扫描仪、麦克风、触觉/触摸输入装置(例如，触敏屏幕)、图像/视频输入装置(例如，相机)等。可选地，信息处理系统1400还包括一个或多个输出装置1408。输出装置1408的示例包括：显示器(例如，监视器、屏幕、投影仪等)、扬声器、耳机、耳麦、打印机、增材制造机器(例如，3D打印机)等。显示器可以包括LCD显示器、LED/OLED显示器或其他合适的显示器，它们可以是或可以不是触敏的。信息处理系统1400还可包括一个或多个磁盘驱动器1412，其可以包括以下中的一个或多个：固态驱动器、硬盘驱动器、光驱、闪存驱动器、磁带驱动器等。合适的操作系统可以安装在数据处理系统1400中，例如，在磁盘驱动器1412或存储器1404中。存储器1404和磁盘驱动器1412可以由处理器1402操作。可选地，信息处理系统1400还包括通信装置1410，其用于与诸如服务器、个人计算机、终端、平板电脑、电话、手表、物联网(IoT)装置或其他无线计算装置。通信装置1410可以包括以下一个或多个：调制解调器、网络接口卡(NIC)、集成网络接口、NFC收发器、ZigBee收发器、Wi-Fi收发器、蓝牙收发器、射频收发器、蜂窝(2G、3G、4G、5G、5G以上等)收发器、光学端口、红外端口、USB连接或其他有线或无线通信接口。收发器可以由一个或多个装置(集成的发射器和接收器、分离的发射器和接收器等)实现。通信链路可以是有线的或无线的，其用于传送命令、指令、信息和/或数据。在一个示例中，处理器1402、存储器1404(以及可选的输入装置1406、输出装置1408、通信装置1410和磁盘驱动器1412，如果存在的话)通过总线、诸如PCIExpress的外围组件互连(PCI)、通用串行总线(USB)、光学总线或其他类似的总线结构彼此直接或间接地相互连接。在一个实施方式中，这些部件中的至少一些可以无线连接，例如，通过诸如互联网或云计算网络的网络。本领域的技术人员将理解，图14中所示的信息处理系统1400仅仅是示例性的并且在其他实施方式中信息处理系统1400可以具有不同的配置(例如，包括额外的部件、具有更少的部件等)。

尽管不是必需的，但是参考附图描述的实施方式可以被实现为应用程序编程接口(API)或供开发者使用的一系列库或可以被包括在另一个软件应用程序中(该另一个软件应用程序在诸如终端或计算机操作系统或便携式计算设备操作系统中操作)。通常，由于程序模块包括有助于执行特定功能的例程、程序、对象、部件和数据文件，本领域技术人员将理解，软件应用程序的功能可以分布在多个例程、对象和/或部件中以实现本文所述的相同功能。

还应当理解，在本发明的实施方式的方法和系统完全由计算系统实现或部分由计算系统实现的情况下，可以利用任何适当的计算系统架构，包括独立计算机、网络计算机、专用或非专用硬件设备等。在本文中，术语“计算系统”和“计算设备”(或类似术语)旨在包括但不限于能够实现所述功能的计算机或信息处理硬件(任何适当的布置)。

在一些实施方式中，本发明的系统和方法通过数字孪生可有助于在动态和复杂地环境中准确识别物体的位置。在一个示例中，可以容易地找到要维护的服务器的位置。在一些实施方式中，本发明的系统和方法通过数字孪生可以实现环境中不同物体之间的数字相关性的可视化。在一个示例中，与环境中的不同物体/装置相关联的网络图可以被可视化。在一些实施方式中，本发明的系统和方法通过数字孪生可以实现基于混合现实人机界面的后端系统的自动更新。在一个示例中，与环境中的装置相关联的网络图可以在对装置进行人工操作之后容易地更新而无需用户干预。

本领域技术人员将理解，可以对如特定实施方式中所示的本发明进行不同的变化和/或修改以提供本发明的其他实施方式。因此，所描述的本发明的实施方式在所有方面都应该被认为是说明性而不是限制性的。本发明的一些方面的示例可选特征在上面的发明内容部分中阐述。本发明的一些实施方式可以包括这些可选特征中的一个或多个(其中一些没有在附图中具体示出)。本发明的一些实施方式可能缺少这些可选特征中的一个或多个(其中一些未在附图中具体示出)。一个实施方式中的一个或多个特征和另一实施方式中的一个或多个特征可以组合以提供本发明的进一步实施方式。本发明的数据处理方法可以大体实时在线执行或离线执行。本发明的一些实施方式不将物理环境限制为数据中心环境。

Claims (21)

1.一种计算机实施方法，其用于促进为扩展现实应用程序生成物理环境的数字孪生，所述计算机实施方法包括：

(a)接收与物理环境的表示相关联的数据和与所述物理环境中的一个或多个物体的表示相关联的数据；

(b)接收在某一时刻与所述物理环境中的所述一个或多个物体中的每一个的布置、结构、功能、操作状态和/或性能相关联的数据；

(c)基于在步骤(a)和步骤(b)中接收到的至少一些数据，生成用于扩展现实应用程序的数字孪生数据；以及

(d)将所述数字孪生数据提供给安装有所述扩展现实应用程序的扩展现实装置，以促进生成在所述某一时刻具有所述一个或多个物体的所述物理环境的数字孪生。

2.根据权利要求1所述的计算机实施方法，其特征在于：

所述物理环境包括数据中心环境；以及

所述一个或多个物体包括：

一个或多个容器；以及

一个或多个装置，其布置在所述一个或多个容器中或上。

3.根据权利要求2所述的计算机实施方法，其特征在于：

所述一个或多个容器包括以下至少一个：机架、柜和框架；和/或

所述一个或多个装置包括以下至少一个：服务器、路由器、开关、磁盘存储器和电源。

4.根据权利要求1所述的计算机实施方法，其特征在于：

与所述一个或多个物体中的每一个的布置相关联的数据包括在所述某一时刻与所述物理环境中的所述一个或多个物体中的每一个的位置和区域相关联的数据，与所述一个或多个物体中的每一个的结构相关联的数据包括在所述某一时刻与所述物理环境中的所述一个或多个物体中的每一个的内部和/或外部结构相关联的数据，与所述一个或多个物体中的每一个的功能相关联的数据包括在所述某一时刻与所述物理环境中的所述一个或多个物体中的每一个的物体间或物体内的逻辑连接相关联的数据，和/或

与所述一个或多个物体中的每一个的性能相关联的数据包括在所述某一时刻与所述物理环境中的所述一个或多个物体中的每一个的历史性能相关联的数据。

5.根据权利要求1所述的计算机实施方法，其特征在于，所述步骤(a)包括：

(a1)接收与所述物理环境的图形表示相关联的数据和与所述物理环境中的所述一个或多个物体的图形表示相关联的数据。

6.根据权利要求5所述的计算机实施方法，其特征在于：

与所述物理环境的所述图形表示相关联的数据包括所述物理环境的数字地图；以及

与所述物理环境中的所述一个或多个物体的图形表示相关联的数据包括所述一个或多个物体的相应模型。

7.根据权利要求1所述的计算机实施方法，其特征在于，所述步骤(a)包括：

(a2)接收与所述物理环境的预定义特征相关联的数据和/或与所述物理环境中的所述一个或多个物体的预定义特征相关联的数据。

8.根据权利要求2所述的计算机实施方法，其特征在于：

所述步骤(a)包括：(a2)接收与所述物理环境的预定义特征相关联的数据和/或与所述物理环境中的所述一个或多个物体的预定义特征相关联的数据；

与所述物理环境的预定义特征相关联的数据包括与所述物理环境的数字地图中的一个或多个预定义区域相关联的数据；

与所述物理环境中的一个或多个物体的预定义特征相关联的数据包括与所述一个或多个容器中的至少一个的预定义布局相关联的数据；以及

与所述物理环境中的一个或多个物体的预定义特征相关联的数据包括与所述一个或多个装置中的至少一个的一个或多个预定义兴趣点相关联的数据。

9.根据权利要求1所述的计算机实施方法，其特征在于，所述步骤(a)中的数据是从物体模型数据库接收的，所述物体模型数据库存储与所述物理环境的所述表示相关联的物体模型数据和与所述物理环境中的所述一个或多个物体的所述表示相关联的物体模型数据。

10.根据权利要求1所述的计算机实施方法，其特征在于，所述计算机实施方法还包括：将与所述物理环境的图形表示相关联的数据和与所述物理环境中的所述一个或多个物体的图形表示相关联的数据提供给安装有所述扩展现实应用程序的所述扩展现实装置，以促进生成在所述某一时刻具有所述一个或多个物体的所述物理环境的所述数字孪生；

其中，与所述物理环境的图形表示相关联的数据包括所述物理环境的数字地图；以及

其中，与所述物理环境中的所述一个或多个物体的图形表示相关联的数据包括所述一个或多个物体的相应模型。

11.根据权利要求1所述的计算机实施方法，其特征在于，所述计算机实施方法还包括：

(e)至少基于所述数字孪生数据，生成在所述某一时刻具有所述一个或多个物体的所述物理环境的所述数字孪生；以及

(f)向佩戴安装有所述扩展现实应用程序的所述扩展现实装置的用户呈现在所述某一时刻具有所述一个或多个物体的所述物理环境的所述数字孪生；

其中，所述步骤(f)的呈现是在佩戴所述扩展现实装置的所述用户处于所述物理环境中时执行的。

12.根据权利要求1至11中任一项所述的计算机实施方法，其特征在于，所述计算机实施方法还包括：

(g)接收在所述某一时刻之后的另一时刻与所述物理环境中的所述一个或多个物体的更新布置、结构、功能、操作状态和/或性能相关联的更新数据；

(h)至少基于所述更新数据生成用于扩展现实应用程序的更新数字孪生数据；以及

(i)向安装有所述扩展现实应用程序的所述扩展现实装置提供所述更新数字孪生数据，以促进生成在所述另一时刻的所述物理环境的更新数字孪生。

13.根据权利要求12所述的计算机实施方法，其特征在于：

所述更新数据对应于动态数据；

在所述另一时刻未被更新的与所述物理环境中的所述一个或多个物体的布置、结构、功能、操作状态和/或性能相关联的数据对应于静态数据；以及

在所述步骤(h)中，基于所述静态数据和所述动态数据以及在所述步骤(a)中接收到的数据生成所述更新数字孪生数据。

14.根据权利要求12所述的计算机实施方法，其特征在于，所述计算机实施方法还包括：

(j)至少基于所述更新数字孪生数据，生成在所述另一时刻具有所述一个或多个物体的所述物理环境的所述更新数字孪生；以及

(k)向佩戴安装有所述扩展现实应用程序的所述扩展现实装置的用户呈现在所述另一时刻具有所述一个或多个物体的所述物理环境的所述更新数字孪生；

其中，所述步骤(k)的呈现是在佩戴所述扩展现实装置的所述用户处于所述物理环境中时执行的。

15.根据权利要求12所述的计算机实施方法，其特征在于，所述计算机实施方法还包括：基于检测到在所述物理环境中的所述一个或多个物体的布置、结构、功能、操作状态和/或性能的变化，或者在检测到在所述物理环境中的所述一个或多个物体的布置、结构、功能、操作状态和/或性能的变化时，重复所述步骤(g)至所述步骤(i)。

16.根据权利要求1至11中任一项所述的计算机实施方法，其特征在于，所述扩展现实装置或所述扩展现实应用程序可操作以：

协助在所述物理环境中佩戴所述扩展现实装置的用户在所述物理环境中导航；

将在所述物理环境中佩戴所述扩展现实装置的用户引导到所述物理环境中的预定位置；

指导在所述物理环境中佩戴所述扩展现实装置的用户在所述物理环境中执行预定任务；以及/或

协助在所述物理环境中佩戴所述扩展现实装置的用户确定在所述物理环境中的所述一个或多个物体的结构、功能、操作状态和/或性能。

17.根据权利要求1至11中任一项所述的计算机实施方法，其特征在于，所述步骤(b)中的数据是从后端数据库接收的，所述后端数据库存储与所述物理环境和所述物理环境中的所述一个或多个物体相关联的数据。

18.根据权利要求17所述的计算机实施方法，其特征在于，所述步骤(b)中的数据是响应于在安装有所述扩展现实应用程序的所述扩展现实装置处接收到的用户输入而接收的。

19.根据权利要求17所述的计算机实施方法，其特征在于，所述扩展现实装置或所述扩展现实应用程序可操作以：

当佩戴所述扩展现实装置的所述用户操纵一个或多个物体时，基于检测到的所述一个或多个物体的结构、功能、操作状态和/或性能的变化而促进所述后端数据库的更新。

20.根据权利要求1至11中任一项所述的计算机实施方法，其特征在于：

所述扩展现实应用程序是以下中的一个：虚拟现实应用程序、增强现实应用程序和混合现实应用程序；以及

所述扩展现实装置是是以下中相应的一个：虚拟现实装置、增强现实装置和混合现实装置。

21.一种系统，其用于促进为扩展现实应用程序生成物理环境的数字孪生，所述系统包括：

一个或多个处理器，其被布置为执行或促进执行根据权利要求1至20中任一项所述的计算机实施方法。