CN113687718A - 一种人-机集成的数字孪生系统及其构建方法 - Google Patents

Abstract

本发明公开了一种人‑机集成的数字孪生系统及其构建方法，系统包括物理人、虚拟端、物理机器人；物理人通过虚拟端与物理机器人进行交互连接，而不同物理人间通过虚拟端进行交互连接；虚拟端包括虚拟人和虚拟机器人；虚拟人为利用数字孪生技术构建的相对于物理人的孪生体模型，其分别与与其对应的物理人、其他的虚拟人、与其对应的虚拟机器人进行交互连接；虚拟机器人为利用数字孪生技术构建相对物理机器人的孪生体模型，其分别与与其对应的虚拟人、其他的虚拟机器人、与其对应的物理机器人进行交互连接。本发明基于数字孪生技术，构建物理人和机器人的孪生体，通过孪生体之间的交互及孪生体与物理实体的双向交互，实现了多人‑多机集成。

Description

一种人-机集成的数字孪生系统及其构建方法

技术领域

本发明涉及数字孪生的技术领域，尤其涉及到一种人-机集成的数字孪生系统及其构建方法。

背景技术

近年来，基于虚实双向交互机理的数字孪生技术从产品生命周期监控不断延伸到各个领域。特别是，数字孪生技术被应用在工业领域的流水线机器人生产车间设计、监控及生产优化。数字孪生技术利用数字化方式对物理对象进行全面描述，基于物理对象的内在机理及外在任务需求，模拟物理对象工作全流程并根据仿真结果对物理对象进行指导、优化。对于自主机器人系统，数字孪生技术的引入将大大提高其自主性和工作效率。但是，在某些场景下，由于感知能力受限，目前机器人的智能水平仍比较低下，对特定场景下的决策困难或者错误决策。而人具有全局决策能力，如何把人与机器结合是解决特定场景下机器人决策能力不足问题。现有的人机交互方式包括按键、姿态识别、语音、VR等方法，这些方法是建立在人与机器人近距离交互的基础上。而且现有的VR交互方式不能观测到人当前的交互状态比如当前人手部姿态。而数字孪生技术侧重是虚实的双向映射，利用数字孪生技术构建人的孪生体和机器人进行交互并将虚拟人的状态通过VR设备反馈到物理人，这样能够实现物理人在整个人机交互过程对自身状态的观测。

对于复杂的任务，群机器人协作是一个高效的解决方案。但是群机器人的协作是一个复杂动态问题，如何分配每个机器人的任务是需要人的参与。特别是群无人机系统，人需要远程监控整个群体的状态并且做出相应的决策。现有的技术方案是群机器人与地面操作站进行通信，实时反馈其状态数据。但是这样并不能完整的描述当前群体的状态。

发明内容

本发明的目的在于克服现有技术的不足，提供一种人-机集成的数字孪生系统，基于数字孪生技术，构建物理人和机器人的全孪生体，通过孪生体之间的交互及孪生体与物理实体的双向交互，实现多人-多机集成。

为实现上述目的，本发明所提供的技术方案为：

一种人-机集成的数字孪生系统及其构建方法，包括物理人、虚拟端、物理机器人；

物理人通过虚拟端与物理机器人进行交互连接，而不同物理人间通过虚拟端进行交互连接；

其中，虚拟端包括虚拟人和虚拟机器人；

所述虚拟人为利用数字孪生技术构建的相对于物理人的孪生体模型，其分别与与其对应的物理人、其他的虚拟人、与其对应的虚拟机器人进行交互连接；

所述虚拟机器人为利用数字孪生技术构建相对物理机器人的孪生体模型，其分别与与其对应的虚拟人、其他的虚拟机器人、与其对应的物理机器人进行交互连接。

进一步地，所述物理人通过VR设备与与其对应的虚拟人进行交互连接。

进一步地，所述VR设备包括头盔和安装有陀螺仪和加速度计的手柄，通过头盔和手柄获取物理人头部和手部的姿态信息，然后将该些姿态信息通过通信接口传输给虚拟人，实现虚拟人和物理人的状态同步。

进一步地，所述虚拟人通过虚拟人-人交互接口与其他的虚拟人进行交互连接，而该虚拟人-人交互接口利用Unity3D游戏引擎中的声音系统、物体姿态变换或虚拟相机系统实现。

进一步地，所述虚拟人通过人机交互接口与与其对应的虚拟机器人进行交互连接，而该人机交互接口利用Unity3D游戏引擎中的声音系统或虚拟相机系统实现。

进一步地，所述虚拟机器人通过虚拟机-机交互接口与其他的虚拟机器人进行交互连接，而该虚拟机-机交互接口采用的是虚拟网络通道。

进一步地，所述虚拟机器人利用包括4G、5G在内的远程无线通信方式与物理机器人进行交互连接。

为实现上述目的，本发明另外提供一种人-机集成的数字孪生系统构建方法，

S1、在虚拟端中构建虚拟人和虚拟机器人；

S2、物理人通过VR设备与在步骤S1构建的且与其对应的虚拟人进行交互连接；

S3、虚拟人通过虚拟人-人交互接口与其他的虚拟人进行交互连接，以及通过通过人机交互接口与与其对应的虚拟机器人进行交互连接；

S4、虚拟机器人利用远程无线通信方式与物理机器人进行交互连接。

进一步地，构建虚拟人具体包括：

首先利用三维软件构建虚拟人的三维模型并配置虚拟人的人体骨骼模型，然后将人体骨骼模型导入到Unity3D游戏引擎，利用脚本编程控制不同骨骼的坐标位置和旋转实现虚拟人头部和手部的运动。

进一步地，构建虚拟机器人具体包括：

首先利用三维软件构建虚拟机器人的三维模型，然后利用Unity3D游戏引擎的刚体组件模型和脚本编程实现虚拟机器人的电气设备特性和运动特性。

与现有技术相比，本方案原理如下：

1)将数字孪生技术引入到多人-多机集成的系统构建中，不仅实现人在交互过程对自身行为的感知，而且通过孪生的虚拟机器人实现对物理机器人的全过程监控，这将形成反馈交互机制，提高人机交互的效率。

2)通过数字孪生技术，将虚拟人-人交互接口、人机交互接口、虚拟机-机交互接口等均采用虚拟的手段实现，一方面不仅降低系统实现成本，而且避免物理因素的影响，提高系统的可靠性。另一方面，利用虚拟的手段可以实现物理方式实现困难的交互方式，以实现人机多样化的交互方式需要，提高系统应用的适用性。

3)在整个系统中，将主要的数据处理包括手势识别算法、机器控制算法等集中在虚拟端，而虚拟端一般是部署在云计算平台或者当地的服务端系统。这不仅降低物理机器人搭载计算机系统的性能要求，而且可以在物理机器人上添加更复杂的算法实现更智能的行为。

4)在整个系统中，利用虚拟端的集成作用，将所有的物理对象连接起来。这不仅对所有物理对象的监控，而且利用实时的物理数据和虚拟端数据的差距，估计物理环境状态，进而优化物理机器人的控制器和故障溯源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种人-机集成的数字孪生系统的结构示意图；

图2为本发明一种人-机集成的数字孪生系统构建方法的原理流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种人-机集成的数字孪生系统，包括物理人1、虚拟端、物理机器人3；

物理人1通过虚拟端与物理机器人3进行交互连接，而不同物理人1间通过虚拟端进行交互连接；

其中，虚拟端包括虚拟人2和虚拟机器人4；

虚拟人2为利用数字孪生技术构建的相对于物理人1的孪生体模型，其分别与与其对应的物理人1、其他的虚拟人2、与其对应的虚拟机器人4进行交互连接；

虚拟机器人4为利用数字孪生技术构建相对物理机器人3的孪生体模型，其分别与与其对应的虚拟人2、其他的虚拟机器人4、与其对应的物理机器人3进行交互连接。

具体地，本实施例中，

物理人1和虚拟人2之间的通信接口是采用5G设备，利用MQTT数据传输协议，在VR设备部署客户端，在Unity3D游戏引擎部署服务端。Unity3D游戏引擎通过5G通信接口将虚拟场景和虚拟人2的数据传输到VR设备显示。VR设备将头盔和安装有陀螺仪和加速度计的手柄捕获到的人的姿态信息传输到Unity3D游戏引擎，更新虚拟人2，实现虚拟人2和物理人1的状态同步。

虚拟人2和虚拟人2之间的通信接口是采用Unity3D游戏引擎中的声音系统和虚拟相机系统。声音系统通过设置发送和接收器能够实现不同虚拟人2(数字孪生体)之间的语音交互。通过在每个虚拟人2的头部挂载虚拟相机模型，实现对场景和其他虚拟人2的图片信息获取，采用机器学习算法去实现当前交互状态的识别。

虚拟人2和虚拟机器人4之间的人机交互接口采用Unity3D游戏引擎中的虚拟相机系统。在虚拟机器人4上挂载虚拟相机系统，通过脚本编程获取对应虚拟人2的手势状态，采用机器学习算法和训练的数据集实现人交互手势的识别。

虚拟机器人4和虚拟机器人4之间的虚拟机-机交互接口采用虚拟网络通道。在Unity3D游戏引擎中，利用脚本编程为每个虚拟机器人4开辟一个通信端口。通过向该通信端口发送和接收数据实现机器人群体之间的通信。通过配置端口的访问权限及传输的数据量实现不同的通信拓扑结构。

虚拟机器人4和物理机器人3之间的通信接口是采用5G设备。与物理人1和虚拟人2之间的通信类似。在Unity3D游戏引擎开辟一个服务端线程，在物理机器人3端开辟一个客户端线程。客户端通过指定的地址连接服务端实现数据的传输。

本实施例系统搭建的工作流程如下：

S1、在虚拟端中构建虚拟人2和虚拟机器人4；

S2、物理人1通过VR设备与在步骤S1构建的且与其对应的虚拟人2进行交互连接；

S3、虚拟人2通过虚拟人-人交互接口与其他的虚拟人2进行交互连接，以及通过通过人机交互接口与与其对应的虚拟机器人4进行交互连接；

S4、虚拟机器人4利用远程无线通信方式与物理机器人3进行交互连接。

上述中，构建虚拟人2具体包括：

首先利用Maya三维软件构建虚拟人的三维模型并配置虚拟人的人体骨骼模型，然后将人体骨骼模型导入到Unity3D游戏引擎，利用脚本编程控制不同骨骼的坐标位置和旋转实现虚拟人头部和手部的运动。

上述中，构建虚拟机器人4具体包括：

首先利用Maya三维软件构建虚拟机器人的三维模型(包括多边形建模、曲面建模和细分建模)，然后利用Unity3D游戏引擎的刚体组件模型和脚本编程实现虚拟机器人的电气设备特性和运动特性。

下面为人-机集成的数字孪生系统的应用实例：

以两个物理人1指导两个物理机器人3完成共同搬运物体任务；首先两个物理人1通过VR设备远程连接基于Unity3D游戏引擎构建的虚拟端系统中的虚拟人2，通过声音交互确定将要搬运物体的位置。接着，每个物理人1通过VR手柄控制虚拟端的虚拟人2的手部，做出相应的手势(如示意向前移动)，虚拟机器人4开始移动。紧跟着，虚拟机器人4将通过虚拟网络通道共享位置信息以实现物理机器人3之间的避障。最后，虚拟机器人4将自身状态通过5G通信接口映射到物理机器人3，物理机器人3执行相应的行为，完成相应的手势任务。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.一种人-机集成的数字孪生系统，其特征在于，包括物理人(1)、虚拟端、物理机器人(3)；

物理人(1)通过虚拟端与物理机器人(3)进行交互连接，而不同物理人(1)间通过虚拟端进行交互连接；

其中，虚拟端包括虚拟人(2)和虚拟机器人(4)；

所述虚拟人(2)为利用数字孪生技术构建的相对于物理人(1)的孪生体模型，其分别与与其对应的物理人(1)、其他的虚拟人(2)、与其对应的虚拟机器人(4)进行交互连接；

所述虚拟机器人(4)为利用数字孪生技术构建相对物理机器人(3)的孪生体模型，其分别与与其对应的虚拟人(2)、其他的虚拟机器人(4)、与其对应的物理机器人(3)进行交互连接。

2.根据权利要求1所述的一种人-机集成的数字孪生系统，其特征在于，所述物理人(1)通过VR设备与与其对应的虚拟人(2)进行交互连接。

3.根据权利要求2所述的一种人-机集成的数字孪生系统，其特征在于，所述VR设备包括头盔和安装有陀螺仪和加速度计的手柄，通过头盔和手柄获取物理人(1)头部和手部的姿态信息，然后将该些姿态信息通过通信接口传输给虚拟人(2)，实现虚拟人(2)和物理人(1)的状态同步。

4.根据权利要求1所述的一种人-机集成的数字孪生系统，其特征在于，所述虚拟人(2)通过虚拟人-人交互接口与其他的虚拟人(2)进行交互连接，而该虚拟人-人交互接口利用Unity3D游戏引擎中的声音系统、物体姿态变换或虚拟相机系统实现。

5.根据权利要求1-4任一所述的一种人-机集成的数字孪生系统，其特征在于，所述虚拟人(2)通过人机交互接口与与其对应的虚拟机器人(4)进行交互连接，而该人机交互接口利用Unity3D游戏引擎中的声音系统、虚拟相机系统以及脚本编程的方式实现。

6.根据权利要求5所述的一种人-机集成的数字孪生系统，其特征在于，所述虚拟机器人(4)通过虚拟机-机交互接口与其他的虚拟机器人(4)进行交互连接，而该虚拟机-机交互接口采用的是虚拟网络通道。

7.根据权利要求6所述的一种人-机集成的数字孪生系统，其特征在于，所述虚拟机器人(4)利用包括4G、5G在内的远程无线通信方式与物理机器人(3)进行交互连接。

8.一种人-机集成的数字孪生系统构建方法，其特征在于，包括以下步骤：

S1、在虚拟端中构建虚拟人和虚拟机器人；

S2、物理人通过VR设备与在步骤S1构建的且与其对应的虚拟人进行交互连接；

S3、虚拟人通过虚拟人-人交互接口与其他的虚拟人进行交互连接，以及通过通过人机交互接口与与其对应的虚拟机器人进行交互连接；

S4、虚拟机器人利用远程无线通信方式与物理机器人进行交互连接。

9.根据权利要求8所述的一种人-机集成的数字孪生系统构建方法，其特征在于，构建虚拟人具体包括：

首先利用三维软件构建虚拟人的三维模型并配置虚拟人的人体骨骼模型，然后将人体骨骼模型导入到Unity3D游戏引擎，利用脚本编程控制不同骨骼的坐标位置和旋转实现虚拟人头部和手部的运动。

10.根据权利要求8所述的一种人-机集成的数字孪生系统构建方法，其特征在于，构建虚拟机器人具体包括：

首先利用三维软件构建虚拟机器人的三维模型，然后利用Unity3D游戏引擎的刚体组件模型和脚本编程实现虚拟机器人的电气设备特性和运动特性。

Images