CN115687494A - 一种制造系统的数字孪生监控系统 - Google Patents

Abstract

本发明提供一种制造系统的数字孪生监控系统，包括：信息物理系统，包括数据采集模块和数据传输模块，所述数据采集模块用于采集物理空间中生产系统的实时状态数据；所述数据传输模块用于传输所述实时状态数据；数字孪生平台，用于根据所述实时状态数据构建物理空间中生产系统的实时状态到数字空间的映射，并实现生产系统的实时状态的可视化，形成监控场景。本发明能够实现制造车间的全实时数字孪生三维可视化监控。

Description

一种制造系统的数字孪生监控系统

技术领域

本发明涉及自动化生产线监控技术领域，具体地，涉及一种制造系统的数字孪生监控系统。

背景技术

数字孪生以数字化方式创建物理实体的虚拟模型，借助数据模拟物理实体在现实环境中的行为，通过虚实交互反馈、数据融合分析、决策迭代优化等手段，为物理实体增加或扩展新的能力。然而，纵观全生命周期，目前数字孪生的应用主要集中在产后方面，如产品的运维与健康管理，而在产前如产线设计、产中如装配与车间物流等方面，数字孪生当前的研究仍处于起步阶段；纵观制造尺度，数字孪生的科研开发、工程应用目前集中于对单一设备、单一机床的监控，对于先进制造系统的监控却少有涉及。

经检索，公开号为CN112162519A的中国发明申请公开了“一种复合型机床数字孪生监控系统”，该系统涉及数字孪生技术领域，该系统通过机床信息模块创建数字孪生监控系统，并基于OPC-UA传输接口实现多平台、多数据、多接口通信，构建人机交互模块；多领域数据采集模块采用不同类型的传感器实时采集多源异构数据，基于信息融合技术对采集数据进行处理形成孪生数据，并转发至建模计算模块；建模计算模块通过孪生数据的驱动，结合约束、预测、决策等规则，形成复合型机床的数字孪生体；个性化决策模块通过实时重构优化机床监控孪生模型，对实体机床设备实时监控与管理。但是该专利仍存在以下问题：该专利实现的是静态的车床的状态检测，没有对设备的生产行为进行实时追踪，对于机器人这种需要实时追踪位姿的设备不再适用。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种制造系统的数字孪生监控系统。

根据本发明的一个方面，提供一种制造系统的数字孪生监控系统，该系统包括：

信息物理系统，包括数据采集模块和数据传输模块，所述数据采集模块用于采集物理空间中生产系统的实时状态数据；所述数据传输模块用于传输所述实时状态数据；

数字孪生平台，用于根据所述实时状态数据构建物理空间中生产系统的实时状态到数字空间的映射，并实现生产系统的实时状态的可视化，形成监控场景。

进一步地，所述数据采集模块通过多源异构数据集成的方式采集物理空间中生产系统的实时状态数据，所述数据传输模块采用信息物理系统总线传输所述实时状态数据，使信息物理系统的多源异构数据向所述数字孪生平台开放。

进一步地，所述信息物理系统包括统一化的通信接口，使生产系统的各软硬件设备模块具有即插即用的能力。

进一步地，接入所述信息物理系统的软硬件包括信息物理系统设备与信息物理系统应用；所述信息物理系统设备用于采集制造系统的实时数据，并接收信息物理系统应用的指令以控制物理设备；所述信息物理系统应用用于接收信息物理系统设备的实时数据进行计算与展示，并将控制指令发送至物理制造系统。

进一步地，所述物理空间中生产系统的实时状态数据来自标准件和非标准件上加装的传感器组。

进一步地，所述数字孪生平台包括映射建模模块和重构模块；所述映射建模模块用于在虚拟场景中构建物体的三维模型，通过实时状态数据驱动所述三维模型，实现制造系统数字孪生映射建模；所述重构模块通过JSON文件配置制造系统布局，实时读取JSON文件实现制造系统的构型变化，实现重构制造系统的生产过程实时监控。

进一步地，所述数字孪生平台单向接收监控服务转发的数据，所述监控服务转发的数据用于驱动虚拟场景的三维模型，同时在虚拟场景中实时更新并展示数据

进一步地，所述数字孪生平台利用三维可视化引擎生成与物理生产系统一致的三维模型并展示。

进一步地，所述三维模型包括静态数模和动态数模，所述静态数模对应于静态物体状态模型，所述动态数模对应于运动物体状态模型。

进一步地，所述数字孪生平台在三维可视化引擎中构建动态数模的驱动蓝图，基于所述驱动蓝图获取实时数据，使用所述实时数据驱动所述动态数模，实现实时映射。

与现有技术相比，本发明具有如下至少之一的有益效果：

本发明首先通过信息物理系统对生产系统的实时状态数据进行采集，之后通过信息物理系统总线对实时数据进行传输，传输的数据驱动虚拟场景的三维模型，完成对生产系统的生产行为的实时映射以及对生产关键数据的可视化；而且，本发明能够实现对运动物体的三维状态的实时追踪，生产系统构型快速修改，使监控系统可以适应可重构系统的构型的快速更改，从而实现制造车间的全实时数字孪生三维可视化监控。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中信息物理系统双向信息传输框架；

图2为本发明实施例中信息物理系统实时数据采集过程；

图3为本发明实施例中UE4通过TCP Socket建立与监控服务的数据连接的示意图；

图4为本发明实施例中基于UE4的实时数据帧解析与映射。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。在本发明实施例的描述中，需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明实施例提供一种制造系统的数字孪生监控系统，该系统包括：信息物理系统(Cyber Physical System，CPS)，信息物理系统包括数据采集模块和数据传输模块，数据采集模块用于采集物理空间中生产系统的实时状态数据；数据传输模块用于传输实时状态数据；数字孪生平台，用于根据实时状态数据构建物理空间中生产系统的实时状态到数字空间的映射，并实现生产系统的实时状态的可视化，形成监控场景。

作为一种具体的实施方式，数据采集模块通过多源异构数据集成的方式采集物理空间中生产系统的实时状态数据，数据传输模块采用信息物理系统总线传输实时状态数据，使信息物理系统的多源异构数据向数字孪生平台开放，实时状态数据通过消息帧的形式传输。信息物理系统进行多源异构数据集成，采用了CPS总线来传输孪生数据，使系统的多源异构数据向数字孪生体开放，不仅可以建立物理空间与虚拟空间的实时双向通讯，还可针对制造系统实现物理设备、虚拟设备与软件服务的热插拔。

作为一种具体的实施方式，在信息物理系统框架中，信息物理系统包括统一化的通信接口，使生产系统的各软硬件设备模块具有即插即用的能力。接入信息物理系统的软硬件包括信息物理系统设备与信息物理系统应用；信息物理系统设备用于采集制造系统的实时数据，并接收信息物理系统应用的指令以控制物理设备；信息物理系统应用用于接收信息物理系统设备的实时数据进行计算与展示，并将控制指令发送至物理制造系统。物理空间中生产系统的实时状态数据来自标准件和非标准件上加装的传感器组。

具体地，所有接入信息物理系统的软硬件(CPS参与者)被划分为两类：信息物理系统设备(CPS设备)与信息物理系统应用(CPS应用)，其中，CPS设备对应于孪生数据的生产者、制造指令的执行者等，CPS设备主要采集制造系统的实时数据，通过将数据发送到展示端进行展示，同时接收CPS应用的指令控制物理设备；CPS应用对应于孪生数据的消费者、制造指令的下达者等，例如是制造执行系统(MES)、数字孪生这样的展示端，CPS应用主要接受CPS设备的实时数据进行计算与展示，并将控制指令发送给物理制造系统。在此定义下，物理产线中的每台机床、各环境监测传感器、以及进行仿真的数字孪生机床属于CPS设备。技术上，车间孪生数据来源为标准件或非标准件上加装的传感器组。根据不同的设备类型、数据类型，孪生数据源包括PLC、RFID传感器、I/O寄存器、机器人控制、上位机等，涉及到的各个硬件数据传输协议包括Modbus、RTDE、Profinet等。作为统一化的通信接口，CPS API将以上各项综合起来，成为车间多源异构数据集成的桥梁，为各CPS参与者调用，进行各自数据的接收与发送，采集端使用CPS API实时采集数据，接收端通过CPS API接收数据并解析数据，解析数据用来驱动上层应用。CPS总线承载所有车间数据的流动，包括由可重构制造系统中不同类型设备向车间服务系统发送的请求、车间服务系统向设备下达的指令、车间服务系统与多种应用之间的通信。所有的数据都经过CPS总线从发送方传输到接收方，以实现系统中各个软硬件实体的解耦合，同时使所有的车间数据向数字孪生开放。

参照图1，信息物理系统实现对制造系统的实时数据采集、传输，实时的数据采集是实现监控的基础，实时车间数据驱动是实现数字孪生监控的基础，实时数据通过消息帧的形式发送，图1中订阅对象也即应用对象，总线获取设备对象注册ID，订阅对象通过在总线中订阅设备对象的ID实现与设备对象的数据通信。

参照图2，为了使实时数据从车间现场驱动三维DT程序，需要建立数据在工业局域网内的传输，首先将从物理设备采集的实时数据储存到Redis数据库中进行统一管理，从物理设备采集的实时数据包括但不限于车床数据、机械臂数据、AGV数据和相机识别数据；接下来，建立的Mi Proxy通过与Redis数据库进行连接，并将获取的数据发送到信息物理系统总线中，完成数据采集与传输，信息物理系统总线将数据传递给相应展示程序，如实时监控系统、三维DT程序等，从而实现实时数据采集以及发送。

作为一种具体的实施方式，数字孪生平台包括映射建模模块和重构模块；映射建模模块用于在虚拟场景中构建物体的三维模型，通过实时状态数据驱动三维模型，实现制造系统数字孪生映射建模；重构模块通过JSON文件配置制造系统布局，实时读取JSON文件实现制造系统的构型变化，实现重构制造系统的生产过程实时监控。具体地，面向制造系统的数字孪生的映射建模，对运动物体，例如小车、六自由度机器人，通过RFID、角度传感器等实时采集运动物体的实时状态，之后在虚拟场景中构建物体的三维模型，并建立驱动脚本，通过实时数据驱动三维模型，完成制造系统数字孪生映射建模，改变当前生产系统实时展示主要集中于静态展示以及图表展示，实现三维实时展示。对于制造系统的重构，通过在系统外的JSON文件配置制造系统布局，实时读取JSON文件实现制造系统的构型变化，改变现有技术中每次构型改变都需要对源代码进行重写的现状，实现可重构制造系统的生产过程实时监控。本发明实施例采用制造系统数字孪生映射建模以及基于数字孪生的制造系统重构，实现了对运动物体的三维状态的实时追踪，生产系统构型快速修改，使监控系统可以适应可重构系统的构型的快速更改。

基于数字孪生车间的概念，数字孪生平台承担虚拟车间作用，同时具有监控的功能，并可按需无缝切换。在监控模式下，数字孪生平台单向接收来自监控服务转发的数据，监控服务转发的数据主要用来驱动虚拟场景的三维模型，同时在虚拟场景中实时更新数据面板，展示数据。最终，实现驱动三维场景中的孪生可重构制造系统，成为物理车间的实时映射，作为数字幻影(Digital Shadow)进行生产过程的监控，并不断积累相关知识，修正初始设定制造参数，例如通过数据统计出生产时间超过预期的在制品个数，实现生产计划的动态调整。使数据驱动更实时、行为映射更精准、物理过程复现更真实，提升信息物理融合度。

作为一种具体的实施方式，数字孪生平台利用三维可视化引擎生成与物理生产系统一致的三维模型并展示。三维模型包括静态数模和动态数模，静态数模对应于静态物体状态模型，动态数模对应于运动物体状态模型。对于动态数模，数字孪生平台在三维可视化引擎中构建动态数模的驱动蓝图，基于驱动蓝图获取实时数据，使用实时数据驱动动态数模，实现实时映射。

具体地，使用Epic Games出品的虚幻引擎四(Unreal Engine 4，UE4)来进行三维DT程序的开发。基于UE4系统，利用三维建模软件构建的三维模型来构建场景，接下来使用UE4的光照、物理系统以及材质等提高生产场景的逼真程度。之后，基于UE4的开发使用UE4蓝图(UE4提供的可视化编程语言)以及C++混合进行。本发明实施例以三维DT程序的各项功能切入，来说明DT平台构建中运用到的技术以及所实现的创新效果。UE4通过用C++编写的TCP Socket建立与监控服务的数据连接。作为三维引擎，与普通C++环境不同，UE4中在运行时发挥作用的类需要继承UE4提供的Actor类。参照图3，BP_MyTCPSocketConnection类实现了来自监控服务的消息帧接收以及分发给数据驱动的各对象，此过程涉及到的四个类，其中Actor为基类，实现所在蓝图在系统运行时自动调用的功能，TCPSocketConnection实现了TCP连接、接收与发送数据的功能，MyTCPSocketConnection实现解析数据等数据处理逻辑，BP_MyTCPSocketConnection实现将数据暴露其他蓝图的接口，方便其他用户调用。

可视化成为对工业现场的监控中的重要组成部分，基于UE4的实时数据帧解析与映射过程如图4所示。数字孪生可视化的形式包括三维运动、数据看板、UI图标等，其中，对于产线上机构、机器人、工件物料位置等，三维运动是最为直观的数字孪生呈现形式。在一些具体的实施方式中，借助UE4内置的三维渲染引擎，构建了可重构制造系统中各类车间孪生数据的三维可视化。在三维场景中，模型可分为静态数模以及动态数模。对于静态数模，如厂房环境模型，可将模型组的StaticMesh进行合并使其易于管理并通过减少Draw Call提升渲染性能。而对于需要数据驱动的三维模型，如六自由度机器人、AGV、机构等，这类模型需要实时映射实时状态，因此须在虚幻引擎中构建相关模型的驱动蓝图，基于蓝图实时获取数据，使用实时数据驱动三维模型，实现实时映射。

本发明实施例中的制造系统的数字孪生监控系统，通过制造系统数据采集、基于信息物理系统的数据双向传输框架、面向制造系统数字孪生映射建模以及基于数字孪生的制造系统重构，实现对生产系统的生产行为的实时映射以及对生产关键数据的可视化。而且，本发明能够实现对运动物体的三维状态的实时追踪，生产系统构型快速修改，使监控系统可以适应可重构系统的构型的快速更改，从而实现全制造系统全生命周期的数字孪生，实现制造车间的全实时数字孪生三维可视化监控。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种制造系统的数字孪生监控系统，其特征在于，包括：

信息物理系统，包括数据采集模块和数据传输模块，所述数据采集模块用于采集物理空间中生产系统的实时状态数据；所述数据传输模块用于传输所述实时状态数据；

数字孪生平台，用于根据所述实时状态数据构建物理空间中生产系统的实时状态到数字空间的映射，并实现生产系统的实时状态的可视化，形成监控场景。

2.根据权利要求1所述的制造系统的数字孪生监控系统，其特征在于，所述数据采集模块通过多源异构数据集成的方式采集物理空间中生产系统的实时状态数据，所述数据传输模块采用信息物理系统总线传输所述实时状态数据，使信息物理系统的多源异构数据向所述数字孪生平台开放。

3.根据权利要求1所述的制造系统的数字孪生监控系统，其特征在于，所述信息物理系统包括统一化的通信接口，使生产系统的各软硬件设备模块具有即插即用的能力。

4.根据权利要求3所述的制造系统的数字孪生监控系统，其特征在于，接入所述信息物理系统的软硬件包括信息物理系统设备与信息物理系统应用；

所述信息物理系统设备用于采集制造系统的实时数据，并接收信息物理系统应用的指令以控制物理设备；

所述信息物理系统应用用于接收信息物理系统设备的实时数据进行计算与展示，并将控制指令发送至物理制造系统。

5.根据权利要求1所述的制造系统的数字孪生监控系统，其特征在于，所述物理空间中生产系统的实时状态数据来自标准件和非标准件上加装的传感器组。

6.根据权利要求1所述的制造系统的数字孪生监控系统，其特征在于，所述数字孪生平台包括映射建模模块和重构模块；

所述映射建模模块用于在虚拟场景中构建物体的三维模型，通过实时状态数据驱动所述三维模型，实现制造系统数字孪生映射建模；

所述重构模块通过JSON文件配置制造系统布局，实时读取JSON文件实现制造系统的构型变化，实现重构制造系统的生产过程实时监控。

7.根据权利要求6所述的制造系统的数字孪生监控系统，其特征在于，所述数字孪生平台单向接收监控服务转发的数据，所述监控服务转发的数据用于驱动虚拟场景的三维模型，同时在虚拟场景中实时更新并展示数据。

8.根据权利要求6所述的制造系统的数字孪生监控系统，其特征在于，所述数字孪生平台利用三维可视化引擎生成与物理生产系统一致的三维模型并展示。

9.根据权利要求6所述的制造系统的数字孪生监控系统，其特征在于，所述三维模型包括静态数模和动态数模，所述静态数模对应于静态物体状态模型，所述动态数模对应于运动物体状态模型。

10.根据权利要求9所述的制造系统的数字孪生监控系统，其特征在于，所述数字孪生平台在三维可视化引擎中构建动态数模的驱动蓝图，基于所述驱动蓝图获取实时数据，使用所述实时数据驱动所述动态数模，实现实时映射。

Images