CN116414554A - 一种基于并行计算的车间数字孪生系统 - Google Patents

Abstract

本发明公开了基于并行计算的车间数字孪生系统。包括：针对物理车间生产要素，构建车间全要素多层次的孪生模型，得到数字孪生车间模型；构建数据采集系统采集物理车间的多源异构数据，针对多源异构数据进行预处理与标准化后存入数据库；以数字孪生车间模型作为客户端，搭建通信模块，配合服务器实现数字孪生车间客户端与数据库的交互，使数字孪生车间客户端与物理车间实现双向映射；基于三维孪生服务平台，完成智能车间数字孪生系统的构建，将孪生系统中大量的模型数据通过可编程渲染流水线的方式转移至GPU缓存区并行处理，解决了现有数字车间运行过程中CPU调用指令频繁、运算效率低的问题。

Description

一种基于并行计算的车间数字孪生系统

技术领域

本发明属于智能制造技术领域，涉及一种基于并行计算的车间数字孪生系统。

背景技术

随着云计算、物联网、大数据、移动互联、人工智能等新一代信息技术与制造的融合和落地应用，世界各国相继提出了各自国家层面的制造发展战略，发展智能制造新模式。在智能制造快速发展的背景下，数字孪生得到了迅猛的发展，数字孪生车间也成为智能制造的重要解决方式之一。

智能制造的核心问题是实现物理世界和信息世界的融合，数字孪生技术则是物理世界与信息世界融合的有效途径。作为由物理空间到数字孪生模型的映射，数字孪生车间模型的构建、虚实数据的融合与交互是实现数字孪生车间的重要基础。一方面，孪生模型的构建是重要的基础环节，选择合适的建模方法对于后续的研究十分关键。另一方面，由于车间内物理要素的状态时刻发生变化，为保证孪生模型与物理设备状态的一致性，物理车间与数字孪生车间必须深度融合，实现数据的实时双向交互。通过该种方式，孪生模型既能基于物理车间传递而来的数据信息进行实时变化与决策，以实控虚，也可通过数字孪生模型来模拟物理车间的状态和行为，反向控制相应的设备，即以虚控实。此外，加之以三维可视化交互设计，可为设备的实时监控、远程控制、故障预警、设备维护提供基础，增强用户交互感。

近年来，数字孪生的相关理论发展迅速。数字孪生车间的数据计算架构依赖于大量静态模型和具有动态属性的逻辑模型支持，计算机需要给予复杂度高的动态逻辑数据足够的CPU资源，以实现模型逻辑行为之间的高度耦合，传统的基于CPU运算的数字孪生车间，CPU需要同时处理大量的模型数据与逻辑数据，使得系统内存压力较大且CPU载荷过重。因此，有必要对数字孪生车间的模型渲染及计算方式进行研究，探究更为高效的车间数字孪生系统的实现方法，使其在智能制造及智能工厂领域得到更加广泛的应用。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种并行计算的车间数字孪生系统架构，解决了现有数字车间运行过程中CPU调用指令频繁、运算效率低的问题。

基于并行计算的车间数字孪生系统，包括：服务端和客户端；服务端连接底层产线车间的物理设备，采集底层数据、在服务端建立对应的车间数字孪生平台，用于模拟展示物理车间的静态和动态生产场景；客户端连接服务端加载车间数字孪生平台向用户提供展示，根据用户指令更新客户端数据以及下达加工任务至服务端从而控制底层产线车间的生产；

所述车间数字孪生平台包括：孪生体模块：根据实际物理车间区域位置布局孪生车间内的生产全要素多层次孪生模型；

多源数据模块：采集物理车间的多源异构数据，进行预处理与标准化后存入数据库，用于配合服务端的平台数据库与客户端的信息、指令交互；

模型计算模块：从数据库加载多源异构数据，结合生产全要素多层次孪生模型，在CPU与GPU之间建立缓存区进行孪生车间各类数据信息的实时解析和渲染计算，实现模型数据与动态逻辑行为之间精确耦合的产线任务动态渲染模型；

通信模块：完成对数字孪生车间数据链路的结构化展示，数据交换采用传输控制协议，经过服务端、客户端、IP地址和端口号内容进行信息通信机制的构建。

所述生产全要素多层次孪生模型包括：

物理信息采集模型，连接物理车间内的物理设备，采集运动属性或生产流程步骤；所述运动属性为生产设备的加工动作；

生产对象孪生模型，a.基于物理车间生产对象的图形、机构，生成对应几何外形和机械结构的映射几何模型；b.读取运动属性并关联几何模型；设置几何模型的功能属性；c.设置模型材质、刚体属性和环境渲染，实现生产对象孪生模型的构建；

行为模型，针对物理车间生产要素中的运动部件进行模块化的拆分与组装，以父子关系建立主从运动部件的约束关系；

规则模型，根据主从运动部件的约束关系定义孪生车间的设备关联规则、根据运动属性定义行为触发规则和车间演化规则；所述行为触发规则为用于驱动生产流程步骤中的各个生产对象孪生模型的动作，所述车间演化规则用于描述产线的生产流程步骤；所述生产流程步骤包括制造工序和生产工艺。

所述生成对应几何外形和机械结构的映射几何模型是通过手持三维扫描仪对物理车间的设备进行结构扫描，获取的几何模型尺寸属性；

所述生产对象包括产线上的运输设备、加工设备、待加工工件；所述加工设备包括机床、机械手；运输设备为AGV小车。

所述多源数据模块通过以下各单元采集多源异构数据：

人员数据单元，采集人员RFID标签信息、人员位置信息及人员工序操作信息；

设备数据单元，读取物理车间内物理设备的生产流程步骤状态、工作时长数据；

物料数据信息单元，连接物理车间内的物理设备，采集生产物料及加工工件模型，或扫描工件RFID标签块内的加工数据；

环境数据单元，连接物理车间内的传感器和加工设备，采集传感器数据、辅助加工设备数据。

所述预处理与标准化包括：对采集的数据进行数据格式解析、进制转换、数据清洗和转为键值格式。

所述数据库采用内存数据库与关系数据库相结合的方式。

所述实时解析和渲染计算包括：

读取多源异构数据的生产流程步骤，调用对应的行为触发规则、设备关联规则、车间演化规则，将生产对象孪生模型中的模型数据通过可编程渲染流水线的方式转移至GPU缓存区并行处理。

所述并行处理，包括：

CPU将数字孪生车间中的模型数据从磁盘加载到内存，再通过传输、存储转移至缓存区，其中模型数据包含各个生产对象模型的顶点信息和渲染状态；

GPU接收到CPU调用图形渲染指令后，对缓存区中的顶点数据和渲染状态进行读取，并分别经过几何阶段和光栅阶段，完成对模型的渲染。

所述通信模块，用于客户端与服务端进行异步数据交互，实现车间的全局动态展示、生产线生产逻辑的孪生映射和生产数据流的实时提取和展示。

所述数字孪生车间客户端与服务器进行异步数据交互，具体包括以下操作：

物理车间通过传感器网络等采集车间产线运行数据，中间件向物理车间数据流发送数据请求，数据由物理车间数据寄存器发送给中间件，保证跨系统数据的一致性与准确性；

使用TCP协议对数据进行预处理，设置数据传输格式，进行数据的融合和拼包，并将数据发送至数据库存储并同时发送给孪生车间使用，完成数据的传输与集成。

本申请能产生的有益效果包括：

1.通过车间全要素多层次的孪生模型的建模，实现车间生产要素数字孪生体物理空间与虚拟空间的准确映射；通过数据采集系统、数据库协同，以服务器为核心，共同实现数字孪生车间客户端与物理车间实现双向映射，进行虚实数据融合与交互，实现虚拟产线与物理产线的实时映射与远程控制。

2.本发明将孪生系统中大量的模型数据通过可编程渲染流水线的方式转移至GPU缓存区并行处理，避免CPU处理模型数据所产生的资源消耗，节省的CPU计算资源用于并行处理逻辑数据,提升数字孪生系统的架构效率。

3.本发明将CPU与GPU之间频繁进行的交互转化为GPU与常量缓存区之间的数据交流，避免了CPU的资源消耗，提升计算效率。

4.采用TCP协议进行通信，过程依赖于socket，保证了系统中数据的可靠传输。可以明显优化孪生系统在运行过程中由于运算数据量过大而导致的系统实时性低的问题。

5.采用手持三维扫描仪对物理车间的物理模型进行三维点云模型重建，减少人工模型搭建，降低成本。

附图说明

图1为本发明的总体框架图；

图2为本发明的并行处理过程架构图。

图3为本发明的通信模块架构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

实施例1

参见图1所示，一种智能车间数字孪生系统的构建方法，包含车间全要素多层次的孪生模型构建、多源数据模块、模型计算模块和通信模块四部分。车间全要素多层次孪生模型的构建为整个智能车间数字孪生系统的基础，车间全要素多层次的孪生模型构建后进行虚实数据的融合与交互，使所构建的车间全要素多层次的孪生模型与物理车间双向映射；最后加之以三维可视化系统的集成，使孪生模型达到更真实的效果，以此完成智能车间数字孪生系统的构建。

1.孪生模型构建

一般工业制造车间的车间环境、生产工艺比较复杂，车间内部零部件众多，生产流程繁杂，为了在虚拟环境中搭建数字孪生车间，需要对制造车间的物理信息精准建模，以实现孪生车间对物理车间的忠实映射，主要包括模型数据和逻辑数据两部分。

具体地，在本实施例中，模型数据构建主要分为以下3步：

①通过手持三维扫描仪人工构建车间的三维点云重建模型，获取stl 或ply点云文件，接着利用Control X软件进行孔洞剔除或填补、网格划分等操作，最后将点云文件全部导入3DMax，得到车间生产要素的几何模型。

②为了实现物理车间环境的高度还原，还需要利用Photoshop制作二维贴图，并为模型进行材质添加和烘焙。

③将所得几何模型以.fbx格式导入三维引擎Unity3d中，完成模型数据的构建。

逻辑数据主要包括车间动态生产线的生产工序、步骤和工艺等数据，逻辑数据构建主要分为以下2步：

①对设备的各个运动部件进行模块化的拆分与组装，以父子关系建立主从运动部件的约束关系，通过上述工作，建立一套设备的模型行为约束构建方法，通过对机器人、机床进行运动学分析，实现行为模型的构建，为后续数据驱动做准备。

②通过程序定义物理车间的设备关联规则、车间生产等操作触发规则和车间演化规则，从而体现合乎实际的生产流程和相关工艺。

2.多源数据模块：

数据模块主要分为数据采集、数据处理、数据调用、数据分析4部分。

①对物理车间的多源异构数据进行采集，构建数据采集系统。所述多源异构数据包含人员、设备、物料和环境四类信息。

人员数据信息包括：RFID标签信息、人员位置信息及关键操作信息，通过RFID二次开发接口可进行读取；

设备数据信息包括：参与生产加工过程的设备的CNC数据、PLC数据，通过数控系统开放的协议或接口读取内部数据；

物料数据信息包括：生产物料及加工工件模型、RFID标签信息、标签块内的加工数据；

环境数据信息包括：物理车间内的外界传感器数据、辅助设备数据，如机器人数据、AGV数据、温度传感器、切削力传感器等，通过厂商提供的二次开发接口或数据采集卡获取。

为保证数据传输的实时性和对数据的精确感知，采用多源数据获取技术，包括基于OPC的统一框架(OLE for process control unifiedarchitecture,OPC-UA)、Modbus协议等。

通过OPC UA通讯协议(OPC Unified Architecture，OPC统一架构)、二次开发接口等方式对车间内的机床、机器人、AGV、RFID等设备进行数据的采集，构建数据采集系统，同时将数据存入实时数据库与关系数据库中。构建服务器与消息中间件，以服务器为核心进行数字孪生客户端与数据库之间的数据传输。

②数据处理包含数据解析、数据进制转换、异常数据清洗、数据标准化等。

所述数据解析，主要解析数据包，最终获得所需的不同类型的数据值；

所述数据进制转换，表示对涉及二进制、十六进制的数据进行转换，以便后续的孪生数据展示；

所述数据清洗，表示对采集到的数据进行初步判断，处理由于外界因素导致的无效或缺失的异常数据。

所述数据标准化，将各指标值都处于同一个数量级别上，以便后续进行数据展示与分析，对结构化数据直接采用key-value键值方式存储，非结构化数据须先考虑改变逆指标数据性质，例如将NC程序中的片段指令转换为传统结构化数据进行存储，最后打包为Json数据格式进行传输。

③数据调用与更新，服务器为系统数据交互的核心。数字孪生车间客户端发送的实时数据与历史数据的数据请求(Ack)，服务器接收请求后查询数据结果库并返回数据，数字孪生车间客户端接收到数据后对模型进行 Update更新；对于数字孪生车间客户端下达的远程控制指令，服务器接收到用户指令后，连接底层物理车间中的设备，基于设备的二次开发接口或商业软件进行NC与PLC数据的写入(Write)，实现物理车间的设备的远程控制。

④数据分析，对采集到的历史加工数据进行读取，利用自编码器的方法提取信号特征，然后利用机器学习的相关算法对生产过程和设备运行的实时状态进行分析和预测，最终分析结果通过三维可视化的方式显示在数字孪生车间客户端。

3.模型计算模块

数字孪生车间的数据计算架构依赖于大量静态模型和具有动态属性的逻辑模型支持。

具体地，在本实例中，模型的动态渲染如图2所示，将实现动态生产线的所有逻辑数据由磁盘加载到内存，再传输至显卡存储。

编程渲染流水线程序分离至GPU进行，在GPU显存中创建常量缓存区，供GPU读写，CPU只需负责通知GPU与缓存区的数据交互。

当GPU接收到CPU调用图形渲染指令后，对缓存区中的顶点数据和渲染状态进行读取，通过相应的矩阵运算确定该渲染批次所渲染模型的大小、位置等。

最后基于模型数据，经过GPU固定渲染管线的几何阶段，利用缓存区中的数据进行顶点变换，经过光栅化阶段对片元进行着色、Alpha测试，设置不同属性，渲染出多个具有不同位置、朝向的模型，最终实现逻辑与模型数据的并行处理，完成数字孪生车间的搭建。

计算机需要给予复杂度高的动态逻辑数据足够的CPU资源，以实现模型逻辑行为之间的高度耦合，传统的基于CPU运算的数字孪生车间，CPU 需要同时处理大量的模型数据与逻辑数据，使得系统内存压力较大且CPU 载荷过重，分析发现CPU串行处理方式中CPU关于模型数据的渲染命令调用会使CPU资源大量消耗。

本发明将孪生系统中大量的模型数据通过可编程渲染流水线的方式转移至GPU缓存区并行处理，避免CPU处理模型数据所产生的资源消耗，节省的CPU计算资源用于并行处理逻辑数据。

4.通信模块

具体地，在本实施例中，如图3所示为基于TCP协议的通信功能的流程示意图，包括初始化、绑定、监听、调用、等待等流程，调用TcpList ener类用于套接字的创建和绑定，调用TcpListener类用于监听连接请求，使用TcpClient类的Connect方法建立与服务器的连接。

建立连接以后，调用Sockets类的Receive和Send方法来实现通信，客户端发送数据请求，服务器接收请求后查询数据结果库并返回数据，数字孪生车间客户端接收到数据后对模型进行Update更新，然后回应数据给客户端，客户端读取数据，最后关闭连接，一次完整的通信交互结束。

在孪生系统中，通过UGUI搭建车间的服务平台，可对车间进行全方位、多层次等三维展示，通过利用中间件发送过来的信息，实现对车间设备的监控服务，用户同时可以通过实时交互的方式对车间运行状态以及数据进行查看，提升管理运维效率。

因此，本发明提供了一套基于并行计算的车间数字孪生系统，具体包含孪生模型构建、多源数据模块、模型计算模块和通信模块。首先，综合运用多个软件，对车间全要素多层次的孪生模型进行构建，同时完成虚实数据的融合与交互，使所构建的车间全要素多层次的孪生模型与物理车间双向映射。其次，构建数据采集、数据处理、数据调用、数据分析4个数据模块，进行多源异构数据的采集、预处理与标准化、调用和分析。并通过数据的高速传输与交互实现虚拟产线与物理产线的实时映射与远程控制。接着，基于CPU和GPU并行计算模块对动态逻辑数据和模型数据进行处理和计算，使搭建的数字孪生系统架构在数据处理方面更加高效更加稳定。最后，采用TCP协议搭建通信模块，实现生产数据流的实时提取和展示，并通过数据的高速传输与交互实现虚拟产线与物理产线的实时映射与远程控制，保证搭建系统数据传输的可靠性和稳定性。

以上所述，仅是本申请的一个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.基于并行计算的车间数字孪生系统，其特征在于，包括：服务端和客户端；服务端连接底层产线车间的物理设备，采集底层数据、在服务端建立对应的车间数字孪生平台，用于模拟展示物理车间的静态和动态生产场景；客户端连接服务端加载车间数字孪生平台向用户提供展示，根据用户指令更新客户端数据以及下达加工任务至服务端从而控制底层产线车间的生产；

所述车间数字孪生平台包括：孪生体模块：根据实际物理车间区域位置布局孪生车间内的生产全要素多层次孪生模型；

多源数据模块：采集物理车间的多源异构数据，进行预处理与标准化后存入数据库，用于配合服务端的平台数据库与客户端的信息、指令交互；

模型计算模块：从数据库加载多源异构数据，结合生产全要素多层次孪生模型，在CPU与GPU之间建立缓存区进行孪生车间各类数据信息的实时解析和渲染计算，实现模型数据与动态逻辑行为之间精确耦合的产线任务动态渲染模型；

通信模块：完成对数字孪生车间数据链路的结构化展示，数据交换采用传输控制协议，经过服务端、客户端、IP地址和端口号内容进行信息通信机制的构建。

2.根据权利要求1所述的基于并行计算的车间数字孪生系统，其特征在于，所述生产全要素多层次孪生模型包括：

物理信息采集模型，连接物理车间内的物理设备，采集运动属性或生产流程步骤；所述运动属性为生产设备的加工动作；

生产对象孪生模型，a.基于物理车间生产对象的图形、机构，生成对应几何外形和机械结构的映射几何模型；b.读取运动属性并关联几何模型；设置几何模型的功能属性；c.设置模型材质、刚体属性和环境渲染，实现生产对象孪生模型的构建；

行为模型，针对物理车间生产要素中的运动部件进行模块化的拆分与组装，以父子关系建立主从运动部件的约束关系；

规则模型，根据主从运动部件的约束关系定义孪生车间的设备关联规则、根据运动属性定义行为触发规则和车间演化规则；所述行为触发规则为用于驱动生产流程步骤中的各个生产对象孪生模型的动作，所述车间演化规则用于描述产线的生产流程步骤；所述生产流程步骤包括制造工序和生产工艺。

3.根据权利要求2所述的基于并行计算的车间数字孪生系统，其特征在于，

所述生成对应几何外形和机械结构的映射几何模型是通过手持三维扫描仪对物理车间的设备进行结构扫描，获取的几何模型尺寸属性；

所述生产对象包括产线上的运输设备、加工设备、待加工工件；所述加工设备包括机床、机械手；运输设备为AGV小车。

4.根据权利要求1所述的基于并行计算的车间数字孪生系统，其特征在于，所述多源数据模块通过以下各单元采集多源异构数据：

人员数据单元，采集人员RFID标签信息、人员位置信息及人员工序操作信息；

设备数据单元，读取物理车间内物理设备的生产流程步骤状态、工作时长数据；

物料数据信息单元，连接物理车间内的物理设备，采集生产物料及加工工件模型，或扫描工件RFID标签块内的加工数据；

环境数据单元，连接物理车间内的传感器和加工设备，采集传感器数据、辅助加工设备数据。

5.根据权利要求1所述的基于并行计算的车间数字孪生系统，其特征在于，所述预处理与标准化包括：对采集的数据进行数据格式解析、进制转换、数据清洗和转为键值格式。

6.根据权利要求4所述的基于并行计算的车间数字孪生系统，其特征在于，所述数据库采用内存数据库与关系数据库相结合的方式。

7.根据权利要求1所述的基于并行计算的车间数字孪生系统，其特征在于，所述实时解析和渲染计算包括：

读取多源异构数据的生产流程步骤，调用对应的行为触发规则、设备关联规则、车间演化规则，将生产对象孪生模型中的模型数据通过可编程渲染流水线的方式转移至GPU缓存区并行处理。

8.根据权利要求7所述的基于并行计算的车间数字孪生系统，所述并行处理，包括：

CPU将数字孪生车间中的模型数据从磁盘加载到内存，再通过传输、存储转移至缓存区，其中模型数据包含各个生产对象模型的顶点信息和渲染状态；

GPU接收到CPU调用图形渲染指令后，对缓存区中的顶点数据和渲染状态进行读取，并分别经过几何阶段和光栅阶段，完成对模型的渲染。

9.根据权利要求1所述的基于并行计算的车间数字孪生系统，其特征在于，所述通信模块，用于客户端与服务端进行异步数据交互，实现车间的全局动态展示、生产线生产逻辑的孪生映射和生产数据流的实时提取和展示。

10.根据权利要求9所述的基于并行计算的车间数字孪生系统，数字孪生车间客户端与服务器进行异步数据交互，具体包括以下操作：

物理车间通过传感器网络等采集车间产线运行数据，中间件向物理车间数据流发送数据请求，数据由物理车间数据寄存器发送给中间件，保证跨系统数据的一致性与准确性；

使用TCP协议对数据进行预处理，设置数据传输格式，进行数据的融合和拼包，并将数据发送至数据库存储并同时发送给孪生车间使用，完成数据的传输与集成。

Images