CN116859850A - 一种模块化的工业数字孪生系统 - Google Patents
一种模块化的工业数字孪生系统 Download PDFInfo
- Publication number
- CN116859850A CN116859850A CN202310867782.8A CN202310867782A CN116859850A CN 116859850 A CN116859850 A CN 116859850A CN 202310867782 A CN202310867782 A CN 202310867782A CN 116859850 A CN116859850 A CN 116859850A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- layer
- virtual
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010410 layer Substances 0.000 claims abstract description 142
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 77
- 230000003993 interaction Effects 0.000 claims abstract description 70
- 230000006870 function Effects 0.000 claims abstract description 60
- 239000002346 layers by function Substances 0.000 claims abstract description 25
- 238000010276 construction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 74
- 238000004088 simulation Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 42
- 238000004519 manufacturing process Methods 0.000 claims description 40
- 238000007726 management method Methods 0.000 claims description 37
- 230000002452 interceptive effect Effects 0.000 claims description 36
- 238000012423 maintenance Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 238000011217 control strategy Methods 0.000 claims description 21
- 238000013523 data management Methods 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 9
- 238000013079 data visualisation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000007792 addition Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000010485 coping Effects 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 210000001503 joint Anatomy 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000013439 planning Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种模块化的工业数字孪生系统,包括物理层、连接层、算法层、功能层和应用层;物理层包含工业场景中的各类物理实体,可通过对信号、数据的读取和写入,获取物理实体的运行状态信息并控制其驱动运作;连接层作为中间层,将物理层、算法层、功能层和应用层相互连接,通过各类协议与接口实现各层间的交互;算法层封装底层代码和实现算法,为其他各层实现提供算法基础,编程人员可通过编写算法不断拓展系统功能;功能层是算法层的上层应用,用于加快与规范工业数字孪生场景的构建流程;应用层是其他各层的用途实现,提供工业数字孪生系统的具体应用。本发明将工业数字孪生的构建流程模块化与标准化,提高系统的灵活性、便捷性和通用性。
Description
技术领域
本发明涉及智能制造领域,具体涉及一种模块化的工业数字孪生系统。
背景技术
伴随着新一代信息技术的快速发展与应用,数字孪生技术逐渐成为智能制造发展的新趋势,在产品设计、制造、物流、服务和管理等方面被广泛应用,并取得了不错的成效。基于数字孪生技术,可以有效地帮助制造业企业向数字化、智能化方向发展,促进产业升级与革新,减少生产设计与规划的成本,并加强对生产制造的监测、管理、维护和预测等。
随着产品个性化、多样化的需求不断增加,制造商经常面临交货时间紧迫、换线需求频繁等情况。在这种情况下,将数字孪生技术应用于生产制造无疑是一个明智的选择,数字孪生能够帮助制造商做出更加准确的预测、合理的决策和明智的计划。然而,在生产线处于设计与规划阶段时,如何快速、高效地构建出保真度高的数字化虚拟生产线;在虚拟生产线构建后,如何便捷地实现虚拟生产线与物理生产线之间的交互联动;当加工工艺改变时,如何实现虚实生产线的快速换线、减少产线重构的时间与人力成本。这些挑战导致了一种新的制造趋势,即朝着更加混合和灵活的生产系统发展。
值得注意的是,数字孪生的发展仍处于初始阶段,有关数字孪生的通用设计开发平台和工具还没有实现。目前与工业数字孪生相关的软件或平台大多从开发者的角度进行设计,对于非技术人员并不友好。此外,数字孪生场景的构建流程较为复杂,即使构建一个简单的数字孪生实例也往往需要花费较多的时间和精力。因此,需要将工业数字孪生的构建流程模块化与标准化,从而提高系统的灵活性、便捷性和通用性。
发明内容
本发明克服现有技术的上述问题,提出一种模块化的工业数字孪生系统。
本发明的一种模块化的工业数字孪生系统,可表示为Sys={LP,LC,LAlg,LF,LApp},其中LP表示物理层;LC表示连接层;LAlg表示算法层;LF表示功能层;LApp表示应用层。连接层作为中间层,将物理层、算法层、功能层和应用层相互连接;物理层通过工业协议连接到连接层,实现物理设备数据的传输和交互;算法层通过网络接口和函数调用的方式连接到连接层,为其他各层提供算法支持,能够接收外部数据进行计算并将算法结果输出;功能层通过协议与接口连接到连接层,能够获取外部的算法和指令来实现各项功能,同时将产生的数据和信息经由连接层传输给其他各层;应用层通过网络连接到连接层,与各层建立链接关系,能够获取各层数据用于不同的应用功能,同时可下达指令来操作各层的模块以实现不同应用的调整与切换。
所述物理层主要指代物理工业场景,包括机器人、机器设备、输送带和控制器等物理实体。物理实体具备与外部通讯的接口,可通过交换机对物理实体进行信号、数据的读取和写入,从而获取其运行状态信息,控制其驱动运作。
所述连接层承担工业数字孪生系统中各部分间的连接,包括物理到虚拟的连接、虚拟到物理的连接、虚拟间的连接、物理间的连接以及虚拟、物理与人之间的连接。各部分的连接主要通过各类协议、接口和数据实现。该连接层可表示为LC={DM,IE},式中DM表示数据管理模块,IE表示交互执行模块。其中,交互执行模块以指令的形式向数据管理模块发送数据操作的命令,数据管理模块接收交互执行模块的指令来对连接过程中的各类数据进行管理和操作,同时将已有的数据传输给交互执行模块,物理工业场景和虚拟工业场景通过数据管理模块和交互执行模块间的指令交互和数据通讯来实现虚实交互;
数据管理模块,主要用来管理连接过程中的各类数据,可表示为DM={DC,DSav,DP,DA,DV,DD,DR,DSha},式中DC表示数据采集单元,DSav表示数据存储单元,DP表示数据处理单元,DA表示数据分析单元,DV表示数据可视化单元,DD表示数据检测单元,DR表示数据复现单元,DSha表示数据分享单元。数据采集单元采集虚实工业场景中的数据,采集到的数据经由数据存储单元进行存储,接着数据检测单元对存储的数据进行检测以判断是否符合要求,经过检测的数据被传输至数据处理单元、数据分析单元、数据可视化单元、数据复现单元和数据分享单元;
数据采集单元,在连接和交互过程中,该数据采集单元通过传感器、数据采集卡、数据采集软件等工具采集物理实体、虚拟模型和服务的相关数据。其中,物理实体相关数据,包括物理属性数据(功能、性能、温度、电压、电流等)和动态过程数据等;虚拟模型相关数据,包括几何模型数据(几何尺寸、装配关系、位姿等)、物理模型数据(材料属性、载荷等)、行为模型数据(驱动信号、运行机制等)、规则模型数据(约束、限制范围等)和仿真运行数据;服务相关数据,包括生产管理数据、历史产量数据、设备数量等;
数据存储单元,接收存储指令后,该数据存储单元将采集的数据存储归档,以数据块的形式存储到硬盘、数据库或云服务器中。被存储的数据会分配唯一的ID和相关描述信息,描述信息中包括存储时间、操作人员、存储方式、存储地点和操作权限等,只有满足操作权限的人员才能对此数据进行操作;
数据检测单元,通过接收检测指令,该数据检测单元按照要求对存储数据的格式进行检测,包括数据名称是否为空、地址是否为空、名称是否相同、地址是否相同、地址是否超出限制范围。对于不符合要求的数据,可进行再次编辑或直接删除;
数据处理单元,接收处理指令,该数据处理单元能够对数据块进行增删改查;
数据分析单元,接收分析指令,通过统计分析方法、云计算等方式,该数据分析单元对已有的大量数据进行汇总、理解和消化,剔除无用数据、保留有效数据,找出数据中的内在规律以帮助人们做出判断,从而最大化地开发数据的效用;
数据可视化单元,与功能层配合使用,该数据可视化单元可通过终端设备、数字大屏、Web浏览器等途径将相关数据可视化,以直观、简明的界面向人们呈现数据的信息与变化;
数据复现单元,通过接收复现指令,该数据复现单元将已存储的历史数据追溯,并重新传输至数字孪生场景中,从而复现过去某一时间段的生产运行情况。通过此复现功能,能够快速查找生产故障原因,进而采取维护措施;
数据分享单元,通过接收分享指令,该数据分享单元可将数据打包并分享至其他平台,或从其他平台导入数据。数据打包的形式包括JSON、XML、CSV等常用格式,方便不同平台分享数据;
交互执行模块,在系统各部分建立连接的基础上,该交互执行模块通过接口与协议实现人、终端设备、工业软件、数据库、物理设备和云服务器之间的通讯,物理设备通过工业以太网将运行数据输出并接收控制信号,工业软件通过TCP/IP的方式来接收指令将控制程序下载到控制器中并将控制器中的计算数据和控制信号输出,云服务器通过网络接收并存储工业场景中所有采集到的数据,外部也通过网络发送请求来获取云服务器中的数据,数据库通过TCP/IP的方式将接收的数据保存在硬盘中并能够快速输出数据给同台设备中的软件或云服务器,终端设备通过网络接收物理设备和虚拟模型的运行数据将虚实工业场景的加工情况呈现,人通过查看终端设备的图形界面直观获取工业场景运行情况并通过键盘、触摸、点击等方式下达操作指令,操作指令经由终端设备传输到虚实工业场景中以实现生产的调整,虚拟模型实时接收物理设备的运行数据来驱动其仿真行为,再将仿真运行数据反馈至物理控制器中,从而实现虚实工业场景的交互联动。通过Wi-Fi和数据网络,并结合分布式任务调度、分布式软总线等方式,实现电脑、手机、智慧屏等多设备协同处理。利用5G技术实现低延时通讯,提高虚实工业场景间交互的响应速率,追求高度一致的虚实联动。此外,利用Web技术实现Linux和Windows系统之间的跨平台交互,在服务器上搭建Web服务,使用标准的Web协议(如HTTP)提供API接口,然后在应用程序中使用HTTP请求和响应进行交互,并通过RESTful API或WebSocket实现实时交互。
所述算法层封装底层代码和实现算法,为其他各层实现提供算法基础,编程人员可通过编写算法不断拓展系统功能。该算法层包括数据采集与感知算法、多模态数据融合算法、数据分析与优化算法、分布式计算与边缘计算算法、实时建模与仿真算法、自适应学习与演化算法、反馈与控制算法和增强现实与虚拟现实算法等,算法以函数、类、库的形式实现,通过函数调用、类调用、API调用、命令行调用和库调用的方式来使用算法。
所述功能层包含工业数字孪生场景构建过程中所需的各类功能,是算法层的上层应用。该功能层可表示为LF={MC,MO,CI,CL,VAI},式中MC表示孪生模型构建模块,MO表示模型运行模块,CI表示连接与交互模块,CL表示控制逻辑模块,VAI表示可视化辅助与交互模块,五个模块负责不同的功能并最终构建出工业数字孪生场景;
孪生模型构建模块,规范孪生模型的构建流程,实现快速构建孪生模型。孪生模型是物理实体的忠实复制品,应当包括物理几何形状,属性,行为和规则。将三维模型作为一种可视化载体,可以通过附加各类组件(如控制算法、接口、物理引擎、运动学、动力学等)使其具备与物理实体相同的功能和特性,最后将模型封装成为一个具备独立功能的、能够接收外部信号并根据自身状态向外输出信号的可重用模块,即实现模型的复用。为了实现对孪生模型的管理和复用,设计与开发模型库,对模型进行明确分类,并提供快速添加模型至场景的功能;
模型运行模块,在虚拟空间中实现模型的仿真驱动即模拟物理实体在真实环境下的行为,该模型运行模块只负责实现模型个体的独立运动。根据模型驱动的状态,可将模型驱动行为分为主动驱动行为和被动驱动行为,针对驱动行为开发驱动模型运动的程序块,程序块可以以脚本、函数、插件等形式呈现。每一个程序块是一个独立的模块,承担某一项具体的驱动功能,并具备与外部交互的接口。通过组合使用不同的程序块,能够实现更加丰富的驱动功能,如电机模拟驱动、速度控制驱动、开关信号控制驱动和目标序列驱动等。此外,在虚拟的生产制造过程中,往往需要对一种或多种工件进行频繁创建或销毁,造成一定的系统性能消耗。特别是当模型数量较多、通讯数据量大时,系统性能的优化对于模型运行的流畅、准确便更加重要。因此,引入对象池来处理需要频繁创建或销毁的模型,以一种预先创建、及时回收的方式来替代即时创建、即时销毁的方式。为了加强对程序块的管理,将程序块参数化并封装成可重复使用的模块,根据功能进行分类与整理,最终形成程序库;
连接与交互模块,通过工业以太网来实现数字孪生场景与物理实体、控制器、工业软件、数据库等部分之间的互联互通,是连接层的上层封装之一。协议与接口是实现连接与交互的主要途径,然而协议与接口的种类繁多,需要对其进行统一管理。将各类协议与接口封装成接口组件,用户使用时只需输入IP地址等参数和确定需要传输的数据,然后将接口组件分类整理形成接口库。在连接和交互过程中,往往伴随着大量接口数据的读取与写入,因此也需要对接口数据进行管理。为了方便直观获取数据交互的状态,应当将数据信息可视化,如数据名称、数据类型、输入输出方向、数值等;不同接口协议对数据格式的要求不同,需要对数据格式进行检测,不满足要求的数据应当被标记以提醒修正;当数据量较大时,单个数据添加过于费时和不便,所以需要具备能够批量操作数据的功能;
控制逻辑模块,实现整个数字孪生场景运行的控制逻辑,将场景中所有模型的运动联合起来形成一个整体。考虑到面向用户的需求,该控制逻辑模块采用文本编程和可视化编程相结合的方式来实现控制逻辑的编写。文本编程包括C++、C#、Java和Python等主流编程语言;可视化编程利用基于节点的可视化编程语言,通过图形化拖拽操作构建控制逻辑,无需从头开始编写代码,使得非编程人员、程序员均能够以低代码开发的方式实现对模型的驱动、仿真和控制。为了进一步规范控制逻辑编写,提供逻辑编写模板,降低编程难度;
可视化辅助与交互模块,负责数字孪生系统与人之间的交互,是连接层的上层封装之一。该可视化辅助与交互模块涉及的范围十分广泛,有关人机交互的部分均归属于此,常见的有辅助调试工具、虚拟场景监控、大屏数显、终端操作和VR/AR沉浸式交互等,能够帮助用户简化操作复杂度,加强人机交互。
所述应用层涵盖该工业数字孪生系统的具体应用,是其他各层的用途实现。该应用层可表示为LApp={ST,FC,FM,SM,SimT},式中ST表示策略训练与部署模块,FC表示反馈控制模块,FM表示故障维护模块,SM表示服务管理模块,SimT表示仿真培训模块。策略训练与部署模块实现对控制策略的训练,训练好的策略将被部署至反馈控制模块的控制器中;反馈控制模块以闭环反馈方式实现更加精确和稳定的控制,该模块被内置到服务管理模块中;故障维护模块用于预测、定位、复现和维修系统中的故障部分,该模块也被内置到服务管理模块中;服务管理模块提供各类数字孪生相关的服务应用,与策略训练与部署模块、反馈控制模块和故障维护模块密切相关;仿真培训模块独立于其他模块,主要面向用户实现工业作业的培训;
策略训练与部署模块,负责对系统中的控制策略进行训练与部署。模拟到仿真(Sim2Real)是指将模拟环境中的算法或策略成功应用到真实环境的过程。该策略训练与部署模块将数字孪生和Sim2Real相结合,利用数字孪生系统的仿真场景来训练策略,通过调整虚拟场景中的参数(光照强度、雾、摩擦系数等)使模拟的实验场景高度拟合真实环境;接着利用深度强化学习对控制策略进行训练,策略完成训练后在中央数据库进行迭代更新,以此往复,直至控制策略最终收敛;之后将收敛的策略放入实际工作环境以检验训练的成果;若未达到预期要求,则从实际工作环境中采集有效样本数据并传入工业数字孪生系统中进行数据拟合,通过调整虚拟场景的参数对策略进行二次训练,即对之前的策略进行修正和优化;再次收敛的策略将被继续应用于物理工业系统进行测试和检验,不断地重复从仿真到实际再到仿真这一过程,直至检验效果达到预期要求,此时的策略具备较好的自适应性,可满足不同工况和任务要求;最终达到要求的策略被快速部署至反馈控制模块中,从而节省在实际系统中进行训练和测试的成本和时间;
反馈控制模块,采用闭环反馈的方式,利用工业数字孪生系统来提升对物理工业系统控制的精确性和稳定性。在工业场景运作过程中,收敛的控制策略被部署实施于该反馈控制模块的控制器中,实际控制器控制物理设备的驱动和运作;采集的运行数据被反馈至实际控制器中,同时也被传输至数字孪生系统中的虚拟控制器中;虚拟控制器以相同的控制策略控制虚拟装备模型进行同步的驱动和运作,并将演练所得的仿真数据与运行数据的偏差反馈至辅助控制器中;最终通过结合实际运行数据和仿真数据实现对工业设备更加精确、稳定的控制;
故障维护模块,负责对系统中故障部分进行处理和维护。该故障维护模块共包括四个步骤,分别为故障预测维护和及时报警、故障点精确定位、故障状况追溯复现和故障快速维修。首先,在故障预测维护和及时报警步骤中,数字孪生系统会根据仿真状况实时预测和判断是否有故障产生,当预测到有故障产生或故障已经产生,则及时向系统发送报警信号;其次,在故障点精确定位步骤中,接收到报警信号后,会立即根据仿真数据精确定位到故障点;再次,在故障状况追溯复现步骤中,以仿真回放的形式对故障点的历史运行状况进行追溯和复现,帮助人们了解故障发生原因;最后,在故障快速维修步骤中,简单和典型的故障经系统分析后自动进行快速维修,复杂故障由用户进行处理和维修;
服务管理模块,提供各类数字孪生相关的服务应用。该服务管理模块涉及虚实交互、生产管理、任务调度、人机因素、信息可视化各方面,主要包括仿真验证、虚拟调试、虚实同步、方案验证与优化、产量预测、生产实时监测、生产计划管理、物流信息掌控、人机工程优化和运营信息呈现等应用;
仿真培训模块,负责对用户进行虚拟仿真培训,帮助用户了解和熟悉工业作业的操作流程和使用方法。该仿真培训模块基于数字孪生系统的虚拟场景,为人们提供逼真的三维化作业指导,包括VR三维化作业指导、AR培训和指导、模拟器培训三类培训方式。VR三维化作业指导方式中,利用虚拟现实技术构建与实际作业环境高度一致的虚拟作业场景,通过佩戴VR设备在完全虚拟的空间下学习作业的操作流程和使用方法;AR培训和指导方式中,利用增强现实技术将虚拟元素叠加到真实环境中,使用户能够与虚拟对象进行互动,通过AR眼镜看到设备的工作原理和操作指导;在模拟器培训方式中,工业模拟器用于培训工业设备的操作和维护,通过模拟器去学习控制设备、应对故障和危险情况的技能,以此减少操作错误和事故风险,并提高工作效率和安全意识。
与现有技术相比,本发明的有益效果是:采用了模块化的方式设计工业数字孪生系统,整个系统被划分为物理层、连接层、算法层、功能层和应用层五个层级。系统将连接层划分为数据管理模块和交互执行模块,数据管理模块中提供全面的功能以实现对数据的管理和操作,交互执行模块提供丰富的指令和操作功能来便捷实现虚实工业场景的交互联动。系统将功能层划分为孪生模型构建、模型运行、连接与交互、控制逻辑和可视化辅助与交互五个功能模块,以此加快与规范工业数字孪生场景的构建流程。其中,模型、驱动程序、接口组件均被封装成标准的独立模块,支持复用;结合可视化编程实现低代码开发,降低编程难度,可面向非技术人员;提供逻辑编程模板,减少开发成本,加快构建效率;通过各类可视化工具简化操作复杂度,加强人机交互。系统将应用层划分为策略训练与部署模块、反馈控制模块、故障维护模块、服务管理模块和仿真培训模块,基于数字孪生加快策略训练与部署实施流程,提高控制精度与性能,高效预测、定位、复现和维修系统故障,并提供完善的服务应用和虚拟仿真培训。最终,通过各个层级、模块及单元的相互联系与作用,将工业数字孪生的构建流程模块化与标准化,进而提高系统的灵活性、便捷性和通用性。
附图说明
图1是本发明的系统总体架构图。
图2是本发明的连接层的模块化结构图。
图3是本发明的功能层的模块化结构图。
图4是本发明的应用层的模块化结构图。
具体实施方式
以下结合附图对本发明实例做进一步详述:
如图1所示,一种模块化的工业数字孪生系统,包括物理层、连接层、算法层、功能层和应用层。连接层作为中间层,将物理层、算法层、功能层和应用层相互连接;物理层通过工业协议连接到连接层,实现物理设备数据的传输和交互;算法层通过网络接口和函数调用的方式连接到连接层,为其他各层提供算法支持,能够接收外部数据进行计算并将算法结果输出;功能层通过协议与接口连接到连接层,能够获取外部的算法和指令来实现各项功能,同时将产生的数据和信息经由连接层传输给其他各层;应用层通过网络连接到连接层,与各层建立链接关系,能够获取各层数据用于不同的应用功能,同时可下达指令来操作各层的模块以实现不同应用的调整与切换。
物理层主要指代物理工业场景,包括机器人、机器设备、输送带和控制器等物理实体。物理实体具备与外部通讯的接口,可通过交换机对物理实体进行信号、数据的读取和写入,从而获取其运行状态信息,控制其驱动运作。连接层承担工业数字孪生系统中各部分间的连接,包括物理到虚拟的连接、虚拟到物理的连接、虚拟间的连接、物理间的连接以及虚拟、物理与人之间的连接,各部分的连接主要通过各类协议、接口和数据实现,包括数据管理模块和交互执行模块。算法层封装底层代码和实现算法,为其他各层实现提供算法基础,编程人员可通过编写算法不断拓展系统功能,包括数据采集与感知算法、多模态数据融合算法、数据分析与优化算法、分布式计算与边缘计算算法、实时建模与仿真算法、自适应学习与演化算法、反馈与控制算法和增强现实与虚拟现实算法等,算法以函数、类、库的形式实现,通过函数调用、类调用、API调用、命令行调用和库调用的方式来使用算法。功能层包含工业数字孪生场景构建过程中所需的各类功能,是算法层的上层应用,被划分为孪生模型构建、模型运行、连接与交互、控制逻辑和可视化辅助与交互五个功能模块,基于各个模块能够快速构建工业数字孪生场景。应用层是其他各层的用途实现,包括策略训练与部署模块、反馈控制模块、故障维护模块、服务管理模块和仿真培训模块,提供工业数字孪生系统的具体应用。
连接层的模块化结构图如图2所示,包括数据管理模块和交互执行模块,实现物理和虚拟工业场景的虚实交互。其中,交互执行模块以指令的形式向数据管理模块发送数据操作的命令,数据管理模块接收交互执行模块的指令来对连接过程中的各类数据进行管理和操作,同时将已有的数据传输给交互执行模块,物理工业场景和虚拟工业场景通过数据管理模块和交互执行模块间的指令交互和数据通讯来实现虚实交互;
数据管理模块,主要用来管理连接过程中的各类数据,包括数据采集单元、数据存储单元、数据检测单元、数据处理单元、数据分析单元、数据可视化单元、数据复现单元和数据分享单元。数据采集单元采集虚实工业场景中的数据,采集到的数据经由数据存储单元进行存储,接着数据检测单元对存储的数据进行检测以判断是否符合要求,经过检测的数据被传输至数据处理单元、数据分析单元、数据可视化单元、数据复现单元和数据分享单元;
数据采集单元,在连接和交互过程中,该数据采集单元通过传感器、数据采集卡、数据采集软件等工具采集物理实体、虚拟模型和服务的相关数据。其中,物理实体相关数据,包括物理属性数据(功能、性能、温度、电压、电流等)和动态过程数据等;虚拟模型相关数据,包括几何模型数据(几何尺寸、装配关系、位姿等)、物理模型数据(材料属性、载荷等)、行为模型数据(驱动信号、运行机制等)、规则模型数据(约束、限制范围等)和仿真运行数据;服务相关数据,包括生产管理数据、历史产量数据、设备数量等;
数据存储单元,接收存储指令后,该数据存储单元将采集的数据存储归档,以数据块的形式存储到硬盘、数据库或云服务器中。被存储的数据会分配唯一的ID和相关描述信息,描述信息中包括存储时间、操作人员、存储方式、存储地点和操作权限等,只有满足操作权限的人员才能对此数据进行操作;
数据检测单元,通过接收检测指令,该数据检测单元按照要求对存储数据的格式进行检测,包括数据名称是否为空、地址是否为空、名称是否相同、地址是否相同、地址是否超出限制范围。对于不符合要求的数据,可进行再次编辑或直接删除;
数据处理单元,接收处理指令,该数据处理单元能够对数据块进行增删改查;
数据分析单元,接收分析指令,通过统计分析方法、云计算等方式,该数据分析单元对已有的大量数据进行汇总、理解和消化,剔除无用数据、保留有效数据,找出数据中的内在规律以帮助人们做出判断,从而最大化地开发数据的效用;
数据可视化单元,与功能层配合使用,该数据可视化单元可通过终端设备、数字大屏、Web浏览器等途径将相关数据可视化,以直观、简明的界面向人们呈现数据的信息与变化;
数据复现单元,通过接收复现指令,该数据复现单元将已存储的历史数据追溯,并重新传输至数字孪生场景中,从而复现过去某一时间段的生产运行情况。通过此复现功能,能够快速查找生产故障原因,进而采取维护措施;
数据分享单元,通过接收分享指令,该数据分享单元可将数据打包并分享至其他平台,或从其他平台导入数据。数据打包的形式包括JSON、XML、CSV等常用格式,方便不同平台分享数据;
交互执行模块,在系统各部分建立连接的基础上,该交互执行模块通过接口与协议实现人、终端设备、工业软件、数据库、物理设备和云服务器之间的通讯,物理设备通过工业以太网将运行数据输出并接收控制信号,工业软件通过TCP/IP的方式来接收指令将控制程序下载到控制器中并将控制器中的计算数据和控制信号输出,云服务器通过网络接收并存储工业场景中所有采集到的数据,外部也通过网络发送请求来获取云服务器中的数据,数据库通过TCP/IP的方式将接收的数据保存在硬盘中并能够快速输出数据给同台设备中的软件或云服务器,终端设备通过网络接收物理设备和虚拟模型的运行数据将虚实工业场景的加工情况呈现,人通过查看终端设备的图形界面直观获取工业场景运行情况并通过键盘、触摸、点击等方式下达操作指令,操作指令经由终端设备传输到虚实工业场景中以实现生产的调整,虚拟模型实时接收物理设备的运行数据来驱动其仿真行为,再将仿真运行数据反馈至物理控制器中,从而实现虚实工业场景的交互联动。通过Wi-Fi和数据网络,并结合分布式任务调度、分布式软总线等方式,实现电脑、手机、智慧屏等多设备协同处理。利用5G技术实现低延时通讯,提高虚实工业场景间交互的响应速率,追求高度一致的虚实联动。此外,利用Web技术实现Linux和Windows系统之间的跨平台交互,在服务器上搭建Web服务,使用标准的Web协议(如HTTP)提供API接口,然后在应用程序中使用HTTP请求和响应进行交互,并通过RESTful API或WebSocket实现实时交互。
功能层的模块化结构图如图3所示,包括了孪生模型构建、模型运行、连接与交互、控制逻辑和可视化辅助与交互五个功能模块,各个模块负责不同的功能并最终构建出工业数字孪生场景;
孪生模型构建模块,规范孪生模型的构建流程,实现快速构建孪生模型。孪生模型是物理实体的忠实复制品,应当包括物理几何形状,属性,行为和规则。将三维模型作为一种可视化载体,可以通过附加各类组件(如控制算法、接口、物理引擎、运动学、动力学等)使其具备与物理实体相同的功能和特性,最后将模型封装成为一个具备独立功能的、能够接收外部信号并根据自身状态向外输出信号的可重用模块,即实现模型的复用。为了实现对孪生模型的管理和复用,设计与开发模型库,对模型进行明确分类,并提供快速添加模型至场景的功能;
模型运行模块,在虚拟空间中实现模型的仿真驱动即模拟物理实体在真实环境下的行为,该模型运行模块只负责实现模型个体的独立运动。根据模型驱动的状态,可将模型驱动行为分为主动驱动行为和被动驱动行为,针对驱动行为开发驱动模型运动的程序块,程序块可以以脚本、函数、插件等形式呈现。每一个程序块是一个独立的模块,承担某一项具体的驱动功能,并具备与外部交互的接口。通过组合使用不同的程序块,能够实现更加丰富的驱动功能,如电机模拟驱动、速度控制驱动、开关信号控制驱动和目标序列驱动等。此外,在虚拟的生产制造过程中,往往需要对一种或多种工件进行频繁创建或销毁,造成一定的系统性能消耗。特别是当模型数量较多、通讯数据量大时,系统性能的优化对于模型运行的流畅、准确便更加重要。因此,引入对象池来处理需要频繁创建或销毁的模型,以一种预先创建、及时回收的方式来替代即时创建、即时销毁的方式。为了加强对程序块的管理,将程序块参数化并封装成可重复使用的模块,根据功能进行分类与整理,最终形成程序库;
连接与交互模块,通过工业以太网来实现数字孪生场景与物理实体、控制器、工业软件、数据库等部分之间的互联互通,是连接层的上层封装之一。协议与接口是实现连接与交互的主要途径,然而协议与接口的种类繁多,需要对其进行统一管理。将各类协议与接口封装成接口组件,用户使用时只需输入IP地址等参数和确定需要传输的数据,然后将接口组件分类整理形成接口库。在连接和交互过程中,往往伴随着大量接口数据的读取与写入,因此也需要对接口数据进行管理。为了方便直观获取数据交互的状态,应当将数据信息可视化,如数据名称、数据类型、输入输出方向、数值等;不同接口协议对数据格式的要求不同,需要对数据格式进行检测,不满足要求的数据应当被标记以提醒修正;当数据量较大时,单个数据添加过于费时和不便,所以需要具备能够批量操作数据的功能;
控制逻辑模块,实现整个数字孪生场景运行的控制逻辑,将场景中所有模型的运动联合起来形成一个整体。考虑到面向用户的需求,该控制逻辑模块采用文本编程和可视化编程相结合的方式来实现控制逻辑的编写。文本编程包括C++、C#、Java和Python等主流编程语言;可视化编程利用基于节点的可视化编程语言,通过图形化拖拽操作构建控制逻辑,无需从头开始编写代码,使得非编程人员、程序员均能够以低代码开发的方式实现对模型的驱动、仿真和控制。为了进一步规范控制逻辑编写,提供逻辑编写模板,降低编程难度;
可视化辅助与交互模块,负责数字孪生系统与人之间的交互,是连接层的上层封装之一。该可视化辅助与交互模块涉及的范围十分广泛,有关人机交互的部分均归属于此,常见的有辅助调试工具、虚拟场景监控、大屏数显、终端操作和VR/AR沉浸式交互等,能够帮助用户简化操作复杂度,加强人机交互。
应用层的模块化结构图如图4所示,包括策略训练与部署模块、反馈控制模块、故障维护模块、服务管理模块和仿真培训模块。策略训练与部署模块实现对控制策略的训练,训练好的策略将被部署至反馈控制模块的控制器中;反馈控制模块以闭环反馈方式实现更加精确和稳定的控制,该模块被内置到服务管理模块中;故障维护模块用于预测、定位、复现和维修系统中的故障部分,该模块也被内置到服务管理模块中;服务管理模块提供各类数字孪生相关的服务应用,与策略训练与部署模块、反馈控制模块和故障维护模块密切相关;仿真培训模块独立于其他模块,主要面向用户实现工业作业的培训;
策略训练与部署模块,负责对系统中的控制策略进行训练与部署。模拟到仿真(Sim2Real)是指将模拟环境中的算法或策略成功应用到真实环境的过程。该策略训练与部署模块将数字孪生和Sim2Real相结合,利用数字孪生系统的仿真场景来训练策略,通过调整虚拟场景中的参数(光照强度、雾、摩擦系数等)使模拟的实验场景高度拟合真实环境;接着利用深度强化学习对控制策略进行训练,策略完成训练后在中央数据库进行迭代更新,以此往复,直至控制策略最终收敛;之后将收敛的策略放入实际工作环境以检验训练的成果;若未达到预期要求,则从实际工作环境中采集有效样本数据并传入工业数字孪生系统中进行数据拟合,通过调整虚拟场景的参数对策略进行二次训练,即对之前的策略进行修正和优化;再次收敛的策略将被继续应用于物理工业系统进行测试和检验,不断地重复从仿真到实际再到仿真这一过程,直至检验效果达到预期要求,此时的策略具备较好的自适应性,可满足不同工况和任务要求;最终达到要求的策略被快速部署至反馈控制模块中,从而节省在实际系统中进行训练和测试的成本和时间;
反馈控制模块,采用闭环反馈的方式,利用工业数字孪生系统来提升对物理工业系统控制的精确性和稳定性。在工业场景运作过程中,收敛的控制策略被部署实施于该反馈控制模块的控制器中,实际控制器控制物理设备的驱动和运作;采集的运行数据被反馈至实际控制器中,同时也被传输至数字孪生系统中的虚拟控制器中;虚拟控制器以相同的控制策略控制虚拟装备模型进行同步的驱动和运作,并将演练所得的仿真数据与运行数据的偏差反馈至辅助控制器中;最终通过结合实际运行数据和仿真数据实现对工业设备更加精确、稳定的控制;
故障维护模块,负责对系统中故障部分进行处理和维护。该故障维护模块共包括四个步骤,分别为故障预测维护和及时报警、故障点精确定位、故障状况追溯复现和故障快速维修。首先,在故障预测维护和及时报警步骤中,数字孪生系统会根据仿真状况实时预测和判断是否有故障产生,当预测到有故障产生或故障已经产生,则及时向系统发送报警信号;其次,在故障点精确定位步骤中,接收到报警信号后,会立即根据仿真数据精确定位到故障点;再次,在故障状况追溯复现步骤中,以仿真回放的形式对故障点的历史运行状况进行追溯和复现,帮助人们了解故障发生原因;最后,在故障快速维修步骤中,简单和典型的故障经系统分析后自动进行快速维修,复杂故障由用户进行处理和维修;
服务管理模块,提供各类数字孪生相关的服务应用。该服务管理模块涉及虚实交互、生产管理、任务调度、人机因素、信息可视化各方面,主要包括仿真验证、虚拟调试、虚实同步、方案验证与优化、产量预测、生产实时监测、生产计划管理、物流信息掌控、人机工程优化和运营信息呈现等应用;
仿真培训模块,负责对用户进行虚拟仿真培训,帮助用户了解和熟悉工业作业的操作流程和使用方法。该仿真培训模块基于数字孪生系统的虚拟场景,为人们提供逼真的三维化作业指导,包括VR三维化作业指导、AR培训和指导、模拟器培训三类培训方式。VR三维化作业指导方式中,利用虚拟现实技术构建与实际作业环境高度一致的虚拟作业场景,通过佩戴VR设备在完全虚拟的空间下学习作业的操作流程和使用方法;AR培训和指导方式中,利用增强现实技术将虚拟元素叠加到真实环境中,使用户能够与虚拟对象进行互动,通过AR眼镜看到设备的工作原理和操作指导;在模拟器培训方式中,工业模拟器用于培训工业设备的操作和维护,通过模拟器去学习控制设备、应对故障和危险情况的技能,以此减少操作错误和事故风险,并提高工作效率和安全意识。
本说明书实例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (7)
1.一种模块化的工业数字孪生系统,其特征在于:被表示为Sys={LP,LC,LAlg,LF,LApp},其中LP表示物理层;LC表示连接层;LAlg表示算法层;LF表示功能层;LApp表示应用层;连接层作为中间层,将物理层、算法层、功能层和应用层相互连接;物理层通过工业协议连接到连接层,实现物理设备数据的传输和交互;算法层通过网络接口和函数调用的方式连接到连接层,为其他各层提供算法支持,能够接收外部数据进行计算并将算法结果输出;功能层通过协议与接口连接到连接层,能够获取外部的算法和指令来实现各项功能,同时将产生的数据和信息经由连接层传输给其他各层;应用层通过网络连接到连接层,与各层建立链接关系,能够获取各层数据用于不同的应用功能,同时可下达指令来操作各层的模块以实现不同应用的调整与切换;
所述物理层主要指代物理工业场景,包括机器人、机器设备、输送带和控制器等物理实体;物理实体具备与外部通讯的接口,可通过交换机对物理实体进行信号、数据的读取和写入,从而获取其运行状态信息,控制其驱动运作;
所述连接层承担工业数字孪生系统中各部分间的连接,包括物理到虚拟的连接、虚拟到物理的连接、虚拟间的连接、物理间的连接以及虚拟、物理与人之间的连接;各部分的连接主要通过各类协议、接口和数据实现;该连接层可表示为LC={DM,IE},式中DM表示数据管理模块,IE表示交互执行模块;其中,交互执行模块以指令的形式向数据管理模块发送数据操作的命令,数据管理模块接收交互执行模块的指令来对连接过程中的各类数据进行管理和操作,同时将已有的数据传输给交互执行模块,物理工业场景和虚拟工业场景通过数据管理模块和交互执行模块间的指令交互和数据通讯来实现虚实交互;
数据管理模块,主要用来管理连接过程中的各类数据,可表示为DM={DC,DSav,DP,DA,DV,DD,DR,DSha},式中DC表示数据采集单元,DSav表示数据存储单元,DP表示数据处理单元,DA表示数据分析单元,DV表示数据可视化单元,DD表示数据检测单元,DR表示数据复现单元,DSha表示数据分享单元;数据采集单元采集虚实工业场景中的数据,采集到的数据经由数据存储单元进行存储,接着数据检测单元对存储的数据进行检测以判断是否符合要求,经过检测的数据被传输至数据处理单元、数据分析单元、数据可视化单元、数据复现单元和数据分享单元;
数据采集单元,在连接和交互过程中,该数据采集单元通过传感器、数据采集卡、数据采集软件等工具采集物理实体、虚拟模型和服务的相关数据;其中,物理实体相关数据,包括物理属性数据(功能、性能、温度、电压、电流等)和动态过程数据等;虚拟模型相关数据,包括几何模型数据(几何尺寸、装配关系、位姿等)、物理模型数据(材料属性、载荷等)、行为模型数据(驱动信号、运行机制等)、规则模型数据(约束、限制范围等)和仿真运行数据;服务相关数据,包括生产管理数据、历史产量数据、设备数量等;
数据存储单元,接收存储指令后,该数据存储单元将采集的数据存储归档,以数据块的形式存储到硬盘、数据库或云服务器中;被存储的数据会分配唯一的ID和相关描述信息,描述信息中包括存储时间、操作人员、存储方式、存储地点和操作权限等,只有满足操作权限的人员才能对此数据进行操作;
数据检测单元,通过接收检测指令,该数据检测单元按照要求对存储数据的格式进行检测,包括数据名称是否为空、地址是否为空、名称是否相同、地址是否相同、地址是否超出限制范围;对于不符合要求的数据,可进行再次编辑或直接删除;
数据处理单元,接收处理指令,该数据处理单元能够对数据块进行增删改查;
数据分析单元,接收分析指令,通过统计分析方法、云计算等方式,该数据分析单元对已有的大量数据进行汇总、理解和消化,剔除无用数据、保留有效数据,找出数据中的内在规律以帮助人们做出判断,从而最大化地开发数据的效用;
数据可视化单元,与功能层配合使用,该数据可视化单元可通过终端设备、数字大屏、Web浏览器等途径将相关数据可视化,以直观、简明的界面向人们呈现数据的信息与变化;
数据复现单元,通过接收复现指令,该数据复现单元将已存储的历史数据追溯,并重新传输至数字孪生场景中,从而复现过去某一时间段的生产运行情况;通过此复现功能,能够快速查找生产故障原因,进而采取维护措施;
数据分享单元,通过接收分享指令,该数据分享单元可将数据打包并分享至其他平台,或从其他平台导入数据;数据打包的形式包括JSON、XML、CSV等常用格式,方便不同平台分享数据;
交互执行模块,在系统各部分建立连接的基础上,该交互执行模块通过接口与协议实现人、终端设备、工业软件、数据库、物理设备和云服务器之间的通讯,物理设备通过工业以太网将运行数据输出并接收控制信号,工业软件通过TCP/IP的方式来接收指令将控制程序下载到控制器中并将控制器中的计算数据和控制信号输出,云服务器通过网络接收并存储工业场景中所有采集到的数据,外部也通过网络发送请求来获取云服务器中的数据,数据库通过TCP/IP的方式将接收的数据保存在硬盘中并能够快速输出数据给同台设备中的软件或云服务器,终端设备通过网络接收物理设备和虚拟模型的运行数据将虚实工业场景的加工情况呈现,人通过查看终端设备的图形界面直观获取工业场景运行情况并通过键盘、触摸、点击等方式下达操作指令,操作指令经由终端设备传输到虚实工业场景中以实现生产的调整,虚拟模型实时接收物理设备的运行数据来驱动其仿真行为,再将仿真运行数据反馈至物理控制器中,从而实现虚实工业场景的交互联动;通过Wi-Fi和数据网络,并结合分布式任务调度、分布式软总线等方式,实现电脑、手机、智慧屏等多设备协同处理;利用5G技术实现低延时通讯,提高虚实工业场景间交互的响应速率,追求高度一致的虚实联动;此外,利用Web技术实现Linux和Windows系统之间的跨平台交互,在服务器上搭建Web服务,使用标准的Web协议(如HTTP)提供API接口,然后在应用程序中使用HTTP请求和响应进行交互,并通过RESTful API或WebSocket实现实时交互;
所述算法层封装底层代码和实现算法,为其他各层实现提供算法基础,编程人员可通过编写算法不断拓展系统功能;该算法层包括数据采集与感知算法、多模态数据融合算法、数据分析与优化算法、分布式计算与边缘计算算法、实时建模与仿真算法、自适应学习与演化算法、反馈与控制算法和增强现实与虚拟现实算法等,算法以函数、类、库的形式实现,通过函数调用、类调用、API调用、命令行调用和库调用的方式来使用算法;
所述功能层包含工业数字孪生场景构建过程中所需的各类功能,是算法层的上层应用;该功能层可表示为LF={MC,MO,CI,CL,VAI},式中MC表示孪生模型构建模块,MO表示模型运行模块,CI表示连接与交互模块,CL表示控制逻辑模块,VAI表示可视化辅助与交互模块,五个模块负责不同的功能并最终构建出工业数字孪生场景;
孪生模型构建模块,规范孪生模型的构建流程,实现快速构建孪生模型;孪生模型是物理实体的忠实复制品,应当包括物理几何形状,属性,行为和规则;将三维模型作为一种可视化载体,可以通过附加各类组件(如控制算法、接口、物理引擎、运动学、动力学等)使其具备与物理实体相同的功能和特性,最后将模型封装成为一个具备独立功能的、能够接收外部信号并根据自身状态向外输出信号的可重用模块,即实现模型的复用;为了实现对孪生模型的管理和复用,设计与开发模型库,对模型进行明确分类,并提供快速添加模型至场景的功能;
模型运行模块,在虚拟空间中实现模型的仿真驱动即模拟物理实体在真实环境下的行为,该模型运行模块只负责实现模型个体的独立运动;根据模型驱动的状态,可将模型驱动行为分为主动驱动行为和被动驱动行为,针对驱动行为开发驱动模型运动的程序块,程序块可以以脚本、函数、插件等形式呈现;每一个程序块是一个独立的模块,承担某一项具体的驱动功能,并具备与外部交互的接口;通过组合使用不同的程序块,能够实现更加丰富的驱动功能,如电机模拟驱动、速度控制驱动、开关信号控制驱动和目标序列驱动等;此外,在虚拟的生产制造过程中,往往需要对一种或多种工件进行频繁创建或销毁,造成一定的系统性能消耗;特别是当模型数量较多、通讯数据量大时,系统性能的优化对于模型运行的流畅、准确便更加重要;因此,引入对象池来处理需要频繁创建或销毁的模型,以一种预先创建、及时回收的方式来替代即时创建、即时销毁的方式;为了加强对程序块的管理,将程序块参数化并封装成可重复使用的模块,根据功能进行分类与整理,最终形成程序库;
连接与交互模块,通过工业以太网来实现数字孪生场景与物理实体、控制器、工业软件、数据库等部分之间的互联互通,是连接层的上层封装之一;协议与接口是实现连接与交互的主要途径,然而协议与接口的种类繁多,需要对其进行统一管理;将各类协议与接口封装成接口组件,用户使用时只需输入IP地址等参数和确定需要传输的数据,然后将接口组件分类整理形成接口库;在连接和交互过程中,往往伴随着大量接口数据的读取与写入,因此也需要对接口数据进行管理;为了方便直观获取数据交互的状态,应当将数据信息可视化,如数据名称、数据类型、输入输出方向、数值等;不同接口协议对数据格式的要求不同,需要对数据格式进行检测,不满足要求的数据应当被标记以提醒修正;当数据量较大时,单个数据添加过于费时和不便,所以需要具备能够批量操作数据的功能;
控制逻辑模块,实现整个数字孪生场景运行的控制逻辑,将场景中所有模型的运动联合起来形成一个整体;考虑到面向用户的需求,该控制逻辑模块采用文本编程和可视化编程相结合的方式来实现控制逻辑的编写;文本编程包括C++、C#、Java和Python等主流编程语言;可视化编程利用基于节点的可视化编程语言,通过图形化拖拽操作构建控制逻辑,无需从头开始编写代码,使得非编程人员、程序员均能够以低代码开发的方式实现对模型的驱动、仿真和控制;为了进一步规范控制逻辑编写,提供逻辑编写模板,降低编程难度;
可视化辅助与交互模块,负责数字孪生系统与人之间的交互,是连接层的上层封装之一;该可视化辅助与交互模块涉及的范围十分广泛,有关人机交互的部分均归属于此,常见的有辅助调试工具、虚拟场景监控、大屏数显、终端操作和VR/AR沉浸式交互等,能够帮助用户简化操作复杂度,加强人机交互;
所述应用层涵盖该工业数字孪生系统的具体应用,是其他各层的用途实现;该应用层可表示为LApp={ST,FC,FM,SM,SimT},式中ST表示策略训练与部署模块,FC表示反馈控制模块,FM表示故障维护模块,SM表示服务管理模块,SimT表示仿真培训模块;策略训练与部署模块实现对控制策略的训练,训练好的策略将被部署至反馈控制模块的控制器中;反馈控制模块以闭环反馈方式实现更加精确和稳定的控制,该模块被内置到服务管理模块中;故障维护模块用于预测、定位、复现和维修系统中的故障部分,该模块也被内置到服务管理模块中;服务管理模块提供各类数字孪生相关的服务应用,与策略训练与部署模块、反馈控制模块和故障维护模块密切相关;仿真培训模块独立于其他模块,主要面向用户实现工业作业的培训;
策略训练与部署模块,负责对系统中的控制策略进行训练与部署;模拟到仿真(Sim2Real)是指将模拟环境中的算法或策略成功应用到真实环境的过程;该策略训练与部署模块将数字孪生和Sim2Real相结合,利用数字孪生系统的仿真场景来训练策略,通过调整虚拟场景中的参数(光照强度、雾、摩擦系数等)使模拟的实验场景高度拟合真实环境;接着利用深度强化学习对控制策略进行训练,策略完成训练后在中央数据库进行迭代更新,以此往复,直至控制策略最终收敛;之后将收敛的策略放入实际工作环境以检验训练的成果;若未达到预期要求,则从实际工作环境中采集有效样本数据并传入工业数字孪生系统中进行数据拟合,通过调整虚拟场景的参数对策略进行二次训练,即对之前的策略进行修正和优化;再次收敛的策略将被继续应用于物理工业系统进行测试和检验,不断地重复从仿真到实际再到仿真这一过程,直至检验效果达到预期要求,此时的策略具备较好的自适应性,可满足不同工况和任务要求;最终达到要求的策略被快速部署至反馈控制模块中,从而节省在实际系统中进行训练和测试的成本和时间;
反馈控制模块,采用闭环反馈的方式,利用工业数字孪生系统来提升对物理工业系统控制的精确性和稳定性;在工业场景运作过程中,收敛的控制策略被部署实施于该反馈控制模块的控制器中,实际控制器控制物理设备的驱动和运作;采集的运行数据被反馈至实际控制器中,同时也被传输至数字孪生系统中的虚拟控制器中;虚拟控制器以相同的控制策略控制虚拟装备模型进行同步的驱动和运作,并将演练所得的仿真数据与运行数据的偏差反馈至辅助控制器中;最终通过结合实际运行数据和仿真数据实现对工业设备更加精确、稳定的控制;
故障维护模块,负责对系统中故障部分进行处理和维护;该故障维护模块共包括四个步骤,分别为故障预测维护和及时报警、故障点精确定位、故障状况追溯复现和故障快速维修;首先,在故障预测维护和及时报警步骤中,数字孪生系统会根据仿真状况实时预测和判断是否有故障产生,当预测到有故障产生或故障已经产生,则及时向系统发送报警信号;其次,在故障点精确定位步骤中,接收到报警信号后,会立即根据仿真数据精确定位到故障点;再次,在故障状况追溯复现步骤中,以仿真回放的形式对故障点的历史运行状况进行追溯和复现,帮助人们了解故障发生原因;最后,在故障快速维修步骤中,简单和典型的故障经系统分析后自动进行快速维修,复杂故障由用户进行处理和维修;
服务管理模块,提供各类数字孪生相关的服务应用;该服务管理模块涉及虚实交互、生产管理、任务调度、人机因素、信息可视化各方面,主要包括仿真验证、虚拟调试、虚实同步、方案验证与优化、产量预测、生产实时监测、生产计划管理、物流信息掌控、人机工程优化和运营信息呈现等应用;
仿真培训模块,负责对用户进行虚拟仿真培训,帮助用户了解和熟悉工业作业的操作流程和使用方法;该仿真培训模块基于数字孪生系统的虚拟场景,为人们提供逼真的三维化作业指导,包括VR三维化作业指导、AR培训和指导、模拟器培训三类培训方式;VR三维化作业指导方式中,利用虚拟现实技术构建与实际作业环境高度一致的虚拟作业场景,通过佩戴VR设备在完全虚拟的空间下学习作业的操作流程和使用方法;AR培训和指导方式中,利用增强现实技术将虚拟元素叠加到真实环境中,使用户能够与虚拟对象进行互动,通过AR眼镜看到设备的工作原理和操作指导;在模拟器培训方式中,工业模拟器用于培训工业设备的操作和维护,通过模拟器去学习控制设备、应对故障和危险情况的技能,以此减少操作错误和事故风险,并提高工作效率和安全意识。
2.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的连接层的数据管理模块应被设计在服务器中,可支持多平台、多设备同时访问数据。
3.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的连接层的交互执行模块分为后端和前端两部分,后端部分位于服务器中与数据管理模块直接对接;前端部分分布在各个客户端设备中,可将用户操作转换成统一的指令并传输给后端服务以实现交互操作。
4.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的功能层中模型库、程序库和接口库均以图形用户界面形式呈现,通过鼠标、键盘、触摸等方式操控屏幕中的图形元素,从而便捷地选择程序、运行功能。
5.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的功能层的控制逻辑模块使用文本编程实现数字孪生模型的驱动控制,采用可视化编程实现数字孪生场景的整体控制,以此兼顾文本编程的高性能和可视化编程的低代码特性。
6.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的孪生模型、驱动程序、接口组件、逻辑编程模板均经过模块化封装成为可直接调用的复用模块,用于加快数字孪生场景的构建效率。
7.根据权利要求1所述的一种模块化的工业数字孪生系统,其特征在于:所述的策略训练与部署模块中对于策略的训练分为两种形式,第一种是预先训练形式,在控制策略未被部署至实际控制器前,在虚拟场景中对策略进行预先的训练,并采集实际运行数据进行优化,最终收敛的策略被部署至控制器中;第二种为在线训练形式,此时控制策略被部署至控制器中且系统正在运行,当工况和任务发生改变导致控制策略性能下降时,实时对策略进行训练和优化,并更新控制器中的策略以提升控制性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310867782.8A CN116859850A (zh) | 2023-07-14 | 2023-07-14 | 一种模块化的工业数字孪生系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310867782.8A CN116859850A (zh) | 2023-07-14 | 2023-07-14 | 一种模块化的工业数字孪生系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116859850A true CN116859850A (zh) | 2023-10-10 |
Family
ID=88230146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310867782.8A Pending CN116859850A (zh) | 2023-07-14 | 2023-07-14 | 一种模块化的工业数字孪生系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116859850A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117632970A (zh) * | 2023-12-18 | 2024-03-01 | 智人开源(北京)科技有限公司 | 多模融合数据库、数据库的数字孪生实体数据存储方法 |
CN117827014A (zh) * | 2024-03-05 | 2024-04-05 | 四川物通科技有限公司 | 一种基于元宇宙的数字孪生模型多人交互协作系统 |
CN117827014B (zh) * | 2024-03-05 | 2024-06-04 | 四川物通科技有限公司 | 一种基于元宇宙的数字孪生模型多人交互协作系统 |
-
2023
- 2023-07-14 CN CN202310867782.8A patent/CN116859850A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117632970A (zh) * | 2023-12-18 | 2024-03-01 | 智人开源(北京)科技有限公司 | 多模融合数据库、数据库的数字孪生实体数据存储方法 |
US12008451B1 (en) * | 2023-12-21 | 2024-06-11 | Ishita Agrawal | AI-assisted remote guidance using augmented reality |
CN117827014A (zh) * | 2024-03-05 | 2024-04-05 | 四川物通科技有限公司 | 一种基于元宇宙的数字孪生模型多人交互协作系统 |
CN117827014B (zh) * | 2024-03-05 | 2024-06-04 | 四川物通科技有限公司 | 一种基于元宇宙的数字孪生模型多人交互协作系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112668687B (zh) | 云端机器人系统、云服务器、机器人控制模块和机器人 | |
US20220156433A1 (en) | Industrial network communication emulation | |
CN103513992A (zh) | 一种通用的教育娱乐机器人应用软件研制平台 | |
JP2008170998A (ja) | タービン制御シミュレーションのためのシステム及び方法 | |
US11782427B2 (en) | Augmented reality human machine interface testing | |
WO2010017835A1 (en) | A system and a method for off-line programming of an industrial robot | |
CN112051750A (zh) | 一种四旋翼无人机数字孪生系统 | |
CN116859850A (zh) | 一种模块化的工业数字孪生系统 | |
CN116034369A (zh) | 利用合规性验证对设计项目数据进行自动功能集群 | |
CN115167840A (zh) | 一种基于机械仿真与虚拟维修的应用案例零代码构建平台 | |
EP4073626B1 (en) | Method and system for generating engineering diagrams in an engineering system | |
EP3734379A1 (en) | Method and system for generating control programs in a cloud computing environment | |
KR102355787B1 (ko) | 화면 요구사항 수집 및 절차 관리 방법 | |
KR102537489B1 (ko) | 비주얼 스크립트를 이용한 디지털 트윈 구축 시스템, 방법 및 이를 위한 장치 | |
CN114493911A (zh) | 基于资产管理壳的产线管理方法及系统 | |
Aschenbrenner | Human Robot Interaction Concepts for Human Supervisory Control and Telemaintenance Applications in an Industry 4.0 Environment | |
CN117216148B (zh) | 碱性水电解制氢系统运行维护平台系统 | |
CN117313188B (zh) | 一种基于m语言的生产系统离散事件仿真优化方法及系统 | |
KR20220010225A (ko) | 오퍼레이터 통합 훈련 시뮬레이션 방법 및 이를 이용한 훈련 시뮬레이터 | |
US20230237249A1 (en) | Method and system for generating an automation engineering project in a technical installation using multidisciplinary approach | |
EP4156050A1 (en) | Method and system for optimizing an engineering project in a technical installation | |
EP4030282A1 (en) | Computing system and method for software architecture planning | |
EP4270121A1 (en) | Method and system for seamless transition of runtime system from controller device to digitalization platform | |
EP4328683A1 (en) | Method and system for generating user recommendations to aid generation of an engineering project | |
Rasheed | A Makerspace Cyber Physical System for Convergence Research |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |