CN117369308B - 基于数字孪生的机器人硬件在环实时仿真控制系统及方法 - Google Patents
基于数字孪生的机器人硬件在环实时仿真控制系统及方法 Download PDFInfo
- Publication number
- CN117369308B CN117369308B CN202311541936.0A CN202311541936A CN117369308B CN 117369308 B CN117369308 B CN 117369308B CN 202311541936 A CN202311541936 A CN 202311541936A CN 117369308 B CN117369308 B CN 117369308B
- Authority
- CN
- China
- Prior art keywords
- digital twin
- model
- robot
- simulation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 98
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000005094 computer simulation Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000006854 communication Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 16
- 230000018109 developmental process Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012356 Product development Methods 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于数字孪生的机器人硬件在环实时仿真控制系统及方法，其中，控制系统，包括多物理域仿真建模模块、硬件在环仿真控制模块、机器人控制器以及数字孪生模块；多物理域仿真建模模块用于构建完整的机器人仿真模型；硬件在环仿真控制模块用于进行机器人硬件在环仿真；机器人控制器用于向硬件在环仿真控制模块发送控制信息；数字孪生模块用于构建数字孪生机理模型，利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型，通过数字孪生数据驱动模型对数字孪生机理模型的残差进行补偿修正。本发明可以实现基于数字孪生的物理实体运行过程的可视化监测，便于对所设计的机器人物理实体结构和控制系统进行优化。
Description
技术领域
本发明涉及机器人仿真技术领域，具体为基于数字孪生的机器人硬件在环实时仿真控制系统及方法。
背景技术
随着新兴技术及智能制造的发展，对机器人产品开发与应用提出了更高的要求。硬件在环仿真测试具有数学仿真和物理测试不可比拟的优势，可以大大提高产品质量、减少发展趋势、缩短开发周期、减少物理测试次数，极大降低相关企业研发成本，并提高系统设计可靠性和开发质量，因此，越来越多的机器人企业产品开发时选择硬件在环仿真测试。
传统的机器人硬件在环仿真控制系统通过数学模型或者整体装配件模型去搭建仿真模型，主要是验证真实控制系统的算法与逻辑等正确性或性能，由于缺乏对各个机器人子系统进行系统级测试与验证，不能有效地针对子系统进行测试优化，从而无法对机器人本体设计方案作出进一步优化；另外，传统的机器人硬件在环仿真控制系统，交互性能还不够好，难以用可视化的方式高逼真度展示出机器人的运动性能和动作效果，也就不能以更精细、更直观的方式理解和优化其机器人控制系统和本体的性能；另外，其还不能模拟实际工作场景，无法进一步测试验证机器人在实际工作工况下的运动控制性能，不利于在机器人产品设计阶段更好地优化设计和控制方案。
数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。具有高效率、高精度、低成本等优势特点，目前已经广泛应用于工程建设领域，特别是机器人及智能制造。
如申请号为202111405386.0的中国发明专利申请公开了一种基于数字孪生技术的工业机器人仿真联动方法和系统，上述技术方案能解决现有技术中数字双胞胎技术难以实现多个设备的高精度联合运行，进而难以完成机器人技术技能人才的实训教学培养的问题。其能够用可视化的方式高逼真度展示出机器人的动作效果，并模拟实际工作场景，但是其无法完成对机器人的运动控制策略与轨迹规划算法的测试，也无法对各个机器人子系统进行系统级测试与验证。
发明内容
本发明的目的在于提供基于数字孪生的机器人硬件在环实时仿真控制系统及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于数字孪生的机器人硬件在环实时仿真控制系统，包括多物理域仿真建模模块、硬件在环仿真控制模块、机器人控制器以及数字孪生模块；
多物理域仿真建模模块用于建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
硬件在环仿真控制模块用于接收控制信息以及多物理域仿真建模模块构建的机器人仿真模型，并基于控制信息和机器人仿真模型，进行机器人硬件在环仿真；
机器人控制器用于接收运动指令，并根据运动指令向硬件在环仿真控制模块发送控制信息；
数字孪生模块用于接收机器人硬件在环仿真产生的机器人运行状态数据信息，并构建数字孪生机理模型，利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型，将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正。
作为本发明进一步的方案，还包括机器人示教器，用于与机器人控制器通讯，向机器人控制器发送运动指令；
所述机器人控制器还包括：控制算法模块，根据运动指令，用于对机器人仿真模型进行运动控制、轨迹规划；管理模块，用于逻辑、交互、安全管理；Ethernet接口模块，用于与机器人示教器进行交互通讯；以及EtherCAT主站模块。
作为本发明进一步的方案，所述硬件在环仿真控制模块还包括EtherCAT从站模块和Ethernet接口模块，EtherCAT从站模块通过EtherCAT总线与EtherCAT主站模块交互通讯，用于接收机器人控制器发送的控制信息；硬件在环仿真控制模块通过Ethernet接口模块与实时仿真机管理软件进行交互通讯。
作为本发明进一步的方案，所述硬件在环仿真控制模块和数字孪生模块均包括TSN网络板卡，硬件在环仿真控制模块和数字孪生模块之间通过TSN网络板卡的TSN网络进行同步交互通讯。
作为本发明进一步的方案，所述多物理域仿真建模模块构建机器人仿真模型的方法为：通过建模软件建立机器人各个部件对应的物理域子系统仿真模型；
依据FMI标准，通过Simulink工具将各个物理域子系统仿真模型按照真实物理架构融合起来，构建形成完整的机器人仿真模型。
作为本发明进一步的方案，所述数字孪生数据驱动模型的构建具体为：
以历史数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
对数字孪生机理模型的输入和机理模型的残差进行归一化处理；
将归一化处理的数据作为LSTM神经网络单元的输入，进行大量训练，生成数字孪生数据驱动模型。
作为本发明进一步的方案，所述数字孪生数据驱动模型对数字孪生机理模型的残差进行补偿修正的具体方法为：
以实时数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
以实时数据同步作为数字孪生数据驱动模型中LSTM神经网络单元的输入，LSTM神经网络单元计算得到数字孪生数据驱动模型预测值，同时更新数字孪生数据驱动模型；
利用数字孪生数据驱动模型预测值对机理模型的残差进行补偿修正，得到补偿后的数字孪生模型预测值。
作为本发明进一步的方案，所述数字孪生模块还包括：3D可视化模块，用于可视化展示数字孪生机理模型和显示机器人运行数据信息；
应用模块，用于对数字孪生机理模型进行动态感知、状态预警以及异常检测。
基于数字孪生的机器人硬件在环实时仿真方法，其根据前述的基于数字孪生的机器人硬件在环实时仿真控制系统，包括如下步骤：
建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
基于接收的运动指令，机器人控制器向硬件在环仿真控制模块发送控制信息；
基于接收的控制信息以及完整的机器人仿真模型，硬件在环仿真控制模块进行机器人硬件在环仿真；
基于机器人硬件在环仿真产生的机器人运行状态数据信息，数字孪生模块构建数字孪生机理模型；
数字孪生模块利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型；
将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正。
与现有技术相比，本发明的有益效果是：
1、本发明先建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型，再对机器人仿真模型进行硬件在环仿真测试，可最大程度地模拟机器人各个物理域子系统的实际运行状况，无需在产品开发前期进行机器人实物的组装，可降低企业开发设计及测试成本，同时有利于提高仿真精度，为后续数字孪生机理模型对各个机器人子系统进行系统级测试与验证提供可靠的基础；
2、本发明的数字孪生模块将机器人硬件在环仿真过程中产生的机器人运行状态数据信息映射到数字空间中，通过功能模拟、数据分析等手段模拟物理实体的形态，实现基于数字孪生的物理实体运行过程的可视化监测，同时可以便捷地搭建实际应用场景，模拟机器人真实工作状况，并采用LSTM神经网络单元预测机器人轨迹，根据最终的监测与预测结果，便于对所设计的机器人物理实体结构和控制系统进行优化，实现高效、便捷、低成本的机器人仿真测试与优化，从而避免因场地、设备、安全等因素的限制，导致产品开发使用周期长、成本高、危险性大等问题；
3、传统的以太网网络在通讯过程中缺乏实时性与同步机制保障，存在丢帧现象，这会大大降低数字孪生机理模型的仿真精度，而本发明采用时间敏感型网络(TSN)技术构建硬件在环仿真控制模块和数字孪生模块之间的通讯网络，让两者之间实现同步数据高精度交互通讯，保证数据交互传输的同步性、实时性和稳定性，提高数字孪生模块建模、推理、计算的精度；
4、本发明实施例还提出了一种基于LSTM神经网络单元构建数字孪生混合驱动模型的方法，利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型，将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，构建形成数字孪生混合驱动模型，一方面通过接收的实时数据完成模型的更新，另一方面还可以实现对数字孪生机理模型的补偿修正，构建形成的数字孪生混合驱动模型能够更准确地模拟实际系统，从而提高数字孪生机理模型的预测精度。
附图说明
图1为本发明整体实施的流程示意图；
图2为本发明的整套系统架构图；
图3为本发明中基于多物理域构建机器人仿真模型的流程示意图；
图4为本发明中数字孪生机理模型的示意图；
图5为本发明中LSTM神经网络单元的架构图；
图6为本发明中构建数字孪生数据驱动模型的流程示意图；
图7为本发明中对数字孪生机理模型的残差进行补偿修正的流程示意图；
图8为本发明实施例中具体仿真方案示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1～2，基于数字孪生的机器人硬件在环实时仿真控制系统，包括：多物理域仿真建模模块，用于建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
硬件在环仿真控制模块，用于接收控制信息以及多物理域仿真建模模块构建的机器人仿真模型，并基于控制信息和机器人仿真模型，进行机器人硬件在环仿真；
机器人控制器，用于接收运动指令，并根据运动指令向硬件在环仿真控制模块发送控制信息；
数字孪生模块，用于接收机器人硬件在环仿真产生的机器人运行状态数据信息，并构建数字孪生机理模型，利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型，将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正。
本发明实施例还包括机器人示教器，用于与机器人控制器通讯，向机器人控制器发送运动指令。具体仿真方案如图8所示。
作为具体的方案，请参阅图3，所述多物理域仿真建模模块构建机器人仿真模型的方法为：通过建模软件建立机器人各个部件对应的物理域子系统仿真模型(FMU模型)，其中，建模软件包括但不局限于：机械系统动力学分析软件ADAMS、控制策略开发软件Simulink、电机设计软件Ansys Motor-CAD、电气系统开发软件Saber以及驱动器、编码器、抱闸等热仿真分析软件Ansys Fluent，通过建模软件建立机器人各个部件(如：关节、连杆、底座、减速器、伺服电机、驱动器、抱闸、编码器等)对应的物理域子系统仿真模型(如：机械系统FMU模型、控制系统FMU模型、电气系统FMU模型、热传系统FMU模型等)；
依据FMI标准，通过Simulink工具将各个物理域子系统仿真模型按照真实物理架构融合起来，构建形成完整的机器人仿真模型。具体地，机器人仿真模型具体表现形式包括但不局限于：三自由度直角坐标机器人、四自由度Scara机器人、六自由度机械臂、七自由度机械臂以及双臂机器人。
本发明依据FMI标准搭建机器人多物理域子系统仿真模型，并融合各个物理域子系统仿真模型，得到高逼真度的机器人数字功能样机模型(即完整的机器人仿真模型)，通过后续的硬件在环仿真测试，可最大程度模拟机器人各个物理域子系统的实际运行状况，从而优化机器人控制与设计方案，可以在提高仿真精度的同时，降低企业测试成本。
作为具体的方案，请参阅图2，机器人控制器的硬件平台可具体采用芯驰D9多核Cortex-A55处理器，机器人控制器运行实时操作系统，接收机器人示教器发送的运动指令，在软件层面还包括：控制算法模块，根据运动指令，用于对机器人仿真模型进行运动控制、轨迹规划；管理模块，用于逻辑、交互、安全管理；
机器人控制器还具有Ethernet接口模块，用于与机器人示教器进行交互通讯。机器人控制器还具有EtherCAT主站模块，默认控制周期为1毫秒，最小可至250微秒。
作为具体的方案，请参阅图2，硬件在环仿真控制模块可具体采用x86硬件架构，系统采用基于Linux+Xenomai补丁的实时操作系统，硬件在环仿真控制模块还包括EtherCAT从站模块和Ethernet接口模块，EtherCAT从站模块通过EtherCAT总线与EtherCAT主站模块交互通讯，用于接收机器人控制器发送的控制信息；其中，EtherCAT通过Cia402协议进行数据交互通讯，进行数据交互方式包含PDO过程数据对象和SDO服务数据对象，主要数据包括机器人关节位置、速度、力矩、温度等控制与反馈信息。
硬件在环仿真控制模块通过Ethernet接口模块与配套的实时仿真机管理软件进行交互通讯。
其中，所述硬件在环仿真控制模块和数字孪生模块均包括TSN网络板卡，硬件在环仿真控制模块和数字孪生模块之间通过TSN网络板卡的TSN网络进行同步交互通讯。TSN网络采用IEEE 802.1AS协议进行时钟同步，802.1AS中通过手动配置或者BMCA算法确立GrandMaster后，GrandMaster周期发送同步(Sync)和跟进(Follow Up)报文提供主时钟基准；在实现节点同步之前各个节点通过Signaling报文协商计算相邻时钟节点比率的间隔、计算链路延迟的间隔等信息；最后，各从节点利用已有的相邻时钟节点比率、链路延迟以及接受到的Sync及Follow Up报文，利用Follow Up报文中的时延校正(correctionField)信息修正后，就能得出主时钟现在的时刻，从而完成时间同步。
其中，数字孪生模块通过TSN网络实时获取硬件在环仿真控制模块中的各个机器人运行数据信息，如：机器人每个关节模组的位置、速度、电流以及温度等数据信息；基于接收到的机器人硬件在环仿真产生的机器人运行状态数据信息，进行实时交互映射，构建数字孪生机理模型，如图4所示。
数字孪生机理模型可具体包括：根据机器人的外形尺寸和部件信息创建的机器人外形三维可视化模型；根据机器人的结构和部件特性创建的机器人运动学和运动力学模型，根据机器人实际的应用场景，创建应用场景三维可视化模型。具体应用时，可将机器人外形三维可视化模型放置固定在应用场景三维可视化模型上，配合机器人运动学和运动力学模型，进行模拟测试与应用工作的数字孪生仿真，实现机器人的运动控制、轨迹规划等操作，完成机器人的码垛、搬用等功能。
请参阅图2，所述数字孪生模块还包括：3D可视化模块，用于可视化展示数字孪生机理模型和显示机器人运行数据信息；应用模块，用于对数字孪生机理模型进行动态感知、状态预警以及异常检测。
一方面机器人详细参数的获取难度较大，因此，对机器人的整体建模不开避免存在一定程度上的简化，另一方面工况环境因素对机器人工作会产生影响，难以用机理模型表征，因此，机理模型的预测结果不可避免地与实际结果之间存在残差，大大降低了数字孪生模型的仿真精度。为了提高数字孪生机理模型的预测精度，本发明实施例还提出了一种基于LSTM神经网络单元构建数字孪生混合驱动模型的方法，具体分为两步：1、利用数字孪生模块构建的数字孪生机理模型，对LSTM神经网络单元进行训练，构建生成数字孪生数据驱动模型；2、将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正。
本发明将数字孪生机理模型和数字孪生数据驱动模型并联，构建形成数字孪生混合驱动模型，一方面通过接收的实时数据完成模型的更新，另一方面还可以实现对数字孪生机理模型的补偿修正，构建形成的数字孪生混合驱动模型能够更准确地模拟实际系统，从而提高数字孪生机理模型的预测精度。
请参阅图5，LSTM(Long Short-Term Memory)神经网络单元是一种改进的循环神经网络(RNN)架构，旨在解决传统RNN中的梯度消失和梯度爆炸问题，以及增强对长期依赖关系的建模能力。LSTM神经网络单元引入了一个记忆单元(memory cell)，该单元可以存储和访问信息，并通过门控机制来控制信息的流动。LSTM神经网络单元的关键部分包括输入门(input gate)、遗忘门(forget gate)以及输出门(output gate)。
在本发明实施例中，请参阅图6，所述数字孪生数据驱动模型的构建具体为：
以历史数据(即训练数据)作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
对数字孪生机理模型的输入和机理模型的残差进行归一化处理；
将归一化处理的数据作为LSTM神经网络单元的输入，进行大量训练，生成数字孪生数据驱动模型。
具体地，请参阅图7，所述数字孪生数据驱动模型对数字孪生机理模型的残差进行补偿修正的具体方法为：
以实时数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
以实时数据同步作为数字孪生数据驱动模型中LSTM神经网络单元的输入，LSTM神经网络单元计算得到数字孪生数据驱动模型预测值，同时更新数字孪生数据驱动模型；
利用数字孪生数据驱动模型预测值对机理模型的残差进行补偿修正，得到补偿后的数字孪生模型预测值。具体地，本实施例可使用如下式对数字孪生机理模型的预测值(即机理模型的残差)进行补偿，将数字孪生机理模型和数字孪生数据驱动模型融合，构成数字孪生混合驱动模型：
y'＝y+e
其中，y’为补偿后的数字孪生模型预测值，y为数字孪生机理模型预测值，e为数字孪生数据驱动模型预测值。
在本发明中，基于LSTM神经网络单元构建数字孪生混合驱动模型，以最小化预测轨迹和模拟的真实轨迹(即硬件在环仿真控制模块仿真的运行轨迹)之间的距离，可以对机器人控制器中运动控制策略与轨迹规划算法进行优化；另外，结合硬件在环仿真控制模块的仿真数据和数字孪生模块展示的3D可视化信息以及运行数据信息，还可以用于优化机器人本体的设计方案，从而完善机器人各个子系统。
实施例2：本发明还提出一种基于数字孪生的机器人硬件在环实时仿真方法，其根据前述的基于数字孪生的机器人硬件在环实时仿真控制系统，包括如下步骤：
建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
基于接收的运动指令，机器人控制器向硬件在环仿真控制模块发送控制信息；
基于接收的控制信息以及完整的机器人仿真模型，硬件在环仿真控制模块进行机器人硬件在环仿真；
基于机器人硬件在环仿真产生的机器人运行状态数据信息，数字孪生模块构建数字孪生机理模型；
数字孪生模块利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型；
将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，包括：多物理域仿真建模模块，用于建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
硬件在环仿真控制模块，用于接收控制信息以及多物理域仿真建模模块构建的机器人仿真模型，并基于控制信息和机器人仿真模型，进行机器人硬件在环仿真；
机器人控制器，用于接收运动指令，并根据运动指令向硬件在环仿真控制模块发送控制信息；
数字孪生模块，用于接收机器人硬件在环仿真产生的机器人运行状态数据信息，并构建数字孪生机理模型，利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型，将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正；
其中，所述数字孪生数据驱动模型的构建具体为：
以历史数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
对数字孪生机理模型的输入和机理模型的残差进行归一化处理；
将归一化处理的数据作为LSTM神经网络单元的输入，进行大量训练，生成数字孪生数据驱动模型；
其中，所述数字孪生数据驱动模型对数字孪生机理模型的残差进行补偿修正的具体方法为：
以实时数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
以实时数据同步作为数字孪生数据驱动模型中LSTM神经网络单元的输入，LSTM神经网络单元计算得到数字孪生数据驱动模型预测值，同时更新数字孪生数据驱动模型；
利用数字孪生数据驱动模型预测值对机理模型的残差进行补偿修正，得到补偿后的数字孪生模型预测值。
2.根据权利要求1所述的基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，还包括机器人示教器，用于与机器人控制器通讯，向机器人控制器发送运动指令；
所述机器人控制器还包括：控制算法模块，根据运动指令，用于对机器人仿真模型进行运动控制、轨迹规划；
管理模块，用于逻辑、交互、安全管理；
Ethernet接口模块，用于与机器人示教器进行交互通讯；以及EtherCAT主站模块。
3.根据权利要求2所述的基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，所述硬件在环仿真控制模块还包括EtherCAT从站模块和Ethernet接口模块，EtherCAT从站模块通过EtherCAT总线与EtherCAT主站模块交互通讯，用于接收机器人控制器发送的控制信息；
硬件在环仿真控制模块通过Ethernet接口模块与实时仿真机管理软件进行交互通讯。
4.根据权利要求3所述的基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，所述硬件在环仿真控制模块和数字孪生模块均包括TSN网络板卡，硬件在环仿真控制模块和数字孪生模块之间通过TSN网络板卡的TSN网络进行同步交互通讯。
5.根据权利要求4所述的基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，所述多物理域仿真建模模块构建机器人仿真模型的方法为：
通过建模软件建立机器人各个部件对应的物理域子系统仿真模型；
依据FMI标准，通过Simulink工具将各个物理域子系统仿真模型按照真实物理架构融合起来，构建形成完整的机器人仿真模型。
6.根据权利要求1所述的基于数字孪生的机器人硬件在环实时仿真控制系统，其特征在于，所述数字孪生模块还包括：
3D可视化模块，用于可视化展示数字孪生机理模型和显示机器人运行数据信息；
应用模块，用于对数字孪生机理模型进行动态感知、状态预警以及异常检测。
7.基于数字孪生的机器人硬件在环实时仿真方法，其特征在于，其根据权利要求1-6任一所述的基于数字孪生的机器人硬件在环实时仿真控制系统，包括如下步骤：
建立机器人各个部件对应的物理域子系统仿真模型，并对各个物理域子系统仿真模型进行融合，构建完整的机器人仿真模型；
基于接收的运动指令，机器人控制器向硬件在环仿真控制模块发送控制信息；
基于接收的控制信息以及完整的机器人仿真模型，硬件在环仿真控制模块进行机器人硬件在环仿真；
基于机器人硬件在环仿真产生的机器人运行状态数据信息，数字孪生模块构建数字孪生机理模型；
数字孪生模块利用数字孪生机理模型，对LSTM神经网络单元进行训练，构建数字孪生数据驱动模型；
将数字孪生数据驱动模型作为残差补偿器与数字孪生机理模型并联，对数字孪生机理模型的残差进行补偿修正；
其中，所述数字孪生数据驱动模型的构建具体为：
以历史数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
对数字孪生机理模型的输入和机理模型的残差进行归一化处理；
将归一化处理的数据作为LSTM神经网络单元的输入，进行大量训练，生成数字孪生数据驱动模型；
其中，所述数字孪生数据驱动模型对数字孪生机理模型的残差进行补偿修正的具体方法为：
以实时数据作为数字孪生机理模型的输入，通过数字孪生机理模型计算得到机理模型的残差；
以实时数据同步作为数字孪生数据驱动模型中LSTM神经网络单元的输入，LSTM神经网络单元计算得到数字孪生数据驱动模型预测值，同时更新数字孪生数据驱动模型；
利用数字孪生数据驱动模型预测值对机理模型的残差进行补偿修正，得到补偿后的数字孪生模型预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541936.0A CN117369308B (zh) | 2023-11-20 | 2023-11-20 | 基于数字孪生的机器人硬件在环实时仿真控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541936.0A CN117369308B (zh) | 2023-11-20 | 2023-11-20 | 基于数字孪生的机器人硬件在环实时仿真控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117369308A CN117369308A (zh) | 2024-01-09 |
| CN117369308B true CN117369308B (zh) | 2024-04-23 |
Family
ID=89389359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311541936.0A Active CN117369308B (zh) | 2023-11-20 | 2023-11-20 | 基于数字孪生的机器人硬件在环实时仿真控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117369308B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112904220A (zh) * | 2020-12-30 | 2021-06-04 | 厦门大学 | 一种基于数字孪生和机器学习的ups健康预测方法、系统、电子设备及可存储介质 |
| CN115689008A (zh) * | 2022-10-27 | 2023-02-03 | 国网安徽省电力有限公司六安供电公司 | 基于集合经验模态分解的CNN-BiLSTM短期光伏功率预测方法及其系统 |
| CN115906711A (zh) * | 2022-12-27 | 2023-04-04 | 西安交通大学 | 一种利用数字孪生系统进行换热器性能测试的方法 |
| CN116702380A (zh) * | 2023-08-03 | 2023-09-05 | 南京航空航天大学 | 基于数字孪生的航空发动机性能退化监测和模型修正方法 |
| CN116842811A (zh) * | 2023-09-01 | 2023-10-03 | 北自所(北京)科技发展股份有限公司 | 基于数字孪生的车间产线能耗分析方法、装置及存储介质 |
| CN116933441A (zh) * | 2023-08-15 | 2023-10-24 | 厦门大学 | 装载机自主铲掘过程的数字孪生数据驱动模型建模方法 |
| CN116974217A (zh) * | 2023-08-05 | 2023-10-31 | 智参软件科技(上海)有限公司 | 工厂生产仿真预测系统和工厂仿真预测方法 |
| CN117034493A (zh) * | 2023-08-15 | 2023-11-10 | 厦门大学 | 一种装载机自主铲掘过程的数字孪生模型迭代演化方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| CN115699050A (zh) * | 2019-11-05 | 2023-02-03 | 强力价值链网络投资组合2019有限公司 | 价值链网络控制塔和企业管理平台 |
-
2023
- 2023-11-20 CN CN202311541936.0A patent/CN117369308B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112904220A (zh) * | 2020-12-30 | 2021-06-04 | 厦门大学 | 一种基于数字孪生和机器学习的ups健康预测方法、系统、电子设备及可存储介质 |
| CN115689008A (zh) * | 2022-10-27 | 2023-02-03 | 国网安徽省电力有限公司六安供电公司 | 基于集合经验模态分解的CNN-BiLSTM短期光伏功率预测方法及其系统 |
| CN115906711A (zh) * | 2022-12-27 | 2023-04-04 | 西安交通大学 | 一种利用数字孪生系统进行换热器性能测试的方法 |
| CN116702380A (zh) * | 2023-08-03 | 2023-09-05 | 南京航空航天大学 | 基于数字孪生的航空发动机性能退化监测和模型修正方法 |
| CN116974217A (zh) * | 2023-08-05 | 2023-10-31 | 智参软件科技(上海)有限公司 | 工厂生产仿真预测系统和工厂仿真预测方法 |
| CN116933441A (zh) * | 2023-08-15 | 2023-10-24 | 厦门大学 | 装载机自主铲掘过程的数字孪生数据驱动模型建模方法 |
| CN117034493A (zh) * | 2023-08-15 | 2023-11-10 | 厦门大学 | 一种装载机自主铲掘过程的数字孪生模型迭代演化方法 |
| CN116842811A (zh) * | 2023-09-01 | 2023-10-03 | 北自所(北京)科技发展股份有限公司 | 基于数字孪生的车间产线能耗分析方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于混合驱动的进给系统数字孪生模型自适应更新法;黄华，等;《计算机集成制造系统》;20230630;第29卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117369308A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112487668B (zh) | 一种基于数字孪生的近物理仿真集成调试方法及其系统 | |
| JP7037204B2 (ja) | スマート工場のモニタリング方法及びシステム | |
| CN110502820B (zh) | 一种基于bim的钢结构工程实时监测预警方法 | |
| CN109765803A (zh) | 一种自动驾驶汽车多icu共时空的硬件仿真测试系统及方法 | |
| CN108388146A (zh) | 一种基于信息物理融合的三维装配工艺设计系统及运行方法 | |
| CN113887016A (zh) | 一种基于数字孪生的船舶数字化车间仿真方法与系统 | |
| CN110674565A (zh) | 一种车路协同系统的在环仿真方法及平台 | |
| WO2019076235A1 (zh) | 一种智能车间平行控制方法及系统 | |
| US10198536B2 (en) | Simulation system, method for carrying out a simulation, control system, and computer program product | |
| CN112132359A (zh) | 一种数字孪生卫星脉动式总装车间设计方法及系统 | |
| CN104729533B (zh) | 一种脉冲星天文自主导航仿真演示验证系统及其方法 | |
| CN103678900B (zh) | 一种用于区域配电网实时仿真的网络解耦计算方法 | |
| CN111832161A (zh) | 一种综合能源系统实时仿真方法及系统 | |
| CN117369308B (zh) | 基于数字孪生的机器人硬件在环实时仿真控制系统及方法 | |
| CN111673748B (zh) | 气体绝缘开关视觉检查机器人的人机交互感知系统及方法 | |
| CN111103810B (zh) | 基于原型数字双胞胎架构的航天器gnc系统仿真试验方法 | |
| CN111381514A (zh) | 一种基于半实物仿真技术的机器人测试系统及方法 | |
| Du et al. | Industrial robot digital twin system motion simulation and collision detection | |
| CN115221799B (zh) | 一种基于多分支的无人集群超实时推演系统及方法 | |
| US20140222408A1 (en) | Simulation system, method of carrying out a simulation, guidance system and computer program product | |
| CN115062448A (zh) | 一种基于云端协同的数字孪生协同实验系统及方法 | |
| CN116305714A (zh) | 电力工控安全仿真环境智能变电站典型场景建模方法 | |
| CN113935083A (zh) | 一种基于数字孪生的轨道交通仿真系统 | |
| Li et al. | Demonstration and validation of the digital twin technology for a regional multi-energy system | |
| Zhang et al. | Design and research of substation inspection mode based on digital twins |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |