CN115189997B - 基于云、雾、边缘协同的云机器人实时监测与控制方法 - Google Patents

Abstract

本发明公开了一种基于云、雾、边缘协同的云机器人实时监测与控制方法，该方法包括下述步骤：在边缘端实现对机器人物理对象的数据信息进行特征提取，在雾端构建机器人的数字孪生体组件，在雾端搭建数字孪生体组件的组态实施工具，在云端部署云机器人的智能调度和控制方法，在云端构建云机器人的特征数据库模块以及本体知识库，实现云端、雾端、边缘端协同系统间的数据感知与交互，构建云机器人的自适应动态网络驱动机制，实现云机器人的实时监测与控制。本发明实现在任务复杂程度与应用场景的不同环境下对云机器人的实时监测与控制，解决在智能制造环境下机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题。

Description

基于云、雾、边缘协同的云机器人实时监测与控制方法

技术领域

本发明涉及云机器人控制技术领域，具体涉及一种基于云、雾、边缘协同的云机器人实时监测与控制方法。

背景技术

云、雾、边缘协同是云计算、雾计算与边缘计算的互补协同，云、雾、边缘协同架构包括数据协同、业务应用协同、服务调用协同和运营管理协同。数字孪生体是将利用数字化技术或者计算机结构化语言在虚拟环境当中用数据信息去表达出的与实际对象完全一致的数字映射系统。

2010年，卡耐基梅隆大学的J.Kuffner教授提出了“云机器人”的概念。“云”的加入彻底地改变了原有的拓扑结构和交互机制，机器人与云端交互的引入极大地提升了任务调度的灵活性和可拓展性，当机器人节点的运算或储存不适宜在本地执行，通过云端提供的接口，机器人可以将任务上传至云端完成，从而突破了机器人的资源限制。

然而，实现云机器人的应用以及对云机器人的实时监测与控制仍然面临一些技术瓶颈。在智能制造环境中，不同任务的机器人群由于在工作环境、通信信号强度、网络鲁棒性、信噪比等方面存在较大差异，通信质量往往具有时变的特性。对于机器人群间的协同工作，以及机器人与其它智能设备、智能产品的协作，如何克服机器人与云端交互的通信鲁棒性是保证机器人任务顺利完成的重要支撑；同时，云机器人的特征之一是对运算、储存任务的柔性处理。理论上，所有任务都可以上传到云端进行处理，从而最大程度上释放底层机器人的负载压力。然而，如果不加区分的将任务上传而不选择本地执行，就可能造成严重的延时现象。所以由于不同计算负载分配机制产生对机器人与云端交互的实时敏感程度问题也亟需解决。

现有的云机器人的研究大多仅在边缘端或云端单一平台实现，单一边缘端机器人难以实现对海量机器人实时运行数据和对复杂通信情况的任务运行诊断，缺乏对资源的统一调度，没有对机器人的数字信息模型进行建模，即构建数字孪生体组件，没有办法预知最佳推荐方案的执行反馈；另一方面，缺乏与机器人物理设备特定关系的实体服务，缺少由于数据传输受阻难以对被监测的机器人物理对象实时反馈，局限于特定领域的算法研究和云端架构设计。

对于采用基于SOA(软件即服务)来实现的云机器人服务框架，整体架构缺少对机器人的数字孪生体组件的考虑以及并没有接触到机器人控制器层、运动内核层、主站层、驱动器层方面，缺乏对机器人底层核心控制系统的研究。在资源层局限于资源注册和资源管理，缺少对云机器人与其他智能设备、智能产品的协作过程的资源调度过程，以及机器人的数字孪生体组件的资源调度和管理。并没有解决在智能制造环境下面对复杂环境SOA接口层存在通信鲁棒性问题，这也是由于SOA接口层是为服务提供方实现服务，而服务消费方远程调用服务，在服务提供和调用过程中本身会存在由于网络鲁棒性、信噪比干扰从而产生实时敏感问题。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于云、雾、边缘协同的云机器人实时监测与控制方法，面对小批量多品种加工场景，主要针对在智能制造环境下工业机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题，本发明在边缘端实现对机器人物理对象的运维数据、传感数据、制造过程中的生产信息数据进行特征提取，在雾端根据机器人物理对象的网格模型、运动学系统等数据构建机器人的数字孪生体组件以及数字孪生体组件的组态实施工具，在云端实现高复杂度的云机器人的智能调度和控制方法，以及云端、雾端、边缘端协同系统间的数据感知与交互，提供云机器人的自适应动态网络驱动机制，并构建云机器人由边缘端提取的特征数据库与机器人本体知识库，充分发挥云、雾、边缘协同系统的性能优势，实现在任务复杂程度与应用场景的不同环境下对云机器人的实时监测与控制，实现面对网络鲁棒性、不同信噪比情况下云机器人对任务的实时性要求，有助于选择合理的任务调度机制，优化机器人与其他智能设备、智能产品间的协作，从而解决在智能制造环境下机器人与云端交互的通信鲁棒性以及面对不同计算负载分配机制的实时敏感程度的问题。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于云、雾、边缘协同的云机器人实时监测与控制方法，包括下述步骤：

边缘端获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，在控制器层部署gRPC协议的服务响应端；

在雾端构建机器人的数字孪生体组件，采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件，数字孪生体组件的存储能力由OSS提供，通过XML元素定义方式存储数字孪生体组件的结构数据，通过标识符的方式描述各个库数据间的引用关系以及与其他数字孪生体组件的组合层次关系；

在雾端搭建数字孪生体组件的组态实施工具，当云端的云机器人对数字孪生体组件进行更新时，组态实施工具对组件的修改、删除操作进行验证，并记录该服务请求事件，验证通过后对组件的数字映射的信息模型进行更新；

云端部署云机器人的智能调度和控制方法，向雾端的数字孪生体组件的组态实施工具发送获取组件的数字映射的信息模型请求，通过云端发送的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，云端将Collada文件的加载类导入到需要应用到云端部署的智能调度和控制方法当中，利用该类的load方法索引到数字孪生体组件的下载地址，下载数字孪生体组件的信息模型并导入到云端环境，通过该类下的load方法遍历该数字孪生体组件下的所有标签数据，对满足网格模型数据判断的子类标签利用渲染器方法进行渲染；

在云端构建云机器人的特征数据库模块及本体知识库，云端和边缘端之间以gRPC协议交互，云端与雾端之间交互通过jQuery的AJAX方法；

基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，构建云机器人的自适应动态网络驱动机制，通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断更新，对网络时变产生的同步误差不断迭代演变，实现云机器人的实时监测与控制。

作为优选的技术方案，数字孪生体组件的结构数据包括：视觉场景库、几何结构库、模型功能库、模型材料库、运动学模型、运动学系统库、运动学场景、物理场景和物理模型；

几何模型库中的网格数据复制由三维建模软件生成的网格数据。

作为优选的技术方案，数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，将元素定义方式存储的数据重建出完整对象。

作为优选的技术方案，组态实施工具采用云原生架构设计，组态实施工具将数字孪生体组件上传到云端服务器上的数字孪生体组件仓库。

作为优选的技术方案，云端云机器人调用数字孪生体组件时，通过API接口向组态实施工具发送获取组件的数字映射的信息模型请求，并发送所需获取的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，通过Collada文件的加载类的load方法自动将下载数字孪生体组件的信息模型并导入到云端环境。

作为优选的技术方案，组态实施工具对数字孪生体组件资源的管理是使用AutomationML软件作为模型仓库管理工具，将构建好的数字孪生体组件在云端服务器上的地址写入到AutomationML的模型仓库，模型仓库用于事件通知监视，将事件发布到MQTT，创建数字孪生体组件的数字映射的信息模型，云端通过API接口进行验证，验证通过后，云端从模型仓库中下载对应的数字孪生体组件的信息模型，作为获取事件记录到组态实施工具中。

作为优选的技术方案，云端部署云机器人的智能调度和控制方法，具体包括：访问数字孪生体组件下运动学模型库中的Joint关节信息元素标签下的关于该组件的所有运动学数据的更新，对数字孪生体组件进行运动控制，结合补间动画方法，通过云、雾、边缘端协同系统间的数据感知和交互获取数字孪生体组件的数据源，定位到该数字孪生体组件需要修改运动学数据标签，搜索该数字孪生体组件下所有定义为非静态的Joint关节信息元素标签，如果为非静态关节，则将数据源中该关节的数据参数变量传递给当前的非静态关节角度参数，设置为新的变量，然后将当前变量以及补间动画参数传递给数字孪生体组件动画方法，实现云机器人的智能调度和控制。

作为优选的技术方案，在云端与边缘端机器人控制器节点的数据感知中，实现云端与机器人的控制系统的双向通信，在机器人控制系统的控制器层部署了数据信息特征提取的API接口以及gRPC协议的服务响应端，通过函数变量传递数据，获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，由gRPC协议的服务响应端响应云端的客户请求。

作为优选的技术方案，所述云端与雾端之间交互通过jQuery的AJAX方法，云端发送http get或者post请求与雾端的数字孪生体组件的组态实施工具进行交互，雾端对云端发送的http get或者post请求进行响应。

作为优选的技术方案，构建云机器人的自适应动态网络驱动机制，具体包括：

进行网络波动和计算负载安全检查，当网络波动与计算负载未达到设定峰值时，调用gRPC客户请求端发送获取当前云机器人特征数据请求，边缘节点的gRPC服务响应端调用控制器API获取的当前机器人特征数据，返回实时的机器人运动数据，根据返回的数据定位到该数字孪生体组件需要修改运动学数据标签，对云端的数字孪生体组件的数据进行更新；

当网络波动与计算负载达到设定峰值时，通过Spring Boot框架注入MyBatis依赖，写入特征数据库模块信息，根据当前数字孪生体组件的运行情况发送特定SQL命令访问部署在云端的云机器人的特征数据库模块以及本体知识库，读取数据表中的云机器人的在相似生产环境下知识共享的历史实时数据，将该数据返回给云端的机器人作为机器人实时运动数据的替代数据源，实现云机器人的实时监测与控制。

本发明与现有技术相比，具有如下优点和有益效果：

(1)一般现场采集机器人物理对象的数据信息直接在本地服务器中进行调用，云端没法直接与机器人控制系统进行通信，因为彼此通信协议是不互通的；

但本发明在机器人控制系统的控制器层部署了数据信息特征提取的API接口以及gRPC协议的服务响应端，两者之间是通过函数变量来传递数据，这样在获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据后，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，然后由gRPC协议的服务响应端来响应云端的客户请求，这样就实现了机器人控制系统与云端的双向通信。能够保证数字孪生体组件驱动的数据源的实时性。

(2)现有技术方案将云机器人的数字孪生体部署在云端服务器，通过组态实施工具从云端进行下载，或者是直接部署在本地服务器，直接从本地导入到仿真环境中。

本发明选择在雾端构建云机器人的信息模型，即数字孪生体组件，同时组件的存储能力由OSS(Object StorageService，对象存储服务)提供，采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件实现在雾端的部署，同时完成云端云机器人的智能调度和控制方法对其调用，数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，可由这些元素定义(标签)方式存储的数据重建出完整对象，另一方面远程服务器或者本地设备都可以从雾端获取机器人的数字孪生体组件，减小由于网络带宽波动或者信噪比带来的通信鲁棒性影响。

(3)对于现有的技术方案中利用数字孪生体实现工业场景下信息物理融合方法，组态实施工具从云端下载数字孪生体模型，并根据数字孪生体模型进行可视化工程组态，同时提供行业模板库，其数字孪生体模型的建模是在CPS综合集成管理系统结构实现的，但并未提供组态实施工具的具体实现方法；

本发明采用组态实施工具对数字孪生体组件资源的管理和调度，组态实施工具采用云原生架构设计，通过与边缘端的客户端以及云端的云机器人智能调度方法协作，实现对数字孪生体组件的信息模型、服务、数据、工作流以及安全管理，保证了云机器人的信息模型(数字孪生体组件)在端到端的完整性。

(4)本发明提供一种边云协同的自适应动态网络驱动机制，基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，在不改变原有机器人设备的任务执行下，保证云机器人的实时监测与控制，通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断完善与优化，对网络时变产生的同步误差不断迭代演变，解决网络时变或者不同计算负载机制造成的实时敏感问题。

附图说明

图1为本发明基于云、雾、边缘协同的云机器人实时监测与控制方法的实现架构示意图；

图2为本发明机器人控制系统架构示意图；

图3为本发明数字孪生体组件的信息模型并导入到云端环境展示示意图；

图4为本发明云端、雾端、边缘端协同系统间的数据感知与交互实现过程示意图；

图5为本发明云机器人的自适应动态网络驱动机制示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，本实施例提供一种基于云、雾、边缘协同的云机器人实时监测与控制方法，包括下述步骤：

S1：在边缘端实现对机器人物理对象的数据信息进行特征提取；

如图2所示，针对云机器人控制系统架构而言，一个功能完善的工业机器人控制系统都应具备“高内聚、低耦合”的特性，一般可分为三层，即终端用户层、控制器层和硬件设备层，而控制器层包含运动内核模块、主站模块、以及驱动器模块，硬件设备层包括伺服驱动器、I/O设备，外部传感器。

对于控制器层，驱动器模块主要是跟伺服驱动电机连接；主站模块实现与驱动器通信，获取电机编码器数据，其数据协议是基于EtherCAT；运动内核模块与主站模块通信，获取到电机的实时编码器数据，控制器层获取到编码器数据后，通过编码器分辨率、齿轮比等参数信息进行转换得到机器人各个关节的实时角度数据。

边缘端主要是指机器人控制系统的边缘节点，在获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据后，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，然后在控制器层部署gRPC协议的服务响应端，为云端后台服务器与机器人控制系统的边缘节点数据感知与交互提供前提基础。

S2：在雾端构建机器人的数字孪生体组件；

机器人的数字孪生体组件是云机器人的信息模型，是以文件对象的形式在雾端构建。在雾端环境采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件，同时组件的存储能力由OSS(Object StorageService，对象存储服务)提供，可以采用支持云原生的分布式架构。通过XML元素定义(标签)方式存储数字孪生体组件的结构数据，它包含机器人的视觉场景库、几何结构库、模型功能库、模型材料库、运动学模型、运动学系统、运动学场景、物理场景、物理模型等数据，将物理对象运动学数据与物理数据等以元素定义标签的方式写入，其几何模型库当中的网格数据可复制由三维建模软件生成的网格数据，另外通过标识符的方式描述各个库数据间的引用关系以及与其他智能设备、智能产品的数字孪生体组件的组合层次关系，这样在对机器人的数字孪生体组件进行驱动和与边缘端的机器人物理对象的数据感知和交互时可准确定位到云机器人的某一具体数据范围，是实现对数字孪生体组件精确的数字化控制的基础。雾端指的正是本地操作和云端操作的折中方式，远程服务器或者本地设备都可以从雾端获取机器人的数字孪生体组件，减小由于网络带宽波动或者信噪比带来的通信鲁棒性影响。

选择在雾端构建云机器人的信息模型，同时完成云端云机器人的智能调度和控制方法对其调用，最重要的是数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，可由这些元素定义(标签)方式存储的数据重建出完整对象。由于OSS带有冗余和校验机制，在信息模型数据部分丢失的情况下，只要丢失数据量不超过配置的冗余级别，数字孪生体组件对象就能被完整重建。另一方面雾端指的正是本地操作和云端操作的折中方式，远程服务器或者本地设备都可以从雾端获取机器人的数字孪生体组件，减小由于网络带宽波动或者信噪比带来的通信鲁棒性影响。

S3：在雾端搭建数字孪生体组件的组态实施工具；

在雾端构建好数字孪生体组件后，可通过组态实施工具对组件进行测试、集成和部署，首先组态实施工具会将数字孪生体组件上传到云端服务器上的数字孪生体组件仓库，当云端云机器人的智能调度和控制方法需要调用数字孪生体组件时，才会通过API接口向组态实施工具发送获取组件的数字映射的信息模型请求，并发送想要获取的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，之后智能调度和控制方法才通过Collada文件的加载类(ColladaLoader)的load方法自动将下载数字孪生体组件的信息模型并导入到云端环境。另一方面组态实施工具对数字孪生体组件资源的管理是使用AutomationML软件作为模型仓库管理工具，将构建好的数字孪生体组件在云端服务器上的地址写入到AutomationML的模型仓库，模型仓库支持事件通知监视，可以监视到组件对象的上传、修改、删除、获取等事件。并且可将这一系列事件发布到MQTT(MQTT是一种极轻量的通信协议，适合用于对资源占用和时间敏感的工业场景)，创建组件的数字映射的信息模型，之后云端的智能调度方法可通过API接口进行验证，验证通过后，云端从模型仓库中下载对应的数字孪生体组件的信息模型，该过程会作为获取事件记录到组态实施工具中。当云端的云机器人的智能调度和控制方法需要对数字孪生体组件进行更新时，组态实施工具对组件的修改、删除操作进行验证，并记录该服务请求事件，验证通过后可对组件的数字映射的信息模型进行更新。

组态实施工具并不实际实施数字孪生体组件的下载、更新与可视化，是作为资源调度和管理的工具，保存其信息模型，监视组件对象的上传、修改、删除、获取等事件，同时存储云机器人与其他智能设备、智能产品的协作关系。

本实施例雾端的组态实施工具采用云原生架构设计，通过与边缘端的客户端以及云端的云机器人智能调度方法协作，实现对数字孪生体组件的信息模型、服务、数据、工作流以及安全管理，将数字孪生体组件上传到云端服务器上进行存储，但依旧会在雾端保留元模型，当云端需要对数字孪生体组件进行更新时，需要通过组态实施工具的验证，从而保证了云机器人的信息模型(数字孪生体组件)在端到端的完整性。

S4：在云端部署高复杂度的云机器人的智能调度和控制方法；

在云端部署部署高复杂度的云机器人的智能调度和控制方法，首先通过API接口向雾端的数字孪生体组件的组态实施工具发送获取组件的数字映射的信息模型请求，通过云端发送的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址。在云端先将编写的Collada文件的加载类(ColladaLoader)导入到需要应用到云端部署的智能调度方法当中，利用该类的load方法索引到数字孪生体组件的下载地址，如图3所示，该方法会自动将下载数字孪生体组件的信息模型并导入到云端环境，之后通过该类下的load方法遍历该数字孪生体组件下的所有标签数据，对满足网格模型数据判断的子类标签利用渲染器方法进行渲染。

通过控制方法对数字孪生体组件进行驱动结合，访问数字孪生体组件下运动学模型库中的Joint关节信息元素标签下的关于该组件的所有运动学数据的更新，来对数字孪生体组件进行运动控制，结合补间动画方法(首先定义补间动画持续时间，这里的补间动画指数字孪生体组件从当前的运动姿态运动到下一个运动姿态的持续时间，通过其组件下运动学系统的关节运动速度与加速度参数，计算出当前数字孪生体组件在云端环境下的运动速度)，通过云雾边缘端协同系统间的数据感知和交互获取数字孪生体组件的数据源(这里的数据源可来自云机器人的特征数据库模块或者来自边缘端机器人控制器传递的机器人运动实时数据，根据不同计算负载机制和动态网络来进行调度，具体详见云机器人的自适应动态网络驱动机制)，准确定位到该数字孪生体组件需要修改运动学数据标签，搜索该数字孪生体组件下所有定义为非静态(static)的Joint关节信息元素标签，如果为非静态关节，则将数据源中该关节的数据参数变量传递给当前的非静态关节角度参数，设置为新的变量，然后将当前变量以及补间动画参数传递给数字孪生体组件动画方法，从而实现高复杂度的云机器人的智能调度和控制方案，为实现机器人与云端交互过程中面对不同计算负载分配机制的实时监测与高度同步。

S5：在云端构建云机器人的特征数据库模块以及本体知识库；

云端作为云机器人上传数据运算和存储的载体，面对智能制造领域不同环境下针对不同工作场景和任务需求，云端与雾端数字孪生体组件、组件间通信机制与组合层次、与边缘端底层通信接口往往具有互异性，所以需要构建通用、兼容的云机器人的特征数据库模块与本体知识库来弥补面对云机器人通信鲁棒性与时变性问题。

在云端从边缘端不同客户端获取的实时运行数据建立该云机器人专门的特征数据库的数据表，将这些数据分别打包并分类，存储在数据表中，构建生产信息的知识共享。当云端的机器人智能调度与控制方法与边缘端机器人控制器出现网络宽带波动或者通信延迟情况时，或者是对云机器人进行仿真监测时，可通过后台连接云机器人的特征数据库，读取数据表中的云机器人的在相似生产环境下知识共享的历史实时数据，将该数据返回给云端的机器人智能调度与控制方法，作为实时的数字孪生体组件驱动数据源，来实现与机器人与云端交互的数据实时性。

另一方面，对于云机器人与其他智能设备、智能产品间的协作，将其他智能设备、智能产品的信息资源以JSON文档的高级数据结构存储，构建云机器人的本体知识库，分布于云、雾、边缘端整个集群，雾端与边缘端可从相应云端节点进行读取，在面对不同计算负载分配机制时，用于实时分析云机器人与其他智能设备、智能产品间协作的选择机制和基于本体知识库的生产决策。

S6：实现云端、雾端、边缘端协同系统间的数据感知与交互；

在本实施例中，为了实现云端与机器人的控制系统的双向通信，在机器人控制系统的控制器层部署了数据信息特征提取的API接口以及gRPC协议的服务响应端，两者之间是通过函数变量来传递数据，这样在获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据后，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，然后由gRPC协议的服务响应端来响应云端的客户请求。

如图4所示，云端和边缘端之间以gRPC协议交互，gRPC协议支持双向流，可以保持长连接，能够在边缘端机器人控制系统边缘节点和云端后台服务器之间全双工地收发消息流，gRPC使用标准的protobuf作为接口定义和数据序列化机制，支持超过10种编程语言，能够接受多种不同实现的组件。在云端后台服务器搭建客户请求端，在边缘端的机器人控制系统的控制器层搭建服务响应端，通过端口IP建立云端与边缘端的双向流通信。由于工业硬件设备通常不提供gRPC接口，工业通信协议包括OPC UA、Profinet、EtherCAT等，为了保证云端与边缘端机器人设备能顺利进行通信，需要将工业通信协议转换为gRPC协议。设备适配器安装了工作执行单元，能接受云端智能调度方法的调度，并根据调度方法的指示，对边缘端机器人控制器的数据进行读写或者控制机器人硬件执行动作，提供了gRPC协议接口的软件组件也可与云端后台服务器直接交互；对于没有提供gRPC协议的第三方软件，同样需要转换为统一接口。

云端与雾端之间交互通过jQuery的AJAX方法，云端发送http get或者post请求与雾端的数字孪生体组件的组态实施工具进行交互，雾端可对云端发送的http get或者post请求进行响应。例如，云端通过http get请求发送机器人设备IP端口，组态实施工具通过验证后通过AJAX方法的回调函数返回数字孪生体组件的下载地址。

云端的云机器人的智能调度和控制方法与特征数据库模块交互是通过MyBatis实现的，它是基于java的持久层框架，支持定制化SQL、存储过程以及高级映射。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。可以使用简单的XML或注解来配置和映射原生信息，将接口和Java的POJOs(Plain Ordinary Java Object，普通的Java对象)映射成数据库中的记录。后台服务器采用Spring Boot框架，通过在后台服务器注入MyBatis依赖，写入特征数据库模块信息，可通过SQL命令访问特征数据库模块中的数据信息。

S7：实现云机器人的自适应动态网络驱动机制；

在本实施例中，云机器人的自适应动态网络驱动机制是基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，在不改变原有机器人设备的任务执行下，保证云机器人的实时监测与控制。可通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断完善与优化，对网络时变产生的同步误差不断迭代演变，解决在复杂制造环境下造成的网络时变或者不同计算负载机制造成的实时敏感问题，以及机器人物理设备与机器人的数字孪生体组件运动控制不同步问题。

如图5所示，云机器人的自适应动态网络驱动机制的实现方案是在云机器人的智能调度和控制方法中根据不同的网络波动与计算负载情况修改数字孪生体组件的数据源。当机器人执行云端发送的任务处于网络波动较小、负载均衡的情况时，云端的智能调度和控制方法通过gRPC协议发送获取边缘端机器人设备实时运动数据请求，即发送客户请求，在机器人的设备适配器的边缘节点部署的相应服务端则会将实时的机器人运动数据返回给云端的智能调度和控制方法，根据返回的数据准确定位到该数字孪生体组件需要修改运动学数据标签，对云端的数字孪生体组件的数据进行更新；当网络波动达到设定峰值，出现实时敏感问题时，即机器人设备运动的实时数据返回出现时差性，云端的智能调度和控制方法会通过后端服务器的数据库交互方法，根据当前数字孪生体组件的运行情况发送特定SQL命令访问部署在云端的云机器人的特征数据库模块以及本体知识库，读取数据表中的云机器人的在相似生产环境下知识共享的历史实时数据，将该数据返回给云端的机器人智能调度与控制方法作为机器人实时运动数据的替代数据源，解决网络时变或者不同计算负载机制造成的实时敏感问题，实现云机器人的实时监测与控制。

在参考工业4.0组件的基础上，本发明创新性提出数字孪生体组件的概念，结合现有云资源的特点，采用多视角的理念将其数字孪生体组件按照结构、功能和行为三个方面进行划分，使其充分发挥云原生的弹性和分布式优势。数字孪生体组件的结构视角描述了当前组件实际设备的网格数据(3D网格)、运动学参数、连杆参数、关节类型、关节限位、速度与加速度、材质、外观等物理结构模型以及与其他数字孪生体组件的组合层次关系，构建了数字孪生体组件物理组分的集合特征、材料属性、运动学模型等数据信息；功能视角描述了在动态环境下的组件可供外部访问的信息集合，它为组件间数据的交互提供条件，满足行为表达的复杂需求的能力；行为视角基于当前组件自身的运动学模型，以及由数据源驱动的数字孪生体组件的动态特性表达。

在本实施例中，云端、雾端、边缘端协同系统间的数据感知与交互方案，对于边云协同的数据感知与交互方案，也可采用其他的RPC(远程过程调用)技术解决方案。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，包括下述步骤：

边缘端获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，在控制器层部署gRPC协议的服务响应端；

在雾端构建机器人的数字孪生体组件，采用基于XML框架的Collada格式文件构建机器人的数字孪生体组件，数字孪生体组件的存储能力由OSS提供，通过XML元素定义方式存储数字孪生体组件的结构数据，通过标识符的方式描述各个库数据间的引用关系以及与其他数字孪生体组件的组合层次关系；

在雾端搭建数字孪生体组件的组态实施工具，当云端的云机器人对数字孪生体组件进行更新时，组态实施工具对组件的修改、删除操作进行验证，并记录该服务请求事件，验证通过后对组件的数字映射的信息模型进行更新；

云端部署云机器人的智能调度和控制方法，向雾端的数字孪生体组件的组态实施工具发送获取组件的数字映射的信息模型请求，通过云端发送的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，云端将Collada文件的加载类导入到需要应用到云端部署的智能调度和控制方法当中，利用该类的load方法索引到数字孪生体组件的下载地址，下载数字孪生体组件的信息模型并导入到云端环境，通过该类下的load方法遍历该数字孪生体组件下的所有标签数据，对满足网格模型数据判断的子类标签利用渲染器方法进行渲染；

在云端构建云机器人的特征数据库模块及本体知识库，云端和边缘端之间以gRPC协议交互，云端与雾端之间交互通过jQuery的AJAX方法；

基于云端后台服务器与云机器人的特征数据库模块以及本体知识库的数据感知与交互、云端与边缘端机器人控制器节点的数据感知与交互作为驱动通信基础，以网络时变或者不同计算负载机制作为机制响应决策，构建云机器人的自适应动态网络驱动机制，通过机器学习方法对云机器人的特征数据库模块以及本体知识库不断更新，对网络时变产生的同步误差不断迭代演变，实现云机器人的实时监测与控制；

构建云机器人的自适应动态网络驱动机制，具体包括：

进行网络波动和计算负载安全检查，当网络波动与计算负载未达到设定峰值时，调用gRPC客户请求端发送获取当前云机器人特征数据请求，边缘节点的gRPC服务响应端调用控制器API获取的当前机器人特征数据，返回实时的机器人运动数据，根据返回的数据定位到该数字孪生体组件需要修改运动学数据标签，对云端的数字孪生体组件的数据进行更新；

当网络波动与计算负载达到设定峰值时，通过Spring Boot框架注入MyBatis依赖，写入特征数据库模块信息，根据当前数字孪生体组件的运行情况发送特定SQL命令访问部署在云端的云机器人的特征数据库模块以及本体知识库，读取数据表中的云机器人的在相似生产环境下知识共享的历史实时数据，将该数据返回给云端的机器人作为机器人实时运动数据的替代数据源，实现云机器人的实时监测与控制。

2.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，数字孪生体组件的结构数据包括：视觉场景库、几何结构库、模型功能库、模型材料库、运动学模型、运动学系统库、运动学场景、物理场景和物理模型；

几何模型库中的网格数据复制由三维建模软件生成的网格数据。

3.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，数字孪生体组件将机器人的信息模型划分为带有可配置冗余级别的数据和校验块，云端在读取对象时，将元素定义方式存储的数据重建出完整对象。

4.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，组态实施工具采用云原生架构设计，组态实施工具将数字孪生体组件上传到云端服务器上的数字孪生体组件仓库。

5.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，云端云机器人调用数字孪生体组件时，通过API接口向组态实施工具发送获取组件的数字映射的信息模型请求，并发送所需获取的机器人设备IP端口，组态实施工具验证机器人设备IP端口，返回相应数字孪生体组件的下载地址，通过Collada文件的加载类的load方法自动将下载数字孪生体组件的信息模型并导入到云端环境。

6.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，组态实施工具对数字孪生体组件资源的管理是使用AutomationML软件作为模型仓库管理工具，将构建好的数字孪生体组件在云端服务器上的地址写入到AutomationML的模型仓库，模型仓库用于事件通知监视，将事件发布到MQTT，创建数字孪生体组件的数字映射的信息模型，云端通过API接口进行验证，验证通过后，云端从模型仓库中下载对应的数字孪生体组件的信息模型，作为获取事件记录到组态实施工具中。

7.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，云端部署云机器人的智能调度和控制方法，具体包括：访问数字孪生体组件下运动学模型库中的Joint关节信息元素标签下的关于该组件的所有运动学数据的更新，对数字孪生体组件进行运动控制，结合补间动画方法，通过云、雾、边缘端协同系统间的数据感知和交互获取数字孪生体组件的数据源，定位到该数字孪生体组件需要修改运动学数据标签，搜索该数字孪生体组件下所有定义为非静态的Joint关节信息元素标签，如果为非静态关节，则将数据源中该关节的数据参数变量传递给当前的非静态关节角度参数，设置为新的变量，然后将当前变量以及补间动画参数传递给数字孪生体组件动画方法，实现云机器人的智能调度和控制。

8.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，在云端与边缘端机器人控制器节点的数据感知中，实现云端与机器人的控制系统的双向通信，在机器人控制系统的控制器层部署了数据信息特征提取的API接口以及gRPC协议的服务响应端，通过函数变量传递数据，获取机器人控制系统的设备层的外部传感器的数据信息以及驱动器的编码数据，通过控制器层的特征提取方法转换为云端数字孪生体组件可解码的数据信息，由gRPC协议的服务响应端响应云端的客户请求。

9.根据权利要求1所述的基于云、雾、边缘协同的云机器人实时监测与控制方法，其特征在于，所述云端与雾端之间交互通过jQuery的AJAX方法，云端发送http get或者post请求与雾端的数字孪生体组件的组态实施工具进行交互，雾端对云端发送的http get或者post请求进行响应。

Images