CN111421554B - 基于边缘计算的机械臂智能控制系统、方法、装置 - Google Patents

基于边缘计算的机械臂智能控制系统、方法、装置 Download PDF

Info

Publication number
CN111421554B
CN111421554B CN202010444293.8A CN202010444293A CN111421554B CN 111421554 B CN111421554 B CN 111421554B CN 202010444293 A CN202010444293 A CN 202010444293A CN 111421554 B CN111421554 B CN 111421554B
Authority
CN
China
Prior art keywords
edge
mechanical arm
cloud
control
algorithm file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010444293.8A
Other languages
English (en)
Other versions
CN111421554A (zh
Inventor
陈世超
王宇霄
熊刚
朱凤华
胡潇
胡斌
董西松
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010444293.8A priority Critical patent/CN111421554B/zh
Publication of CN111421554A publication Critical patent/CN111421554A/zh
Application granted granted Critical
Publication of CN111421554B publication Critical patent/CN111421554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)

Abstract

本发明属于工业机器人领域、智能控制领域以及边缘计算领域,公开了一种基于边缘计算的机械臂智能控制系统、方法、装置,旨在实现对机械臂低延迟、高安全性的智能控制。其中系统包括机械臂、传感器、中心云、边缘云、边缘节点;中心云设置有算法文件库;边缘云从中心云获取对应的算法文件进行算法程序配置,基于训练数据获取控制律模型、优化后的逆运动学模型;或者基于工业现场图像构建虚拟场景三维模型;边缘节点获取传感器信息并传送给边缘云进行计算;基于部署的控制律,计算机械臂的控制量。本发明以边缘云作为核心处理平台,协同中心云和设备端,实现工厂在边缘侧进行工业机械臂的低延迟、高安全性的智能控制。

Description

基于边缘计算的机械臂智能控制系统、方法、装置
技术领域
本发明属于工业机器人领域、智能控制领域以及边缘计算领 域,具体涉及一种基于边缘计算的机械臂智能控制系统、方法、装置。
背景技术
工业机械臂广泛应用于自动搬运、装配、焊接、喷涂等工业 现场,是制造业不可或缺的关键设备,因此针对工业机械臂的控制技术 是制造业的关键技术,也是能够提升我国制造业水平的重要技术。然而 工业机械臂一般具有多个运动关节(其中以具有六自由度的最为常见), 并且具有很多难以测量的动力学参数,这就导致工业机械臂的控制系统 属于强耦合的、具有高度非线性和不确定性的复杂系统。基于这个原因, 传统的控制方法很难对其产生满意的控制效果,难以应用于对控制精度、 速度和稳定性有较高要求的现代制造业之中。
而智能控制作为控制学科的前沿研究领域,为我们提供了解 决上述问题的思路和方法。智能控制是人工智能、自动控制与运筹学三 大领域相结合的产物,它应用人工智能的理论与技术和运筹学的优化方 法,并将其同控制理论方法与技术相结合,实现对系统的控制。智能控 制的特点是不需要我们掌握控制系统的精确数学模型,通过效仿人的智能进行大量的、基于数据的学习和训练,就可以智能地给出合适的控制 策略。但是,将智能控制理论和方法应用到实际的工业机械臂控制之中, 会带来诸多问题:理论上的算法是针对各个控制阶段的、相互独立的, 而智能控制系统需要将它们有机地结合在一起,构成一套完整的智能控 制流程,才能保证整体的智能性;此外,智能控制有别于传统的控制方法,基于算法和数据进行训练决定了它需要大量的计算资源,这导致工 厂需要拥有强大的智能化计算能力,并且还需要在该过程中保证低延迟、 高安全性。
针对上述问题,本专利提出一种基于边缘计算的工业机械臂 智能控制系统及方法,在智能控制的理论基础上,将工业机械臂控制的 各个阶段有机地结合在一起,形成了完整的智能控制流程;并且通过边 缘云连接云端与工厂,在边缘侧为工厂提供智能化计算能力,有效地降 低了服务的延迟、保证了数据的安全性。
发明内容
为了解决现有技术中的上述问题,即为了对工业机械臂低延 迟、高安全性的智能控制,本发明提供了一种基于边缘计算的机械臂智 能控制系统、方法、装置。
本发明的第一方面提供了一种基于边缘计算的机械臂智能 控制系统,包括机械臂、传感器,还包括中心云、边缘云、边缘节点;
所述中心云设置有算法文件库;所述算法文件库包括控制律 生成算法文件、图像处理算法文件、三维模型生成算法文件、轨迹规划 算法文件、机械臂的逆运动学模型生成算法文件;
所述边缘云,配置为基于配置信息从所述中心云获取对应的 算法文件,并进行算法程序配置;还配置为基于训练数据对所配置的算 法程序进行训练,并获取控制律模型、优化后的逆运动学模型;还配置 为基于工业现场图像构建虚拟场景三维模型;
所述边缘节点,配置为获取传感器信息并传送给所述边缘云 进行计算;和/或配置为基于所述边缘云获取的控制律模型进行部署的控 制律,依据所述边缘云获取的控制指令,计算所述机械臂的控制量。
在一些优选实例中,该系统还包括工作站,所述工作站配置 为接收输入的操作命令并发送其至所述边缘云,以控制对应所述机械臂 运动;还配置为显示所述边缘云的工作数据。
在一些优选实例中,所述边缘节点包括第一边缘节点和第二 边缘节点,所述第一边缘节点与所述机械臂通信连接,基于获取的控制 指令,以驱动机械臂运动;
所述第二边缘节点与所述传感器通信连接,基于所述传感器 采集的图像进行预处理,获取预处理图像;
所述第一边缘节点和所述第二边缘节点的数量均可为一个 或者多个。
本发明的第二方面提供了一种基于边缘计算的机械臂智能 控制系统配置方法,基于上面任一项所述的基于边缘计算的机械臂智能 控制系统,包括配置以下步骤:
基于所述机械臂和所述传感器信息,所述边缘云从所述中心 云获取算法文件;所获取的算法文件包括控制律生成算法文件、图像处 理算法文件、三维模型生成算法文件、轨迹规划算法文件、机械臂的逆 运动学模型生成算法文件;
基于所述控制律生成算法文件配置生成控制律生成模块;
基于所述逆运动学模型生成算法文件配置生成逆运动学模型生成模 块;
基于所述图像处理算法文件配置生成图像处理模块;
基于所述三维模型生成算法文件配置生成三维模型构建模块;
基于所述轨迹规划算法文件配置生成轨迹规划模块;
配置后的基于边缘计算的机械臂智能控制系统中,所述边缘 云包括所述控制律生成模块、所述逆运动学模型生成模块、所述图像处 理模块、所述三维模型构建模块和所述轨迹规划模块。
在一些优选实例中,所述控制律生成模块用于:A100,基 于所述边缘云对所述机械臂的初始运动控制,所述传感器采集所述机械 臂的关节运动数据作为第一数据,并通过所述边缘节点反馈至所述边缘 云;
A200,基于所述第一数据,通过所述控制律生成算法文件, 获得控制所需的控制律,并将其部署至对应所述边缘节点。
在一些优选实施例中,所述三维模型构建模块用于:B100, 通过工作站发送输入的虚拟场景建模指令至所述边缘云;
B200,所述边缘云基于所述传感器采集的不同角度的现场图 像,将其按照三个维度进行分类;
B300,通过所述图像处理算法文件,所述边缘云依次在三个 维度上进行图像拼接、参数调整、放射变换和坐标系建立的标准化预处 理,得到三个维度的三张综合图片;
B400,通过工作站依次标示三张综合图片中的关键路径点和 障碍区域坐标信息;
B500,所述边缘云基于预设比例构建虚拟三维坐标系,基于 虚拟三维坐标系、标示的关键路径点和障碍区域坐标信息,获得构建的 虚拟场景三维模型。
在一些优选实例中,所述轨迹规划模块用于:
C100,基于选定的轨迹结点,将其拆分成x、y、z三个维度;
C200,结合预设约束条件,分别对x-t、y-t和z-y进行插值运算, 得到xd(t)、yd(t)、zd(t)函数;所述预设约束条件为对选定的轨迹结点的 位置、速度和加速度的约束;
C300,基于得到的xd(t)、yd(t)、zd(t)函数,通过对其离散化采样处 理,得到三维矩阵Pd;其中Pd的公式表达如下:
Figure BDA0002505149340000051
在一些优选实例中,所述逆运动学模型生成模块用于:D100, 基于所述边缘云对所述机械臂的运动控制,所述传感器采集所述机械臂 的关节运动数据作为第二数据,并通过所述边缘节点反馈至所述边缘云; 所述第二数据为采集的关节运动数据构成的三维坐标向量 (xr[i],yr[i],zr[i])及s维坐标向量(θr1[i],θr2[i],...,θrs[i]);
D200,基于所述第二数据,通过所述逆运动学模型生成算 法文件,训练得到人工神经网络模型g,以此作为生成的逆运动学模型; s为所述机械臂的关节个数。
本发明的第三方面提供了一种基于边缘计算的机械臂智能 控制方法,基于第二方面所述的基于边缘计算的机械臂智能控制系统配 置方法配置的基于边缘计算的机械臂智能控制系统,包括以下步骤:
步骤S100,所述边缘云获取任务信息,基于虚拟场景三维 模型,依据预先设定的运动约束条件,通过轨迹规划模块获取机械臂的 控制指令;
步骤S200,机械臂对应的边缘节点获取所述控制指令,基 于部署的所述控制律生成模块中的控制律获取所述机械臂的控制量,用 于驱动机械臂运动。
本发明的第四方面提供了一种存储装置一种存储装置,其中 存储有多条程序,所述程序应用由处理器加载并执行以实现上面所述的 基于边缘计算的机械臂智能控制方法。
本发明的有益效果为:
(1)通过本发明设计的从轨迹规划到逆运动学分析再到控 制量计算的完整的智能控制流程,在每个阶段应用智能控制的理论和方 法,并将它们有机地结合成为系统,保证了该工业机械臂控制系统在整 体上的智能性,从而使该系统相较于传统的工业机械臂控制系统拥有更 优良的控制效果。
(2)基于边缘计算技术完成各阶段的训练计算任务,使工 厂在有效利用云端资源的同时降低对网络的依赖程度,避免其因为大量 的训练而占用过多的带宽,从而使其具备一定的离线工作能力以及自我 优化能力,并且降低了网络延迟造成的影响。
(3)基于边缘云进行计算,为操作人员利用内部网络进行 管理提供了方便,同时也为工厂信息、工业机械臂模型、控制律等重要 数据的安全性提供了有效的保障。
(4)控制律训练、逆运动学模型训练、虚拟场景建模以及 轨迹规划这些任务都可以在边缘侧多次进行,这既使本工业机械臂智能 控制系统具备了自我纠错、自我优化的能力,同时使其具备了一定的柔 性,可以适应不同加工任务的变化。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详 细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明中基于边缘计算的工业机械臂智能控制系统 的一种具体实施例的架构图;
图2为本发明中基于边缘计算的工业机械臂智能控制系统 配置方法的一种具体实施例的工作流程图;
图3为本发明中的控制律生成训练流程图;
图4为本发明中的逆运动学模型生成训练流程图;
图5为本发明中的虚拟场景三维模型构建流程图;
图6为本发明中基于边缘计算的工业机械臂智能控制方法 的一种具体实施例的工作流程图。
具体实施方式
下面参照附图来描述本发明的优选实施方式,本领域技术人 员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非 旨在限制本发明的保护范围。
本发明的第一方面提供了一种基于边缘计算的机械臂智能 控制系统,包括机械臂、传感器、中心云、边缘云、边缘节点;其中, 中心云设置有包括控制律生成算法文件、图像处理算法文件、三维模型 生成算法文件、轨迹规划算法文件、机械臂的逆运动学模型生成算法文 件的算法文件库,从技术层面上支持边缘云完成智能控制所必需得各项 任务基础。
边缘云利用中心云提供的算法文件,结合边缘节点的反馈和 输入的指令数据,对工业机械臂进行控制律训练、逆运动学模型训练以 及轨迹规划等工作,获取控制律模型、优化后的逆运动学模型,并将控 制指令等数据发送到边缘节点完成相应的工作任务;边缘云还可结合现 场的采集设备采集的图像信息进行虚拟场景三维模型的构建。
边缘节点用于接收边缘云的指令,执行机械臂控制以及采集 工业现场的传感器数据并将预处理的数据反馈至边缘云;在本发明中, 边缘节点可为多个,用于分别与现场图像采集的传感器、不同的工业机 械臂进行连接,以执行不同的任务。
该系统还包括工作站,该工作站为操作人员使用的操作终端, 用于实现操作人员和边缘云之间的信息交互;进一步地,接收操作人员 输入的不同操作命令,并可将输入的指令发送至边缘云,通过对应的边 缘节点控制对应机械臂的运动;工作站还可以实时显示边缘云的工作数 据,便于操作人员的监控管理。
以下参照附图结合具体实施例进一步说明本发明。
参照附图1,图示为本发明中基于边缘计算的工业机械臂智 能控制系统的一种具体实施例的架构图,该系统包括用于为边缘云提供 所需的算法和模型数据的中心云、与中心云无线通讯连接用于实现现场 工业机械臂运动执行的边缘云、多个与边缘云通信连接的边缘节点以及 用于人机交互控制的中心站;其中,边缘云是完成智能控制的核心平台,该平台为工业机械臂智能控制的各个阶段的各项训练任务存储资源;该 边缘云能够请求中心云的支持、整合各边缘节点以及工作站反馈的数据, 并能够在此基础上执行控制律训练任务、逆运动学模型训练任务、虚拟 场景建模任务、轨迹规划任务以及实际控制任务。
边缘节点为靠近工业设备的网络边缘侧的业务平台,通过工 业现场总线与边缘云相连,为其下级工业设备提供网络、计算、存储的 资源。边缘节点包括第一边缘节点和第二边缘节点,第一边缘节点可以 与不同的机械臂通信连接,以其作为下级设备,基于获取的控制指令, 以驱动机械臂运动,起到传统工业控制器的作用,即:部署边缘云训练 的控制律,根据边缘云的控制输入和工业机械臂的实际运动数据,计算 输出控制量。第二边缘节点与工业现场的图像传感器通信连接,以其作 为下级设备,用于对其采集的图像、运动学参数等工业现场的数据进行 预处理并发送给边缘云。
进一步地,在本发明中,中心云为中心服务器,边缘云为边 缘服务器。
进一步地,第一边缘节点和第二边缘节点的数量均可为一个 或者多个;本领域技术人员所知的是,在本发明中,边缘云还可以设置 连接其它不同用途的边缘节点,用于执行对应的任务,故在此不再一一 赘述。
本发明的第二方面提供了一种基于边缘计算的机械臂智能 控制系统配置方法,参照附图2,图示为本发明中基于边缘计算的工业机 械臂智能控制系统配置方法的一种具体实施例的工作流程图;基于机械 臂和传感器信息,边缘云从中心云获取算法文件;所获取的算法文件包 括控制律生成算法文件、图像处理算法文件、三维模型生成算法文件、 轨迹规划算法文件、机械臂的逆运动学模型生成算法文件;基于控制律 生成算法文件配置生成控制律生成模块;基于逆运动学模型生成算法文 件配置生成逆运动学模型生成模块;基于图像处理算法文件配置生成图 像处理模块;基于三维模型生成算法文件配置生成三维模型构建模块; 基于轨迹规划算法文件配置生成轨迹规划模块;配置后的基于边缘计算的机械臂智能控制系统中,边缘云包括控制律生成模块、逆运动学模型 生成模块、图像处理模块、三维模型构建模块和轨迹规划模块。
进一步地,控制律生成模块用于:A100,基于边缘云对机械 臂的初始运动控制,传感器采集机械臂的关节运动数据作为第一数据, 并通过边缘节点反馈至所述边缘云;A200,基于第一数据,通过控制律 生成算法文件,获得控制所需的控制律,并将其部署至对应边缘节点。
进一步地,结合附图3,图示为本发明中的控制律生成训练 流程图;步骤S1,操作人员通过工作站向边缘云发出控制律训练指令, 指示边缘云开始进行控制律训练任务;步骤S2,边缘云接收控制律训练 指令,向中心云提出请求,下载以下内容:关于控制律的工业机械臂动 力学模型(表现为控制输出量τ的表达式,含未知函数t)、用于控制律训 练的人工神经网络模型及相应的训练算法;步骤S3,边缘云向用于控制 律训练的人工神经网络模型的参数带入初值,模拟出未知函数f的初始模 型f0,进而带入机械臂动力学模型,计算生成控制律的初始模型,并将其 部署到下属的控制用边缘节点中;步骤S4,边缘云给出关节角度、角速 度期望值θd
Figure BDA0002505149340000101
作为控制输入,由下属控制用边缘节点计算得出关节控 制力矩期望值τd,进行一次工业机械臂试控制,并在此过程中采集关节角 度、角速度实际值θr
Figure BDA0002505149340000102
以及关节控制力矩实际值τr,将它们反馈至边缘 云;步骤S5,边缘云整合θd
Figure BDA0002505149340000103
θr
Figure BDA0002505149340000104
τd、τr,将其作为训练样本数 据,利用训练算法对用于控制律训练的人工神经网络模型进行一次迭代 训练,更新其参数取值,模拟出新的未知函数模型f1,进而计算生成新的 控制律模型,并将其部署到下属的控制用边缘节点中;步骤S6,边缘云 和边缘节点重复进行步骤4的内容;步骤S7,边缘云整合 θd
Figure BDA0002505149340000105
θr
Figure BDA0002505149340000106
τd、τr,判断控制律的控制效果是否满足预期?是,则 完成控制律训练任务,否,则回到步骤S5继续循环。
其中,机械臂动力学模型:
Figure BDA0002505149340000107
其中,M(θ)是n×n的正定对称矩阵,是θ的函数,称为机 械臂的惯性矩阵;
Figure BDA0002505149340000108
是n×1的离心力和科氏力矢量;G(θ)是n×1的 重力矢量,与机械臂的形位θ有关。通过人工神经网络对未知函数f进行模 拟构建。训练的时候采样θ、
Figure BDA0002505149340000109
实际值以及对应的τ实际值,通过有监 督学习训练,得到作为f的人工神经网络,把它用于实际控制中。
在本发明中,部署即为将训练完成的人工神经网络模型(包 括网络拓扑结构、激活函数、各权值)以数据的形式传输到边缘节点, 目的是为了完成后面的控制任务。
进一步地,控制律训练方法利用人工神经网络逼近机械臂动 力学模型中的未知函数,使该动力学模型的参量全部已知,从而据此构 建控制所需的控制律,该控制律输出的控制量为工业机械臂各关节的控 制力矩τ。
进一步地,在实际工作过程中,若关节角度、角速度的实际 值θr
Figure BDA0002505149340000111
与期望值θd
Figure BDA0002505149340000112
持续存在较大偏差,则由边缘云重新进行控制律 重训练。
进一步地,逆运动学模型生成模块用于:D100,基于边缘云 对机械臂的运动控制,传感器采集机械臂的关节运动数据作为第二数据, 并通过边缘节点反馈至边缘云;第二数据为采集的关节运动数据构成的 三维坐标向量(xr[i],yr[i],zr[i])及s维坐标向量(θr1[i],θr2[i],...,θrs[i]); D200,基于第二数据,通过逆运动学模型生成算法文件,训练得到人工 神经网络模型g,以此作为生成的逆运动学模型。
其中,s为机械臂的关节个数,g为逆运动学训练步骤中训 练得到的神经网络函数模型;即逆运动学模型训练方法利用人工神经网 络逼近工业机械臂的逆运动学模型,该逆运动学模型以工业机械臂末端 的三维坐标作为输入,以其各关节的相对角度θ作为输出,表现为: θ=(θd1[i],θd2[i],...,θds[i])=g(xd[i],yd[i],zd[i]);需要说明得是,上述训练步骤中涉及到的数据为样本数据,其下标为r,而在实际使用过程中涉 及到的数据为期望数据,其下标为d,不限制本发明的保护范围。
进一步地,结合附图4,图示为本发明中的逆运动学模型生 成训练流程图;边缘服务器控制工业机械臂完成一组运动,采集其运动 数据作为训练样本,基于中心云提供的人工神经网络模型以及训练算法, 逼近工业机械臂的逆运动学模型,其具体实施步骤如下:步骤S1,操作 人员通过工作站向边缘云发出逆运动学模型训练指令,指示边缘云开始 进行逆运动学模型训练任务;步骤S2,边缘云接收逆运动学模型训练指 令,向中心云提出请求,下载用于逆运动学模型训练的人工神经网络模 型及相应的训练算法;步骤S3,进行机械臂的控制运动,并在此过程中 采集末端三维坐标实际值,并构成三维坐标向量(xr[i],yr[i],zr[i]),采集 各关节角度实际值,并构成s维坐标向量(θr1[i],θr2[i],...,θrs[i]),将它 们反馈至边缘云;步骤S4,边缘云利用人工神经网络模型训练算法,训 练以(xr[i],yr[i],zr[i])为输入、以(θr1[i],θr2[i],...,θrs[i])为输出的人工神 经网络模型g,以此作为生成的逆运动学模型;s为机械臂的关节个数。
进一步地,在实际工作过程中,若机械臂的各关节控制不存 在问题而其末端的三维坐标、速度即P、V持续存在较大偏差,则由边缘 云重新进行逆运动学模型重训练。
进一步地,在实际工作过程中,若机械臂更新了零部件,则 由操作人员指示边缘云重新依次进行控制律重训练以及逆运动学模型重 训练。
进一步地,三维模型构建模块用于:B100,通过工作站发送 输入的虚拟场景建模指令至边缘云;B200,边缘云基于传感器采集的不 同角度的现场图像,将其按照三个维度进行分类;B300,通过图像处理 算法文件,边缘云依次在三个维度上进行图像拼接、参数调整、放射变 换和坐标系建立的标准化预处理,得到三个维度的三张综合图片;B400, 通过工作站依次标示三张综合图片中的关键路径点和障碍区域坐标信息; B500,边缘云基于预设比例构建虚拟三维坐标系,基于虚拟三维坐标系、 标示的关键路径点和障碍区域坐标信息,获得构建的虚拟场景三维模型。
进一步地,图5为本发明中的虚拟场景三维模型构建流程图; 虚拟场景建模的具体实施步骤如下:步骤S1,操作人员通过工作站向边 缘云发出虚拟场景建模指令,指示边缘云开始进行虚拟场景建模任务; 步骤S2,边缘云收集边缘节点接收的图像传感器拍摄的各个角度的工业 现场图像,并将这些图像按照三个维度进行分类;步骤S3,边缘云利用 中心云提供的图像处理算法,依次在三个维度上对这些图像进行图像拼 接、参数调整、仿射变换、坐标系建立等标准化预处理,整合得到三个 维度的三张综合图片;步骤S4,操作人员通过工作站依次标示三张图片 中的关键路径点和障碍区域的坐标信息;步骤S5,边缘云按照一定比例 构建一个虚拟的三维坐标系,并在其中整合这三个维度的坐标信息,得 到机械臂工作中的关键路径点和障碍区域在三维坐标系中的位置信息, 从而得到虚拟场景三维模型。
进一步地,轨迹规划模块用于:C100,基于选定的轨迹结点, 将其拆分成x、y、z三个维度;C200,结合预设约束条件,分别对x-t、 y-t和z-y进行插值运算,得到xd(t)、yd(t)、zd(t)函数;预设约束条件 为对选定的轨迹结点的位置、速度和加速度的约束;C300,基于得到的 xd(t)、yd(t)、zd(t)函数,通过对其离散化采样处理,得到三维矩阵 Pd;其中Pd的公式表达如下:
Figure BDA0002505149340000131
进一步,轨迹规划的具体实施方式为:边缘云读取虚拟场景 三维模型,按照人为设置的运动约束条件以及期望目标,利用由中心云 提供的轨迹规划算法,在三维坐标系内进行插值以及最优化运算,输出 机械臂末端的三维坐标Pd
进一步地,在本发明中,轨迹规划算法是在在直角空间中进 行,将选定的轨迹结点拆分为x,y,z三个维度,以关于这些点位置、 速度、加速度的显性约束(如连续性和光滑程度)为约束条件,从一类 函数(如n次多项式)选取参数化轨迹,分别进行x-t,y-t,z-t插值, 并满足约束条件。得到xd(t)、yd(t)、zd(t)三个关于时间的函数后,对其 进行一定时间间隔T的离散化采样,得到n维序列xd[n]、yd[n]、zd[n], 由他们拼接为三维坐标矩阵Pd
进一步地,在实际工作过程中,若机械臂更新了运动要求, 则由操作人员指示边缘云重新进行轨迹重规划。
本发明的第三方面提供了一种基于边缘计算的机械臂智能 控制方法,参照附图6,图示为本发明提供的一种具体实施例的工作流程; 基于第二方面所述的基于边缘计算的机械臂智能控制系统配置方法配置 的第一方面所述的基于边缘计算的机械臂智能控制系统,包括以下步骤: 步骤S100,边缘云按照第二方面所述的基于边缘计算的机械臂智能控制 系统配置方法,配置生成控制律生成模块、逆运动学模型生成模块、图 像处理模块、三维模型构建模块和轨迹规划模块,并使它们按照第二方 面所述的工作方法进行工作,依次获得控制所需的控制律、逆运动学模 型和虚拟场景三维模型;步骤S200,边缘云通过工作站获取包括配置好 的模块的控制任务信息,基于虚拟场景三维模型,依据预先设定的运动 约束条件,通过轨迹规划模块获取机械臂的控制指令;步骤S300,机械 臂对应的边缘节点获取控制指令,基于部署的控制律获取机械臂的控制 量,用于驱动机械臂运动。
本发明的第四方面提供了一种存储装置,其中存储有多条程 序,所述程序应用由处理器加载并执行以实现上面所述的基于边缘计算 的机械臂智能控制方法。
进一步地,机械臂工作场景的模型框架为由云端下载的一个 三维模型,其中预置了相应型号的机械臂模型;后面标注轨迹结点、障 碍物以及工件位置时即在此模型的基础上建模标注。
虽然已经参考优选实施例对本发明进行了描述,但在不脱离 本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换 其中的部件,尤其是,只要不存在结构冲突,各个实施例中所提到的各 项技术特征均可以任意方式组合起来;本发明并不局限于文中公开的特 定实施例,而是包括落入权利要求的范围内的所有技术方案。
在本发明的描述中,术语“中心”、“上”、“下”、“左”、 “右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系 的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而 不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构 造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第 二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,还需要说明的是,在本发明的描述中,除非另有明确 的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例 如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机 械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据 具体情况理解上述术语在本发明中的具体含义。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包 含,从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些 要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、物 品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技 术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然 不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域 技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换 之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于边缘计算的机械臂智能控制系统,包括机械臂、传感器;其特征在于,该系统还包括中心云、边缘云、边缘节点;
所述中心云设置有算法文件库;所述算法文件库包括控制律生成算法文件、图像处理算法文件、三维模型生成算法文件、轨迹规划算法文件、机械臂的逆运动学模型生成算法文件;
所述边缘云,配置为基于配置信息从所述中心云获取对应的算法文件,并进行算法程序配置;还配置为基于训练数据对所配置的算法程序进行训练,并获取控制律模型、优化后的逆运动学模型;还配置为基于工业现场图像构建虚拟场景三维模型;
所述边缘节点,配置为获取传感器信息并传送给所述边缘云进行计算;和/或配置为基于所述边缘云获取的控制律模型进行机械臂控制律的部署,依据所述边缘云获取的控制指令,计算所述机械臂的控制量。
2.根据权利要求1所述的基于边缘计算的机械臂智能控制系统,其特征在于,该系统还包括工作站,所述工作站配置为接收输入的操作命令并发送其至所述边缘云,以控制对应的所述机械臂运动;还配置为显示所述边缘云的工作数据。
3.根据权利要求2所述的基于边缘计算的机械臂智能控制系统,其特征在于,所述边缘节点包括第一边缘节点和第二边缘节点,所述第一边缘节点与所述机械臂通信连接,基于获取的控制指令,以驱动机械臂运动;
所述第二边缘节点与所述传感器通信连接,基于所述传感器采集的图像进行预处理,获取预处理图像;
所述第一边缘节点和所述第二边缘节点的数量均可为一个或者多个。
4.一种基于边缘计算的机械臂智能控制系统配置方法,其特征在于,基于权利要求1-3中任一项所述的基于边缘计算的机械臂智能控制系统,包括配置以下步骤:
基于所述机械臂和所述传感器信息,所述边缘云从所述中心云获取算法文件;所获取的算法文件包括控制律生成算法文件、图像处理算法文件、三维模型生成算法文件、轨迹规划算法文件、机械臂的逆运动学模型生成算法文件;
基于所述控制律生成算法文件配置生成控制律生成模块;
基于所述逆运动学模型生成算法文件配置生成逆运动学模型生成模块;
基于所述图像处理算法文件配置生成图像处理模块;
基于所述三维模型生成算法文件配置生成三维模型构建模块;
基于所述轨迹规划算法文件配置生成轨迹规划模块;
配置后的基于边缘计算的机械臂智能控制系统中,所述边缘云包括所述控制律生成模块、所述逆运动学模型生成模块、所述图像处理模块、所述三维模型构建模块和所述轨迹规划模块。
5.根据权利要求4所述的基于边缘计算的机械臂智能控制系统配置方法,其特征在于,所述控制律生成模块用于:
A100,基于所述边缘云对所述机械臂的初始运动控制,所述传感器采集所述机械臂的关节运动数据作为第一数据,并通过所述边缘节点反馈至所述边缘云;
A200,基于所述第一数据,通过所述控制律生成算法文件,获得控制所需的控制律,并将其部署至对应的所述边缘节点中。
6.根据权利要求4所述的基于边缘计算的机械臂智能控制系统配置方法,其特征在于,所述三维模型构建模块用于:
B100,通过工作站发送输入的虚拟场景建模指令至所述边缘云;
B200,所述边缘云基于所述传感器采集的不同角度的现场图像,将其按照三个维度进行分类;
B300,通过所述图像处理算法文件,所述边缘云依次在三个维度上进行图像拼接、参数调整、放射变换和坐标系建立的标准化预处理,得到三个维度的三张综合图片;
B400,通过工作站依次标示三张综合图片中的关键路径点和障碍区域坐标信息;
B500,所述边缘云基于预设比例构建虚拟三维坐标系,基于虚拟三维坐标系、标示的关键路径点和障碍区域坐标信息,获得构建的虚拟场景三维模型。
7.根据权利要求4所述的基于边缘计算的机械臂智能控制系统配置方法,其特征在于,所述轨迹规划模块用于:
C100,基于选定的轨迹结点,将其拆分成x、y、z三个维度;
C200,结合预设约束条件,分别对x-t、y-t和z-y进行插值运算,得到
Figure 716712DEST_PATH_IMAGE001
Figure 804754DEST_PATH_IMAGE002
函数;所述预设约束条件为对选定的轨迹结点的位置、速度和加速度的约束;
C300,基于得到的
Figure 275050DEST_PATH_IMAGE003
Figure 739529DEST_PATH_IMAGE004
函数,通过对其离散化采样处理,得到三维矩阵
Figure 408408DEST_PATH_IMAGE005
Figure 729668DEST_PATH_IMAGE006
,其中,n为进行插值运算得到插值点的个数。
8.根据权利要求4所述的基于边缘计算的机械臂智能控制系统配置方法,其特征在于,所述逆运动学模型生成模块用于:
D100,基于所述边缘云对所述机械臂的运动控制,所述传感器采集所述机械臂的关节运动数据作为第二数据,并通过所述边缘节点反馈至所述边缘云;所述第二数据为采集的关节运动数据构成的三维坐标向量
Figure 749576DEST_PATH_IMAGE007
,
Figure 689851DEST_PATH_IMAGE008
及s维坐标向量
Figure 478815DEST_PATH_IMAGE009
D200,基于所述第二数据,通过所述逆运动学模型生成算法文件,训练得到人工神经网络模型g,以此作为生成的逆运动学模型;s为所述机械臂的关节个数。
9.一种基于边缘计算的机械臂智能控制方法,其特征在于,基于权利要求4-8中任一项所述的基于边缘计算的机械臂智能控制系统配置方法配置的基于边缘计算的机械臂智能控制系统,包括以下步骤:
步骤S100,所述边缘云获取任务信息,基于虚拟场景三维模型,依据预先设定的运动约束条件,通过轨迹规划模块获取机械臂的控制指令;
步骤S200,机械臂对应的边缘节点获取所述控制指令,基于部署的所述控制律生成模块中的控制律获取所述机械臂的控制量,用于驱动机械臂运动。
10.一种存储装置,其中存储有多条程序,其特征在于,所述程序由处理器加载并执行以实现权利要求9所述的基于边缘计算的机械臂智能控制方法。
CN202010444293.8A 2020-05-22 2020-05-22 基于边缘计算的机械臂智能控制系统、方法、装置 Active CN111421554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010444293.8A CN111421554B (zh) 2020-05-22 2020-05-22 基于边缘计算的机械臂智能控制系统、方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010444293.8A CN111421554B (zh) 2020-05-22 2020-05-22 基于边缘计算的机械臂智能控制系统、方法、装置

Publications (2)

Publication Number Publication Date
CN111421554A CN111421554A (zh) 2020-07-17
CN111421554B true CN111421554B (zh) 2021-05-04

Family

ID=71552917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010444293.8A Active CN111421554B (zh) 2020-05-22 2020-05-22 基于边缘计算的机械臂智能控制系统、方法、装置

Country Status (1)

Country Link
CN (1) CN111421554B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4198730A1 (en) * 2021-12-20 2023-06-21 INTEL Corporation Dynamic safety awareness task distribution

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261146B (zh) * 2020-10-23 2022-05-24 杭州卷积云科技有限公司 一种基于消息通信和文件传输的边云协同通信系统及方法
CN112549020A (zh) * 2020-11-12 2021-03-26 国网上海市电力公司 一种用于带电作业机器人的管控系统及方法
CN112449022B (zh) * 2020-12-08 2023-07-18 和利时卡优倍科技有限公司 云边协同方法、装置、系统及电子设备
CN113655764A (zh) * 2021-08-16 2021-11-16 珠海格力电器股份有限公司 云边协同控制系统及控制方法
CN113835362A (zh) * 2021-09-23 2021-12-24 上海益邦智能技术股份有限公司 一种设备控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804668A (zh) * 2018-06-08 2018-11-13 珠海格力智能装备有限公司 数据处理方法及装置
CN109462654A (zh) * 2018-11-30 2019-03-12 深圳市中电数通智慧安全科技股份有限公司 一种智慧应急控制系统
EP3479972A1 (en) * 2017-11-07 2019-05-08 Atos Spain S.A. Robot tasks scheduling process
CN109936619A (zh) * 2019-01-18 2019-06-25 中国科学院空间应用工程与技术中心 一种基于雾计算的空间信息网络架构、方法和可读存储介质
CN110572448A (zh) * 2019-08-30 2019-12-13 烽火通信科技股份有限公司 一种分布式边缘云系统架构
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置
CN110942524A (zh) * 2019-12-05 2020-03-31 中国科学院自动化研究所 基于区块链的云边端协同停车管理计时收费系统、方法
CN110994798A (zh) * 2019-12-16 2020-04-10 深圳供电局有限公司 变电设备监控系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3479972A1 (en) * 2017-11-07 2019-05-08 Atos Spain S.A. Robot tasks scheduling process
CN108804668A (zh) * 2018-06-08 2018-11-13 珠海格力智能装备有限公司 数据处理方法及装置
CN109462654A (zh) * 2018-11-30 2019-03-12 深圳市中电数通智慧安全科技股份有限公司 一种智慧应急控制系统
CN109936619A (zh) * 2019-01-18 2019-06-25 中国科学院空间应用工程与技术中心 一种基于雾计算的空间信息网络架构、方法和可读存储介质
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置
CN110572448A (zh) * 2019-08-30 2019-12-13 烽火通信科技股份有限公司 一种分布式边缘云系统架构
CN110942524A (zh) * 2019-12-05 2020-03-31 中国科学院自动化研究所 基于区块链的云边端协同停车管理计时收费系统、方法
CN110994798A (zh) * 2019-12-16 2020-04-10 深圳供电局有限公司 变电设备监控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4198730A1 (en) * 2021-12-20 2023-06-21 INTEL Corporation Dynamic safety awareness task distribution

Also Published As

Publication number Publication date
CN111421554A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111421554B (zh) 基于边缘计算的机械臂智能控制系统、方法、装置
CN110000785B (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
CN110900598A (zh) 机器人三维运动空间动作模仿学习方法和系统
CN110154024B (zh) 一种基于长短期记忆神经网络增量模型的装配控制方法
Yilmaz et al. Nonlinear adaptive control of an aerial manipulation system
Kim et al. Cooperation in the air: A learning-based approach for the efficient motion planning of aerial manipulators
US20240033904A1 (en) Simulating multiple robots in virtual environments
Roque et al. Fast model predictive image-based visual servoing for quadrotors
Chien et al. Kinematic model predictive control for a novel tethered aerial cable-driven continuum robot
Mai et al. Driving swarm: A swarm robotics framework for intelligent navigation in a self-organized world
Mebarki et al. Toward image-based visual servoing for cooperative aerial manipulation
Khaliq et al. Multi-platform hardware in the loop (hil) simulation for decentralized swarm communication using ros and gazebo
D'Urso et al. Integrating Heterogeneous Tools for Physical Simulation of multi-Unmanned Aerial Vehicles.
CN115098941B (zh) 面向智能算法敏捷部署的无人机数字孪生控制方法和平台
Lewis et al. Virtual testing and policy deployment framework for autonomous navigation of an unmanned ground vehicle using reinforcement learning
Zhu et al. A testbed for aerial robots formation flight
Wang et al. Autonomous obstacle avoidance algorithm of UAVs for automatic terrain following application
Quan et al. Simulation Platform for Autonomous Aerial Manipulation in Dynamic Environments
Du et al. Unmanned helicopter flight controller design by use of model predictive control
Taha et al. Small-scale helicopter system identification model using recurrent neural networks
Wozniak et al. Virtual reality framework for better human-robot collaboration and mutual understanding
Yang et al. Study on Virtual Training Platform for Reinforcement Learning of Space Manipulator
Patkar Motion Planning for Aerial Manipluation in Constrained Environments
Spanogianopoulos Cooperating robots for production and assembly: a technical review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant