CN111424380A

CN111424380A - 一种基于技能学习与泛化的机器人缝制系统及方法

Info

Publication number: CN111424380A
Application number: CN202010241690.5A
Authority: CN
Inventors: 宋锐; 赵曼; 李凤鸣; 田新诚; 刘义祥; 李贻斌
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2020-07-17
Anticipated expiration: 2040-03-31
Also published as: CN111424380B

Abstract

本发明公开了一种基于技能学习与泛化的机器人缝制系统及方法，包括：机器人、机械手爪、缝纫机、控制装置及云平台；所述机器人控制机械手爪夹取布料至待缝制区展平并将信号反馈至控制装置；所述控制装置存储有已经设置的缝制轨迹以及缝制的坐标、速度、线形参数，所述控制装置将参数指令下发至机器人；所述机器人基于控制指令控制手爪平移拖动布料至缝纫机设定好的待缝制点，定位落针；所述机器人与云平台通信，所述云平台对机器人进行任务示教，实现机器人缝制技能学习及机器人缝制技能泛化；所述机器人需要执行新的线形的缝制任务时，对机器人末端位置进行示教，在云平台中匹配出元学习策略和相对应的缝制技能，从而实现机器人缝制技能的泛化。

Description

一种基于技能学习与泛化的机器人缝制系统及方法

技术领域

本发明属于机器人控制技术领域，尤其涉及一种基于技能学习与泛化的机器人缝制系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

现有的缝制系统，有的将缝纫机头固定在机械臂末端，将布料固定，规划机器人末端轨迹进行平面或曲面缝制，当实际组装的缝纫机中心位置与设定位置不一致时，则无法满足期望的缝制。

也有的将缝纫机固定，通过视觉定位，移动拖着布的机器人，实现自动缝制，这样需要经复杂的图像处理来获得缝制路径。

在目前研究中技能学习与泛化能大大提高机器人的工作效率，但是在机器人缝纫系统中却存在缝制动作难以表征和学习等问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于技能学习与泛化的机器人缝制系统，能够提高数据的利用率并提升缝制技能。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于技能学习与泛化的机器人缝制系统，包括：

机器人、机械手爪、缝纫机、控制装置及云平台；

所述机器人控制机械手爪夹取布料至待缝制区展平并将信号反馈至控制装置；

所述控制装置存储有已经设置的缝制轨迹以及缝制的坐标、速度、线形参数，所述控制装置将参数指令下发至机器人；

所述机器人基于控制指令控制手爪平移拖动布料至缝纫机设定好的待缝制点，定位落针；

所述机器人与云平台通信，所述云平台对机器人进行任务示教，实现机器人缝制技能学习及机器人缝制技能泛化；

所述机器人需要执行新的线形的缝制任务时，对机器人末端位置进行示教，在云平台中匹配出元学习策略和相对应的缝制技能，从而实现机器人缝制技能的泛化。

另一方面，为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于技能学习与泛化的机器人缝制方法，包括：

夹取布料至待缝制区展平；

机器人基于已经设置的缝制轨迹以及缝制的坐标、速度、线形参数控制手爪平移拖动布料至缝纫机设定好的待缝制点，定位落针；

通过DMP、GMM、GMR方法对机器人末端示教数据进行缝制动作表征；

云平台对机器人进行任务示教数据学习，存储学习形成的缝制策略，实现机器人缝制技能学习及机器人缝制技能泛化；

机器人需要执行新的线形的缝制任务时，对机器人末端位置进行示教，在云平台中匹配出元学习策略和相对应的缝制技能，从而实现机器人缝制技能的泛化。

以上一个或多个技术方案存在以下有益效果：

1、本发明将机器人的操作末端动作通过DMP方法划分为动态原语，并形成运动基元库以表征复杂的运动。DMP的本质是借助易学的强迫函数项将易于理解的简单吸引子系统转换为所需的吸引子系统。几乎任意复杂的点吸引子和极限环吸引子都可以实现。多个自由度可以与任意相位关系协调。可以保证模型方程的稳定性。划分为动态原语可以表征任意复杂的运动，方便技能学习与泛化。

2、本发明采用GMM和GMR的概率模型法。该方法具有很强的编码能力和噪声处理能力，在样本数据足够多时，可以编码表征任何复杂运动。

3、本发明采用元学习方法，学习一个元评价网络，在面对新的缝制任务时只需要较少的机械臂末端位置示教数据，便可生成对应的缝制任务的缝制策略，学习效率高且学习成本低。

4、本发明采用云平台存放机器人学习后的大量数据和基于不同数据产生的对应的操作策略。不同型号的机器人可以通过云平台通信和资源共享，解决单个机器自我学习的局限性，大幅加速机器人在现实中的缝制技能学习与泛化。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例机器人缝制系统的组成结构图；

图2为本发明实施例机器人的缝制系统缝纫作业流程图；

图3为本发明实施例机器人缝制技能学习与泛化流程图；

图4为本发明实施例机器人缝制技能泛化图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

参见附图1所示，本实施例公开了一种基于技能学习与泛化的机器人缝制系统，包括UR机器人，三指手爪，缝纫机，控制装置，云平台、上料箱、下料箱等。

具体的，三指手爪安装于UR机器人末端，用于布料的夹取，展平，上料和下料；安装有三指手爪的UR机器人用于配合缝纫机缝纫工作的左移、右移、加速、减速、同速移动完成缝制作业；将机器人和缝纫机安装在同一个平面上，控制装置可以采集缝纫机的转速以及机器人末端的位置、速度、加速度等信息，通过缝纫机转速与机器人末端移动信息之间的函数映射关系，实现机器人与缝纫机之间的通信和同速缝制，云平台用于存储和操作所有的数据，实现机器人缝制技能的学习与泛化。

在另一实施例中，参见附图2所示，一种基于技能学习与泛化的机器人缝制方法，机器人的缝制系统缝纫作业流程，首先机器人、机械手爪、缝纫机的工作位置参数初始化设定。

S1缝制前：机械手爪从上料设备中夹取布料至待缝制区展平，发送信号给机器人的控制器。设置缝制轨迹以及缝制的坐标、速度、线形等参数。

S2缝制时：手爪平移拖动布料至缝纫机设定好的待缝制点，定位落针。根据缝纫机的属性，缝纫机的转速与机器人末端移动速度之间存在函数关系，从云平台中已学习的缝制技能数据进行匹配，选出合适的缝制策略，控制系统控制缝纫机和机器人同速运动，完成缝制任务。缝制结束，剪线起针。

S3缝制后产品合格检验：判断是否合格。合格的话计数后手爪夹取至合格下料箱，不合格的话夹至不合格下料箱。

S4结束判断：如果不结束就从上料箱中夹取一块布料，继续S1。

缝制技能学习，是通过一种学习算法对缝制过程中的机器人技能进行编码学习的过程。对缝制过程中的机器人操作技能进行末端轨迹示教，用DMP方法分解，得到DMP公式中不同位置对应的强迫函数，用GMM进行对其分类编码，GMR回归泛化得到一系列较准确地末端位置数据和对应的强迫函数，这些数据组合形成针对当前示教任务的缝制技能，然后通过学习产生大量的缝制技能数据，当有不同的线形变化需求时，缝制系统能用少量末端轨迹数据示教便生成相对应的缝制策略，顺利完成缝制任务。采用的元学习的学习方法，运算和存储平台是云平台。

参见附图3所示，具体缝制技能学习的步骤如下：

步骤一：对机器人进行任务示教

基于物理交互方式，即人机接触拖动示教的方法，进行不同线形(如：直线、锯齿线、四边形、圆形等)的缝制作业，记录每次缝制过程中机器人末端点多个位置的示教信息。

步骤二：机器人缝制技能学习

2-1)对示教操作动作进行表征

2-1-1)复杂运动可以由一系列基元表示的简单运动组成。基于各个示教点的机器人末端位置参数信息，建立一种基于动态运动原语(Dynamic Movement Primitives,DMP)的用于存储和用数学形式表示复杂运动的基元库。每个示教点的位置信息就是一个运动基元点，存在一个对应的强迫函数，可以组合动态基元点描述复杂的缝制线形任务下机器人的运动。

2-1-2)利用高斯混合模型(Gaussian Mixture Model,GMM)对机器人各个示教点的参数进行预处理，编码提取机器人的行为特征，用高斯混合回归(Gaussian MixtureRegression,GMR)方法回归泛化，选出DMP方法存储的示教信息中和实际缝制任务最接近的动作基元点，这些基元点组合就可以形成不同的机器人辅助缝制动作，也可以存入云平台进行学习，产生大量的缝制动作信息。

2-1-3)经过DMP、GMM和GMR处理，将动作划分为像：右移、左移、平动、加速、减速、停止等基本的动作基元库，实现通过数学形式对机器人缝纫技能动作的表征。

2-2)缝制技能学习

技能学习采用元学习的方法。通过元学习生成一个元评价网络(Meta-CriticNetwork)，这个网络包含两部分：元价值网络(Meta Value Network)和任务行为编码器(Task-Actor Encoder)。任务行为编码器经过学习学会评价试图解决任何线形缝制任务的元价值网络。具体步骤如下：

2-2-1)对每一个训练任务，将机器人的左移、右移、加速、减速等动作基元组合，构造成一个关于机器人缝制技能的行动网络(Actor Network)。我们用多个任务的行动网络同时训练这个元评价网络。训练方式选择的是Actor-Critic方法。Actor-Critic包括两部分，演员(Actor)和评价者(Critic)。其中Actor使用的策略函数，负责生成动作(Action)并和环境交互；Critic使用价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作，引导准确完成缝制任务。

2-2-2)训练时最关键的就是任务行为编码(Task-Actor Encoder)。我们输入任务的历史经验，包括状态state(取机器人末端的位置信息)，动作action(像左移、右移、加速、减速等动作基元)和回馈reward，得到一个任务的表示信息z，然后将z和一般价值网络的输入(状态state和动作action)连接起来，输入到元价值网络中。通过这种方式，我们可以训练出一个元评价网络。

2-2-3)面对新的任务，即线形要求变化时，新建一个缝制行动网络，且保持元评价网络不变，然后同样使用Actor-Critic方法进行训练。这时，学习速度大大提升。

2-2-4)所有的状态、动作、回馈、策略以及形成的网络数据都存放在云平台中。

步骤三：机器人缝制技能泛化

参见附图4所示，当需要执行新的线形的缝制任务时，用少量机器人缝制时末端位置数据对机器人进行示教，用DMP方法得到对应示教点的强迫函数，通过规则判断，并借助知识推理，在云平台中匹配出元学习策略和相对应的缝制技能，从而实现机器人缝制技能的泛化。

本发明将机器人的操作动作划分为动态原语，并形成运动基元库以表征复杂的运动，方便技能学习与泛化。采用GMM和GMR的概率模型法。该方法具有很强的编码能力和噪声处理能力，在样本数据足够多时，可以编码表征任何复杂运动。采用元学习方法，学习一个元评价网络，在面对新的缝制任务时只需要较少的数据，学习效率高且学习成本低。采用云平台存放机器人学习后的大量数据和基于不同数据产生的对应的操作策略。不同型号的机器人可以通过云平台通信和资源共享，解决单个机器自我学习的局限性，大幅加速机器人在现实中的缝制技能学习与泛化。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于技能学习与泛化的机器人缝制系统，其特征是，包括：

机器人、机械手爪、缝纫机、控制装置及云平台；

2.如权利要求1所述的一种基于技能学习与泛化的机器人缝制系统，其特征是，所述控制装置接收缝纫机的转速以及机器人末端的位置、速度、加速度信息，通过缝纫机转速与机器人末端移动信息之间的函数映射关系，实现机器人与缝纫机之间的通信和同速缝制。

3.如权利要求1所述的一种基于技能学习与泛化的机器人缝制系统，其特征是，所述云平台用于存储和操作所有的数据，实现机器人缝制技能的学习与泛化。

4.如权利要求1所述的一种基于技能学习与泛化的机器人缝制系统，其特征是，所述机械手爪安装于机器人末端，用于布料的夹取，展平，上料和下料；

所述机器人用于配合缝纫机缝纫工作的左移、右移、加速、减速、同速移动完成缝制作业。

5.一种基于技能学习与泛化的机器人缝制方法，其特征是，包括：

夹取布料至待缝制区展平；

云平台对机器人任务示教数据学习，存储学习形成的缝制策略，实现机器人缝制技能学习及机器人缝制技能泛化；

6.如权利要求5所述的一种基于技能学习与泛化的机器人缝制方法，其特征是，根据缝纫机的属性，缝纫机的转速与机器人末端移动速度之间存在函数关系，从云平台中已学习的缝制技能数据进行匹配，选出合适的缝制策略，控制缝纫机和机器人同速运动，完成缝制任务。

7.如权利要求5所述的一种基于技能学习与泛化的机器人缝制方法，其特征是，学习的缝制技能时：对缝制过程中的机器人操作技能进行末端轨迹示教，用DMP方法分解，得到DMP公式中不同位置对应的强迫函数，用GMM进行对其分类编码；

GMR回归泛化得到一系列较准确地末端位置数据和对应的强迫函数，这些数据组合形成针对当前示教任务的缝制技能，然后通过学习产生大量的缝制技能数据。

8.如权利要求7所述的一种基于技能学习与泛化的机器人缝制方法，其特征是，当有不同的线形变化需求时，能用少量末端轨迹数据示教便生成相对应的缝制策略，顺利完成缝制任务。

9.如权利要求7所述的一种基于技能学习与泛化的机器人缝制方法，其特征是，选出DMP方法存储的示教信息中和实际缝制任务最接近的动作基元点，这些基元点组合形成不同的机器人辅助缝制动作，或存入云平台进行学习，产生缝制动作信息。

10.如权利要求7所述的一种基于技能学习与泛化的机器人缝制方法，其特征是，缝制技能学习时，对每一个训练任务，将机器人的动作基元组合，构造成一个关于机器人缝制技能的行动网络，用多个任务的行动网络同时训练这个元评价网络；

训练这个元评价网络时，输入任务的历史经验，包括机器人末端的位置信息，机器人的动作基元和回馈，得到一个任务的表示信息z，然后将z和一般价值网络的输入连接起来，输入到元价值网络中。