CN109457400A - 一种基于双机器人协同的布料缝制方法 - Google Patents

Abstract

本发明提出了一种基于双机器人协同的布料缝制方法，包括：步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、第一机器人和第二机器人；在正常工作之前，对参数进行设置；步骤S3，在上述参数设置完成后，执行正常工作，包括：由相机系统拍照获得两块布料的图像，由图像处理系统对相机系统获得的图像进行处理，得到两块布料的型号和位姿发送至机器人控制器，由机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫。本发明由双机器人协同缝纫完成了对双片布料的缝纫，保证了缝纫的精度和安全性。并且通过与上料机构、相机以及下料箱等设备的配合，实现了双片布料缝合的较高自动化。

Description

一种基于双机器人协同的布料缝制方法

技术领域

本发明涉及工业机器人技术领域，特别涉及一种基于双机器人协同的布料缝制方法。

背景技术

服装产业的自动化一直是研究的热点。现在针对特定的布料和应用场景，已经有了一些成熟的解决方案，例如基于工业机器人和单面缝纫机的复合材料缝合系统、三维复合材料预制件缝合系统等。

但是，现有的缝合系统都是针对单片布料或者缝合边缘均为直线或者弧度较小的曲线的双片布料，在缝合过程中不需要移动布料，只需要移动缝纫机即可。而对于边缘带有较大弧度且弯曲方向相反的双片布料缝合现有缝合系统无法处理，这是由于在缝纫过程中双片布料需要通过移动和转动来保证二者之间的缝纫边缘始终结合在一起。

双机器人协同控制技术在某些技术领域已有应用，例如双机器人协同激光焊接，但是还未有双机器人协同缝纫的相关应用。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于双机器人协同的布料缝制方法。

为了实现上述目的，本发明的实施例提供一种基于双机器人协同的布料缝制方法，包括如下步骤：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、第一机器人和第二机器人；

步骤S2，在正常工作之前，对参数进行设置：对相机内参和外参进行标定，确定一个世界坐标系，并分别标定机器人基坐标系与该世界坐标系之间的关系；通过两次手眼标定分别确定相机坐标系和世界坐标系之间的相对关系、安装在两个机器人末端的布料抓取装置抓取布料时的位姿、第一机器人和第二机器人的缝纫轨迹、缝纫机的位置；

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置将两块待缝合布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得两块布料的图像，其中，图像中包括布料缝合所在的部位，由图像处理系统对相机系统获得的图像进行处理，得到两块布料的型号和位姿发送至机器人控制器，由所述机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫。

进一步，在所述步骤S1中，所述工作台的上表面为平整的平面，所述工作台上的平面区域为嵌入在平面中的平板，所述上料设备所上的料为待缝纫的布片，上料起始位置为上料箱；所述缝纫机安装在工作台的第一方位，所述缝纫机缝纫平面与工作台上表面平行，所述第一机器人安装在工作台的第二方位，所述第二机器人安装在工作台的第三方位，第一机器人和第二机器人的末端安装有布料抓取装置，第一机器人和第二机器人由同一个机器人控制器进行协同控制，所述下料箱安装在工作台的第四方位。

进一步，在所述步骤S1中，所述工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

进一步，在所述步骤S1中，所述相机系统包括相机、光源、相机电源线，其中，所述相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分，所述图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接所述图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过所述通信线缆连接在相机和图像处理器。

进一步，在所述步骤S2中，确定安装在两个机器人末端的布料抓取装置抓取布料时的位姿，包括：

1)选取第一机器人对应的布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取第一机器人对应的布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

进一步，在所述步骤S2中，确定第一机器人和第二机器人的缝纫轨迹，包括：

1)将两块布料分别放置于工作台区域相机视野范围中的两侧；

2)触发相机拍照，获得包含有两块布料的一张图像；

3)图像处理器通过线提取技术获得图像中的所有线条；

4)通过图像处理系统中的人机交互设备分别在两块布料中选取需要缝合的线条部分，并指定缝合方向；

5)将缝合线条中涉及像素点的像素位置转换至世界坐标系中，得到缝纫点在世界坐标系中的位姿序列；

6)将上述位姿序列发送至机器人控制器中。

进一步，在所述步骤S2中，确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

进一步，在所述步骤S3中，所述由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定等方式筛选图像中的特征点，分别得到两块布料上期望的特征点；

3)根据上述特征点分别计算得到两块布料各自的坐标系；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定两块布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将两块布料的型号和位姿发送至机器人控制器。

进一步，在所述步骤S3中，所述机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)所述第一机器人和第二机器人分别根据两块布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出两个机器人末端的位姿，并运动到该位姿进行布料抓取；抓取成功后，同时拖动至缝纫机前，确保两块布料上缝合线条的起始点位于工作台上的同一位置；

2)基于两片布料在各自每个缝纫点处的切线与缝纫机左右针连线垂直，所述机器人控制器根据此条件并按照之前设置的缝纫轨迹进行两块布料的缝合；

3)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。

根据本发明实施例的基于双机器人协同的布料缝制方法，通过两个机器人分别拖动两块布料中的各一块，实现了双片布料的缝纫。两个机器人为协同控制，两块布料的缝纫速度始终一致。在缝纫时两块布料的缝合边缘曲线始终在缝合点处相切，且与缝纫机左右针连线垂直。由双机器人协同缝纫完成了对双片布料的缝纫，保证了缝纫的精度和安全性。并且通过与上料机构、相机以及下料箱等设备的配合，实现了双片布料缝合的较高自动化。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于双机器人协同的布料缝制方法的流程框图；

图2为根据本发明实施例的缝纫程序流程图；

图3为根据本发明实施例的双布料缝合原理示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种基于双机器人协同的布料缝制方法，可以在两片布料缝合边缘弧度较大且弯曲方向相反的情况下，实现多种类、高精度的缝合任务。

如图1-2所示，本发明实施例的基于双机器人协同的布料缝制方法，包括：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、第一机器人、第二机器人、布料抓取装置和下料箱。

工作台的上表面为平整的平面，工作台上的平面区域为嵌入在平面中的平板，上料设备所上的料为待缝纫的布片，上料起始位置为上料箱，上料终点位置为工作台中的平面区域。平面区域是嵌入在平面中的平板，该平板可以被相同尺寸的其他平板替换。

缝纫机安装在工作台的第一方位，缝纫机缝纫平面与工作台上表面平行，第一机器人安装在工作台的第二方位，第二机器人安装在工作台的第三方位，第一机器人和第二机器人的末端安装有布料抓取装置，第一机器人和第二机器人由同一个机器人控制器进行协同控制，下料箱安装在工作台的第四方位。

工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

相机系统包括相机、光源、相机电源线。其中，相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分。

图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过通信线缆连接在相机和图像处理器。

步骤S2，在正常工作之前，对参数进行设置：对相机内参和外参进行标定。确定一个世界坐标系，并分别标定机器人基坐标系与该世界坐标系之间的关系。通过两次手眼标定分别确定相机坐标系和世界坐标系之间的相对关系、安装在两个机器人末端的布料抓取装置抓取布料时的位姿、第一机器人和第二机器人的缝纫轨迹、缝纫机的位置。

需要说明的是，相机内外参标定以及相机的手眼标定，没有应用于机器人缝纫中。

具体的，确定安装在两个机器人末端的布料抓取装置抓取布料时的位姿，二者确定方式相近，以对第一机器人的操作为例，进行说明。

1)选取第一机器人对应的布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取第一机器人对应的布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

此外，确定第一机器人和第二机器人的缝纫轨迹，包括如下步骤：

1)将两块布料分别放置于工作台区域相机视野范围中的两侧；

2)触发相机拍照，获得包含有两块布料的一张图像；

3)图像处理器通过线提取技术获得图像中的所有线条，包括直线和曲线；

4)通过图像处理系统中的人机交互设备分别在两块布料中选取需要缝合的线条部分，并指定缝合方向；

5)将缝合线条中涉及像素点的像素位置转换至世界坐标系中，得到缝纫点在世界坐标系中的位姿序列；

6)将上述位姿序列发送至机器人控制器中。

本发明中的确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置将两块待缝合布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得两块布料的图像。如果拍摄的是部分图像，则必须包括布料缝合所在的部位。拍照光源可以常亮也可以在拍照时触发。拍摄完成后，将图像传输至图像处理器中。

由图像处理系统对相机系统获得的图像进行处理，得到两块布料的型号和位姿发送至机器人控制器，由机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫。

具体的，本步骤中由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定等方式筛选图像中的特征点，分别得到两块布料上期望的特征点，这些特征的是与布料相关的特征点；

3)根据上述特征点分别计算得到两块布料各自的坐标系；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定两块布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将两块布料的型号和位姿发送至机器人控制器。

在本步骤中，机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)第一机器人和第二机器人分别根据两块布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出两个机器人末端的位姿，并运动到该位姿进行布料抓取；抓取成功后，同时拖动至缝纫机前，确保两块布料上缝合线条的起始点位于工作台上的同一位置。

2)如图3，基于两片布料在各自每个缝纫点处的切线与缝纫机左右针连线垂直，机器人控制器根据此条件并按照之前设置的缝纫轨迹进行两块布料的缝合。具体的，缝合双片布料时缝纫机是左右上下针，所以必须使得两片布料在各自每个缝纫点处的切线与缝纫机左右针连线垂直，机器人控制器根据此条件并按照之前设置的缝纫轨迹进行两块布料的缝合。并且，第一机器人和第二机器人的缝合速度始终保持一致，当其中一个机器人发送故障停止时，另一个机器人也停止缝纫。

3)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。

根据本发明实施例的基于双机器人协同的布料缝制方法，通过两个机器人分别拖动两块布料中的各一块，实现了双片布料的缝纫。两个机器人为协同控制，两块布料的缝纫速度始终一致。在缝纫时两块布料的缝合边缘曲线始终在缝合点处相切，且与缝纫机左右针连线垂直。由双机器人协同缝纫完成了对双片布料的缝纫，保证了缝纫的精度和安全性。并且通过与上料机构、相机以及下料箱等设备的配合，实现了双片布料缝合的较高自动化。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种基于双机器人协同的布料缝制方法，其特征在于，包括如下步骤：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、第一机器人和第二机器人；

步骤S2，在正常工作之前，对以下参数进行设置：对相机内参和外参进行标定，确定一个世界坐标系，并分别标定机器人基坐标系与该世界坐标系之间的关系；通过两次手眼标定分别确定相机坐标系和世界坐标系之间的相对关系、安装在两个机器人末端的布料抓取装置抓取布料时的位姿、第一机器人和第二机器人的缝纫轨迹、缝纫机的位置；

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置将两块待缝合布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得两块布料的图像，其中，图像中包括布料缝合所在的部位，由图像处理系统对相机系统获得的图像进行处理，得到两块布料的型号和位姿发送至机器人控制器，由所述机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫。

2.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S1中，所述工作台的上表面为平整的平面，所述工作台上的平面区域为嵌入在平面中的平板，所述上料设备所上的料为待缝纫的布片，上料起始位置为上料箱；所述缝纫机安装在工作台的第一方位，所述缝纫机缝纫平面与工作台上表面平行，所述第一机器人安装在工作台的第二方位，所述第二机器人安装在工作台的第三方位，第一机器人和第二机器人的末端安装有布料抓取装置，第一机器人和第二机器人由同一个机器人控制器进行协同控制，所述下料箱安装在工作台的第四方位。

3.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S1中，所述工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

4.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S1中，所述相机系统包括相机、光源、相机电源线，其中，所述相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分，

所述图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接所述图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过所述通信线缆连接在相机和图像处理器。

5.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S2中，确定安装在两个机器人末端的布料抓取装置抓取布料时的位姿，包括：

1)选取第一机器人对应的布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取第一机器人对应的布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

6.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S2中，确定第一机器人和第二机器人的缝纫轨迹，包括：

1)将两块布料分别放置于工作台区域相机视野范围中的两侧；

2)触发相机拍照，获得包含有两块布料的一张图像；

3)图像处理器通过线提取技术获得图像中的所有线条；

4)通过图像处理系统中的人机交互设备分别在两块布料中选取需要缝合的线条部分，并指定缝合方向；

5)将缝合线条中涉及像素点的像素位置转换至世界坐标系中，得到缝纫点在世界坐标系中的位姿序列；

6)将上述位姿序列发送至机器人控制器中。

7.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S2中，确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

8.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S3中，所述由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定等方式筛选图像中的特征点，分别得到两块布料上期望的特征点；

3)根据上述特征点分别计算得到两块布料各自的坐标系；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定两块布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将两块布料的型号和位姿发送至机器人控制器。

9.如权利要求1所述的基于双机器人协同的布料缝制方法，其特征在于，在所述步骤S3中，所述机器人控制器控制第一机器人和第二机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)所述第一机器人和第二机器人分别根据两块布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出两个机器人末端的位姿，并运动到该位姿进行布料抓取；抓取成功后，同时拖动至缝纫机前，确保两块布料上缝合线条的起始点位于工作台上的同一位置；

2)基于两片布料在各自每个缝纫点处的切线与缝纫机左右针连线垂直，所述机器人控制器根据此条件并按照之前设置的缝纫轨迹进行两块布料的缝合；

3)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。