CN109629122A - 一种基于机器视觉的机器人缝制方法 - Google Patents

Abstract

本发明提出了一种基于机器视觉的机器人缝制方法，包括：准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、布料抓取装置、下料箱、机器人；在正常工作之前，对参数进行设置；在上述参数设置完成后，执行正常工作，包括：由上料装置每次取一块待缝纫布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得布料的图像，经图像处理系统对图像进行处理，得到布料的型号和位姿发送至机器人控制器，由机器人控制器控制机器人拖动布料运送至缝纫机进行缝纫。本发明无需结构光视觉传感器，降低成本的同时保证精度和易用性、高灵活性和高精度，以较高精度进行较复杂的图形的缝制，适合多种缝制应用。

Description

一种基于机器视觉的机器人缝制方法

技术领域

本发明涉及工业机器人技术领域，特别涉及一种基于机器视觉的机器人缝制方法。

背景技术

服装产业一直是劳动密集型行业，对该产业进行自动化改造具有非常大的前景，可以极大的提高效率以及节约成本。但是由于布料具有材质多样性、形状多样性以及柔软性等特点，服装行业的自动化生产一直是历史难题。然而通过不断摸索以及多自由度机器人和机器视觉的不断发展，对于某些特定种类的布料和缝制场景，利用机器人进行缝纫已有一些解决方法和成功案例。

德国KSL公司研制了基于工业机器人和单面缝纫机的复合材料缝合系统，在多个行业领域进行了应用并取得了成功。单面缝纫机位于工业机器人末端，通过示教工业机器人的方式确定缝纫点。然而由于缝纫点是逐个示教出来的，所以这种方式编程效率较低，灵活性较差。

并且，现有技术还提出一种三维复合材料预制件缝合系统。通过结构光视觉传感器来拍摄缝合处的图像，并通过一系列图像处理的方式检测缝合的特征点，经过计算处理后通过串口通信将位置和姿态发送给六轴机器人。然而该方法需要激光发生器，具有较高的成本，对于可以当作类似平面的布料无需如此复杂的视觉传感器。且进行非缝合缝纫任务时，该方案提出的视觉处理方法可能会失效，例如需要在布料的边缘处缝一条花边时，需要视觉算法识别单片布料的边缘。

此外，现有方式还提出了一种通过实时补偿轨迹的方法来弥补上料的位置偏差。然而这种方法也需要激光发生器，成本较高。且由于是实时补偿，所以要求视觉系统的计算速度比较快，也增加了成本。一般情况下，工厂的生产具有大量重复性，在工差合理的情况下，对相同型号的布料进行同样的轨迹规划和补偿是可行的，在这种情况下，通过预先设定的轨迹即可完成任务，无需实时补偿。

但是，现有方式均是缝纫机安装在机器人末端。由于缝纫机较重，所以需要具有较大负载能力的机器人，越重的机器人价格越高，增加了成本。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于机器视觉的机器人缝制方法。

为了实现上述目的，本发明的实施例提供一种基于机器视觉的机器人缝制方法，包括如下步骤：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、布料抓取装置、下料箱、机器人；

步骤S2，在正常工作之前，对参数进行设置：对相机内参和外参进行标定；通过手眼标定确定相机坐标系和世界坐标系之间的相对关系、安装在机器人末端的布料抓取装置抓取布料时的位姿、机器人的缝纫轨迹、缝纫机的位置；

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置每次取一块待缝纫布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得布料的图像，其中，图像中包括缝纫样式所在的部位，经图像处理系统对图像进行处理，得到布料的型号和位姿发送至机器人控制器，由所述机器人控制器控制所述机器人拖动布料运送至缝纫机进行缝纫。

进一步，在所述步骤S1中，所述工作台的上表面为平整的平面，所述工作台上的平面区域为嵌入在平面中的平板，所述上料设备所上的料为待缝纫的布片，上料起始位置为上料箱；所述缝纫机安装在工作台的第一方位，所述缝纫机缝纫平面与工作台上表面平行，所述机器人安装在工作台的第二方位，机器人的末端安装有所述布料抓取装置，所述下料箱安装在工作台的第三方位。

进一步，在所述步骤S1中，所述工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

进一步，在所述步骤S1中，所述相机系统包括相机、光源、相机电源线，其中，所述相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分，

所述图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接所述图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过所述通信线缆连接在相机和图像处理器。

进一步，在所述步骤S2中，确定安装在机器人末端的布料抓取装置抓取布料的位姿，包括：

1)选取布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

进一步，在所述步骤S2中，确定机器人的缝纫轨迹，包括：

1)通过图像处理系统的人机交互设备来编辑并确定缝纫样式，包括一系列顺序排列的缝纫点位姿；

2)确定缝纫的部位，包括：缝纫样式在布料上的位置和方向，通过人机交互设备操作人员将生成的缝纫样式移动和旋转至期望的位姿，进而生成缝纫样式坐标系与布料坐标系之间的关系；

3)确定缝纫点在世界坐标系中的位姿。

进一步，在所述步骤S2中，确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

进一步，在所述步骤S3中，所述由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定方式筛选图像中的特征点，得到布料上期望的特征点；

3)根据上述特征点计算得到布料的坐标系，这些特征的是与布料相关的特征点；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将布料的型号和位姿发送至机器人控制器。

进一步，在所述步骤S3中，所述机器人控制器控制机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)所述机器人分别根据布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出机器人末端的位姿，并运动到该位姿进行布料抓取；抓取成功后，同时拖动至缝纫机前，按照设置的缝纫轨迹进行缝纫；

2)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。

进一步，所述确定缝纫点在世界坐标系中的位置，包括如下步骤：通过定位功能获得布料在世界坐标系中的位姿，并且根据确定的缝纫部位，获得缝纫样式在布料上的位姿，得到缝纫样式在世界坐标系中的位置，各缝纫点在缝纫样式坐标系中定义的，通过各坐标系之间的齐次变换矩阵，计算出各缝纫点在世界坐标系中的位置。

根据本发明实施例的基于机器视觉的机器人缝制方法，通过相机、图像处理系统和机器人的配合完成了布料的自动化缝纫。本发明的缝纫机克服现有方式固定在机器人末端的弊端，通过固定缝纫机以及机器人拖动布料的方式进行缝纫，使用小负载机器人即可完成缝纫任务，降低了成本和工作站所占的空间。本发明无需结构光视觉传感器，降低成本的同时保证了精度和易用性、高灵活性和高精度，可以较高精度进行较复杂的图形的缝制，适合多种缝制应用。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于机器视觉的机器人缝制方法的流程图；

图2为根据本发明实施例的缝纫程序流程图；

图3为根据本发明实施例的缝纫样式和缝纫部位的确定流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1-2所示，本发明实施例的基于机器视觉的机器人缝制方法，包括如下步骤：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、布料抓取装置、下料箱、机器人。

具体的，工作台的上表面为平整的平面，工作台上的平面区域为嵌入在平面中的平板，上料设备所上的料为待缝纫的布片，上料起始位置为上料箱，上料终点位置为工作台中的平面区域。平面区域是嵌入在平面中的平板，该平板可以被相同尺寸的其他平板替换。

缝纫机安装在工作台的第一方位，缝纫机缝纫平面与工作台上表面平行，机器人安装在工作台的第二方位，机器人的末端安装有布料抓取装置，下料箱安装在工作台的第三方位。

工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

相机系统包括相机、光源、相机电源线，其中，相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分，

图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过通信线缆连接在相机和图像处理器。

步骤S2，在正常工作之前，对参数进行设置：对相机内参和外参进行标定；通过手眼标定确定相机坐标系和世界坐标系之间的相对关系、安装在机器人末端的布料抓取装置抓取布料时的位姿、机器人的缝纫轨迹、缝纫机的位置。

需要说明的是，相机内外参标定以及相机的手眼标定，没有应用于机器人缝纫中。由于只有一个机器人，所以世界坐标系可以设置为机器人的机器人基坐标系。

具体的，确定安装在机器人末端的布料抓取装置抓取布料的位姿，包括：

1)选取布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

然后，确定机器人的缝纫轨迹，包括：

1)通过图像处理系统的人机交互设备来编辑并确定缝纫样式，包括一系列顺序排列的缝纫点位姿。

具体的，如图3所示，缝纫样式的定义是缝纫机在布料上完成缝纫后布料上针线构成的图案，包括：直线，曲线和其他图形。缝纫样式的确定是通过一套可视化的工具来完成的，操作人员通过图像处理系统的人机交互设备来编辑缝纫样式。

直线的确定是通过两点确定，即先确定线段的两个点，其长度和方向可以调节。曲线的确定包括两种方式：一种是手动对线段上的某个点进行拖拽，该方式可以形成比较简单的曲线段。但是对于比较复杂的曲线段或图形，需要先通过其他专业工具生成，再通过相机拍照获得包含该样式的图像，最后通过所述可视化工具将该样式提取出来，提取方式有线提取、特征点提取等多种方式，可以相互组合使用各提取方式从而得到期望的样式。不论是简单的样式还是复杂的样式，最终包含的信息中均为一系列按顺序排列的缝纫点位姿，该可视化工具会生成一个缝纫样式坐标系，这些缝纫点位姿是相对缝纫样式坐标系来描述的。

确定缝纫的部位，包括：缝纫样式在布料上的位置和方向，通过可视化个工具确定。通过人机交互设备操作人员将生成的缝纫样式移动和旋转至期望的位姿，进而生成缝纫样式坐标系与布料坐标系之间的关系。

3)确定缝纫点在世界坐标系中的位姿。

具体的，确定缝纫点在世界坐标系中的位置，包括如下步骤：通过定位功能获得布料在世界坐标系中的位姿，并且根据确定的缝纫部位，获得缝纫样式在布料上的位姿，得到缝纫样式在世界坐标系中的位置，各缝纫点在缝纫样式坐标系中定义的，通过各坐标系之间的齐次变换矩阵，计算出各缝纫点在世界坐标系中的位置。

最后，确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置每次取一块待缝纫布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得布料的图像，如果拍摄的是部分图像，则必须包括缝纫样式所在的部位。拍照光源可以常亮也可以在拍照时触发。拍摄完成后，将图像传输至图像处理器中。

经图像处理系统对图像进行处理，得到布料的型号和位姿发送至机器人控制器，由机器人控制器控制机器人拖动布料运送至缝纫机进行缝纫。

由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定等方式筛选图像中的特征点，得到布料上期望的特征点，这些特征的是与布料相关的特征点；

3)根据上述特征点计算得到布料的坐标系；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将布料的型号和位姿发送至机器人控制器。

然后，由机器人控制器控制机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)机器人根据布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出机器人末端的位姿，并运动到该位姿进行布料抓取。抓取成功后，同时拖动至缝纫机前，按照设置的缝纫轨迹进行缝纫；

2)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。

根据本发明实施例的基于机器视觉的机器人缝制方法，通过相机、图像处理系统和机器人的配合完成了布料的自动化缝纫。本发明的缝纫机克服现有方式固定在机器人末端的弊端，通过固定缝纫机以及机器人拖动布料的方式进行缝纫，使用小负载机器人即可完成缝纫任务，降低了成本和工作站所占的空间。本发明无需结构光视觉传感器，降低成本的同时保证了精度和易用性、高灵活性和高精度，可以较高精度进行较复杂的图形的缝制，适合多种缝制应用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于机器视觉的机器人缝制方法，其特征在于，包括如下步骤：

步骤S1，准备工作，搭建工作台并安装配置相机系统、图像处理系统、缝纫机、上料设备、布料抓取装置、下料箱、机器人；

步骤S2，在正常工作之前，对参数进行设置：对相机内参和外参进行标定；通过手眼标定确定相机坐标系和世界坐标系之间的相对关系、安装在机器人末端的布料抓取装置抓取布料时的位姿、机器人的缝纫轨迹、缝纫机的位置；

步骤S3，在上述参数设置完成后，执行正常工作，包括：由上料装置每次取一块待缝纫布料放置于工作台区域中的相机视野范围中，由相机系统拍照获得布料的图像，其中，图像中包括缝纫样式所在的部位，经图像处理系统对图像进行处理，得到布料的型号和位姿发送至机器人控制器，由所述机器人控制器控制所述机器人拖动布料运送至缝纫机进行缝纫。

2.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S1中，所述工作台的上表面为平整的平面，所述工作台上的平面区域为嵌入在平面中的平板，所述上料设备所上的料为待缝纫的布片，上料起始位置为上料箱；所述缝纫机安装在工作台的第一方位，所述缝纫机缝纫平面与工作台上表面平行，所述机器人安装在工作台的第二方位，机器人的末端安装有所述布料抓取装置，所述下料箱安装在工作台的第三方位。

3.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S1中，所述工作台的平面下方有支撑上述平面的机构，机构最下方有4个转动轮，分布在工作台最下方的4个角，转动轮上安装有转动控制机构；转动轮上方的机构上有旋钮机构，通过旋钮机构可以控制工作台平面距离地面的高度以及与水平面所成的角度。

4.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S1中，所述相机系统包括相机、光源、相机电源线，其中，所述相机安装在工作台平面区域上方，相机镜头轴线与工作台平面垂直，相机视野范围包括平工作台平面区域的全部或部分，

所述图像处理系统包括图像处理器、电源线、通信线缆和人机交互设备，通过通信线缆连接所述图像处理器和机器人控制器，以及图像处理器和人机交互设备，并通过所述通信线缆连接在相机和图像处理器。

5.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S2中，确定安装在机器人末端的布料抓取装置抓取布料的位姿，包括：

1)选取布料上一点作为布料坐标系的原点，在布料平面上选取两个正交方向分别作为布料坐标系的x轴和y轴，确定布料坐标系；

2)选取布料抓取装置上一点作为布料抓取装置坐标系的原点，在布料抓取装置上选取两个正交方向分别作为布料抓取装置坐标系的x轴和y轴，确定布料抓取装置坐标系；

3)将布料坐标系和布料抓取装置坐标系以期望的方式接触，通过测量以及计算的方式确定二者之间的相对关系；

4)将上述所有信息通过图像处理系统的人机交互设备输入到图像处理器中。

6.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S2中，确定机器人的缝纫轨迹，包括：

1)通过图像处理系统的人机交互设备来编辑并确定缝纫样式，包括一系列顺序排列的缝纫点位姿；

2)确定缝纫的部位，包括：缝纫样式在布料上的位置和方向，通过人机交互设备操作人员将生成的缝纫样式移动和旋转至期望的位姿，进而生成缝纫样式坐标系与布料坐标系之间的关系；

3)确定缝纫点在世界坐标系中的位姿。

7.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S2中，确定缝纫机的位置，包括如下步骤：通过工具工件标定的方式确定缝纫机在世界坐标系中的位姿，并通过图像处理系统的人机交互设备输入至图像处理器中。

8.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S3中，所述由图像处理系统对相机系统获得的图像进行处理，包括：

1)寻找图像中的所有特征点；

2)根据区域限定、最大点数限定、阈值限定方式筛选图像中的特征点，得到布料上期望的特征点；

3)根据上述特征点计算得到布料的坐标系，这些特征的是与布料相关的特征点；

4)将上述坐标系与已设置的所有布料坐标系进行对比，确定布料的型号且计算位姿的偏移，进而得到待缝纫布料的型号和在世界坐标系中的位姿；

5)将布料的型号和位姿发送至机器人控制器。

9.如权利要求1所述的基于机器视觉的机器人缝制方法，其特征在于，在所述步骤S3中，所述机器人控制器控制机器人拖动布料运送至缝纫机进行缝纫，包括如下步骤：

1)所述机器人分别根据布料在世界坐标系中的位姿以及布料抓取装置与布料之间的相对关系，计算出机器人末端的位姿，并运动到该位姿进行布料抓取；抓取成功后，同时拖动至缝纫机前，按照设置的缝纫轨迹进行缝纫；

2)缝纫完成后，靠近下料箱的机器人拖动缝合完毕后的布料进入下料箱中。

10.如权利要求6所述的基于机器视觉的机器人缝制方法，其特征在于，所述确定缝纫点在世界坐标系中的位置，包括如下步骤：通过定位功能获得布料在世界坐标系中的位姿，并且根据确定的缝纫部位，获得缝纫样式在布料上的位姿，得到缝纫样式在世界坐标系中的位置，各缝纫点在缝纫样式坐标系中定义的，通过各坐标系之间的齐次变换矩阵，计算出各缝纫点在世界坐标系中的位置。