CN113878576A - 一种机器人视觉分拣工艺程序编制方法 - Google Patents

Abstract

本发明公开了一种机器人视觉分拣工艺程序编制方法。根据实际工艺环境，输入分拣工艺参数；通过工业相机识别并定位工件，视觉识别工件类型、工件取件点等信息参数，拍摄放置板识别获得工件放置点和工件放置点类型；通用程序根据分拣工艺参数和视觉识别的信息参数进行参数处理，对工件取件点和工件放置点信息匹配，确定工艺路径；按照工艺路径和预先制定的机器人抓取放置工件过程指令模板，输出机器人视觉分拣工艺程序，并运行机器人。本发明无需操作者会编程技术，有利于机器人在各个行业的广泛推广，提升生产效率。

Description

一种机器人视觉分拣工艺程序编制方法

技术领域

本发明属于机器人技术领域的一种机器人视觉分拣工件的处理方法，尤其是涉及一种机器人视觉分拣工艺程序编制方法。

背景技术

近年来机器人技术发展迅速，被广泛应用于各个行业，来取代成本越来越高的人工。尤其某些行业工作重复性高、劳动强度大、作业环境危害大甚至不适合由人类完成，机器人的应用前景很大。

分拣是机器人操作中的一类工序，通过使用机械臂把无序摆放的物体抓取出来。分拣是工业生产流程中的一项常见任务，其目的是把不同种类的目标物体进行正确的分类处理，也可以用于分拣出有质量缺陷的机械工件。机器人分拣相比于人工操作的方式完成工业流水线上的分拣作业，在速度和成本上具有明显优势。

为了能实现分拣操作，机器人需要知道待分拣的工件类型以及工件的实时位置信息，所以需要给机器人安装图像传感设备，使其具备获取外部图像信息的能力，增强其自适应性以满足分拣种类繁多的机械零部件要求。

然而机器人是一个复杂的机械装备，当前在机器人分拣领域的应用，操作者需要完全掌握机器人编程语言，并非常了解机器视觉以及分拣工艺，才能编制出需要的机器人程序；而且不同厂商的机器人编程语言也不尽相同，这无疑给现阶段不同层次的操作人员造成不必要的麻烦，降低了生产效率，也严重影响了机器人应用的推广。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种机器人视觉分拣工艺程序编制方法，让操作者只需要在操作界面设置必要参数即可生成所需的视觉分拣工艺程序，生成的工艺程序是以机器人抓取放置工件过程指令模板加上操作者输入的相关参数以及相机获取的视觉信息参数而成的，便于操作者使用。

本发明的技术方案如下：

步骤1：预先设置：根据实际工艺环境，输入分拣工艺参数；

步骤2：视觉输入：通过工业相机识别并定位工件，视觉识别工件类型、工件取件点等信息参数，拍摄放置板识别获得工件放置点和工件放置点类型；

步骤3：参数处理：用通用程序根据分拣工艺参数和视觉识别的信息参数进行参数处理，对工件取件点和工件放置点信息匹配，确定工艺路径；

步骤4：程序生成：按照工艺路径和预先制定的机器人抓取放置工件过程指令模板，输出机器人视觉分拣工艺程序，并运行机器人。

所述步骤2，包括图像采集、图像处理、特征匹配、标定转换等步骤；

图像采集，调用工业相机接口，采用主动取流超时方式对工件进行拍摄获取相机图像数据；

图像处理，使用包括中值滤波、Gamma修正、对比度调节算法对相机图像数据处理得到具有清晰的轮廓特征和像素特征的待测工件图像；

特征匹配，根据轮廓特征、像素特征创建的工件图像模板与采集到的待测工件图像进行模板匹配对工件识别定位，标记工件类型和位置信息；

标定转换，将工件位置作为工件取件点，将获取的工件取件点、预先设置的工件放置点根据已建立的像素与空间坐标系转化关系从工业相机的相机坐标系转化至工件坐标系后导入机器人进行视觉分拣。

所述特征匹配具体为：分别提取工件图像模板中的轮廓特征和像素特征与待测工件图像中的轮廓特征和像素特征进行特征匹配，其中轮廓特征匹配的评价参数为模板与原图轮廓特征向量的欧式距离，像素特征匹配的评价参数为模板与原图的灰度归一化相关度，将两种评价参数分别赋上权值后，导入匹配评估模块输出工件匹配结果；匹配成功后将轮廓特征的中心点与像素特征的中心点坐标分别赋予相同权值导入坐标优化模块，输出优化后的工件坐标即抓取点坐标到机器人。

所述参数处理方法为，将获取的工件取件点、工件类型、工件放置点类型与工件放置点的信息组成取件序列与放置序列，具体由工件取件点、工件类型组成了取件序列，由工件放置点类型与工件放置点组成了放置序列，对取件序列中的工件取件点按照到过渡点距离由近到远的次序排序，对放置序列中的工件放置点按照到过渡点距离由近到远的次序排序，将取件序列中的工件取件点依次与放置序列中序号最小的同类型工件放置点匹配形成单个工件的工艺路径，置入匹配序列。所述的匹配序列是由多个工艺路径构成。

所述机器人视觉分拣工艺程序生成方法为，在工艺路径上的工件点位信息参数自动导入预先制定的机器人抓取放置工件过程指令模板，生成具有机器人运动和控制指令、能在机器人控制器上运行且符合操作者选择的工艺要求的程序。

本发明方法采用模块化方式分别输入参数，根据不同工况进行人工输入参数，再通过相机通信视觉输入参数，将输入的模块化参数进行自动匹配处理，自动规划最优分拣路径，生成机器人视觉分拣工艺程序。本发明无需操作者会编程技术，有利于机器人在各个行业的广泛推广，提升生产效率。

本发明的有益效果是：

(1)人工输入参数过程模块化，降低了操作门槛，操作者无需掌握编程技术与视觉感知技术；

(2)每个参数模块分开输入，模块化参数自动匹配，提高程序编制过程速度与准确度，间接提高机器人运行效率；

(3)特征匹配算法结合了图像的轮廓特征和像素特征，综合了轮廓、像素匹配算法的优势，提高了图像识别的准确度与机器人抓取精度。

附图说明

图1为本发明的机器人视觉分拣工艺程序编制方法流程图；

图2为本发明的特征匹配方法流程图；

图3为本发明的参数处理方法流程图；

图4为本发明的机器人抓取放置工件运动路径示意图；

图5为本发明的机器人视觉分拣工艺的具体实施前工况示意图；

图6为本发明的机器人视觉分拣工艺的具体实施后工况示意图。

具体实施方式

下面结合本发明的优选实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的方法流程图如图1所示。本具体实施例选用广数RB03A1机器人作为研究对象，吸盘作为抓取工具，KEBA控制器作为机器人控制系统，海康工业相机作为图像传感设备。

步骤1：预先设置，根据实际工艺环境，输入分拣工艺参数。需要设置的分拣工艺参数包括但不限于工具坐标系、过渡点、准备点偏移量、设定取件区和放置区工件坐标系等。分拣工艺参数的输入包括且不限于人机交互界面方式。

本具体实施例输入的参数如下：

工具坐标系名称xipan，工具坐标设置为X＝0 Y＝0 Z＝112.5 A＝0 B＝0 C＝0，过渡点坐标设置为A1＝90A2＝0A3＝0A4＝0A5＝90A6＝0，准备点偏移量X＝0Y＝0Z＝30，工件坐标系数量2，第1个工件坐标系名称work，坐标系参数X＝-121.47Y＝237.09Z＝157.22A＝-0.14B＝-0.26C＝90.49，第2个工件坐标系名称sort，坐标系参数X＝118.14Y＝240.20Z＝156.30A＝0.15B＝0.18C＝90.55，取件区工件坐标系设置为work，放置区工件坐标系设置为sort。

其中的X、Y、Z分别表示直角坐标系下X、Y、Z轴的三个坐标变量，A、B、C分别表示直角坐标系下围绕X、Y、Z轴的三个角度变量，A1、A2、A3、A4、A5、A6分别表示六轴工业机器人的六个关节角度变量。

步骤2：视觉输入，通过工业相机识别并定位工件，视觉输入工件类型、位置等信息参数。如图1所示，步骤2视觉输入包括图像采集、图像处理、特征匹配、标定转换步骤。

图像采集：本实施例中，通过海康工业相机客户端MVS与相机通信，调用SDK中主动取流接口MV_CC_StartGrabbing()开始采集图像数据，同时开启一个buffer，在应用层循环调用接口MV_CC_GetOneFrameTimeout()获取指定像素格式的帧数据。在该接口设置超时时间，SDK内部等待直到有数据时返回图像数据。为便于后期图像处理，将图像数据格式转化函数Convert2Mat()转化为Mat格式。

图像处理：使用包括但不限于中值滤波、Gamma修正、对比度调节等图像处理算法得到具有清晰工件边缘轮廓特征的图像。本实施例优选中值滤波、对比度调节方式进行图像处理。先使用中值滤波对图像进行降噪，消除图像中的椒盐噪声；再用对比度调节获取具有鲜明轮廓特征的高质量图像。

特征匹配：方法如图2所示，提取图像处理后图像中的工件图像模板，分别提取模板中的轮廓特征和像素特征，并与原图像进行匹配；其中轮廓特征匹配的评价参数为模板与原图轮廓特征向量的欧式距离，像素特征匹配的评价参数为模板与原图的灰度归一化相关度，将计算出的两评价参数分别赋权值导入匹配评估模块，输出工件匹配结果，对不同类型的工件进行标记(工件类型包含方形、椭圆形、六边形、圆形)；匹配成功后，计算该图像区域轮廓特征、像素特征的中心点坐标，分别赋予权值导入工件坐标优化模块，输出工件坐标(像素坐标系下的X、Y、C)即机器人抓取点位。不同类型工件所用的图像模板不同，取件区与放置区也做标记区别。

标定转换：本具体实施例中，将获取的取件区与放置区的工件点坐标根据已建立的像素与空间坐标系转化关系从相机坐标系转化至工件坐标系后导入机器人视觉分拣工艺程序编制方法。转化为工件坐标系坐标的工件点坐标即为机器人抓取点坐标。

本具体实施例的视觉输入信息包括但不限于工件类型标志符(方形、椭圆形、六边形、圆形)、取件/放置标志符(取件、放置)、有无工件(有、无)、工件坐标(工件坐标系下的X、Y、C)，如表1所示：

表1 视觉输入信息

工件类型	取件/放置	有无工件	X	Y	C
						方形	取件	有	135.809	157.458	133.249
方形	取件	有	145.699	203.027	43.8811
						方形	取件	有	157.68	233.498	-47.7831
方形	取件	有	187.314	102.872	-36.7248
						椭圆形	取件	有	119.728	223.989	167.765
椭圆形	取件	有	132.605	118.865	-93.4089
						椭圆形	取件	有	135.694	254.798	94.3343
椭圆形	取件	有	204.892	129.453	-130.596
						六边形	取件	有	106.782	258.374	98.2905
六边形	取件	有	112.542	185.05	-146.658
						六边形	取件	有	170.912	162.375	-166.921
六边形	取件	有	191.33	224.328	-54.1574
						圆形	取件	有	92.76	161.916	178.375
圆形	取件	有	101.59	128.266	-165.959
						圆形	取件	有	175.956	191.662	-165.319
圆形	取件	有	204.608	182.141	-70.3907
						方形	放置	无	180.71	191.72	0
方形	放置	无	180.28	140.13	0
						方形	放置	无	180.32	88.02	0
方形	放置	无	180.39	36.43	0
						椭圆形	放置	无	128.1	191.96	0
椭圆形	放置	无	128.11	139.02	0
						椭圆形	放置	无	128.05	88.03	0
椭圆形	放置	无	127.99	35.94	0
						六边形	放置	无	75.31	191.96	0
六边形	放置	无	75.32	139.5	0
						六边形	放置	无	75.35	88.18	0
六边形	放置	无	76.37	36.8	0
						圆形	放置	无	23.21	192.03	0
圆形	放置	无	23.87	138.81	0
						圆形	放置	无	24.43	87.55	0
圆形	放置	无	24.42	36.15	0

步骤3：参数处理，通用程序根据步骤1人工输入的分拣工艺参数和步骤2视觉输入的信息参数进行参数处理，对工件取件点和工件放置点信息匹配，确定工艺路径。如图3所示，所述参数处理方法为，将步骤2获取的工件取件点、工件放置点的类型与位置信息组成取件序列与放置序列，对取件序列、放置序列中的工件点按照到过渡点距离由近到远的次序排序，将取件序列中的工件点依次与放置序列中序号最小的同类型工件点匹配，置入匹配序列，形成工艺路径。

本具体实施例按照以下方式进行：

将步骤2获取的取件点信息、工件放置点信息分别置入取件序列m_GET和放置序列m_PUT。取件序列m_GET和放置序列m_PUT内均包括但不限于工件类型标志符(方形、椭圆形、六边形、圆形)、有无工件标志符(有、无)、工件坐标(工件坐标系下的X、Y、C)。分别计算工件点到过渡点距离，由近到远次序排序，排序后的取件序列m_GET和放置序列m_PUT主要信息如表2所示；

表2 排序后的取件序列与放置序列主要信息表

对排序后的取件序列m_GET，依次提取单个工件信息并顺序遍历排序后的放置序列m_PUT，当两者工件类型相同且工件放置点位置没有工件时，将两者匹配，其中的工件类型和坐标置入匹配对象pair<WORKPIECE,WORKPIECE>，并将工件放置点有无工件标志符置为有，匹配对象pair中第一数据first为取件点信息，第二数据second为工件放置点信息；

将上述的匹配对象pair<WORKPIECE,WORKPIECE>插入匹配序列MAP<WORKPIECE,WORKPIECE>，匹配序列MAP中第一数据序列first为取件信息序列，第二数据序列second为放置信息序列，first中的数据与second中的数据一一对应，以此确定工艺路径，匹配序列信息如表3所示。

表3 匹配序列信息

步骤4：程序生成，按照既定的分拣工艺路径和预先制定的机器人抓取放置工件过程指令模板，输出机器人视觉分拣工艺程序，并运行机器人。所述机器人视觉分拣工艺程序为，在既定工艺路径的基础上生成的具有一定机器人运动和控制指令、可以在相应机器人控制器上运行且符合操作者选择的工艺要求的程序。本具体实施例如下：

如图4所示，一次完整的机器人抓取放置工件过程，机器人工具中心点需要依次经过过渡点P3——取件准备点P2——取件点P1——取件准备点P2——过渡点P3——放置准备点P4——工件放置点P5——放置准备点P4——过渡点P3。在运动至取件点P1和工件放置点P5时，机器人抓取、放置前后过程均需有延时或抓取、放置到位等待。在取件准备点P2——过渡点P3、过渡点P3——放置准备点P4的往返路径间，可视情况插入避障点，本具体实施例中的抓取放置过程没有障碍，因此没有插入避障点。本具体实施例中抓取放置过程指令模板及注释如表4所示。

表4 机器人抓取放置工件过程指令模板及注释

遍历步骤3中匹配序列MAP，将其第一数据序列first中的取件点信息依次导入机器人抓取放置工件过程指令模板的取件点变量worked中，加步骤1中的准备点偏移量后导入取件准备点变量worked_pre中；第二数据序列second中的工件放置点信息依次导入机器人抓取放置工件过程指令模板的工件放置点变量sorted中，加步骤1中的准备点偏移量后导入放置准备点变量sorted_pre中；步骤1中的工具坐标系、过渡点分别导入工具变量xipan、过渡点变量transition中。

输出机器人视觉分拣工艺程序文件sight.tip和变量文件sight.tid。将两文件导入机器人控制器加载后即可运行工艺。本具体实施例分拣前后工件状态如图5、图6所示。

上述对本发明进行了足够详细的具有一定特殊性的描述。实施例中的描述仅仅是示例性的，在不偏离本发明的真实精神和范围的前提下做出所有改变都应该属于本发明的保护范围。本发明所要求保护的范围是由所述的权利要求书进行限定的，而不是由实施例中的上述描述来限定的。

Claims (5)

1.一种机器人视觉分拣工艺程序编制方法，其特征在于，包括以下步骤：

步骤1：根据实际工艺环境，输入分拣工艺参数；

步骤2：通过工业相机识别并定位工件，视觉识别工件类型、工件取件点等信息参数，拍摄放置板识别获得工件放置点和工件放置点类型；

步骤3：用通用程序根据分拣工艺参数和视觉识别的信息参数进行参数处理，对工件取件点和工件放置点信息匹配，确定工艺路径；

步骤4：按照工艺路径和预先制定的机器人抓取放置工件过程指令模板，输出机器人视觉分拣工艺程序，并运行机器人。

2.根据权利要求1所述的机器人视觉分拣工艺程序编制方法，其特征在于，

所述步骤2，包括图像采集、图像处理、特征匹配、标定转换等步骤；

图像采集，调用工业相机接口，采用主动取流超时方式对工件进行拍摄获取相机图像数据；

图像处理，使用包括中值滤波、Gamma修正、对比度调节算法对相机图像数据处理得到具有清晰的轮廓特征和像素特征的待测工件图像；

特征匹配，根据轮廓特征、像素特征创建的工件图像模板与采集到的待测工件图像进行模板匹配对工件识别定位，标记工件类型和位置信息；

标定转换，将工件位置作为工件取件点，将获取的工件取件点、预先设置的工件放置点根据已建立的像素与空间坐标系转化关系从工业相机的相机坐标系转化至工件坐标系后导入机器人进行视觉分拣。

3.根据权利要求2所述的机器人视觉分拣工艺程序编制方法，其特征在于，

所述特征匹配具体为：分别提取工件图像模板中的轮廓特征和像素特征与待测工件图像中的轮廓特征和像素特征进行特征匹配，其中轮廓特征匹配的评价参数为模板与原图轮廓特征向量的欧式距离，像素特征匹配的评价参数为模板与原图的灰度归一化相关度，将两种评价参数分别赋上权值后，导入匹配评估模块输出工件匹配结果；匹配成功后将轮廓特征的中心点与像素特征的中心点坐标分别赋予相同权值导入坐标优化模块，输出优化后的工件坐标即抓取点坐标到机器人。

4.根据权利要求1所述的机器人视觉分拣工艺程序编制方法，其特征在于，

所述参数处理方法为，将获取的工件取件点、工件类型、工件放置点类型与工件放置点的信息组成取件序列与放置序列，对取件序列中的工件取件点按照到过渡点距离由近到远的次序排序，对放置序列中的工件放置点按照到过渡点距离由近到远的次序排序，将取件序列中的工件取件点依次与放置序列中序号最小的同类型工件放置点匹配形成单个工件的工艺路径，置入匹配序列。

5.根据权利要求1所述的机器人视觉分拣工艺程序编制方法，其特征在于

所述机器人视觉分拣工艺程序生成方法为，在工艺路径上的工件点位信息参数自动导入预先制定的机器人抓取放置工件过程指令模板，生成具有机器人运动和控制指令、能在机器人控制器上运行且符合操作者选择的工艺要求的程序。

Images