CN109202802A - 一种用于卡合装配的视觉引导系统及方法 - Google Patents

Abstract

本公开提供了一种用于卡合装配的视觉引导系统及方法，包括视觉系统、控制器和机器人系统，所述视觉系统被配置为获取待装配工件的图像，并进行处理得到合适的视觉反馈信息，根据视觉反馈信息，由所述控制器得到控制输入，机器人系统接收输入指令执行相应的装配操作；在该视觉引导系统下，对于流水线工作台上任意位置和姿态的工件均可完成自动化装配，提高了卡合装配效率和容错率，克服了传统卡合装配自动生产线工件损坏率高的痛点。

Description

一种用于卡合装配的视觉引导系统及方法

技术领域

本公开涉及一种用于卡合装配的视觉引导系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

低压电器的卡合装配环节是直接影响产品质量的关键工序，对提高产品的耐用性，寿命以及整体质量具有重要意义。而以低压电器为代表的小件卡合装配工作具有工序复杂、空间紧凑以及产品换型频繁的特点。

目前，自动生产线主要以将待装配工件摆放成固定统一的位置和姿态后进行装配为主，由于低压电器材料大多为绝缘塑料，稍有偏差就会造成工件损坏，导致产品故障率居高不下，加上我国劳动力相对便宜，故大多企业采用人工手动装配。但是随着国内经济的快速发展及人力成本的提高，我国制造业的传统优势正在逐渐衰减，从长远来看，利用机器人或自动化设备的途径，无疑是传统制造业脱离上述约束的有效途径之一。

发明内容

本公开为了解决上述问题，提出了一种用于卡合装配的视觉引导系统及方法，本公开能够克服传统卡合装配自动生产线工件损坏率高的问题。

根据一些实施例，本公开采用如下技术方案：

一种用于卡合装配的视觉引导系统，包括：视觉系统、控制器和机器人系统，其中：

所述视觉系统被配置为获取待装配工件的图像，并进行处理得到合适的视觉反馈信息，根据视觉反馈信息，由所述控制器得到控制输入，机器人系统接收输入指令执行相应的装配操作。

作为进一步的限定，所述视觉系统包括工控机、图像采集模块和工作台，所述图像采集模块设置于工作台的上端，正对所述工作台，所述工控机连接所述图像采集模块，并接收拍摄的工作台上方的工件图像，进行目标位姿解算和坐标系转换。

作为进一步的限定，所述工控机被配置为采用中值滤波法对工件图像进行平滑，增强图像对比度，选择合理的阈值，将图像内的所有像素点与阈值比较，进行图像二值化，进行特征提取与匹配，进行位姿解算和坐标系转换。

一种用于卡合装配的视觉引导方法，获取待装配工件的图像，并进行处理得到视觉反馈信息，根据视觉反馈信息，得到控制输入，根据所述控制输入指令控制机器人机械臂或机械手动作，执行相应的装配动作。

作为进一步的限定，所述视觉反馈信息的得到过程包括：采用中值滤波法对工件图像进行平滑，增强图像对比度，选择合理的阈值，将图像内的所有像素点与阈值比较，进行图像二值化，进行特征提取与匹配，进行位姿解算和坐标系转换。

作为更进一步的限定，对工件图像对比度增强的过程为，对所有滤波后的输入图像进行对比度增强的函数的操作，得到对比度增强后的输出图像。

作为更进一步的限定，采用全局阈值分割法进行图像分割，其包括两个阶段：首先需要选择合理的阈值，然后将图像内的所有像素点与阈值比较，将大于阈值的像素点归类于第一区域，小于或者等于阈值的像素点的灰度归类于第二区域。

作为更进一步的限定，进行特征提取的过程中，采用差分法提取模板图像，拍摄一幅前景图像和一幅背景图像，将两幅图像相减得到包含待装工件的模板图像。

作为更进一步的限定，进行特征匹配的过程中，采用基于灰度相关的模板匹配算法，相似性度量准则采用SSD算法，找出最小的SSD值处即为目标所在位置。

作为更进一步的限定，进行位姿解算的过程中，利用模板匹配的归一化互相关系数进行，该相关系数为各个位置处模板与待搜索图像的匹配程度，相关系数极大值处的模板位姿，即为目标的位置坐标和旋转角度。

作为更进一步的限定，坐标系转换的具体过程包括：根据小孔成像原理，得到物点P在世界坐标系内的坐标与其像点的在像素坐标系内坐标的关系，依据所述转换关系进行坐标转换。

与现有技术相比，本公开的有益效果为：

本公开对于流水线工作台上任意位置和姿态的工件均可完成自动化装配，提高了卡合装配效率和容错率，克服了传统卡合装配自动生产线工件损坏率高的痛点；

本公开提供的系统结构简单，仅需要一台相机和一台机械臂即可完成低压电器装配工序，成本低廉，提高效益。

本公开能够节约人力，整个过程可在视觉引导系统下完成，减少工作人员工作量。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本公开的系统坐标图；

图2是本公开的系统结构图；

图3是本公开的目标位姿解算和坐标系转换的具体流程图；

图4是本公开三种坐标的关系；

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

一种用于卡合装配的视觉引导系统，如图2所示，由视觉系统、控制系统和机器人系统组成，其中视觉系统通过图像获取和视觉处理得到合适的视觉反馈信息，根据反馈信息，由控制器得到控制输入，机器人接收输入指令执行装配操作。主要包括单目相机，机械臂及末端夹持装置、流水线工作台，以及工控机，建立如图1所示的工件坐标系，工件顶部安装有固定相机，拍摄工件图像用于计算工件位姿。

具体过程包括：

通过张正友标定法标定相机内参数矩阵M_I及外参数矩阵M_E:

其中，f是摄像机焦距，R表示3×3的旋转矩阵，T为3D平移矢量，(u₀,v₀)表示物理坐标系的原点在像素坐标系内的坐标。

在测量系统出厂或第一次使用前标定一次即可。

进行基于视觉引导的卡合装配过程

(1)由流水线工作台将待装配工件传入相机视场，并等待装配。

(2)相机拍摄工件图像，并传入工控机进行图像处理及位姿解算。

(3)工控机跟据工件位姿，进行坐标系转换，生成机械臂的控制参数，并发送给控制器。

(4)控制器根据指令，驱动机械臂完成装配任务。

(5)流水线工作台将装配完成工件运送至下一工序，并将下一个待装配工件传入系统工作空间，重新进行步骤(2)。

步骤2中，目标位姿解算和坐标系转换的具体过程如图3所示。

通过相机采集和传输的图像，由于各种噪声源的干扰以及相机畸变的存在，导致原始图像包含了很多的噪声点以及图像畸变。首先采用中值滤波法对工件图像进行平滑，消除噪声点，中值滤波器表示如下：

上式中，A表示所选择的滤波器窗口。

进行工件图像对比度增强：

g(x,y)＝T[f(x,y)]

上式中，f(x,y)表示输入图像，g(x,y)表示对比度增强后的输出图像，T代表对比度增强的函数。

为了突出前景，采用全局阈值分割法进行图像分割，其包括两个阶段：首先需要选择合理的阈值，然后将图像内的所有像素点与阈值比较，将大于阈值的像素点归类于区域R₀，小于或者等于阈值的像素点的灰度归类于区域R₁，假定分割的阈值为Z_t,则阈值分割后的图像可以表示如下：

其中f(x,y)表示某一像素的灰度值，R₀、R₁表示整幅图像分割后的两个区域。

进行特征提取，对于产品线上同一型号的待装配工件而言，所对应的图像特征是相同的，所以我们只需在装配前把特征提取出来，在装配中直接进行特征匹配，从而降低图像处理的时间开销，提高生产效率。采用差分法提取模板图像，拍摄一幅前景图像和一幅背景图像，将两幅图像相减得到包含待装工件的模板图像。

进行特征匹配，采用基于灰度相关的模板匹配算法，相似性度量准则采用SSD算法，相似度函数为：

上式中:T(m,n)和S(i+m,j+n)分别是模板图像和待搜索图像在(m,n)坐标处和(i+m,j+n)坐标处的灰度值，找出最小的SSD值处即为目标所在位置。

进行位姿解算，利用模板匹配的归一化互相关系数NCC：

NCC系数大小表示在(i,j)位置处模板与待搜索图像的匹配程度,NCC极大值处的模板位姿，即为目标的位置坐标和旋转角度，为后续机器人的卡合装配提供可靠信息。

根据小孔成像原理，可以得到物点P在世界坐标系内的坐标与其像点的在像素坐标系内坐标的关系如下：

其中，(X_W,Y_W,Z_W,1)^T表示世界坐标系下的空间物点的齐次坐标，s表示倾斜因子。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种用于卡合装配的视觉引导系统，其特征是：包括：视觉系统、控制器和机器人系统，其中：

所述视觉系统被配置为获取待装配工件的图像，并进行处理得到合适的视觉反馈信息，根据视觉反馈信息，由所述控制器得到控制输入，机器人系统接收输入指令执行相应的装配操作。

2.如权利要求1所述的一种用于卡合装配的视觉引导系统，其特征是：所述视觉系统包括工控机、图像采集模块和工作台，所述图像采集模块设置于工作台的上端，正对所述工作台，所述工控机连接所述图像采集模块，并接收拍摄的工作台上方的工件图像，进行目标位姿解算和坐标系转换。

3.如权利要求1所述的一种用于卡合装配的视觉引导系统，其特征是：所述工控机被配置为采用中值滤波法对工件图像进行平滑，增强图像对比度，选择合理的阈值，将图像内的所有像素点与阈值比较，进行图像二值化，进行特征提取与匹配，进行位姿解算和坐标系转换。

4.一种用于卡合装配的视觉引导方法，其特征是：获取待装配工件的图像，并进行处理得到视觉反馈信息，根据视觉反馈信息，得到控制输入，根据所述控制输入指令控制机器人机械臂或机械手动作，执行相应的装配动作。

5.如权利要求4所述的一种用于卡合装配的视觉引导方法，其特征是：所述视觉反馈信息的得到过程包括：采用中值滤波法对工件图像进行平滑，增强图像对比度，选择合理的阈值，将图像内的所有像素点与阈值比较，进行图像二值化，进行特征提取与匹配，进行位姿解算和坐标系转换。

6.如权利要求5所述的一种用于卡合装配的视觉引导方法，其特征是：对工件图像对比度增强的过程为，对所有滤波后的输入图像进行对比度增强的函数的操作，得到对比度增强后的输出图像。

7.如权利要求5所述的一种用于卡合装配的视觉引导方法，其特征是：采用全局阈值分割法进行图像分割，其包括两个阶段：首先需要选择合理的阈值，然后将图像内的所有像素点与阈值比较，将大于阈值的像素点归类于第一区域，小于或者等于阈值的像素点的灰度归类于第二区域。

8.如权利要求5所述的一种用于卡合装配的视觉引导方法，其特征是：进行特征提取的过程中，采用差分法提取模板图像，拍摄一幅前景图像和一幅背景图像，将两幅图像相减得到包含待装工件的模板图像。

9.如权利要求5所述的一种用于卡合装配的视觉引导方法，其特征是：进行特征匹配的过程中，采用基于灰度相关的模板匹配算法，相似性度量准则采用SSD算法，找出最小的SSD值处即为目标所在位置。

10.如权利要求5所述的一种用于卡合装配的视觉引导方法，其特征是：进行位姿解算的过程中，利用模板匹配的归一化互相关系数进行，该相关系数为各个位置处模板与待搜索图像的匹配程度，相关系数极大值处的模板位姿，即为目标的位置坐标和旋转角度；

或，坐标系转换的具体过程包括：根据小孔成像原理，得到物点P在世界坐标系内的坐标与其像点的在像素坐标系内坐标的关系，依据所述转换关系进行坐标转换。