CN112548516B - 一种基于视觉的花键自动装配系统及方法 - Google Patents

Abstract

本发明涉及自动装配技术领域，公开了一种基于视觉的花键自动装配系统及方法，所述基于视觉的花键自动装配方法，包括：S1.通过机器人机械末端的图像获取模块获取花键轴和花键套图像；S2.基于图像处理模块对花键套图像进行分析，创建花键套轮廓模型；S3.使用轮廓模型与花键轴图像匹配，计算花键套与花键轴间平移、旋转位置信息；S4.通过以太网传输位置信息，驱动机器人机械末端夹爪中心位置到达花键套中心抓取后进行位置补偿，根据力传感器实时反馈完成花键的自动装配。通过本发明的技术方案，为花键的自动装配提供了一种新的基于视觉的装配解决方案。相比于传统的人工装配，实现了花键更智能、更高效、更精确的装配。

Description

一种基于视觉的花键自动装配系统及方法

技术领域

本发明涉及自动装配技术领域，特别涉及一种基于视觉的花键自动装配系统及方法。

背景技术

花键轴与花键套的装配在工业上广泛应用，装配的质量受花键轴与花键套间的接触状态、对应的受力情况及相对位置关系影响。因此需要调整补偿花键套与花键轴的相对位置关系实现装配目的。

目前的工业生产中，装配花键轴与花键套的工人占劳动力的大部分，而且装配工序所用的时间占总生产时间的大部分，花费在装配上的成本很多，这种传统的人工花键装配方法存在很多问题，诸如：花费时间长；实时性差，受工人状态影响大，自动化程度低，工序节拍难以把控等。

发明内容

针对现有技术中的上述不足或缺陷，本发明提供一种基于视觉的花键自动装配系统及方法，其能够智能、高效、准确地完成花键的装配。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于视觉的花键自动装配系统，其特征在于，包括：

花键轴，所述花键轴固定在装配台中心；

花键套，所述花键套放置在垛料台上；

机器人，用于接收并执行运动指令，并发送夹紧信号至夹爪；

夹爪，安装在机器人末端，用于接收所述机器人发送的夹紧信号并抓取花键套；

力传感器，垂直安装在夹爪两侧，用于实时监测花键轴套装配状态；

图像获取模块，安装于夹爪上方，用于获取花键轴与花键套图像信息，并将图像信息发送至处理模块；

运动控制柜，用于与处理模块交互运动参数，求解运动数值并发送运动控制指令至机器人；

处理模块，用于接收和处理所述图像获取模块发送的图像信息，并与所述运动控制柜交互运动参数，发送运动指令至所述机器人。

进一步地，所述处理模块包括：工控机、PLC、通讯模块，所述工控机用于图像处理、人机交互和硬件协调；所述PLC用于实时监测夹爪与机器人的状态；所述通讯模块用于传输位置信息、图像信息和运动信息至机器人和运动控制柜。

一种基于视觉的花键自动装配方法，其特征在于，包括以下步骤：

S1，通过机器人机械末端的图像获取模块获取花键轴和花键套图像；

S2，基于图像处理模块对花键套图像进行分析，创建花键套轮廓模型；

S3，使用轮廓模型与花键轴图像匹配，计算花键套与花键轴间平移、旋转位置信息；

S4，通过以太网传输位置信息，驱动机器人机械末端夹爪中心位置到达花键套中心抓取后进行位置补偿，根据力传感器实时反馈完成花键的自动装配。

进一步地，所述步骤S1的子步骤包括：

S11，处理模块发送开始信号，运动控制单元发送运动控制指令，驱动机器人到达花键轴拍摄预定位置，触发相机拍摄获取花键轴图像；

S12，控制单元发出机器人到位信号至PLC,结合花键轴图像变量判断花键轴图像是否获取完成；

S13，花键轴图像获取完成触发花键套图像获取信号并发送至运动控制单元，驱动机器人到达花键套拍摄预定位置，触发相机拍摄获取花键套图像；

S14，控制单元发出机器人到位信号至PLC,结合花键套图像变量判断花键轴图像是否获取完成；

S15，图像获取完成，加载图像基于图像处理软件处理分析图像。

进一步地，所述子步骤S11中相机安装方法为eye-in-hand的手眼标定方法。

进一步地，所述步骤S2的子步骤包括：

S21，基于二值化选取花键套灰度值在84-255的区域；

S22，采用面积的特征选择的方法粗略提取感兴趣区域；

S23，对感兴趣区域进行高斯平滑处理消除噪声；

S24，对感兴趣区域进行膨胀、开运算进而求差，获得目标区域；

S25，将目标区域转换成二进制字节图像；

S26，使用边缘算法检测目标区域边缘质量，如达标进行S27，不达标重复S24；

S27，对检测过关的边缘进行sobel梯度图像求得每点dx、dy、dxy三个值、建立-8°至8°范围、图像金字塔级数为5、缩放0.8至1的形状匹配模型，sobel梯度算法表达式如下：

G_x：每点x方向梯度Dx，G_y：每点y方向梯度Dy，G：每点梯度dxy。

进一步地，所述子步骤S26中的边缘检测算法为Canny算法。

进一步地，所述步骤S3的子步骤包括：

S31，加载花键轴图像进行sobel梯度图像，设定为匹配对象；

S32，基于模板匹配，在花键轴图像中搜索基于花键套建立的轮廓，若输出结果大于等于最小阈值匹配成功进行S33，若不成功重复S1；

S33，通过匹配区域的线像素坐标和列像素坐标平均值获得匹配区域的中心坐标，与模板的中心坐标比较获得位置偏移信息；通过模板的旋转角度获得角度偏移信息。

进一步地，所述子步骤S32的模板匹配是基于NCC匹配算法表达式如下：

(u,v):表示匹配图像长宽，

表示模板(x_i，y_i)点x、y方向梯度，

表示匹配图像(x_i，y_i)点x、y方向梯度，梯度相似度越高越趋近于1。

进一步地，所述步骤S4的子步骤包括：

S41，处理模块生成花键轴套间X、Y方向的位置偏移信息与角度偏差，传输至运动控制柜；

S42，运动控制柜元位置信息存储至位置寄存器中，发送运动控制指令驱动机器人将机械末端夹爪中心位置到达花键套中心；

S43，触发夹爪夹紧信号，抓取花键套后机器人运动至预设的装配趋近点，结合位置信息与运动指令实现花键轴套间位置补偿；

S44，完成位置补偿后，驱动机械臂垂直向下运动进行装配，运动过程中力传感器实时传输力矩数据至PLC，PLC根据力矩实时判断花键轴套间的接触情况，实时发送补偿指令至运动控制单元矫正机械手末端位置。

相对于现有技术，本发明的基于视觉的花键自动装配系统及方法的有益效果主要表现在：

1)可适应多种不同型号花键的装配，过程简单方便。

2)可以对花键进行自动化装配，对比目前的人工装配，可以有效的提升装配的效率，大幅降低劳动力成本并提高检产线智能化。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种基于视觉的花键自动装配系统的连接示意图；

图2为本发明的机器人的立体图；

图3为图2的机器人的右视图；

图4为本发明一种基于视觉的花键自动装配方法的原理图；

图5为本发明一种基于视觉的花键自动装配方法中创建花键套轮廓模型的流程图；

图6为本发明一种基于视觉的花键自动装配方法中的模板匹配流程图；

图7为本发明一种基于视觉的花键自动装配方法的整体流程图；

图8为本发明中花键套轮廓模型建立的示意图；

图9为本发明中花键轴模板匹配的示意图。

附图标记说明：

4力传感器 5图像获取模块

7夹爪 8机器人

9轮廓线 10光源

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明中，在未作相反说明的情况下，使用的方位词如“上、下、左、右”通常是指参考附图所示的上、下、左、右；“内、外”是指相对于各部件本身的轮廓的内、外。下面将参考附图并结合实施方式来详细说明本发明。

本发明中提供一种基于视觉的花键自动装配系统及方法，以能够智能、高效、准确地完成花键的装配。

为了实现上述目的，本发明第一方面提供一种基于视觉的花键自动装配系统，如图1所示，所述基于视觉的花键自动装配系统包括：

花键轴，所述花键轴固定在装配台中心；

花键套，所述花键套放置在垛料台上；

机器人8，用于接收并执行运动指令，并发送夹紧信号至夹爪7；

夹爪7，安装在机器人8末端，用于接收所述机器人8发送的夹紧信号并抓取花键套；

力传感器4，垂直安装在夹爪7两侧，用于实时监测花键轴套装配状态；

图像获取模块5，安装于夹爪7上方，用于获取花键轴与花键套图像信息，并将图像信息发送至处理模块；

运动控制柜，用于与处理模块交互运动参数，求解运动数值并发送运动控制指令至机器人8；

处理模块，用于接收和处理所述图像获取模块5发送的图像信息，并与所述运动控制柜交互运动参数，发送运动指令至所述机器人8。

其中，上述的花键轴所在的装配台中心和花键套的垛料台的位置不是固定的，可以按照案例需要进行设置，只需在机器人8的运动范围内。

其中，上述中运动控制柜和处理模块交互的运动参数可为位置偏移信息、角度偏差信息、花键轴套位置信息，运动控制柜根据运动参数求解运动数值，发送运动控制指令至机器人8，驱动机器人8进行运动，使得花键自动装配过程更加准确、高效。

进一步，所述处理模块包括：工控机、PLC、通讯模块，所述工控机用于图像处理、人机交互和硬件协调；所述PLC用于实时监测夹爪7与机器人8的状态；所述通讯模块用于传输位置信息、图像信息和运动信息至机器人8和运动控制柜。

本发明实施例中，为了能够实时监测花键轴套的装配状态，有效快速地完成花键的自动装配，在夹爪7两侧安装力传感器，能够实时检测机器人机械臂运动装配过程中的力矩数据并传输至PLC，PLC根据力矩数据实时判断花键轴套间的接触情况，实时发送补偿指令至运动控制单元矫正机械手末端位置。

本发明实施例中，所述图像获取模块5为相机，安装在夹爪7上方。相机用于拍摄花键轴和花键套的图像，优选地，相机的安装采用eye-in-hand的手眼标定方法，所述基于视觉的花键自动装配系统还包括光源10，所述光源10的作用在于：为相机提供足够的光照，获取的图像更加清晰。

本发明实施例中，为了更加方便通讯，提高花键装配的效率，所述处理模块通过以太网和运动控制柜通讯；所述处理模块和所述运动控制柜通过以太网和机器人8通讯。

本发明实施例适用于其他类似花键的工业零件的自动装配，以花键轴和花键套为例，以下简要说明本发明基于视觉的花键自动装配系统的工作原理：

所述处理模块发送开始指令，运动控制柜发送运动控制指令驱动机器人8运动到花键轴上方，PLC监测到机器人8运动到位触发相机拍摄，获取花键轴图像。处理模块加载花键轴图像后发送花键套图像获取指令，驱动机器人8运动到花键套上方，PLC监测到机器人8运动到位触发相机拍摄，获取花键套图像。处理模块加载花键套图像，开始图像分析处理，通过模板匹配得出位置信息。运动控制柜获取到位置信息，PLC监测到机器人8抓取的准备已完成，驱动机器人8和夹爪7沿预定轨迹抓取花键套。运动控制柜触发位置偏移指令，完成基于视觉的位置补偿，驱动机器人8从花键轴中心轴上方垂直向下运动，PLC实时监测力传感器传输的力矩数据，实时反馈矫正机器人运动轨迹，直至完成花键的自动装配。

通过上述技术方案，可以实现对花键套准确的自动装配，克服了人工装配的花费时间长，实时性差，受工人状态影响大，自动化程度低，工序节拍难以把控等缺点，能够智能、高效、准确地完成花键的装配。

本发明第二方面提供一种基于视觉的花键自动装配方法，如图2至图7所示，所述基于视觉的花键自动装配方法包括以下步骤：

S1，通过机器人机械末端的图像获取模块5获取花键轴和花键套图像；

S2，基于图像处理模块对花键套图像进行分析，创建花键套轮廓模型；

S3，使用轮廓模型与花键轴图像匹配，计算花键套与花键轴间平移、旋转位置信息；

S4，通过以太网传输位置信息，驱动机器人机械末端夹爪7中心位置到达花键套中心抓取后进行位置补偿，根据力传感器4实时反馈完成花键的自动装配。

进一步地，为了更加清楚如何获取花键轴和花键套的图像信息，所述步骤S1的包括以下子步骤：

S11，处理模块发送开始信号，运动控制单元发送运动控制指令，驱动机器人到达花键轴拍摄预定位置，触发相机拍摄获取花键轴图像；

S12，控制单元发出机器人到位信号至PLC,结合花键轴图像变量判断花键轴图像是否获取完成；

S13，花键轴图像获取完成触发花键套图像获取信号并发送至运动控制单元，驱动机器人到达花键套拍摄预定位置，触发相机拍摄获取花键套3图像；

S14，控制单元发出机器人到位信号至PLC,结合花键套图像变量判断花键轴1图像是否获取完成；

S15，图像获取完成，加载图像基于图像处理软件处理分析图像。

进一步地，所述子步骤S11中相机安装方法为eye-in-hand的手眼标定方法。

进一步地，所述步骤S2的创建花键套3轮廓模型包括以下子步骤：

S21，基于二值化选取花键套灰度值在84-255的区域；

S22，采用面积的特征选择的方法粗略提取感兴趣区域；

S23，对感兴趣区域进行高斯平滑处理消除噪声；

S24，对感兴趣区域进行膨胀、开运算进而求差，获得目标区域；

S25，将目标区域转换成二进制字节图像；

S26，使用边缘算法检测目标区域边缘质量，如达标进行S27，不达标重复S24；

S27，对检测过关的边缘进行sobel梯度图像求得每点dx、dy、dxy三个值、建立-8°至8°范围、图像金字塔级数为5、缩放0.8至1的形状匹配模型，sobel梯度算法表达式如下：

G_x：每点x方向梯度Dx，G_y：每点y方向梯度Dy，G：每点梯度dxy。

进一步地，所述子步骤S26中的边缘检测算法为Canny算法。

进一步地，所述步骤S3模板匹配并计算位置信息包括以下子步骤：

S31，加载花键轴图像进行sobel梯度图像，设定为匹配对象；

S32，基于模板匹配，在花键轴图像中搜索基于花键套建立的轮廓，若输出结果大于等于最小阈值匹配成功进行S33，若不成功重复S1；

S33，通过匹配区域的线像素坐标和列像素坐标平均值获得匹配区域的中心坐标，与模板的中心坐标比较获得位置偏移信息；通过模板的旋转角度获得角度偏移信息。

进一步地，所述子步骤S32的模板匹配是基于NCC匹配算法表达式如下：

(u,v):表示匹配图像长宽，

表示模板(x_i，y_i)点x、y方向梯度，

表示匹配图像(x_i，y_i)点x、y方向梯度，梯度相似度越高越趋近于1。

进一步地，所述步骤S4根据位置信息完成花键的自动装配包括以下子步骤：

S41，处理模块生成花键轴套间X、Y方向的位置偏移信息与角度偏差，传输至运动控制柜；

S42，运动控制柜元位置信息存储至位置寄存器中，发送运动控制指令驱动机器人将机械末端夹爪中心位置到达花键套中心；

S43，触发夹爪夹紧信号，抓取花键套后机器人运动至预设的装配趋近点，结合位置信息与运动指令实现花键轴套间位置补偿；

S44，完成位置补偿后，驱动机械臂垂直向下运动进行装配，运动过程中力传感器实时传输力矩数据至PLC，PLC根据力矩实时判断花键轴套间的接触情况，实时发送补偿指令至运动控制单元矫正机械手末端位置。

为了更加方便理解，以下简要说明本发明基于视觉的花键自动装配方法的整体流程：

所述处理模块发送开始指令，图像获取模块5开始获取花键轴和花键套的图像，运动控制柜发送运动控制指令驱动机器人8运动到花键轴上方，PLC监测到机器人8运动到位触发相机拍摄，获取花键轴图像。处理模块加载花键轴图像后发送花键套图像获取指令，驱动机器人8运动到花键套上方，PLC监测到机器人8运动到位触发相机拍摄，获取花键套图像。图像获取完成后图像处理模块开始对花键套图像进行分析处理，选择图像中感兴趣区域(ROI)进行图像预处理，检测边缘质量是否达标，若未达标重新进行图像预处理，若达标则创建花键套轮廓模型，与花键轴的图形进行模板匹配，若匹配不成功重新进行图像获取，若匹配成功则生成轮廓位置信息。执行模块根据获取到的轮廓位置信息进行自动装配，运动控制柜获取到位置信息，PLC监测到机器人8抓取的准备已完成，驱动机械手末端位置的夹爪7抓取花键套。运动控制柜触发位置偏移指令，完成基于视觉的位置补偿，驱动机器人8从花键轴中心轴上方垂直向下运动，PLC实时监测力传感器传输的力矩数据，力传感器大于阈值继续进行位置补偿，力传感器小于阈值则完成花键轴套间的自动对心装配。

本发明的技术方案为花键的自动装配提供了一种新的基于视觉装配解决方案。相比于传统人工装配，自动装配装置，本基于视觉的装配方法更加更加智能、效率更高、长期连续装配更准确、更稳定。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (4)

1.一种基于视觉的花键自动装配方法，其特征在于，包括基于视觉的花键自动装配系统，所述基于视觉的花键自动装配系统包括：

花键轴，所述花键轴固定在装配台中心；

花键套，所述花键套放置在垛料台上；

机器人（8），用于接收并执行运动指令，并发送夹紧信号至夹爪（7）；

夹爪（7），安装在机器人（8）末端，用于接收所述机器人（8）发送的夹紧信号并抓取花键套；

力传感器（4），垂直安装在夹爪（7）两侧，用于实时监测花键轴套装配状态；

图像获取模块（5），安装于夹爪（7）上方，用于获取花键轴与花键套图像信息，并将图像信息发送至处理模块；

运动控制柜，用于与处理模块交互运动参数，求解运动数值并发送运动控制指令至机器人（8）；

处理模块，用于接收和处理所述图像获取模块（5）发送的图像信息，并与所述运动控制柜交互运动参数，发送运动指令至所述机器人（8）；

所述处理模块包括：工控机、PLC、通讯模块，所述工控机用于图像处理、人机交互和硬件协调；所述PLC用于实时监测夹爪（7）与机器人（8）的状态；所述通讯模块用于传输位置信息、图像信息和运动信息至机器人（8）和运动控制柜；

所述图像获取模块（5）为相机，安装在夹爪（7）上方，用于拍摄花键轴和花键套的图像；

所述基于视觉的花键自动装配系统还包括光源（10），所述光源（10）用于为相机提供足够的光照；

所述基于视觉的花键自动装配方法包括以下步骤：

S1，通过机器人机械末端的图像获取模块（5）获取花键轴和花键套图像；

S2，基于图像处理模块对花键套图像进行分析，创建花键套轮廓模型；

S3，使用轮廓模型与花键轴图像匹配，计算花键套与花键轴间平移、旋转位置信息；

S4，通过以太网传输位置信息，驱动机器人机械末端夹爪（7）中心位置到达花键套中心抓取后进行位置补偿，根据力传感器（4）实时反馈完成花键的自动装配；

所述步骤S1的子步骤包括：

S11，处理模块发送开始信号，运动控制单元发送运动控制指令，驱动机器人到达花键轴拍摄预定位置，触发相机拍摄获取花键轴图像；

S12，控制单元发出机器人到位信号至PLC，结合花键轴图像变量判断花键轴图像是否获取完成；

S13，花键轴图像获取完成触发花键套图像获取信号并发送至运动控制单元，驱动机器人到达花键套拍摄预定位置，触发相机拍摄获取花键套图像；

S14，控制单元发出机器人到位信号至PLC，结合花键套图像变量判断花键轴图像是否获取完成；

S15，图像获取完成，加载图像基于图像处理软件处理分析图像；

所述步骤S2的子步骤包括：

S21，基于二值化选取花键套灰度值在84-255的区域；

S22，采用面积的特征选择的方法粗略提取感兴趣区域；

S23，对感兴趣区域进行高斯平滑处理消除噪声；

S24，对感兴趣区域进行膨胀、开运算进而求差，获得目标区域；

S25，将目标区域转换成二进制字节图像；

S26，使用边缘算法检测目标区域边缘质量，如达标进行S27，不达标重复S24；

S27，对检测过关的边缘进行sobel梯度图像求得每点dx、dy、dxy三个值、建立-8°至8°范围、图像金字塔级数为5、缩放0.8至1的形状匹配模型，sobel梯度算法表达式如下：

：每点x方向梯度Dx，

：每点y方向梯度Dy，G：每点梯度dxy；

所述步骤S3的子步骤包括：

S31，加载花键轴图像进行sobel梯度图像，设定为匹配对象；

S32，基于模板匹配，在花键轴图像中搜索基于花键套建立的轮廓，若输出结果大于等于最小阈值匹配成功进行S33，若不成功重复S1；

S33，通过匹配区域的线像素坐标和列像素坐标平均值获得匹配区域的中心坐标，与模板的中心坐标比较获得位置偏移信息；通过模板的旋转角度获得角度偏移信息；

所述步骤S4的子步骤包括：

S41，处理模块生成花键轴套间X、Y方向的位置偏移信息与角度偏差，传输至运动控制柜；

S42，运动控制柜元位置信息存储至位置寄存器中，发送运动控制指令驱动机器人将机械末端夹爪中心位置到达花键套中心；

S43，触发夹爪夹紧信号，抓取花键套后机器人运动至预设的装配趋近点，结合位置信息与运动指令实现花键轴套间位置补偿；

S44，完成位置补偿后，驱动机械臂垂直向下运动进行装配，运动过程中力传感器实时传输力矩数据至PLC，PLC根据力矩实时判断花键轴套间的接触情况，实时发送补偿指令至运动控制单元矫正机械手末端位置。

2.据权利要求1所述的基于视觉的花键自动装配方法，其特征在于，所述子步骤S11中相机安装方法为eye-in-hand的手眼标定方法。

3.根据权利要求1所述的基于视觉的花键自动装配方法，其特征在于，所述子步骤S26中的边缘检测算法为Canny算法。

4.根据权利要求1所述的基于视觉的花键自动装配方法，其特征在于，所述子步骤S32的模板匹配是基于NCC匹配算法表达式如下：

（u,v）：表示匹配图像长宽，

：表示模板

点x、y方向梯度，

：表示匹配图像

点x、y方向梯度，梯度相似度越高越趋近于1。

Images