CN115014205A - 塔盘的视觉检测方法、检测系统及其引导自动化焊接系统 - Google Patents

Abstract

本发明公开了一种塔盘的视觉检测方法、检测系统及其引导自动化焊接系统。塔盘的视觉检测方法中，对于塔盘采用激光测距传感器测量塔盘长度，根据长度判别塔盘种类，确定塔盘中格栅横向或纵向的方向；通过工业光源对格栅进行打光，使格栅的横切面在工业光源的照射下形成反光，拍照采集形成明暗对比的塔盘图像；结合格栅的方向，根据塔盘图像判断出格栅位置和数量，得到格栅横切面两条边缘与框架边框内边缘的交点，确定目标焊接点位置坐标。本发明的视觉检测方法针对于塔盘部件的种类数量大、面积大、焊点多的情况，可以实现对塔盘部件的种类进行准确判定，并确定相应的目标焊接点位置坐标，用以实现引导机器人对塔盘部件的焊接点进行准确焊接。

Description

塔盘的视觉检测方法、检测系统及其引导自动化焊接系统

技术领域

本发明涉及一种机器人设备与视觉设备在塔盘部件上的视觉引导焊接，属于塔盘焊接技术领域。

背景技术

随着焊接领域在生活生产需求中日益增长的情况下，传统的焊接方式已无法满足焊接行业的需求。由于传统的焊接生产工作都是由焊接工人手动焊接或者对于固定焊点的位置的工件使用机器人进行焊接。但是焊接质量的把握与生产效率都无法得到有效的保障，另外在焊点位置不一的情况下，单一的工业机器人也无法对焊点位置进行定位判别。

目前为了解决传统焊接领域中存在的短板问题，使用视觉引导的机器人焊接就成为了一种新的技术趋势，这种技术能够在生产质量与效率上得到充分的保障。

板式塔是一类用于气液或液液系统的分级接触传质设备,塔盘是指板式塔中提供气液传质和传热场所的主要部件。塔盘部件的种类数量大，塔盘部件的面积大、焊点多。目前市面上采取的都是人工焊接的方式，人工焊接效率低，焊接质量参差不齐，影响塔盘的整体质量。要实现塔盘的视觉引导自动化焊接，就需要对塔盘部件的种类进行判定还要对相应的焊接点进行视觉定位检测。

发明内容

发明目的：针对上述背景技术中存在的问题，本发明提供了一种适用于多种类塔盘部件的视觉检测方法及采用该方法的视觉检测系统及其引导自动化焊接系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种塔盘的视觉检测方法，其特征是，对于由四边形的框架内部嵌入一定数量的格栅组成的塔盘，采用激光测距传感器测量塔盘长度，根据长度判别塔盘种类，塔盘种类确定后，塔盘中格栅横向或纵向的方向同时确定；

通过工业光源对格栅进行打光，使格栅的横切面在工业光源的照射下形成反光，形成格栅横切面与框架边框亮，其余部分暗的视觉效果，拍照采集形成明暗对比的塔盘图像；

结合格栅的方向，根据塔盘图像判断出格栅位置和数量，得到格栅横切面两条边缘与框架边框内边缘的交点，确定该塔盘种类目标焊接点位置坐标。

进一步地，判断格栅位置具体包括以下步骤：

将单次拍照的视觉检测范围内，横向格栅划分为左右两个图像采集框，纵向格栅划分为上下两个图像采集框，结合格栅的方向，判断出格栅相对于框架的具体左右位置或上下位置关系，即判断出格栅位置。

进一步地，格栅相对于框架的左右位置关系的判断方法为：对于划分的左右两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，通过亮度面积进行比较筛选，判断左侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果能够找到则判断格栅在左侧的图像采集框X中，如果未找到则判断格栅在右侧的图像采集框Y中，从而判断出格栅相对于框架的左右位置。

进一步地，格栅相对于框架的上下位置关系的判断方法为：对于划分的上下两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，通过亮度面积进行比较筛选，判断上侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果能够找到则判断格栅在上侧的图像采集框X中，如果无法找出则可以判断出格栅在下侧的图像采集框Y中，从而判断出格栅相对于框架的上下位置。

进一步地，格栅数量的检测步骤为：

在判断出格栅相对于框架的左右位置或上下位置关系后，对于格栅所在的图像采集框内的亮度区域进行判断，通过计算在该图像采集框中的塔盘格栅顶端的横切面的面积与宽度特征相符的区域，得出格栅的条数。

进一步地，根据格栅条数的不同执行对应的焊点检测程序，通过格栅的边缘直线与框架内边缘直线的交点实现对目标焊接点位置的确定。

进一步地，焊点检测程序具体包括以下步骤：

对亮度区域检测出中心点位置坐标，通过固定偏差半根格栅横切面的长度坐标赋值给探针框，完成对格栅的边缘直线的探测，拟合出格栅边缘直线；以格栅横切面框架外边缘的探线框为固定位置，检测出框架外边缘直线，计算得到格栅边缘的直线与框架外部的直线的交点，对计算得到的交点进行定向偏差，给出的坐标赋值给框架内边缘直线的探线框，拟合出框架内边缘直线，拟合出的框架内边缘直线再与横条横切面拟合的格栅边缘直线的交点即为目标焊接点位置坐标。

进一步地，将目标焊接点位置坐标发送给机器人，机器人按照预设程序运动到该坐标对塔盘的焊接点进行焊接。

一种视觉检测系统，使用激光测距传感器测量不同塔盘种类的长度，激光测距传感器将测得的距离模拟信号接入可编程序控制系统中，可编程序控制系统对激光测距传感器传输的距离模拟信号进行判断处理，每种长度选择在不同的信号输出口进行信号输出；

机器人通过从不同的信号输出口接收到不同的输出信号，执行预先设定的视觉拍照点位程序对塔盘拍照，同时触发与塔盘种类相对应的视觉检测程序；

视觉拍照点位程序预设在机器人内，当机器人收到不同的输出信号时，按照视觉拍照点位程序，运动到对应塔盘种类的拍照位置，给相机提供拍照位；

视觉检测程序采用任一项所述的塔盘的视觉检测方法确定目标焊接点位置坐标；

视觉检测系统将确定的坐标以文本形式发送给机器人，机器人读取视觉检测系统发送的坐标文本后执行到该坐标位置进行焊接。

一种塔盘的视觉引导自动化焊接系统，包括所述的视觉检测系统。

本发明所达到的有益效果：

1、本发明的视觉检测方法针对于塔盘部件的种类数量大、面积大、焊点多的情况，可以实现对塔盘部件的种类进行准确判定，并确定相应的目标焊接点位置坐标，用以实现引导机器人对塔盘部件的焊接点进行准确焊接。

2、本发明的机器视觉引导塔盘的自动化焊接系统针对于塔盘部件的种类数量大、面积大、焊点多的特殊情况，实现了塔盘部件的自动化焊接，降低了生产成本，提升生产效率和效益。生产线更换产品类型后只需要对机器视觉检测设备进行同步更新，效益高，系统可重复使用，系统使用成本低。

3、本发明的塔盘的自动化焊接系统通过与外部传感器的配合，在使用2D相机时也可完成与3D相机相同的检测结果，检测成本大大降低。

4、克服了现有产业对于复杂种类的工件只能人工焊接的窘境，在金属粉尘的车间中无人工的作业，也是对于工人的安全保护，对企业的安全生产意义很大。

附图说明

图1是塔盘部件结构构成平面示意图；

图2是塔盘部件结构构成立体示意图；

图3是塔盘的格栅相对于框架在横向位置的情况下其中一种左右位置示意图；

图4是塔盘的格栅相对于框架在横向位置的情况下另一种左右位置示意图；

图5是塔盘的格栅相对于框架在纵向位置的情况下其中一种上下位置示意图；

图6是塔盘的格栅相对于框架在纵向位置的情况下另一种上下位置示意图；

图7是激光测距传感器传输的距离模拟信号与信号输出口的信号输出关系图；

图8是机器视觉系统工作流程图；

图9是本发明确定焊接点位置坐标的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本实施例中，针对于塔盘部件的种类数量大、面积大、焊点多的情况，采用视觉检测方法对塔盘部件的种类进行准确判定，并确定相应的塔盘目标焊接点位置坐标，用以实现引导机器人对塔盘的焊接点进行准确焊接。

视觉检测方法主要是采用Blob图像处理方法，blob是将图像进行二值化处理，分割得到前景和背景，然后进行连通区域进行检测，将图像中的具有相似颜色、纹理等特征所组成的一块区域连通，对连通的区域进行计数从而判断当前视野下塔盘部件格栅横条的个数。

塔盘部件的组成是由四边形的框架中内部嵌入一定数量的格栅组成，但是在相机拍照位视野的最大范围中仅能显示一条框架C和三条格栅，如图1、图2所示，格栅倾斜角度为30°，由于其功能性，格栅的方向会有横向与纵向的放置，一块区域内格栅的方向是相同的。通过工业条形光源的打光处理，格栅顶端的横切面A在外部光源的照射下，横切面会反光，格栅的侧面B、正面质地暗沉，光线不易反光，从而在视觉图像采集上会形成明暗对比，形成只有格栅横切面A与框架C边框亮，其余部分暗的效果。

在塔盘种类的分类上通过其长度不一的区分特性使用激光测距传感器根据长度进行判别，从而确定塔盘种类。塔盘种类确定后，塔盘格栅相对于框架的横向或纵向方向同时确定。

本实施例中的视觉检测方法主要通过求得格栅横切面两条边缘与框架边框内边缘的交点，即为目标焊接点。由于相机视野内可检测的格栅条数最大的范围为三根格栅的范围，将单次拍照视觉检测范围，横向格栅划分为左右两个图像采集框，纵向格栅划分为上下两个图像采集框。

由于格栅相对于框架的位置，在横向的情况下可分为左右两种位置的格栅，如图3、图4所示，在纵向的情况下可分为上下两种位置的格栅，如图5、图6所示。格栅相对于框架的左右与上下关系具体判断步骤举例如下：

例如图3，首先对于划分的左右两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，采用blob通过亮度面积进行比较筛选，判断左侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果能够找出则判断格栅在左侧的图像采集框X中，当判断出格栅在左侧的图像采集框X中时，再对该图像采集框X中的格栅数量进行计数。图4左右位置另一情况同理。

例如图5，首先对于划分的上下两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，采用blob通过亮度面积进行比较筛选，判断上侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果无法找出则可以判断出格栅不在上侧的图像采集框X中，而是在下侧的图像采集框Y中，再对该图像采集框Y中的格栅数量进行计数。图6上下位置另一情况同理。

在判断出格栅相对于框架位置后，还需要对相机视野范围内的格栅数量进行检测。格栅条数的判断也是通过blob对图像采集框内的亮度区域进行判断，由于色阶相差较大，亮暗两部分的区域就会断开，格栅横切面的亮度较为明显，即可通过这个亮度较为明显的区域数量得出格栅的条数，通过计算在图像采集框中与图1中的塔盘格栅顶端的横切面A的面积与宽度特征相符的区域，得出格栅的条数。根据格栅条数的不同跳转到执行对应的焊点检测程序。

焊点检测程序主要是借助格栅的边缘直线与框架内边缘直线的交点实现对目标焊接点位置的确定。格栅的边缘检测，将blob对亮度区域检测出的中心点位置坐标通过固定偏差半根格栅横切面的长度坐标赋值给探针框，从而完成对格栅的边缘直线的探测，拟合出格栅边缘直线。格栅横切面框架外边缘的探线框为固定位置，可检测出框架外边缘直线，格栅边缘的直线与框架外部的直线的交点即可计算得到，横条之前的间距大致相同，因为这一特点可以通过计算得到的交点进行定向偏差，将定向偏差得到的坐标赋值给框架内边缘直线的探线框，从而达到稳定拟合出框架内边缘直线。将拟合出的框架内边缘直线再与横条横切面拟合格栅边缘直线的交点即为求得的目标焊接点位置坐标。

当求得对应的焊接点位置坐标后，发送给机器人，机器人按照程序执行运动到该坐标位置，即可对塔盘部件的焊接点进行焊接，如图9所示。

实施例2

本实施例公开了一种塔盘的视觉检测系统，视觉检测系统采用实施例1中的视觉检测方法。在塔盘部件种类的分类上通过其长度不一的区分特性使用激光测距传感器进行判别，激光测距传感器接入可编程序控制系统中并且选择模拟量输入通道0，将测得的距离模拟信号通过模拟量输入通道0，传输给模拟量输入通道0，调用可编程序控制系统的SCALE功能模块可成功读取模拟量输入通道0输入的激光测距传感器测量的实际距离。

塔盘部件按照长度可分为6类，在可编程序控制系统设定程序对激光测距传感器传输的距离模拟信号进行判断处理，每种长度选择在不同的信号输出口进行信号输出，如图7所示，激光测距传感器传输的距离模拟信号分别是距离1、距离2、距离3、距离4、距离5、距离6，传输给模拟量输入通道0后，分别通过信号输出口A、B、C、D、E、F对应输出。

工业机器人通过输入输出口与可编程序控制系统进行信号传输，机器人程序编程中对每种可编程序控制系统的输出信号进行单独的设置，当工业机器人从不同的信号输出口接收到不同的输出信号，就会执行预先设定的视觉拍照点位程序，同时通过TCPIP协议输出到视觉检测系统中，会触发与塔盘部件种类相对应的检测模块程序。

视觉拍照点位程序是预设在工业机器人内的程序，不同类型的塔盘对应的相机拍照位置是不同的，所以每种类型的塔盘会有预设规定的拍照位置，确保每次的拍照位置不重复。当机器人收到不同的输出信号时，也就是检测出了对应的不同的塔盘类型时，按照视觉拍照点位程序，机器人就会运动到对应塔盘种类的拍照位置，给相机提供拍照位。

检测模块程序的作用是判断当前视觉系统显示界面视野（与拍照位的视野相同）下的格栅方向与个数，塔盘部件按照方向会有横竖两种，而且还要检测每次拍照位视野下的格栅的个数，判断出当前拍照位视野下的塔盘格栅的方向与个数，然后进行塔盘焊接点的坐标检测，计算塔盘目标焊接点位置坐标。

视觉检测系统通过捕捉视觉系统显示界面上的格栅的边缘与塔盘部件框架边缘直线的交点便能检测出需要焊接的点位坐标，视觉检测系统将检测出的点位坐标以文本形式发送给工业机器人，在工业机器人读取视觉检测系统发送的坐标文本后便执行到该点位坐标进行焊接，如图8所示。

实施例3

本实施例中的塔盘的视觉引导自动化焊接系统，采用了实施例2的视觉检测系统，塔盘的视觉引导自动化焊接系统包含了可编程序控制系统的系统模块，电气控制系统的激光测距传感器、工业机器人，视觉检测系统的工业相机组件及系统。

可编程序控制系统模块主要由CPU、存储器、输入接口、输出接口、通信接口、扩展接口等组成。CPU的主要功能是接收通信接口送来的程序和信息，并将它们存入存储器；采用循环检测的方式不断检测输入接口送来的状态信息，以判断输入设备的状态并且逐条运行存储器中的程序，并进行各种运算，再将运算结果存储下来，然后经输出接口对输出设备进行有关的控制。存储器存储器的功能是存储程序和数据。配有ROM(只读存储器)和RAM(随机存储器)两种存储器，ROM用来存储系统程序，RAM用来存储用户程序和程序运行时产生的数据。输入/输出接口又称I/O接口或I/O模块，是与外围设备之间的连接部件，同时通过输出接口对输出设备进行控制。

电气控制系统中的激光测距传感器先由激光二极管对准目标发射激光脉冲。经目标反射后激光向各方向散射。部分散射光返回到传感器接收器，被光学系统接收后成像到雪崩光电二极管上。雪崩光电二极管是一种内部具有放大功能的光学传感器，因此它能检测极其微弱的光信号。记录并处理从光脉冲发出到返回被接收所经历的时间，即可测定目标距离。

工业机器人则是用户根据实际任务引导机器人并逐步进行操作；机器人会自动记住在引导过程中的每个动作的位置、姿势、运动参数和过程参数，并自动生成一个连续执行所有操作的引导示教程序；完成引导示教后，只需向机器人发出启动命令，机器人便会准确地按照示教动作逐步完成所有操作。

根据焊接的路径规划机器人在焊接过程中的每个动作的位置、姿势、运动参数和过程参数，并自动生成一个连续执行所有操作的程序，只需向机器人发送焊接点的坐标信息，机器人便会准确地按照程序逐步完成所有操作。

视觉检测系统的工业相机组件及系统中微型工业相机主体模块内含核心控制器GPU，微型工业相机主体前置镜头模块内含图像摄取装置，图像摄取装置采用实施例1中视觉检测方法，将摄取目标转换成图像信号，传送给图像处理系统，图像处理系统根据像素分布和亮度、颜色等信息，转变成数字化信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的动作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种塔盘的视觉检测方法，其特征是，对于由四边形的框架内部嵌入一定数量的格栅组成的塔盘，采用激光测距传感器测量塔盘长度，根据长度判别塔盘种类，塔盘种类确定后，塔盘中格栅横向或纵向的方向同时确定；

通过工业光源对格栅进行打光，使格栅的横切面在工业光源的照射下形成反光，形成格栅横切面与框架边框亮，其余部分暗的视觉效果，拍照采集形成明暗对比的塔盘图像；

结合格栅的方向，根据塔盘图像判断出格栅位置和数量，得到格栅横切面两条边缘与框架边框内边缘的交点，确定该塔盘种类目标焊接点位置坐标。

2.根据权利要求1所述的塔盘的视觉检测方法，其特征是，判断格栅位置具体包括以下步骤：

将单次拍照的视觉检测范围内，横向格栅划分为左右两个图像采集框，纵向格栅划分为上下两个图像采集框，结合格栅的方向，判断出格栅相对于框架的具体左右位置或上下位置关系，即判断出格栅位置。

3.根据权利要求2所述的塔盘的视觉检测方法，其特征是，格栅相对于框架的左右位置关系的判断方法为：对于划分的左右两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，通过亮度面积进行比较筛选，判断左侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果能够找到则判断格栅在左侧的图像采集框X中，如果未找到则判断格栅在右侧的图像采集框Y中，从而判断出格栅相对于框架的左右位置。

4.根据权利要求2所述的塔盘的视觉检测方法，其特征是，格栅相对于框架的上下位置关系的判断方法为：对于划分的上下两个图像采集框X与图像采集框Y，对其内部连通的区域进行检测，通过亮度面积进行比较筛选，判断上侧的图形采集框X中能否找到与该塔盘种类对应的格栅横切面的区域面积与宽度相符的区域，如果能够找到则判断格栅在上侧的图像采集框X中，如果无法找出则可以判断出格栅在下侧的图像采集框Y中，从而判断出格栅相对于框架的上下位置。

5.根据权利要求3或4所述的塔盘的视觉检测方法，其特征是，格栅数量的检测步骤为：

在判断出格栅相对于框架的左右位置或上下位置关系后，对于格栅所在的图像采集框内的亮度区域进行判断，通过计算在该图像采集框中的塔盘格栅顶端的横切面的面积与宽度特征相符的区域，得出格栅的条数。

6.根据权利要求5所述的塔盘的视觉检测方法，其特征是，根据格栅条数的不同执行对应的焊点检测程序，通过格栅的边缘直线与框架内边缘直线的交点实现对目标焊接点位置的确定。

7.根据权利要求6所述的塔盘的视觉检测方法，其特征是，焊点检测程序具体包括以下步骤：

对亮度区域检测出中心点位置坐标，通过固定偏差半根格栅横切面的长度坐标赋值给探针框，完成对格栅的边缘直线的探测，拟合出格栅边缘直线；以格栅横切面框架外边缘的探线框为固定位置，检测出框架外边缘直线，计算得到格栅边缘的直线与框架外部的直线的交点，对计算得到的交点进行定向偏差，给出的坐标赋值给框架内边缘直线的探线框，拟合出框架内边缘直线，拟合出的框架内边缘直线再与横条横切面拟合的格栅边缘直线的交点即为目标焊接点位置坐标。

8.根据权利要求1所述的塔盘的视觉检测方法，其特征是，将目标焊接点位置坐标发送给机器人，机器人按照预设程序运动到该坐标对塔盘的焊接点进行焊接。

9.一种视觉检测系统，其特征是，使用激光测距传感器测量不同塔盘种类的长度，激光测距传感器将测得的距离模拟信号接入可编程序控制系统中，可编程序控制系统对激光测距传感器传输的距离模拟信号进行判断处理，每种长度选择在不同的信号输出口进行信号输出；

机器人通过从不同的信号输出口接收到不同的输出信号，执行预先设定的视觉拍照点位程序对塔盘拍照，同时触发与塔盘种类相对应的视觉检测程序；

视觉拍照点位程序预设在机器人内，当机器人收到不同的输出信号时，按照视觉拍照点位程序，运动到对应塔盘种类的拍照位置，给相机提供拍照位；

视觉检测程序采用权利要求1至8中任一项所述的塔盘的视觉检测方法确定目标焊接点位置坐标；

视觉检测系统将确定的坐标以文本形式发送给机器人，机器人读取视觉检测系统发送的坐标文本后执行到该坐标位置进行焊接。

10.一种塔盘的视觉引导自动化焊接系统，其特征是，包括权利要求9所述的视觉检测系统。

Images