CN111918742B - 视觉焊接系统的缝隙检测方法以及系统 - Google Patents

Abstract

一种视觉焊接系统的缝隙检测方法以及系统，方法包括：通过视觉检测方式确定待焊接区域的两个金属部件(M、N)的排布关系；当两个金属部件(M、N)为交叉设置时，向两个金属部件(M、N)投射十字形激光图案；根据十字形激光图案以结构光检测方式确定两个金属部件(M、N)之间的缝隙信息。该方法能够实现对焊接区域的缝隙检测，并通过采用2D视觉系统实现了3D视觉检测系统的功能，改善了技术，节省了成本。

Description

视觉焊接系统的缝隙检测方法以及系统

技术领域

本申请涉及到缝隙检测领域，特别是涉及一种视觉焊接系统的缝隙检测方法以及系统。

背景技术

在焊接领域中，如何检测待焊接金属间是否存在缝隙尤为重要，但是现如今的单相机的视觉系统难以对需要焊接的立体金属间存在的缝隙进行有效的检测，同时，在现有技术下，空间以及3D视觉系统比较昂贵，难以实现量产，因此引用了2D视觉系统，但是一般的光用2D视觉系统在查看金属存在诸多的问题；例如：视觉角度、金属表面的反光不均匀、金属与周围环境的相似灰度不好区分等。

发明内容

本申请提供一种视觉焊接系统的缝隙检测方法以及系统，以解决如今缝隙检测难度较大或成本较高的问题。

本申请采用的一个技术方案是：提供一种视觉焊接系统的缝隙检测方法，包括步骤：通过视觉检测方式确定待焊接区域的两个金属部件的排布关系；当两个金属部件为空间异面设置时，向两个金属部件投射十字形激光图案；根据十字形激光图案以结构光检测方式确定两个金属部件之间的缝隙信息。

为解决上述技术问题，本申请采用的另一个技术方案是：一种视觉焊接系统，包括视觉检测系统，用于通过视觉检测方式确定待焊接区域的两个金属部件的排布关系；激光投射装置，用于对确定排布方式为空间异面设置的两个金属部件投射十字形激光图案；所述视觉检测系统进一步根据所述十字形激光图案以结构光检测方式确定所述两个金属部件之间的缝隙信息。

为解决上述技术问题，本申请采用的另一个技术方案是：一种计算机存储介质，存储有能够实现上述任一方法的程序文件。

本申请的有益效果是：一种视觉焊接系统的缝隙检测方法以及系统，通过视觉检测方式确定待焊接区域的两个金属部件的排布关系，当确定两个金属部件为空间异面设置时，向两个金属部件投射十字形激光图案，并根据十字形激光图案以结构光检测方式确定两个金属部件之间的缝隙信息，从而可以实现对焊接区域的两个金属部件进行缝隙检测。

附图说明

图1是本申请视觉焊接系统的缝隙检测的方法第一实施方式的流程示意图；

图2是本申请视觉焊接系统的缝隙检测的方法第二实施方式的流程示意图；

图3是本申请视觉焊接系统的缝隙检测的方法第三实施方式的流程示意图；

图4是本申请视觉焊接系统的缝隙检测的方法第四实施方式的流程示意图；

图5是图3以及图4实施例的一个具体实施例示意图；

图6是图5所示具体实施例中坐标计算的简单原理示意图；

图7是图5所示具体实施例中坐标计算的另简单原理示意图；

图8是本申请视觉焊接系统的一实施方式的结构示意图；

图9是本申请计算机存储介质的一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请视觉焊接系统的缝隙检测方法第一实施方式的流程示意图，具体的缝隙检测方法包括以下步骤：

S11，通过视觉检测方式确定焊接区域的两个金属部件的排布关系。

在本实施例中，由于对不同的排布的金属部件采用的是不同的焊接方法，所以首先要对焊接区域的两个金属部件进行检测，具体是通过视觉检测的方式对两个金属进行图像采集、图像识别以及处理。

在具体的实施例中，两个金属部件的排布方式分别是空间异面以及空间共面设置。

参阅图2，图2是本申请视觉焊接系统的缝隙检测方法第二实施方式的流程示意图，且是步骤S11的子实施例，具体包括如下步骤：

S111，对待焊接区域进行图像采集，以获得视觉检测图像。

在本实施例中，采用是自动化的方法对待焊接区域进行检测，首先需要进行图像采集，主要是通过机器对整个焊接区域进行图像采集，从而获得焊接区域的两个金属部件的视觉检测图像。

S112，对视觉检测图像进行图像识别，以从视觉检测图像中识别出两个金属部件。

本申请主要通过将激光图案投射到金属部件表面从而完成缝隙检测，需要确定两个金属部件的位置信息，包括具体的坐标、位置排布等等，从而需要对含有金属部件的视觉检测图像进行识别，识别出金属部件。

S113，确定两个金属部件在视觉检测图像中的排布关系。

在本申请中，由于对于不同的金属焊接方式采取不同的检测方式，即对于金属的不同排布方式采用不同的检测方式，因此通过识别后，对两个金属部件的位置信息进行处理，从而得出其位置关系。

上述实施方式中，通过对待焊接区域进行图像采集，并识别所采集到的视觉检测图像中的两个金属部件，随后确定两个金属部件的排布关系，从而完成对焊接区域两个金属的视觉检测与识别，并通过排布方式确定接下来使用的检测方式。

S13，当两个金属部件为空间异面设置时，采用结构光检测方式进行检测。

当检测出的两个金属部件为空间异面设置时，则采用结构光检测方式，在本实施例中，具体是通过向两个金属部件投射十字激光形图案，然后进行图像的采集、识别以及处理确定两个金属部件之间的缝隙信息，其中缝隙信息包括是否存在缝隙及缝隙的大小信息。

参阅图3，图3是本申请视觉焊接系统的缝隙检测方法第三实施方式的流程示意图，本实施例中，是通过在两个金属部件表面上形成相应的激光图案，继而得到投射到金属部件上的激光图案的空间位置信息，从而得到与激光图案对应的金属部件的位置，最后确定出两个金属之间的缝隙信息。具体包括如下步骤：

S131，向两个金属部件投射十字形激光图案，使得十字形激光图案中的第一条形激光图案和第二条形激光图案分别作用于两个金属部件的表面上。

在本实施例中，需要向两个金属部件投射十字形的激光图案，包括第一条形激光图案与第二条形激光图案，其中，第一条形激光图案作用于两个处于空间异面设置的金属部件的其中一个金属部件表面上，形成一个条形激光图案，第二条形激光图案作用于两个金属部件中的另外一个金属部件表面上，同样形成一个条形的激光图案。

S132，对投射有十字形激光图案的两个金属部件进行图像采集，以获取缝隙检测图像。

在向两个金属部件投射十字形激光图案并在分别两个金属部件的表面上形成相关的激光图案后，需要去采集获取缝隙检测图像，其中，缝隙检测图像中相对视觉检测图像多了相应的激光图案。

S133，对缝隙检测图像进行图像识别，以从缝隙检测图像中识别出十字形激光图案。

在本实施例中，由于十字形激光图案作用于两个金属部件的表面并形成相应的激光图案，即十字形激光图案的空间位置信息其实就是相当于这个十字形激光图案所在的金属部件的空间位置信息，首先需要将缝隙检测图像中激光图案识别出来。

S134，根据十字形激光图案在缝隙检测图像中的位置信息确定两个金属部件之间的缝隙信息。

从缝隙检测图像检测出十字形激光图案后，通过计算得到十字形激光图案的位置信息，继而得到所对应的金属部件的位置信息，然后通过比对计算，确定得到两个金属部件之间的缝隙信息。

参阅图4，图4是本申请视觉焊接系统的缝隙检测方法第四实施方式的流程示意图，且图4是图3步骤S314的子实施例，通过对识别出来的十字形激光图案进行选点、确定直线、计算距离以及比对来得到两个金属部件之间的缝隙信息，具体包括如下步骤：

S1341，根据十字形激光图案在缝隙检测图像中的位置信息分别确定两个金属部件的表面上的至少两个参考点的空间坐标。

在上述的实施例中已经说明，作用于金属部件上的激光图案的位置相当于其所在的金属部件的位置信息，即只要计算十字形激光图案所在的直线的空间位置信息，即金属部件的空间位置信息，具体的，计算一条直线需要至少两点的信息。具体的，根据激光图案在缝隙检测图像中的位置信息，从而得到其中激光图案中至少两个点的空间坐标。

请进一步参阅图5，图5是图3以及图4实施例的一个具体实施例示意图，其中，在本实施例中，采用的是通过投射十字激光对两个金属部件进行检测。

其中，焊接区域包括了两个金属部件分别是M以及N，通过向两个金属部件投射十字激光，使得第一条形激光图案作用于金属部件M表面上，从而形成一个条形激光图案m，第二条形激光图案作用于金属部件N上，从而形成一个条形激光图案n。

在具体的实施例中，从条形激光图案m以及条形激光图案n上分别取两点，根据结构光的检测原理，一方面可以通过图像确定所取点的横纵轴坐标，一方面根据图像的偏移角度以及距离信息来确定所取点的竖轴坐标，从而可以得出所取点的空间坐标，其中条形激光图案m取A以及B点，坐标分别是是A(x1，y1，z1)，B(x2，y2，z2)，所对应的直线为L1；条形激光图案n取C以及D点，其坐标是C(X1，Y1，Z1)，D(X2，Y2，Z2)，所对应的直线为L2，即金属部件M对应直线L1，金属部件N对应直线L2。

上述所述的通过2D摄像头进行检测其点的三维坐标具体可以通过如下方法：

如图6，光源21的激光打在金属M表面形成一个激光图案，取其中一个落点m，图像传感器11与金属M所在的平面的交点为Q点，因此m、图像传感器11、Q点一起构成一个直角三角形，其中一个直角为θ1，这里是图像传感器11在进行采集m点时候的偏移角，是已知的，其L1为m点到Q点的偏移距离，可以通过图像采集后的两点距离进行得出，因此在一个直角三角形中，已知一条直角边一个非直角的角度值，根据三角函数可以得出另外一个边的距离值，即图像传感器21到Q点的距离，建立坐标轴，可以得到其横纵竖坐标。

同理，对于金属N而言，其落点为n，交点为P，偏移角为θ2，偏移距离为L2，也可以得出图像传感器21到P点的距离。

在其他实施例中，也可以是垂直向金属部件投射激光图案，并在金属部件取一点P，此时光源、摄像机、P点构成一个直角三角形，同样的采用三角函数的方法进行计算，此时偏移位移为光源与摄像机的相对距离。

在又一实施例中，可以采用构建多个平面及坐标系的方法进行获取，如图7所示，光源21在向金属部件M投射十字激光图案后，光源21与两条光线分别形成横向光平面πh与纵向光平面πv，其中πc为图像平面，构建图像传感器11的坐标系为O_cx_cy_cz_c，其中O_p为图像传感器11采集到的光轴与图像平面πc的交点，无畸变图像坐标系为O_ux_uy_u。三维世界坐标系为O_wx_wy_wz_w，其中定义O_cx_c平行于O_ux_u和O_cz_c垂直于πc。

设πh或者πv上任意一点P在πc上的透视投影点为p，设P的三维世界坐标为(x_w，y_w，z_w)，p的无畸变图像坐标系坐标为(xu，yu)。

则整个图像传感器21的模型可以表示为：

其中，ρ不为0，(fx，fy)为图像传感器11在x，y方向上的有效焦距，(u0，v0)为图像传感器11的主点坐标。ri(i＝1….9)为正交旋转矩阵R的元素，tx，ty，tz为平移矢量T的元素。

由(1)式可知，空间点P在图像平面πc有唯一投影点p，即点p对应空间的唯一射线O_cp，且P位于O_cp上。

设πh上任意点坐标为P_cH＝[x_cHy_cHz_cH]^T，则πh的方程为：

a_Hx_cH+b_Hy_cH+c_Hz_cH+d_H＝0………..(2)

类似的，πv上任意点坐标为P_cH＝[x_cVy_cVz_cV]^T，则πv的方程为：

a_vx_cv+b_vy_cv+c_vz_cv+d_v＝0………..(3)

由(1)-(3)式可知，由(1)式可以确定射线O_cp的方程，由(2)和(3)式分别确定光平面πh与πv的方程，由Ocp和πh或者πv的交点可以位移确定点P在O_cx_cy_cZ_c三维坐标。

上述方式均可以采用2D摄像机得到关于投射点的一个三维坐标信息。在具体实施例中不限于上述方式。

S1342，根据各金属部件上的至少两个参考点的空间坐标确定各金属部件对应的空间直线方程。

在得到激光图案中的至少两个点的空间坐标后，通过空间直线方程计算出所对应的直线方程：

LI：(x-x1)/(x2-x1)＝(y-y1)/(y2-y1)＝(z-z1)/(z2-z1)，所对应的为金属部件M。

L2：(x-X1)/(X2-X1)＝(y-Y1)/(Y2-Y1)＝(z-Z1)/(Z2-Z1)，所对应的为金属部件N。

即L1的空间位置对应是金属部件M，L2的空间位置对应的是金属部件N，即上述的两个方程则分别为两个金属部件的空间位置信息方程。

S1343，根据各金属部件的空间直线方程确定两个金属部件之间的缝隙信息。

由于上述步骤已经确定两金属部件为空间异面设置，即L1与L2必定属于空间异面直线。

具体的，需要通过计算两直线之间的公垂线段的长度，可以通过在L1上选取任意一点Q，过点Q作一条平行于L2的直线L3，此时，L1以及L3构成一个平面O，然后在L2上取任意一点W，此时，只要求出点W到平面O的距离则可，这个具体就是L1，L2之间的公垂线段的长度，上述只是异面空间直线距离的一种求法，在其他实施例中，可以是其他任何求两直线之间距离的方法，不作任何限定。

继而要将这个公垂线段的长度与长度阈值进行比较，因为在具体的实施例中，金属部件是会存在一定的厚度，即两个直线之间是一定会存在距离的，则将公垂线段的长度与设定的长度阈值作差，根据差值信息确定两个金属部件之间的缝隙信息，如果公垂线段的长度大于阈值长度，即差值大于0，则代表两个金属部件的距离大于金属部件的厚度，即代表两个金属部件存在有缝隙，并且这个差值的具体数值即为两个金属部件的缝隙大小；如果所述公垂线段的长度与预设的长度阈值的差值等于0，则判定所述两个金属部件之间不存在缝隙。

在其他的实施例中，也可以采用平面直线方程的方法，请参照图5，图5中金属部件M位于近光处，所以当投射一条水平光线的时候，会同时在金属部件M以及金属部件N上投影，求出水平光线在金属部件M上投影的直线方程以及在金属部件N的直线方程，确定是否重合，如果重合代表没缝隙，如果不重合，则代表有着一定的缝隙。

上述实施例中，通过对激光图案的空间位置信息的计算，以及距离的确定、比对，从而得出激光图案所对应的金属部件之间的距离关系，从而确定是否存在缝隙，以及计算出缝隙的大小信息。

请参阅图8，图8是本申请视觉焊接系统的一实施方式的结构示意图。

本实施例中，视觉焊接系统包括：视觉检测系统10以及激光投射装置20。

其中，视觉检测系统10用于对焊接区域内的两个金属部件进行视觉检测，获得两个金属部件的排布方式后，激光投射装置20对确定为空间异面的两个金属部件投射十字形激光图案，视觉检测系统10进一步根据十字形激光图案以结构光检测方式确定两个金属部件之间的缝隙信息。

其中，视觉检测系统10具体包括了图像传感器11及处理器12，在具体实施例中，首先图像传感器11对焊接区域进行图像采集，从而获得视觉检测图像，然后处理器12对图像传感器11所采集到的视觉检测图像进行处理，识别出视觉检测图像中的需要进行缝隙检测的两个金属部件，进一步的，并确定识别出的两个金属部件的具体的排布关系以及位置信息，并将位置与排布信息发送激光投射装置20。

激光投射装置20主要包括光源21，当视觉检测系统10确定了两个金属部件的位置以及具体的排布关系，通过视觉检测系统10发送过来两个金属部件的位置信息以及排布方式来确定激光检测的方式，具体的，即通过处理器12传来的信息，光源21通过所得到的两个金属部件的位置信息以及排布信息来投射不同激光图案。

可选的，视觉检测系统10传来消息为的两个金属的排布关系为空间异面设置时：

则激光投射装置20的光源21投射十字形激光图案到两个金属部件上，并根据金属部件具体的位置信息，使得第一条形激光图案和第二条形激光图案分别作用于两个金属部件的表面上。

在光源21将预设的激光图案投射到两个金属部件表面后，图像传感器11负责对两个金属部件进行图像采集，从而获取到缝隙检测图像，处理器12通过获取到的缝隙检测图像，从缝隙检测图像中分别出两个金属表面的激光图案，并根据激光图案缝隙图像中的位置信息分别两个金属部件表面的至少两个参考点的空间坐标，在根据各金属部件上的至少两个参考点的空间坐标确定各金属部件对应的空间直线方程，进一步根据各金属部件的空间直线方程计算两个金属部件之间的缝隙信息。

其具体的检测方式，上述实施例中已经进行过叙述，这里不再赘述。

需要知道的，本实施例提供的图像传感器11采用的是成本较低2D图像传感器，其通过与处理器12、光源21进行配合，构成一个光源21、金属部件、图像传感器11的一个3D结构模型，基于结构光原理，通过对金属部件上的图像进行采集，一方面根据所取点的平面位置信息得到所取点的横纵轴坐标，一方面根据图像相对光源21、图像传感器11的偏移度来获取到所取点的竖轴坐标。

同时，本实施例提供的处理器12不仅仅限制于图像处理，还可以进行其他的处理，如控制光源20投射的方向，控制图像传感器11的采集角度等，在其他实施例中，处理器12也可以通过外接来实现，为了节省成本，处理器12也可以同时对多个系统进行相关处理。

参阅图9，图9为本申请计算机存储介质一实施方式的结构示意图，有能够实现上述所有方法的程序文件31，该程序文件31可以以软件产品的形式存储在上述存储装置中，同时还是记录各种计算的数据，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

综上，本领域技术人员容易理解，本申请提供一种视觉焊接系统的缝隙检测方法以及系统，通过对焊接区域的两个金属部件的位置视觉检测以及排布方式，选择相应激光检测方式向两个金属部件投射预设形状的激光图案，并根据采集到的激光图案，计算出激光图案的位置关系，进一步计算出两个金属部件之间的缝隙信息，通过上述方法，通过采用2D视觉系统缝隙检测代替了昂贵的3D视觉系统缝隙检测，从而优化了缝隙检测方法，提高了工作效率，并且降低了成本。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种视觉焊接系统的缝隙检测方法，其特征在于，所述方法包括：

通过视觉检测方式确定待焊接区域的两个金属部件的排布关系；

当所述两个金属部件为空间异面设置时，向所述两个金属部件投射十字形激光图案；

根据所述十字形激光图案以结构光检测方式确定所述两个金属部件之间的缝隙信息；

其中，所述当所述两个金属部件为空间异面设置时，向所述两个金属部件投射十字形激光图案包括：

使得所述十字形激光图案中的第一条形激光图案和第二条形激光图案分别作用于所述两个金属部件的表面上；

所述根据所述十字形激光图案以结构光检测方式确定所述两个金属部件之间的缝隙信息包括：

对投射有所述十字形激光图案的所述两个金属部件进行图像采集，以获取缝隙检测图像；

对所述缝隙检测图像进行图像识别，以从所述缝隙检测图像中识别出所述十字形激光图案；

根据所述十字形激光图案在所述缝隙检测图像中的位置信息分别确定所述两个金属部件的表面上的至少两个参考点的空间坐标；

根据各所述金属部件上的至少两个参考点的空间坐标确定各所述金属部件对应的空间直线方程；

根据各所述金属部件的所述空间直线方程计算所述空间直线方程所对应的直线之间的公垂线段的长度；

将所述公垂线段的长度与预设的长度阈值作差；

根据差值信息确定所述两个金属部件之间的缝隙信息。

2.根据权利要求1所述的方法，其特征在于，所述通过视觉检测方式确定待焊接区域的两个金属部件的排布关系包括：

对所述待焊接区域进行图像采集，以获得视觉检测图像；

对所述视觉检测图像进行图像识别，以从所述视觉检测图像中识别出所述两个金属部件；

确定所述两个金属部件在所述视觉检测图像中的排布关系。

3.根据权利要求1所述的方法，其特征在于，所述根据差值信息确定所述两个金属部件之间的缝隙信息，包括：

若所述公垂线段的长度与预设的长度阈值的差值大于0，则判定所述两个金属部件之间存在缝隙，并将所述差值作为所述缝隙的大小；

若所述公垂线段的长度与预设的长度阈值的差值等于0，则判定所述两个金属部件之间不存在缝隙。

4.一种视觉焊接系统，其特征在于，所述系统包括：

视觉检测系统，用于通过视觉检测方式确定待焊接区域的两个金属部件的排布关系；

激光投射装置，用于对确定排布方式为空间异面设置的两个金属部件投射十字形激光图案；

所述视觉检测系统进一步根据所述十字形激光图案以结构光检测方式确定所述两个金属部件之间的缝隙信息；

其中，所述激光投射装置包括：

光源，用于分别向所述两个金属部件投射十字形激光图案；使得所述十字形激光图案中的第一条形激光图案和第二条形激光图案分别作用于所述两个金属部件的表面上；

所述视觉检测系统还包括：

图像传感器，用于对投射有所述十字形激光图案的所述两个金属部件进行图像采集，以获取缝隙检测图像；

处理器，用于对所述缝隙检测图像进行图像识别，以从所述缝隙检测图像中识别出所述十字形激光图案；根据所述十字形激光图案在所述缝隙检测图像中的位置信息确定所述两个金属部件之间的缝隙信息；

当采用十字形激光图案进行检测时，所述视觉检测系统根据所述十字形激光图案在所述缝隙检测图像中的位置信息分别确定所述两个金属部件的表面上的至少两个参考点的空间坐标；根据各所述金属部件上的至少两个参考点的空间坐标确定各所述金属部件对应的空间直线方程；根据各所述金属部件的所述空间直线方程确定所述两个金属部件之间的缝隙信息；

所述根据各所述金属部件的所述空间直线方程确定所述两个金属部件之间的缝隙信息包括：

根据各所述金属部件的所述空间直线方程计算所述空间直线方程所对应的直线之间的公垂线段的长度；

将所述公垂线段的长度与预设的长度阈值进行作差；

根据差值信息确定所述两个金属部件之间的缝隙信息。

5.根据权利要求4所述的系统，其特征在于，所述图像传感器用于对所述待焊接区域进行图像采集，以获得视觉检测图像；

所述处理器用于对所述视觉检测图像进行图像识别，以从所述视觉检测图像中识别出所述两个金属部件，并确定所述两个金属部件在所述视觉检测图像中的排布关系。

6.根据权利要求4所述的系统，其特征在于，所述根据差值信息确定所述两个金属部件之间的缝隙信息，包括：

若所述公垂线段的长度与预设的长度阈值的差值大于0，则判定所述两个金属部件之间存在缝隙，并将所述差值作为所述缝隙的大小；

若所述公垂线段的长度与预设的长度阈值的差值等于0，则判定所述两个金属部件之间不存在缝隙。

7.一种计算机存储介质，其特征在于，存储能够实现如权利要求1-3任一所述方法的程序文件。

Images