CN109986172A

CN109986172A - 一种焊缝定位方法、设备及系统

Info

Publication number: CN109986172A
Application number: CN201910423946.1A
Authority: CN
Inventors: 梅俊飞; 王晗
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2019-07-09
Anticipated expiration: 2039-05-21
Also published as: CN109986172B

Abstract

本申请公开了一种焊缝定位方法：获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，结构光线条图像为结构光线条经焊缝表面反射采集得到；将焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；根据结构光线条图像，提取待定焊缝位置坐标；判断待定焊缝位置坐标是否属于焊缝位置坐标集；当匹配值小于预设阈值且待定焊缝位置坐标属于焊缝位置坐标集时，确定待定焊缝位置坐标为焊缝的位置。本申请中焊缝定位图像与模板图像匹配得到焊缝位置坐标集和匹配值，利用焊缝位置坐标集对待定焊缝位置坐标做进一步判断，确定焊缝的位置，提高焊缝定位的准确性。此外，本申请还提供具有上述优点的设备及系统。

Description

一种焊缝定位方法、设备及系统

技术领域

本申请涉及焊接技术领域，特别是涉及一种焊缝定位方法、设备及系统。

背景技术

工业机器人已被广泛用于机械制造、核工业及航天航空等诸多领域。而工业机器人的应用中，焊接机器人的数量所占比重达50％以上，利用视觉传感技术来实现焊接机器人自动完成焊接过程具有十分重要的意义。

视觉传感器根据成像所采用的光源的不同可以分成不以辅助光作光源的被动视觉传感器和以辅助光作光源的主动视觉传感器。目前，基于被动视觉传感器的焊缝定位方法，采集到焊缝图像后，根据焊缝图像与标准图像进行匹配从而得到焊缝的轨迹，得到的焊缝轨迹是整条焊缝中的一部分，并不是焊缝上的某一个确定的点坐标，根据焊缝的轨迹进行焊接时，存在精度较低的缺点，且受工作环境影响较大，无法对工件热变形、加工误差、夹具误差等干扰进行有效地处理，导致实际焊接过程中可能会产生焊接缺陷以及瑕疵。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种焊缝定位方法、设备及系统，以提高焊缝定位的精确度。

为解决上述技术问题，本申请提供一种焊缝定位方法，包括：

获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，所述结构光线条图像为结构光线条经焊缝表面反射采集得到；

将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；

根据所述结构光线条图像，提取待定焊缝位置坐标；

判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；

当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。

可选的，还包括：

当所述匹配值大于所述预设阈值时，保存所述焊缝位置坐标集；

若所述待定焊缝位置坐标不属于所述焊缝位置坐标集，确定所述待定焊缝位置坐标为焊缝的位置。

可选的，还包括：

当所述匹配值大于所述预设阈值时，若所述待定焊缝位置坐标属于所述焊缝位置坐标集，确定上一个可信位置坐标为焊缝的位置。

可选的，所述将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值包括：

对所述焊缝定位图像依次进行灰度处理、去噪处理、提取感兴趣区域、形态学运算、提取焊缝轨迹，得到预处理焊缝定位图像；

将所述预处理焊缝定位图像与所述模板图像进行匹配，得到所述焊缝位置坐标集和所述匹配值。

本申请还提供一种焊缝定位设备，包括：

第一图像采集装置，用于采集焊缝定位图像；

结构光发生器，用于发射照射焊缝表面的结构光线条；

第二图像采集装置，用于采集结构光线条图像，其中，所述结构光线条图像为所述结构光线条经所述焊缝表面反射采集得到；

控制器，用于获取所述焊缝定位图像和所述结构光线条图像；将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；根据所述结构光线条图像，提取待定焊缝位置坐标；判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。

可选的，所述结构光发生器与所述焊缝表面的法线的夹角取值范围为20°至35°，包括端点值。

可选的，所述第一图像采集装置和所述第二图像采集装置之间的距离的取值范围为14cm至18cm，包括端点值。

可选的，还包括：

位于所述第二图像采集装置与所述焊缝表面之间的滤光片，用于过滤所述结构光线条。

可选的，所述第一图像采集装置和所述第二图像采集装置均为CCD相机。

本申请还提供一种的焊缝定位系统，包括上述任一种所述的焊缝定位设备和焊接机器人。

本申请所提供的焊缝定位方法，包括获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，所述结构光线条图像为结构光线条经焊缝表面反射采集得到；将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；根据所述结构光线条图像，提取待定焊缝位置坐标；判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。可见，本申请的焊缝定位方法中，通过将获取到的焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值，当匹配值小于预设阈值时，表明焊缝位置坐标集为对焊缝位置粗定位而得到的焊缝位置，并且由结构光线条图像获取的待定焊缝位置坐标属于焊缝位置坐标集时，便可以确定待定焊缝位置坐标为焊缝的位置，提高了焊缝定位的准确性。此外，本申请还提供一种具有上述优点的设备及系统。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种焊缝定位方法的流程图；

图2为本申请实施例所提供的另一种焊缝定位方法的流程图；

图3为本申请实施例所提供的另一种焊缝定位方法的流程图；

图4为本申请实施例所提供的一种焊缝定位设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

正如背景技术部分所述，基于被动视觉传感器的焊缝定位方法只能得到焊缝的轨迹，得到的焊缝轨迹是整条焊缝中的一部分，并不是焊缝上的某一个确定的点坐标，即只能对焊缝进行粗定位，准确度不高。

有鉴于此，本申请提供了一种焊缝定位方法，请参考图1，图1为本申请实施例所提供的一种焊缝定位方法的流程图，该方法包括：

步骤S101：获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，所述结构光线条图像为结构光线条经焊缝表面反射采集得到；

具体的，焊缝定位图像即为焊缝的图像，可以得到焊缝的类型，如平焊缝、角焊缝等，以及焊缝的轨迹，结构光线条图像即为结构光线条的图像，并且图像中的结构光线条是经过焊缝表面反射后的结构光线条，因为经过焊缝表面反射后的结构光线条在与焊缝的交点处会发生突变，出现拐点。

步骤S102：将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；

具体的，模板图像即为焊缝的标准图像，焊缝定位图像作为输入图像，设焊缝定位图像的大小为M×N的区域S，模板图像大小为m×n的区域G，且M＞m，N＞n，采用序贯相似检测算法对焊缝定位图像与模板图像进行匹配，焊缝定位图像中便存在一条连续的焊缝轮廓轨迹，以及得到匹配值，匹配值具体为相似性度量D，相似性度量D可以根据下式获得：

其中，S(a,b)_ij表示与模板图像大小相等且以(a,b)为中心的输入图像所对应(i,j)位置的像素灰度，G_ij表示模板图像(i,j)位置的像素灰度。

步骤S103：根据所述结构光线条图像，提取待定焊缝位置坐标；

具体的，结构光线条图像在与焊缝位置交点处出现形态上的变化，即根据结构光线条图像中结构光线条上形态突变这一特征，采用激光三角法可以提取到待定焊缝位置坐标。

步骤S104：判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；

步骤S105：当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。

具体的，当匹配值小于预设阈值时，表明焊缝定位图像与模板图像相符合，即焊缝位置坐标集可以表示焊缝的轨迹，并且，待定焊缝位置坐标又属于焊缝位置坐标集时，便可以确定待定焊缝位置坐标即为焊缝的位置，进一步确定焊缝位置的点坐标。

需要说明的是，本实施例中对预设阈值，不做具体限定，可自行设置。例如，预设阈值可以为0.8，或者0.6，等等。

需要说明的是，本实施中对步骤S102与步骤S103之间的顺序不做具体限定，可相互调换。

本实施例所提供的焊缝定位方法中，通过将获取到的焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值，当匹配值小于预设阈值时，表明焊缝位置坐标集为对焊缝位置粗定位而得到的焊缝位置，并且由结构光线条图像获取的待定焊缝位置坐标属于焊缝位置坐标集时，便可以确定待定焊缝位置坐标为焊缝的位置，提高了焊缝定位的准确性。

请参考图2，图2为本申请实施例所提供的另一种焊缝定位方法的流程图，该方法包括：

步骤S201：获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，所述结构光线条图像为结构光线条经焊缝表面反射采集得到；

步骤S202：将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；

步骤S203：根据所述结构光线条图像，提取待定焊缝位置坐标；

具体的，结构光线条图像在焊缝位置处出现形态上的变化，即根据结构光线条图像中结构光线条上的拐点这一特征，可以提取到待定焊缝位置坐标。

步骤S204：判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；

步骤S205：当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置；

步骤S206：当所述匹配值大于所述预设阈值时，保存所述焊缝位置坐标集；

可以理解的是，当匹配值大于预设阈值时，表明焊缝定位图像与模板图像不符合，焊缝位置坐标集存在误差，不能表示焊缝的轨迹，对焊缝位置坐标集进行保存，即对误差位置进行保存，为后续判定提供参考依据。

步骤S207：若所述待定焊缝位置坐标不属于所述焊缝位置坐标集，确定所述待定焊缝位置坐标为焊缝的位置。

可以理解的是，焊缝位置坐标集存在误差时，而待定焊缝位置坐标不属于焊缝位置坐标集，便可以确定待定焊缝位置坐标为焊缝的位置。

在上述实施例的基础上，在本申请的一个实施例中，焊缝定位方法，还包括：

可以理解的是，焊缝位置坐标集存在误差时，而待定焊缝位置坐标属于焊缝位置坐标集，即认定待定焊缝位置坐标为误差坐标，不能准确表示焊缝的位置，而是利用上一个可信位置坐标为焊缝的位置，其中，上一个可信位置坐标的确定过程与前述实施例中确定焊缝的位置过程相同，此处不再详细赘述。

请参考图3，图3为本申请实施例所提供的另一种焊缝定位方法的流程图，该方法包括：

步骤S301：获取第一图像采集装置采集的焊缝定位图像和第二图像采集装置采集的结构光线条图像，其中，所述结构光线条图像为结构光线条经焊缝表面反射采集得到；

步骤S302：对所述焊缝定位图像依次进行灰度处理、去噪处理、提取感兴趣区域、形态学运算、提取焊缝轨迹，得到预处理焊缝定位图像；

需要指出的是，本实施例中对焊缝定位图像进行灰度处理的方式不做具体限定，可视情况而定。例如，可以采用单分量法、最大值法、平均值法、加权平均法中的任一种。

具体的，可以采用高斯滤波处理对经过灰度处理的焊缝定位图像进行去噪；提取感兴趣区域即对去噪后的图像进行裁剪。

进一步地，采用形态学闭运算即对提取感兴趣区域后的图像进行先膨胀后腐蚀的造作，具体的操作过程已为本领域技术人员所熟知，此处不再详细赘述。

需要说明的是，本实施例中对提取焊缝轨迹所采用的方式不做具体限定，可自行设定。例如，提取方法可以为阈值分割法或者孤立块剔除法，等等。

步骤S303：将所述预处理焊缝定位图像与所述模板图像进行匹配，得到所述焊缝位置坐标集和所述匹配值；

步骤S304：根据所述结构光线条图像，提取待定焊缝位置坐标；

步骤S305：判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；

步骤S306：当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。

本实施例所提供的焊缝定位方法，对获取的焊缝定位图像依次进行灰度处理、去噪处理、提取感兴趣区域、形态学运算、提取焊缝轨迹处理后得到预处理焊缝定位图像，预处理焊缝定位图像清晰度更高，由预处理焊缝定位图像与模板图像进行匹配，得到的焊缝位置坐标集准确度更高，进而使得确定焊缝位置的准确性更高。

本申请还提供一种焊缝定位设备，请参考图4，图4为本申请实施例所提供的一种焊缝定位设备的结构示意图，包括：

第一图像采集装置1，用于采集焊缝定位图像；

具体的，焊缝定位图像为焊缝的图像，焊缝位于工件9的表面，第一图像采集装置1的曝光时间需设置在1000ms或以上，以获取到具有完整特征的焊缝的图像。

结构光发生器2，用于发射照射焊缝表面的结构光线条；

第二图像采集装置3，用于采集结构光线条图像，其中，所述结构光线条图像为所述结构光线条经所述焊缝表面反射采集得到；

具体的，第二图像采集装置3的曝光时间需设置在300ms或以下，以保证第二图像采集装置3只采集结构光线条图像而不包括焊缝的图像。

控制器4，用于获取所述焊缝定位图像和所述结构光线条图像；将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值；根据所述结构光线条图像，提取待定焊缝位置坐标；判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；当所述匹配值小于预设阈值且所述待定焊缝位置坐标属于所述焊缝位置坐标集时，确定所述待定焊缝位置坐标为焊缝的位置。

具体的，控制器4通过数据电源线6分别与第一图像采集装置1和第二图像采集装置3相连，以获取焊缝定位图像和结构光线条图像。

可选的，第一图像采集装置1和第二图像采集装置3均由第一固定装置5固定，避免第一图像采集装置1和第二图像采集装置3发生晃动而影响采集到的焊缝定位图像和结构光线条图像的质量。同理，结构光发生器2由第二固定装置7固定，避免结构光发生器2移动而导致结构光线条发生移动，进入焊缝定位图像中，进而影响焊缝定位图像的质量。结构光发生器2通过电源线8与电源相连而正常工作。

优选地，焊缝定位设备还包括保护外壳11，用于保护第一图像采集装置1、第二图像采集装置3和结构光发生器2。

进一步地，焊缝定位设备还包括固定在保护外壳外表面的第三固定装置12，用于配合不同型号的夹具，与焊接机器人装配。

优选地，所述结构光发生器2与所述焊缝表面的法线的夹角取值范围为20°至35°，包括端点值，也即结构光线条与所述焊缝表面的法线的夹角在20°至35°之间，在第二图像采集装置3能够采集到结构光线条图像的条件下，使得结构光线条与焊缝交点处的突变更加明显，进而使得待定焊缝位置坐标更准确。

优选地，所述第一图像采集装置1和所述第二图像采集装置3之间的距离的取值范围为14cm至18cm，包括端点值，避免第一图像采集装置1和第二图像采集装置3之间的距离太小，导致过结构光线条出现在焊缝定位图像中，从而对后续处理造成干扰，同时避免第一图像采集装置1和第二图像采集装置3之间的距离太大，使得焊缝定位设备的体积过大，不利于实际安装和应用。

本实施例所提供的焊缝定位设备，通过将获取到的焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值，当匹配值小于预设阈值时，表明焊缝位置坐标集为对焊缝位置粗定位而得到的焊缝位置，并且由结构光线条图像获取的待定焊缝位置坐标属于焊缝位置坐标集时，便可以确定待定焊缝位置坐标为焊缝的位置，提高了焊缝定位的准确性。

在上述任一实施例的基础上，在本申请的一个实施例中，焊缝定位设备还包括：

位于所述第二图像采集装置3与所述焊缝表面之间的滤光片10，用于过滤所述结构光线条，以减少焊接过程中弧光、飞溅、强烈反光等造成的干扰，提高结构光线条图像的质量，使得待定焊缝位置坐标更加准确，从而利用待定焊缝位置坐标确定焊缝的位置时，提高焊缝定位的准确性。

在上述任一实施例的基础上，在本申请的一个实施例中，所述第一图像采集装置1和所述第二图像采集装置3均为CCD相机，但是本申请对此并不做具体限定，在本申请的其他实施例中，所述第一图像采集装置1和所述第二图像采集装置3均为COMS相机。

本申请还提供一种焊缝定位系统，包括上述实施例中所述的焊缝定位设备和焊接机器人。

本实施例所提供的焊缝定位系统，通过将获取到的焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值，当匹配值小于预设阈值时，表明焊缝位置坐标集为对焊缝位置粗定位而得到的焊缝位置，并且由结构光线条图像获取的待定焊缝位置坐标属于焊缝位置坐标集时，便可以确定待定焊缝位置坐标为焊缝的位置，焊缝定位设备将待定焊缝位置坐标经过手眼标定后发送给焊接机器人，焊接机器人便根据得到的坐标对焊缝进行焊接，提高了对焊缝定位的准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的焊缝定位方法、设备及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种焊缝定位方法，其特征在于，包括：

根据所述结构光线条图像，提取待定焊缝位置坐标；

判断所述待定焊缝位置坐标是否属于所述焊缝位置坐标集；

2.如权利要求1所述的焊缝定位方法，其特征在于，还包括：

3.如权利要求2所述的焊缝定位方法，其特征在于，还包括：

4.如权利要求1至3任一项所述的焊缝定位方法，其特征在于，所述将所述焊缝定位图像与模板图像进行匹配，得到焊缝位置坐标集和匹配值包括：

5.一种焊缝定位设备，其特征在于，包括：

第一图像采集装置，用于采集焊缝定位图像；

结构光发生器，用于发射照射焊缝表面的结构光线条；

6.如权利要求5所述的焊缝定位设备，其特征在于，所述结构光发生器与所述焊缝表面的法线的夹角取值范围为20°至35°，包括端点值。

7.如权利要求6所述的焊缝定位设备，其特征在于，所述第一图像采集装置和所述第二图像采集装置之间的距离的取值范围为14cm至18cm，包括端点值。

8.如权利要求5至7任一项所述的焊缝定位设备，其特征在于，还包括：

9.如权利要求8所述的焊缝定位设备，其特征在于，所述第一图像采集装置和所述第二图像采集装置均为CCD相机。

10.一种的焊缝定位系统，其特征在于，包括如权利要求5至9任一项所述的焊缝定位设备和焊接机器人。