CN108226168A - 单目多功能主被动视觉传感装置及其传感方法 - Google Patents

Abstract

本发明公开了一种单目多功能主被动视觉传感装置。本发明的传感系统包括壳体、摄像机、一字线激光头、电机、窄带滤光镜、减光及滤光镜系统、单面凸透镜、挡光板、挡飞溅玻璃、反射镜、扫描转镜。同时根据传感系统设计了一套减光及滤光装夹系统用于初始焊位识别和焊接工件时的减光及滤光镜系统的装夹与移除。该传感装置及其传感方法采用单个摄像机同时同幅获得焊缝图像信息和熔池图像信息，并且焊缝图像采用被动式观察成像，受弧光和熔池热辐射光干扰较大的熔池图像采用主动式激光扫描成像。本发明同时满足初始焊位识别、焊缝跟踪与熔池动态特征监测的功能要求，同时减少了系统设计和程序设计的复杂性，减少了生产成本，提高了焊接设备的焊接灵活性。

Description

单目多功能主被动视觉传感装置及其传感方法

技术领域

本发明属于焊接技术领域，具体涉及一种单目多功能主被动视觉传感装置及采用该装置的传感方法。

背景技术

视觉传感器接近人类视觉能获得更多的焊缝信息和熔池信息，同时能实现小间隙焊缝的自动化焊接和搭接自动化焊接，在自动化焊接中受到越来越多的重视。在当今焊接自动化焊缝跟踪过程中也需要实时监测熔池的动态信息，获取熔池形状尺寸特征参数，根据特征参数获知焊接质量，从而调整焊接参数，如焊接速速、焊接电流大小和送丝速度等，通过实时监测熔池质量来调整焊接参数可以更好地提高焊接质量，实现完全的自动化焊接。所以为了提高焊接质量，需要实现焊缝跟踪的同时还需要实时获取熔池的动态特征信息。但是在电弧焊接过程中由于强弧光干扰和熔池的热辐射光的影响，如果采用摄像机直接观察熔池，那样所成图像中熔池的尺寸和轮廓就会给强光覆盖掉，得不到准确的熔池轮廓尺寸信息。所以现有的视觉传感自动化焊接中，大多都是把焊缝跟踪和熔池检测的成像系统相互独立出来，一套系统实行焊缝的识别与跟踪，一套系统用于熔池的动态监测，例如双目识别。这样需要两台摄像机协调工作准确获取同一焊接位置的焊缝和熔池附近图像信息，保证其同步性和实时性。但这样无疑增加了系统设计和程序设计的复杂性，同时双检测装置还会增加焊接机构的重量和占据一定的空间位置，这样影响了焊接机构的灵活性。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种单目视觉传感器就能识别初始焊位，实现焊缝跟踪和熔池动态特征监测。同时根据传感系统设计了一套减光及滤光装夹系统用于初始焊位识别和焊接工件时的减光及滤光镜系统的装夹和移除。该传感装置及其传感方法采用单个摄像机同时同幅获得焊缝图像信息和熔池图像信息，并且焊缝图像采用被动式观察成像，受弧光和熔池辐射光干扰较大的熔池图像采用主动式激光扫描成像。这样尽可能大地获取了焊缝和熔池图像信息，同时减少了系统设计和程序设计的复杂性，减少了生产成本，提高了焊接设备的焊接灵活性。

为达到上述目的，本发明提供了一种单目多功能主被动视觉传感装置及其实现方法，具体步骤如下：

1)初始焊位图像采集：在实行初始焊位的识别和导引时，焊炬断弧，激光头断电停止工作，传感系统采用自然光照成像，为获得清晰图像，在减光及滤光装夹系统的作用下，窗口4的减光及滤光镜系统移除，窗口14的挡光板装夹进来(为了避免近红外线波长的光从窗口14进来干扰图像信息)，摄像机采集整个工作台和焊接工件连接形式的图像信息，然后经特定设计的图像处理算法提取焊缝初始位置特征，并经过立体视觉匹配算法确定焊接初始点的空间三维坐标，计算程序根据三维坐标移动焊枪端点接近焊接工件焊缝起始位置。

2)焊缝与熔池图像采集：根据步骤1)焊枪移动到工件的焊接起始位置。起弧前，为了避免强弧光对焊缝成像的干扰，在减光及滤光装夹系统的作用下，窗口4的减光及滤光镜系统装夹进来，窗口14的挡光板移除，起弧，激光头通电工作通过扫描转镜扫描熔池附近区域。焊缝成像光线经过减光及滤光镜系统成像于摄像机靶面上，同时扫描熔池附近区域的反射激光通过窄带滤光镜和壳体内置的反射镜系统成像于同一个摄像机靶面上。获得同时同幅的焊缝与熔池图像。

3)图像处理：根据步骤2)获得的不同成像光所形成的同时同幅焊缝与熔池图像，其特征在于，焊缝图像灰度化后的灰度值分布范围较广，熔池图像灰度化后的灰度值分布较为集中，两个图像交界处会有明显的灰度值突变线。由于焊缝图像与熔池图像由不同的成像光形成，在图像处理采用边缘检测Canny算法时需要设置不同的高低阈值进行边界检测，因此需要利用两图像形成的突变线采用图像分割算法将焊缝和熔池图像分割出来分别处理。分割出来的熔池图像根据激光所形成图像的灰度值范围设定合适的阈值对由窗口4混杂进来的杂像进行滤波，得到更为清晰的熔池图像信息。当中焊缝边界和熔池边界线都是采用最小二乘法进行拟合，根据焊缝的拟合直线计算焊缝中心位置。根据熔池拟合线和实际实验数据、工艺参数估算熔深、熔透、熔宽等焊接质量参数。

4)焊缝跟踪及熔池质量控制：根据步骤3)拟合直线计算出来的焊缝中心，同时计算焊接偏差，通过伺服驱动器驱动伺服电机移动焊炬矫正偏差，实现焊缝的精度跟踪。根据步骤3)估算出来的熔深、熔透、熔宽等焊接质量参数，调用控制程序给出适当的焊接参数调整，如焊接速度、焊接电流大小和送丝速度等。实现熔池的质量控制。

5)传感器复位：完成1)、2)、3)、4)步骤后，工件焊接完成，传感装置由控制程序复位到设定的位置，为下一个焊接工件的初始焊位图像采集做准备。

6)重复步骤1)、2)、3)、4)、5)完成所有工件的焊接。

上述步骤中所述的电机起到两个作用，一个是用于扫描转镜在30度角范围内的往复摆动，一个是在电磁圈通电时连接到带轮系统实现减光及滤光镜系统和挡光板的装夹与移除。

上述步骤中所述的电机行程参数计算方法是根据所选螺杆螺距、带轮直径、电机单脉冲转动角度和减光及滤光镜系统所需行程计算出电机旋转圈数，根据电机旋转圈数在程序中设定电机脉冲方向和脉冲时长。同样在做来回往复摆动时根据摆动角度在程序中设定好脉冲方向和脉冲时长。在一个焊接过程中，减光及滤光镜系统装夹和移除各一次，电机正反转圈数相同，完成一个零件焊接过程扫描转镜能自动复位到原来设定好的位置上。

上述步骤中所述的减光及滤光装夹系统具体实施过程是焊接开始前窗口4的减光及滤光镜系统移除，窗口14的挡光板装夹进来，摄像机获取工作台附近区域的焊件焊缝初始位置、连接形式的图像信息，然后经特定设计的图像处理算法提取焊缝初始位置特征，并经过立体视觉匹配算法确定焊接初始点的空间三维坐标，计算程序根据三维坐标移动焊炬端点接近焊接工件焊缝初始位置，根据提取到的工件信息，调出焊接参数，电磁圈通电，连接导块通过电磁圈吸引到带轮中的连接接口上完成传动连接，电机转动，带动带轮系统运行，其中螺杆只作转动不做平移运动，并且两条螺杆螺纹方向相反，减光及滤光镜系统在螺杆和导杆的作用下装夹进窗口4，由于两螺杆螺纹相反，窗口14的挡光板移除，电磁圈断电，连接导块在弹簧力的作用下复位，带轮系统停止运行，激光通电，电机带动扫描转镜根据设定好的程序在30度角范围内做往复运动，使激光扫描熔池附近区域，传感装置开始焊缝跟踪和熔池质量控制。焊接完成后，焊炬复位，电机反转，窗口4的减光及滤光镜系统移走，窗口14的挡光板装夹进来，为下一个焊件初始焊位识别做准备，此时扫描转镜又回到原来设定的位置。传感装置往复工作。

与现有焊接跟踪、熔池质量控制传感装置及传感方法相比，本发明采用的技术有以下创新：

1)该传感装置及其传感方法采用单个摄像机同时同幅获得焊缝图像信息和熔池图像信息，并且焊缝图像采用被动式观察成像，受弧光和熔池辐射光干扰较大的熔池图像采用主动式激光扫描成像。

2)焊缝位置图像为多波长光反射成像，熔池附近图像为单一波长激光反射成像，所以同一幅图片上焊缝所成像与熔池所成像有明显的交界线，图像灰度化后形成灰度值突变线。此突变线易用图像分割算法将焊缝图像与熔池图像分割

出来分别处理。

3)利用了电机的复用根据本发明的传感装置设计了一种减光及滤光装夹系统用于初始焊位识别与焊接工件时的减光及滤光镜系统的装夹与移除。

附图说明

图1是本发明的工作原理图。

图2是本发明的装配结构图。

图3是本发明的减光及滤光装夹系统装配结构图。

图2中：1-壳体，2-摄像机，3-单面凸透镜，4-焊缝反射光进光口，5-减光及滤光镜系统，6-外置挡光板，7-激光头，8-电机，9-扫描转镜，10-扫描激光出光口，11-反射镜，12-内置挡光板，13-反射镜，14-熔池反射光进光口，15窄带滤光镜，16-反射镜。

图3中：5-减光及滤光镜系统，8-电机，9-扫描转镜，12-内置挡光板，17-导杆，18-右旋螺杆，19-导杆，20-左旋螺杆，21-弹簧，22-连接导块，23-电磁圈，24-带轮系统。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施。给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图2所示，本实施例单目多功能主被动视觉传感装置包括：壳体1，摄像机2，单面凸透镜3，焊缝反射光进光口4，减光及滤光镜系统5，外置挡光板6，激光头7，电机8，扫描转镜9，扫描激光出光口10，反射镜11，内置挡光板12，反射镜13，熔池反射光进光口14，窄带滤光镜15，反射镜16，导杆17，右旋螺杆18，导杆19，左旋螺杆20，弹簧21，连接导块22，电磁圈23，带轮系统24。摄像机1是可自动调焦的一体化摄像机，其焦距变化范围为3.9mm-85.5，足以满足焊接工程中图像采集的需要；壳体1为铝制外壳；减光及滤光系统4减光镜减光50％，滤光片参数为520-630mm；激光头8为一字线激光头；反射镜系统中反射镜9与水平方向成45度角，反射镜10与水平方向成60度角，反射镜12与水平方向成30度角。

所述的减光及滤光装夹系统如图3示包括：减光及滤光镜系统5，电机8，扫描转镜9，内置挡光板12，导杆17，右旋螺杆18，导杆19，左旋螺杆20，弹簧21，连接导块22，电磁圈23，带轮系统24。螺杆18是右旋螺纹螺杆；螺杆20是左旋螺纹螺杆；弹簧21与连接导块22固定连接，连接导块22通过一根圆柱杆与扫描转镜连接，此连接使得连接导块22只能前后滑动不能在扫描转镜之间相对转动；电磁圈23位置固定不动，与电磁圈23接触连接的带轮能在电磁圈23之间相对滑动，同时此带轮设计有与连接导块6连接的十字槽，用于电磁圈23通电时使此带轮与连接导块22进行连接。

本发明单目视觉传感器就能识别初始焊位，实现焊缝跟踪和熔池动态特征监测传感方法具体实施步骤如下：

1)初始焊位图像采集：在实行初始焊位的识别和导引时，焊炬断弧，激光头7断电停止工作，传感系统采用自然光照成像，为获得清晰图像，在减光及滤光装夹系统(如图3)的作用下，窗口4的减光及滤光镜系统5移除，内置挡光板12装夹进窗口14(为了避免近红外线波长的光从窗口14进来干扰图像信息)，摄像机2采集整个工作台和焊接工件连接形式的图像信息，然后经特定设计的图像处理算法提取焊缝初始位置特征，并经过立体视觉匹配算法确定焊接初始点的空间三维坐标，计算程序根据三维坐标移动焊枪端点接近焊接工件焊缝初始位置。

2)焊缝与熔池图像采集：根据步骤1)焊枪移动到工件的焊接起始位置。起弧前，为了避免强弧光对焊缝成像的干扰，在减光及滤光装夹系统(如图3)的作用下，减光及滤光镜系统5装夹进窗口4，窗口14的挡光板12移除，起弧，激光头7通电工作通过扫描转镜9扫描熔池附近区域。焊缝成像光线经过减光及滤光镜系统5及单面凸透镜3调整反射方向后成像于摄像机靶面上，同时扫描熔池附近区域的反射激光通过窄带滤光镜15和壳体内置的反射镜系统(图2反射镜11、13、16)，经单面凸透镜3调整反射方向后成像于同一个摄像机2靶面上。获得同时同幅的焊缝与熔池图像。

3)图像处理：根据步骤2)获得的不同成像光所形成的同时同幅焊缝与熔池图像，其特征在于，焊缝图像灰度化后的灰度值分布范围较广，熔池图像灰度化后的灰度值分布较为集中，两个图像交界处会有明显的灰度值特变线。由于焊缝图像与熔池图像由不同的成像光形成，在图像处理采用边缘检测Canny算法时需要设置不同的高低阈值进行边界检测，因此需要利用两图像形成的特变线采用图像分割算法将焊缝与熔池图像分割出来分别处理。分割出来的熔池图像根据激光所形成的图像灰度值范围设定合适的阈值对由窗口4混杂进来的杂像进行滤波，得到更为清晰的熔池图像信息。当中焊缝边界和熔池边界线都是采用最小二乘法进行拟合，根据焊缝的拟合直线计算焊缝中心位置。根据熔池拟合线和实际实验数据、工艺参数估算熔深、熔透、熔宽等焊接质量参数。

4)焊缝跟踪及熔池质量控制：根据步骤3)用拟合直线计算出来的焊缝中心来计算焊接偏差，通过伺服驱动器驱动伺服电机移动焊炬矫正偏差，实现焊缝的精度跟踪。根据步骤3)估算出来的熔深、熔透、熔宽等焊接质量参数，调用控制程序给出适当的焊接参数调整，如焊接速度、焊接电流大小和送丝速度等。实现熔池的质量控制。

5)传感器复位：完成1)、2)、3)、4)步骤后，工件焊接完成，传感装置由控制程序复位到设定的位置，为下一个焊接工件的初始焊位图像采集做准备。

6)重复步骤1)、2)、3)、4)、5)完成所有工件的焊接。

上述步骤中所述的焊缝与熔池成像过程为：焊缝成像光线通过减光及滤光镜系统5和内置的单面凸透镜3调整反射方向后进入摄像机2，一字线激光通过反射镜11反射到扫描转镜9，扫描激光从窗口10出来由电机8带动转镜9扫描熔池附近区域，扫描反射激光从窗口14进入后先后通过反射镜13、16和单面凸透镜3调整反射方向后进入同一摄像机2获得同时图幅的焊缝与熔池图像。

上述焊接步骤中所述的减光及滤光装夹系统(如图3)具体实施过程是：焊接开始前窗口4的减光及滤光镜系统5移除，内置挡光板12装夹进窗口14，摄像机2获取工作台附近区域的焊件焊缝初始位置、连接形式的图像信息，然后经特定设计的图像处理算法提取焊缝初始位置特征，并经过立体视觉匹配算法确定焊接初始点的空间三维坐标，计算程序根据三维坐标移动焊炬端点接近焊接工件焊缝初始位置，根据提取到的工件信息，调出焊接参数，电磁圈23通电，连接导块22通过电磁圈22吸引到带轮中十字槽里面完成传动连接，电机8转动，带动带轮系统24运行，其中螺杆只作转动不做平移运动，并且两条螺杆螺纹方向相反(螺杆18采用右旋螺纹，螺杆20采用左旋螺纹)，减光及滤光镜系统5在螺杆18和导杆19的作用下装夹进窗口4，由于两螺杆螺纹相反，窗口14的挡光板移走，电磁圈23断电，连接导块22在弹簧21力的作用下复位，带轮系统24停止运行，激光头7通电，电机8带动扫描转镜9根据设定好的程序在30度角范围内做往复摆动，使激光扫描熔池附近区域，传感装置开始焊缝跟踪和熔池质量控制。焊接完成后，焊炬复位，电机8反转，窗口4减光及滤光镜系统移除，窗口14挡光板装夹进来，为下一个焊件初始焊位识别做准备，此时扫描转镜9又回到原来设定的位置。传感装置往复工作。

本发明方法中讲述了一种单目多功能主被动视觉传感装置及其实现方法，同时讲述电机行程参数的计算方法、图像处理方法，采用可自动调焦的摄像机和本发明中设计的减光及滤光装夹系统实现了初始焊位的识别和导引。该传感装置用单个摄像机同时同幅获得焊缝图像信息和熔池图像信息，并且焊缝图像采用被动式观察成像，受弧光和熔池辐射光干扰较大的熔池图像采用主动式激光扫描成像，更好地获得了焊缝及熔池的图像信息，经过图像处理算法实现了焊缝跟踪及熔池质量的控制。本发明可以同时满足初始焊位识别与导引、焊缝跟踪及熔池动态特征监测的功能要求，经济效益好、自动化程度高，同时提高了焊接设备的焊接灵活性。

Claims (3)

1.一种单目多功能主被动视觉传感装置，其特征在于，该传感装置包括：壳体、摄像机、外置挡光板、内置挡光板、减光及滤光镜系统、窄带滤光镜、单面凸透镜、激光头、扫描转镜、反射镜系统、电机、挡飞溅玻璃、减光及滤光装夹系统，传感装置侧装于焊接方向，调节传感装置安装位置和角度，使反射激光进光窗口对准熔池后跟部附近区域，摄像机前半镜头对准焊缝附近区域，其结果为能使焊缝成像光线通过单面凸透镜调整反射方向后成像在摄影机靶面的前半部份，熔池图像信息通过内置反射镜和单面凸透镜调整反射方向后成像在摄影机靶面的后半部份。

2.根据权利要求1所述的单目多功能主被动视觉传感装置，其特征是，传感装置所成图像特征为焊缝图像与熔池图像以不同成像光同时成像于同一幅图像上，它们的成像方式分别为：1)焊缝图像为通过减光及滤光镜系统后直接观察成像，以自然光和弧光为成像光的多波长光反射成像；2)熔池图像为激光扫描反射成像，以单一波长激光为成像光的单波长光反射成像。

3.根据权利要求1所述的单目多功能主被动视觉传感装置，其特征是，所述的减光及滤光装夹系统能实现初始焊位识别、焊缝跟踪与熔池动态特征监测时减光及滤光镜系统和内置挡光板的装夹与移除功能，系统包括：螺杆、导杆、挡光板、减光及滤光镜系统、电机、弹簧、连接导块、电磁圈、带轮传动结构，其中两根螺杆螺纹方向相反；焊缝成像光进光口为窗口4，扫描熔池附近区域反射激光进光口为窗口14；该装夹系统能完成的功能为：

1)在进行初始焊位识别时大范围大图像获取焊接工作台图像时，为获得清晰的图像，能把窗口4的减光及滤光镜系统移除，同时把窗口14的挡光板装夹进来，避免近激光波长的光从窗口14进来干扰初始焊位识别的图像信息。

2)当焊枪移动到焊缝起始位置并准备实行焊缝跟踪和熔池动态特征监测时，能把减光及滤光镜系统装夹进窗口4，同时把窗口14的挡光板移除，让扫描熔池的反射激光能从窗口14进入，获取熔池图像信息。

3)该装夹系统还能对电机功能进行复用，一是使电机用于扫描转镜在30度角范围内的往复摆动，二是在电磁圈通电时使电机连接到带轮系统实现初始焊位识别和焊缝跟踪与熔池动态特征监测时的减光及滤光镜系统和内置挡光板的装夹与移除功能。