CN111299760A - 基于主被动视觉的机器人焊缝跟踪与熔池监控传感器 - Google Patents

Abstract

一种基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，包括：3D打印耐高温树脂外壳、CCD和CMOS摄像机、光学镜头、一字线型激光器、减光滤光系统、电源模块和弧光挡板、其中：一字线型激光器内嵌于外壳后内壁，摄像机和减光滤光系统分别同轴竖直放置于外壳内部前端，一字线型激光器和摄像机分别通过航空插头与电源模块相连，弧光挡板设置于主动视觉摄像机正下方。本发明融合主被动视觉的特点，利用双目视觉可同时具备焊缝跟踪和熔池监控功能。

Description

基于主被动视觉的机器人焊缝跟踪与熔池监控传感器

技术领域

本发明涉及的是一种智能焊接领域的技术，具体是一种基于主被动视觉的机器人焊缝跟踪与熔池监控传感器。

背景技术

焊接过程实时焊缝检测和焊接质量监控是机器人焊接智能化技术的一个重要研究内容，其包括焊缝实时跟踪和焊接熔池的动态监控。目前的焊缝跟踪和熔池动态监控系统由三部分：传感系统，智能控制系统以及执行机构，即通过传感系统实时检测焊接过程状态信息(为焊缝和熔池信息)，并对获取的信息进行实时处理，提取出特征值(焊缝偏差值和熔池参数)，从而对机器人的焊接轨迹和焊接质量进行监控。

视觉传感器根据是否使用额外提供的外光源分为被动和主动传感器，其中被动视觉传感器利用焊丝熔化过程中产生的强烈的弧光作为图像信息采集光源，具有方便简单的特点。但是由于采集图像时依靠电弧光提供亮度，因此所获取的图像受到电弧光的影响非常大，对于坡口较复杂的焊缝(如弧形坡口焊缝)其特征不明显，容易出现无法处理的情况。与被动视觉技术相比，主动视觉可以不用依赖于焊接电弧光进行图像采集，得到的图像特征结构稳定，不容易受到外部环境的影响，传感器与焊接系统是保持相对独立的，保证图像受到外部焊接条件的干扰可以最大程度的消除，对于形状复杂的焊缝也可以很好地获得焊缝特征信息。但由于激光光源的强度和弧光强度相差巨大，无法同时观测熔池，主动视觉传感用于焊缝跟踪上，无法实现焊接过程熔池的监控。

目前市场上使用的机器人焊接用视觉传感器都是单一功能的基于激光视觉的焊缝跟踪视觉传感器或基于被动视觉的焊接熔池监控视觉传感器，因此，设计一款结构合理，功能多样，既能同时实现焊缝跟踪，又能进行熔池监控的视觉传感器显得尤为迫切。

经过对现有技术的检索发现，中国专利文献号CN109807936A，公开日20190528，公开了一种用于焊缝与熔池单目双位图像同步采集的机器人焊接视觉传感器，包括：安装支架、系统外壳、以相对位置安装定位角度固定的激光器和摄像头、减光滤光系统、保护机构和散热机构，系统外壳通过安装支架与机器人末端相连，激光器设置于系统外壳内部左侧并通过支架紧贴内壁放置，摄像头转动设置于系统外壳内壁上，减光滤光系统设置于系统外壳内并且设置于摄像头的前端，保护机构设置于系统外壳下方，散热机构分布于系统外壳的内壁上。本发明采用主被动视觉相结合的方式，包含一个激光器和一个摄像头，在一帧图像中可同时得到焊缝和熔池图像，通过在减光滤光系统中相邻位置上设置不同的减光条件，反映焊缝特征的激光条纹图像和焊接质量的熔池图像，体积较小、灵活性较大，能够满足不同场合的使用需求。但该现有技术与本发明相比，其无法解决的技术问题包括：

1)由于弧光强度为千瓦级，激光线强度为毫瓦级，两者强度不在一个数量级，现有技术利用一个单目相机进行观测，很难保证焊接过程激光线和熔池图像的清晰稳定采集，加大了图像采集和处理的难度，甚至有可能监控失败，鲁棒性有待进一步加强；

2)现有技术焊缝和熔池图像位于视场边缘，很有可能发生桶形或者枕形畸变，对于激光条纹这种精度要求比较高的成像影响较大；

3)由于焊接过程熔池和焊接背景对比太强烈，较难采集清晰的焊缝和熔池图像；

4)看熔池和看激光条纹的滤光片参数也不一样，不能用同一片滤光片应对两种不同的场景。像我们激光条纹选的是660nm的激光线，所选用的看激光条纹的也是中心波长为660nm的窄带滤光片，但是看的熔池所需要的滤光片却不一定是660nm窄带滤光片。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，融合主被动视觉的特点，利用双目视觉可同时具备焊缝跟踪和熔池监控功能。

本发明是通过以下技术方案实现的：

本发明整体通过安装支架固定于焊枪上，包括：3D打印耐高温树脂外壳、CCD摄像机、光学镜头、一字线型激光器、减光滤光系统、电源模块和弧光挡板、其中：一字线型激光器内嵌于外壳后内壁，摄像机和减光滤光系统分别同轴竖直放置于外壳内部前端，一字线型激光器和摄像机分别通过航空插头与电源模块相连，弧光挡板设置于主动视觉摄像机正下方。

所述的摄像机包括看主动视觉激光条纹的成像质量高，抗干扰能力强的CCD相机和短焦距，大视场的定焦镜头；看被动视觉熔池的高动态范围、高帧率的CMOS相机和长焦距、小视场角的定焦镜头，两个相机均竖直设置于外壳中内置的镜头孔，激光器固定于系统外壳5中内置的激光器凹槽中；进一步地，一字线型激光器和主动CCD摄像机成20度夹角，使得激光条纹在焊缝位置处产生形变。

所述的一字线型激光器选用中心波长为660nm的红光激光器。

所述的3D打印耐高温树脂外壳内设有激光器固定孔和摄像机固定孔用于固定传感器内部结构以及激光器夹具和摄像机夹具，其中：激光器夹具通过螺钉螺孔的方式和激光器固定孔配合，保证使用过程中激光器不发生转动，一字线型光源在摄像机中保持同一状态不发生改变；摄像机夹具在外部通过螺钉螺孔的方式固定摄像机并与摄像机固定孔配合。

所述的3D打印耐高温树脂外壳内设有冷却系统，该冷却系统包括：设置于主体侧壁预留凹槽作为冷却气的回型气道，该回型气道起始于主体顶部气道入口，终止与气道入口平行位置的气道出口，该气道位于主体左，右，后三个内壁，在内壁表面下挖深度1.5mm，宽度5mm，长度尽量密布三个面的凹槽形成回型气道，使用与气道槽相配合的铜板来覆盖气道使冷却系统成为一个循环的密闭空间，覆盖铜板拥有良好的导热性，通过将CCD摄像机和冷却铜板相接触来帮助内部发热元件快速散热。

所述的3D打印耐高温树脂外壳内的主体顶部设有用于将内部器件的供电与通信连接的航空插头，方便产品安装调试与错误排查效率。

所述的3D打印耐高温树脂外壳内设有用于方便与调位夹具配合将传感器固定于机器人第六轴末端的燕尾槽。

所述的3D打印耐高温树脂外壳的主体底板上设有保护玻璃已防止焊接过程中的大量飞溅对减光滤光系统和镜头造成破坏。

所述的弧光挡板基于铜板经冷挤制成，通过螺钉螺孔的方式和底板相配合，用以遮挡焊接过程中的大量弧光，减小对光源产生的一字线性激光产生的影响。

所述的3D打印耐高温树脂外壳进一步设有活动连接的前盖板，方便开闭以进行内部元器件的调试和更换，该前盖板和主体前端下陷部分紧密配合，减少了烟尘杂物进入传感器的可能性，增加了传感器的使用寿命。

所述的安装支架分别与3D打印耐高温树脂外壳和固定设置于机器人第六轴末端的焊枪相连并实现一维位置调节和绕固定点转动调节，该安装支架包括：焊枪夹具、连接夹具和调位夹具，其中：焊枪夹具一端和连接夹具通过螺纹螺孔的方式进行固定，另一端与焊枪相互配合将传感器整体设置于焊枪上，连接夹具和调位夹具配合后通过调位夹具的独特设计可实现绕固定点转动调节。

所述的绕固定点转动调节具体是指：沿3D打印耐高温树脂外壳的燕尾槽方向实现一维位置调节以增加传感器和焊枪之间姿态和位置的适应性。

所述的减光滤光系统包括：两个减光滤光片抽屉及两组减光滤光片，其中：减光滤光片通过减光滤光片抽屉同轴设置于摄像机镜头正下方用于对焊接过程中的弧光进行过滤，该滤光片是中心波长为660nm，带宽20nm，透过率大于90％，截止深度为OD4的窄带滤光片。

所述的电源模块包括降压模块和继电器，其中：降压模块用于将220v电压降为CCD摄像机所需要的12v电压和激光器所需要的3V电压，为传感器内部元器件供电使用；继电器用于与PC机连接，实现通过工控机控制内部元器件的关闭。

降压模块和继电器连接完成后共同置于接线盒中进行封装。接线盒可以对整个供电实现模块化，达到密闭，防潮，防震的效果。

本发明涉及上述监控传感器的图像处理系统，包括：辅助光源单元，图像采集单元，图像处理单元以及图像显示单元，其中：辅助光源单元指主动视觉的激光器，为焊缝跟踪提供焊缝的特征条纹，图像采集单元包括两组摄像机和镜头，用于采集焊接过程中的激光条纹和熔池，图像处理单元对激光线特征条纹和熔池进行实时处理并获得激光条纹与焊缝的偏差值和熔池的轮廓、熔宽、半熔长特征参数，图像采集单元和图像处理单元相连并传输实时的特征条纹和熔池的图像信息，图像显示单元包括显示界面和显示器，图像处理单元和图像显示单元相连并实时显示处理后的激光条纹和熔池图像并得出所需参数。

技术效果

与现有技术相比，本发明将焊缝跟踪和熔池监测两大功能集成在一款传感器上，在实现焊缝跟踪的同时对焊接过程质量进行监控；本发明焊缝和熔池均位于视场中央，畸变小，传感器精度高；本发明采用单机双目的分别监控焊缝和熔池很好解决了这个问题，降低了图像处理算法的要求，增加了鲁棒性；本发明对焊缝和熔池采用不同类型的摄像头，尤其是利用高动态范围的摄像头，可以清晰地看清楚熔池的动态变化过程；本发明可以同时选择不同滤光片，更加有利于焊接过程图像的采集；本发明避免了单目双位传感器采集到的激光条纹和熔池的图像不完整，都是一部分熔池再加一部分条纹，而焊接过程监控一般要采集到完整的熔池轮廓边缘才能进行分析，如果激光条纹太短，有的形状特殊的焊缝就无法完整表示出来，应用场景受限。

附图说明

图1为本发明总体结构示意图；

图2为本发明三维模型图；

图3为本发明实物图；

图4为实施例设置示意图；

图中：焊枪夹具 1、连接夹具 2、调位夹具 3、燕尾槽 4、系统外壳 5、气道 6、摄像机夹具 7、主动视觉摄像机 8、主动视觉镜头 9、弧光挡板 10、底板 11、激光器夹具 12、激光器 13、减光滤光抽屉 14、被动视觉镜头 15、被动视觉摄像机 16、气道入口 17、气道出口 18、航空插接口 19、摄像机固定孔 20、激光器内凹槽 21、主体卡扣孔 22、激光器固定孔 23、主体前端凹陷 24、前盖板 25、前盖板突出处 26、卡扣 27。

具体实施方式

如图1所示，为本实施例包括：3D打印耐高温树脂的系统外壳5、CCD摄像机8、CMOS摄像机16、光学镜头9、15、一字线型激光器13、减光滤光系统、电源模块和弧光挡板10、其中：一字线型激光器内嵌于外壳后内壁，摄像机和减光滤光系统分别同轴竖直放置于外壳内部前端，一字线型激光器和摄像机分别通过航空插头与电源模块相连，弧光挡板设有于主动视觉摄像机正下方。

所述的系统外壳5内部设有激光器固定孔23和摄像机固定孔20用于固定传感器内部结构和参数；主体侧壁预留凹槽6作为冷却气的流通渠道，通过顶面的冷却气进口17和出口18；主体顶部设有航空插头孔19，将内部器件的供电与通信集成起来，方便产品安装调试与错误排查效率，左侧设有燕尾槽4，方便与调位夹具3配合将传感器固定于机器人第六轴末端。

所述的系统外壳5内部设有冷却系统，该冷却系统包括：回形气道6和冷却铜板，其中：回型气道6起始于主体顶部气道入口17，终止与气道入口平行的气道出口18，该气道位于主体左，右，后三个内壁，在内壁表面下挖深度1.5mm，宽度5nm，长度尽量密布三个面的凹槽形成回型气道，通过回型气道6和与其配合的冷却铜板形成了空冷系统，提高了视觉传感器的使用寿命和使用范围，从而满足实际工业应用中长时间自动化焊接的操作需求并确保监控效果。

所述的系统外壳5上进一步设有卡扣活动连接的前盖板25，通过突出的卡扣27和传感器系统外壳5的卡扣槽23相配合以封闭传感器，盖板17的突出部分24可以和系统外壳55前端凹陷部分24紧密配合，可以达到很高的密封性，防止焊接过程中的烟尘杂物进入传感器内部影响传感器的采集效果和使用寿命。同时卡扣的设计使传感器的开合比螺钉螺孔配合的方式更加方便。

所述的安装支架包括：焊枪夹具1、连接夹具2、调位夹具3，其中：焊枪夹具1一端和连接夹具2通过螺纹螺孔的方式进行固定，另一端与焊枪相互配合将传感器整体设置于焊枪上，连接夹具2和调位夹具3配合后通过调位夹具的独特设计可实现绕固定点转动调节，沿着系统外壳5燕尾槽4方向实现一维位置调节，增加传感器和焊枪之间姿态和位置的适应性。

所述的系统外壳5内进一步设有激光器夹具12和摄像机夹具7，其中：激光器夹具通过螺钉螺孔的方式和系统外壳5后壁长出的激光器固定孔23配合，保证使用过程中激光器不发生转动，一字线型光源在传感器工作过程中保持同一状态不发生改变。摄像机夹具7在外部通过螺钉螺孔的方式把摄像机固定在摄像机夹具上，再将整体于系统外壳5后壁长出的摄像机固定孔20配合，极大的简化了装配流程并易于维护。

所述的采集系统包括：带有被动镜头15的被动相机16和带有主动镜头9的主动相机8以及一字线结构光光源13，其中：两个CCD摄像机各自通过螺纹和摄像机夹具7在外部相固定，一字线结构光光源13通过主体激光器内凹槽21进行定位，并通过激光器夹具和激光器定位孔23相固定。

所述的减光滤光系统14包括：减光滤光片孔、两个减光滤光片抽屉及两组减光滤光片，减光滤光片孔和主动镜头9和被动镜头15同心，减光滤光片抽屉14置于减光滤光片孔内，可拉出更换减光滤光片。减光滤光片置于减光滤光片抽屉内，可根据不同工作环境更换搭配。

所述的摄像机夹具为预先安装后再整体装配于传感器外壳上，所以需要事先设计好两个摄像机之间的相对位置，然后相机通过螺钉螺孔的配合方式和摄像机夹具前端的孔配合以实现位置的固定，摄像机夹具的厚度设置为可以让摄像机位于传感器前端1cm处以减少传感器体积。

所述的激光器夹具12中的一部分通过3D打印的方式生成，其形状是一个直径略大于激光器直径的内凹槽，可以初步固定激光器在传感器内部的位置，调好激光器的角度和角度后就可以通过激光器外夹具将激光器的位置进行固定，防止传感器工作过程中激光器发生移动或者转动，影响传感器的工作。

经过具体实际实验，在表1具体环境设置下，以图4中的参数启动软件，可以得到焊缝跟踪过程中X方向的平均误差为0.59mm，Z方向的平均误差为0.35mm，平均总误差为0.69mm，熔池监控过程中熔宽的均方误差为0.16mm，熔池尾部长度的均方误差为0.52mm，基本满足焊接需要。

表1

与现有技术相比，本装置在焊接过程焊缝跟踪精度和专业商业传感器处于一个数量级，在满足焊接质量需求的情况下新增熔池监控功能，是一款多功能，适用性广的视觉传感器。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征在于，该传感器整体通过安装支架固定于焊枪上，包括：3D打印耐高温树脂外壳、CCD摄像机、光学镜头、一字线型激光器、减光滤光系统、电源模块和弧光挡板、其中：一字线型激光器内嵌于外壳后内壁，摄像机和减光滤光系统分别同轴竖直放置于外壳内部前端，一字线型激光器和摄像机分别通过航空插头与电源模块相连，弧光挡板设置于主动视觉摄像机正下方；

所述的CCD摄像机包括看主动视觉激光条纹的成像质量高，抗干扰能力强的CCD相机和短焦距，大视场的定焦镜头；看被动视觉熔池的高动态范围、高帧率的CMOS相机和长焦距、小视场角的定焦镜头，两个相机均竖直设置于外壳中内置的镜头孔，激光器固定于外壳中内置的激光器凹槽中。

2.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的一字线型激光器和主动CCD摄像机成20度夹角，使得激光条纹在焊缝位置处产生形变。

3.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的3D打印耐高温树脂外壳内设有激光器固定孔和摄像机固定孔用于固定传感器内部结构以及激光器夹具和摄像机夹具，其中：激光器夹具通过螺钉螺孔的方式和激光器固定孔配合，保证使用过程中激光器不发生转动，一字线型光源在摄像机中保持同一状态不发生改变；摄像机夹具在外部通过螺钉螺孔的方式固定摄像机并与摄像机固定孔配合。

4.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的3D打印耐高温树脂外壳内设有冷却系统，该冷却系统包括：设置于主体侧壁预留凹槽作为冷却气的回型气道，该回型气道起始于主体顶部气道入口，终止与气道入口平行位置的气道出口，该气道位于主体左，右，后三个内壁，在内壁表面下挖深度1.5mm，宽度5mm，长度尽量密布三个面的凹槽形成回型气道，使用与气道槽相配合的铜板来覆盖气道使冷却系统成为一个循环的密闭空间，覆盖铜板拥有良好的导热性，通过将CCD摄像机和冷却铜板相接触来帮助内部发热元件快速散热。

5.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的3D打印耐高温树脂外壳内的主体顶部设有用于将内部器件的供电与通信连接的航空插头。

6.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的3D打印耐高温树脂外壳内设有用于方便与调位夹具配合将传感器固定于机器人第六轴末端的燕尾槽。

7.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的弧光挡板基于铜板经冷挤制成，通过螺钉螺孔的方式和底板相配合，用以遮挡焊接过程中的大量弧光，减小对光源产生的一字线性激光产生的影响。

8.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的3D打印耐高温树脂外壳进一步设有活动连接的前盖板，方便开闭以进行内部元器件的调试和更换，该前盖板和主体前端下陷部分紧密配合，减少了烟尘杂物进入传感器的可能性，增加了传感器的使用寿命。

9.根据权利要求1所述的基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，其特征是，所述的安装支架分别与3D打印耐高温树脂外壳和固定设置于机器人第六轴末端的焊枪相连并实现一维位置调节和绕固定点转动调节，该安装支架包括：焊枪夹具、连接夹具和调位夹具，其中：焊枪夹具一端和连接夹具通过螺纹螺孔的方式进行固定，另一端与焊枪相互配合将传感器整体设置于焊枪上，连接夹具和调位夹具配合后通过调位夹具的独特设计可实现绕固定点转动调节。

10.一种基于上述监控传感器的图像处理系统，其特征在于，包括：辅助光源单元，图像采集单元，图像处理单元以及图像显示单元，其中：辅助光源单元指主动视觉的激光器，为焊缝跟踪提供焊缝的特征条纹，图像采集单元包括两组摄像机和镜头，用于采集焊接过程中的激光条纹和熔池，图像处理单元对激光线特征条纹和熔池进行实时处理并获得激光条纹与焊缝的偏差值和熔池的轮廓、熔宽、半熔长特征参数，图像采集单元和图像处理单元相连并传输实时的特征条纹和熔池的图像信息，图像显示单元包括显示界面和显示器，图像处理单元和图像显示单元相连并实时显示处理后的激光条纹和熔池图像并得出所需参数。

Images