CN101954526A - 双丝脉冲焊熔池双向近红外同步视觉传感方法及装置 - Google Patents

Abstract

本发明公开了一种双丝脉冲焊熔池双向近红外同步视觉传感方法及装置。利用熔池对电弧的反射光和自身的辐射光作为光源，通过近红外技术和CCD视觉传感器参数调节装置显著降低双弧光强，经过基于VC++和OpenCV的双向熔池同时同幅采集与存储方法，完成后方和侧面双向熔池图像的同步显示及数据存储。经数字图像处理，可以获得反映焊接质量的特征信息。本传感装置包括两台近红外CCD视觉传感器、两套近红外复合滤光系统、两张图像采集卡、一台计算机、一套双向视觉系统装配夹具、两套高同轴度的近红外复合滤光系统装配组件和两套CCD视觉传感器参数调节装置。本发明能实现轻合金、不锈钢、碳钢、铜钢、铝镁等同种或异种金属双丝脉冲MIG、MAG焊双向熔池图像同时同幅视觉传感。

Description

双丝脉冲焊熔池双向近红外同步视觉传感方法及装置

技术领域

本发明涉及一种双丝脉冲焊熔池视觉传感技术及传感装置，特别适用于轻合金、碳钢、不锈钢、铜钢、铝镁等同种或异种金属双丝脉冲MIG、MAG焊接过程中后方和侧面同步熔池视觉传感。

背景技术

目前焊接自动化、智能化已成为焊接技术的主要发展方向。焊接智能化控制的核心是实现焊接过程和质量的实时检测与自动调整控制。为提高生产质量和降低焊后处理的成本，实现焊接过程质量的实时监控与“零缺陷”的管理目标，工业部门对于能够在线监测与控制焊接质量的工艺技术提出了迫切的要求。随着机器视觉理论的发展和视觉传感器成本的降低，视觉传感技术在焊接领域的应用已成为研究热点之一。按传感系统中视觉传感器的传感方位可以分为单向和多向视觉传感两种。单向熔池视觉传感利用一个CCD视觉传感器从熔池后方取像，根据不同的滤光机理加入滤光和减光片削弱强烈电弧光的干扰，获得一个方位(大多为熔池正后方)的熔池图像，经过图像处理得到能反映焊接质量的视觉信息。但单向视觉传感获得的视觉信息不够丰富和全面。多向视觉传感的机理与单向传感相同，难点在于双向同步视觉传感的实现。专利CN03116161.8公开的弧焊熔池动态特征视觉传感方法利用一个CCD视觉传感器、采集卡、滤光片、减光片和反光镜，设计了两条反射光路，实现了的正反面熔池图像的同时同幅视觉传感。但这种利用反射光路的视觉传感法需要严格的光路计算设计，反射后熔池图像的质量会有所降低，并且正反面熔池图像成像于一个CCD靶面上，分析单向熔池图像不够直观、便捷。哈尔滨工业大学的闫志鸿等利用两个CCD视觉传感器和图像采集卡、滤光片和减光片组成双向熔池视觉传感系统，实现了P-GMAW熔池正反双面视觉传感。该系统中不加入反光镜，直接截取熔池图像，滤光片波长选在可见光范围内。以上方法能实现单丝焊接过程中的熔池单向或多向视觉传感。由于双丝脉冲焊接过程中脉冲频率较高(通常在100Hz以上)、双弧叠加电弧光更为强烈以及双丝焊熔池的特殊形状(熔池由前后两丝熔化共同形成，尺寸较长)和焊枪喷嘴形状的特殊性(喷嘴尺寸较大，容易遮挡熔池取像窗口)，利用以上可见光波段滤光的传感方法不能获得满意的熔池图像。同时由于双丝焊枪喷嘴的遮挡，单从后方传感不能检测到熔池前方的图像，有必要从侧面对熔池进行同步传感，得到更直观、全面的双丝焊焊接过程中熔池的动态变化情况。

发明内容

本发明的目的在于提供一种双丝脉冲焊双向熔池同步近红外视觉传感方法和传感装置，该技术能够实现双丝脉冲焊接过程中后方和侧面熔池同步视觉传感，能够检测轻合金、碳钢、不锈钢、铜钢、铝镁等同种或异种金属焊接过程中熔池视觉图像，能够传感清晰的金属流动和熔池动态变化状态以及焊塌、焊穿等动态过程图像。

实现本发明目的的技术解决方案为：本发明双丝脉冲焊双向熔池近红外视觉传感方法，利用双丝脉冲焊接过程中熔池对电弧的反射光和熔池自身的辐射光作为光源，通过近红外技术滤除双丝焊接过程中强烈电弧光对熔池的干扰，在CCD视觉传感器快门曝光时间小于双丝焊机脉冲变化周期的条件下进行双向熔池视觉传感，再经过图像采集卡完成模数转换，利用基于VC++和OpenCV的双向熔池同步采集与存储，实现双丝脉冲焊尾部和侧面熔池同步视觉传感。

本发明双丝脉冲焊双向熔池近红外视觉传感装置，包括两台近红外CCD视觉传感器、两套近红外复合滤光系统、两张图像采集卡、一台计算机、一套双向视觉系统装配夹具、两套高同轴度的近红外复合滤光系统装配组件和两套CCD视觉传感器参数调节装置；其中，两套近红外复合滤光系统分别置于两台近红外CCD视觉传感器前端，组成双向视觉传感器件，该双向视觉传感器件与双丝焊枪用双向视觉系统装配夹具连接，在焊接过程中与双丝焊枪同步运动，能够实时传感双丝焊过程中后方和侧面的熔池图像，经由CCD视觉传感器的视频接口和放置于计算机PCI插槽内的图像采集卡通过数据线相连，实现数据的转换、显示和存储。

本发明与现有技术相比，其显著优点是：设计了由两个近红外CCD视觉传感器、两套近红外滤光系统、两张图像采集卡、一台计算机、一套双向视觉传感装配夹具组成的双丝脉冲焊双向熔池近红外视觉传感装置，提出了一种基于VC++和OpenCV相结合的双向熔池图像同步采集和存储方法，实现了双丝脉冲焊后方和侧面熔池的近红外同步视觉传感；设计了CCD视觉传感器参数调节装置，可以根据焊接方法和熔滴过渡视觉特征改变快门曝光时间，有效控制进入CCD视觉传感器的光通量，在近红外复合滤光系统减弱双丝电弧光强的基础上，进一步削弱双丝强电弧对熔池的干扰，获得双丝脉冲焊过程中清晰的双向熔池图像，图像信息量丰富；针对双向熔池图像，采用空域和频域滤波、形态学变换和Canny算子边缘提取等数字图像处理方法，获得的熔宽、半长、后拖角等特征信息能够反映双丝焊接质量；该装置和方法可传感采集双丝脉冲MIG、MAG焊，实现轻合金、碳钢、不锈钢、铜钢、铝镁等同种或异种金属双丝焊接过程中清晰的金属流动和熔池动态变化状态以及焊塌、焊穿等动态过程图像，为焊接缺陷的预防、焊接质量的在线智能控制和熔池三维形状恢复奠定基础。

附图说明

图1是本发明双丝脉冲焊双向近红外熔池视觉传感装置示意图。

图2是本发明双丝双向视觉传感装配夹具及其组件结构图。

图3是本发明双丝焊双向熔池图像同步采集及存储方法流程图。

图4是本发明的双向视觉传感效果图。

图5是本发明双丝焊双向熔池图像处理流程图。

具体实施方式

结合图1、图2，本发明双丝脉冲焊双向熔池近红外视觉传感方法利用双丝脉冲焊接过程中熔池对电弧的反射光和熔池自身的辐射光作为光源，通过近红外技术滤除双丝焊接过程中强烈电弧光对熔池的干扰，在CCD视觉传感器快门曝光时间小于双丝焊机脉冲变化周期的条件下进行双向熔池视觉传感，再经过图像采集卡完成模数转换，利用基于VC++和OpenCV的双向熔池同步采集与存储，实现双丝脉冲焊后方和侧面熔池同时同幅视觉传感。

本发明双丝脉冲焊双向熔池近红外同步视觉传感装置包括两台近红外CCD视觉传感器、两套近红外复合滤光系统、两张图像采集卡、一台计算机、一套双向视觉系统装配夹具、两套高同轴度的近红外复合滤光系统装配组件和两套CCD视觉传感器参数调节装置；其中，两套近红外复合滤光系统分别置于两台近红外CCD视觉传感器前端，组成双向视觉传感器件，该双向视觉传感器件与双丝焊枪用双向视觉系统装配夹具连接，保证在焊接过程中与双丝焊枪同步运动，能够实时传感双丝脉冲焊过程中后方和侧面的熔池图像，经由CCD视觉传感器的视频接口8和放置于计算机PCI插槽内的图像采集卡通过数据线相连，实现数据的转换、显示和存储。

本发明双丝焊熔池双向同步近红外视觉传感装置中，CCD视觉传感器放入后置套筒5中，CCD视觉传感器的镜头在中间套筒4内，后置套筒5和中间套筒4之间螺纹连接；近红外滤光片、中性减光片和防飞溅玻璃片依次平行放入前置套筒3内，旋套2置于前置套筒3前端，对滤光片组进行封装；前置套筒3后端与中间套筒4、前端与旋套2之间均为螺纹连接，保证了滤光片、减光片和防飞溅玻璃片之间高的同轴度。

本发明双丝脉冲焊双向熔池近红外视觉传感装置中双向视觉传感器件用双向视觉系统装配夹具固定在双丝焊枪1上，和焊枪同步运动；双向视觉系统装配夹具中用于后方视觉传感装配的部分包括纵向轴6、转动轴套7、旋转手柄9、转动轴套10、带齿条的轴11、直角轴12、带旋套的旋转手柄13、固定底盘14和直角板15；直角板15用螺杆固定于双丝焊枪1上，直角轴12与带旋套的旋转手柄13、旋转手柄9结合，能够完成后方视觉传感器件与熔池在X和Y方向的方便调节，直角轴12与直角板15通过带旋套的旋转手柄13中的旋套与固定底盘14的轴连接，能实现旋套与固定底盘14间的相对高度调节；直角轴12上有齿条，带旋套的旋转手柄13内有齿轮，两者之间齿轮齿条连接；带齿条的轴11与旋转手柄9通过转动轴套10连接，能够实现视觉传感组件Z方向的调节和XZ平面内180°旋转；带齿条的轴11与纵向轴6通过转动轴套7连接，可实现后方视觉传感组件在Z方向的调节和在XY平面内180°旋转，纵向轴6与后置套筒5之间利用吊柄和螺柱连接，可调节后方CCD视觉传感器轴线与水平面的夹角；侧面视觉传感组件的装配与后方的类似，其中侧向板17固定于双丝焊枪上，侧向轴16通过侧向夹板18固定于侧向板17上，可实现X、Y、Z三个方向的方便调节。

本发明双丝脉冲焊双向熔池近红外视觉传感装置中CCD视觉传感器参数调节装置中快门选择控制信号线由CCD视觉传感器的跳线连出，外接拨码开关，可实现快门曝光时间十档调节，快门曝光时间最低为1/60s，最高为1/10000s。可满足不同焊接方法和熔滴过渡条件下合适的快门曝光时间调节，保证拍摄到CCD视觉传感器的曝光时间小于焊机脉冲变化周期时的熔池图像，实现双丝脉冲焊接过程中金属流动态和熔池变化的视觉传感。该发明双丝脉冲焊双向熔池近红外传感装置中滤光片的波长为980nm～1100nm，中性减光片峰值透过率为0.1％～1％。

本发明双丝脉冲焊双向熔池近红外视觉传感方法中双向同步熔池的视觉传感利用DH-CG 400自带的SDK软件开发包和VC++、Open CV相结合的方法，能实现双丝脉冲焊双向熔池图像的同步显示和数据存储，其中两张图像采集卡交替使用计算机内存。结合图3，具体实现步骤如下：

第一步：在VC++界面上设置编程环境，为VC++添加所需的函数库以及头文件。在VC++的Project中添加cxcore.lib、highgui和cv.lib等库函数，这几个lib函数库包含了大部分的视频处理函数，可以胜任大部分的视频输入输出和图像处理工作；在头文件中加入″cv.h″、″cxcore.h″和″highgui.h″头文件，建立OpenCV与VC++的接口通信；

第二步：检验两张图像采集卡执行情况，保证两张图像采集卡均处于正常工作状态；初始化图像采集卡硬件参数，通过CGSetVideoStandard函数设置视频制式、CGSetVideoFormat函数设置图像深度、CGSetScanMode函数设置扫描模式和CGSetInputWindow函数设置视频输入输出窗口大小；并预先设置两张图像采集卡采集图像的内存地址；

第三步：启动图像采集卡，从图像采集卡中获取视频数据，通过判断pinfo的值来确定图像采集卡的型号，使用cvCreateImageHeader函数将DIB格式的视频数据转换为OpenCV可识别的IptImage格式；

第四步：获取主窗口地址、设置显示图像的大小并转换图像格式、调用OpenCV中的函数分别采集图像、显示图像、实现双向熔池图像同步显示。涉及的核心函数如下：

CvvImage cimg；适用于视频流处理的OpenCV图像格式；

frame->imageData＝(char＊)pBuffer；更新IptImage类中的图像；

CRect rect(0，0，cimg.Width()，cimg.Height())；设置输出窗口位置及大小；

cimg.DrawToHDC(hDC，rect)；显示图像在指定位置；

cvWaitkey(1)；设置图像显示等待时间，单位为毫秒；

cvSaveImage(path，frame)；存储图像。

本发明双丝脉冲焊双向熔池近红外视觉传感方法及装置可对双丝脉冲MIG、MAG焊接过程双向熔池图像同步视觉传感，通过如附图5所示的图像处理流程，获得的熔宽、半长、面积等图像信息能反映熔池动态变化以及焊接质量特征，能实现轻合金、不锈钢、碳钢、铜钢、铝镁等同种或异种金属双丝焊接过程的实时监测和质量预测。

下面结合具体实施例对本发明作进一步描述。

采用牌号为LF21规格为300×100×6mm³的焊件进行试验。结合图1、图2，双丝焊机主辅机处于协同模式下焊接，峰值电流350A，基值电流100A，脉冲频率F＝100Hz。双向同步传感系统固定于双丝焊枪上，与焊枪同步运动，分别从后方和侧面实时同步采集熔池图像。双向同步传感器由两套相同的组件构成，每套组件包括：MTV1881-EX型CCD视觉传感器一只，日本精工12mm焦距镜头一只，中心波长980nm的滤光片一片，0.5％中性减光片一片，防飞溅玻璃片一片，DH-CG400图像采集卡一张，CCD视觉传感器参数调节装置一套。熔池反射电弧光和自身辐射光被CCD感光基元接收，转化为模拟信号，图像采集卡与CCD视觉传感器的视频接口8相连，将采集到的信号进行A/D转换，获得的熔池图像以矩阵形式存储于计算机硬件内，并同步显示于计算机屏幕上。其中，窄带滤光片、中性减光片和防飞溅玻璃片依次装入前置套筒3内，最前端加上旋套2，与前置套筒3、中间套筒4和后置套筒5共同组成CCD视觉传感及近红外滤光组件。

焊接前，设定焊接参数，保证焊缝成型良好。打开双丝脉冲焊双向熔池图像同步传感软件的预览界面，调节安装夹具使CCD视觉传感器位于熔池正后方和正侧面，调整后置套筒5的轴线与水平面的夹角，使喷嘴位置正好位于采集窗口的视场中央。取出CCD视觉传感器，完成焦距、光圈大小以及CCD视觉传感器参数调节，选择最佳快门和光圈组合(这里快门时间设定为1/1000s，光圈为2，CCD视觉传感器轴线与水平面成35°夹角)，完毕后放入后置套筒5内，旋上前置套筒3。关闭预览窗口，准备实时采集。

焊接过程开始，双丝脉冲双向熔池同步视觉传感采集界面打开，点击“采集”键，在计算机屏幕上即可检测正在焊接过程中的双向熔池图像，图像同步保存于计算机硬盘内。双向图像分别存于两个文件夹内，方便后续调用、处理和分析。

焊接过程结束，按下“停止”键即结束采集过程。

打开双丝脉冲焊熔池图像处理专用软件，可回调采集的图像，打开任意一帧图像，通过频域空域滤波、灰度拉伸、阈值分割、形态学运算和边缘提取等步骤，即可获得能反映焊接质量的特征信息，图4是板厚为6mm牌号为LF21双丝焊接过程中拍摄的双向熔池原始图像。从后方传感得到的熔池图像中可以看到喷嘴19、中心硕亮的电弧20、尾部侧熔池21和焊道22，从侧面可以看到喷嘴23、前丝电弧22和后丝电弧23、侧面熔池24、金属流动态以及焊道25。图像处理流程图如图5所示，最终得到熔宽、半长、熔池面积、后拖角等反映焊接质量的特征信息。

Claims (7)

1.一种双丝脉冲焊双向熔池近红外视觉传感方法，其特征在于：利用双丝脉冲焊接过程中熔池对电弧的反射光和熔池自身的辐射光作为光源，通过近红外技术滤除双丝焊接过程中强烈电弧光对熔池的干扰，在CCD视觉传感器快门曝光时间小于双丝焊机脉冲变化周期的条件下进行双向熔池视觉传感，再经过图像采集卡完成模数转换，利用基于VC++和OpenCV的双向熔池同步采集与存储，实现双丝脉冲焊后方和侧面熔池同时同幅视觉传感。

2.根据权利要求1所述的双丝脉冲焊双向熔池近红外传感方法，其特征在于：双向同步熔池的视觉传感利用DH-CG400自带的SDK软件开发包和VC++、Open CV相结合的方法，能实现双丝脉冲焊双向熔池图像的同步显示和数据存储，具体步骤如下：

第一步：在VC++界面上设置编程环境，为VC++添加lib函数库以及头文件，建立OpenCV与VC++的接口通信；

第二步：检验两张图像采集卡是否两张图像采集卡均处于正常工作状态；初始化图像采集卡硬件参数，设置视频制式、图像深度、扫描模式和视频输入输出窗口大小；预先设置两张图像采集卡采集图像的内存地址；

第三步：启动图像采集卡，从图像采集卡中获取视频数据，判断图像采集卡的型号，转换视频数据格式使OpenCV能够识别，调用函数实现双向熔池图像同步显示和分别存储。

3.一种双丝脉冲焊双向熔池近红外同步视觉传感装置，其特征在于：该传感装置包括两台近红外CCD视觉传感器、两套近红外复合滤光系统、两张图像采集卡、一台计算机、一套双向视觉系统装配夹具、两套高同轴度的近红外复合滤光系统装配组件和两套CCD视觉传感器参数调节装置；其中，两套近红外复合滤光系统分别置于两台近红外CCD视觉传感器前端，组成双向视觉传感器件，该双向视觉传感器件与双丝焊枪用双向视觉系统装配夹具连接，在焊接过程中与双丝焊枪同步运动，实时传感双丝焊过程中后方和侧面的熔池图像，经由CCD视觉传感器的视频接口[8]和放置于计算机PCI插槽内的图像采集卡通过数据线相连，实现数据的转换、显示和存储。

4.根据权利要求3所述的双丝焊熔池双向同步近红外视觉传感装置，其特征在于：CCD视觉传感器放入后置套筒[5]中，CCD视觉传感器的镜头在中间套筒[4]内，后置套筒[5]和中间套筒[4]之间螺纹连接：近红外滤光片、中性减光片和防飞溅玻璃片依次平行放入前置套筒[3]内，旋套[2]置于前置套筒[3]前端，对滤光片组进行封装；前置套筒[3]后端与中间套筒[4]、前端与旋套[2]之间均为螺纹连接，使滤光片、减光片和防飞溅玻璃片之间保持高的同轴度。

5.根据权利要求3所述的双丝焊熔池双向近红外视觉传感装置，其特征在于：双向视觉传感器件用双向视觉系统装配夹具固定在双丝焊枪[1]上，和焊枪同步运动；双向视觉系统装配夹具中用于后方视觉传感装配的部分包括纵向轴[6]、转动轴套[7]、旋转手柄[9]、转动轴套[10]、带齿条的轴[11]、直角轴[12]、带旋套的旋转手柄[13]、固定底盘[14]和直角板[15]；直角板[15]用螺杆固定于双丝焊枪[1]上，直角轴[12]与带旋套的旋转手柄[13]、旋转手柄[9]结合，能够完成后方视觉传感器件与熔池在X和Y方向的方便调节，直角轴[12]与直角板[15]通过带旋套的旋转手柄[13]中的旋套与固定底盘[14]的轴连接，能实现旋套与固定底盘[14]间的相对高度调节；直角轴[12]上有齿条，带旋套的旋转手柄[13]内有齿轮，两者之间齿轮齿条连接；带齿条的轴[11]与旋转手柄[9]通过转动轴套[10]连接，能够实现视觉传感组件Z方向的调节和XZ平面内180°旋转；带齿条的轴[11]与纵向轴[6]通过转动轴套[7]连接，可实现后方视觉传感组件在Z方向的调节和在XY平面内180°旋转，纵向轴[6]与后置套筒[5]之间利用吊柄和螺柱连接，可调节后方CCD视觉传感器轴线与水平面的夹角；侧面视觉传感组件的装配与后方的类似，其中侧向板[17]固定于双丝焊枪上，侧向轴[16]通过侧向夹板[18]固定于侧向板[17]上，可实现X、Y、Z三个方向的方便调节。

6.根据权利要求3所述的双丝焊双向熔池近红外视觉传感装置，其特征在于：CCD视觉传感器参数调节装置包括快门选择控制信号线和拨码开关，快门选择控制信号线由CCD视觉传感器的跳线连出，拨码开关位于CCD视觉传感器外部，可手动调节。

7.根据权利要求3所述的双丝脉冲焊双向熔池近红外传感装置，其特征在于：滤光片的波长为980nm～1100nm，中性减光片峰值透过率为0.1％～1％。

Images