CN102974918A - 一种基于多光谱分光摄影的视觉监控系统 - Google Patents

Abstract

本发明涉及一种基于多光谱分光摄影的视觉监控系统，其特征在于：它包括一摄像机，摄像机的外侧设置一个以上的辅助光源，摄像机内包括半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器；辅助光源发出的光照射一焊接工件，经焊接工件反射的光线经摄像机的镜头传播到半透半反镜，半透半反镜的透射光线依次经第一窄带滤光片和第一减光元件传播到第一面阵图像传感器完成成像；半透半反镜的反射光线依次经第二窄带滤光片和第二减光元件传播到第二面阵图像传感器完成成像。本发明可以广泛应用于焊接机器人或其它自动化设备的坡口检测、焊缝跟踪、焊后无损检测跟踪等对焊道的自动识别过程中。

Description

一种基于多光谱分光摄影的视觉监控系统

技术领域

本发明涉及一种弧焊过程可视化系统，特别是关于一种用于实现对前方坡口、熔池、焊丝、电弧等多个对象进行同时观察的基于多光谱分光摄影的视觉监控系统。

背景技术

电弧焊接过程视觉监控是指在焊接实时进行过程中对焊接区域的观察，此过程对控制和稳定焊接质量具有重要意义，观察对象主要包括：前方坡口、熔池、焊丝、焊接电弧等。现有技术中采用摄像机拍摄弧焊过程以进行视觉监控在生产中发挥重要作用：1、在人不易或不宜到达的位置（如：高空、水下、危险环境等）开展焊接作业时，对焊接过程的细节进行远程监视成像是实现自动或人工控制的前提；2、进行焊接自动控制及跟踪时需要采集多种光照条件下的不同特征信息，以进行多特征信息融合保证跟踪和控制的准确性和稳定性；3、开展焊接工艺或机理相关的科学研究工作时需要对焊接过程进行近距离的拍摄和保存。然而在弧焊过程中因存在强烈的弧光及熔池发光现象，导致其过程不易观察，采用摄像机对其进行拍摄时往往因为亮度过高而导致CCD饱和，而且焊接工人通常佩戴焊帽对焊接过程进行观察，由于焊帽加装有滤光减光效果的镜片，使得弧光在一定程度上被削弱，亮暗区域仍然存在显著的亮度差，此过程人眼能够自动调节适应，但是不能解决远程监控以及拍摄保存的问题。采用摄像机拍摄时，虽然能够远程监控且能够对拍摄过程进行保存，但是无法克服熔池及电弧区域因亮度饱和而无法反映细节、前方坡口因亮度不足而无法看清等问题。

焊接过程发光包括熔池辐射发光和电弧区域发光，熔池辐射发光的强度比电弧区域发光的强度要明显低，通常会被电弧光所掩盖。电弧区域发光由连续谱背景与峰值谱线叠加而成，连续谱背景由电子跃迁产生，在焊接进行过程中幅值变化不大；峰值谱线对应于熔池上方金属蒸汽中金属元素和弧柱区保护气体非金属元素的特征谱线，在焊接过程中随时间有着较连续谱更为明显的涨落变化，以碳钢的钨极氩弧焊为例：焊接速度为200mm/min、电流170A、电压12.5V，坡口宽度10mm，坡口角度为90°，使用OceanOpticsUSB2000光谱仪进行光谱测量，得到如图1所示的光谱图，从图1中可以观察到光谱分布具有如下特征：在600nm～700nm之间无突出的特征谱峰值，850nm～910nm之间无突出的特征谱峰值，且连续谱强度较低，920nm以后无突出的特征谱峰值，且连续谱强度较低。考虑到电弧发光的上述特点，现有技术中对弧焊过程监控中近弧区域可视化问题的解决方法为：（1）在摄像机前设置窄带滤光片及减光装置，以最大限度地滤除强烈弧光的影响，保留感兴趣的光谱段（如：使用640nm或660nm波长的激光结构光进行焊缝视觉跟踪时，选用相应中心波长的窄带滤光片，只允许中心波长附近的光线通过，达到削减弧光干扰的目的），但是由于只能获取单一光谱的图像，信息不够丰富，无法完成多特征信息的获取；（2）采用双摄像机的系统，其中一部摄像机通过滤光片拍摄熔池区域，熔池发光的光强得以减弱，经处理可以得到熔池轮廓信息，另一部摄像机不加滤光片直接拍摄前方坡口，用于在焊接开始前能够在自然光照条件下观察坡口位置，该方法的不足在于：两台摄像机拍摄视场不同，所得图像之间存在图像配准的问题，易引入误差，且在焊接进行过程中无法获得清晰稳定的前方坡口图像；（3）使用脉冲激光或高亮度闪光灯作为照明光源，间歇地以高亮度照亮焊接区域，同时控制摄像机的高速快门，在焊接区域被光源照亮的瞬间采集图像，该方法虽能使得焊接区域中的熔池周边工件亮度得以提升，但同样由于使用单摄像机且光路唯一，只能拍摄得到单一光谱的图像，且因必须使用亮度超过焊接弧光的照明光源，增大了设备制造难度和安装体积，不利于控制成本。

综上所述，弧焊过程中需要观察的各个部分对应不同的光谱区域，且进入摄像机的这些不同光谱区域的光线之间具有相差巨大的光强，现有技术或采用经过滤光片的单光谱图像采集的方法，或采用双摄像机分不同波段进行滤光（或者一摄像机加滤光片，另一摄像机不使用滤光片）的方法，均无法实现针对来自同一视场的不同光谱区域的光线采取不同的滤光减光措施。

发明内容

针对上述问题，本发明的目的是提供一种能够实现自动焊接的同视场多特征信息采集与近电弧区实时监控成像过程的基于多光谱分光摄影的视觉监控系统。

为实现上述目的，本发明采取以下技术方案：一种基于多光谱分光摄影的视觉监控系统，其特征在于：它包括一摄像机，所述摄像机的外侧设置一个以上的辅助光源，所述摄像机内包括半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器；所述辅助光源发出的光照射一焊接工件，经所述焊接工件反射的光线经所述摄像机的镜头传播到所述半透半反镜，所述半透半反镜的透射光线依次经所述第一窄带滤光片和第一减光元件传播到所述第一面阵图像传感器完成成像，所述第一窄带滤光片的法向与透射光线平行；所述半透半反镜的反射光线依次经所述第二窄带滤光片和第二减光元件传播到第二面阵图像传感器完成成像，所述第二窄带滤光片的法向与反射光线平行；其中，光线从所述半透半反镜的反射面开始，沿透射光路传播到所述第一面阵图像传感器的光程与沿反射光路传播到所述第二面阵图像传感器的光程相等。

所述辅助光源采用面阵单色LED光源、激光结构光源和产生均匀光斑的激光光源中的一种或一种以上。

所述第一窄带滤光片和第二窄带滤光片的中心波长根据所采用的所述辅助光源的波长或弧光及熔池发光产生的波长进行确定。

所述第一减光元件和第二减光元件分别采用透过率固定的中性灰度滤镜，透过率可调的中性灰度滤光镜和叠加使用的中性灰度滤光镜组的一种或一种以上。

所述第一面阵图像传感器和第二面阵图像传感器分别采用面阵CCD成像器件和面阵CMOS成像器件的一种或一种以上。

本发明由于采取以上技术方案，其具有以下优点：1、本发明由于在摄像机内设置半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器，经半透半反镜将进入摄像机的光分成透射和反射两条光路，对两条光路分别进行不同波长滤光，使得不同波长的光能够同时分别在两个图像传感器上成像，因此在同一时间得到拍摄区域相同和视场完全相同的图像，实现对不同特征部分在同一画面中的同时可视化，有效保证跟踪和控制的准确性和稳定性。2、本发明由于在透射光路和反射光路上分别对应设置窄带滤光片和减光元件，因此能够实现对来自同一视场的不同光谱区域的光线同时分别进行滤光和减光。3、本发明由于在摄像机外侧设置一个以上的辅助光源用来照射拍摄对象，不同辅助光源具有不同的波长，且分别与两路光路的窄带滤光片中心波长相对应，因此所获得的两幅图像分别来自不同的光照模式（如激光结构光与均匀光照），能够体现出拍摄对象的不同光学特征，且能够避免不同光源之间的干扰。4、本发明将两条光路集成在一个摄像机内，所拍摄图像来自同一视场，因此对图像配准和后续图像融合提供了便利，有效避免误差的引入。本发明可以广泛应用于焊接机器人或其它自动化设备的坡口检测、焊缝跟踪、焊后无损检测跟踪等对焊道的自动识别过程中。

附图说明

图1是现有技术中的钨极氩弧焊弧光光谱分布测量结果示意图，纵坐标表示光强，横坐标表示波长，单位为nm；

图2是本发明的结构及光路原理示意图；

图3是本发明采用两种波长的辅助光源时，摄像机与辅助光源位置的示意图；

图4是实施例1采用本发明进行焊缝多特征信息采集的示意图；

图5是实施例2采用本发明进行焊接过程近弧区监控的示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图2、图3所示，本发明的基于多光谱分光摄影的视觉监控系统以摄像机1作为载体，摄像机1的外侧设置一个以上的辅助光源2照射焊接工件3，摄像机1内包括半透半反镜4，第一窄带滤光片5、第一减光元件6、第一面阵图像传感器7、第二窄带滤光片8、第二减光元件9和第二面阵图像传感器10；辅助光源2发出的光照射焊接工件3，经焊接工件3反射的光线经摄像机1的镜头11传播到半透半反镜4，半透半反镜4的透射光线依次经第一窄带滤光片5和第一减光元件6传播到第一面阵图像传感器7完成成像，第一窄带滤光片5的法向与透射光线平行；半透半反镜4的反射光线依次经第二窄带滤光片8和第二减光元件9传播到第二面阵图像传感器10完成成像，第二窄带滤光片8的法向与反射光线平行；其中，光线从半透半反镜4的反射面开始，沿透射光路传播到第一面阵图像传感器7的光程与沿反射光路传播到第二面阵图像传感器10的光程相等。

上述实施例中，辅助光源2的个数和具体位置可以根据实际情况进行确定，如图3所示，本实施例采用两个辅助光源2设置在摄像机1的两侧，每一辅助光源2光平面的法向与摄像机镜头11的光轴形成某一夹角，该角度需满足如下条件：两个辅助光源2可以照射焊接工件3的同一焊接区域，且该区域在摄像机拍摄范围内。辅助光源2可以采用面阵单色LED光源、激光结构光源和产生均匀光斑的激光光源中的一种或一种以上。

上述各实施例中，第一窄带滤光片5和第二窄带滤光片8的中心波长根据所采用的辅助光源2的波长或弧光及熔池发光产生的波长进行选择。

上述各实施例中，第一减光元件6和第二减光元件9均可以采用透过率可调的中性灰度滤镜，也可采用透过率固定的滤镜，还可以采用两块偏振片前后放置的方式达到减光可调的效果，可以根据实际情况进行确定，在此不作限定，使用过程中可以采用单独一片滤镜减光的方式，为了增大减光效果也可根据情况采用多片滤镜叠加使用减光的方式。

上述各实施例中，第一面阵图像传感器7和第二面阵图像传感器10的大小和分辨率完全相同，可以根据实际情况采用面阵CCD成像器件和面阵CMOS成像器件的一种或及以上。

下面通过具体实施例进一步说明本发明的实施过程。

实施例1：

如图4所示，本实施例以前方坡口为焊接工件3进行说明，辅助光源2包括一波长为980nm的环形LED面光源21和波长为660nm的激光线结构光源22，摄像机1的镜头11正下方通过外设支架固定环形LED面光源21，摄像机1的一侧通过外设支架固定激光线结构光源22，激光线结构光源22的光平面法线与摄像机的镜头11光轴方向成45°（不限于此，可以根据实际情况进行调节），第一窄带滤光片5的中心波长为980nm，其中仅有波长在980nm±20nm范围内的光能通过第一窄带滤光片5，第二窄带滤光片8的中心波长为653nm，其中仅有波长在653nm±18nm范围内的光能通过第二窄带滤光片8，第一减光片6的透光率为5%，第二减光片9的透光率为1%，第一面阵图像传感器7采用近红外CCD成像器件，第二面阵图像传感器10采用可见光CCD成像器件。

焊枪32在焊接工件3表面进行施焊，环形LED面光源21发出的光照射在熔池31前方大约50mm处，激光线结构光源22发射的激光也投射在此区域中在焊接工件表面形成有畸变的结构光条，焊枪32对坡口进行焊接产生的弧光及熔池发光通过镜头11进入摄像机1的半透半反镜4，经半透半反镜4的透射光线发射到第一窄带滤光片5，第一窄带滤光片5将波长为980nm的光发送到第一减光元件5，第一减光元件5将光强减弱到原来的5%，第一减光元件5将出射光线发射到第一面阵图形传感器7完成成像；经半透半反镜4的反射光线发射到第二窄带滤光片8，第二窄带滤光片8将波长为660nm的光发射到第二减光元件9，第二减光元件9将光强减弱到原来的1%，第二减光元件9将出射光线发射到第二面阵图像传感器10完成成像。环形LED面光源2将待拍摄的焊缝区域均匀照亮，亮度均匀的包含焊缝灰度信息与纹理信息的图像由第一面阵图像传感器7获得，激光线结构光源22投射在坡口的结构光条畸变信息由第二面阵图形传感器10获得，经第一面阵图像传感器7和第二面阵图像传感器10拍摄的两幅图像，不仅拍摄区域相同，而且视场完全相同，且通过对图像的同步采集可以保证两面阵图像传感器获取的是同一时刻的图像，但这两幅图像分别是不同光照条件下坡口表现出来的不同信息，因此采用本发明可以同时得到上述两种信息，在后续处理时可以根据实际需要将获取的两幅图像进行处理，得到准确可靠的焊缝位置信息，如果是以提取信息供焊缝跟踪与焊接过程控制为目的，则通过图像分析的方法从两幅图像分别提取待识别对象的特征，对两者进行信息融合，实现焊缝位置的识别；如果是以焊接过程的可视化和实时监控为目的，则需要采用现有图像融合方法对采集的两幅图像融合到同一画面中，具体后续处理不再赘述，可以根据实际需要进行处理。

实施例2：

如图5所示本实施例以前方坡口为焊接工件3进行说明，摄像机1的一侧通过外设支架固定一波长为1060nm的红外激光照明光源2，红外激光照明光源2作为辅助光源，其光平面的法线与摄像机1的镜头11光轴方向成45°（不限于此，可以根据实际情况进行调节），第一窄带滤光片5的中心波长为1060nm，其中仅有波长在1060nm±20nm范围内的光能够通过第一窄带滤光片5，第二窄带滤光片8的中心波长为653nm，其中仅有波长在653nm±18nm范围内的光能够通过第二窄带滤光片8，第一减光片6的透光率为1%，第二减光片9的透光率为0.1%，第一面阵图像传感器7采用近红外CCD成像器件，第二面阵图像传感器10采用可见光CCD成像器件。

如图5所示，焊枪32在焊接工件3表面进行施焊，焊接过程产生弧光，熔池后方是成型焊缝，红外激光照明光源2产生均匀光斑投射在熔池及附近区域31，红外激光照明光源2投射在焊接区域的光经前方坡口表面反射，通过镜头11传播到摄像机1的半透半反镜4，同时焊接过程产生的弧光及熔池发光也经镜头11传播到摄像机1的半透半反镜4。经半透半反镜4的透射光线发射到第一窄带滤光片,5，第一窄带滤光片5将波长为1060nm的光发射到第一减光片6，第一减光片6将光强减弱到原来的1%，第一减光片6将出射光发送到第一面阵图像传感器7完成成像；经半透半反镜4的反射光线发射到第二窄带滤光片8，第二窄带滤光片8将波长为653nm的光发射到第二减光元件9，第二减光元件9将光强减弱到原来的0.1%，第二减光元件9将出射光发射到第二面阵图像传感器10完成成像。

由于红外激光照明光源2的波长为1060nm，强度超过弧光及熔池发光在该波长的强度，第一面阵图像传感器7获得的图像来自经前方坡口反射红外激光照明光源2光线，第二面阵图像传感器10获得的图像是来自波长为653nm的弧光及熔池发光，弧光及熔池发光通过第二减光元件9时光强减弱至第二面阵图像传感器10的饱和阈值以下，由于母材和前方坡口部分反射弧光的强度比电弧区光强低几个数量级，因此经第二面阵图像传感器10获得的图像中只有弧光及熔池发光部分，不反应熔池附近母材和前方坡口，因此经第一面阵图像传感器7和第二面阵图像传感器10拍摄的两幅图像，不仅拍摄区域相同，视场完全相同，且通过对图像的同步采集可以保证两面阵图像传感器获取的是同一时刻的图像，因此可以同时得到上述两种信息，通过现有的图像配准和融合方法对两幅图像进行配准和像素级融合，实现对电弧、熔池、焊丝、前方坡口、熔池周围母材等部分在同一画面中的同时可视化。

在本发明的两个实施例中，使用前需要利用标定板对第一面阵图像传感器7和第二面阵图像传感器10所获取图像的配准关系进行标定，此标定过程为现有技术，故不再赘述。

上述各实施例仅用于说明本发明，摄像机内的所有光学器件可以根据实际情况采用外部支架进行固定，在此不作限定，另外，光源的类型、光斑形式、中心波长、窄带滤光片的中心波长及半带宽、减光片的透过率及减光原理等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (7)

1.一种基于多光谱分光摄影的视觉监控系统，其特征在于：它包括一摄像机，所述摄像机的外侧设置一个以上的辅助光源，所述摄像机内包括半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器；所述辅助光源发出的光照射一焊接工件，经所述焊接工件反射的光线经所述摄像机的镜头传播到所述半透半反镜，所述半透半反镜的透射光线依次经所述第一窄带滤光片和第一减光元件传播到所述第一面阵图像传感器完成成像，所述第一窄带滤光片的法向与透射光线平行；所述半透半反镜的反射光线依次经所述第二窄带滤光片和第二减光元件传播到第二面阵图像传感器完成成像，所述第二窄带滤光片的法向与反射光线平行；其中，光线从所述半透半反镜的反射面开始，沿透射光路传播到所述第一面阵图像传感器的光程与沿反射光路传播到所述第二面阵图像传感器的光程相等。

2.如权利要求1所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述辅助光源采用面阵单色LED光源、激光结构光源和产生均匀光斑的激光光源中的一种或一种以上。

3.如权利要求1所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述第一窄带滤光片和第二窄带滤光片的中心波长根据所采用的所述辅助光源的波长或弧光及熔池发光产生的波长进行确定。

4.如权利要求2所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述第一窄带滤光片和第二窄带滤光片的中心波长根据所采用的所述辅助光源的波长或弧光及熔池发光产生的波长进行确定。

5.如权利要求1或2或3或4所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述第一减光元件和第二减光元件分别采用透过率固定的中性灰度滤镜，透过率可调的中性灰度滤光镜和叠加使用的中性灰度滤光镜组的一种或一种以上。

6.如权利要求1或2或3或4所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述第一面阵图像传感器和第二面阵图像传感器分别采用面阵CCD成像器件和面阵CMOS成像器件的一种或一种以上。

7.如权利要求5所述的一种基于多光谱分光摄影的视觉监控系统，其特征在于：所述第一面阵图像传感器和第二面阵图像传感器分别采用面阵CCD成像器件和面阵CMOS成像器件的一种或一种以上。

Images