CN115077602B

CN115077602B - 熔池温度场和三维形貌同步检测方法、装置及存储介质

Info

Publication number: CN115077602B
Application number: CN202210579340.9A
Authority: CN
Inventors: 高明月; 蔡艳; 沐卫东
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2022-05-25
Filing date: 2022-05-25
Publication date: 2023-07-21
Anticipated expiration: 2042-05-25
Also published as: CN115077602A

Abstract

本发明涉及一种熔池温度场和三维形貌同步检测方法，包括：标定相机及其位姿；获取熔池彩色图像并提取RGB单色图像；对B通道单色图像进行处理形成熔池表面三维形貌数据，并标记遮挡区域；计算遮挡区域总面积并判断其是否小于阈值，若小于，执行下一步，若大于，判断计算持续时间是否大于阈值，若小于，保存数据并获取下一幅图像，重新执行上述步骤，若大于，选择遮挡区域总面积最小的图像数据作为当前图像，执行下一步；将R、G通道单色图像转换为工件坐标Z方向的俯视图，利用比色法计算熔池表面温度场，并将遮挡区域的数据修改为NAN；统一熔池温度场数据和熔池表面三维形貌数据并同步输出。与现有技术相比，本发明具有同步性强、数据准确等优点。

Description

熔池温度场和三维形貌同步检测方法、装置及存储介质

技术领域

本发明涉及智能制造技术领域，尤其是涉及一种熔池温度场和三维形貌同步在线检测方法。

背景技术

熔池是焊接过程的重要环节，熔池特征对焊缝成形以及焊接质量检测有重要作用。在焊接或增材制造过程中，主要通过检测熔池温度和熔池形貌来调节热源功率、移动速度和送丝(粉)量等工艺参数，达到保证产品质量的目的。但是，液态金属熔池具有温度高、亮度强、尺寸小、波动大等特点，传统检测方法装置复杂，并且很难得到完整、细致、同步的熔池轮廓和温度分布。

论文《选区激光熔化金属成型熔池温度的在线检测》提出了一种基于比色测温与光电检测技术完成了熔池温度的在线检测方法，解决了辐射光强检测受激光入射角等因素影响的问题，但仅获得了熔池表面平均混度，并没有提供温度场信息。论文《基于彩色CCD的激光熔覆熔池温度闭环控制研究》搭建了一套基于双通道彩色CCD的激光熔覆成形熔池温度在线测控系统，验证了比色法具有检测熔池表面温度分布的能力，开发了基于熔池温度的控制系统，但是并没有检测熔池的表面形貌特征。专利《基于单相机的金属增材制造熔池形貌多角度视觉传感装置》(公开号：CN113843420A)设计了一种基于单相机的金属增材制造熔池形貌多角度视觉传感装置，通过单幅图像计算了熔池高度信息，但是需要定制专用的复合滤光系统，装置较为复杂，并且该方法无法获得熔池温度信息。专利《基于卷积神经网络的激光选区熔化熔池图像分析系统》(公开号：CN113077423A)提出了一种基于卷积神经网络的激光选区熔化熔池图像分析系统，利用熔池图像进行质量评估，但是该方法直接从熔池二维图像中提取特征，并没有得到熔池形貌和温度信息，在模型准确性和解释性方面存在不足。

目前对焊接熔池表面形貌重建和温度场的同步检测还缺乏有效手段，主要采用红外成像方法测量温度分布，采用结构光或双目视觉检测熔池表面形貌，两套检测装置独立运行，不仅装置复杂、成本高，而且两者之间并没有建立关联，造成检测效果不理想，难以满足焊接过程智能控制的需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种。

本发明的目的可以通过以下技术方案来实现：

一种熔池温度场和三维形貌同步检测方法，包括以下步骤：

步骤1)对RGB彩色相机及其与结构光的相对位姿进行标定；

步骤2)参数初始化；

步骤3)判断焊接是否开始，若焊接已开始，获取RGB彩色相机拍摄的熔池彩色图像；

步骤4)分别提取熔池彩色图像RGB三个通道的单色图像；

步骤5)对B通道单色图像进行预处理，提取结构光轮廓，根据三角测量法确定熔池表面轮廓，在工件坐标中形成熔池表面三维形貌数据，并标记熔池表面的遮挡区域；

步骤6)计算遮挡区域总面积并判断遮挡区域总面积是否小于预配置的面积阈值，

若遮挡区域总面积小于预配置的面积阈值，执行步骤7)，

若遮挡区域总面积大于预配置的面积阈值，

判断计算持续时间是否大于预配置的时间阈值，若持续时间小于预配置的时间阈值，保存当前数据并获取下一幅RGB彩色相机拍摄的熔池彩色图像作为待处理图像，重新执行步骤4)-步骤6)，若持续时间大于预配置的时间阈值，在保存数据中选择遮挡区域总面积最小的图像数据作为当前图像，执行步骤7)；

步骤7)将当前图像的R通道单色图像和G通道单色图像转换为工件坐标Z方向的俯视图，利用比色法计算熔池表面温度场，所述R通道单色图像和G通道单色图像为包含遮挡区域的完整图像，并在计算完成后将熔池表面温度场数据矩阵中被标记为遮挡区域的数据修改为NAN；

步骤8)在工件坐标系中统一熔池温度场数据和熔池表面三维形貌数据并同步输出熔池的三维形貌和温度分布；

步骤9)判断焊接是否完成，若未完成，重新获取RGB彩色相机拍摄的熔池彩色图像，重复步骤4)-步骤8)，直至焊接完成。

所述步骤1)对RGB彩色相机进行标定包括：

测定彩色相机RGB三通道的感光曲线，根据感光曲线确定窄带三通道滤光片的通带中心位置，根据B通道波长确定激光结构光波长。

所述步骤1)对RGB彩色相机和结构光的相对位姿进行标定包括：

调整RGB彩色相机和结构光的相对位姿使得RGB彩色相机和激光结构光的焦平面均位于工件表面，所述RGB彩色相机装配了微距镜头和窄带三通道滤光片且设于焊接区域一侧，所述激光结构光设于焊接区域另一侧以进行辅助照明。

所述步骤5)标记熔池表面的遮挡区域包括：

判断B通道单色图像是否完整，若不完整，将不完整区域标记为遮挡区域；在重建的熔池表面三维形貌上，从最高点向下按预配置的距离提取水平切面，在该切面上搜索孔洞，计算孔洞最低点到彩色相机光心的连线，若连线切割熔池表面轮廓则判定孔洞区域被熔池自身遮挡，将所述孔洞区域标记为遮挡区域。

所述遮挡区域为焊枪、工件、夹具或熔池自身造成的遮挡。

所述步骤7)当前图像的R通道单色图像和G通道单色图像工件坐标Z方向的俯视图通过空间变换与尺寸标定转换得到。

所述步骤7)比色法计算熔池表面温度场T_xy计算公式为：

其中，R_xy(T)为不同波长图像的灰度比，C₂为第二辐射常量，λ₁和λ₂为滤光片波长，α为光圈补偿系数，K值由组成测温系统元件决定，/>为CCD的光谱响应，I_i为滤波片的峰值透过率，/>为滤波片的带宽。

所述步骤8)包括：

在熔池轮廓内以图像像素为单位，从比色法计算结果中提取对应的温度数据，从熔池三维形貌数据中找到最临近的3个点，平面拟合后确定该像素的高度数据，完成在工件坐标系中统一熔池温度场数据和熔池表面三维形貌数据；

根据统一后的数据输出各点均具有温度数据和高度数据的熔池表面轮廓，完成熔池三维形貌和温度分布的同步输出，其中熔池边缘轮廓由比色法计算结果确定，将温度数据与材料熔点进行比较，若某一点8领域方向内存在跨越熔点的变化梯度，则该点为熔池边缘点，遍历图像确定熔池边缘点后，采用生长算法完成轮廓封闭处理。

一种熔池温度场和三维形貌同步检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过一个彩色相机同时获取熔池温度场和三维形貌信息，解决了液态金属熔池温度测量和形貌测量难以同步的问题，且无需复杂的同步触发装置，有效减少了检测装置的复杂程度和成本，结构简单。

(2)本发明彩色相机的RGB三通道感光曲线与窄带三通道滤光片的通带位置分别对应，其中波长较大的2个通道用于比色法计算熔池温度，波长较短的1个通道用于获取激光结构光图像，用于重建熔池表面的三维形貌，激光波长与滤光片的短波长通带对应，保证仅有该波长的激光可以在相机对应通道成像，避免熔池辐射和弧光干扰，提高了计算准确度。

(3)本发明在遮挡面积较大时，放弃对当前图像的温度计算，提高计算速度；并同时关注计算持续时间，当持续时间过长时择优选择图像进行温度计算，维持了计算速度和计算准确度的平衡。

附图说明

图1为本发明的方法流程图；

图2为本发明的实验装置图及实施例得到熔池彩色图像，其中①为熔池，②为激光结构光，③为高速相机，④为微距镜头，⑤为窄带三通道滤光片，⑥为被焊工件，⑦为焊接热源，⑧为熔池彩色图像；

图3为本发明实施例重建的熔池表面三维形貌；

图4为本发明实施例空间变换与尺寸标定示意图；

图5为本发明实施例熔池温度场示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种熔池温度场和三维形貌同步检测方法，包括以下步骤：

步骤1)对RGB彩色相机及其与结构光的相对位姿进行标定。

首先对彩色相机的感光曲线进行测量，确定RGB通道对光束波长的敏感区间，确定窄带滤光片的通带中心位置，其中波长较大的R通道和G通道用于获取熔池图像，波长较短的B通道用于获取结构光图像；选择与B通道波长匹配的激光结构光，激光通过滤光片的衰减量极小，其他波长的光通过滤光片后显著衰减。随后，将装配了微距镜头和窄带滤光片的相机旁置于被焊工件一侧，激光结构光位于工件另一侧，相机镜头和激光结构光的焦平面均位于工件表面，采用标定板完成相机标定，以及相机和结构光相对位姿的标定。

本实施例中的被检测对象为激光焊熔池，试样厚度为8mm,激光功率为6kW，离焦量为-6mm，焊接速度为1m/min,采用氩气作为侧吹保护气体，流量为20l/min。焊接过程中，激光器、高速相机和激光结构光固定，伺服小车托举工件匀速移动，相机配有微距镜头和窄带三通道滤光片，滤光片的通带中心波长别为450nm,589nm和685nm，五线式结构光的波长为450nm，对应相机B通道，熔池图像则分别对应G通道和R通道，拍摄帧频为500帧/秒。实验装置如图2所示。

步骤2)参数初始化。

步骤3)判断焊接是否开始，若焊接已开始，获取RGB彩色相机拍摄的熔池彩色图像。

当焊接操作启动后，相机开始拍摄，除激光结构光外无其他照明光源，对于相机R通道和G通道，其感光敏感波长为450-650nm，短波长结构光的影响较小，这两个通道的进光量主要来自熔池热辐射，属于被动照明成像方式，熔池表面温度与两通道图像灰度比值存在映射关系，用于计算熔池表面温度；相机B通道获得激光结构光图像，结构光被熔池调制后携带了熔池表面形貌的信息，提取结构光特征后可计算熔池表面高低起伏。彩色相机拍摄得到的熔池彩色图像如图2所示。

步骤4)分别提取熔池彩色图像RGB三个通道的单色图像。

步骤5)对B通道单色图像进行预处理，提取结构光轮廓，根据三角测量法确定熔池表面轮廓，在工件坐标中形成熔池表面三维形貌数据，并标记熔池表面的遮挡区域。

在熔池信息提取过程中，首先处理结构光图片，经过降噪处理后提取结构光中心位置坐标，如果结构光图像不完整，则将对应区域标记为遮挡面积；对于未被遮挡的结构光像素，根据相机和结构光的位姿关系，将结构光中心点的图像坐标转为熔池表面对应点的世界坐标，此处的世界坐标为工件坐标，工件上表面为XY平面。

进一步地，基于结构光图像得到的熔池表面高度数据为稀疏矩阵，采用三次样条插值方法确定熔池图像上各像素的高度数据。

在重建的熔池表面三维形貌上，从最高点向下按指定距离提取水平切面，在该切面上搜索孔洞，计算孔洞最低点到相机光心的连线，如果连线切割熔池表面轮廓则判定孔洞区域被熔池自身遮挡，该区域也被标记为遮挡面积。

本实施例重建的熔池表面三维形貌如图3所示。

若遮挡区域总面积小于预配置的面积阈值，执行步骤7)，

若遮挡区域总面积大于预配置的面积阈值，

判断计算持续时间是否大于预配置的时间阈值，若持续时间小于预配置的时间阈值，保存当前数据并获取下一幅RGB彩色相机拍摄的熔池彩色图像作为待处理图像，重新执行步骤4)-步骤6)，若持续时间大于预配置的时间阈值，在保存数据中选择遮挡区域总面积最小的图像数据作为当前图像，执行步骤7)。

步骤7)将当前图像的R通道单色图像和G通道单色图像转换为工件坐标Z方向的俯视图，利用比色法计算熔池表面温度场，所述R通道单色图像和G通道单色图像为包含遮挡区域的完整图像，并在计算完成后将熔池表面温度场数据矩阵中被标记为遮挡区域的数据修改为NAN。

采用旁轴拍摄方式对熔池图像进行采集，所获得的图像为熔池的斜视图，其图像信息不能完全反应熔池的真实几何尺寸，不利于温度场与熔池表面形貌的对应处理。为此，在进行温度计算前需对图片进行空间变换与尺寸标定，以获得熔池图像的俯视图以及真实几何尺寸，所述转换过程如图4所示。

利用比色法计算熔池表面某点(x,y)的温度T_xy计算公式为：

其中，R_xy(T)为不同波长图像的灰度比，C₂为第二辐射常量，λ₁＝589nm，λ₂＝685nm，α＝0.45，K＝0.85。

本实施例熔池温度分布如图5所示，可以发现高温区域集中在熔池前部，温度在2100℃以上，主要是由于熔池前部位于小孔附近，靠近热源，所吸收激光能量高，温度接近液态金属气化温度。熔池尾部离热源较远，靠近半凝固区域，温度逐渐降低。

步骤8)在工件坐标系中统一熔池温度场数据和熔池表面三维形貌数据并同步输出熔池的三维形貌和温度分布。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种熔池温度场和三维形貌同步检测方法，其特征在于，包括以下步骤：

步骤1)对RGB彩色相机及其与结构光的相对位姿进行标定；

步骤2)参数初始化；

步骤4)分别提取熔池彩色图像RGB三个通道的单色图像；

若遮挡区域总面积小于预配置的面积阈值，执行步骤7)，

若遮挡区域总面积大于预配置的面积阈值，

步骤9)判断焊接是否完成，若未完成，重新获取RGB彩色相机拍摄的熔池彩色图像，重复步骤4)-步骤8)，直至焊接完成；

所述步骤1)对RGB彩色相机进行标定包括：

测定彩色相机RGB三通道的感光曲线，根据感光曲线确定窄带三通道滤光片的通带中心位置，根据B通道波长确定激光结构光波长；

调整RGB彩色相机和结构光的相对位姿使得RGB彩色相机和激光结构光的焦平面均位于工件表面，所述RGB彩色相机装配了微距镜头和窄带三通道滤光片且设于焊接区域一侧，所述激光结构光设于焊接区域另一侧以进行辅助照明；

所述步骤5)标记熔池表面的遮挡区域包括：

判断B通道单色图像是否完整，若不完整，将不完整区域标记为遮挡区域；在重建的熔池表面三维形貌上，从最高点向下按预配置的距离提取水平切面，在该切面上搜索孔洞，计算孔洞最低点到彩色相机光心的连线，若连线切割熔池表面轮廓则判定孔洞区域被熔池自身遮挡，将所述孔洞区域标记为遮挡区域；

所述步骤7)比色法计算熔池表面温度场T_xy计算公式为：

其中，R_xy(T)为不同波长图像的灰度比，C₂为第二辐射常量，λ₁为窄带三通道中波长第二大的滤光片的波长，λ₂为窄带三通道中波长最大的滤光片的波长，α为光圈补偿系数，K值由组成测温系统元件决定，/>为CCD的光谱响应，I_i为滤波片的峰值透过率，/>为滤波片的带宽。

2.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法，其特征在于，所述遮挡区域为焊枪、工件、夹具或熔池自身造成的遮挡。

3.根据权利要求1所述的一种熔池温度场和三维形貌同步检测方法，其特征在于，所述步骤7)当前图像的R通道单色图像和G通道单色图像工件坐标Z方向的俯视图通过空间变换与尺寸标定转换得到。

4.一种熔池温度场和三维形貌同步检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的方法。

5.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-3中任一所述的方法。