CN111283303A - 一种基于hdr图像的熔池中心识别系统及其方法 - Google Patents

Abstract

本发明涉及一种基于HDR图像的熔池中心识别系统及其方法。其中，识别系统包括：焊机、弧长控制器、水冷、气瓶、焊枪、HDR相机、工业机器人、工业机器人控制柜以及工控机；该系统基于HDR工业相机获取焊接区域图像，提供了一种识别熔池中心的系统和方法，该系统和方法的鲁棒性强，识别的熔池中心精度高，提升了焊接偏差的精度，可用于后续的焊缝跟踪工作，以提高焊接的自动化程度。所述方法包括在焊接时通过HDR工业相机采集焊接时的熔池区域图像，并将HDR熔池区域图像传送至工控机，工控机通过熔池边缘检测算法识别出熔池边缘，再通过熔池中心识别算法处理熔池边缘检测算法识别后的图像，识别出熔池中心。

Description

一种基于HDR图像的熔池中心识别系统及其方法

技术领域

本发明涉及高动态视觉技术领域，尤其涉及一种应用于焊接自动化中的窄间隙高效深熔锁孔TIG焊缝跟踪的基于HDR图像的熔池中心识别系统与方法。

背景技术

在现代制造技术中，焊接是非常重要的一部分，其主要用于机械制造、建筑工程、轨道交通、海洋工程、航空航天等工业制造领域。然而，目前传统的焊接过程的控制和操作主要还是由焊接工人去完成，焊接工人的经验和技能决定了焊接质量的好坏。在焊接工人越来越短缺以及对焊接工人的培训越来越困难的情况下，单纯依赖手工焊接已经无法满足现代制造对焊接提出的要求。因此，智能化焊接是解决这一问题的关键，通过机器人焊接技术实现焊接的自动化和智能化。

若要使工业机器人代替焊接工人进行焊接生产，首要的一步就是实现焊缝跟踪，使工业机器人无需示教而能够自动沿着焊缝进行焊接。目前，视觉传感器、电弧传感器、超声波传感器、红外线传感器、机械传感器等均出现在焊缝识别和跟踪的应用和研究领域，各种传感器的优缺点及适应场合不同，在使用前应充分考虑应用的具体场景。相比之下，视觉传感器具有精度高、非接触式、工作原理简单、仅从图像就可以获取大量信息、且不受材料种类影响等优势，可以实现各种焊接接头的识别与跟踪。

视觉传感器可分为基于自然光、弧光的被动视觉传感与基于激光结构光的主动视觉传感。相比于主动视觉传感器，被动视觉传感器中的HDR相机能够检测到丰富的焊缝信息，系统简单高效，造价低廉，因此，研究基于HDR相机的焊缝跟踪方法具有非常重要的意义。

在实现机器人焊缝跟踪的过程中，关键在于获取焊接偏差，焊接偏差即焊接过程中熔池中心至焊缝中心线的距离，在焊接过程中利用HDR相机获取焊接时的高动态范围图像，利用图像处理算法处理焊接时的高动态范围图像的难点和关键点在于获取熔池中心的位置。

发明内容

针对上述问题，提出一种基于HDR图像的熔池中心识别系统及其方法。

提出的发明方案如下：

一种基于HDR图像的熔池中心识别系统，所述的熔池中心识别系统包括：焊机、弧长控制器、水冷、气瓶、焊枪、HDR相机、工业机器人、工业机器人控制柜以及工控机组成。

所述焊机一端与所述水冷和所述气瓶相连接，另一端与所述弧长控制器相连接，所述焊机及弧长控制器用于控制焊枪的起弧、收弧以及焊接电流电压参数；所述水冷用于降低焊枪焊接时的温度，保证焊枪在高温下工作；所述气瓶在焊接过程中提供保护气体，保证焊接质量。

所述焊机还连接有焊枪，所述焊枪和HDR相机通过焊枪夹持装置固定在工业机器人运动执行机构末端；HDR相机与焊枪之间通过连杆保持相对位置固定，HDR相机用于拍摄焊接时的熔池及其前方的焊缝；

所述工业机器人控制柜，用于控制工业机器人运动执行机构末端焊枪及HDR相机沿着焊缝移动。

所述工控机，用于接收HDR相机拍摄的图像，并采用熔池中心识别算法对接收的图像进行处理获取熔池中心，进而求取焊接时的坐标偏差，将坐标偏差传送回机器人控制柜以控制机器人沿着焊缝移动。

系统进一步地：所述焊枪和HDR相机通过夹具保持相对位置固定，HDR相机用于拍摄焊接时的熔池图像，完成对熔池图像的采集和传输。

系统进一步地：所述工控机包括存储器和运算器，所述存储器用于存储并记录熔池中心识别算法，所述运算器通过接收HDR相机拍摄的图像，采用熔池中心识别算法对接收的图像进行处理获取熔池中心，向所述工业机器人控制柜输出控制信息。

一种基于HDR图像的熔池中心识别方法包括以下步骤：

步骤一：对获取的HDR焊接区域图像进行多尺度小波变换，获取小波特征。

步骤二：对步骤一获取的小波特征的每一维进行K-means聚类处理。

步骤三：运用随机森林的决策方法，以经过K-means聚类处理的小波特征为决策树节点特征构建随机森林模型，以此模型识别HDR焊接区域图像熔池边缘。

步骤四：运用基于最小二乘法的椭圆拟合方法对步骤三识别的HDR焊接区域熔池边缘进行椭圆拟合，求取的椭圆中心即为所求的HDR焊接区域图像的熔池中心。

识别方法进一步地：以Harr为小波基，对HDR工业相机获取的焊接区域图像进行小波变换，将焊接区域图像进行深度为6的多尺度小波分解，每一尺度分解3个小波特征，共获取18个小波特征。

识别方法进一步地：采用K-means聚类方法对HDR焊接区域图像的小波变换结果的每一维进行处理，将聚类得出的小波特征按照相同位置以低尺度往高尺度的顺序构建。

识别方法进一步地：从经过K-means聚类的18个小波特征中抽取15个子特征，以抽取的小波特征为决策树节点特征构建有30棵CART决策树的随机森林模型，当CART决策树判断输入的像素点为边缘点时，输出为1，否则为0，训练模型时结合30棵CART决策树的输出结果，当超过15棵CART决策树的输出结果为1时，则判断输入的像素点为边缘点，从而完成对焊接区域图像熔池边缘的检测。

识别方法进一步地：所述识别熔池中心的算法为：

1)运用连通域标记算法对按上述步骤三处理后识别出熔池边缘的HDR焊接区域图像进行处理，标记所有被识别为熔池边缘的连通域。

2)计算边缘连通域的面积，当边缘的连通域面积大于10时，运用基于最小二乘法的椭圆拟合方法对此边缘进行拟合，椭圆公式为

F(a，x)＝ax²+bxy+cy²+dx+ey+f＝0 (1)

其中a＝[a b c d e f]，x＝[x² xy y² x y]

3)通过给定约束4ac-b²＝1来限制求得的圆弧曲线必为椭圆曲线，将约束4ac-b²＝1表示成a^TCa＝1，其中C如式(2)所示

通过最小化Da求得椭圆参数，其中D＝[x₁x₂…x_n]，则最小二乘法的目标函数可以写成如下所示

min||D_a||²

s.t.a^TCa＝1 (3)

4)将目标函数对a求导，得到公式如下所示

2D^TDa-2λCa＝0

s.t.a^TCa＝1 (4)

将公式(4)表示成如下形式

Sa＝λCa

s.t.a^TCa＝1 (5)

其中S＝D^TD

5)可以求得Sa＝λCa的特征值和特征向量为(λ_i，u_i)，并找出一个任意实数δ_i，使得δ_iu_i ^TCδ_iu_i＝1，求出δ_i为

求出

在特征值λ_i及其特征向量u_i满足λ_i>0下的

可以作为椭圆曲线的参数求出椭圆，返回至步骤2)，直至所有边缘拟合完毕；

6)计算所有拟合椭圆的周长，保留周长最长的椭圆，求出此椭圆曲线的中心，即为HDR图像中的焊接熔池的中心点。

本发明的有益效果为:基于HDR工业相机获取焊接区域图像，提供了一种识别熔池中心的系统和方法，该系统和方法的鲁棒性强，识别的熔池中心精度高，提升了焊接偏差的精度，可用于后续的焊缝跟踪工作，以提高焊接的自动化程度。

附图说明

结合附图，通过下文的述详细说明，可更清楚地理解本发明的上述及其他特征和优点，其中：

图1是基于HDR图像的熔池中心识别系统结构图；

图2是基于HDR图像的熔池中心识别方法示意图；

图3是小波变换构建示意图；

图4是K-means处理小波变换特征示意图；

图5是随机森林判决过程示意图。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步的详细说明。

如图1所示，一种基于HDR图像的熔池中心识别系统，所述的熔池识别系统包括：焊机1、弧长控制器2、水冷3、气瓶4、焊枪5、HDR相机6、工业机器人7、工业机器人控制柜8以及工控机9组成。

所述焊机1一端与所述水冷3和所述气瓶4相连接，另一端与所述弧长控制器2相连接，所述焊机1及弧长控制器2用于控制焊枪5的起弧、收弧以及焊接电流电压参数；所述水冷3用于降低焊枪5焊接时的温度，保证焊枪5在高温下工作；所述气瓶4在焊接过程中提供保护气体，保证焊接质量。

所述焊机1还连接有焊枪5，所述焊枪5和HDR相机6通过焊枪5夹持装置固定在工业机器人7运动执行机构末端；HDR相机6与焊枪5之间通过连杆保持相对位置固定，HDR相机6用于拍摄焊接时的熔池及其前方的焊缝。

所述工业机器人控制柜8，用于控制工业机器人7运动执行机构末端焊枪5及HDR相机6沿着焊缝移动。

所述工控机9，用于接收HDR相机6拍摄的图像，并采用熔池中心识别算法对接收的图像进行处理获取熔池中心，进而求取焊接时的坐标偏差，将坐标偏差传送回机器人控制柜以控制机器人沿着焊缝移动。

系统工作时，依次接通工控机9、HDR相机6、工业机器人控制柜电源，在工控机9端调试好基于HDR图像熔池中心识别算法的软件，接通焊机1电源、气瓶4、水冷3及弧长控制器2使其处于工作状态，通过焊机1及弧长控制器2控制焊枪5起弧并开始焊接，HDR相机6固定于焊枪5前方拍摄焊接时的熔池图像，并将拍摄的图像传输至工控机9，工控机9上基于HDR图像熔池中心识别算法的软件对接收到的图像进行处理并获取熔池中心，进而求取焊接时的坐标偏差，将坐标偏差传送回工业机器人控制柜8以控制工业机器人7沿着焊缝移动。

所述焊枪5和HDR相机6通过夹具保持相对位置固定，HDR相机6用于拍摄焊接时的熔池图像，完成对熔池图像的采集和传输。其中HDR相机6固定于焊枪5前方，可以拍摄到清晰的、稳定的熔池图像。

所述工控机9包括存储器和运算器，所述存储器用于存储并记录熔池中心识别算法，所述运算器通过接收HDR相机6拍摄的图像，采用熔池中心识别算法对接收的图像进行处理获取熔池中心，向所述工业机器人控制柜8输出控制信息。此工控机9性能好，运算速度快，可以及时向工业机器人控制柜8输出控制信息，满足焊接生产需求。

如附图2所示，一种基于HDR图像的熔池边缘识别方法，其特征在于，包括如下步骤：

步骤一：对获取的HDR焊接区域图像进行多尺度小波变换，获取小波特征；

步骤二：对步骤一获取的小波特征的每一维进行K-means聚类处理；

步骤三：运用随机森林的决策方法，以经过K-means聚类处理的小波特征为决策树节点特征构建随机森林模型，以此模型识别HDR焊接区域图像熔池边缘。

步骤四：运用基于最小二乘法的椭圆拟合方法对步骤三识别的HDR焊接区域熔池边缘进行椭圆拟合，求取的椭圆中心即为所求的HDR焊接区域图像的熔池中心。

如附图3所示，对HDR工业相机获取的焊接区域图像进行小波变换，为减少计算时间，选取Haar为小波基与图像像素进行卷积操作，其中当计算低频成分时，卷积核设为[0.5，0.5]，计算高频成分时，卷积核设为[1，1]，将焊接区域图像进行深度为6的多尺度小波分解，每一尺度分解3个小波特征，共获取18个小波特征。

采用K-means聚类方法对步骤一对HDR焊接区域图像的小波变换结果的每一维进行处理，处理过程如附图4所示，将K-means聚类后得出的小波特征按照相同位置以低尺度往高尺度的顺序构建出小波特征K-means聚类结果。

如附图5所示，从经过K-means聚类的18个小波特征中抽取15个子特征，以抽取的小波特征为决策树节点特征构建有30棵CART决策树的随机森林模型，当CART决策树判断输入的像素点为边缘点时，输出为1，否则为0，训练模型时结合30棵CART决策树的输出结果，当超过15棵CART决策树的输出结果为1时，则判断输入的像素点为边缘点，从而完成对焊接区域图像熔池边缘的检测。

所述基于HDR图像的识别熔池中心的算法为

1)运用连通域标记算法对按上述步骤三处理后识别出熔池边缘的HDR焊接区域图像进行处理，标记所有被识别为熔池边缘的连通域。

2)计算边缘连通域的面积，当边缘的连通域面积大于10时，运用基于最小二乘法的椭圆拟合方法对此边缘进行拟合，椭圆公式为

F(a，x)＝ax²+bxy+cy²+dx+ey+f＝0 (1)

其中a＝[a b c d e f]，x＝[x² xy y² x y]

3)通过给定约束4ac-b²＝1来限制求得的圆弧曲线必为椭圆曲线，将约束4ac-b²＝1表示成a^TCa＝1，其中C如式(2)所示

通过最小化Da求得椭圆参数，其中D＝[x₁x₂…x_n]，则最小二乘法的目标函数可以写成如下所示

min||D_a||²

s.t.a^TCa＝1 (3)

4)将目标函数对a求导，得到公式如下所示

2D^TDa-2λCa＝0

s.t.a^TCa＝1 (4)

将公式(4)表示成如下形式

Sa＝λCa

s.t.a^TCa＝1 (5)

其中S＝D^TD

5)可以求得Sa＝λCa的特征值和特征向量为(λ_i，u_i)，并找出一个任意实数δ_i，使得δ_iu_i ^TCδ_iu_i＝1，求出δ_i为

求出

在特征值λ_i及其特征向量u_i满足λ_i>0下的

可以作为椭圆曲线的参数求出椭圆，返回至步骤2)，直至所有边缘拟合完毕。

6)计算所有拟合椭圆的周长，保留周长最长的椭圆，求出此椭圆曲线的中心，即为HDR图像中的焊接熔池的中心点。

本文所述的基于HDR图像的熔池中心识别算法采用了小波变换、K-means聚类方法、随机森林以及椭圆拟合方法相结合的方法，是在频域内结合多种算法对HDR图像进行处理，现有的算法多在空间域对图像进行处理，与现有的算法相比本文所述的算法鲁棒性高、识别熔池中心的精度高，可用于提升焊缝跟踪过程中的焊接偏差精度，以提高焊接的自动化程度。

所述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于HDR图像的熔池中心识别系统，其特征在于，所述的熔池中心识别系统包括：焊机、弧长控制器、水冷、气瓶、焊枪、HDR相机、工业机器人、工业机器人控制柜以及工控机；

所述焊机一端与所述水冷和所述气瓶相连接，另一端与所述弧长控制器相连接，所述焊机及弧长控制器用于控制焊枪的起弧、收弧以及焊接电流电压参数；所述水冷用于降低焊枪焊接时的温度，保证焊枪在高温下工作；所述气瓶在焊接过程中提供保护气体，保证焊接质量；

所述焊机还连接有焊枪，所述焊枪和HDR相机通过焊枪夹持装置固定在工业机器人运动执行机构末端；HDR相机与焊枪之间通过连杆保持相对位置固定，HDR相机用于拍摄焊接时的熔池及其前方的焊缝；

所述工业机器人控制柜，用于控制工业机器人运动执行机构末端焊枪及HDR相机沿着焊缝移动；

所述工控机，用于接收HDR相机拍摄的图像，并采用熔池中心识别算法对接收的图像进行处理获取熔池中心，进而求取焊接时的坐标偏差，将坐标偏差传送回机器人控制柜以控制机器人沿着焊缝移动。

2.根据权利要求1所述的一种基于HDR图像的熔池中心识别系统，其特征在于：所述焊枪和HDR相机通过夹具保持相对位置固定，HDR相机用于拍摄焊接时的熔池图像，完成对熔池图像的采集和传输。

3.根据权利要求1所述的一种基于HDR图像的熔池中心识别系统，其特征在于：所述工控机包括存储器和运算器，所述存储器用于存储并记录熔池中心识别算法，所述运算器通过接收HDR相机拍摄的图像，采用熔池中心识别算法对接收的图像进行处理获取熔池中心，向所述工业机器人控制柜输出控制信息。

4.一种基于HDR图像的熔池中心识别方法，其特征在于，包括以下步骤：

步骤一：对获取的HDR焊接区域图像进行多尺度小波变换，获取小波特征；

步骤二：对步骤一获取的小波特征的每一维进行K-means聚类处理；

步骤三：运用随机森林的决策方法，以经过K-means聚类处理的小波特征为决策树节点特征构建随机森林模型，以此模型识别HDR焊接区域图像熔池边缘。

步骤四：运用基于最小二乘法的椭圆拟合方法对步骤三识别的HDR焊接区域熔池边缘进行椭圆拟合，求取的椭圆中心即为所求的HDR焊接区域图像的熔池中心。

5.根据权利要求4所述的一种基于HDR图像的熔池中心识别方法，其特征在于：以Harr为小波基，对HDR工业相机获取的焊接区域图像进行小波变换，将焊接区域图像进行深度为6的多尺度小波分解，每一尺度分解3个小波特征，共获取18个小波特征。

6.根据权利要求4所述的一种基于HDR图像的熔池中心识别方法，其特征在于：采用K-means聚类方法对HDR焊接区域图像的小波变换结果的每一维进行处理，将聚类得出的小波特征按照相同位置以低尺度往高尺度的顺序构建。

7.根据权利要求4所述的一种基于HDR图像的熔池中心识别方法，其特征在于：从经过K-means聚类的18个小波特征中抽取15个子特征，以抽取的小波特征为决策树节点特征构建有30棵CART决策树的随机森林模型，当CART决策树判断输入的像素点为边缘点时，输出为1，否则为0，训练模型时结合30棵CART决策树的输出结果，当超过15棵CART决策树的输出结果为1时，则判断输入的像素点为边缘点，从而完成对焊接区域图像熔池边缘的检测。

8.根据权利要求4所述的一种基于HDR图像的熔池中心识别方法，其特征在于：所述识别熔池中心的算法为：

1)运用连通域标记算法对按上述步骤三处理后识别出熔池边缘的HDR焊接区域图像进行处理，标记所有被识别为熔池边缘的连通域；

2)计算边缘连通域的面积，当边缘的连通域面积大于10时，运用基于最小二乘法的椭圆拟合方法对此边缘进行拟合，其中的椭圆公式为

F(a，x)＝ax²+bxy+cy²+dx+ey+f＝0 (1)

其中a＝[a b c d e f]，x＝[x² xy y² x y]

3)通过给定约束4ac-b²＝1来限制求得的圆弧曲线必为椭圆曲线，将约束4ac-b²＝1表示成a^TCa＝1，其中C如式(2)所示

通过最小化Da求得椭圆参数，其中D＝[x₁ x₂…x_n]，则最小二乘法的目标函数可以写成如下所示

min||D_a||²

s.t.a^TCa＝1 (3)

4)将目标函数对a求导，得到公式如下所示

2D^TDa-2λCa＝0

s.t.a^TCa＝1 (4)

将公式(4)表示成如下形式

Sa＝λCa

s.t.a^TCa＝1 (5)

其中S＝D^TD

5)可以求得Sa＝λCa的特征值和特征向量为(λ_i，u_i)，并找出一个任意实数δ_i，使得δ_iu_i ^TCδ_iu_i＝1，求出δ_i为

求出

在特征值λ_i及其特征向量u_i满足λ_i>0下的

可以作为椭圆曲线的参数求出椭圆，返回至步骤2)，直至所有边缘拟合完毕；

6)计算所有拟合椭圆的周长，保留周长最长的椭圆，求出此椭圆曲线的中心，即为HDR图像中的焊接熔池的中心点。

Images