CN110517210B - 基于Haar小波梯度重建的多曝光焊区图像融合方法 - Google Patents

Abstract

本发明提供一种焊接区域多曝光图像采集装置与图像信息融合方法，该方法用于图像融合，完整表达焊区特征，首先将多曝光图像分别进行X方向与Y方向上的梯度计算，然后分别融合所有X方向与Y方向梯度幅值最大的梯度，以融合出完全表达所有曝光序列图像信息的梯度图，接着通过Haar小波梯度重建算法重构出融合图像，最后经过类Gamma校正与自适应直方图均衡化，得到最终融合图像，通过图像能够清晰的看到比任何一张多曝光源图像更清晰更丰富的细节信息，说明了梯度信息融合重建图像在细节保留方面具有的优势，而且已经基本上消除了熔池区域强烈的弧光影响，也消除了极暗与极亮的区域，能够很清晰的观察到焊枪、焊丝、熔池、结构光等信息，有助于进一步的特征提取与处理。

Description

基于Haar小波梯度重建的多曝光焊区图像融合方法

技术领域

本发明属于图像处理领域，具体涉及一种基于Haar小波梯度重建的多曝光焊区图像融合方法。

背景技术

近年来，随着中国制造业的不断发展，焊接技术已经成为现代制造业极为重要的材料成形和金属加工技术之一，发展非常迅速。而其未来也会向智能化焊接的方向发展，智能化焊接水平的高低取决于获取焊接区域图像的清晰程度。

由于焊接过程中存在弧光等强干扰的影响，目前大部分视觉传感设备还不能满足实际需求，传统的工业相机又无法克服弧光等干扰直接获取焊接区域清晰图像，严重阻碍了焊接可视化和焊接质量监控等智能化焊接技术的发展。并且由于焊接过程动态范围变化大，光照不均匀，同时受到弧光、飞溅等强干扰，导致现有视觉传感器获取的图像存在曝光不足或曝光过度问题，从而无法有效的获取完整的焊区信息。

为了解决由于曝光饱和带来的焊接区域信息损失问题，常规的解决办法要么增大曝光时间，要么降低曝光时间，但是依旧不能获取包含丰富焊接区域信息的图像。现目前没有科学、有效的方法来获取焊接区域的信息。

发明内容

为了克服现有技术的不足，本发明提供一种焊接区域多曝光图像信息融合方法。由于焊接过程动态范围变化大，光照不均匀，同时受到弧光、飞溅等强干扰，导致现有视觉传感器获取的图像存在曝光不足或曝光过度问题，从而无法有效的获取完整的焊区信息；所以为了扩大动态范围、获取清晰焊区图像，提出了一种焊接区域多曝光图像信息融合方法，具体为一种基于Haar小波梯度重建的多曝光焊区图像信息融合方法，把采集的原始图片进行图像信息融合，来充分表达焊接区域细节信息。

本发明解决上述技术问题采用的技术方案是：

一种基于Haar小波梯度重建的多曝光焊区图像融合方法，该方法用于图像融合，完整表达焊区特征，包括下述步骤：

S1.多曝光焊接区域图像输入

S2.梯度计算与融合

S2-1将S1的图像进行中值滤波去噪处理；

S2-2将S2-1处理后的多曝光焊接区域图像分别进行X方向与Y方向上的梯度计算，得到多曝光焊接序列图像的X方向梯度图与Y方向梯度图；

S2-3针对S2-2获取的所述梯度图进行引导图像滤波处理；

S2-4对所述S2-3滤波处理后的梯度图计算X与Y方向梯度图的梯度幅值，并选取每个像素位置的梯度值进行融合，得到X方向融合梯度与Y方向融合梯度；

S3.梯度重建

S3-1对X方向融合梯度与Y方融合梯度进行Haar小波梯度分解，得到各级的Haar小波系数，然后进行Haar小波梯度数据重构，实现图像细节真实还原；

S3-2采用带有泊松方程求解器的重构方法，得到融合图像，所述融合图像融合了多曝光图像中所有细节信息，同时清晰包含了结构光、焊缝、焊丝、熔池等焊接区域关键信息；

具体的，所述S3梯度重建步骤之后还包括有如下图像后处理步骤：

S4.图像后处理

S4-1对S3-2获得的融合图像进行类Gamma校正；

由于梯度融合是通过合并多个图像梯度而获得的，而相邻梯度值之间存在较大的差异，会导致重建图像具有较高动态范围的像素强度，从而使一些像素值可能超出亮度的标准范围，类Gamma校正进行亮度范围校正，保证最终获取图像效的效果。

S4-2对所述S4-1融合图像进行自适应直方图均衡化处理，通过计算图像的局部直方图，然后重新分布亮度来来改变图像对比度，在宽动态范围内均匀地分配强度，可以消除熔池区域强烈弧光影响，也可以消除了极暗与极亮的区域，可以清晰的观察到焊枪、焊丝、熔池、结构光。

S4-3得到最终图像

具体的，所述步骤S2-2中进行的X方向与Y方向上的梯度计算时，选取的为每个像素位置的梯度最大值进行融合。

每一个像素位置均选择最大的梯度幅值，融合出的图像将会比任何一幅多曝光源图像拥有更多的细节信息。

与现有技术相比，本发明方案通过基于Haar小波梯度重建的多曝光焊区图像信息融融合的方法，可以明显发现欠曝光与过曝光的像素区域基本被去除，融合后大部分的强弧光区域也基本缩小，充分融合了欠曝光的亮处细节与过曝光的暗处细节，可以看到结构光、熔池、焊丝、焊枪、母材等细节信息，为同时实现焊缝跟踪和高质量焊接监控提供了细节信息，为下一步焊接区域信息特征提取打下了坚实基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于Haar小波梯度重建的焊区图像信息融合算法框图。

图2为计算图像梯度Hudgin模型

图3为原始图像。

图4为Haar小波梯度重建结果。

图5为Gamma校正效果。

图6为进行自适应直方图均衡化后的最终效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种焊接区域多曝光图像信息融合方法，为一种基于Haar小波梯度重建的多曝光焊区图像信息融合方法，算法框图如图1所示，包括下述步骤：

第一步，选取梯度离散模型

关于图像梯度的计算，Hudgin模型通常被用在图像处理和计算机视觉方面,计算方式主要是在两个垂直和两个水平像素之间进行连续导数。

本发明选取Hudgin离散化模型，给定的图像2^M×2^M，对于Hudgin模型，如图2所示，分辨率梯度分量分别是

和

对于Hudgin模型，可以表示为：

第二步梯度计算和融合

本图像融合算法选择在梯度域内进行。设N帧曝光源图像，I＝{I₁,I₂,…,I_N}(N＝5)，图2为原始图像。采用Hudgin离散化模型降低算法计算时间，提高计算效率。首先，所有输入图像进行引导图像中值滤波处理，将滤波窗口内的最大值和最小值均视为噪声，用滤波窗口内的中值代替窗口中心像素点的灰度，在一定程度上抑制了噪声，这样的图片的特征信息会更加明显。再计算所有图像的X与Y方向梯度，计算公式可以重新定义为：

其中，

和

分别是X方向与Y方向的梯度。对曝光序列图像首先进行中值滤波去噪处理，再分别进行X与Y方向梯度计算，生成梯度图。梯度的幅值可以被定义为：

对于每一个像素(x,y)，使其满足梯度幅值最大，可以被定义为：

从上式中可知，X方向与Y方向上的融合梯度可以被表示为：

其中，对于每一个像素(x,y)，

和

分别代表梯度最大值p(x,y)处X与Y方向的梯度分量。所以，融合梯度Φ可以表示为：Φ＝[Φ^x,Φ^y]^T。然后对生成的梯度图中的多曝光焊接序列图像的X方向梯度图与Y方向梯度图，进行引导图像中值滤波处理之后，利用上述计算方式，分别进行融合，可以得到X方向与Y方向的融合结果。

此步骤对于聚焦良好或者适度曝光的区域往往比模糊的、过曝光或者欠曝光的区域拥有更大的梯度值，对每一个像素位置均选择最大的梯度幅值，这样融合出的图像将会比任何一幅多曝光源图像拥有更多的细节信息。

第三步梯度分解与重构

对于获得的X方向与Y方向梯度融合图像，要实现图像细节真实还原，梯度域重建是必须的。首先是对梯度图像进行Haar小波梯度数据分解。

A、Haar小波梯度图像分解

设图像尺寸为2M×2^M，对于给定的合成梯度Φ(Φ^x与Φ^y)，小波分解的HL和LH字带，可以表示为：

其中，Z_v和Z_h分别表示垂直和水平方向的Haar小波滤波器，表示图像下采样，表示采用滤波变换函数对梯度数据进行滤波处理。

对于HH子带，可以表示为：

对于LL子带，从k＝M到2，可以下述方程表示：

经过Haar小波梯度数据分解之后，然后进行Haar小波梯度数据重构。

B、Haar小波梯度图像重构

(1)常规的重构方法

假设haar小波分解级数为k(k＝0…M-1)，k+1级的LL子带部分可以被重建为：

(2)采用迭代泊松求解器的重构方法

融合梯度和最终融合图像F可以表示为：

▽I＝Φ

其中▽＝[d/dx,d/dy]^T，但是，由于合成梯度Φ^x与Φ^y是由多曝光图像梯度计算与融合得出，已经被遭到破坏，不满足保守向量场的条件。解决这个问题的方法是转化求解泊松方程，可以表示为：

▽²I＝▽^TΦ

本算法在每一级的Haar小波重构过程中，采用Sevcenco等提出的迭代泊松方程求解器去克服由于融合梯度不满足保守向量场造成的人工噪声的出现，其迭代泊松方程求解器为：

其中，表示二维卷积。结合迭代泊松方程求解器，k+1级的LL子带部分可以重写为：

本算法先对X方向与Y方向融合梯度进行Haar小波梯度分解，得到各级的Haar小波系数，然后采用带有泊松方程求解器的重构方法，得到最终图像。从图4可以看到，最终图像中融合了多曝光图像中几乎所有细节信息，同时清晰的包含了结构光、焊缝、焊丝、熔池等焊接区域关键信息。

第四步融合图像后处理

A、类Gamma校正

为了优化图4中的图片，让其显示效果更好，特征更明显，同时为了防止一些像素值可能超出亮度的标准范围(16/235)。采用类Gamma校正进行亮度范围校正，可以表示为：

其中，γ＝InR_c/InR_I，R_l为重建图像的动态范围。R_c＝H-L，H和L分别是重建图像的最大与最小灰度值。对于多曝光灰度图像融合，取H＝255，L＝0，因此，如图5所示，为焊接区域重建图像Gamma校正结果。

B、自适应直方图均衡化

经过上述Gamma校正之后，为了在宽动态范围内均匀地分配强度，再进行自适应直方图均衡化处理，通过计算图像的局部直方图

其中n为像素总数，n_k为灰度级S_k的像素个数，然后重新分布亮度来改变图像对比度。

在图6中能够清晰的看到比任何一张多曝光源图像更清晰更丰富的细节信息，说明了梯度信息融合重建图像在细节保留方面具有的优势，而且已经基本上消除了熔池区域强烈的弧光影响，也消除了极暗与极亮的区域，能够很清晰的观察到焊枪、焊丝、熔池、结构光等信息，有助于进一步的特征提取与处理。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内，本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于Haar小波梯度重建的多曝光焊区图像融合方法，该方法用于图像融合，完整表达焊区特征，其特征在于，包括下述步骤：

S1. 多曝光焊接区域图像输入

S2.梯度计算与融合

S2-1 将S1的图像进行中值滤波去噪处理；

S2-2 将S2-1处理后的多曝光焊接区域图像分别进行X方向与Y方向上的梯度计算，得到多曝光焊接序列图像的X方向梯度图与Y方向梯度图；

S2-3 针对S2-2获取的所述梯度图进行引导图像滤波处理；

S2-4 对所述S2-3滤波处理后的梯度图计算X与Y方向梯度图的梯度幅值，并选取每个像素位置的梯度值进行融合，得到X方向融合梯度与Y方向融合梯度；

S3.梯度重建

S3-1 对X方向融合梯度与Y方融合梯度进行Haar小波梯度分解，得到各级的Haar小波系数，然后进行Haar小波梯度数据重构，实现图像细节真实还原；

S3-2 采用带有泊松方程求解器的重构方法，得到融合图像，所述融合图像融合了多曝光图像中所有细节信息，同时清晰包含了结构光、焊缝、焊丝、熔池焊接区域关键信息。

2.根据权利要求1所述的一种基于Haar小波梯度重建的多曝光焊区图像融合方法，其特征在与，所述S3梯度重建步骤之后还包括有如下图像后处理步骤：

S4.图像后处理

S4-1 对S3-2获得的融合图像进行类Gamma校正；

由于梯度融合是通过合并多个图像梯度而获得的，而相邻梯度值之间存在较大的差异，会导致重建图像具有较高动态范围的像素强度，从而使一些像素值可能超出亮度的标准范围，类Gamma校正进行亮度范围校正，保证最终获取图像效的效果；

S4-2 对所述S4-1融合图像进行自适应直方图均衡化处理，通过计算图像的局部直方图，然后重新分布亮度来 改变图像对比度，在宽动态范围内均匀地分配强度，可以消除熔池区域强烈弧光影响，也可以消除了极暗与极亮的区域，可以清晰的观察到焊枪、焊丝、熔池、结构光；

S4-3 得到最终图像。

3.根据权利要求1所述的一种基于Haar小波梯度重建的多曝光焊区图像融合方法，其特征在与：所述步骤S2-2中进行的X方向与Y方向上的梯度计算时，选取的为每个像素位置的梯度最大值进行融合，每一个像素位置均选择最大的梯度幅值，融合出的图像将会比任何一幅多曝光源图像拥有更多的细节信息。

Images