CN112634187B - 基于多重权重映射的宽动态融合算法 - Google Patents

Abstract

本发明公开了一种基于多重权重映射的宽动态融合算法，涉及图像处理技术领域，包括以下步骤：将输入图像序列利用曝光评估权重算法、纹理变化权重算法、色彩鲜艳权重算法计算出窗口中心像素的权重信息，得到合成权重图；对所述合成权重图分解为高斯金字塔；对所述输入图像序列分解为拉普拉斯金字塔；将所述输入图像序列的拉普拉斯金字塔与所述合成权重图的高斯金字塔进行融合，得到融合金字塔；将所述融合金字塔重构得到最终的融合图像。采用本发明方法进行图像重构，具有原来输入图像的大部分细节的同时也保持了光影过渡的自然，颜色不失真，适配了输入图像序列整体偏暗或者偏亮的情况。

Description

基于多重权重映射的宽动态融合算法

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于多重权重映射的宽动态融合算法。

背景技术

目前宽动态融合的方法主要有：基于色调映射的方法和基于多曝光图像融合的方法。基于色调映射的方法需要预先采集高动态范围图像数据，并使用色调映射技术在低动态范围显示高动态范围图像。这一方法明显需要专业的CMOS图像传感器，在原数据的获取上成本过高，需要专业的设备。而基于多曝光图像融合的方法就是由普通的图像获取设备，采取不同的曝光拍摄同一场景所得到的一系列低动态范围的图像。虽然不需要专业的设备，但是往往运算速度较慢，并且不能对输入图像序列的整体偏暗或者偏亮的情况做好适配。

针对现有方案存在的缺乏空间领域信息、明暗过渡不自然、颜色局部失真、未对输入图片序列的整体偏暗或者偏亮做好适配的问题，创新地提出了一种多重权重映射的宽动态融合算法。

发明内容

有鉴于此，本发明提供了一种基于多重权重映射的宽动态融合算法，以解决背景技术中提出的问题，具有原来输入图像的大部分细节的同时也保持了光影过渡的自然。

为了实现上述目的，本发明采用如下技术方案：一种基于多重权重映射的宽动态融合算法，包括以下步骤：

将输入图像序列利用曝光评估权重算法、纹理变化权重算法、色彩鲜艳权重算法计算出窗口中心像素的权重信息，得到合成权重图；

对所述合成权重图进行连续降采样，分解为第一高斯金字塔；

对所述输入图像序列进行连续降采样，分解为第二高斯金字塔后，用所述第二高斯金字塔的每一层图像减去上一层图像升采样后经过高斯卷积，分解为拉普拉斯金字塔；

将所述输入图像序列的拉普拉斯金字塔与所述合成权重图的高斯金字塔进行融合，得到融合金字塔；

将所述融合金字塔重构得到最终的融合图像。

优选的，所述曝光评估权重算法的具体计算方法为：

其中，We_k(i,j)为第k张输入图像(i,j)位置的曝光评估权重值，Ω_k(i,j)为窗口区域内像素的归一化平均值，即

其中，m为窗口大小(为奇数)，I_k(i₀,j₀)为所述输入图像序列第k张图像(i₀,j₀)处的像素值。

通过采用上述技术方案，具有以下有益效果：曝光亮度过低或者过高都不利于人眼进行细节的辨别，所以在0.5附近像素归一化像素值给予最高的权重，创新性地提出以上曝光评估权重算法。

优选的，所述曝光评估权重算法根据所述输入图像序列的亮度进行自适应调整，具体方法为：

首先计算所述输入图像序列的归一化平均亮度；

若所述归一化平均亮度小于0.5，则所述曝光评估权重算法替换为第一权重函数；

若所述归一化平均亮度大于0.5，则所述曝光评估权重算法替换为第二权重函数。

通过采用上述技术方案，具有以下有益效果：根据输入图像序列的平均亮度自适应调节暗部或者亮部的权重，可以对于输入图像序列普遍偏暗或者普遍偏亮的情况进行更好的适配，使其获得更好的观感以及更多的图像细节。

优选的，所述第一权重函数为：

其中p为曝光权重函数调节因子，公式为：

其中，r为所述输入图像序列的长，c为所述输入图像序列的宽，n为所述输入图像序列的个数。

通过采用上述技术方案，具有以下有益效果：若输入图像序列的归一化亮度小于0.5，即说明输入的图像整体偏暗，此时暗部的权重适当增加，亮部的权重做适当降低，这样不会因为少量的亮区像素获得了较高权重影响合成图像中亮区的细节。

优选的，所述第二权重函数为：

通过采用上述技术方案，具有以下有益效果：若输入图像序列的归一化亮度大于0.5，即说明输入的图像整体偏亮，此时亮部的权重适当增加，暗部的权重适当降低，这样不会因为少量的暗区像素获得了较高权重影响合成图像中暗区的细节。

优选的，所述纹理变化权重算法的具体计算方法为：

其中，Wt_k(i,j)为第k张输入图像(i,j)位置的纹理变化权重值，S_kx(i,j)为水平方向Sobel算子，公式为：

S_kx(i,j)＝Ω_k(i+1,j-1)+2Ω_k(i+1,j)+Ω_k(i+1,j+1)

-Ω_k(i-1,j-1)-2Ω_k(i-1,j)-Ω_k(i-1,j+1)，

S_ky(i,j)为垂直方向Sobel算子，公式为：

S_ky(i,j)＝Ω_k(i-1,j-1)+2Ω_k(i,j-1)+Ω_k(i+1,j-1)

-Ω_k(i-1,j+1)-2Ω_k(i,j+1)-Ω_k(i+1,j+1)。

通过采用上述技术方案，具有以下有益效果：对输入图像序列的纹理变化进行测量，这些纹理信息包含在梯度变化中，因此采用抗噪性良好且计算量较小的Sobel算子进行纹理变化权重的计算。

优选的，所述色彩鲜艳权重算法的具体计算方法为：

其中，c为R，G，B三个通道，

为第k张输入图像(i,j)位置的色彩鲜艳权重值，μ为所述输入图像序列(i,j)处三通道的平均值，μ的计算公式为：

优选的，所述合成权重图的具体算法为：

其中We_k(i,j)为第k张输入图像(i,j)位置的曝光评估权重值，Wt_k(i,j)为第k张输入图像(i,j)位置的纹理变化权重值，Wc_k(i,j)为第k张输入图像(i,j)位置的色彩鲜艳权重值。

优选的，所述融合金字塔的具体算法为：

其中l为金字塔分解的级别，

为所述合成权重图的高斯金字塔，{I_k}^l为所述输入图像序列的拉普拉斯金字塔，L{F}^l为所述融合金字塔。

优选的，对融合后的拉普拉斯金字塔，从最高层开始使用内插的方法，恢复其对应的高斯金字塔，并得到最终的融合图像

通过采用上述技术方案，具有以下有益效果：如果直接通过输入图像与合成权重的加权当然可以得到融合后的图像，但是这种简单的图像融合结果并不令人满意，因为权重的突然变化会影响融合效果，为了避免接缝问题，在本发明方法中采用基于金字塔分解的方法，做到了无缝融合。

经由上述的技术方案可知，本发明公开提供了一种基于多重权重映射的宽动态融合算法，与现有技术相比，具有以下有益的技术效果：

(1)考虑空间领域信息、明暗过渡更加自然、颜色不失真、适配了输入图像序列的整体偏暗或者偏亮的情况。

(2)创新性地提出了曝光评估权重函数集，创新性地使用双方向Sobel算子卷积计算纹理变化权重。最后配合色彩鲜艳权重的函数，综合计算出每个像素点的融合权重，最后产生高质量的融合图像，具有原来输入图像的大部分细节的同时也保持了光影过渡的自然。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的算法流程图；

图2附图为本发明NIQE测试结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于多重权重映射的宽动态融合算法，如图1所示，包括以下步骤：

步骤一：将输入图像序列利用曝光评估权重算法、纹理变化权重算法、色彩鲜艳权重算法计算出窗口中心像素的权重信息，得到合成权重图；

1、曝光评估权重算法

进一步的，曝光亮度过低或者过高都不利于人眼进行细节的辨别，所以需要在0.5附近像素归一化像素值给予最高的权重，创新性地提出以下曝光评估权重算法：

其中，We_k(i,j)为第k张输入图像(i,j)位置的曝光评估权重值，Ω_k(i,j)为窗口区域内像素的归一化平均值，即

其中，m为窗口大小(奇数)，I_k(i₀,j₀)为所述输入图像序列第k张图像(i₀,j₀)处的像素值。

需要说明的是，为了对于输入图像序列普遍偏暗或者普遍偏亮的情况进行更好的适配，创新性地提出了根据输入图像序列的平均亮度自适应调节暗部或者亮部的权重，使其获得更好的观感以及更多的图像细节。

具体的，曝光评估权重的自适应调整方法为：

首先计算输入图像序列的归一化平均亮度；

若归一化平均亮度小于0.5，则曝光评估权重算法替换为第一权重函数；

若归一化平均亮度大于0.5，则曝光评估权重算法替换为第二权重函数。

如果输入图像序列的归一化亮度小于0.5，即说明输入的图像整体偏暗，此时暗部的权重适当增加，亮部的权重做适当降低，这样不会因为少量的亮区像素获得了较高权重影响合成图像中亮区的细节。

进一步的，第一权重函数为：

其中p为曝光权重函数调节因子，公式为：

其中，r为输入图像序列的长，c为输入图像序列的宽，n为输入图像序列的个数。

如果输入图像序列的归一化亮度大于0.5，即说明输入的图像整体偏亮，此时亮部的权重适当增加，暗部的权重适当降低，这样不会因为少量的暗区像素获得了较高权重影响合成图像中暗区的细节。

进一步的，第二权重函数为：

2、纹理变化权重算法

对输入图像序列的纹理变化进行测量，这些纹理信息包含在梯度变化中，因此采用抗噪性良好且计算量较小的Sobel算子进行纹理变化权重的计算，具体算法如下：

其中，Wt_k(i,j)为第k张输入图像(i,j)位置的纹理变化权重值，S_kx(i,j)为水平方向Sobel算子，公式为：

S_kx(i,j)＝Ω_k(i+1,j-1)+2Ω_k(i+1,j)+Ω_k(i+1,j+1)

-Ω_k(i-1,j-1)-2Ω_k(i-1,j)-Ω_k(i-1,j+1)，

S_ky(i,j)为垂直方向Sobel算子，公式为：

S_ky(i,j)＝Ω_k(i-1,j-1)+2Ω_k(i,j-1)+Ω_k(i+1,j-1)

-Ω_k(i-1,j+1)-2Ω_k(i,j+1)-Ω_k(i+1,j+1)。

3、色彩鲜艳权重算法

鲜艳的色彩往往给予视觉更大的冲击力，因此色彩的饱和度越高，则更需要给予更大的权重，具体算法如下：

其中，c为R，G，B三个通道，

为第k张输入图像(i,j)位置的色彩鲜艳权重值，μ为所述输入图像序列(i,j)处三通道的平均值，其计算公式为：

最后将计算合成权重，具体算法如下：

其中We_k(i,j)为第k张输入图像(i,j)位置的曝光评估权重值，Wt_k(i,j)为第k张输入图像(i,j)位置的纹理变化权重值，Wc_k(i,j)为第k张输入图像(i,j)位置的色彩鲜艳权重值。

步骤二：对合成权重图进行连续降采样，分解为第一高斯金字塔；

步骤三：对输入图像序列进行连续降采样，分解为第二高斯金字塔后，用第二高斯金字塔的每一层图像减去上一层图像升采样后经过高斯卷积，分解为拉普拉斯金字塔；

步骤四：将输入图像序列的拉普拉斯金字塔与合成权重图的高斯金字塔进行融合，得到融合金字塔；

进一步的，融合金字塔的具体算法为：

其中l为金字塔分解的级别，

为合成权重图的高斯金字塔，{I_k}^l为输入图像序列的拉普拉斯金字塔，L{F}^l为融合金字塔。

步骤五：将融合金字塔重构得到最终的融合图像。

对融合后的拉普拉斯金字塔，从最高层开始使用内插的方法，恢复其对应的高斯金字塔，并得到最终的融合图像。

如果直接通过输入图像与合成权重的加权当然可以得到融合后的图像，但是这种简单的图像融合结果并不令人满意，因为权重的突然变化会影响融合效果，为了避免接缝问题，在本发明方法中采用基于金字塔分解与重构的方法，做到了无缝融合。

图像质量的客观评价标准可以更加具象的评价算法的综合性能。如果使用一般的无参考图像质量评价指标，例如平均梯度或者图像的信息熵，在评价曝光融合图像的视觉感知质量方面非常有限，并不能很好地反映出输入图像序列与合成图像之间的关联性。因此在本实施例中使用了基于结构相似性以及空间一致性的原理，并且针对曝光融合图像的一种专用的全参考客观图像质量评估算法MEF-SSIM，如表1所示：

表1 MEF-SSIM测试结果

该指标的评定结果在[0，1]区间内，其值越大，表明图像在合成之后保留的细节越充分，图像质量越高。本发明算法在大部分情况下MEF-SSIM的测试结果都是最大值，表现优越。

除了参考质量度量(MEF-SSIM)外，还使用非参考质量度量NIQE来评估该方法的性能。融合的图片不仅应该保留更多的信息，而且应该表现为自然主义的，类似于肉眼所感知的场景。因此，在基于感知质量的融合度量中引入了一个非参考质量度量NIQE，并评估了融合图像中自然性的可能损失。NIQE的最低值表明得到的图像质量更好。

表2 NIQE测试结果

由表2可知，本发明算法NIQE测试值保持在较低水平，由图2可知，可知大部分情况低于其他算法的自然性损失的平均值，即得到的图像质量优于与他算法。

由此可见，本实施例中提出的方案较现有技术具有以下优势：考虑空间领域信息、明暗过渡更加自然、颜色不失真、适配了输入图片序列的整体偏暗或者偏亮的情况；创新性地提出了曝光评估权重函数集，创新性地使用双方向Sobel算子卷积计算纹理变化权重。最后配合色彩鲜艳权重的函数，综合计算出每个像素点的融合权重，最后产生高质量的融合图像，具有原来输入图像的大部分细节的同时也保持了光影过渡的自然。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于多重权重映射的宽动态融合方法，其特征在于，包括以下步骤：

将输入图像序列利用曝光评估权重算法、纹理变化权重算法、色彩鲜艳权重算法计算出窗口中心像素的权重信息，得到合成权重图；

对所述合成权重图进行连续降采样，分解为第一高斯金字塔；

对所述输入图像序列进行连续降采样，分解为第二高斯金字塔后，用所述第二高斯金字塔的每一层图像减去上一层图像升采样后经过高斯卷积，分解为拉普拉斯金字塔；

将所述输入图像序列的拉普拉斯金字塔与所述合成权重图的高斯金字塔进行融合，得到融合金字塔；

将所述融合金字塔重构得到最终的融合图像；

所述曝光评估权重算法根据所述输入图像序列的亮度进行自适应调整，具体方法为：

首先计算所述输入图像序列的归一化平均亮度；

若所述归一化平均亮度小于0.5，则所述曝光评估权重算法替换为第一权重函数；

若所述归一化平均亮度大于0.5，则所述曝光评估权重算法替换为第二权重函数；

所述第一权重函数为：

；

其中

为曝光权重函数调节因子，公式为：

；

其中，

为所述输入图像序列的长，

为所述输入图像序列的宽，

为所述输入图像序列的个数；

为窗口区域内像素的归一化平均值，即

；

所述第二权重函数为：

；

其中

为曝光权重函数调节因子，公式为：

；

其中，

为所述输入图像序列的长，

为所述输入图像序列的宽，

为所述输入图像序列的个数；

为窗口区域内像素的归一化平均值，即

；

所述纹理变化权重算法的具体计算方法为：

；

其中，

为第

张输入图像

位置的纹理变化权重值，

为水平方向Sobel算子，

为垂直方向Sobel算子；

所述色彩鲜艳权重算法的具体计算方法为：

；

其中，

为R，G，B三个通道，

为第

张输入图像

位置的色彩鲜艳权重值，

为所述输入图像序列

处三通道的平均值，计算公式为：

。

2.根据权利要求1所述的一种基于多重权重映射的宽动态融合方法，其特征在于，所述曝光评估权重算法的具体计算方法为：

；

其中，

为第

张输入图像

位置的曝光评估权重值，

为窗口区域内像素的归一化平均值，即

；

其中，

为窗口大小，取奇数，

为所述输入图像序列第

张图像

处的像素值。

3.根据权利要求1所述的一种基于多重权重映射的宽动态融合方法，其特征在于，所述合成权重图的具体算法为：

其中

为第

张输入图像

位置的曝光评估权重值，

为第

张输入图像

位置的纹理变化权重值，

为第

张输入图像

位置的色彩鲜艳权重值。

4.根据权利要求1所述的一种基于多重权重映射的宽动态融合方法，其特征在于，所述融合金字塔的具体算法为：

其中

为金字塔分解的级别，

为所述合成权重图的高斯金字塔，

为所述输入图像序列的拉普拉斯金字塔，

为所述融合金字塔。

Images