CN113222954A - 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 - Google Patents

Abstract

本发明公开了一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法，包括：读取参考图像，基于多源双向相似度的度量算法MBDS度量参考图像与LDR图像的相似度，采用补丁加速方法对齐LDR图像中的运动区域；采用重建算法获得与参考图像对齐后的LDR图像序列；设计像素相对强度权重式和全局梯度权重式；将两种权重式加权平均后得到最终权重式，在拉普拉斯金字塔中输入权重图和LDR图像序列进行图像融合并输出融合图像。该方法有效地解决了动态场景融合下出现的伪影问题，先基于参考图像配准LDR图像节省了融合时间，更具有鲁棒性，之后在拉普拉斯金字塔中融合进行多尺度分解融合，融合效果更好，得到的HDR图像细节信息丰富，视觉效果更好。

Description

基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法

技术领域

本发明涉及图像融合技术领域，尤其涉及一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法。

背景技术

随着图像设备和数字图像处理技术的发展，真实场景再现也成为人类目前最为迫切的需求。真实场景能够表现很宽的动态范围，人眼也能够适应宽动态范围的真实场景，但是普通的图像采集设备以及显示设备却无法捕获和展现高动态范围的场景。因此，高动态范围图像(High Dynamic Range Image，HDRI)处理为重现真实场景提供了一种新的途径，成为了研究的热点。通过一组多曝光图像融合得到HDR图像是现在常用的获取方法，然而，当真实场景中存在运动物体，比如运动的车子，道路上的行人，风中的树枝等，必然会在结果图像中产生显而易见的鬼影伪影。因此如何更好的消除鬼影就是多曝光融合中的重点研究问题。

由此产生了两种主要的方法：一种假设图像大部分是静态的，只有场景中的一小部分是运动的。这些去鬼影的算法使用输入帧来确定给定像素是静态的还是运动的，然后在每种情况下应用不同的融合算法。对于静态像素可以使用传统的HDR融合。对于有运动的像素，许多算法只使用曝光中的一个子集来生成无鬼影的HDR图像，这些技术的基本问题是，如果场景的变化部分具有高动态范围的内容，则它们无法处理具有比较大运动的场景。

第二组方法尝试在将输入图像合并为HDR图像之前将其与参考曝光图像对齐。最成功的算法使用光流(OF)来寄存图像，但是这些方法在大运动或复杂遮挡或混淆的情况下任然有鬼影出现。因此，用于HDR的对齐算法经常引入特殊的合并函数，在与参考图像不匹配的位置拒绝来自对齐曝光的信息。与去鬼影的方法一样，这样做的算法不会在这些区域重建HDR内容。

发明内容

根据现有技术存在的问题，本发明公开了一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法，具体包括如下步骤：

读取参考图像，基于多源双向相似度的度量算法MBDS度量参考图像与LDR图像的相似度，采用补丁加速方法对齐LDR图像中的运动区域；

采用重建算法获得与参考图像对齐后的LDR图像序列；

设计像素相对强度权重式和全局梯度权重式；

将两种权重式加权平均后得到最终权重式，在拉普拉斯金字塔中输入权重图和LDR图像序列进行图像融合并输出融合图像；

所述对齐LDR图像中的运动区域时：

对图像进行预处理、将参考图像和LDR图像源序列转换到线性空间γ域中；

采用线性映射把γ域中的图像进行转换得到第二阶段图像；

采用补丁加速算法对第二阶段图像进行遍历和选择得到第三阶段图像；

将第三阶段图像输入至MBDS公式中，基于参考图像进行双向搜索为每个LDR图像产生两个最近邻域，比较每个像素与参考图像中的同一位置像素点，该双向搜索方法选择邻域中导致最小范数L₂距离最小的像素作为对齐后图像的像素点，像素重建后得到对齐的LDR图像；

进一步的，将最终权重式应用到拉普拉斯金字塔进行最后的图像融合：

每个图像的最终权重图通过将两个权重加权平均与归一化结合得出，公式如下：

(x,y)表示图像像素点坐标，W_1,n(x,y)是像素相对强度的权重值，W_2,n(x,y)是全局梯度的权重值，ε是一个非常小的正值；以防止分母为零。

将得到的权重图和LDR图像作为输入，采用拉普拉斯金字塔融合方法进行最后的图像融合从而输出融合图像。

由于采用了上述技术方案，本发明提供的一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法，该方法有效地解决了动态场景融合下出现的伪影问题，先基于参考图像配准LDR图像节省了融合时间，更具有鲁棒性，之后在拉普拉斯金字塔中融合进行多尺度分解融合，融合效果更好，得到的HDR图像细节信息丰富，视觉效果更好。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中公开的方法的流程图；

图2为本发明中输入源图像及其对齐之后的图像；

图3为本发明中通过融合算法得到的最后融合结果图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法，对输入的LDR图像和参考图像先采用补丁对齐算法，然后在基于像素强度和全局梯度设计的两种权重式下对对齐后的LDR图像进行拉普拉斯金字塔融合，最后就得到了融合后的图像，具体包括如下步骤：

S1：输入一组多曝光图像序列图以及参考图像。基于参考图像下，我们提出了一种基于多源双向相似度(MBDS)的度量方法来具体度量参考图像与LDR图像之间的相似度，通过补丁的方法对齐LDR中的运动区域，达到消除运动区域的目的。S1中具体采用如下方式：

S11：对图像进行预处理，首先，利用映射函数将线性多曝光图像序列转换为一个参数范围：

h(L_k)＝(L_k)^(1/γ)×exposure(k),k＝1,2,3…N

exposure(k)表示k照射和参考照射的照射率，假设参考照射为单位辐照度。这样就将图像转换到了伽马域，在伽马域能更好的处理图像；

S12：对于每个源图像，我们的方法使用g^k(L_q)转换后的作为MBDS目标输入，并在所有调整后的源曝光上多次运行密集搜索步骤。

g^k(L_q)＝clip(((h(L_k))/exposure(k))^(1/γ)),q＝1,2,…N

g^k(L_q)是的近似逆，但不精确，因为在捕捉LDR图像时发生剪切过程。

S13：我们的算法是在双向相似度量(BDS)的基础上进行改进的，BDS这个函数是取一对图像(源S和目标T)，保证S中的所有面片都能在T中找到(第一项，完备性)，反之亦然(第二项，相干性)。然而，当曝光之间有显著的运动时，双向相似性不会引入丢失的信息。BDS的公式如下所示：

S14：另外，我们扩展了BDS功能，我们在公式中添加了一个w_k(P)，即在基于曝光的完整性计算时，对源斑块进行加权，这有助于我们忽略曝光过度或曝光不足的斑块，而优先考虑多源图像中曝光良好的源斑块。我们已经标准化了所有的权值。这就是我们提出的一种新的多源双向相似性(或者更确切地说，相异度)度量；

S15：为了更好的实现MBDS的测量，对图像进行处理，再采取Patch-Match算法对MBDS公式遍历和选择，并进行修改以处理MBDS的多个来源，在所有调整后的源曝光上运行密集搜索步骤重复多次。双向搜索为每个源曝光q产生两个最近邻域(NNF域):一个用于相干性，一个用于完整性。请注意，完整性搜索被屏蔽，这意味着搜索只在每个源g^k(L_q)的暴露良好的部分进行。这有效地实现了等式中的w_k(P)项。对于最终相干NNF中的每个像素，该算法选择NNF堆栈中导致最小

距离的像素，该最小

距离处理等式中所有源的最小项。这导致每个曝光等级q的完整性项为N，相干性项为一个NNF(带有一个识别源的附加组件)；

S16：经过上述补丁对齐算法在之后就得到了对齐之后的LDR图像，如图2(a)所示，这是“BabyAtWindow”的多曝光序列图组，基于参考图像下都得到了对齐之后的图像，如图2(b)所示。

S2：通过重建算法,获得与参考图像配准LDR图像序列,之后我们设计权重式用于最后的融合。强调低曝光图像中的明亮区域，反之亦然，并且在曝光变化带来较大亮度变化时增加权重，设计了一种基于像素相对强度的权重式；

S2中具体采用如下方式：Mertens等人在2009年提出了一个与亮度有关的权值公式，但该权值在捕捉不同的亮度方面仍然存在一些缺陷。因此，我们考虑相对于图像的整体亮度，设计了一种新的权重式。具体来说，当整体图像较亮(曝光时间较长)时，暗区会得到更大的权重，反之亦然，着重突出低曝光下的亮区以及高曝光下的暗区。比重公式如下式所示：

S3：另外为了抑制饱和区域，突出像素值变化较大的区域，我们基于全局梯度下设计了另外一种权重式；

S3中具体采用如下方式：

S31：在低曝光图像中，暗区域中的像素饱和到接近0的值，而亮区域中的像素值具有大的变化。因此，明亮区域通常具有高对比度(像素值的大梯度)。在高曝光图像的情况下，相反的关系成立。

S32：我们提出了另一个权重，强调暴露良好的区域，而不考虑它们的局部对比度。当像素在具有较小梯度的累积直方图范围内时，我们需要给予像素更大的权重。因此设计了如下的权重式：

S4：在得到权重公式后，考虑到权重值有噪声且不光滑的现象，将该权重式应用于拉普拉斯金字塔融合，多分辨率图像处理，并得到最终结果。

S4中具体采用如下方式：

S41：每个图像的最终权重通过将两个权重与归一化相结合来计算，如下所示：

S42：有了上面得到的权重，我们就可以根据方程融合图像了。然而，这种方法经常产生带有伪像的不自然的图像，因为权重值经常是不连续的和有噪声的。因此，我们应用等式使用金字塔图像分解的多分辨率方式。在每个金字塔中处理MEF，并合成最终结果。最终的结果图如图3所示，可以看出得到的融合结果没有鬼影的影响，且细节信息丰富，视觉效果良好，证明本发明有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法，其特征在于包括：

读取参考图像，基于多源双向相似度的度量算法MBDS度量参考图像与LDR图像的相似度，采用补丁加速方法对齐LDR图像中的运动区域；

采用重建算法获得与参考图像对齐后的LDR图像序列；

设计像素相对强度权重式和全局梯度权重式；

将两种权重式加权平均后得到最终权重式，在拉普拉斯金字塔中输入权重图和LDR图像序列进行图像融合并输出融合图像。

2.根据权利要求1所述的多曝光图像无鬼影融合方法，其特征在于：所述对齐LDR图像中的运动区域时：

对图像进行预处理、将参考图像和LDR图像源序列转换到线性空间γ域中；

采用线性映射把γ域中的图像进行转换得到第二阶段图像；

采用补丁加速算法对第二阶段图像进行遍历和选择得到第三阶段图像；

将第三阶段图像输入至MBDS公式中，基于参考图像进行双向搜索为每个LDR图像产生两个最近邻域，比较每个像素与参考图像中的同一位置像素点，该双向搜索方法选择邻域中导致最小范数L₂距离的像素作为对齐后图像的像素点，像素重建后得到对齐的LDR图像。

3.根据权利要求1所述的多曝光图像无鬼影融合方法，其特征在于：将最终权重式应用到拉普拉斯金字塔进行最后的图像融合：

每个图像的最终权重图通过将两个权重加权平均与归一化结合得出，公式如下：

(x,y)表示图像像素点坐标，W_1,n(x,y)是像素相对强度的权重值，W_2,n(x,y)是全局梯度的权重值，ε是一个非常小的正值；

将得到的权重图和LDR图像作为输入，采用拉普拉斯金字塔融合方法进行最后的图像融合从而输出融合图像。

Images