CN108416754B - 一种自动去除鬼影的多曝光图像融合方法 - Google Patents

Abstract

本发明公开了一种自动去除鬼影的多曝光图像融合方法。针对于动态场景的多曝光图像融合存在鬼影的现象，提出了一种有效的运动物体选择的方法。该方法首先选择一张输入LDR图像作为参考图像，通过双向亮度映射的方法检测运动区域，计算运动权重，然后通过梯度域加权优化的方法自动去除鬼影，得到潜在图像。在去除鬼影之后，使用基于块的融合方法计算融合权重，进行曝光融合，保持细节信息并抑制异常值。本发明方法能够有效地保持多张输入图像的细节并去除鬼影，同时避免了复杂的参数设置和用户设置阈值的任意性，在多种场景下都对鬼影现象有较强的鲁棒性。

Description

一种自动去除鬼影的多曝光图像融合方法

技术领域

本发明属于数字图像处理领域，涉及一种自动去除鬼影的多曝光图像融合方法。

背景技术

真实世界的动态范围很高，直接获取高动态范围图像需要专业级的高动态相机，而多数成像设备不能捕捉如此高的动态范围。高动态范围成像技术(HDRI)是一种有效获取高动态范围图像的方法，其通过获取一系列不同曝光的低动态范围图像(LDR)，然后合成一张HDR图像。这种方法只需要普通的成像设备就可以完成，因此得到广泛的应用。但是由于相机抖动或场景中物体运动，这些直接合成的方法得到的结果存在鬼影现象(ghosts orghosting artifact)。去鬼影的HDR合成技术可以在利用多张LDR图像合成HDR图像的同时，消除由多张LDR图像场景差异而造成的鬼影现象。

目前存在的去鬼影的多曝光融合方法，一方面计算复杂，耗时较长，不适用于实时应用，另一方面需要人工设置参数和阈值选取鬼影区域，容易残留鬼影，在运动区域边缘出现亮度不一致的现象。

发明内容

本发明的目的是去除动态场景中与参考图像不一致的运动物体，然后进行多曝光融合，以保持场景丰富的细节和良好的视觉效果。

为达到以上目的，本发明采用以下技术方案：一种自动去除鬼影的多曝光图像融合方法，该方法包括以下步骤：

(1)参考图像选择，具体是：选择有最多正常曝光区域的输入图像作为参考图像或用户自主选择参考图像，去除不希望出现的运动物体；

(2)运动区域检测，具体是：

(2.1)利用双向亮度映射，计算参考图像与其他输入图像之间的差异；

(2.2)利用得到的差异计算每个像素的运动权重，得到运动权重图；

(3)生成潜在图像，具体是：将参考图像和输入图像在梯度域利用运动权重，生成潜在图像；

(4)基于块的曝光融合，具体是：

(4.1)计算潜在图像的可重叠局部块的对比度、饱和度和曝光度；

(4.2)将局部块的对比度、饱和度和曝光度加权相乘得到融合权重图；

(4.3)将融合权重图归一化；

(4.4)利用高斯-拉普拉斯金字塔对融合权重图和潜在图像作多尺度分解，然后进行加权叠加，得到多曝光融合图像。

进一步地，所述步骤(2.2)中，运动权重图的计算公式如下：

其中，D_n为利用双向亮度映射计算的差异，σ_d为自适应参数，其定义为

σ_d＝α*var(D_n) (2)

var(·)为方差函数，α为常数，取1～4，一般设为1。

进一步地，所述步骤(3)中，生成潜在图像I_n的公式如下：

其中，W_n为运动权重图，L_n为输入图像，L_ref为参考图像，τ(·)为亮度映射函数。

进一步地，所述步骤(4.1)中，局部块的对比度C定义为局部块的方差，公式如下：

其中，Ω为块的大小，N_Ω为块的像素数，一般取7×7，i为块内的亮度值，μ为块内亮度平均值；

局部块的饱和度S定义为局部块三个颜色通道的标准差，公式如下：

其中，μ_ch为颜色通道ch的通道间方差的方差；

局部块的曝光度E定义为与中间亮度的偏差，公式如下：

进一步地，所述步骤(4.2)中，融合权重图为局部块对比度、饱和度和曝光度加权乘积，其公式为：

其中，ω_C，ω_S，ω_E为相应的指数权重，一般均取1。

本发明的有益效果：本发明可以有效地去除动态场景的鬼影现象，而且不需要复杂的参数设置或者人工选择阈值。该方法可保持多张输入图像正常曝光区域的细节，得到的融合图像没有其他人工效应，有良好的视觉效果。另外，该方法简单，计算复杂度低，耗时较少。

附图说明

图1为本发明方法主要框架流程示意图；

图2为本发明方法生成的运动权重示意图；

图3为本发明方法的结果示意图；

图4为本发明方法与其他方法的比较。

具体实施方式

以下结合附图和具体实施例对本发明作进一步说明。

本发明针对有运动物体的拍摄场景的多曝光融合，利用梯度域加权优化自动去除鬼影，使用基于块的多曝光融合方法将多张输入LDR图像融合起来，保持图像的细节。本发明的流程如附图1所示，主要包括运动区域检测、潜在图像生成，以及多曝光融合三个步骤。

步骤1.运动区域检测

1-1输入多张不同曝光时间的LDR图像，选择中间曝光时间的输入图像作为参考图像。利用双向亮度映射，计算参考图像与其他输入图像之间的差异

其中，L_n为输入图像，L_ref为参考图像，τ(·)为亮度映射函数，这里采用亮度直方图映射的方法。ω(·)为权重函数，可用下式计算：

1-2计算运动权重图：

其中，D_n为利用双向亮度映射计算的差异，σ_d为自适应参数，其可用下式计算：

σ_d＝α*var(D_n) (11)

var(·)为方差函数，α设为1。生成的运动权重图如图2所示。图2中，(a)为参考图像，(b)为其他输入图像，(c)为其相应的运动权重图。可以看到，运动权重图在运动区域有较大的值，而在其他区域权重值很低。

步骤2.利用梯度域加权优化，生成潜在图像，公式如下：

该优化方程是二次形式，有全局最小值，可以求解得到

在狄里赫雷边界条件下，其可以使用泊松方程求解。

步骤3.基于块的多曝光融合

3-1以每个像素的7×7邻域作为一个局部块，计算局部块的方差作为局部块的对比度，公式如下：

其中，Ω为块的大小，N_Ω为块的像素数，取7×7，i为块内的亮度值，μ为块内亮度平均值。

计算局部块三个颜色通道的标准差作为局部块的饱和度，公式如下：

计算局部块的曝光度，公式如下：

3-2将局部块对比度、饱和度、曝光度加权乘积作为融合权重图，其公式为：

其中，ω_C，ω_S，ω_E为相应的指数权重，都设置为1。

3-3将融合权重图归一化，其公式为：

其中，∈是一个小常数防止分母为零，N为输入图像数目。

3-4利用得到的权重图，将潜在图像加权叠加，得到最终的HDR图像H：

为了得到的无缝融合的结果，采用高斯-拉普拉斯金字塔分解的方式进行曝光融合。

本发明的相关处理结果图3所示。图3中，(a)为参考图像，(b)为融合后的结果图像，(c)-(f)为其他输入图像，(g)-(j)为相应生成的潜在图像；图4将本发明方法的结果与其他去鬼影的多曝光融合方法结果进行比较，其中，(j)为本发明方法的结果。可以看出，本发明方法在去除鬼影的同时保持了图像的细节，有良好的视觉效果。

Claims (4)

1.一种自动去除鬼影的多曝光图像融合方法，其特征在于，该方法包括以下步骤：

(1)参考图像选择，具体是：选择有最多正常曝光区域的输入图像作为参考图像或用户自主选择参考图像；

(2)运动区域检测，具体是：

(2.1)使用双向亮度映射计算参考图像与其他输入图像之间的差异；

(2.2)利用得到的差异计算每个像素的运动权重，得到运动权重图；运动权重图的计算公式如下：

其中，D_n为利用双向亮度映射计算的差异，σ_d为自适应参数，其定义为

σ_d＝α*var(D_n) (2)

var(·)为方差函数，α为常数，取1～4；

(3)生成潜在图像，具体是：将参考图像和输入图像在梯度域利用运动权重，生成潜在图像；

(4)基于块的曝光融合，具体是：

(4.1)计算潜在图像的可重叠局部块的对比度、饱和度和曝光度；

(4.2)将局部块的对比度、饱和度和曝光度加权相乘得到融合权重图；

(4.3)将融合权重图归一化；

(4.4)利用高斯-拉普拉斯金字塔对融合权重图和潜在图像作多尺度分解，然后进行加权叠加，得到多曝光融合图像。

2.根据权利要求1所述的一种自动去除鬼影的多曝光图像融合方法，其特征在于，所述步骤(3)中，生成潜在图像I_n的公式如下：

其中，W_n为运动权重图，L_n为输入图像，L_ref为参考图像，τ(·)为亮度映射函数。

3.根据权利要求1所述的一种自动去除鬼影的多曝光图像融合方法，其特征在于，所述步骤(4.1)中，局部块的对比度C定义为局部块的方差，公式如下：

其中，Ω为块的大小，N_Ω为块的像素数，i为块内的亮度值，μ为块内亮度平均值；

局部块的饱和度S定义为局部块三个颜色通道的标准差，公式如下：

其中，μ_ch为颜色通道ch的通道间方差；

局部块的曝光度E定义为与中间亮度的偏差，公式如下：

4.根据权利要求3所述的一种自动去除鬼影的多曝光图像融合方法，其特征在于，所述步骤(4.2)中，融合权重图为局部块对比度、饱和度和曝光度加权乘积，其公式为：

其中，ω_C，ω_S，ω_E为相应的指数权重。

Images