CN102063712A - 基于子带结构的多曝光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于子带结构的多曝光图像融合方法，包括以下步骤：先用QMF滤波器组作为分析滤波器组将输入图像分解成一组子带图像，并用权值图修饰子带图像，然后基于这样的子带图像进行融合得到融合后的子带图像，用增益控制图对新的子带图像进行修饰，最后用结构与分析滤波器组对称的综合滤波器组处理上述子带图像，并通过重构过程得到融合后的结果图。本方法能够自动完成，无需人工干预。本方法能够保留输入图像的细节并且增强对比度，得到的结果图像更接近人眼直接观察到的真实世界场景。

Description

基于子带结构的多曝光图像融合方法

技术领域

本发明涉及一种图像融合方法，特别涉及一种基于子带结构的多曝光图像融合方法，属于数字图像处理领域。

背景技术

多曝光图像融合是指将一组关于同一场景的曝光程度不同的图像序列融合成为一幅高质量的复合图像。数字照相机的动态范围(图像中像素最大亮度与最小亮度的比值)有限，要比真实世界的动态范围(100000000∶1)低。在高动态范围场景中，用数字照相机拍摄出来的照片往往曝光不足或者过度曝光。多曝光图像融合是针对这一问题所设计的技术，利用这一技术可以生成高动态范围图像。多曝光图像融合技术与传统的图像融合技术的原则一致，因此，与传统图像融合一样，可以使用很多种现有的方法，如基于梯度的融合技术，多源融合技术，基于神经网络的融合技术等。多曝光图像融合与一般的图像融合区别之处在于，它的对象是多幅同一场景的不同曝光程度的图像，而不是多传感器图像或是多光谱图像。

图像融合技术一般可分为三个级别：像素级，特征级，决策级。特征级的方法根据图像的多种特征(区域或边缘)进行融合，因此，它对于修正错误标定及降噪具有鲁棒性。决策级的方法直接对图像的相关描述进行融合。像素级的方法直接对图像的像素值进行操作，由于其能够有效地保留信息的特性，可以得到高质量的融合结果，因此被广泛使用。

目前，图像融合技术大都仅局限于多传感器或多光谱的图像融合，而针对多曝光输入图像序列的融合技术却为数不多。现有的处理多曝光输入图像序列的技术，一般不能完整地保留图像中的细节，如结果图中纹理或对比度信息的丢失，以及会出现相比于原图过亮或过暗的情况。

发明内容

本发明的目的在于针对现有技术存在的不足，提供一种基于子带结构的多曝光图像融合方法，能够提高融合后的图像质量，保留图像细节及增强对比度。

本发明的实现思想在于用QMF滤波器组作为分析滤波器组将输入图像分解成一组子带图像，并用权值图修饰子带图像，然后基于这样的子带图像进行融合得到融合后的子带图像，用增益控制图对新的子带图像进行修饰，最后用结构与分析滤波器组对称的综合滤波器组处理上述子带图像，并通过重构过程得到融合后的结果图。

本发明提供了一种基于子带结构的多曝光图像融合方法，包括以下步骤：

(1)输入一组关于同一场景的曝光程度不同的图像序列I_N(x，y)，N为输入图像个数；

(2)用一组奇数长度的正交镜像滤波器(QMF，Quadrature Mirror Filter)作为分析滤波器组，将图像序列中的每幅图像I_i(x，y)，i＝1，...，N分别分解成为一组子带图像，则每一幅图像均有3n+1幅子带图像；第i幅图像的3n+1幅子带图像，表示为B_i，1(x，y)，B_i，2(x，y)，...，B_i，3n+1(x，y)，形成QMF金字塔，其中n为金字塔的级数；

(3)计算权值图W_k(x，y)，k＝1，...，N，计算方法为，

W_k(x，y)＝C_k(x，y)×S_k(x，y)×E_k(x，y)

其中，C_k(x，y)为对比度度量，它可以使得图像中的重要元素，如边界和纹理信息，得到较高的权值；S_k(x，y)为饱和度度量，它可以令图像的颜色看起来更加生动；E_k(x，y)为曝光度度量，用来限定图像中每个像素的曝光程度。

然后将N幅权值图分别进行归一化及平滑处理，

其中g(σ)是高斯核函数；

(4)将步骤(3)得到的归一化及平滑处理后的权值图作用于各子带图像，并将对应的子带进行融合，得到3n+1幅融合后的子带图像：

$F_i(x,y)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_k(x,y)B_{k,i}(x,y),i=1,...,3n+1;k=1,...,N;$

(5)计算每个子带图像的增益控制图G_ag(x，y)，计算方法为，

$G_{\mathrm{ag}}(x,y)={(\mathrm{\ϵ}+\frac{{\mathrm{\Σ}}_{i=1,...,3n+1}{A}_i(x,y)}{\mathrm{\δ}})}^{(\mathrm{\γ}-1)}$

$\mathrm{\δ}=\mathrm{\α}\frac{{\mathrm{\Σ}}_{(x,y)}\left(A_{\mathrm{ag}}(x,y)\right)}{M_r*M_c}$

A_ag(x，y)＝∑_i＝1，...，3_n+1A_i(x，y)

A_i(x，y)＝g(σ)*|F_i(x，y)|

其中，ε是一个小于0.01的非零常量，其作用是避免分母为零；参数γ是权值因子，在0到1之间取值；α是与空间频率相关的常量，在0.1到1之间取值；g(σ)是高斯核函数；δ是增益控制的活跃度级别；每幅输入图像的大小均为M_r*M_c；F_i(x，y)是步骤(4)中得到的融合后的子带图像。

然后，将这些增益控制图按照以下公式作用于步骤(4)的结果：

F′_i(x，y)＝m_iG_ag(x，y)×F_i(x，y)，i＝1，...，3n+1；

m_i＝max(1-(level_here-1)*0.15，0.6)；

level_here＝floor((i-1)/3)+1；

其中，参数m_i用于控制每个子带的不同的增益控制图；

(6)使用综合滤波器组，即对步骤(2)用到的正交镜像滤波器组取反而得到的滤波器组，对步骤(5)获得的图像进行重构，得到最终的融合结果。

有益效果

本方法能够自动完成，无需人工干预。本方法能够保留输入图像的细节并且增强对比度，得到的结果图像更接近人眼直接观察到的真实世界场景。

附图说明

图1是本发明所述的基于子带结构的多曝光图像融合方法的流程图。

具体实施方式

下面结合附图，详细阐述本发明的优选实施方法。

图1给出了本发明所述的基于子带结构的多曝光图像融合方法的流程图，其主要步骤如下：

(1)输入一组关于同一场景的曝光程度不同的图像序列I_N(x，y)，N为输入图像个数；

(2)用一组奇数长度的QMF(Quadrature Mirror Filter，正交镜像滤波器)作为分析滤波器组，具体为，

f_l＝[0.02807382，-0.06094473，-0.073386624，

0.41472545，0.797393400，0.414725450，

-0.073386624，-0.060944743，0.028073820]

f_h＝[0.02807382，0.06094473，-0.073386624，

-0.41472545，0.797393400，-0.414725450.

-0.073386624，0.060944743，0.028073820]

用上述滤波器将图像序列中的每幅图像I_i(x，y)，i＝1，...，N的R、G、B三个通道的图像，分别分解成为一组子带图像，第i幅图像的每个通道都有3n+1幅子带图像，它们分别为

B_i，1(x，y)，B_i，2(x，y)，...，B_i，3n+1(x，y)，

形成3N个QMF金字塔，其中，N为输入图像个数，n为金字塔的级数。n的值可为任意整数，n的值增加会提高图像精度，但过大会影响计算效率。通过实验发现，n的值为4时可以获得较好的性能和效率。本实施方式中n的值为4。

用分析滤波器得到的每一级子带图像由四部分组成，分别是上一级图像的近似值、水平方向细节、垂直方向细节和对角线方向细节，对近似值进一步分解得到下一级的子带图像；

(3)计算权值图W_k(x，y)，k＝1，...，N，计算方法为，

W_k(x，y)＝C_k(x，y)×S_k(x，y)×E_k(x，y)

其中，C_k(x，y)为对比度度量，它可以使得图像中的重要元素，如边界和纹理信息，得到较高的权值；S_k(x，y)为饱和度度量，它可以令图像的颜色看起来更加生动；E_k(x，y)为曝光度度量，用来限定图像中每个像素的曝光程度。

本实施方式中使用的计算方法引用自Tom Mertens等人的文章Exposure Fusion(Exposure fusion：a simple and practical alternative to high dynamic range photography.Computer Graphics Forum，28(1)：161-171，2008)。

其中，C_k(x，y)为对比度度量，对输入图像的灰度图像进行拉普拉斯滤波，然后对滤波结果取绝对值从而得到C_k(x，y)；

S_k(x，y)为饱和度度量，对输入图像的R、G、B三个通道的像素值进行操作，具体为：

mu＝(R+G+B)/3；

S_k(x，y)＝sqrt(((R-mu).^2+(G-mu).^2+(B-mu).^2)/3)；

E_k(x，y)为曝光度度量，对输入图像的R、G、B三个通道的值分别实施高斯函数，具体为：

R_out＝exp(-0.5*(R-0.5).^2/sig.^2)；

G_out＝exp(-0.5*(G-0.5).^2/sig.^2)；

B_out＝exp(-0.5*(B-0.5).^2/sig.^2)；

其中，sig取值为0.2。最后，将计算出的R_out，G_out，B_out相乘得到最终的E_k(x，y)，具体为：E_k(x，y)＝R_out.*G_out.*B_out。

对于每一幅输入图像，它的R、G、B三个通道的所有子带使用同一个权值图。然后将N幅权值图进行归一化及平滑处理，

其中g(σ)是高斯核函数，参数σ为大于0的数，本实施方式中取值为5；

(4)将步骤(3)得到的权值图作用于各子带图像，并分通道将对应的子带进行融合，每个通道都有(3n+1)幅融合后的子带图像

$F_i(x,y)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_k(x,y)B_{k,i}(x,y),i=1,...,3n+1;k=1,...,N;$

(5)计算增益控制图G_ag(x，y)，计算方法为，

$G_{\mathrm{ag}}(x,y)={(\mathrm{\ϵ}+\frac{{\mathrm{\Σ}}_{i=1,...,3n+1}{A}_i(x,y)}{\mathrm{\δ}})}^{(\mathrm{\γ}-1)}$

$\mathrm{\δ}=\mathrm{\α}\frac{{\mathrm{\Σ}}_{(x,y)}\left(A_{\mathrm{ag}}(x,y)\right)}{M_r*M_c}$

A_ag(x，y)＝∑_{i＝1，...，3n+1}A_i(x，y)

A_i(x，y)＝g(σ)*|F_i(x，y)|

其中，参数γ是权值因子，在0到1之间取值(本方法中γ取0.6)；ε是一个很小的常量(本方法中ε取0.002)；α是与空间频率相关的常量，在0.1到1.0之间取值(本方法中α取0.2)；g(σ)是高斯核函数；δ是增益控制的活跃度级别；每幅输入图像的大小均为M_r*M_c；F_i(x，y)是步骤(4)中得到的融合后的子带图像。然后，将这些增益控制图作用于步骤(4)的结果，得到：

F′_i(x，y)＝m_iG_ag(x，y)×F_i(x，y)，i＝1，...，3n+1；

n_i＝max(1-(level_here-1)*0.15，0.6)；

level_here＝floor((i-1)/3)+1；

其中，参数m_i用于控制每个子带的不同的增益控制图；

(6)使用综合滤波器组，即对步骤(2)用到的正交镜像滤波器组取反而得到的滤波器组，对步骤(5)获得的图像进行重构，得到融合结果的R、G、B三个通道的图像，最后将他们合并起来得到最终结果。

上述步骤说明了本发明所述基于子带结构的多曝光融合技术实现的全部过程。本方法能够自动完成，无需人工干预。本方法能够保留输入图像的细节并且增强对比度，得到的结果图像更接近人眼直接观察到的真实世界场景。

我们将本方法与其他现有方法做了效果对比。对比的方法包括：T.Mertens等人的文献Exposure fusion：a simple and practical alternative to high dynamic range photography所提出的方法；S.Raman等人的文献Bilateral filter based compositing for variable exposure所提出的方法。通过对比发现，本发明所述方法较其他两种方法，对比度及细节都有明显增强。

通过对本发明所述方法在多种场景下进行使用，发现将本方法应用于多种场景下都能得到高质量的结果。

为了说明本发明的内容及实施方法，给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (3)

1.一种基于子带结构的多曝光图像融合方法，其特征在于，包括以下步骤：

(1)输入一组关于同一场景的曝光程度不同的图像序列I_N(x，y)，N为输入图像个数；

(2)用一组奇数长度的正交镜像滤波器即QMF，作为分析滤波器组，将图像序列中的每幅图像I_i(x，y)，i＝1，...，N分别分解成为一组子带图像，则每一幅图像均有3n+1幅子带图像；第i幅图像的3n+1幅子带图像，表示为B_i，1(x，y)，B_i，2(x，y)，...，B_i，3n+1(x，y)，形成QMF金字塔，其中n为金字塔的级数；

(3)计算权值图W_k(x，y)，k＝1，...，N，计算方法为，

W_k(x，y)＝C_k(x，y)×S_k(x，y)×E_k(x，y)

其中，C_k(x，y)为对比度度量，它可以使得图像中的重要元素，如边界和纹理信息，得到较高的权值；S_k(x，y)为饱和度度量，它可以令图像的颜色看起来更加生动；E_k(x，y)为曝光度度量，用来限定图像中每个像素的曝光程度；

然后将N幅权值图分别进行归一化及平滑处理，

其中g(σ)是高斯核函数；

(4)将步骤(3)得到的归一化及平滑处理后的权值图作用于各子带图像，并将对应的子带进行融合，得到3n+1幅融合后的子带图像：

$F_i(x,y)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_k(x,y)B_{k,i}(x,y),i=1,...,3n+1;k=1,...,N;$

(5)计算每个子带图像的增益控制图G_ag(x，y)，计算方法为，

$G_{\mathrm{ag}}(x,y)={(\mathrm{\ϵ}+\frac{{\mathrm{\Σ}}_{i=1,...,3n+1}{A}_i(x,y)}{\mathrm{\δ}})}^{(\mathrm{\γ}-1)}$

$\mathrm{\δ}=\mathrm{\α}\frac{{\mathrm{\Σ}}_{(x,y)}\left(A_{\mathrm{ag}}(x,y)\right)}{M_r*M_c}$

A_ag(x，y)＝∑_{i＝1，...，3n+1}A_i(x，y)

A_i(x，y)＝g(σ)*|F_i(x，y)|

其中，ε是一个小于0.01的非零常量；参数γ是权值因子，在0到1之间取值；α是与空间频率相关的常量，在0.1到1之间取值；g(σ)是高斯核函数；δ是增益控制的活跃度级别；每幅输入图像的大小均为M_r*M_c；F_i(x，y)是步骤(4)中得到的融合后的子带图像；

然后，将这些增益控制图按照以下公式作用于步骤(4)的结果：

F′_i(x，y)＝m_iG_ag(x，y)×F_i(x，y)，i＝1，...，3n+1；

m_i＝max(1-(level_here-1)*0.15，0.6)；

level_here＝floor((i-1)/3)+1；

(6)使用综合滤波器组，即对步骤(2)用到的正交镜像滤波器组取反而得到的滤波器组，对步骤(5)获得的图像进行重构，得到最终的融合结果。

2.根据权利要求1所述的一种基于子带结构的多曝光图像融合方法，其特征在于：步骤(2)中n的值为4。

3.根据权利要求1或2所述的一种基于子带结构的多曝光图像融合方法，其特征在于：

步骤(3)中所述C_k(x，y)、S_k(x，y)、E_k(x，y)的计算方法分别为：

C_k(x，y)为对输入图像的灰度图像进行拉普拉斯滤波，然后对滤波结果取绝对值从而得到C_k(x，y)；

S_k(x，y)为对输入图像的R、G、B三个通道的像素值进行操作，具体为：

mu＝(R+G+B)/3；

S_k(x，y)＝sqrt(((R-mu).^2+(G-mu).^2+(B-mu).^2)/3)；

E_k(x，y)为对输入图像的R、G、B三个通道的值分别实施高斯函数，具体为：

R_out＝exp(-0.5*(R-0.5).^2/sig.^2)；

G_out＝exp(-0.5*(G-0.5).^2/sig.^2)；

B_out＝exp(-0.5*(B-0.5).^2/sig.^2)；

其中，sig取值为0.2；最后，将计算出的R_out，G_out，B_out相乘得到最终的E_k(x，y)，具体为：E_k(x，y)＝R_out.*G_out.*B_out。

Images