CN106127718A - 一种基于小波变换的多曝光图像融合方法 - Google Patents

Abstract

本发明提供一种基于小波变换的多曝光图像融合方法，该方法通过用亮度均值最大和最小图像描述像素间的相对亮度关系，并且将其引入到曝光适度权值计算，避免融合图像出现亮度翻转，提高融合后图像的整体对比度；该方法对亮度分量、曝光适度权值图和对比度权值图进行分层小波变换，采用曝光适度权值图的近似子图对图像亮度分量的近似子图进行加权融合，采用调整后的对比度权值图的近似子图对图像亮度分量的细节子图进行加权融合，对不同尺度的细节进行不同尺度的增强，在提高弱细节对比度的同时，保证了融合图像强边缘两边区域都能较好曝光，避免细节丢失。

Description

一种基于小波变换的多曝光图像融合方法

技术领域

本发明涉及图像处理技术领域，具体的涉及一种基于小波变换的多曝光图像融合方法。

背景技术

普通数字相机在用于拍摄动态范围很大的场景时，受动态范围的限制，无论如何设置曝光时间都不能同时对场景中的暗区和高亮区域的细节实现较清楚地成像，会出现欠曝光或过曝光现象。现有技术中为了能清楚呈现场景暗区和高亮区的细节信息，多通过将曝光参数不相同的多幅图像融合成一幅图像来实现。常用的融合方法：1)辐射度域融合方法，该方法需要估计相机响应函数和图像成像参数，先生成高动态图像，然后再通过色调映射方法映射为低动态图像进行显示，由于预先估计难以保证准确性，因而限制了这种方法的应用范围。2)图像域融合方法，该方法可对不同曝光的图像进行直接融合，无需任何成像信息，所得结果图像可以直接显示，因而受到业内广泛关注。

Mertens等人(Mertens,T.,J.Kautz and F.V.Reeth.Exposure Fusion:A Simpleand Practical Alternative to High Dynamic Range Photography.Computer GraphicsForum,2009,pp.161-171)提出了基于拉普拉斯金字塔的多曝光图像融合方法。参见图1，该方法首先根据曝光适度、对比度、饱和度计算每幅输入图像的权重图；然后对所得权重图进行高斯金字塔分解，然后再对输入图像进行拉普拉斯金字塔分解，之后在相同分解层上将多曝光图像的子图像和权重图的子图像进行加权求和，从而得到一个融合图像的拉普拉斯金字塔分解，将得到的拉普拉斯金字塔重构即可得到最终的融合图像。该方法较好地解决了融合图像因权值变化而出现的裂缝问题。但是该融合方法在过亮和过暗区域仍然存在过曝光和欠曝光的情况，并且因为权值函数而使得融合结果存在场景亮度反转的问题。

Malik等人(Malik M H,Gilani S A M,Anwaar-ul-Haq.Wavelet Based ExposureFusion[J].Lecture Notes in Engineering&Computer Science,2008,2170(1).)在Mertens的权值图基础上提出了基于小波变换的融合方法。该方法首先对多曝光图像和权值图分别进行小波分解，再对图像的近似子图直接进行加权融合，对于图像的细节子图，则采用相加求和的方式融合，为了防止细节子图过大，通过将融合图像的细节子图除以阈值，最后，对融合结果进行小波逆变换便得到最终的融合图像。该方法对仅在某一幅图像中较好曝光的弱细节，除以阈值后会变的更弱，使其在融合图像中对比度变差甚至不可见，而对于在多幅图像中都存在强边缘，除以阈值求和之后会变得更强，这会导致融合图像边缘附近出现暗区域。

Shutao Li等人(S.Li and X.Kang,“Fast multi-exposure image fusion withmedian filter and recursive filter,”IEEE Trans.Consumer Electron,58(2),626–632(2012))仍然用对比度和曝光适度来计算融合权值，通过将权值结果的最大值赋1，其余结果赋值0的方式来保证每一个像素都是曝光最好的。最后以输入图像作为参考图像，对权值图进行迭代滤波，以消除其中的噪点。用滤波后的权值图来对输入图像序列进行加权融合，得到最终的融合图像。

Wei Zhang等人(W.Zhang and W.-K.Cham,“Gradient-directed multiexposurecomposition,”IEEE Trans.Image Process,21(4),2318–2323(2012))等提出了基于梯度的曝光融合方法。用梯度的幅值来衡量图像细节的可见性，用梯度的方向来消除运动物体对融合结果的影响。最终的权值为梯度的幅值与梯度方向变化的乘积。采用交叉双边滤波来对得到的权值图进行提纯，用提纯后的权值对输入图像加权融合，即可得到最终的融合图像。

Shutao Li和Wei Zhang等人的方法都是基于局部信息进行加权融合，没有考虑图像整体的亮度分布，能够保留原输入图像中所有的细节，但是融合图像的亮度分布可能与原场景不一致，甚至存在比较明显的伪轮廓。

发明内容

本发明的目的在于提供一种基于小波变换的多曝光图像融合方法，该发明解决了现有技术中图像融合后所得图像中的亮度反转和强边缘附近细节丢失的技术问题。

为解决上述技术问题，本发明提供一种基于小波变换的多曝光图像融合方法，包括以下步骤：

步骤S100：将N幅输入图像分别转换为YUV颜色空间图像；

步骤S200：计算步骤S100中转换后的每幅图像的饱和度权值图、对比度权值图和曝光适度权值图；

步骤S300：对步骤S100中转换后的每幅输入图像的亮度分量、步骤S200中所得的曝光适度权值图和对比度权值图进行分层小波变换，采用曝光适度权值图对图像亮度分量的近似子图进行加权融合，采用对比度权值图对图像亮度分量的细节子图进行加权融合，将所得融合结果进行逆小波变换，得到融合图像的亮度分量；

步骤S400：采用步骤S200中所得饱和度权值图，对N幅输入图像的色差分量进行加权融合，得到融合图像的色差分量；

步骤S500：将步骤S300中所得的融合图像的亮度分量和步骤S400中所得的融合图像的色差分量转换到RGB空间，输出RGB颜色空间的融合图像。

本发明提供的方法对亮度分量和相应的权值图分别进行分层小波变换，采用调整后的对比度对细节子图进行加权融合，并对不同尺度的细节进行不同尺度的增强，在提高弱细节对比度的同时，保证了融合后图像的强边缘两边区域都能较好的曝光，避免了细节的丢失。其中未提及的其他内容均可按现有常用方法进行处理，例如对每幅图像的饱和度权值图、对比度权值图和曝光适度权值图的计算。

作为本发明的进一步改进：步骤S200中，曝光适度权值图we_i在(x,y)处的值we_i(x,y)的表达式为：

${\mathrm{we}}_i(x,y)=\frac{E_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{E}_j(x,y)},i=1,...,N---\left(3\right)$

其中，

$E_i(x,y)=\exp (-\frac{{\left(Y_i\right(x,y)-(\mathrm{\α}\×0.5+\left(1-\mathrm{\α}\right)\×u\left(x,y\right)\left)\right)}^2}{2{\mathrm{\σ}}^2})---\left(1\right)$

其中，Y_i(x,y)表示第i幅图像在(x,y)处的亮度分量，α为场景亮度与中间像素之间的加权值，σ为高斯函数的标准差，u(x,y)为(x,y)处场景真实亮度的近似估计，其表达式为：

$u(x,y)=\frac{1}{2}\left(Y_D\right(x,y)+Y_B(x,y\left)\right)---\left(2\right)$

其中，Y_D(x,y)和Y_B(x,y)分别表示N幅输入图像中亮度均值最小和均值最大的图像在(x,y)处的亮度值。

本发明通过对曝光适度的评价准则进行改进，按公式(1)所示进行计算，用亮度均值最大和最小图像来描述场景中不同像素的相对亮度关系，并且将其引入到曝光适度权值的计算中，避免了融合图像出现亮度翻转问题，提高了图像整体的对比度。显然该曝光适度评价准则的计算方法也可以用于其他需要计算曝光适度评价准则的算法中。同样能取得相应的技术效果。

作为本发明的进一步改进：步骤S300中，采用曝光适度权值图对图像亮度分量的近似子图进行加权融合是指：曝光适度权值图we_i小波分解后得到的近似子图与图像亮度分量Y_i小波分解后得到的近似子图进行加权融合，表示为：

$A{\left\{F\right\}}^M=\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M\×A{\left\{Y_i\right\}}^M---\left(6\right)$

其中，A{Y_i}^M表示第i幅图像的亮度分量Y_i的最高层小波分解得到的近似子图，按公式(7)计算：

$A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M=\frac{A{\left\{{\mathrm{we}}_i\right\}}^M}{2^M}---\left(7\right)$

其中A{we_i}^M为第i幅图像的曝光适度权值图we_i的最高层小波分解得到的近似子图。

当其中所用曝光适度权值图we_i按公式(3)计算时，可以有效解决常规方法融合图像出现亮度翻转的问题。

进一步地，公式(1)中的σ＝0.2。

作为本发明的进一步改进：对比度权值图wc_i在(x,y)处的值wc_i(x,y)的表达式为：

${\mathrm{wc}}_i(x,y)=\frac{{\tilde{C}}_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{\tilde{C}}_j(x,y)},i=1,...,N---\left(4\right)$

其中，为调整后的图像对比度融合权值，其计算公式为：

${\tilde{C}}_i(x,y)=\exp (-\frac{{\left(C_i\right(x,y)-C_F(x,y\left)\right)}^2}{2\×{{\mathrm{\σ}}_2}^2})---\left(5\right)$

其中，C_i(x,y)为第i幅图像亮度分量在(x,y)处的对比度，C_F(x,y)为采用曝光适度权值图we_i(x,y)融合N幅图像的亮度分量后得到的曝光适度融合图像在(x,y)处的对比度，σ₂为高斯函数的标准差。

进一步地，公式(5)中的σ₂＝1。

本发明直接采用曝光适度融合图像的对比度为参考，按公式(4)计算对比度权值图，能够有效解决融合图像中强边缘处因为过增强而丢失细节的问题。

作为本发明的进一步改进：步骤S300中，采用对比度权值图对图像亮度分量的细节子图进行加权融合，包括以下步骤：

步骤S310：对对比度权值图wc_i进行M层小波分解，取所有分解层的近似子图A{wc_i}^k：

A{wc_i}¹,A{wc_i}²…A{wc_i}^k…A{wc_i}^M,1≤i≤N (8)；

步骤S320：按公式(9)对近似子图A{wc_i}^k进行归一化处理，得到归一化对比度权值图：

$A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k=\frac{A{\left\{{\mathrm{wc}}_i\right\}}^k}{2^k}---\left(9\right);$

步骤S330：在每个小波分解层上，对归一化对比度权值图对图像亮度分量Y_i的细节子图进行融合，按公式(10)表示：

$\begin{array}{c}H{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×H{\left\{Y_i\right\}}^k\\ V{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×V{\left\{Y_i\right\}}^k\\ D{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×D{\left\{Y_i\right\}}^k\\ k=1,\mathrm{....}M\end{array}---\left(10\right)$

其中H{F}^k,V{F}^k,D{F}^k分别表示输出融合图像亮度分量第k层小波变换在水平、竖直和对角方向的细节子图，H{Y_i}^k,V{Y_i}^k,D{Y_i}^k分别表示第i幅输入图像的亮度分量Y_i第k层小波变换在水平、竖直和对角方向的细节子图，f(k)为第k层细节子图的增强函数，增强函数的表达式为：

$\begin{array}{cc}f\left(k\right)=\mathrm{\β}\×{\left(\frac{k}{Max}\right)}^n+1& 1\≤k\≤M,\mathrm{\β}>0,n>0\end{array}---\left(11\right)$

其中，Max为常数，并对于所有融合图像有Max≥M；β为幂函数的系数；n为幂函数的指数。

本发明提供的方法采用调整后的对比度权值图的近似子图对图像亮度分量的细节子图进行加权融合，对不同尺度的细节进行不同尺度的增强，在提高弱细节对比度的同时，保证了融合图像强边缘两边区域都能较好曝光，避免细节丢失。

在具体实施例中，公式(11)中的β＝3,n＝2。

相对现有技术，本发明的技术效果：

1、本发明提供的基于小波变换的多曝光图像融合方法，对亮度分量和相应的权值图进行分层小波变换，采用调整后的对比度对细节子图进行加权融合，并对不同尺度的细节进行不同尺度的增强，在提高弱细节对比度的同时，保证了融合图像强边缘两边区域都能较好曝光，避免了细节的丢失。

2、本发明提供的基于小波变换的多曝光图像融合方法，用亮度均值最大和最小图像来描述场景中不同像素的相对亮度关系，并且将其引入到曝光适度权值的计算中，避免了融合图像出现亮度翻转问题，提高图像整体的对比度。

3、本发明提供的基于小波变换的多曝光图像融合方法，在YUV空间分别对亮度分量和色差分量进行融合，使得融合图像的色彩更加鲜明，并减少计算量。

4、本发明提供的基于小波变换的多曝光图像融合方法，通过采用随分解层数变化的增强函数来对融合图像的细节子图进行增强，从而提高了所得融合图像的对比度。

具体请参考根据本发明的基于小波变换的多曝光图像融合方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是现有技术中Mertens等人提出的基于拉普拉斯金字塔的多曝光图像融合方法流程示意图；

图2是本发明提供的基于小波变换的多曝光图像融合方法流程示意图；

图3是采用本发明优选实施例1和对比例1～4进行图像融合处理所用图像，其中a)为低曝光图像，b)为高曝光图像；

图4是本发明优选实施例1和对比例1～4对图3中所示图像进行融合后的处理结果图，其中a)为Mertens方法处理结果图，b)为Malik方法的处理结果图，c)为Shutao Li方法的处理结果图，d)为Wei Zhang方法的处理结果图，e)为本发明优选实施例方法的处理结果图；

图5是本发明优选实施例1～2和对比例1～5进行图像融合处理所用图像，其中a)至d)分别为不同曝光量的图像；

图6是本发明优选实施例2和对比例5分别对图5中所提供图像进行融合后的结果，其中a)为对比例5提供方法的图像融合结果，b)为本发明优选实施例2提供方法的图像融合结果；

图7是本发明优选实施例1和对比例1～4用于对图5进行图像融合处理所得结果，其中a)为Mertens法所得融合图像；b)为Malik法所得融合图像；c)为Shutao Li法所得融合图像；d)为Wei Zhang法所得融合图像；e)为本发明优选实施例1所得融合图像。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

如图2所示，具体的，本发明提供的基于小波变换的多曝光图像融合方法，包括以下步骤：

(1)按下式将N幅输入图像均转换到YUV颜色空间；

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{3}& \frac{1}{3}& \frac{1}{3}\\ \frac{1}{2}& 0& -\frac{1}{2}\\ \frac{1}{4}& -\frac{1}{2}& \frac{1}{4}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(12\right)$

在YUV空间分别对亮度分量和色差分量进行融合，使得融合图像的色彩更加鲜明，并减少计算量。

(2)分别计算每幅图像的饱和度权值图、曝光适度权值图和对比度权值图。

(2.1)按下式计算饱和度权值图ws_i(x,y)：

${\mathrm{ws}}_i(x,y)=\frac{S_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{S}_j(x,y)},i=1,...,N---\left(13\right)$

其中，S_i(x,y)为第i幅图像在(x,y)处的饱和度，计算公式为：

$S_i(x,y)=\sqrt{\frac{{\left(R_i\right(x,y)-u_i(x,y\left)\right)}^2+{\left(G_i\right(x,y)-u_i(x,y\left)\right)}^2+{\left(B_i\right(x,y)-u_i(x,y\left)\right)}^2}{3}}---\left(14\right)$

其中，u_i(x,y)为RGB三个通道在(x,y)处的均值，计算公式为：

$u_i(x,y)=\frac{R_i(x,y)+G_i(x,y)+B_i(x,y)}{3}---\left(15\right)$

其中，R_i(x,y),G_i(x,y),B_i(x,y)为第i幅输入图像RGB三个通道在(x,y)处的值。

(2.2)按下式计算场景真实亮度的近似估计：

$u(x,y)=\frac{1}{2}\left(Y_D\right(x,y)+Y_B(x,y\left)\right)---\left(2\right)$

其中，Y_D(x,y)和Y_B(x,y)分别表示图像中亮度均值最小和最大图像在(x,y)处的亮度值。

(2.3)按下式计算曝光适度：

$E_i(x,y)=\exp (-\frac{{\left(Y_i\right(x,y)-(\mathrm{\α}\×0.5+\left(1-\mathrm{\α}\right)\×u\left(x,y\right)\left)\right)}^2}{2{\mathrm{\σ}}^2})---\left(1\right)$

其中Y_i(x,y)表示第i幅图像的亮度分量在(x,y)处的亮度值，α为场景亮度与中间像素之间的加权值，σ为高斯函数的标准差。在具体实例中，取σ＝0.2。

本发明提供的方法用亮度均值最大和最小图像描述场景中不同像素的相对亮度关系，并且将其引入到曝光适度权值的计算中，避免融合图像出现亮度翻转问题，提高图像整体对比度。

(2.4)按下式计算曝光适度权值图we_i(x,y)：

${\mathrm{we}}_i(x,y)=\frac{E_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{E}_j(x,y)},i=1,...,N---\left(3\right)$

(2.5)按下式计算对比度权值图wc_i(x,y)：

${\mathrm{wc}}_i(x,y)=\frac{{\tilde{C}}_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{\tilde{C}}_j(x,y)},i=1,...,N---\left(4\right)$

其中，为调整后的图像对比度融合权值，其计算公式为：

${\tilde{C}}_i(x,y)=\exp (-\frac{{\left(C_i\right(x,y)-C_F(x,y\left)\right)}^2}{2\×{{\mathrm{\σ}}_2}^2})---\left(5\right)$

其中，C_i(x,y)为第i幅图像亮度分量在(x,y)处的对比度，C_F(x,y)为采用曝光适度权值图we_i(x,y)融合N幅图像的亮度分量得到的曝光适度融合图像在(x,y)处的对比度，σ₂为高斯函数的标准差，在具体实例中取为1。

(3)对每幅图像的亮度分量、曝光适度权值图和对比度权值图进行M层小波变换，采用曝光适度权值图对图像亮度分量的近似子图进行加权融合，采用对比度权值图对图像亮度分量的细节子图进行加权融合，将所得融合结果进行逆小波变换，得到融合图像的亮度分量；

(3.1)对N幅输入图像的亮度分量进行M层小波分解，得到下面的分解结果：

$\begin{array}{c}H{\left\{Y_i\right\}}^1,V{\left\{Y_i\right\}}^1,D{\left\{Y_i\right\}}^1,H{\left\{Y_i\right\}}^2,V{\left\{Y_i\right\}}^2,D{\left\{Y_i\right\}}^2\mathrm{...}H{\left\{Y_i\right\}}^k,V{\left\{Y_i\right\}}^k,D{\left\{Y_i\right\}}^k\\ \mathrm{...}H{\left\{Y_i\right\}}^M,V{\left\{Y_i\right\}}^M,D{\left\{Y_i\right\}}^M,A{\left\{Y_i\right\}}^M,1\≤i\≤N\end{array}---\left(16\right)$

其中H{Y_i}^k,V{Y_i}^k,D{Y_i}^k分别表示第i幅图像的亮度分量Y_i第k层小波变换在水平、竖直和对角方向的细节子图；A{Y_i}^M为第i幅图像的亮度分量Y_i的最高层小波分解得到的近似子图。

(3.2)对N幅图像的曝光适度权值图进行M层小波分解，得到下面的分解结果：

$\begin{array}{c}H{\left\{{\mathrm{we}}_i\right\}}^1,V{\left\{{\mathrm{we}}_i\right\}}^1,D{\left\{{\mathrm{we}}_i\right\}}^1\mathrm{...}H{\left\{{\mathrm{we}}_i\right\}}^k,V{\left\{{\mathrm{we}}_i\right\}}^k,D{\left\{{\mathrm{we}}_i\right\}}^k\\ \mathrm{...}H{\left\{{\mathrm{we}}_i\right\}}^M,V{\left\{{\mathrm{we}}_i\right\}}^M,D{\left\{{\mathrm{we}}_i\right\}}^M,A{\left\{{\mathrm{we}}_i\right\}}^M,1\≤i\≤N\end{array}---\left(17\right)$

其中H{we_i}^k,V{we_i}^k,D{we_i}^k分别表示第i幅图像的曝光适度权值图we_i的第k层小波变换在水平、竖直和对角方向的细节子图；A{we_i}^M为第i幅图像的曝光适度权值图we_i的最高层小波分解的近似子图。

(3.3)对于小波分解图像的近似子图，采用归一化后曝光适度权值图的近似子图对原图像亮度分量的近似子图进行加权融合。因为曝光适度权值图在进行小波分解之前已经归一化，因而对其近似子图归一化的计算公式为：

$A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M=\frac{A{\left\{{\mathrm{we}}_i\right\}}^M}{2^M}---\left(7\right)$

(3.4)采用曝光适度权值图的近似子图对图像亮度分量Y_i小波分解的近似子图进行加权融合，如公式(6)表示：

$A{\left\{F\right\}}^M=\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M\×A{\left\{Y_i\right\}}^M---\left(6\right)$

(3.5)对对比度权值图wc_i进行M层小波分解，取所有分解层的近似子图：

A{wc_i}¹,A{wc_i}²…A{wc_i}^k…A{wc_i}^M,1≤i≤N (8)

计算出对比度权值小波变换各层的近似子图后，采用公式(9)进行归一化处理：

$A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k=\frac{A{\left\{{\mathrm{wc}}_i\right\}}^k}{2^k}---\left(9\right)$

在每个小波分解层上，采用公式(9)计算的对比度权值图对图像亮度分量Y_i的细节子图进行融合，计算公式表示：

$\begin{array}{c}H{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×H{\left\{Y_i\right\}}^k\\ V{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×V{\left\{Y_i\right\}}^k\\ D{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×D{\left\{Y_i\right\}}^k\\ k=1,\mathrm{....}M\end{array}---\left(10\right)$

其中，H{F}^k,V{F}^k,D{F}^k分别表示最终融合图像亮度分量第k层小波变换在水平、竖直和对角方向的细节子图，H{Y_i}^k,V{Y_i}^k,D{Y_i}^k分别表示第i幅图像的亮度分量Y_i第k层小波变换在水平、竖直和对角方向的细节子图，f(k)为第k层细节子图的增强函数，增强函数的表达式为：

$\begin{array}{cc}f\left(k\right)=\mathrm{\β}\×{\left(\frac{k}{Max}\right)}^n+1& 1\≤k\≤M,\mathrm{\β}>0,n>0\end{array}---\left(11\right)$

其中，Max为常数，对于所有融合图像有Max≥M，具体实施例中取Max＝12；β为幂函数的系数，其决定着细节子图的最高层增强的程度；n的具体取值决定了对不同层细节子图增强程度的大小，在具体实施例中，公式(11)中的β＝3,n＝2。

(3.6)对H{F}^k,V{F}^k,D{F}^k，A{F}^M进行逆小波变换，得到融合图像的亮度分量。

不同于背景技术中提到的Malik等人(Malik M H,Gilani S A M,Anwaar-ul-Haq.Wavelet Based Exposure Fusion[J].Lecture Notes in Engineering&ComputerScience,2008,2170(1).)采用简单求和的方式来融合小波分解的细节子图，本发明对亮度分量Y和相应的权值图进行M层小波变换，采用调整后的对比度对细节子图进行加权融合，并对不同尺度的细节进行不同尺度的增强，在提高弱细节对比度的同时，保证了融合图像强边缘两边区域都能较好曝光，避免了细节丢失。

步骤(3)中随分解层数变化的增强函数能对融合图像的细节子图进行增强，从而提高图像的对比度。

(4)采用步骤(2)中所得的饱和度权值图，对N幅输入图像的色差分量进行加权融合，得到融合图像的色差分量，计算公式为：

$\begin{array}{c}{U}_F(x,y)=\underset{i=1}{\overset{N}{\Σ}}{U}_i(x,y)\×{\mathrm{ws}}_i(x,y),\\ V_F(x,y)=\underset{i=1}{\overset{N}{\Σ}}{V}_i(x,y)\×{\mathrm{ws}}_i(x,y)\end{array}---\left(18\right)$

其中，U_i(x,y)和V_i(x,y)为第i幅图像色差分量在(x,y)处的值，U_F(x,y)和V_F(x,y)为融合图像的色差分量在(x,y)处的值。

(5)将用YUV颜色空间表达的融合图像转换到RGB空间，计算公式为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1& 1& \frac{2}{3}\\ 1& 0& \frac{4}{3}\\ 1& -1& \frac{2}{3}\end{array}\right]\left[\begin{array}{c}{Y}_F\\ U_F\\ V_F\end{array}\right]---\left(19\right)$

Y_F，U_F和V_F分别为融合图像的亮度分量和两个色差分量。

实验结果

以下以Yufeng Zheng等人(Y.Zheng,E.A.Essock,B.C.Hansen,and A.M.Haun,“ANew Metric Based on Extended Spatial Frequency and Its Application to DWTBased Fusion Algorithms,”Information Fusion,vol.8,no.2,pp.177-192,Apr.2007.)提出的空间频率(rSFe)来对经过处理后所得图像进行评价，并以本发明提供的方法(作为实施例1)与背景技术中提到的典型曝光融合方法所得结果进行比较，以说明本发明的有效性。

以背景技术中提到的Mertens等人发表文章中公开的方法、Malik等人发表文章中公开的方法、Shutao Li等人发表文章中公开的方法、Wei Zhang等人发表文章中公开的方法作为对比例1～4。以下简称Mertens法、Malik法、Shutao Li法、Wei Zhang法。其中rSFe用来衡量融合图像的空间频率，当rSFe越大时，说明融合图像的细节越丰富，对比度越大，图像的质量越好。对比例1～4和本发明提供方法所得融合图像的rSFe值列于表1中。由表1可见，本发明的结果图像要比其他方法的融合图像对比度要高，所得图像的细节部分更丰富也更清晰。

表1本发明提供方法(实施例1)与对比例1～4用于处理图3和5所得融合图像的rSFe值

图3中所示为不同曝光条件下得到的输入图像，由于本发明提供方法并不需要预先知道所处理输入图像的成像参数，因而所处理图像无需对其具体参数进行限定，只需保证待融合图像之间存在明显的曝光度区别即可。采用表1中的现有方法作为对比例1～4，以本发明提供方法作为优选实施例，对图3中的两幅图进行图像融合处理。所得结果列于图4中，由图4可见，Mertens法的融合图像(图4a))中树干处仍然存在欠曝光，导致部分细节丢失；Malik法的融合图像(图4b))整体的对比度较低，图像质量不好；Shutao Li法的融合图像(图4c))和Wei Zhang的融合图像(图4d))均在天空处出现了伪轮廓，这与原输入图像不符；本发明提供方法处理后的融合图像(图4e))不仅能够保留原图像序列的所有细节，在其他现有融合方法所得融合图像中容易出现轮廓不清晰、细节丢失、对比度低的区域，均具有较好的融合效果，所得图像具有较高的对比度，例如雪地和树干的轮廓等。

图7为不同的融合方法对图5的融合结果，其中Mertens法的融合图像(图7a))，Malik法的融合图像(图7b))和Wei Zhang法的融合图像(图7d))中窗外的树枝丢失了部分细节。图7c))为Shutao Li法所得融合图像。Mertens法、Wei Zhang法和Shutao Li法所得融合图像的亮度分布与原图有较大差异，图中门窗部分的亮度较暗，并且两个椅子有明显的亮度差，这些都与原图像(图5)不符。本发明提供的方法得到的融合图像(图7e))不仅能够较好地保留原图像中的细节，并且在亮度分布方面能够与原图像保持较好的一致性。

分别采用本发明提供的曝光适度权值处理方法(作为实施例2)和Mertens等人提出的曝光适度权值(作为对比例5)，对图5中不同曝光量的图像进行加权融合，所得结果列于图6中。图6a)为采用Mertens等人提出的曝光适度权值，求出图5中各输入图像的曝光适度权值后，直接加权融合得到的结果，图6b)为采用本发明提供的曝光适度权值，求出图5中各输入图像的曝光适度权值后，直接加权融合得到的结果。从图6a)和b)的对比可见，采用Mertens等人提出的曝光适度权值方法处理后得到的融合图像在图6a)中方框所示的桌面处出现了亮度分布与原图像不一致的情况，并且图像整体的对比度较低。而采用本发明实施例中所提供曝光适度权值方法所得融合图像，亮度分布与原图像保持一致，并且图像的整体对比度相对较高。说明本发明对现有的曝光适度评价准则和权值计算方法进行的改进，能有效保持融合图像的亮度与原图一致，同时提高图像整体的对比度，避免融合图像出现亮度翻转的问题。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (5)

1.一种基于小波变换的多曝光图像融合方法，其特征在于，包括以下步骤：

步骤S100：将N幅输入图像分别转换为YUV颜色空间图像；

步骤S200：计算步骤S100中转换后的每幅图像的饱和度权值图、对比度权值图和曝光适度权值图；

步骤S300：对步骤S100中转换后的每幅输入图像的亮度分量、步骤S200中所得曝光适度权值图和对比度权值图进行分层小波变换，采用曝光适度权值图对图像亮度分量的近似子图进行加权融合，采用对比度权值图对图像亮度分量的细节子图进行加权融合，将所得融合结果进行逆小波变换，得到融合图像的亮度分量；

步骤S400：采用步骤S200中所得饱和度权值图，对N幅输入图像的色差分量进行加权融合，得到融合图像的色差分量；

步骤S500：将步骤S300中所得的融合图像的亮度分量和步骤S400中所得的融合图像的色差分量转换到RGB空间，输出RGB颜色空间的融合图像。

2.根据权利要求1所述的基于小波变换的多曝光图像融合方法，其特征在于，所述步骤S200中，曝光适度权值图we_i在(x,y)处的值we_i(x,y)的表达式为：

${\mathrm{we}}_i(x,y)=\frac{E_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{E}_j(x,y)},i=1,...,N---\left(3\right)$

其中，

$E_i(x,y)=\exp (-\frac{{\left(Y_i\right(x,y)-(\mathrm{\α}\×0.5+(1-\mathrm{\α})\×u(x,y)\left)\right)}^2}{2{\mathrm{\σ}}^2})---\left(1\right)$

其中，Y_i(x,y)表示第i幅图像在(x,y)处的亮度分量，α为场景亮度与中间像素之间的加权值，σ为高斯函数的标准差，u(x,y)为(x,y)处场景真实亮度的近似估计，其表达式为：

$u(x,y)=\frac{1}{2}\left(Y_D\right(x,y)+Y_B(x,y\left)\right)---\left(2\right)$

其中，Y_D(x,y)和Y_B(x,y)分别表示N幅输入图像中亮度均值最小和均值最大的图像在(x,y)处的亮度值。

3.根据权利要求1或2所述的基于小波变换的多曝光图像融合方法，其特征在于，所述步骤S300中，采用曝光适度权值图对图像亮度分量的近似子图进行加权融合是指：曝光适度权值图we_i小波分解后得到的近似子图与图像亮度分量Y_i小波分解后得到的近似子图进行加权融合，表示为：

$A{\left\{F\right\}}^M=\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M\×A{\left\{Y_i\right\}}^M---\left(6\right)$

其中，A{Y_i}^M表示第i幅图像的亮度分量Y_i的最高层小波分解得到的近似子图，按公式(7)计算：

$A{\left\{{\mathrm{we}}_i\right\}}_{normal}^M=\frac{A{\left\{{\mathrm{we}}_i\right\}}^M}{2^M}---\left(7\right)$

其中A{we_i}^M为第i幅图像的曝光适度权值图we_i的最高层小波分解得到的近似子图。

4.根据权利要求1所述的基于小波变换的多曝光图像融合方法，其特征在于，所述对比度权值图wc_i在(x,y)处的值wc_i(x,y)的表达式为：

${\mathrm{wc}}_i(x,y)=\frac{{\tilde{C}}_i(x,y)}{\underset{j=1}{\overset{N}{\Σ}}{\tilde{C}}_j(x,y)},i=1,...,N---\left(4\right)$

其中，为调整后的图像对比度融合权值，其计算公式为：

${\tilde{C}}_i(x,y)=\exp (-\frac{{\left(C_i\right(x,y)-C_F(x,y\left)\right)}^2}{2\×{{\mathrm{\σ}}_2}^2})---\left(5\right)$

其中，C_i(x,y)为第i幅图像亮度分量在(x,y)处的对比度，C_F(x,y)为采用曝光适度权值图we_i(x,y)融合N幅图像的亮度分量后得到的曝光适度融合图像在(x,y)处的对比度，σ₂为高斯函数的标准差。

5.根据权利要求1或4所述的基于小波变换的多曝光图像融合方法，其特征在于，所述步骤S300中，采用对比度权值图对图像亮度分量的细节子图进行加权融合，包括以下步骤：

步骤S310：对对比度权值图wc_i进行M层小波分解，取所有分解层的近似子图A{wc_i}^k：

A{wc_i}¹,A{wc_i}²…A{wc_i}^k…A{wc_i}^M,1≤i≤N (8)；

步骤S320：按公式(9)对近似子图A{wc_i}^k进行归一化处理，得到归一化对比度权值图：

$A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k=\frac{A{\left\{{\mathrm{wc}}_i\right\}}^k}{2^k}---\left(9\right);$

步骤S330：在每个小波分解层上，对所述归一化对比度权值图对图像亮度分量Y_i的细节子图进行融合，按公式(10)表示：

$H{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×H{\left\{Y_i\right\}}^k$

$V{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×V{\left\{Y_i\right\}}^k---\left(10\right)$

$D{\left\{F\right\}}^k=f\left(k\right)\×\underset{i=1}{\overset{N}{\Σ}}A{\left\{{\mathrm{wc}}_i\right\}}_{normal}^k\×D{\left\{Y_i\right\}}^k$

k＝1,....M

其中H{F}^k,V{F}^k,D{F}^k分别表示输出融合图像亮度分量第k层小波变换在水平、竖直和对角方向的细节子图，H{Y_i}^k,V{Y_i}^k,D{Y_i}^k分别表示第i幅输入图像的亮度分量Y_i第k层小波变换在水平、竖直和对角方向的细节子图，f(k)为第k层细节子图的增强函数，增强函数的表达式为：

$\begin{array}{cc}f\left(k\right)=\mathrm{\β}\×{\left(\frac{k}{Max}\right)}^n+1& 1\≤k\≤M,\mathrm{\β}>0,n>0\end{array}---\left(11\right)$

其中，Max为常数，并对于所有融合图像有Max≥M；β为幂函数的系数；n为幂函数的指数。