CN104899845A - 一种基于lαβ空间场景迁移的多曝光图像融合方法 - Google Patents

Abstract

一种基于lαβ空间场景迁移的多曝光图像融合方法涉及数字图像处理方法。本发明分为颜色空间转换，图像预处理和场景迁移三部分；图像预处理步骤包括基本层估计，亮度级别分割，最佳曝光示例图像选择三个步骤；场景迁移步骤包括纹理迁移和颜色迁移两个步骤；颜色空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到lαβ颜色空间，其中N＝3；图像预处理步骤，首先在l通道进行基本层估计，得到图像的整体亮度分布，然后将基本层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图像；本发明将同一场景多幅具有不同曝光参数的图像融合为具一幅有高亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。

Description

一种基于lαβ空间场景迁移的多曝光图像融合方法

技术领域

本发明涉及数字图像处理方法，特别涉及对于高动态范围场景，一种基于lαβ空间场景迁移的多曝光图像的融合方法。

背景技术

随着计算机和互联网技术的迅猛发展，多媒体技术及其应用已经渗透到社会生产和生活的方方面面,人们对高质量图像和视频信息的需求也越来越高。然而在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在接收终端呈现的图像往往是低质量的图像。因此，如何通过低质图像重建高质量的图像，一直以来都是图像处理领域所致力解决的问题。

亮度动态范围是衡量图像质量的重要指标，图像的亮度动态范围指最亮区域和最暗区域的亮度对比度。动态范围限制了自然场景中极亮区和极暗区细节在一幅图像中同时展现的能力。自然场景中展现的亮度对比度非常宽广，而普通图像采集和显示设备所能处理的对比度却非常有限。这就造成了标准图像采集和现实设备对高对比度场景的表现会出现过曝光和欠曝光的问题，难以对高对比度场景进行高质量成像，不能有效表现高对比度场景。

高动态范围图像可由同一场景具有不同曝光参数的图像合成获取。为了提高图像的动态范围，重建高动态范围图像，学者们提出了一些卓有成效的多曝光图像融合方法，但是传统的图像融合方法，在融合后虽然提高了图像的亮度对比度，能较好的表现图像的细节纹理信息，但是颜色信息在融合过程中很少被关注，使图像的视觉效果下降。本发明提出了一种新的基于lαβ空间场景迁移的多曝光图像融合方法，既提高图像的对比度，较好的表现图像的纹理信息，又可以使图像的颜色信息达到预期效果，使图像在颜色和纹理上都得到增强。

发明内容

本发明的目的在于，将同一场景多幅具有不同曝光参数的图像融合为具一幅有高亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。

为了达到上述目的，本发明采用基于lαβ空间场景迁移的多曝光图像融合方法。其特征在于，不但考虑场景的纹理细节信息，同时考虑了场景的颜色信息，使场景的纹理和颜色信息都得到较好的保持。

算法主要分为三个部分：颜色空间转换，图像预处理和场景迁移。

首先，输入同一场景的N幅具有不同曝光参数的图像，并对其进行颜色空间转换，其中N>＝3。由于RGB空间的三个通道相关性很大，调整其中的一个通道，其他通道的值也会随之改变，而lαβ颜色空间的各个通道几乎没有相关性，所以可以对不同的颜色通道进行分别操作。因此，选择三个通道相关性较小的lαβ空间作为多曝光图像融合空间。

其次，图像预处理。在颜色和纹理迁移前，需要对输入图像进行预处理。预处理部分具体包括亮度基本层估计、背景亮度级别分割以及为每个亮度级别选择一幅具有最佳曝光参数的输入图像。首先进行背景亮度估计，即基本层估计，得到场景的整体亮度分布；然后，对基本层进行亮度级别分割，将其分为N个不同的亮度级别，当N＝3时，可分为暗区、中等亮区和高亮区；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为场景迁移的最佳曝光示例图像。

最后是场景迁移，场景迁移又包括纹理迁移和颜色迁移。预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迁移到基本层中。纹理迁移在l通道的梯度域进行，采用基于泊松编辑的思想。将最佳示例样本图像的纹理在梯度域迁移到基本层中；纹理迁移之后是颜色迁移，将最佳曝光示例图像中的颜色色调迁移到纹理迁移的结果图像中，从而获得纹理和颜色信息都得到较好保持的高动态范围图像。

一种基于lαβ空间纹理和颜色迁移的多曝光图像融合方法，其特征在于，具体步骤如下：

2.1颜色空间转换：

首先输入N幅同一场景具有不同曝光参数的图像，其中N>＝3；并对其进行颜色空间转换，从RGB空间转换到lαβ空间；对图像进行处理后，再将结果图像从lαβ空间转换到RGB空间；

2.2图像预处理：

在场景迁移之前，需要对输入图像进行预处理；首先在l通道进行背景亮度估计，即基本层估计，得到场景的整体亮度分布，基本层为l通道所有图像的平均值；然后，对基本层进行亮度级别分割，将其分为N个不同的亮度级别，N＝3时，分为暗区、中等亮区和高亮区，亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到lαβ空间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，lαβ的l通道取值范围在-1.6～4.4之间，将l通道值按照比例，归一化到0～255之间之后再进行聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为纹理和颜色迁移的最佳曝光示例图像；

2.3场景迁移：

预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迁移到基本层中；纹理迁移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迁移到基本层中，通过解泊松方程得到纹理迁移后的l通道值并将其按比例归一化到l通道的理论范围中；

纹理迁移之后是颜色迁移，为了同时保持场景的纹理和颜色信息，通过颜色迁移的方法，如式(1-1)，将最佳曝光示例图像中的颜色色调迁移到纹理迁移的结果图像中；

$l_{\mathrm{result}\left(k\right)}(i,j)=l_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^l}{{\mathrm{\σ}}_{t\left(k\right)}^l}(l_{t\left(k\right)}(i,j)-\stackrel{\‾}{l_{t\left(k\right)}})+\stackrel{\‾}{l_{r\left(k\right)}}-l_{t\left(k\right)}(i,j)]$

${\mathrm{\α}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\α}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\α}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\α}}}({\mathrm{\α}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\α}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\α}}_{r\left(k\right)}}-{\mathrm{\α}}_{t\left(k\right)}(i,j)]---(1-1)$

${\mathrm{\β}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\β}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\β}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\β}}}({\mathrm{\β}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\β}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\β}}_{r\left(k\right)}}-{\mathrm{\β}}_{t\left(k\right)}(i,j)]$

其中k为分区号，k＝1,2…N；当输入图像数N＝3时，k＝1,2,3时分别代表暗区、中亮区和高亮区；代表k区目标图像所有像素的l颜色轴，α颜色轴，β颜色轴的的方差和均值；代表k区最佳示例图像的所有像素的l颜色轴，α颜色轴，β颜色轴的方差和均值；l_result(k)(i,j)，α_result(k)(i,j)，β_result(k)(i,j)分别代表结果图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值；l_t(k)(i,j)，α_t(k)(i,j)，β_t(k)(i,j)分别代表k区目标图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值；f_ij(k)是k区位置为(i,j)的像素点的颜色调整权重函数；

$f_{\mathrm{ij}}\left(k\right)=F(\stackrel{\→}{t\left(k\right)}-\stackrel{\‾}{t{\left(k\right)}_{l,\mathrm{\α},\mathrm{\β}}})---(1-2)$

$F\left(x\right)=e^{-x^2}---(1-3)$

是k区目标图像的各个像素矢量，该矢量各通道投影分别记为l_t(k)、α_t(k)、β_t(k)；为目标图像的各通道像素均值，分别为场景迁移之后，将结果图像从lαβ空间转换到RGB空间。

本发明原理：

1)颜色空间转换

在纹理和颜色迁移中，需要对输入图像的各个通道分别进行调整，而RGB空间的各个通道相关性很大，很难单独调整其中的一个通道而不影响其他通道的值，因此选择各个通道相关性很小的lαβ空间。因此将选取的同一场景的N幅具有不同曝光参数的图像由RGB颜色空间转换到lαβ空间。l代表消色通道、α代表黄—蓝通道、β代表红—绿通道。纹理迁移的过程在l通道进行。

2)图像预处理

在对图像进行纹理和颜色迁移之前，需要先对输入图像进行预处理。首先为了获取图像的整体亮度信息，即场景的整体明暗程度进行估计，将不同曝光参数的图像的亮度通道l进行平均并作为基本层，如当输入图像为三幅曝光差为1的图像时，基本层l_base＝(l_-1+l₀+l₁)/3。

求得基本层之后，对基本层进行亮度级别分割。对于高对比度场景，不同背景亮度区域，需要有对应的不同的最佳曝光参数，这样才能将其中的细节信息展现出来。为了提高图像的亮度动态范围，将输入图像按照亮度级别的不同分割为不同的亮度级别，当N＝3时，可分为暗区、中等亮区和高亮区。图像分区可以采用基于直方图的K均值聚类法或者其他可行分类方法。

对图像亮度进行分区后，需要从输入图像中选择不同区的最佳曝光示例图像，提取各亮度区的纹理信息。最佳曝光示例图像的选择采用梯度和熵的方法。

3)场景迁移图像预处理之后，得到基本层与最佳曝光示例图像，进行场景迁移，将最佳曝光图像的纹理信息与颜色信息迁移到基本层，得到纹理与颜色信息都较好的高动态范围图像。

场景迁移包括纹理迁移和颜色迁移。纹理迁移是在亮度域l通道将最佳曝光示例图像的纹理信息与基本层融合，纹理迁移可以通过泊松无缝编辑方法，在梯度区域将分区最佳曝光示例图像的细节信息克隆到基本层中。得到纹理清晰的纹理迁移结果的l通道值l_texture。

纹理迁移之后，得到纹理迁移后的l通道值，较好的保持了亮区和暗区的细节纹理信息，为了同时较好的保持场景的颜色信息，通过颜色迁移的方法，将最佳曝光示例图像的颜色迁移到纹理后的图像中。

颜色迁移是指输入一幅参考图像和一幅目标图像，经过处理，输出一幅保持目标图像形状特征并拥有参考图像色彩特征的图像。

通过颜色迁移的方法，将纹理合成图像作为目标图像，纹理迁移的l通道值l_texture作为目标图像的l值，N幅输入图像的α通道和β通道的平均值作为目标图像的α值和β值，各区的最佳曝光示例图像为该区的参考图像，分别进行局部颜色迁移，将各区的最佳曝光示例图像的颜色迁移到纹理合成图像的对应区域，最终得到即有较好的细节纹理信息，同时颜色信息丰富的结果图像。将迁移后的图像从lαβ空间转换到RGB空间，得到基于lαβ空间场景迁移的多曝光融合图像。

本发明有益的技术效果是：提供了基于lαβ空间场景迁移的多曝光图像融合方法。该方法可以同时保证合成图像的纹理和颜色信息都得到有效的保持和提高。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明

图1、本发明方法整体框图；

图2、泊松编辑示意图，其中a)待插入的原始对象g b)对象g的梯度场V c)待编辑的目的图像

图3、本方法与其他方法的结构相似度评价结果

图4、本方法与其他方法的色差评价结果

具体实施方式

以下结合说明书附图，以N＝3幅输入图像为例，对本发明的实施实例加以说明：

本发明提出方法整体流程图如附图1所示。算法分为颜色空间转换、图像预处理和场景迁移三部分。

为了较好的保持图像的纹理和颜色信息，场景迁移中需要对图像的各个通道进行调整，而RGB空间的三个通道相关性很大，很难对其单独进行调整，而且不可以保证不会发生跨通道的瑕疵现象。因此，选择各个通道相关性都很小的lαβ颜色空间。在对图像进行预处理之前，首先将所有的输入图像由RGB空间转换到lαβ颜色空间。

将输入图像由RGB空间转换到lαβ颜色空间之后，对图像进行预处理。预处理包括基本层估计，亮度级别分割和最佳曝光示例图像选择。预处理都是在lαβ颜色空间的l通道进行的。基本层为所有输入图像的亮度通道l的平均值，亮度级别分割可以采用基于直方图的K均值聚类法将基本层分为不同的亮度区域，当N＝3时分为暗区，中亮区和高亮区。最佳曝光示例图像的选择可以通过计算各区梯度和熵，选择各区的最佳曝光示例图像。

预处理之后进行场景迁移。场景迁移分为纹理迁移和颜色迁移两个步骤。首先是纹理迁移。纹理迁移只对l通道进行处理。通过预处理得到了基本层与最佳曝光示例图像，纹理迁移中，将最佳曝光示例图像的纹理细节信息迁移到基本层中。纹理迁移可以在通过泊松编辑的方式在梯度域完成，将最佳曝光示例图像与基本层在梯度域融合，生成纹理合成图像的梯度图，通过解泊松方程，得到纹理合成图像的l通道值l_texture，所有输入图像的α通道与β通道的平均值作为纹理合成图像的α通道与β通道值。颜色迁移是在l，α，β通道分别进行，统计各区最佳曝光示例图像及其纹理合成图像的三通道的均值及方差，通过颜色迁移将各区最佳曝光示例图像的颜色信息迁移到纹理合成图像，最后将结果图像由lαβ颜色空间转换到RGB颜色空间，得到基于颜色和纹理的多曝光融合图像

下面结合实例对该方法进行详细说明。

(1)颜色空间转换

选取不同场景不同曝光时间差ED的图像作为输入图像，以ED＝1为例，三幅输入图像为I_-1,I₀,I₁。首先将输入图像由RGB空间转换到lαβ空间。

由于lαβ颜色空间是LMS颜色空间的一种变形，所以需要把图像从RGB空间转换到LMS颜色空间，然后再从LMS空间转换到lαβ颜色空间。

把图像从RGB颜色空间转换到LMS颜色空间的转换公式如式(1)：

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}0.3811& 0.5783& 0.406\\ 0.1967& 0.7244& 0.0789\\ 0.0241& 0.1228& 0.8531\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

由于数据在这个颜色空间存在很大的偏移，为了消除这些偏移需要把图像从线性LMS颜色空间转换到对数LMS空间，如式(2):

L′＝lgL M′＝lgM S′＝lgS  (2)

把图像转换到LMS颜色空间之后，使用以下转换公式把图像从对数LMS空间转换到lαβ颜色空间，如式(3):

$\left[\begin{array}{c}l\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{6}}& 0\\ 0& 0& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]---\left(3\right)$

在对图像进行纹理和颜色校正之后，为了显示处理的结果，需要把图像从lαβ颜色空间转换到RGB颜色空间。

首先把图像从RGB空间转换到对数LMS空间，如式(4):

$\left[\begin{array}{c}{L}^{\′}\\ M^{\′}\\ S^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -1\\ 1& -2& 0\end{array}\right]\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{6}}& 0\\ 0& 0& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{c}l\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]---\left(4\right)$

然后把图像从对数LMS颜色空间转换到线性LMS空间，如式(5):

L＝10^L′ M＝10^M′ S＝10^S′ (5)

最后把图像从线性LMS空间转换到RGB空间，如式(6):

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4678& -3.5869& 0.1191\\ -1.2185& 2.3807& -0.1622\\ 0.0492& -0.2414& 1.1922\end{array}\right]\left[\begin{array}{c}L\\ M\\ S\end{array}\right]---\left(6\right)$

(2)图像预处理

将输入图像转换到lαβ颜色空间之后，需要对图像进行预处理。预处理包括基本层估计，亮度级别分割和最佳曝光示例图像选择。

在l通道，对输入图像进行基本层估计，获取图像的整体纹理信息。基本层估计是将所有输入图像求平均，将l通道的均值作为基本层信息，当N＝3时，l_base＝(l_-1+1₀+l₁)/3。

求得基本层后，可以通过基于直方图的K均值聚类法，将基本层分为不同的亮度区域，当N＝3时，分为为暗区，中亮区，高亮区三个区域。由于在RGB空间转换到lαβ空间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，lαβ的l通道取值范围在-1.6～4.4之间，因此为了分类方便，按照比例将l通道值归一化到0～255之间之后再进行聚类。基于K均值的亮度聚类可以被认为是一个亮度分割的过程。换言之，就是寻找一些临界点将亮度区分成不同的类别。

首先，计算基本层的直方图为H[i]，累积直方图为C[i]，则图像带权值的累积直方图W[i]定义为：

$H\left(i\right)=\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}\mathrm{\δ}(Y(x,y)-i),i=\mathrm{0,1},...,255--\left(7\right)$

其中，δ()是一个狄拉克函数，W和H分别是图像的宽和高，Y(x,y)代表像素位为(x,y)的像素点的亮度值，H[i]是图像中像素值为i的像素总数目。

$C\left(i\right)=\underset{p=0}{\overset{i}{\mathrm{\Σ}}}H\left(p\right),i=\mathrm{0,1},...,255--\left(8\right)$

$W\left(i\right)=\underset{p=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{pH}\left(p\right),i=\mathrm{0,1},...,255--\left(9\right)$

实际上，累积直方图就是直方图的积分运算。通过一个简单的方式计算图像的累积直方图。例如，在像素值为[t₀,t₁]范围的像素数目可以表示为：N₁＝C(t₁)－C(t₀)。类似的,通过这种计算得到：S₁＝W(t₁)－W(t₀)。于是，在一定值域范围的像素平均值可以表示为：

U_r＝S_r/N_r＝(W(t_r)-W(t_r-1))/(C(t_r)-C(t_r-1)),r＝1,2…，K  (10)

因此，K均值聚类可以通过C(i)和W(i)的计算获得。基于直方图的K均值聚类算法可以归纳如下：

步骤(1)初始化聚类类别的数目K＝N,和每个类别的阈值T₀(n)，T₁(n)，…，T_K(n)，n＝0是重复迭代索引；

步骤(2)用公式(10)计算每个类别的平均值：U_r，r＝1，2，…，K；

步骤(3)更新每个类别的阈值：T₀(n+1)＝T₀(0)；T_K(n+1)＝T_K(0)；

T_m(n+1)＝(U_m+U_m+1)/2,m＝1，2，…，K－1。  (11)

步骤(4)如果任何阈值T_m(n+1)已经更新到步骤(3)中的值，就设置n＝n+1并且进入步骤(2)；否则，进入步骤(5)。

步骤(5)结束。

最终，可以得到最终的阈值为：

T＝{T_m|m＝0，1，2，…，K}  (12)

将基本层分为不同的亮度区域后，从输入图像中选择各区的最佳曝光示例图像。最佳曝光示例图像的选择仍然在lαβ空间的l通道进行。通过上述方法将输入图像分成N个亮度区域，分别标记为1,2…N区后，通过梯度和信息熵的大小来选择各区的最佳曝光示例图像。定义第i幅图像,第k区,k＝1,2…N的效用函数U(i,k),函数为:

$U(i,k)=\mathrm{\α}{\stackrel{\‾}{H}}_k^{\left(i\right)}+\mathrm{\β}{\stackrel{\‾}{D}}_k^{\left(i\right)}---\left(13\right)$

分别代表第i幅图像，第k分区的梯度和熵的均一化值大小。如式(14)和(15)所示，公式中N代表共有N幅图像，i代表第i幅图像，是第i幅图像第k个聚类类别的梯度大小，是第i幅图像第k个聚类类别的信息熵大小:

${\stackrel{\‾}{D}}_k^{\left(i\right)}=D_k^{\left(i\right)}/\underset{j=1...N}{\max }{D}_k^{\left(j\right)}---\left(14\right)$

${\stackrel{\‾}{H}}_k^{\left(i\right)}=H_k^{\left(i\right)}/\underset{j=1...N}{\max }{H}_k^{\left(j\right)}---\left(15\right)$

最佳曝光示例图像通过公式(16)获得：

$R\left(k\right)=\arg \left(\underset{i=1...N}{\max }U(i,k)\right)---\left(16\right)$

(3)场景迁移

通过图像预处理，得到了图像的基本层和分区最佳曝光示例图像。通过场景迁移，将各区的最佳曝光示例图像的纹理和颜色信息迁移到基本层中。场景迁移包括纹理迁移和颜色迁移。

纹理迁移可以通过泊松编辑(l通道)的方式，在梯度区域将分区最佳曝光示例图像的细节信息克隆到基本层中。通过纹理迁移，得到纹理清晰的纹理合成图像。泊松编辑的示意图如附图2所示。

泊松编辑在待编辑的区域建立一个满足Dirichiet边界条件的Poisson方程，使区域内部的Laplace值等于待插入对象内部的Laplace值，边界条件仍等于待编辑区域的原始边界值，通过数值方法解出上述Poisson方程得到区域内部的灰度值，即为无缝插入编辑后的效果。基于Poisson方程的图像编辑方法本质上是在待编辑图像F中的区域Ω内进行有约束条件的插值(guided interpolation)。设图像F的原始灰度值为f₀，插值计算后Ω区域的灰度值变为f^*。向量场V为来自图像G中的待插入对象g的梯度场，作为约束条件。如附图2所示。这样图像编辑问题可转变为求解能量函数最小值的变分问题，而且为了让待插入对象能够无缝地融合到区域Ω中，需要使f^*在Ω边界上满足等于f₀原始边界的灰度值。见公式(17)。

$f^{*}=\underset{f}{\arg \min }{\∫\∫}_{p\∈\mathrm{\Ω}}{|\▿f-V|}^2\mathrm{dp}$ 等价于 $f^{*}|\∂\mathrm{\Ω}=f_0|\∂\mathrm{\Ω}---\left(17\right)$

由Euler-Lagrange方程可知，式(17)的最小值求解问题可转化为一个PDE方程。

Δf^*＝divV  (18)

其中 $\mathrm{\Δ}={\∂}^2/{\∂x}^2+{\∂}^2/{\∂y}^2$ 为Laplace算子，div为散度计算符， $\mathrm{div}V=\∂u/\∂x+\∂v/\∂y,$ V＝(u,v)，从而式(18)可写成标准Poisson方程的形式：

Δf^*(x,y)＝Δg(x,y)(x,y)∈Ω  (19)

因为在有界域上的一个标量函数可由它的边界值和内部Laplace值唯一确定，所以上面的Poisson方程(19)有唯一解。另外，根据Laplace算子计算得到的图像二阶起伏特性从视觉感知上能够很好地反映图像的起伏特征，从而体现图像的内容。而通过解方程(19)可以使区域Ω内的Laplace值满足与待插入对象g的Laplace值相等，所以上述方法可以较好地使待编辑区域Ω的内容与待插入对象g相像，而且该方法无需精确选定待插入对象的轮廓，并在边界处能够无缝地融合。

受到泊松图像编辑中的无缝克隆技术的启发，我们将细节信息的融合看作一个图像区域块的图像克隆问题。我们将把最佳曝光示例图像的细节信息克隆到基本层中。在梯度区域进行运算是十分快速的。计算每一幅输入图像l通道的梯度图，设定G_g＝▽l_base，其中是梯度运算器，G_g是基本层的梯度信息。在梯度域的细节信息的融合可以表述如下：

$G(x,y)=\left\{\begin{array}{cc}{\▿l}_{R\left(k\right)}(x,y),& \mathrm{if}(x,y)\∈{\mathrm{\Ω}}_k\mathrm{and}\left|{\▿l}_{R\left(k\right)}(x,y)\right|>\left|G_g(x,y)\right|\\ G_g(x,y),& \mathrm{otherwise}.\end{array}\right.---\left(20\right)$

其中，G(x,y)是融合输出图像的梯度。Ω_k表示被分割的区域块k，相应的最佳曝光输入图像是l_R(k)。R(k)通过式(16)获得。通过式(20)可以获得最终的融合图像的梯度图。对于基本层，只有位于不同亮度区域(强边缘)的梯度值比较大。因此，对于给定的亮度区域的梯度应该从最佳曝光图像中选择。

梯度场应当是可积的(旋度为零)。但是，融合的梯度图式(20)可能是不可积的。因此，多曝光融合的问题可以通过以下的求解最小值解决：

$l=\underset{I}{\min }{\∫\∫}_{(x,y)\∈\mathrm{\Ω}}{|\▿l-G|}^2\mathrm{dxdy}---\left(21\right)$

其中Ω表示图像的空间域。在(21)中，我们寻找一幅梯度接近G的图像l。

根据变分原理，(21)是泊松方程(20)的唯一解,将式(21)最小值求解问题可转化为一个PDE方程，如式(22)。

Δl＝div(G)  (22)

其中是拉普拉斯算子，div(G)是场G的散度。这个泊松方程将把不可积的输入场映射成一个零旋度的可积梯度场，于是能重建纹理迁移的结果的亮度值l。解泊松方程得到的l通道的取值范围可能会出现整体下移或上移，偏离l通道的理论取值范围，因此在解方程之后将解方程得到的l通道值按比例归一化到l的理论取值范围中，得到最终的纹理迁移l通道值。纹理迁移图像的α，β值取所有输入图像的平均值。例如当输入图像为三幅曝光差为1的输入图像时，纹理合成图像的α值为(α_-1+α₀+α₁)/3，β值为(β_-1+β₀+β₁)/3。

纹理迁移之后，得到纹理迁移后的l通道值，较好的保持了亮区和暗区的细节纹理信息，为了同时较好的保持场景的颜色信息，通过颜色迁移的方法，将最佳曝光示例图像的颜色迁移到纹理后的图像中。颜色迁移是指输入一幅参考图像和一幅目标图像，经过处理，输出一幅保持目标图像形状特征并拥有参考图像色彩特征的图像。

在lαβ颜色空间统计纹理合成图像和各分区最佳曝光示例图像的颜色信息，计算各通道的均值和方差，通过颜色调整权重函数，将最佳分区示例图像的颜色迁移到纹理图像，得到纹理和颜色信息都得到提高的合成图像，如公式(23)。

$l_{\mathrm{result}\left(k\right)}(i,j)=l_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^l}{{\mathrm{\σ}}_{t\left(k\right)}^l}(l_{t\left(k\right)}(i,j)-\stackrel{\‾}{l_{t\left(k\right)}})+\stackrel{\‾}{l_{r\left(k\right)}}-l_{t\left(k\right)}(i,j)]$

${\mathrm{\α}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\α}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\α}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\α}}}({\mathrm{\α}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\α}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\α}}_{r\left(k\right)}}-{\mathrm{\α}}_{t\left(k\right)}(i,j)]---\left(23\right)$

${\mathrm{\β}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\β}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\β}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\β}}}({\mathrm{\β}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\β}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\β}}_{r\left(k\right)}}-{\mathrm{\β}}_{t\left(k\right)}(i,j)]$

其中k为分区号，k＝1,2,…,N，当输入图像数N＝3时，k＝1,2,3分别代表暗区，中等亮度区和暗区。代表k区目标图像所有像素的l颜色轴，α颜色轴，β颜色轴的的方差和均值。代表k区最佳示例图像(参考图像)的所有像素的l颜色轴，α颜色轴，β颜色轴的方差和均值。l_result(k)(i,j)，α_result(k)(i,j)，β_result(k)(i,j)分别代表结果图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值。l_t(k)(i,j)，α_t(k)(i,j)，β_t(k)(i,j)分别代表k区目标图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值。f_ij(k)是k区位置为(i,j)的像素点的颜色调整权重函数。

$f_{\mathrm{ij}}\left(k\right)=F(\stackrel{\→}{t\left(k\right)}-\stackrel{\‾}{t{\left(k\right)}_{l,\mathrm{\α},\mathrm{\β}}})---\left(24\right)$

$F\left(x\right)=e^{-x^2}---\left(25\right)$

是k区的目标图像的各个像素矢量,该矢量各通道投影分别记为l_t(k)、α_t(k)、β_t(k)。为目标图像的各通道像素均值，分别为

颜色迁移之后，得到了纹理和颜色信息都较好的保持的高动态范围图像。本方法融合的高动态范围图像在曝光差较大时，仍能较好的保持场景的纹理和颜色信息，避免出现由于曝光差增大而出现的亮度反转和颜色失真问题。

将本方法与基于聚类，基于像素，基于块的多曝光图像融合方法进行比较评价，客观评价测试了平均结构相似度(MSSIM)和CIE1976L*a*b*均匀色差空间的色差函数其中ΔE_ab指结果图像与参考图像的CIE1976L*a*b*色差。对于每一个测试的HDR场景，通过Photomatix Pro 4.2.3软件映射成一幅LDR标准图像作为参考图像。图3为本方法与其他方法融合结果的结构相似度比较，图4是本方法与其他方法融合结果的CIE1976L*a*b*色差函数比较。本发明基于lαβ空间纹理迁移的多曝光图像的融合方法，可对高对比度场景进行有效成像，达到同时提高图像的颜色和纹理信息的目标。本发明创新处在于在传统多曝光图像融合的方法的前提下加入了颜色迁移，使融合效果颜色信息丰富，视觉效果提高。本发明应用范围广泛，可用于夜晚街景监控图像处理以及为摄影艺术家提供数码照片处理工具。

Claims (2)

1.一种基于lαβ空间场景迁移的多曝光图像融合方法；其特征在于分为：颜色空间转换，图像预处理和场景迁移三个部分；图像预处理步骤包括基本层估计，亮度级别分割，最佳曝光示例图像选择三个步骤；场景迁移步骤包括纹理迁移和颜色迁移两个步骤；颜色空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到lαβ颜色空间，其中N>＝3；图像预处理步骤，首先在l通道进行基本层估计，得到图像的整体亮度分布，然后将基本层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图像；场景迁移步骤首先在l通道将各区的最佳曝光示例图像的纹理信息通过泊松编辑的方式迁移到基本层中，得到纹理迁移图像的l通道值，并对所有输入图像的其他两个通道取平均分别作为纹理迁移图像的α通道和β通道值；之后通过颜色迁移的方式，在l，α，β三个通道中，将最佳曝光示例图像的颜色信息迁移到纹理迁移的结果图像中，最后将调整后的图像由lαβ空间转换到RGB空间。

2.根据权利要求1所述的一种基于lαβ空间纹理和颜色迁移的多曝光图像融合方法，其特征在于，具体步骤如下：

2.1颜色空间转换：

首先输入N幅同一场景具有不同曝光参数的图像，其中N>＝3；并对其进行颜色空间转换，从RGB空间转换到lαβ空间；对图像进行处理后，再将结果图像从lαβ空间转换到RGB空间；

2.2图像预处理：

在场景迁移之前，需要对输入图像进行预处理；首先在l通道进行背景亮度估计，即基本层估计，得到场景的整体亮度分布，基本层为l通道所有图像的平均值；然后，对基本层进行亮度级别分割，将其分为N个不同的亮度级别，N＝3时，分为暗区、中等亮区和高亮区，亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到lαβ空间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，lαβ的l通道取值范围在-1.6～4.4之间，将l通道值按照比例，归一化到0～255之间之后再进行聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为纹理和颜色迁移的最佳曝光示例图像；

2.3场景迁移：

预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迁移到基本层中；纹理迁移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迁移到基本层中，通过解泊松方程得到纹理迁移后的l通道值并将其按比例归一化到l通道的理论范围中；

纹理迁移之后是颜色迁移，为了同时保持场景的纹理和颜色信息，通过颜色迁移的方法，如式(1-1)，将最佳曝光示例图像中的颜色色调迁移到纹理迁移的结果图像中；

$l_{\mathrm{result}\left(k\right)}(i,j)=l_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^l}{{\mathrm{\σ}}_{t\left(k\right)}^l}(l_{t\left(k\right)}(i,j)-\stackrel{\‾}{l_{t\left(k\right)}})+\stackrel{\‾}{l_{r\left(k\right)}}-l_{t\left(k\right)}(i,j)]$

${\mathrm{\α}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\α}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\α}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\α}}}({\mathrm{\α}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\α}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\α}}_{r\left(k\right)}}-{\mathrm{\α}}_{t\left(k\right)}(i,j)]---(1-1)$

${\mathrm{\β}}_{\mathrm{result}\left(k\right)}(i,j)={\mathrm{\β}}_{t\left(k\right)}(i,j)+f_{\mathrm{ij}}\left(k\right)\·[\frac{{\mathrm{\σ}}_{r\left(k\right)}^{\mathrm{\β}}}{{\mathrm{\σ}}_{t\left(k\right)}^{\mathrm{\β}}}({\mathrm{\β}}_{t\left(k\right)}(i,j)-\stackrel{\‾}{{\mathrm{\β}}_{t\left(k\right)}})+\stackrel{\‾}{{\mathrm{\β}}_{r\left(k\right)}}-{\mathrm{\β}}_{t\left(k\right)}(i,j)]$

其中k为分区号，k＝1,2…N；当输入图像数N＝3时，k＝1,2,3时分别代表暗区、中亮区和高亮区；代表k区目标图像所有像素的l颜色轴，α颜色轴，β颜色轴的的方差和均值；代表k区最佳示例图像的所有像素的l颜色轴，α颜色轴，β颜色轴的方差和均值；l_result(k)(i,j)，α_result(k)(i,j)，β_result(k)(i,j)分别代表结果图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值；l_t(k)(i,j)，α_t(k)(i,j)，β_t(k)(i,j)分别代表k区目标图像位置为(i,j)的像素点的l颜色轴，α颜色轴，β颜色轴的值；f_ij(k)是k区位置为(i,j)的像素点的颜色调整权重函数；

$F\left(x\right)=e^{{-x}^2}---(1-3)$

是k区目标图像的各个像素矢量，该矢量各通道投影分别记为l_t(k)、α_t(k)、β_t(k)；为目标图像的各通道像素均值，分别为和场景迁移之后，将结果图像从lαβ空间转换到RGB空间。