CN103247036B - 多曝光图像融合方法和装置 - Google Patents

Abstract

提供了一种多曝光图像融合装置和方法。该多曝光图像融合装置包括：反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。该多曝光图像融合装置和方法仅对反光区域进行融合操作，而不是对多个整幅图像进行融合操作，显著提高了处理速度，适合于实时性要求较高的情况。

Description

多曝光图像融合方法和装置

技术领域

本发明总体地涉及图像处理领域，更具体地涉及多曝光图像融合方法和装置。

背景技术

在某些情景下拍摄的图像经常存在高亮或反光区域，如照相机或投影仪-摄像机系统中所拍摄的图像，导致所拍摄的图像高亮区域内的内容不可见或者无法看清。

例如，白板图像由于包含较强的镜面反射现象，使得图像的动态范围增大，而普通数码照相及显示器材的动态范围远小于上述情况的值，因此，白板图像中的部分内容(例如，部分笔画信息)将无法被拍摄到。

目前，从软件开发的角度，解决数码照相机动态范围局限性的方法主要有两种，两者的处理对象均为一组关于同一场景的曝光程度不同的图像序列。一种是高动态范围(HDR)图像生成技术。这种技术需要已知图像的曝光时间来计算照相机响应函数，进而生成HDR图像，但还需要经过色调映射处理才能将上述结果显示出来。相比之下，另一种方法，即多曝光融合，则具有更加简便的计算方法。它只需要将输入图像按照一定的权值限定后，融合成为一幅能够直接用于显示的细节增强的合成图像，而不需要经过HDR图像生成及色调映射处理。由于没有生成HDR图像这一中间结果，因此，多曝光图像融合方法的实施过程不需要恢复照相机响应函数，也不需要已知图像的曝光时间。

在专利公开CN102063712A中，提出了一种基于子带结构的多曝光图像融合方法。该方法基于子带的架构，利用正交镜像滤波器(QuadratureMirrorFilter，QMF)滤波器组作为分析滤波器组将输入多曝光图像序列分解成一组子带图像；利用QMF滤波器将多曝光的输入图像分解成水平、垂直和对角线的子带信号，以及一个低通带图像；利用增益控制图对新的子带图像进行修饰，避免信号的失真从而保留更多的细节。

在美国专利US7492962B2中介绍了一种增强图像的系统和方法，其中利用图像增强系统对原始图内容像进行增强；使用幂函数变换方法生成幂函数变换图像，使用对数变换方法生成对数变换图像；使用阈值方法和蒙版图像加工方法，选择性地对幂函数变换图像和对数变换图像分别进行处理，以及融合两个从幂函数变换图象和对数变换图像获得的拉普拉斯金字塔。

在美国专利US7027662B2中介绍了一种去除闪光效果的方法和装置，其中，从有闪光的图像上减去没有闪光的图像；根据图像相减结果的强度直方图调整一个阈值，使得通过阈值方法，仅仅保留图像相减结果中强度差别巨大的部分；从有闪光的图像上减去这个处理后的结果图像，从而去除闪光的影响，例如镜面反射和红眼，该方法可以通过给颜色空间的不同维度(例如R/G/B)分别设置阈值来优化。

在美国专利US7457477B2中，介绍了数字图像的闪光和无闪光效果的加工，其中使用一对闪光和无闪光的图像，去除正常环境光下的图像的噪声，利用从闪光图像中获得细节，锐化正常环境光下的图像，还原色彩，去除红眼效应；通过检测亮度值大于传感器输出值95％的方法来检测镜面反射区域；利用图像的形态学处理方法来清理图像上镜面反射的影响，如腐蚀斑点和填充空洞。

发明内容

本发明的一个目的在于提供适于快速改善反光区域内容的装置和方法。

根据本发明的一个方面，提供了一种多曝光图像融合装置，可以包括：反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。

多曝光图像反光区域融合单元还包括反光区域子图像获取单元，

反光区域子图像获取单元可以将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像。其中，反光区域子图像获取单元可以通过利用多尺度滤波器分解多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及反光区域子图像获取单元可以通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。

多曝光图像反光区域融合单元可以通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值可以基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。

多曝光图像反光区域融合单元可以对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。

多曝光图像融合装置还可以包括质量增强单元，用于去除融合获得的反光区域图像中的光源颜色污染。

多个曝光程度不同的图像可以包括参考图像和辅助图像，参考图像可以为照相机在自动参数设置下拍摄的图像，辅助图像可以包括曝光过度及不足的图像，以及多曝光图像融合装置还可以包括图像贴回单元，用于通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。

反光区域提取单元可以利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。

根据本发明的另一方面，提供了一种多曝光图像融合方法，可以包括提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及融合所述多个反光区域的图像。

融合多个反光区域的图像可以包括反光区域子图像获取。

反光区域子图像获取可以包括将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像。其中，可以通过利用多尺度滤波器分解多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及可以通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。

多曝光图像反光区域融合可以包括通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值可以基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。

多曝光图像反光区域融合可以包括对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。

多曝光图像融合还可以包括去除融合获得的反光区域图像中的光源颜色污染。

多个曝光程度不同的图像可以包括参考图像和辅助图像，参考图像可以为照相机在自动参数设置下拍摄的图像，辅助图像可以包括曝光过度及不足的图像，以及多曝光图像融合装置还可以包括通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。

反光区域提取可以包括利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。

利用本发明实施例的多曝光图像融合装置和方法，提取多曝光图像的反光区域，仅对反光区域进行融合操作，而不是对多个整幅图像进行融合操作，因此显著提高了处理速度，更加适合于实时性要求较高的情况。

另外，根据本发明优选实施例的多曝光图像融合中的权值计算方法既考虑了图像内容的可见度也考虑了区域颜色的丰富程度，因此可以更加适当地确定图像的权值图，尤其适用于图像笔画信息丰富的白板图像。

另外，根据本发明优选实施例的多曝光图像融合处理中分解得到反映反光区域的不同尺度特征的粗糙层子图像和反映图像内容细节特征的细节层子图像，然后分别对各个反光区域的对应细节层子图像和粗糙层子图像进行融合处理，由此特别增强了反光区域细节特征，尤其适合于对于可能丢失了细节特征的反光区域的内容增强处理。

另外，根据本发明优选实施例的质量增强单元可以去除融合后反光区域中的光源颜色污染，进一步提高图像质量。

另外，根据本发明优选实施例的基于泊松方程求解的贴回方法可以较高质量实现两幅图像的无缝拼贴。

附图说明

图1是根据本发明一个实施例的多曝光图像融合装置的总体框图；

图2示出了根据一个实施例的反光区域提取单元的配置的示意性框图；

图3示出了根据一个实施例的多曝光图像反光区域融合单元的配置的示意性框图；

图4示出了其中通过相邻粗糙层子图像相减获取细节层子图像的示例；

图5示出了其中粗糙层子图像减去其均值来获取细节层子图像的示例；

图6给出了从一个输入图像获得四个粗糙层子图像的示意性视图；

图7给出了从该四个粗糙层子图像获得四个细节层子图像的示意性视图；

图8示出了根据本发明实施例的多曝光融合方法的总体流程；

图9示出了根据本发明实施例的可由反光区域提取单元执行的示例性反光区域提取方法的流程图；

图10示出了根据本发明实施例的可由多曝光图像融合单元执行的示例性多曝光图像融合方法的流程图；

图11图示了根据本发明第二实施例的多曝光图像融合装置的总体配置；

图12图示了根据本发明第二实施例的多曝光图像融合方法的总体流程；

图13图示了根据本发明第三实施例的多曝光图像融合装置的总体配置；

图14图示了根据本发明第三实施例的多曝光图像融合方法的总体流程；

图15(a)和15(b)示出了根据本发明实施例的白板图像处理前后的对比示意图；以及

图16是示出按照本发明实施例的多图像融合系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

将按如下顺序描述本发明的各个实施例：

1、第一实施例

1.1、多曝光图像融合装置的总体配置

1.2、反光区域提取单元的示例性配置

1.3、多曝光图像反光区域融合单元的示例性配置

1.4、第一多曝光图像融合方法示例

1.5、反光区域提取方法示例

1.6、多曝光图像反光区域融合方法示例

2、第二实施例

2.1、第二多曝光图像融合装置的总体配置

2.2、第二多曝光图像融合方法示例

3、第三实施例

3.1、第三多曝光图像融合装置的总体配置

3.2、第三多曝光图像融合方法示例

4、多曝光图像融合系统的硬件配置

5、总结

<1.第一实施例>

<1.1多曝光图像融合装置的总体配置>

图1是根据本发明一个实施例的多曝光图像融合装置1000的总体框图。

如图1所示，该多曝光图像融合装置1000可以包括：反光区域提取单元1100和多曝光图像反光区域融合单元1200。

反光区域提取单元1100用于提取同一场景的多个曝光程度不同的图像的每个图像的反光区域

优选地，该多个曝光程度不同的图像包括曝光过度以及曝光不足的图像。

作为示例，反光区域提取单元1100可以利用预定的图像分类器将该多个曝光程度不同的图像分类到各个预定类别，然后利用与各个预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。

更优选地，在某些情况下，例如在处理白板场景的图像的情况下，可以从多个曝光程度不同的图像中选择一个图像，称作参考图像，该参考图像将作为场景归类、以及后续的贴回处理的处理对象。此时，反光区域提取单元1100可以仅对参考图像进行分类，将其分类到预定类别，然后获得与该预定类别相关联的反光区域提取阈值，进而利用此反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。后续将参考图2对此情况下反光区域提取单元的具体配置示例进行详细描述。

不过，上述反光区域提取方法仅为优选示例。任何可以提取图像中的反光区域的方法均可以用于本发明。例如，作为替代，另一种示例方法是，计算图像整体平均强度，然后将此平均强度加上预定步长后获得的值作为反光区域划分强度阈值，进而提取反光区域。

多曝光图像反光区域融合单元1200用于融合所述多个反光区域的图像。需要说明的是，这里的融合应做广泛意义上的理解。可以直接将该多个反光区域图像进行加权求和来获得一个反光区域图像。也可以对每个反光区域图像进行分解来获得体现不同图像特征的多个反光区域子图像，然后有针对性地对各个反光区域图像的对应反光区域子图像进行组合增强，然后由增强后的反光区域子图像逆向重构获得一个新的反光区域。下面将参考图3来对后一种情况的多曝光图像反光区域融合单元1200的具体配置示例进行详细描述。

如此获得的融合后的反光区域图像可以贴回到例如上述参考图像中，或者也可以直接输出给用户，或者提供给后续处理单元进行图像内容识别等进一步处理。

根据此实施例的图像融合方法因为仅融合反光区域，因此处理更加具有针对性，且处理速度更快，更适于实时处理。

<1.2.反光区域提取单元的示例性配置>

下面参考图2描述反光区域提取单元的示例性具体配置。

图2示出了根据一个实施例的反光区域提取单元1100的配置的示意性框图。

如图2所示，反光区域提取单元1100可以包括类别模型向量生成单元1110、类别模型向量和反光区域提取阈值存储单元1120、匹配向量计算单元1130、类别匹配单元1140、反光区域提取阈值获取单元1150、反光区域位置信息计算单元1160、反光区域图像抽取单元1170。

类别模型向量生成单元1110用于根据预定分类器将输入的训练图像分类到各个类别，并基于分类后的结果计算代表各类的类别模型向量。

多个曝光程度不同的图像可以表示为I_i(x，y)，i＝1，...，N，其中N为2或大于2的整数。用于场景归类的参考图像表示为图像I_r(x，y)，序列中的其余图像I_j(x，y)，j＝1，...，N，j≠r称为参考图像I_r(x，y)的辅助图像。作为优选示例，参考图像I_r(x，y)为照相机在自动参数设置下拍摄的图像，辅助图像I_j(x，y)，j＝1，...，N，j≠r包括曝光过度及不足的图像。

以白板图像处理为例，类别模型向量生成单元1110获得类别模型向量的一种示例性实现方式如下：

假设类别个数为S类，S为大于等于2的整数，各类为C(l)，l∈[1，S]，各类别之间由图像笔画的不可见度来区分，第1类图像笔画的不可见度范围为[K_l-1，k_l]，例如，设最大不可见度K_S已知，K_l可通过公式计算得到。(1)、输入M幅一组关于同一场景且光照条件不同的图像T_i(x，y)，i＝1，...，M，其中，完全不包含反光区域的图像T_g(x，y)称为基准图像，序列中的其余图像T_j(x，y)，j＝1，...，M，j≠g称为训练图像，其中M为大于等于2的整数；

(2)、计算基准图像T_g(x，y)及训练图像T_j(x，y)的梯度图像，得到基准梯度图像G_g(x，y)及训练梯度图像G_j(x，y)；

(3)、根据如下公式(1)对基准梯度图像G_g(x，y)进行阈值化处理以生成笔画引导图A_g(x，y)，

$A_g(x,y)=\left\{\begin{array}{c}1,G_g(x,y)>\mathrm{\&theta;}\\ 0,\mathrm{otherwise}\end{array}\right....\left(1\right)$

其中，θ为阈值；

(4)、根据笔画引导图A_g(x，y)利用如下公式(2)计算训练梯度图像G_j(x，y)的不可见度IV(j)，即计算仅发生在笔画引导图A_g(x，y)＝1的像素点，

$\mathrm{IV}\left(j\right)=\frac{\underset{(x,y)\&cap;A_g(x,y)=1}{\mathrm{\&Sigma;}}|G_g(x,y)-G_j(x,y)|}{\underset{g=1}{\overset{n}{\mathrm{\&Sigma;}}}{A}_g(x,y)}...\left(2\right)$

其中，n为训练梯度图像G_j(x，y)的像素个数；

(5)、根据训练梯度图像G_j(x，y)的不可见度IV(j)将训练图像T_j(x，y)归类到C(l)，如公式(3)所示，

$T_j(x,y)\&SubsetEqual;C\left(l\right),\mathrm{IV}\left(j\right)\&Element;[K_{l-1},K_l]...\left(3\right)$

$K_l=l\frac{K_S}{S}$

其中，K_l-1，K_l分别为第C(l)类图像的不可见度的上、下限；

(6)、计算类别l的模型向量M(l)，l∈[1，S]，一种示例性计算方法如公式(4)、(5)、(6)所示，

$M\left(l\right)=(\mathrm{ave}\left(\frac{\mathrm{Meanmap}(l,R)}{\mathrm{Meanmap}(l,G)}\right),\mathrm{ave}\left(\frac{\mathrm{Meanmap}(l,G)}{\mathrm{Meanmap}(l,B)}\right),\mathrm{ave}\left(\frac{\mathrm{Meanmap}(l,B)}{\mathrm{Meanmap}(l,R)}\right))...\left(4\right)$

$\mathrm{Meanmap}(l,\mathrm{ch})=\frac{K_s}{S}\underset{\mathrm{IV}\left(j\right)=K_{l-1}}{\overset{K_l}{\mathrm{\&Sigma;}}}{T}_{j,\mathrm{ch}}(x,y);$ CH＝R，G，B…(5)

$\mathrm{ave}\left(t(x,y)\right)=\frac{1}{n}\underset{(x,y)}{\overset{n}{\mathrm{\&Sigma;}}}t(x,y)...\left(6\right)$

其中，Meanmap(l，Ch)为属于第C(l)类的所有训练图像T_j(x，y)的Ch色彩通道的均值图；T_j，Ch(x，y)表示训练图像T_j(x，y)的Ch色彩通道图像数据，例如图像的各像素点的灰度；ave(t(x，y))为任意图像t(x，y)按像素的均值，n为图像t(x，y)的像素个数；

(7)、确定类别模型向量M(l)，l∈[1，S]的反光区域提取阈值δ(l)，可以人工指定或者例如根据强度均值求得。

作为替代性示例，另一种实现方式为，类别模型向量生成单元1110利用聚类算法例如k均值聚类对训练图像根据不可见度进行聚类，然后用聚类后的各类中样本的均值向量作为代表各类的类别模型向量。

类别模型向量和反光区域提取阈值存储单元1120用于存储各类的类别模型向量和反光区域提取阈值。

匹配向量计算单元1130根据如下公式(7)计算多曝光图像中的参考图像I_r(x，y)的匹配向量

$I_r^M=(\mathrm{ave}\left(\frac{I_{r,R}(x,y)}{I_{r,G}(x,y)}\right),\mathrm{ave}\left(\frac{I_{r,G}(x,y)}{I_{r,B}(x,y)}\right),\mathrm{ave}\left(\frac{I_{r,B}(x,y)}{I_{r,R}(x,y)}\right))...\left(7\right)$

类别匹配单元1140将参考图像I_r(x，y)的匹配向量和存储的各个类别的类别模型向量进行比较，并例如根据如下公式(8)来确定参考图像I_r(x，y)的类别：

$I_r(x,y)\&SubsetEqual;C\left(l\right),{\left|\right|I_r^M-M\left(l\right)\left|\right|}^2<\mathrm{\&epsiv;},$ l∈[1，S]…(8)

其中，ε为类型匹配阈值。

反光区域提取阈值获取单元1150根据参考图像被归类到的类别l来从类别模型向量生成单元1110检索反光区域提取阈值δ(l)。

反光区域位置信息计算单元1160根据阈值δ(l)计算参考图像I_r(x，y)的反光区域位置，得到反光区域左上角(x₁₁，y₁₁)、右上角(x₁₂，y₁₂)、左下角(x₂₁，y₂₁)及右下角(x₂₂，y₂₂)坐标，从而提取出参考反光区域图像F_r(x，y)。

反光区域图像抽取单元1170根据上述反光区域位置信息从辅助图像I_j(x，y)中提取出辅助反光区域图像F_j(x，y)。

上述反光区域图像抽取单元从图像内容不可见度方面来对训练图像进行分类，进而计算得到各类别的类别模型向量，而且通过对参考图像归类来确定反光区域的大小，避免了对所有多曝光图像逐个进行反光区域提取阈值确定和反光区域大小确定，因而可以进一步提高处理效率，而且考虑到将来反光区域贴回到参考图像，这样处理也更有针对性和合理性。

反光区域提取单元1100的上述配置仅为示例，本发明不局限于上述配置，而是可以具有适于从输入图像中提取反光区域的任何配置。

<1.3.多曝光图像反光区域融合单元的示例性配置>

下面参考图3描述多曝光图像反光区域融合单元的示例性具体配置。

图3示出了根据一个实施例的多曝光图像反光区域融合单元1200的配置的示意性框图。

如图3所示，多曝光图像反光区域融合单元1200包括反光区域子图像获取单元1210、权值获取单元1220、组合增强单元1230、反光区域重构单元1240。

反光区域子图像获取单元1210从所述多个反光区域的图像的每个获取多个反光区域子图像。

权值获取单元1220获取所述多个反光区域的图像的每个的权值图。

组合增强单元1230根据权值获取单元1220获取的权值图，组合增强各个反光区域图像的对应反光区域子图像。

反光区域重构单元1240从组合增强单元1230获得的组合增强后的反光区域子图像重构反光区域图像。

下面具体描述各个单元的详细构成和具体操作。

作为示例，反光区域子图像获取单元1210可以包括粗糙层子图像获取单元1211和细节层子图像获取单元1212，用于将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像。

粗糙层子图像是指例如源图像去掉一定程度的纹理结构信息后的图像，其中包含源图像的颜色、轮廓等信息。细节层子图像是指包含源图像细节信息的图像，例如包含源图像的纹理结构信息。在图像是白板场景图像的情况下，粗糙层子图像更多包括颜色、轮廓信息，而细节层子图像更多包括了笔画信息。

反光区域子图像获取单元1210可以通过利用多尺度滤波器分解所述多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像。反光区域子图像获取单元1220通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映所述每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。

假设各个反光区域图像表示为F_i(x，y)，i＝1，...，N，其中N为多曝光图像的反光区域图像的个数，也即多曝光图像的个数，从反光区域图像F_i(x，y)分解得到粗糙层子图像FC_i，h(x，y)，h＝1，...，H，H为粗糙层子图像的个数。则可以基于如下公式(9)通过相邻尺度的粗糙层子图像相减得到细节层子图像FD_i，h(x，y)。

FD_i，h(x，y)＝FC_i，h+1(x，y)-FC_i，h(x，y)...(9)

或者可以基于如下公式(10)、(11)通过粗糙层子图像减去粗糙层子图像的均值图像得到细节层子图像FD_i，h(x，y)。

${\mathrm{FD}}_{i,h}(x,y)={\mathrm{FC}}_{i,h}(x,y)-\stackrel{\&OverBar;}{{\mathrm{FC}}_i(x,y)}...\left(10\right)$

$\stackrel{\&OverBar;}{{\mathrm{FC}}_i(x,y)}=\frac{1}{H}\underset{h=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{FC}}_{i,h}(x,y)...\left(11\right)$

图4示出了其中通过相邻粗糙层子图像相减获取细节层子图像的示例。图5示出了其中粗糙层子图像减去其均值来获取细节层子图像的示例。

如图4所示，使用例如加权最小平方滤波器(WLSF，WeightedLeastSquaresFilters)的多尺度滤波器将多曝光图像的反光区域图像F₁分解为三个粗糙层子图像FC₁₁、FC₁₂和FC₁₃。其中F(x1)、F(x2)、F(x3)中的x1、x2、x3表示能量方程中的相关参数的不同取值，具体过程介绍可参考ZeevFarbman等人的文章Edge-PreservingDecompositionsforMulti-ScaleToneandDetailManipulation，ProceedingSIGGRAPH′08ACMSIGGRAPH2008，ACMNewYork，NY，USA2008。然后粗糙层子图像FC₁₁和FC₁₂相减得到细节层子图像FD₁₁，粗糙层子图像FC₁₂和FC₁₃相减得到细节层子图像FD₁₂。

如图5所示，同样将多曝光图像F₁分解为三个粗糙层子图像FC₁₁、FC₁₂和FC₁₃。然后计算粗糙层子图像FC₁₁、FC₁₂和FC₁₃的均值得到平均粗糙层图像然后FC₁₁和相减得到细节层子图像FD₁₁，FC₁₂和相减得到细节层子图像FD₁₂，以及FC₁₃和相减得到细节层子图像FD₁₃。

类似地，对其余的多曝光图像的反光区域图像F₂，F₃，...，F_N进行分解处理，以得到对应的粗糙层子图像和细节层子图像。

在上述例子中，从每个多曝光图像分解得到三个粗糙层子图像和三个细节层子图像，但是本发明并不局限于此，粗糙层子图像和细节层子图像的个数可以根据需要任意设置。

图6给出了从一个输入图像获得四个粗糙层子图像的示意性视图，以及图7给出了从该四个粗糙层子图像获得四个细节层子图像的示意性视图。

上述示例给出了使用加权最小平方滤波器分解多曝光图像的示例，不过本发明并不局限于此，而是可以使用其他具有边缘保持特性的多尺度滤波器，例如双边滤波器(BilateralFiltering)，有关双边滤波器的详细介绍可参见文献Agentleintroductiontobilateralfilteringanditsapplications，inACMSIGGRAPH2007courses，Course13，PARIS，S.2007。

权值获取单元1220用于基于反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到反光区域图像融合的权值。

具体地，例如，如图所示，权值获取单元1220可以包括可见度计算单元1221、区域颜色计算单元1222、以及权值计算单元1223。

假设反光区域图像F_i中每个像素点F_i(x，y)的可见度表示为SV_i(x，y)，其可以根据图像F_i(x，y)的梯度值GI_i(x，y)计算得到，其中图像内容(在文字的情况下，笔画)越清晰可见，可见度SV_i(x，y)的值越大。区域颜色RC_i(x，y)满足如下规则：R、G、B三通道间的差值越大，即图像颜色越异于白色，权值越大。

可见度计算单元1221可以根据如下公式(12)、(13)计算每个像素点F_i(x，y)的可见度SV_i(x，y)：

${\mathrm{SV}}_i(x,y)=\frac{{\mathrm{GI}}_i(x,y)}{G_{\mathrm{gt}}(x,y)}...\left(12\right)$

$G_{\mathrm{gt}}(x,y)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{GI}}_i(x,y)...\left(13\right)$

其中G_gt(x，y)为N个反光区域图像的梯度值GI_i(x，y)之和。

区域颜色计算单元1222根据如下公式(14)、(15)、(16)、(17)计算反光区域图像F_i中每个像素点F_i(x，y)的颜色丰富程度RC_i(x，y)：

RC_i(x，y)＝β_i×D_i，1(x，y)×D_i，2(x，y)×D_i，3(x，y)...(14)

D_i，1(x，y)＝|F_i，R(x，y)-F_i，B(x，y)|...(15)

D_i，2(x，y)＝|F_i，G(x，y)-F_i，B(x，y)|...(16)

D_i，1(x，y)＝|F_i，R(x，y)-F_i，G(x，y)|...(17)

其中β_i表示尺度因子，用于控制取得必要尺度的差值，即放大或缩小差值，D_i，1(x，y)、D_i，2(x，y)、D_i，3(x，y)表示三个色彩通道的像素值两两之间的差异。具体地，D_i，1(x，y)表示像素点F_i(x，y)处R、B两通道间的像素值差，D_i，2(x，y)表示像素点F_i(x，y)处G、B两通道间的像素值差，D_i，3(x，y)表示像素点F_i(x，y)处R、G两通道间的像素值差。

权值计算单元1223可以基于图像内容可见度SV_i(x，y)和区域颜色RC_i(x，y)根据如下公式(18)计算得到每个像素点F_i(x，y)的权值。

W_i(x，y)＝SV_i(x，y)×RC_i(x，y)...(18)

此外，权值计算单元1223还可以例如根据如下公式(19)对权值W_i(x，y)进行去噪以及归一化处理，得到更新后的权值W_i‘(x，y)。

$W_i^{\&prime;}(x,y)=\frac{g\left(\mathrm{\&sigma;}\right)*W_i(x,y)}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(g\left(\mathrm{\&sigma;}\right)*W_i(x,y))}...\left(19\right)$

其中g(σ)表示高斯函数，用于图像的平滑去噪。

上述权值计算方法仅为优选实施例。本发明并不局限于此，可以利用其它的权值计算方法，例如仅基于图像内容可见度的权值计算或仅基于区域颜色丰富程度的权值计算。另外，替代地，还可以依据输入图像的对比度、饱和度及曝光度三方面度量计算权值，关于此的详细介绍可参考Mertens，T.，Kautz，J.，Reeth，F.V.等的Exposurefusion：asimpleandpracticalalternativetohighdynamicrangephotography.Comput.Graph.Forum28(1)，161-171(2008)。

组合增强单元1230依据权值获取单元1220计算得到的权值图对反光区域子图像获取单元1210得到的对应反光区域子图像进行组合，从而得到增强后的反光区域子图像。

例如，假设每个反光区域图像存在H个粗糙层子图像和H个细节层子图像，作为示例，可以利用如下公式(20)、(21)融合N个反光区域图像的各个对应细节层子图像，从而得到融合后的H个细节层子图像，以及还可以融合各个反光区域图像的粗糙层子图像中的一个粗糙层子图像FC_i，j(x，y)，从而得到融合后的一个粗糙层子图像。

${\mathrm{FD}}_h^{\&prime;}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{W}_i^{\&prime;}(x,y)*{\mathrm{FD}}_{i,h}(x,y)...\left(20\right)$

${\mathrm{FC}}_j^{\&prime;}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{W}_i^{\&prime;}(x,y)*{\mathrm{FC}}_{i,j}(x,y)...\left(21\right)$

具体地，例如，如图4示，假设融合N个反光区域图像的F₁，...，F_N的各个细节层子图像，以及融合N个反光区域图像的每个的最后一个粗糙层子图像。即，将第1个反光区域图像F₁的第一个细节层子图像FD₁₁、第2个反光区域图像F₂的第一个细节层子图像FD₂₁，...，以及第N个反光区域图像F_N的第一个细节层子图像FD_N1分别乘以对应的权重W₁、W₂，...，W_N，从而得到融合后的第一个细节层子图像FD₁，如以下公式(22)所示：

FD₁＝FD₁₁*W₁+FD₂₁*W₂+...+FD_N1*W_N...(22)

类似地，将第1个反光区域图像F₁的第二个细节层子图像FD₁₂、第2个反光区域图像F₂的第二个细节层子图像FD₂₂，...，以及第N个反光区域图像F_N的第二个细节层子图像FD_N2分别乘以对应的权重W₁、W₂，...，W_N，从而得到融合后的第二个细节层子图像FD₂；将第1个反光区域图像F₁的第三个细节层子图像FD₁₃、第2个反光区域图像F₂的第三个细节层子图像FD₂₃，...，以及第N个反光区域图像F_N的第三个细节层子图像FD_N3分别乘以对应的权重W₁、W₂，...，W_N，从而得到融合后的第三个细节层子图像FD₃。

如上，在图4示的示例中，融合N个反光区域图像的每个的最后一个粗糙层子图像，即第三个粗糙层子图像。具体地，即将第1个反光区域图像F₁的第三个粗糙层子图像FC₁₃、第2个反光区域图像F₂的第三个粗糙层子图像FC₂₃，...，以及第N个反光区域图像F_N的第三个粗糙层子图像FC_N3分别乘以对应的权重W₁、W₂，...，W_N，从而得到融合后的第三个粗糙层子图像FC₃。

反光区域重构单元1240基于融合后的反光区域图像的各个细节层子图像和融合后的粗糙层子图像，按照与利用滤波器分解得到粗糙层子图像，以及基于粗糙层子图像获得细节层子图像的逆过程重构获得新的反光区域图像。

仍以图4示情况为例，此时重构过程如下，融合后的第三个粗糙层子图像FC₃与融合后的第三个细节层子图像FD₃求和得到新的第二个粗糙层子图像FC₂，新的第二个粗糙层子图像FC₂与融合后的第二个细节层子图像FD₂求和得到新的第一个粗糙层子图像FC₁，然后基于这些新的第一粗糙层子图像、第二粗糙层子图像、第三粗糙层子图像FC₁、FC₂、FC₃滤波器分解的可逆过程获得新的反光区域图像R_f(x，y)。

替代地，组合增强单元1230可以以其他方式进行融合操作。例如，如图5示，假设融合N个反光区域图像的F₁，...，F_N的各个细节层子图像，以及融合N个反光区域图像的平均粗糙层子图像。此时，融合细节层子图像的操作与参考图4示的相同，不再赘述。与图4示示例不同在于替代融合各个反光区域图像的最后一个粗糙层子图像，本例中融合平均粗糙层子图像。以公式(23)表示如下：

${\mathrm{FC}}^{\&prime;}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{W}_i^{\&prime;}(x,y)*\stackrel{\&OverBar;}{{\mathrm{FC}}_i(x,y)}...\left(23\right)$

如图5示，融合N个反光区域图像的每个的平均粗糙层子图像。具体地，即将第1个反光区域图像F₁的第平均粗糙层子图像第2个反光区域图像F₂的平均粗糙层子图像...，以及第N个反光区域图像F_N的平均粗糙层子图像分别乘以对应的权重W₁、W₂，...，W_N，从而得到融合后的平均粗糙层子图像FC’。

此时反光区域重构单元1240可以基于融合后的反光区域图像的各个细节层子图像和融合后的平均粗糙层子图像，按照与基于粗糙层子图像获得细节层子图像、利用滤波器分解得到粗糙层子图像的逆过程重构获得新的反光区域图像。

替代地，可以以其他方式进行重构，例如使用加权最小平方滤波器WLSF对从公式(21)和公式(20)获得的融合后的粗糙层子图像FC’(x，y)和融合后的细节层子图像FD_h’(x，y)进行滤波以去除高频噪声，得到更新后的粗糙层子图像FC”(x，y)和细节层子图像FD_h”(x，y)，然后根据如下公式(24)利用更新后的的粗糙层子图像FC”(x，y)和细节层子图像FD_h”(x，y)重构反光区域图像R_f(x，y)。

$R_f(x,y)={\mathrm{FC}}^{\&prime;\&prime;}(x,y)+\underset{h=1}{\overset{H}{\mathrm{\&Sigma;}}}{\mathrm{FD}}_h^{\&prime;\&prime;}(x,y)...\left(24\right)$

如前所述，如此获得的融合后的反光区域图像可以贴回到例如上述参考图像中，或者也可以直接输出给用户，或者提供给后续处理单元进行图像内容识别等进一步处理。

<1.4第一多曝光图像融合方法示例>

图8示出了根据本发明实施例的多曝光融合方法400的总体流程。可由多曝光图像融合装置1000执行多曝光融合方法400。

在步骤S410中，提取同一场景的多个曝光程度不同的图像的每个图像的反光区域。

在步骤S420中，融合所述多个反光区域的图像。

关于上述各步骤的详细操作可以参考图1以及对应描述，这里不再赘述。

<1.5反光区域提取方法示例>

图9示出了根据本发明实施例的可由图2所示的反光区域提取单元1100执行的示例性反光区域提取方法500的流程图。

在步骤S510中，基于训练图像生成类别模型向量。

在步骤S520中，计算多曝光图像中参考图像的匹配向量。

在步骤S530中，比较类别模型向量和匹配向量以对多曝光图像中的参考向量进行分类。

在步骤S540中，根据分类结果获取反光区域提取阈值。优选地，预先将各个类别的反光区域提取阈值和对应类别相关联地存储在存储区域中。该反光区域提取阈值例如为强度阈值。

在步骤S550中，根据提取的反光区域提取阈值计算参考图像的反光区域位置信息，从而提取了参考图像的反光区域。

在步骤S560中，根据所计算的反光区域位置信息提取多曝光图像中其它图像的反光区域。

图9所示的反光区域提取方法仅为示例。可以通过任何可提取出图像的反光区域的方法来提取多曝光图像的反光区域。

另外有关上述各步骤的详细操作可以参考图2以及对应描述，这里不再赘述。

<1.6多曝光图像反光区域融合方法示例>

图10示出了根据本发明实施例的可由图1所示的多曝光图像融合单元1200执行的示例性多曝光图像融合方法600的流程图。

在步骤S610中，从各个反光区域图像获取各自的粗糙层子图像和细节层子图像。

在步骤S620中，计算各个反光区域图像的权值图。

在步骤S630中，融合各个反光区域图像的对应子图像。

在步骤S640中，基于融合后的各个子图像重构反光区域子图像。

有关上述各个步骤的具体实现例子，可以参考图3以及其对应描述，这里不再赘述。

<2.第二实施例>

<2.1、第二多曝光图像融合装置的总体配置>

图11图示了根据本发明第二实施例的多曝光图像融合装置2000的总体配置。

图11所示的第二实施例与图1所示的第一实施例不同在于多了质量增强单元2300。因为图11中的反光区域提取单元1100和多曝光图像反光区域图像融合单元1200与图1中的相同，这里不再赘述。下面重点描述质量增强单元2300的操作。

质量增强单元2300可以对重构后的反光区域图像进行去色处理。

在原始图像以及重构后的图像中，可能存在光源造成的颜色污染。在RGB色彩空间中，彩色图像的R、G、B三个色彩通道的像素值相等时，彩色图像呈现为灰度图像。当光源颜色为白色时，R、G、B三个色彩通道的像素值两两之间均无差异。当光源颜色不为白色时，R、G、B三通道的像素值之间存在差异。可以通过减小R、G、B三通道的像素值之间的差异来实现去除光源造成的污染色。

根据优选示例，可以根据如下公式(25)、(26)、(27)、(28)、(29)、(30)去除重构后的图像的R、G、B各通道的污染色。

R′_f，R(x，y)＝R_f，R(x，y)-α_R×D₁(x，y)×D₃(x，y)...(25)

R′_f，G(x，y)＝R_f，G(x，y)-α_G×D₂(x，y)×D₃(x，y)...(26)

R′_f，B(x，y)＝R_f，B(x，y)-α_B×D₁(x，y)×D₂(x，y)...(27)

D₁(x，y)＝|R_f，R(x，y)-R_f，B(x，y)|...(28)

D₂(x，y)＝|F_f，G(x，y)-R_f，B(x，y)|...(29)

D₃(x，y)＝|R_f，R(x，y)-R_f，G(x，y)|...(30)

其中，D₁(x，y)表示重构后的反光区域图像的像素点(x，y)的R通道和B通道的像素值之差；D₂(x，y)表示重构后的反光区域图像的像素点(x，y)的G通道和B通道的像素值之差；D₃(x，y)表示重构后的反光区域图像的像素点(x，y)的R通道和G通道的像素值之差。α_R、α_G、α_B分别表示用于颜色通道R、G、B的参数，表示尺度因子，用于控制取得必要尺度的差值，即放大或缩小差值，例如，根据经验可以取α_R＝4、α_G＝3.3、α_B＝1，不过该参数取值仅为示例，根据具体实现和需要，可以通过学习确定参数α_R、α_G、α_B的值，或者设置为其它取值。R’_f，R(x，y)、R’_f，G(x，y)、R’_f，B(x，y)分别表示去除污染色后的像素点(x，y)的R、G、B通道的像素值。

上述去除污染色的过程可以迭代进行。

通过质量增强单元2300上述去除污染色的处理，有效降低了光源颜色对图像质量的影响，进一步改进了反光区域图像的质量。

上述质量增强单元2300的处理仅为示例，还可以进行其它增强图像质量的后处理操作，例如去噪、平滑化处理等。

<2.2、第二多曝光图像融合方法示例>

图12图示了根据本发明第二实施例的多曝光图像融合方法700的总体流程。

在步骤S710中，提取同一场景的多个曝光程度不同的图像的每个图像的反光区域。

在步骤S720中，融合所述多个反光区域的图像。

在步骤S730中，去除融合获得的反光区域的图像中的光源颜色污染。

有关上述步骤的具体操作可以参考图11以及对应描述，这里不再重复描述。

<3、第三实施例>

<3.1、第三多曝光图像融合装置的总体配置>

图13图示了根据本发明第三实施例的多曝光图像融合装置3000的总体配置。

图13所示的第三实施例与图11所示的第二实施例不同在于多了贴回单元3400。因为图13中的反光区域提取单元1100、多曝光图像反光区域图像融合单元1200、质量增强单元2300与图11中的相同，这里不再赘述。下面重点描述贴回单元3400的操作。

贴回单元3400将质量增强单元2300增强后的图像贴回到例如前述参考图像的对应位置，得到最后的合成结果图。例如，可以采用PatrickPerez等人的文章PoissonImageEditing中的基于泊松方程求解的方法实现增强后的图像的贴回操作，由此实现两幅图像的无缝拼贴。

基于泊松方程求解的贴回方法仅是示例性的。本发明并不局限于此。例如，替代地，也可以利用梯度域优化代价方程的方法实现，关于此具体可参见如下文献中的介绍LEVIN，A.，ZOMET，A.，PELEG，S.，ANDWEISS，Y.，Seamlessimagestitchinginthegradientdomain.InEuropeanConferenceonComputerVision(ECCV04)，2004。

<3.2、第三多曝光图像融合方法示例>

图14图示了根据本发明第三实施例的多曝光图像融合方法700的总体流程。

在步骤S810中，提取同一场景的多个曝光程度不同的图像的每个图像的反光区域。

在步骤S820中，融合所述多个反光区域的图像。

在步骤S830中，去除融合获得的反光区域的图像中的光源颜色污染。

在步骤S840中，将去除光源颜色污染后的图像贴回到参考图像。

有关上述步骤的具体操作可以参考图13以及对应描述。

图15示出了根据本发明实施例的白板图像处理前后的对比示意图。其中15(a)示出了融合前的图像，15(b)示出了融合后的图像。可见经过本发明的多曝光图像融合处理，显著提高了反光区域的图像质量和内容可视性。

<4多曝光图像融合系统的硬件配置>

本发明还可以通过一种多曝光图像融合硬件系统来实施。图16是示出按照本发明实施例的多图像融合系统9000的总体硬件框图。如图16所示，多曝光图像融合系统9000可以包括：输入设备9100，用于从外部输入多曝光图像，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的多曝光图像融合方法，或者实施为上述的多曝光图像融合装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的图像等等；输出设备1300，用于向外部输出实施上述多曝光图像融合过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述多曝光图像融合过程所涉及的类别模型向量单元、反光区域提取阈值、反光区域的图像、粗糙层子图像、细节层子图像、融合处理后的反光区域图像、经过质量增强后的反光区域图像、经过反光区域图像贴回处理后的参考图像等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

<5总结>

根据本发明的实施例，提供了一种多曝光图像融合装置，可以包括：反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。

多曝光图像反光区域融合单元还可以包括反光区域子图像获取单元，反光区域子图像获取单元将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像；其中，所述反光区域子图像获取单元通过利用多尺度滤波器分解所述多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及所述反光区域子图像获取单元通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映所述每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。

多曝光图像反光区域融合单元可以通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。

多曝光图像反光区域融合单元可以对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。

多曝光图像融合装置还可以包括：质量增强单元，用于去除融合获得的反光区域图像中的光源颜色污染。

多个曝光程度不同的图像可以包括参考图像和辅助图像，参考图像为照相机在自动参数设置下拍摄的图像，辅助图像包括曝光过度及不足的图像，以及多曝光图像融合装置还可以包括图像贴回单元，用于通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。反光区域提取单元可以利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。

根据本发明的实施例，还提供了一种多曝光图像融合方法，可以包括：提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及融合所述多个反光区域的图像。

根据本发明实施例的多曝光图像融合装置和方法，提取多曝光图像的反光区域，仅对反光区域进行融合操作，而不是对多个整幅图像进行融合操作，因此显著提高了处理速度，更加适合于实时性要求较高的情况。

另外，根据本发明优选实施例的多曝光图像融合中的权值计算方法既考虑了图像内容的可见度也考虑了区域颜色的丰富程度，因此可以更加适当地确定图像的权值图，尤其适用于图像笔画信息丰富的白板图像。

另外，根据本发明优选实施例的多曝光图像融合处理中分解得到反映反光区域的不同尺度特征的粗糙层子图像和反映图像内容细节特征的细节层子图像，然后分别对各个反光区域的对应细节层子图像和粗糙层子图像进行融合处理，由此特别增强了反光区域细节特征，尤其适合于对于可能丢失了细节特征的反光区域的内容增强处理。

另外，根据本发明优选实施例的质量增强单元可以去除融合后反光区域中的光源颜色污染，进一步提高图像质量。

另外，根据本发明优选实施例的基于泊松方程求解的贴回方法可以较高质量实现两幅图像的无缝拼贴。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，前面多次以白板场景图像为例说明类别模型构建方法，但此仅为示例，本发明并不局限于此，而是可以应用于各种图像，例如人物图像或自然场景图像等。

另外，前面提到参考图像为照相机在自动参数设置下拍摄的图像，不过此仅为示例，参考图像可以是照相机在用户手动设置参数下拍摄的图像。

另外，前文曾提到参数可以人工设置，不过这仅为示例，本发明并不局限于此，前述各个参数可以通过各种学习方法或者参数优化方法来得到。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。例如，图10中图示的顺序为反光区域子图像获取步骤S610在前，权值计算步骤S620在后，但是显然可以先执行权值计算后执行反光区域子图像获取，或者并行执行该两个步骤。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种多曝光图像融合装置，包括：

反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及

多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。

2.根据权利要求1的多曝光图像融合装置，其中

多曝光图像反光区域融合单元还包括反光区域子图像获取单元，

反光区域子图像获取单元将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像；

其中，所述反光区域子图像获取单元通过利用多尺度滤波器分解所述多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及

所述反光区域子图像获取单元通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映所述每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。

3.根据权利要求1的多曝光图像融合装置，所述多曝光图像反光区域融合单元通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。

4.根据权利要求2的多曝光图像融合装置，其中，

所述多曝光图像反光区域融合单元对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及

基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。

5.根据权利要求1的多曝光图像融合装置，还包括：

质量增强单元，用于去除融合获得的反光区域图像中的光源颜色污染。

6.根据权利要求1的多曝光图像融合装置，其中，

所述多个曝光程度不同的图像包括参考图像和辅助图像，参考图像为照相机在自动参数设置下拍摄的图像，辅助图像包括曝光过度及不足的图像，以及

所述多曝光图像融合装置还包括图像贴回单元，用于通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。

7.根据权利要求1的多曝光图像融合装置，其中

所述多个曝光程度不同的图像包括参考图像和辅助图像，参考图像为照相机在自动参数设置下拍摄的图像，辅助图像包括曝光过度及不足的图像，

其中所述反光区域提取单元利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。

8.根据权利要求7的多曝光图像融合装置，其中所述预定的图像分类器通过以下步骤训练得到：

(1)输入M幅一组关于同一场景且光照条件不同的图像T_i(x,y),i＝1,...,M，其中，完全不包含反光区域的图像T_g(x,y)称为基准图像，序列中的其余图像T_j(x,y),j＝1,...,M,j≠g称为训练图像，其中M为大于等于2的整数；

(2)计算基准图像T_g(x,y)及训练图像T_j(x,y)的梯度图像，得到基准梯度图像G_g(x,y)及训练梯度图像G_j(x,y)；

(3)根据如下公式对基准梯度图像G_g(x,y)进行阈值化处理以生成笔画引导图A_g(x,y)，

$A_g(x,y)=\left\{\begin{array}{c}1,G_g(x,y)>\mathrm{\&theta;}\\ 0,otherwise\end{array}\right.$

其中，θ为阈值；

(4)根据笔画引导图A_g(x,y)利用如下公式计算训练梯度图像G_j(x,y)的不可见度IV(j)，即计算仅发生在笔画引导图A_g(x,y)＝1的像素点，

$IV\left(j\right)=\frac{\underset{(x,y)\&cap;A_g(x,y)=1}{\mathrm{\&Sigma;}}|G_g(x,y)-G_j(x,y)|}{\underset{g=1}{\overset{n}{\mathrm{\&Sigma;}}}{A}_g(x,y)}$

其中，n为训练梯度图像G_j(x,y)的像素个数；

(5)预先将训练图像序列分为C(l),l∈[1,S]类，S表示类别个数，为大于等于2的整数，根据训练梯度图像G_j(x,y)的不可见度IV(j)将训练图像T_j(x,y)归类到C(l)，计算方法为，

$T_j(x,y)\&SubsetEqual;C\left(l\right),IV\left(j\right)\&Element;\&lsqb;K_{l-1},K_l\&rsqb;$

$K_l=l\frac{K_S}{S}$

其中，K_l-1,K_l分别为第C(l)类图像的不可见度的上、下限，K_S为最大不可见度；

(6)计算类别l的模型向量M(l),l∈[1,S]，计算方法为，

$M\left(l\right)=\left(ave\right(\frac{Meanmap(l,R)}{Meanmap(l,G)}\left)\right),ave\left(\frac{Meanmap(l,G)}{Meanmap(l,B)}\right),ave\left(\frac{Meanmap(l,B)}{Meanmap(l,R)}\right))$

$Meanmap(l,Ch)=\frac{K_s}{S}\underset{IV\left(j\right)=K_{l-1}}{\overset{K_l}{\mathrm{\&Sigma;}}}$ T_j,ch(x,y)；Ch＝R,G,B

$ave\left(t\right(x,y\left)\right)=\frac{1}{n}\underset{(x,y)}{\overset{n}{\mathrm{\&Sigma;}}}t(x,y)$

其中，Meanmap(l,Ch)为属于第C(l)类的所有训练图像T_j(x,y)的Ch色彩通道的均值图；T_j,Ch(x,y)表示训练图像T_j(x,y)的Ch色彩通道图像；ave(t(x,y))为任意图像t(x,y)按像素的均值，n为图像t(x,y)的像素个数；

人工指定类别模型向量M(l),l∈[1,S]的反光区域提取阈值δ(l)。

9.根据权利要求8的多曝光图像融合装置，其中所述反光区域提取单元利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域包括：

(1)计算参考图像I_r(x,y)的匹配向量计算方法为，

$I_r^M=\left(ave\right(\frac{I_{r,R}(x,y)}{I_{r,G}(x,y)}),ave(\frac{I_{r,G}(x,y)}{I_{r,B}(x,y)}),ave(\frac{I_{r,B}(x,y)}{I_{r,R}(x,y)}\left)\right)$

其中，I_r,Ch(x,y)表示训练图像I_r(x,y)的Ch色彩通道图像，Ch＝R,G,B；

(2)计算参考图像I_r(x,y)的类别，计算方法为，

$I_r(x,y)\&SubsetEqual;C\left(l\right),\left|\right|I_r^M-M\left(l\right)|{|}^2<\mathrm{\&epsiv;},l\&Element;\&lsqb;1,S\&rsqb;$

其中，ε为类型匹配阈值；

(3)根据阈值δ(l)计算参考图像I_r(x,y)的反光区域位置，得到反光区域左上角(x₁₁,y₁₁)、右上角(x₁₂,y₁₂)、左下角(x₂₁,y₂₁)及右下角(x₂₂,y₂₂)坐标，从而提取出参考反光区域图像F_r(x,y)；

(4)根据上述步骤(3)得到的反光区域位置信息从辅助图像I_j(x,y)中提取出辅助反光区域图像F_j(x,y)。

10.一种多曝光图像融合方法，包括

提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及

融合所述多个反光区域的图像。