CN114283101A - 一种多曝光图像融合的无监督学习方法、装置及电子设备 - Google Patents

Abstract

本发明公开一种多曝光图像融合的无监督学习方法、装置及电子设备，方法包括：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I_ini；将中间融合图像I_ini作为光照调节单元IAN的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；输入实际待处理图像至图像融合网络，利用训练完毕的视觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。本发明的有益效果是：能够生成具有自然颜色、高对比度和整体清晰场景表示的融合图像。

Description

一种多曝光图像融合的无监督学习方法、装置及电子设备

技术领域

本发明涉及图像融合领域，尤其涉及一种多曝光图像融合的无监督学 习方法、装置、及电子设备。

背景技术

动态范围(Dynamic Range，DR)用以描述相机在单个帧中可以记录的 最亮和最暗色调之间的比率。数字摄影的主要目标是以生动的色彩、良好 的对比度和丰富的纹理来记录自然场景。然而，由于现有成像设备的亮度 差异和有限的动态范围，拍摄的图像要么曝光不足，要么曝光过度。不良 的曝光结果不仅会降低视觉效果，还会降低后续高层次计算机视觉任务(如 目标检测和跟踪)的性能。因此，发展高动态范围(High Dynamic Range，HDR)成像技术，使场景表现更加完整，具有十分重要的意义。

作为高动态范围成像的一种经济高效的解决方案，多重曝光图像融合 (Multi-exposure Image Fusion，MEF)旨在保留多重曝光图像中最清晰的 部分，同时调整整体曝光和不良曝光区域。根据基本理论的不同，现有的 多曝光图像融合方法大致可分为三类：变换域、空间域和基于深度学习的 方法。前两类已经发展了很多年，因此被称为传统的融合方法。然而，传 统方法对提取的特征建模和设计融合规则非常费时费力，因此，其性能在很大程度上受到限制。

在过去的十几年中，深度学习已被证明是融合多曝光图像的有效方法。 与传统的多曝光图像融合方法相比，基于深度学习的图像融合方法有两个 优点：(1)利用大量的源图像对网络进行训练，从而可以提取出更多具有 特定特征的信息性特征。(2)基于深度学习的方法是端到端的模型，能够 自适应地融合和重构源图像的特征，大大降低了实现复杂度。现有的基于 深度学习的MEF方法已经取得了一些进展。但仍存在一些有待改进的问题。首先，基于监督学习的方法的性能在很大程度上取决于高质量的参考图像。 实际上，受现有成像技术的限制，参考图像通常不会在所有区域都很好地 曝光，并且获取参考图像总是昂贵且耗时。其次，现有的基于无监督学习 的方法大多只融合亮度通道，而忽略了与色度通道的相关性，导致一定程 度的颜色失真。第三，对比度、饱和度和纹理等结构信息的保存是大多数 方法提出网络和损失函数的主要动机。然而，藏在曝光不足和曝光过度区 域的细节仍未清晰恢复，无法很好地实现局部照明调整。

发明内容

为了克服上述问题，本发明提出了一种多曝光图像融合的无监督学习 方法(ACE-MEF)。提出的ACE-MEF由两个模块组成：视觉特征保持(Visual CharactersiticPreservation，VPN)和光照调节(Illumination Adjustment，IAN)。 VPN用于保存源图像中最有用的视觉信息。IAN揭示了更多的纹理信息， 这些信息由于过度曝光和曝光不足的图像之间的巨大光照差异而被部分隐 藏。为了消除对参考图像的依赖，本发明构造了一个特定的融合损失函数， 该函数可以自适应地约束中间融合图像与源图像在颜色和对比度信息方面 的相似分布。将输入图像的对比度、饱和度和曝光度线性组合以测量视觉 清晰度，然后计算自适应权重图。为了避免视觉伪影，VPN中还引入了平 滑度损失。然而，受真实场景光照复杂度的限制，采用不同曝光设置拍摄 的图像往往无法覆盖整个动态范围，因此在某些光照条件较差的区域很难 恢复清晰的外观。为了解决这个问题，本发明将彩色视觉特征保留图像转 换到HSV空间，保留所有颜色(色调和饱和度)，并且只将亮度通道输入 到IAN中。IAN预测参数图，然后在伽马曝光调整函数中采用这些参数图 来恢复不满意的局部曝光。

本发明的技术方案提供一种多曝光图像融合的无监督学习方法，包括 以下步骤：

S101：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；

S102：将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉 特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视 觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I_ini；

S103：将中间融合图像I_ini作为光照调节单元IAN的输入，训练所述光 照调节单元，得到训练完毕的光照调节单元；

S104：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特 征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

进一步地，所述视觉特征保持单元VPN采用编码器-解码器网络进行特 征提取和图像重建；编码器增加密集连接模块；解码器采用多个卷积层。

进一步地，所述视觉特征保持单元VPN不包含上采样和下采样单元。

进一步地，所述视觉特征保持单元VPN的损失函数为视觉特征保持损 失L_VPN；视觉特征保持损失L_VPN包括用于保存原图像颜色和对比度的MEF 损失L_MEF和用于保持图像视觉效果的TV平滑损失L_TV；其中：

L_VPN＝L_MEF+αL_TV (1)

其中α是平衡L_MEF和L_TV影响的超参数，根据实际情况预设。

进一步地，所述MEF损失L_MEF如下式：

其中

为中间融合图像i，

为中间融合图像i对应的过曝图像，

为 中间融合图像i对应的曝光不足图像；ω_o、ω_u分别为过曝图像权重图和曝 光不足图像的权重图；MEF损失L_MEF采用自适应清晰度评估权重图。

进一步地，所述光照调节单元IAN采用U-Net架构。

进一步地，所述光照调节单元IAN的损失函数L_IAN由两部分组成，分别 为变亮损失函数L_lighten和变暗损失函数L_darken；其中：

L_IAN＝L_lighten+L_darken (3) 。

本发明提供一种多曝光图像融合的无监督学习装置，包括：

构建图像融合网络模块，所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；

视觉特征保持单元VPN训练模块：将曝光不足图像I_u和曝光过度图像 I_o作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单 元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN 输出中间融合图像I_ini；

光照调节单元IAN训练模块：将中间融合图像I_ini作为光照调节单元IAN 的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；

预测模块：输入实际待处理图像至图像融合网络，利用训练完毕的视 觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

本发明还提供了一种计算机设备，其包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所 述计算机程序时实现上述多曝光图像融合的无监督学习的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质 存储有计算机程序，所述计算机程序被处理器执行时实现上述多曝光图像 融合的无监督学习的步骤。

与现有技术相比，本发明的有益效果包括：能够生成具有自然颜色、 高对比度和整体清晰场景表示的融合图像。

附图说明

图1是本发明提供的一种多曝光图像融合的无监督学习方法的流程示 意图。

图2是融合网络的整体框架；

图3是本申请视觉特征保持单元VPN的结构图；

图4是卷积核f的八个方向卷积滤波器构造示意图；

图5是权重图计算示意图；

图6是伽马函数图象示意图；

图7是IAN结构图；

图8是第一对源图像的定性结果；

图9是第二对源图像的定性结果；

图10是定量实验结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种多曝光图像融合的无监督学习方法。请参考图1，该 方法包括以下步骤：

S101：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；

S102：将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉 特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视 觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I_ini；

S103：将中间融合图像I_ini作为光照调节单元IAN的输入，训练所述光 照调节单元，得到训练完毕的光照调节单元；

S104：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特 征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

作为一种实施例，请参考图2，图2是融合网络的整体框架；

融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；其中视 觉特征保持单元VPN的作用是在没有参考图像引导的情况下保留视觉特征， 如对比度、纹理和颜色信息。

作为一种实施例，视觉特征保持单元VPN将曝光不足和曝光过度的图 像作为输入，并输出中间融合图像，用于后续曝光校正。

请参考图3，图3是本申请视觉特征保持单元VPN的结构图；本申请 所提出的VPN采用编码器-解码器网络进行特征提取和图像重建，这对于基 于无监督学习的高质量图像恢复任务是有效的。

作为一种实施例，本申请在编码器网络中增加了密集连接，有利于充 分利用浅层特征，避免训练时梯度消失。

作为一种实施例，对于解码网络，采用多个卷积层逐步细化特征映射， 消除冗余特征。

参考图3，最后一个卷积层的输出是具有6个通道的权重图，接下来捕 获这些权重映射，与输入图像进行像素级乘法，以获得中间融合图像。

此外，VPN中不包含向下和向上采样操作，因为纹理信息无法从向下 采样特征图中完全恢复，这可能导致结果中的细节丢失

作为一种实施例，本申请定义了视觉特征保持损失L_VPN来优化VPN的 网络权重，L_VPN由两项组成：

MEF损失L_MEF用于保存源图像中的颜色和对比度信息；

TV平滑损失L_TV确保VPN可以在融合结果中产生具有良好视觉效果的 亮度：

L_VPN＝L_MEF+αL_TV (1)

其中α是平衡L_MEF和L_TV影响的超参数。MEF损失的数学定义如下：

其中ω_u和ω_o分别表示曝光不足和曝光过度图像的权重图，f是卷积滤 波器，与卷积运算符*一起使用，以捕获目标图像的颜色和对比度信息。

为中间融合图像i，

为中间融合图像i对应的过曝图像，

为中间融合图 像i对应的曝光不足图像；

目标区域的所有方向都可能出现像素强度差异，因此本申请定义了统 一卷积核f，它由八个不同方向的滤波器按像素方向求和。请参考图4，图 4是卷积核f的八个方向卷积滤波器构造示意图。

为了更直观地显示卷积滤波器如何捕获颜色和对比度信息，本申请在I_ini的R通道的j-th方向上展开卷积运算公式，如下所示：

上式(3)表明，卷积图像在位置(x,y)上的像素值是由其值与该方向上 的临近像素差之和组成的。因此，最小化公式(2)中卷积的I_ini和I_u(I_o) 之间的欧氏距离能够保持像素强度和对比度。在R、G和B通道中保留像 素强度分布即可保留色彩信息。

作为一种实施例，关于公式(2)中的权重图计算；本申请采用自适应 清晰度评估来计算权重图。请参考图5，图5是权重图计算示意图；图5中 的源图像，可以发现曝光不足的图像中的天空和墙壁更清晰，而曝光过度 的图像拥有更多关于树木和门的细节。具体地说，本申请采用三个指标并 以其线性结合的方式，表明场景清晰度；

ω＝C+S·E (4)

其中，C、S和E分别表示对比度、饱和度和曝光图。对比度定义如下：

C＝I²*G_r,σ-(I*G_r,σ)² (5)

其中，G_r，σ表示高斯平滑滤波器，其大小为(2r+1)*(2r+1)，标准 偏差为σ。

对比度值越大，附近出现的边缘信息越多。饱和度计算如下式：

饱和度值取决于颜色的亮度，最后，曝光图的公式如下：

其中μ_e表示良好曝光值，优先地，本申请将其设置为0.7，E用于测量 与所需曝光的接近度，而清晰区域的曝光度通常更接近μ_e。σ_e是曝光偏差， 在本实施例中，设置为0.2。

作为其它实施例，三个指标的线性组合可以正确地为感知更清晰的区 域分配更大的权重。

作为一种实施例，权重图引导VPN在曝光过度和曝光不足的图像中保 留更清晰的区域。然而，由于曝光不足和曝光过度的图像之间的巨大光线 差异，可能会出现一些伪影。为了保持结果图像中相邻像素之间的单调关 系，本申请对VPN中最后一个卷积层输出的所有权重图引入了总变差(TV) 平滑度损失。

TV平滑度损失L_TV定义如下：

其中，W和N分别表示VPN中最后一个卷积层的输出和通道数，

和

表示水平和垂直方向的求梯度操作。

作为一种实施例，所述光照调节单元IAN采用U-Net架构。

IAN的关键是在保留曝光良好区域的同时，对一些曝光不良区域进行光 线校正。向下和向上采样操作可以极大地扩展感受野，因此可以同时实现 全局和局部照明调整。此外，跳跃连接使网络能够加快训练过程，避免梯 度爆炸。

为了非线性地调整照明，本申请采用伽马校正函数和IAN重建融合图像 的亮度通道I_F ^(v)。伽马函数定义如下：

γ(I；A)＝I^A (9)

如果A是一个单一值，则它对I中所有像素的求幂意味着全局调整，这 可能会导致更多曝光不足或过度增强的区域。

因此，本申请采用IAN来预测A的参数映射，因此每个像素都有自己 的调整参数。不同调整参数下的伽马函数图如图6所示。很明显，伽马函 数在a<1时起提亮作用，在a>1时用作降低曝光度。

本申请通过限制大小为16×16的所有子区域的平均值(接近给定的理 想曝光值0.7)，调整I_F ^(v)的照明分布，这有助于使欠曝光区域变得更清晰。

本申请在提亮后为I_L ^(v)添加了一个变暗操作，通过该操作可以保留曝光 不足区域中的变亮纹理，并消除I_L ^(v)中的过度增强。在两个参数图A₁和A₂下，通过伽马函数实现变亮和变暗操作

IAN的整个过程如图7所示。中间融合图像I_ini和最终结果图像I_F也在其 中展示，以证明两次伽马矫正的有效性。可以看出，I_F在矩形区域和门内区 域显示出更丰富的纹理信息。

作为一种实施例，预测参数图A₁和A₂分别应用于变亮和变暗操作。因此， 本申请定义了以下损失L_IAN，以指导对IAN的训练。

L_IAN＝L_Iighten+L_darken (10)

其中，L_lighten和L_darken分别表示变亮和变暗损失函数。L_lighten的定义如下：

高斯平滑滤波器G_r,σ在这里与I_L ^(v)进行卷积，以计算所有局部区域中的 平均值，L_lighten将它们限制在接近0.7的范围内，从而增强照明分布。L_darken的定义如下：

暗度损失L_darken指导IAN通过最小化I_F ^(v)和

之间的光差来消除I_L ^(v)中的过度增强。由于过度曝光区域具有较大的像素值，因此IAN将为这些 区域生成较大的参数，而为I_L ^(v)中的良好曝光区域生成相对较小的参数。 因此，伽马校正将选择性地使过度曝光区域变暗，而不会干扰I_L ^(v)中的良 好曝光区域。

本发明提供一种多曝光图像融合的无监督学习装置，包括：

构建图像融合网络模块，所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；

视觉特征保持单元VPN训练模块：将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单 元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN 输出中间融合图像I_ini；

光照调节单元IAN训练模块：将中间融合图像I_ini作为光照调节单元IAN 的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；

预测模块：输入实际待处理图像至图像融合网络，利用训练完毕的视 觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

本发明还提供了一种计算机设备，其包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所 述计算机程序时实现上述多曝光图像融合的无监督学习的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质 存储有计算机程序，所述计算机程序被处理器执行时实现上述多曝光图像 融合的无监督学习的步骤。

最后，作为一种实施例，本申请与现有MEF方法进行比较，结果参考 图8-10；图8是第一对源图像的定性结果；图9是第二对源图像的定性结 果；图10是定量实验结果；

由图8-9可以看出本申请的方法较其他MEF方法保留了更多的细节信 息，同时具有更好的对比度和更明亮的颜色信息。

本申请选取了定量指标AG(Average Gradient)、MI(Mutual Information)、 PSNR(Peak Signal-to-noise Ratio)和SSIM(Structural Similarity Index Measure)。在SCIE数据集中选择了20对未包含在训练集中的多曝光图像 对进行比较，图10中提供了六种MEF算法在四个指标上的结果。MI和SSIM 的最高平均值表明，本申请的方法的结果与源图像具有最高的结构相似性 和线性相关性。最大峰值信噪比表明，本申请的方法实现了最低的结构失 真，并且在结果图像中包含了最少的噪声。本申请的ACE-MEF仅低于 MEF-GAN的第二大AG值，这表明MEF-GAN可以保留比我们的方法更多 的梯度信息。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先 后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施 例的实施过程构成任何限定。

本发明的有益效果是：能够生成具有自然颜色、高对比度和整体清晰 场景表示的融合图像。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。 任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包 含在本发明权利要求的保护范围内。

Claims (10)

1.一种多曝光图像融合的无监督学习方法，其特征在于：包括以下步骤：

S101：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；

S102：将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I_ini；

S103：将中间融合图像I_ini作为光照调节单元IAN的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；

S104：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

2.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN采用编码器-解码器网络进行特征提取和图像重建；编码器增加密集连接模块；解码器采用多个卷积层。

3.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN不包含上采样和下采样单元。

4.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN的损失函数为视觉特征保持损失L_VPN；视觉特征保持损失L_VPN包括用于保存原图像颜色和对比度的MEF损失L_MEF和用于保持图像视觉效果的TV平滑损失L_TV；其中：

L_VPN＝L_MEF+αL_TV (1)

其中α是平衡L_MEF和L_TV影响的超参数，根据实际情况预设。

5.如权利要求4所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述MEF损失L_MEF如下式：

其中

为中间融合图像i，

为中间融合图像i对应的过曝图像，

为中间融合图像i对应的曝光不足图像；ω_o、ω_u分别为过曝图像权重图和曝光不足图像的权重图；MEF损失L_MEF采用自适应清晰度评估权重图。

6.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述光照调节单元IAN采用U-Net架构。

7.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述光照调节单元IAN的损失函数L_IAN由两部分组成，分别为变亮损失函数L_lighten和变暗损失函数L_darken；其中：

L_IAN＝L_lighten+L_darken (3)。

8.一种多曝光图像融合的无监督学习装置，其特征在于：包括：

构建图像融合网络模块，所述融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；

视觉特征保持单元VPN训练模块：将曝光不足图像I_u和曝光过度图像I_o作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I_ini；

光照调节单元IAN训练模块：将中间融合图像I_ini作为光照调节单元IAN的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；

预测模块：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。

9.一种计算机设备，其特征在于：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项多曝光图像融合的无监督学习的步骤。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实现权利要求1-7任一项多曝光图像融合的无监督学习的步骤。

Images