CN115661012A - 一种基于全局-局部聚合学习的多曝光图像融合系统 - Google Patents
一种基于全局-局部聚合学习的多曝光图像融合系统 Download PDFInfo
- Publication number
- CN115661012A CN115661012A CN202211239436.7A CN202211239436A CN115661012A CN 115661012 A CN115661012 A CN 115661012A CN 202211239436 A CN202211239436 A CN 202211239436A CN 115661012 A CN115661012 A CN 115661012A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- module
- feature
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于全局‑局部聚合学习的多曝光图像融合系统,包括:协同聚合模块,获取融合所需的图像特征;融合模块,根据图像特征对融合结果进行重构;循环精校模块,利用循环机制不断地从图像中挖掘信息,对融合结果进行微调。本发明可以根据低动态范围图像直接生成细节丰富曝光平衡的高动态范围图像;利用协同聚合模块从源图像中挖掘相关特征,成功构建一种融合全局信息和局部信息的特征提取机制。其次,提出了一种特殊的融合模块来重建融合后的图像,有效地避免了伪影,抑制了信息的衰减。此外,还利用循环精校模块进一步微调融合结果,从源图像中捕捉更多的纹理细节。
Description
技术领域
本发明涉及图像融合技术领域,具体涉及一种基于全局-局部聚合学习的多曝光图像融合系统。
背景技术
自然场景中光影信息丰富,会在人眼呈现出丰富多彩的图像。然而,数码相机难以准确记录曝光良好的图像。单张图像在某些区域经常会出现曝光过度或曝光不足的现象。产生这种现象的原因是真实场景中动态范围远高于成像或显示设备的输出动态范围。为了应对这种限制,研究人员通常采用高动态成像设备和普通成像设备。高动态成像设备可以通过专业的硬件条件直接获得拍摄场景的高动态范围(HDR)图像。常见的普通成像设备依靠目标场景在不同曝光水平下的多幅LDR图像序列,通过曝光融合算法合成一张细节清晰、色彩逼真的HDR图像。因此,稳定的HDR图像受两个因素影响:LDR图像的数量和融合策略的性能。根据LDR图像的数量,当前融合任务可分为非极端曝光融合和极端曝光融合。但是过多的LDR图像无疑会增加存储负担和时间成本。
在过去的几十年里,研究人员一直致力于多曝光融合(MEF)任务,并产生了大量的优秀作品。这些工作大致可以分为两类,即基于传统方法和基于深度学习方法。对于传统类别,现有融合方法主要基于变换域和空间域。前者将图像序列分解为变换域,然后设计融合规则重建融合图像。后者直接在图像的像素空间上融合,其像素值是线性计算的。此类方法的局限性在于需要手动设计融合规则,容易导致融合图像的颜色偏差和细节模糊,时间效率较低。
此外,深度学习近年来变得非常流行,同时它已成功应用于图像增强、超分辨率、图像恢复和其他低级图像任务中。由于深度学习出色的特征表示能力,研究人员也将其引入MEF领域。现有大多数基于深度学习的MEF方法都利用卷积神经网络(CNN)来提取特征。与传统方法相比,卷积神经网络可以直接与图像像素交互以获得所需的信息,更接近人类视觉系统的工作方式。然而,这些MEF方法也存在一些缺点:(1)仅通过卷积操作捕获局部邻域的特征,忽略了整体依赖性并丢失了一些基本的全局上下文。(2)某些方法使用的融合策略未能很好地融合从源图像中获得的特征。而且,这些方法在融合过程中容易造成信息退化,导致融合结果产生结构缺陷和颜色偏差。(3)由于极度曝光的图像之间的间隙较大,太亮或太暗区域细节信息难以被充分利用,故融合结果可能会出现目标不清晰、视觉感知差的情况。
发明内容
本发明的目的在于,提供一种基于全局-局部聚合学习的多曝光图像融合系统,其有效地避免了伪影,抑制了信息的衰减,提高了融合图像的纹理细节。
为实现上述目的,本申请提出一种基于全局-局部聚合学习的多曝光图像融合系统,包括:
协同聚合模块,获取融合所需的图像特征;
融合模块,根据图像特征对融合结果进行重构;
循环精校模块,利用循环机制不断地从图像中挖掘信息,对融合结果进行微调。
进一步的,所述协同聚合模块,包括:
非局部注意力推理模块,用于从特征映射中获取全局依赖关系;
局部自适应学习模块,作为学习相关局部特征的补充。
进一步的,所述非局部注意力推理模块,通过高斯随机特征逼近和改变乘法顺序来获得图像的全局特征信息,具体为:
用三个不同的卷积层处理初始图像特征Fo,得到中间特征表示序列K、Q、V;
获取m个不同的高斯随机样本F1···Fm,并将它们连接成一个高斯随机矩阵F;
进一步的,所述局部自适应学习模块,包括下采样阶段和上采样阶段;
在第一个下采样阶段,对初始图像特征Fo进行全局平均池化(GAP),然后使用最大池操作(MaxPool)来保存邻域中最重要的信息,分辨率降低到后,传递到卷积层以获取特征图a;在第二个下采样阶段,使用平均池化操作(AvgPool)处理特征图a,将处理后的结果传递到另一卷积层以获得大小为的中间特征图;
更进一步的,本系统的总损失函数为:其中,Lfused是融合损失函数,包含结构相似性损失函数LSSIM、均方误差损失函数LMSE和总变差损失函数LTV;此外,还引入了两个超参数α和β,其融合过程定义为:
Lfused=LSSIM+αLMSE+βLTV
在训练阶段,结构相似性损失函数能更好地从图像中学习结构信息,而均方误差损失函数用于确保像素级重建;因此,LSSIM和LMSE被分别定义为:
LSSIM=1-SSIM(If,Ii)
LMSE=||If-Ii||2
总变差损失LTV用于更好地保留源图像中的梯度,并进一步消除噪声,其定义如下:
R(p,q)=If(p,q)-Ii(p,q)
其中,R(p,q)表示原始图像和融合图像之间的差,||·||2表示L2范数,p,q分别表示图像像素的水平和垂直坐标。
本发明采用的以上技术方案,与现有技术相比,具有的优点是:本发明可以根据低动态范围图像直接生成细节丰富曝光平衡的高动态范围图像;利用协同聚合模块从源图像中挖掘相关特征,成功构建一种融合全局信息和局部信息的特征提取机制。其次,提出了一种特殊的融合模块来重建融合后的图像,有效地避免了伪影,抑制了信息的衰减。此外,还利用循环精校模块进一步微调融合结果,从源图像中捕捉更多的纹理细节。本系统可以在视觉感知中生成生动的融合结果也同时保证了量化指标,因此有助于多曝光图像融合的发展。
附图说明
图1为基于全局-局部聚合学习的多曝光图像融合系统原理图;
图2为协同聚合模原理图;
图3为融合模块原理图;
图4为循环精校模块原理图;
图5为在SICE图像数据集上本专利和其他先进融合方法间的定性比较图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请,即所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例1
如图1所示,本申请提供一种基于全局-局部聚合学习的多曝光图像融合系统,具体包括:
协同聚合模块,获取融合所需的图像特征;
具体的,该模块包括两个子模块:一个是非局部注意力推理模块,另一个是局部自适应学习模块,具体细节如图2所示。
非局部注意推理模块(NLAIN)可以获得源图像中更多相关的全局特征。在非局部注意力机制基础上,采用核方法来逼近指数函数,这种方式很大程度上抑制无关特征融合的同时降低计算复杂度。具体的,通过高斯随机特征逼近和改变乘法顺序来获得图像的全局特征信息。用三个不同的卷积层处理初始图像特征Fo,得到中间特征表示序列K、Q、V;本实施例设置了m个不同的高斯随机样本F1···Fm,并将它们连接成一个高斯随机矩阵F。图2(B部分)展示了具体的变换过程。序列Q,序列K与高斯随机矩阵F相乘,完成Q、K到 的具体映射;序列V与再相乘,对结果进行归一化(用N表示),生成聚集全局信息的特征序列具体表示如下:
此外,为了进一步提高NLAIN的性能,还使用稀疏聚集(Sparse Aggregation)来过滤无关信息并放大相关信息的权重。即在卷积层处理初始图像特征Fo过程中,将初始特征图Fo乘以放大系数k(k>1)会强制非局部注意对相关信息赋予更高的聚集权重,其实质是增强非局部注意权重的稀疏性。具体表示为其中θ(·)是特征变换。
局部自适应学习模块是对非局部注意推理模块的补充,用来学习局部信息。分为两个阶段:下采样阶段和上采样阶段,如图2(A部分)所示。在第一个下采样阶段,对初始图像特征Fo进行全局平均池化,然后使用最大池操作来保存邻域中最重要的信息,分辨率降低到 后,传递到卷积层以获取特征图a;在第二个下采样阶段,使用平均池化操作处理特征图a,将处理后的结果传递到另一卷积层以获得大小为的中间特征图;在上采样阶段,对中间特征图使用Sub-pixel进行上采样,得到大小为的特征图b;将特征图a和特征图b在通道上进行级联,然后传入1×1卷积层;使用Sub-pixel产生局部权值图的特征序列并用Sigmoid函数将归一化为[0,1]。
融合模块,根据图像特征对融合结果进行重构;
具体的,如图3所示,该模块利用协同聚合模块生成的两个特征序列保留源图像的全局-局部信息,进而来重建融合图像。具体地说,首先级联特征序列与初始图像特征Fo,目的是平衡像素强度分布并同时克服小区域中的细节丢失。然后对这些序列进行四次卷积运算,获得初步融合特征。同时,为了弥补协调聚合模块提取过程中丢失的信息,引入了初始图像特征Fo,并增加了一个加法操作addition operation,将初始图像特征Fo与第二次卷积输出结果相加在一起,可以得到一个初步的友好融合图像为了进一步提高融合图像的细节质量,本发明引入了循环精校模块(RRM)来生成预测特征图p,从而指导生成具有互补和完整信息的最终融合结果。
循环精校模块,利用循环机制不断地从图像中挖掘信息,对融合结果进行微调。
具体的,为了改善融合图像的细节纹理,该模块构造了一个具有三个卷积层的递归精化网络其细节如图4所示。RRM被定义为 其中pt和pt-1分别是第t次迭代和第t-1次迭代的预测特征图。初始预测图被定义为零,迭代次数Tmax可以设置为3。随着迭代次数的增加,预测特征图的数据分布更接近于初始图像特征Fo的分布。
为了鼓励本系统从源图像中学习像素级信息,且能够捕获图像中的结构和梯度信息。本发明引入了三种损失函数来约束原始图像Ii和最终融合图像If之间的相似性。总损失函数采用如下形式: 其中,Lfused是融合损失函数,包含结构相似性损失函数LSSIM、均方误差损失函数LMSE和总变差损失函数LTV。此外,还引入了两个超参数α和β,其融合过程定义为:
Lfused=LSSIM+αLMSE+βLTV
在训练阶段,结构相似性损失函数帮助系统更好地从图像中学习结构信息,而均方误差损失函数用于确保像素级重建。因此,LSSIM和LMSE被分别定义为:
LSSIM=1-SSIM(If,Ii)
LMSE=||If-Ii||2
总变差损失LTV用于更好地保留源图像中的梯度,并进一步消除噪声。其定义如下:
R(p,q)=If(p,q)-Ii(p,q)
其中R(p,q)表示原始图像和融合图像之间的差,||·||2表示L2范数,p,q分别表示图像像素的水平和垂直坐标。
本发明在SICE图像数据集上选取了测试图像序列与十种最先进的多曝光图像融合方法进行比较。为了进行充分的比较,在图5中分别展现了整体效果和局部特征细节。观察图中细节可知,本发明的融合结果无论是颜色还是细节都恢复得很好。部分方法的融合结果有明显的黑色阴影,例如建筑物上方的天空和云层。部分区域颜色是曝光失衡,不能很好地恢复颜色信息,也容易出现细节模糊和结构缺陷,特别是房屋墙面和树的边缘。经过比较,本发明可以生成曝光平衡的图像,其细节和颜色都可以得到很好地恢复。
除了主观定性分析外,开始对图像质量进行客观分析,选取了多曝光图像融合任务中最常用也是最重要的2个图像指标MEF-SSIM和PSNR,来评估不同方法的融合能力。在SICE数据集上进行了定量分析。在100个测试图像对的基础上,分别计算了11种方法(包括本发明提出的方法)的两个指标平均值。表1给出了量化结果。结果表明,与其他十种方法相比,本发明生成的融合结果具有更高的MEF-SSIM和PSNR值。表中的统计数据也反映了本系统能够提供高质量的视觉结果,具有平衡的曝光和清楚的纹理细节。
表1为在SICE数据集上本专利和其他先进的融合方法间的定量比较
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (8)
1.一种基于全局-局部聚合学习的多曝光图像融合系统,其特征在于,包括:
协同聚合模块,获取融合所需的图像特征;
融合模块,根据图像特征对融合结果进行重构;
循环精校模块,利用循环机制不断地从图像中挖掘信息,对融合结果进行微调。
2.根据权利要求1所述一种基于全局-局部聚合学习的多曝光图像融合系统,其特征在于,所述协同聚合模块,包括:
非局部注意力推理模块,用于从特征映射中获取全局依赖关系;
局部自适应学习模块,作为学习相关局部特征的补充。
5.根据权利要求2所述一种基于全局-局部聚合学习的多曝光图像融合系统,其特征在于,所述局部自适应学习模块,包括下采样阶段和上采样阶段;
在第一个下采样阶段,对初始图像特征Fo进行全局平均池化,然后使用最大池操作来保存邻域中最重要的信息,分辨率降低到 后,传递到卷积层以获取特征图a;在第二个下采样阶段,使用平均池化操作处理特征图a,将处理后的结果传递到另一卷积层以获得大小为的中间特征图;
8.根据权利要求1所述一种基于全局-局部聚合学习的多曝光图像融合系统,其特征在于,本系统的总损失函数为: 其中,Lfused是融合损失函数,包含结构相似性损失函数LSSIM、均方误差损失函数LMSE和总变差损失函数LTV;此外,还引入了两个超参数α和β,其融合过程定义为:
Lfused=LSSIM+αLMSE+βLTV
在训练阶段,结构相似性损失函数能更好地从图像中学习结构信息,而均方误差损失函数用于确保像素级重建;因此,LSSIM和LMSE被分别定义为:
LSSIM=1-SSIM(If,Ii)
LMSE=||If-Ii||2
总变差损失LTV用于更好地保留源图像中的梯度,并进一步消除噪声,其定义如下:
R(p,q)=If(p,q)-Ii(p,q)
其中,R(p,q)表示原始图像和融合图像之间的差,||·||2表示L2范数,p,q分别表示图像像素的水平和垂直坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211239436.7A CN115661012A (zh) | 2022-10-11 | 2022-10-11 | 一种基于全局-局部聚合学习的多曝光图像融合系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211239436.7A CN115661012A (zh) | 2022-10-11 | 2022-10-11 | 一种基于全局-局部聚合学习的多曝光图像融合系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115661012A true CN115661012A (zh) | 2023-01-31 |
Family
ID=84987476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211239436.7A Pending CN115661012A (zh) | 2022-10-11 | 2022-10-11 | 一种基于全局-局部聚合学习的多曝光图像融合系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661012A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012626A (zh) * | 2023-03-21 | 2023-04-25 | 腾讯科技(深圳)有限公司 | 建筑立面图像的素材匹配方法、装置、设备和存储介质 |
-
2022
- 2022-10-11 CN CN202211239436.7A patent/CN115661012A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012626A (zh) * | 2023-03-21 | 2023-04-25 | 腾讯科技(深圳)有限公司 | 建筑立面图像的素材匹配方法、装置、设备和存储介质 |
CN116012626B (zh) * | 2023-03-21 | 2023-06-30 | 腾讯科技(深圳)有限公司 | 建筑立面图像的素材匹配方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | An experiment-based review of low-light image enhancement methods | |
Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
CN111429433A (zh) | 一种基于注意力生成对抗网络的多曝光图像融合方法 | |
CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
Ke et al. | Perceptual multi-exposure image fusion with overall image quality index and local saturation | |
Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
CN114648508A (zh) | 一种基于多维协同细化网络的多曝光图像融合方法 | |
Zhang et al. | A real-time semi-supervised deep tone mapping network | |
CN113850741A (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
CN115661012A (zh) | 一种基于全局-局部聚合学习的多曝光图像融合系统 | |
Chen et al. | End-to-end single image enhancement based on a dual network cascade model | |
CN111325679A (zh) | 一种Raw到Raw的暗光图像增强方法 | |
CN114638764B (zh) | 基于人工智能的多曝光图像融合方法及系统 | |
CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
Wang et al. | Single low-light image brightening using learning-based intensity mapping | |
Chen et al. | Low‐light image enhancement based on exponential Retinex variational model | |
Li et al. | Penrose high-dynamic-range imaging | |
Chen et al. | Back-projection residual low-light image enhancement network with color correction matrix |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |