CN117372272A - 一种基于注意力机制的多曝光的图像融合方法及系统 - Google Patents
一种基于注意力机制的多曝光的图像融合方法及系统 Download PDFInfo
- Publication number
- CN117372272A CN117372272A CN202311267981.1A CN202311267981A CN117372272A CN 117372272 A CN117372272 A CN 117372272A CN 202311267981 A CN202311267981 A CN 202311267981A CN 117372272 A CN117372272 A CN 117372272A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- detail
- original
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 13
- 238000007670 refining Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 4
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 3
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 230000016776 visual perception Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于注意力机制的多曝光的图像融合方法及系统，涉及图像处理技术领域，包括：获取多组相同场景下不同曝光值的原始图像；对原始图像进行预处理；对原始图像进行细节增强、颜色增强；对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。本发明将MEF任务的目标定位为生成信息丰富、视觉感受愉悦的融合结果。通过细节增强模块(DEM)、颜色增强模块(CEM)以及金字塔注意力重建模块实现了多曝光图像的融合，确保了融合后的图像保持了原始图像的像素位宽和细节信息。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于注意力机制的多曝光的图像融合方法及系统。
背景技术
多曝光图像融合是一种数字图像处理技术，用于合成不同曝光条件下的多张图像，以获得具有更广泛动态范围和更多细节的图像。通过图像对齐、曝光融合和色彩校正等步骤，多曝光图像融合能够克服摄影中亮度受限的问题，生成高动态范围(HDR)图像，广泛应用于摄影、计算机图形学和计算机视觉等领域，提供更好的视觉效果和真实感。
目前多曝光融合技术主要有以下方向：
1.使用特定空域特征的空域法。多曝光图像融合中的特定空域特征方法利用图像的局部特征进行融合，如边缘、纹理等。通过分析和融合这些特征，可以提高图像细节保留和曝光平衡。常见的方法包括基于边缘保留滤波器、纹理分析和加权融合等，以实现更好的图像融合效果。
2.基于变换域的方法。多曝光图像融合中的基于变换域的方法通过将图像转换到不同的变换域(如频域、小波域等)，进行融合处理。常见的方法包括基于小波变换的多尺度融合、频域滤波和变换域加权融合等。这些方法能够更好地处理图像的频率特性和局部细节，提高融合图像的质量和细节保留。
3.基于深度学习的方法。多曝光图像融合中的基于深度学习的方法利用卷积神经网络(CNN)或生成对抗网络(GAN)等深度学习模型来学习图像融合的映射关系。通过大规模数据训练，深度学习模型能够自动学习图像的特征表示和融合规则，实现高质量的图像融合，同时提高效率和稳定性。
使用特定空域特征的空域法和基于变换域的方法虽然效果较好，但是无法应用于数字成像系统中，其原因在于：
1.使用特定空域特征的空域法在多曝光图像融合中可能面临无法同时考虑信息量和视觉真实感这两个感知因素。这是因为特定空域特征方法通常着重于保留局部细节和纹理等特征，但在追求细节的同时可能牺牲了全局的曝光平衡和自然感觉。因此，特定空域特征方法需要在权衡信息量和真实感之间进行折衷，并在具体应用中根据需求进行调整和优化，以达到较好的图像融合效果。
2.基于变换域的方法可以更好地处理图像的频率特性和局部细节，但需要进行频域或变换域的计算，增加了计算复杂度和时间消耗。
3.基于变换域的方法对参数选择和适应不同图像的处理有一定挑战，可能需要进行参数调整和优化。因此，选择适当的方法取决于应用场景和需求。
发明内容
本发明提供了一种基于注意力机制的多曝光的图像融合方法及系统，解决现有技术中使用特定空域特征的空域法和基于变换域的方法虽然效果较好，但是无法应用于数字成像系统中的问题。
为解决上述发明目的，本发明提供的技术方案如下：一种基于注意力机制的多曝光的图像融合方法，其特征在于，步骤包括：
S1、获取多组相同场景下不同曝光值的原始图像；
S2、对原始图像进行细节增强，获得细节增强图像；
S3、对细节增强图像进行颜色增强，获得颜色增强图像；
S4、对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
优选地，步骤S1中，对原始图像进行预处理，包括：
将不同曝光值的原始图像加权归一化到同一亮度等级。
优选地，步骤S2中，对原始图像进行细节强度增强，获得细节增强图，包括：
根据原始图像，提取图像细节，寻找最佳局部曝光，获得细节增强图像。
优选地，根据原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像，包括：
获取原始图像I；
通过与曝光调节比α获得全局增益，当α>1时，图像升级为更高曝光级别；当α<1时，图像退化为较低曝光级别；
通过的形式交替分解I，R和E分别表示场景细节和曝光组件；变换得到：
其中，是元素方向的反向E；将/>替换为A；设定R包含最丰富的细节，则从I中寻求最优曝光调整图/>
通过标准差对原始图像I的细节丰富度σij进行计算：
基于曝光调整图通过/>获得细节分量/>
优选地，对所述图像进行细节强度增强，还包括：以两张不同曝光的源图像I1和I2作为输入，通过损失函数进行细节增强训练；其中DEM为融合图像生成具有更丰富细节的亮度分量Yf，色度分量将由CEM负责；
其中，DEM的函数可表示为：
Yf＝NDEM(I1,I2,θDEM) (2)
其中，NDEM表示以参数a为学习参数的DEM网络。
优选地，损失函数包括：
其中，lpix表示和Yf之间的归一化曼哈顿距离
优选地，步骤S3中，对细节增强图像进行颜色增强，获得颜色增强图像，包括：
对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对细节增强图像的外观进行细化。
优选地，对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对原始图像的外观进行细化，包括：
根据下述公式(4)将两幅源图像的亮度信息、色度分量信息和目标亮度作为输入，推断出最适合融合亮度的色度；
[Cbf,Crf]＝NCEM(I1,I2,Yf,θCEM) (4)
NCEM为CEM网络，参数为θCEM。
优选地，步骤S4中，对原始图像的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合，包括：
获取预设比例因子S＝{1,s1,s2,……,sn}，根据下述公式(5)，将原始图像的搜索空间从单一的特征映射扩展到多尺度的特征金字塔，进行多个指定尺度上特征相关性评估：
其中，δ(s)表示以输入x的索引j为中心的s2的邻域。
一种基于注意力机制的多曝光的图像融合系统，系统用于上述的基于注意力机制的多曝光的图像融合方法，系统包括：
数据获取模块，用于获取多组相同场景下不同曝光值的原始图像；对原始图像进行预处理；
细节增强模块，用于对原始图像进行细节增强，获得细节增强图像；
颜色增强模块，用于对细节增强图像进行颜色增强，获得颜色增强图像；
金字塔重建模块，用于对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
一方面，提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述基于注意力机制的多曝光的图像融合方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于注意力机制的多曝光的图像融合方法。
上述技术方案，与现有技术相比至少具有如下有益效果：
上述方案，本发明将MEF任务的目标定位为生成信息丰富、视觉感受愉悦的融合结果。针对这一目标，本申请构建了包含三个子模块的DPE-MEF:一个是细节增强模块(DEM)，通过充分挖掘源图像中的信息来保证融合图像的细节和结构；第二个是颜色增强模块(CEM)，它学习各种场景中颜色和亮度之间的映射关系，使融合后的图像呈现出更加生动逼真的颜色；最后一个是金字塔注意力重建模块，充分利用传统非局部操作的优点，通过扩展搜索空间和利用多尺度的特征金字塔，详尽地捕获远程依赖关系，提高图像恢复效果。最后通过详细的实验对比和烧蚀实验验证了该方法的有效性和合理性，结果表明，该方法具有较好的时间效率和较强的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于注意力机制的多曝光的图像融合方法流程示意图；
图2是本发明实例提供的一种多曝光图像融合的模块示意图；
图3是本发明实例提供的一种多曝光图像融合的详细模块结构示意图；
图4是本发明实例提供的一种多曝光图像融合中颜色增强模块的结构示意图；
图5是本发明实例提供的一种多曝光图像融合中细节增强模块的结构示意图；
图6是本发明实例提供的一种多曝光图像融合中注意力机制的比较。
图7是本发明实施例提供的基于注意力机制的多曝光的图像融合系统框图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术中多曝光图像融合方式无法同时考虑信息的信息量和视觉的真实感这两个感知因素的问题，提供了一种基于注意力机制的多曝光的图像融合方法和系统。
如图1所示，本发明实施例提供了一种基于注意力机制的多曝光的图像融合方法，该方法可以由电子设备实现。如图1所示的基于注意力机制的多曝光的图像融合方法流程图，该方法的处理流程可以包括如下的步骤：
S101、获取多组相同场景下不同曝光值的原始图像；对原始图像进行预处理。
一种可行的实施方式中，原始图像的像素位宽和像素尺寸相同。
一种可行的实施方式中，对原始图像进行预处理，包括：
将不同曝光值的原始图像加权归一化到同一亮度等级。
S102、对原始图像进行细节增强，获得细节增强图像；
S103、对细节增强图像进行颜色增强，获得颜色增强图像；
S104、对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
一种可行的实施方式中，如图2所示为多曝光图像融合的模块示意图；如图3所示为多曝光图像融合的详细模块结构示意图。
一种可行的实施方式中，将图像进行细节强度增强，包括：
根据原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像。有效地形成增强图像，并作为参考来指导细节增强模块。
一种可行的实施方式中，根据原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像，包括：
获取原始图像I；
通过与曝光调节比α获得全局增益，当α>1时，图像升级为更高曝光级别；当α<1时，图像退化为较低曝光级别；
通过的形式交替分解I，R和E分别表示场景细节和曝光组件；变换得到：
其中，是元素方向的反向E；将/>替换为A；设定R包含最丰富的细节，则从I中寻求最优曝光调整图/>
通过标准差对原始图像I的细节丰富度σij进行计算：
基于曝光调整图通过/>获得细节分量/>
所述细节增强模块，给定一张图片I，可以很容易地通过使用与曝光调节比α获得全局增益。当α>1时，图像升级为更高曝光级别；当α<1时，图像退化为较低曝光级别。同一场景中不同区域的照明可能会在图像中有很大差异。可能同时存在过度曝光、适当曝光、和曝光不足的区域。通过全局调优α>1，虽然曝光不足的部分会变亮，但由于数字图像的表达限制，原本适当曝光的部分会过度曝光。换句话说，在这种情况下很难找到一个最优的α，因此，需要一种局部适应的规则。受到Retinex理论的启发，一幅图像可以分解成两层，比如反照率和阴影。或者反射率和照度。在这个过程中，本申请以/>的形式交替分解I，R和E分别表示场景细节和曝光组件。通过一个简单的代数变换，得到/> 是元素方向的反向E。为了便于解释，用A表示/>由于A(或等价的E)在空间上是可变的，所以调整也是。注意，如果A中的所有元素都具有相同的值，则调整将退化为全局调整。
通过假设R包含最丰富的细节，应该朝着从I中寻求最优的方向进行调整。对于每个位置(i,j)，本申请根据局部区域统计量——局部平均值μij和Iij周围半径为r的窗口内的标准差σij(用Pij来表示)来确定/>标准差可以看作是细节丰富度的度量，计算方法为：
随着α>1的值在预先设定的集合{α1，……，αT}中逐渐增大，的标准差将相应增大到/>直至达到适当的曝光。然后，当继续增加α时，由于过度曝光，细节将逐渐被截断，从而导致μ下降。p≥0的/>有多个选项。在本实例中，本申请简单地选择p＝∞，即选择最大值/>对应的αt。有了曝光调整图/>细节分量/>可以通过/>立即获得。
与以往仅使用原始源图像本身完成融合的方法相比，本申请提出的规则隐式地从每个源图像中生成T个不同曝光的虚拟图像。换句话说，本实例的调整探索了更多的信息(T倍参考图像)。此外，本申请不需要显式地处理T次输入，从而节省了计算成本。双向细节增强，可以注意到，上面的增强仅仅是向上的，主要是在曝光不足的区域拉伸对比度。它不能处理过度曝光的区域，因为通过设置α<1来减少曝光总是会导致比原始图像更小的标准偏差。因此，这些区域将保持原样。为了更好地利用相对曝光过曝区域的内容，本申请通过公式Iinv＝1-I将源图像倒置。在倒映的图像中，原本曝光过度的区域会显得像曝光不足的区域。然后本申请在Iinv上应用完全相同的增潜规则。计算相应的平差图后，捕获向下增强的版本/>通过双向细节增强，每个源图像都有两个增强的参考点，即和/>通过实验得出，曝光不足区域的压缩细节通过向上增强得到了明显的拉伸，而相对曝光过度区域的细节则通过向下增强得到了有效的放大。
一种可行的实施方式中，以两张不同曝光的源图像I1和I2作为输入，通过损失函数进行细节增强训练；其中DEM为融合图像生成具有更丰富细节的亮度分量Yf，色度分量将由CEM负责；
其中，DEM的函数可表示为：
Yf＝NDEM(I1,I2,θDEM) (2)
其中，NDEM表示以参数a为学习参数的DEM网络。
DEM的详细网络架构如图5所示。本申请简单地使用一个类似unet的[35]编码器-解码器架构作为本申请的主干。具体来说，DEM由两个编码器组成，其中一个称为联合编码器，同时接收两个源图像作为输入，旨在提取两个源图像之间的相关特征；另一个称为联合编码器，分别对每个源图像进行编码，倾向于从每个输入中发现代表性信息，即判别编码器。然后，解码器将两个编码器的输出特征作为输入，并在每个尺度上接收编码器的跳过连接，以生成最终融合的亮度分量。
为了指导DEM的训练(本部分考虑两次曝光融合)以产生期望的结果，损学习。则损失函数包括：
其中，lpix表示和Yf之间的归一化曼哈顿距离。
lpix表示和Yf之间的归一化曼哈顿距离：
H，W是输入图像的高和宽，与输出相同。更进一步，表示感知损失，定义为：
φl表示感知网络的第l层，Cl，Hl，Wl是第l层张量特征图的维度。本工作采用预训练的VGG-19网络进行感知特征提取，其中l表示{conv1_1,conv2_1,conv3_1,conv4_1,conv5_1}层索引。从式(3)中可以看出，它同时考虑了深度特征域和原始图像域的引导。
一种可行的实施方式中，在融合特性的驱动下，细节增强模块旨在从源输入中充分挖掘细节。它通过寻找最佳的局部曝光，有效地生成增强图像，并将其作为参考来指导细节增强模块的工作。细节增强模块以融合特性为依据，致力于提升图像的细节表现。通过这种方式，细节增强模块能够有效地增强图像的细节，并根据融合结果进行精细调整，从而提升多曝光图像融合的质量和效果。
一种可行的实施方式中，在细节增强模块中，曝光不足的图像会将高动态范围的信息压缩到有限范围内，而曝光过度的图像则会上移和截断信息，导致对比度降低和细节破坏。由于多曝光融合任务缺乏真实图像作为优化目标，因此需要一种方法来充分挖掘源图像中的信息，增强对比度并保留细
节，以指导DEM网络的优化。
一种可行的实施方式中，将图像进行色彩鲜艳强度增强，包括：
对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对原始图像的外观进行细化。以此实现细化外观的目的，使融合后的图像色彩更加逼真生动，显著提高视觉感知，保证视觉质量。
一种可行的实施方式中，为了实现图像外观的细化和提升融合图像的色彩逼真度，可以利用自然图像中颜色与亮度之间的关系进行学习。通过学习同一场景下自然图像中颜色和亮度之间的统计规律，可以更好地调整融合后图像的色彩，使其更加生动和逼真。这种方法显著提高了视觉感知和视觉质量，保证了融合图像的视觉表现。
一种可行的实施方式中，在颜色增强模块中，当源图像曝光严重时，数字设备的限制可能会干扰或破坏颜色信息。此外，不同光照条件下的颜色也会产生不一致性。为了解决这个问题，研究人员提出了一种称为颜色增强模块(CEM)的方法。CEM的目标是学习从目标(融合)亮度和源图像到融合图像的适当颜色映射，以缓解不合理的直接加权求和颜色问题。通过CEM，可以增强融合图像的颜色表现，使其更合理和自然。
由于YCbCr色彩空间相较于RGB色彩空间，能够有效地将亮度和纹理(Y通道，亮度分量)与颜色(Cb和Cr通道，色度分量)分离开来，因此将工作色彩空间从RGB转换为YCbCr。这种转换有助于更好地处理亮度和颜色信息，使得颜色增强模块能够更准确地调整融合图像的色彩，提升图像的质量和真实感。
一种可行的实施方式中，颜色信息在图像质量的主观评价中起着重要的作用。不同于其他融合任务，如红外与可见光图像融合和医学图像融合，MEF的目标是产生视觉上令人愉悦的融合结果。因此，强制融合图像具有生动逼真的颜色可以显著提高MEF算法的视觉性能。然而，在现有的大多数MEF技术中，颜色因素很少受到重视。最常用的规则是提出的加权求和，具体如下:
然而，当源图像曝光严重时，由于数字设备的质量有限，可能会干扰甚至破坏颜色信息。另外，不同光照条件下的色彩也不一致。在这种情况下，直接用加权求和得到的颜色是不合理的。为了缓解这个问题，本实例定制了颜色增强模块(CEM)的模块。它的目的是学习从目标(融合)亮度与源图像到融合图像的合适色度的颜色映射。
一种可行的实施方式中，对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对原始图像的外观进行细化，包括：
根据下述公式(4)，CEM将两幅源图像的亮度信息、色度分量信息和目标亮度作为输入，推断出最适合融合亮度的色度；
[Cbf,Crf]＝NCEM(I1,I2,Yf,θCEM) (4)
NCEM为CEM网络，参数为θCEM。将CEM设置为每层4层的联合编码器-解码器结构，探索输入图像之间的颜色映射关系，如图4所示。
一种可行的实施方式中，在实际情况下，融合后的图像是没有彩色底色的。也就是说，不能通过这种方式来执行培训。但是对于一个场景，有多个不同曝光的图像，这些图像是由相机真实捕获的，在相应的亮度条件下，提供了相对适当和真实的色彩信息。为了训练CEM来推断给定亮度的颜色，可以选择使用现有的真实数据。具体来说，每个序列随机选择三幅图像，然后将其中的两幅图像与第三幅图像的亮度一起馈送到CEM中。第三张图像的色度成分自然用作参考(Cb3和Cr3)。通过这种方法，可以通过最小化估计和参考之间的差距来训练CEM。在本工作中，本申请简单地采用l1来测量差值为:
lCEM＝||Cbf-Cb3||1+||Crf-Cr3||1
可以看出，CEM的训练也可以不需要参数调整。当然，也可以调整这两项之间的权重。
一种可行的实施方式中，非局部注意通过对整个图像的特征进行平均计算来计算响应，形式上，给定一个输入特征映射x，该操作定义为:
其中，i,j分别是对输入x和输出y的索引。函数φ计算两个输入特征之间的成对亲和力。θ是一个特征变换函数，它生成xj的新表示。输出响应yi通过显式地对所有位置求和来获得所有特征的信息，并通过标量函数σ(x)进行归一化。虽然上述操作设法捕获远程相关性，但信息是在单一尺度上提取的。因此，它无法利用不同空间大小的更多信息区域之间的关系。
一种可行的实施方式中，为了打破这种尺度限制，本实例提出了金字塔注意力，如图6所示，它捕捉了不同尺度之间的相关性。在金字塔注意力中，计算目标特征和区域之间的亲和力。因此，响应特征是输入映射内多尺度对应的加权和。获取预设比例因子S＝{1,s1,s2,……,sn}，根据下述公式(5)，将原始图像的搜索空间从单一的特征映射扩展到多尺度的特征金字塔，进行多个指定尺度上特征相关性评估：
其中，δ(s)表示以输入x的索引j为中心的s2的邻域。
一种可行的实施方式中，金字塔注意力以非局部多尺度的方式表现，通过显式处理规模金字塔S指定的所有位置j的更大区域。请注意，当仅指定单个尺度因子S＝1时，提议的注意力降级为当前的非局部操作。因此，本实例提出的方法是一种更通用的操作，可以让网络充分享受自然图像的预测能力。
一种可行的实施方式中，作为一种简单而通用的构建块，用于详尽地捕获远程依赖关系，该方法充分利用了传统非局部操作的优点，但更符合图像恢复的本质。为了详尽地捕获远程依赖关系，基于注意力机制的金字塔重建方法充分利用了传统非局部操作的优点，并更符合图像恢复的本质。该方法扩展了原始的搜索空间，从单一的特征映射扩展到多尺度的特征金字塔。通过在整个金字塔上进行搜索，该方法详尽地评估了多个指定尺度上特征之间的相关性。这种操作的提出使得可以更准确地捕获图像中远程依赖关系，从而改善了图像恢复的效果。
金字塔注意力重建模块旨在提升图像的视觉效果和真实感。该模块利用金字塔注意力网络，有效地捕捉图像的多尺度特征和上下文信息。通过将低分辨率图像转换为高分辨率图像，金字塔注意力网络能够更好地呈现图像的细节，从而使图像更加逼真和真实。该模块的引入提高了多曝光图像融合的质量，并增强了图像的视觉效果和真实感。
本发明实施例中，多曝光图像融合方法在于获取多组相同场景下不同曝光值的原始图像，这些原始图像具有相同的像素位宽和像素尺寸。然后，将不同曝光值的原始图像进行加权归一化，使它们处于相同的亮度等级。接下来，对归一化后的图像进行逐像素的混合，并将混合后的图像压缩回原始图像的像素位宽。通过这个过程，实现了多曝光图像的融合，确保了融合后的图像保持了原始图像的像素位宽和细节信息。
本发明实施例中，将MEF任务的目标定位为生成信息丰富、视觉感受愉悦的融合结果。针对这一目标，构建了包含三个子模块的DPE-MEF:一个是细节增强模块(DEM)，通过充分挖掘源图像中的信息来保证融合图像的细节和结构；第二个是颜色增强模块(CEM)，它学习各种场景中颜色和亮度之间的映射关系，使融合后的图像呈现出更加生动逼真的颜色；最后一个是金字塔注意力重建模块，充分利用传统非局部操作的优点，通过扩展搜索空间和利用多尺度的特征金字塔，详尽地捕获远程依赖关系，提高图像恢复效果。最后通过详细的实验对比和烧蚀实验验证了该方法的有效性和合理性，结果表明，该方法具有较好的时间效率和较强的鲁棒性。
图7是本发明的一种基于注意力机制的多曝光的图像融合系统示意图，所述系统200用于上述的基于注意力机制的多曝光的图像融合方法，所述系统200包括：
数据获取模块210，用于获取多组相同场景下不同曝光值的原始图像；对原始图像进行预处理；
细节增强模块220，用于对原始图像进行细节增强，获得细节增强图像；
颜色增强模块230，用于对细节增强图像进行颜色增强，获得颜色增强图像；
金字塔重建模块240，用于对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
优选地，数据获取模块210，用于将不同曝光值的原始图像加权归一化到同一亮度等级。
优选地，细节增强模块220，用于根据原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像。
优选地，根据原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像，包括：
获取原始图像I；
通过与曝光调节比α获得全局增益，当α>1时，图像升级为更高曝光级别；当α<1时，图像退化为较低曝光级别；
通过的形式交替分解I，R和E分别表示场景细节和曝光组件；变换得到：
其中，是元素方向的反向E；将/>替换为A；设定R包含最丰富的细节，则从I中寻求最优曝光调整图/>
通过标准差对原始图像I的细节丰富度σij进行计算：
基于曝光调整图通过/>获得细节分量/>
优选地，以两张不同曝光的源图像I1和I2作为输入，通过损失函数进行细节增强训练；其中DEM为融合图像生成具有更丰富细节的亮度分量Yf，色度分量将由CEM负责；
其中，DEM的函数可表示为：
Yf＝NDEM(I1,I2,θDEM) (2)
其中，NDEM表示以参数a为学习参数的DEM网络。
优选地，损失函数包括：
其中，lpix表示和Yf之间的归一化曼哈顿距离
优选地，颜色增强模块230，用于对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对原始图像的外观进行细化。
优选地，对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对原始图像的外观进行细化，包括：
根据下述公式(4)将两幅源图像的亮度信息、色度分量信息和目标亮度作为输入，推断出最适合融合亮度的色度；
[Cbf,Crf]＝NCEM(I1,I2,Yf,θCEM) (4)
NCEM为CEM网络，参数为θCEM。
优选地，金字塔重建模块240，用于获取预设比例因子S＝{1,s1,s2,......,sn}，根据下述公式(5)，将原始图像的搜索空间从单一的特征映射扩展到多尺度的特征金字塔，进行多个指定尺度上特征相关性评估：
其中，δ(s)表示以输入x的索引j为中心的s2的邻域。
本发明实施例中，本发明将MEF任务的目标定位为生成信息丰富、视觉感受愉悦的融合结果。针对这一目标，构建了包含三个子模块的DPE-MEF:一个是细节增强模块(DEM)，通过充分挖掘源图像中的信息来保证融合图像的细节和结构；第二个是颜色增强模块(CEM)，它学习各种场景中颜色和亮度之间的映射关系，使融合后的图像呈现出更加生动逼真的颜色；最后一个是金字塔注意力重建模块，充分利用传统非局部操作的优点，通过扩展搜索空间和利用多尺度的特征金字塔，详尽地捕获远程依赖关系，提高图像恢复效果。最后通过详细的实验对比和烧蚀实验验证了该方法的有效性和合理性，结果表明，该方法具有较好的时间效率和较强的鲁棒性。
图8是本发明实施例提供的一种电子设备300的结构示意图，该电子设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现下述基于注意力机制的多曝光的图像融合方法的步骤：
S1、获取多组相同场景下不同曝光值的原始图像；
S2、对原始图像进行细节增强，获得细节增强图像；
S3、对细节增强图像进行颜色增强，获得颜色增强图像；
S4、对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于注意力机制的多曝光的图像融合方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
Claims (10)
1.一种基于注意力机制的多曝光的图像融合系统，其特征在于，方法步骤包括：
S1、获取多组相同场景下不同曝光值的原始图像；对所述原始图像进行预处理；
S2、对所述原始图像进行细节增强，获得细节增强图像；
S3、对所述细节增强图像进行颜色增强，获得颜色增强图像；
S4、对原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于所述特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，对所述原始图像进行预处理，包括：
将不同曝光值的原始图像加权归一化到同一亮度等级。
3.根据权利要求2所述的方法，其特征在于，所述步骤S2中，对所述图像进行细节强度增强，获得细节增强图像，包括：
根据所述原始图像，提取图像细节，寻找最佳局部曝光，获得细节增强图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述原始图像，提取图像细节，寻找最佳局部曝光，获得增强图像，包括：
获取原始图像I；
通过与曝光调节比α获得全局增益，当α>1时，图像升级为更高曝光级别；当α<1时，图像退化为较低曝光级别；
通过的形式交替分解I，R和E分别表示场景细节和曝光组件；变换得到：
其中，是元素方向的反向E；将/>替换为A；设定R包含最丰富的细节，则从I中寻求最优曝光调整图/>
通过标准差对所述原始图像I的细节丰富度σij进行计算：
基于曝光调整图通过/>获得细节分量/>
5.根据权利要求4所述的方法，其特征在于，对所述图像进行细节强度增强，还包括：
以两张不同曝光的源图像I1和I2作为输入，通过损失函数进行细节增强训练；其中DEM为融合图像生成具有更丰富细节的亮度分量Yf，色度分量将由CEM负责；
其中，DEM的函数可表示为：
Yf＝NDEM(I1,I2,θDEM) (2)
其中，NDEM表示以参数a为学习参数的DEM网络。
6.根据权利要求5所述的方法，其特征在于，所述损失函数包括：
其中，lpix表示和Yf之间的归一化曼哈顿距离。
7.根据权利要求6所述的方法，其特征在于，所述步骤S3中，对所述细节增强图像进行颜色增强，获得颜色增强图像，包括：
对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对所述细节增强图像的外观进行细化。
8.根据权利要求7所述的方法，其特征在于，所述对同一场景的自然图像中的颜色与亮度关系进行学习，通过学习结果对所述原始图像的外观进行细化，包括：
根据下述公式(4)将两幅源图像的亮度信息、色度分量信息和目标亮度作为输入，推断出最适合融合亮度的色度；
NCEM为CEM网络，参数为θCEM。
9.根据权利要求8所述的方法，其特征在于，所述步骤S4中，对所述原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于所述特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合，包括：
获取预设比例因子S＝{1,s1,s2,……,sn}，根据下述公式(5)，将所述原始图像的搜索空间从单一的特征映射扩展到多尺度的特征金字塔，进行多个指定尺度上特征相关性评估：
其中，δ(s)表示以输入x的索引j为中心的s2的邻域。
10.一种基于注意力机制的多曝光的图像融合系统，其特征在于，所述系统用于如权利要求1～9任意一项所述的基于注意力机制的多曝光的图像融合方法，所述系统包括：
数据获取模块，用于获取多组相同场景下不同曝光值的原始图像；对原始图像进行预处理；
细节增强模块，用于对所述原始图像进行细节增强，获得细节增强图像；
颜色增强模块，用于对所述细节增强图像进行颜色增强，获得颜色增强图像；
金字塔重建模块，用于对所述原始的搜索空间的特征进行扩展重建，获得特征金字塔，基于所述特征金字塔进行多尺度特征评估，完成基于注意力机制的多曝光的图像融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267981.1A CN117372272A (zh) | 2023-09-27 | 2023-09-27 | 一种基于注意力机制的多曝光的图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267981.1A CN117372272A (zh) | 2023-09-27 | 2023-09-27 | 一种基于注意力机制的多曝光的图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372272A true CN117372272A (zh) | 2024-01-09 |
Family
ID=89399415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311267981.1A Pending CN117372272A (zh) | 2023-09-27 | 2023-09-27 | 一种基于注意力机制的多曝光的图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372272A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876282A (zh) * | 2024-03-08 | 2024-04-12 | 昆明理工大学 | 基于多任务交互促进的高动态范围成像方法 |
-
2023
- 2023-09-27 CN CN202311267981.1A patent/CN117372272A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876282A (zh) * | 2024-03-08 | 2024-04-12 | 昆明理工大学 | 基于多任务交互促进的高动态范围成像方法 |
| CN117876282B (zh) * | 2024-03-08 | 2024-05-14 | 昆明理工大学 | 基于多任务交互促进的高动态范围成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Image correction via deep reciprocating HDR transformation | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN105279746A (zh) | 一种基于双边滤波的多曝光图像融合方法 | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| CN113240760B (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
| CN117372272A (zh) | 一种基于注意力机制的多曝光的图像融合方法及系统 | |
| CN115035011B (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| Shutova et al. | NTIRE 2023 challenge on night photography rendering | |
| Zhang et al. | A real-time semi-supervised deep tone mapping network | |
| CN112257729A (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| Han et al. | High Dynamic Range Image Tone Mapping Based on Layer Decomposition and Image Fusion | |
| JP2006186983A (ja) | カラー画像の露出補正方法 | |
| Shang et al. | Frequency-aware network for low-light image enhancement | |
| Zini et al. | Shallow camera pipeline for night photography rendering | |
| Liu et al. | An adaptive tone mapping algorithm based on gaussian filter | |
| Jia et al. | A multi-scale patch-wise algorithm for multi-exposure image fusion | |
| Almaghthawi et al. | Differential evolution-based approach for tone-mapping of high dynamic range images | |
| Wang et al. | Near-infrared fusion for deep lightness enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |