CN114998138B - 一种基于注意力机制的高动态范围图像去伪影方法 - Google Patents
一种基于注意力机制的高动态范围图像去伪影方法 Download PDFInfo
- Publication number
- CN114998138B CN114998138B CN202210621750.5A CN202210621750A CN114998138B CN 114998138 B CN114998138 B CN 114998138B CN 202210621750 A CN202210621750 A CN 202210621750A CN 114998138 B CN114998138 B CN 114998138B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- images
- attention
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000007246 mechanism Effects 0.000 title claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 48
- 230000015572 biosynthetic process Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 42
- 238000003786 synthesis reaction Methods 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像增强领域,涉及一种基于注意力机制的高动态范围图像去伪影方法。所述方法包括:对LDR输入图像进行预处理,得到网络输入;构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型;将预处理得到的网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛,得到训练好的神经网络模型;对测试图像进行预处理,得到测试图像网络输入;将测试图像网络输入作为训练好的神经网络模型的输入进行测试,得到合成的HDR图像;将合成的HDR图像进行色调映射,得到色调映射输出,并将色调映射输出显示在常用的LDR显示器上。所述方法能有效去除图像伪影、抑制有害信息,并减少了计算量,生成细节丰富且无伪影的HDR图像。
Description
技术领域
本发明属于图像增强技术领域,具体涉及一种基于注意力机制的高动态范围图像去伪影方法。
背景技术
随着高动态范围(High Dynamic Range,HDR)成像技术的成熟,近年来,HDR图像的研究在计算机视觉和图像处理等领域已成为研究热点之一。自然界中的亮度值在很多数量级范围内变化,但由于大多数现有数字相机无法完全记录场景的动态范围,会导致拍摄出的低动态范围(Low Dynamic Range,LDR)图像很容易产生曝光不足或曝光过度的区域,造成场景还原的失真。除此之外,动态范围过小会导致自然界中一些亮度发生变化的场景在LDR图像中的亮度趋于一致,造成对比度的下降。然而,HDR图像由于其动态范围很大,提供了广泛的亮度和色彩范围,因此亮度增强,色彩和细节更加丰富,对比度也有所提升,更接近真实世界的场景。因此HDR图像可使观察者有非常好的视觉体验。
近年来,HDR成像已有很多研究基础,多曝光融合方法(Multi-exposure Fusion,MEF)是重建HDR图像最广泛采用的方法。在动态场景中,消除伪影是目前研究MEF时的一个重要方向。目前的研究方法包括用其中一个或多个LDR曝光图像中的对应像素代替检测出的运动像素,以及在合成HDR图像前,找到在非参考图像中与运动像素对应性最佳的像素,并通过特定方法与运动像素进行对齐等算法,还包括从大量训练样本学习重建动态区域细节以消除伪影的深度学习方法。现有很多高动态范围成像方法通过光流法对齐输入的LDR图像,再合成HDR图像。然而,当运动范围非常大的时候,光流法并不能精确地对齐运动区域,往往会导致伪影。因此,本申请研究动态场景中高动态范围图像的去伪影方法,致力于合成高质量、无伪影的HDR图像。
发明内容
本发明的目的在于针对动态场景中,使用多曝光融合方法进行高动态范围成像合成的HDR图像存在伪影,从而导致合成图像质量低的问题,提出了一种基于注意力机制的高动态范围图像去伪影方法,所述方法对LDR输入图像进行预处理,得到网络输入;构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型;将预处理得到的网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛,得到训练好的神经网络模型;对测试图像进行预处理,得到测试图像网络输入,将测试图像网络输入作为训练好的神经网络模型的输入进行测试,得到合成的HDR图像;将合成的HDR图像进行色调映射,得到色调映射输出,并将色调映射输出显示在常用的LDR显示器上;
为了达到上述目的,本发明采取如下技术方案:
所述高动态范围图像去伪影方法依托于卷积神经网络(Convolutional NeuralNetwork,CNN)模型;
所述高动态范围图像去伪影方法,包括如下步骤:
步骤1、对K张LDR输入图像进行预处理,得到K个网络输入;
其中,K的取值范围为2至10;
所述预处理,具体为:
步骤1.1、将输入的K张LDR图像映射到HDR域,得到HDR域图像;
步骤1.2、将所有K张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,分别得到K个网络输入;
所述K个网络输入中的1个网络输入,包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道;
所述K张LDR输入图像中的中等曝光图像作为参考图像,其余K-1张图像作为非参考图像;所述K张LDR输入图像的曝光程度由小到大排列;
所述K个网络输入,包括K-1个非参考图像网络输入和1个参考图像网络输入;
步骤2、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型;
其中,基于注意力机制的高动态范围图像去伪影卷积神经网络模型,包括:第一卷积层、注意力模块、编码器、合成模块及解码器;
第一卷积层与注意力模块相连,注意力模块与编码器相连,编码器与合成模块相连,合成模块与解码器相连;
所述注意力模块包括通道注意力子模块和空间注意力子模块,通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数,空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数。
所述编码器包括卷积层和ReLU激活函数。
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块。
所述解码器包括反卷积层和ReLU激活函数。
步骤3、将预处理得到的K个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛,得到训练好的神经网络模型;
所述真值图,与参考图像是对齐的;
步骤3具体包括如下子步骤:
步骤3.1、将预处理得到的K个网络输入分别通过第一卷积层,提取K-1个非参考图像网络输入的特征图和1个参考图像网络输入的特征图;
步骤3.2、将K-1个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来,得到K-1个级联的特征图,并分别输入到K-1个注意力模块,得到K-1个注意力机制引导的特征图;
所述K-1个级联的特征图,输入到K-1个注意力模块,得到K-1个注意力机制引导的特征图中每个注意力模块的操作过程,具体为:所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化,得到最大池化和平均池化特征图,然后分别将最大池化和平均池化特征图送入同一多层感知机,得到2个特征图,并进行逐像素相加,最后经过sigmoid激活函数得到通道注意力图;将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘,得到通道注意力机制引导的特征图;将通道注意力机制引导的特征图输入空间注意力子模块,空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息,得到通道上的最大池化和平均池化特征图,然后将通道上的最大池化和平均池化特征图分别经过两个卷积层,再进行逐像素相加,最后经过sigmoid激活函数得到最终的注意力图;将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘,得到注意力机制引导的特征图;
步骤3.3、将K-1个注意力机制引导的特征图和1个参考图像网络输入的特征图分别通过K个编码器,得到K个编码器输出的特征图;
步骤3.4、将K个编码器输出的特征图级联起来得到1个级联的编码器特征图,并输入到合成模块,合成模块将级联的编码器特征图进行融合,得到合成模块的特征图;
所述合成模块将级联的编码器特征图进行融合,得到合成模块的特征图,具体为:首先,将级联的编码器特征图经过一个卷积层,得到一个通道数减少的特征图,然后将其依次送入三个扩张残差密集块,分别得到三个扩张残差密集块的特征图,将三个扩张残差密集块的特征图级联起来,通过一个卷积层自适应融合不同特征,最后再通过一个卷积层进一步提取特征,并实现特征融合,得到合成模块的特征图;
步骤3.5、将K个编码器输出的特征图与合成模块的特征图相加进行全局残差学习,识别合成模块的特征图与编码器输出的特征图之间的差异,得到全局残差学习后的特征图;
所述进行全局残差学习,具体为:通过对K个编码器输出的特征图使用跳跃连接,与合成模块的特征图相加实现;
步骤3.6、将全局残差学习后的特征图输入解码器进行上采样,得到合成的HDR图像;
步骤3.7、将合成的HDR图像和真值图进行色调映射,得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数,并反向传播以更新权重,直至网络收敛,得到训练好的神经网络模型;
其中,色调映射采用μ-law方法;
步骤4、对K张测试图像进行预处理,得到K个测试图像网络输入;
所述预处理,具体为:
步骤4.1、将K张测试图像映射到HDR域,分别得到K张HDR域图像;
步骤4.2、将K张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,得到K个测试图像网络输入;
步骤5、将K个测试图像网络输入作为训练好的神经网络模型的输入进行测试,得到合成的HDR图像;
步骤6、将合成的HDR图像进行色调映射,得到色调映射输出,并将色调映射输出显示在常用的LDR显示器上;
其中,色调映射采用μ-law方法。
有益效果
本发明所提的一种基于注意力机制的高动态范围图像去伪影方法,与现有技术相比,具有如下有益效果:
1、所述高动态范围图像去伪影方法通过由注意力机制引导的、包含编解码器的卷积神经网络,能更深层次地提取有用的特征,并对所有输入图像进行全局残差学习,可以更好的识别合并后的特征图与所有原始特征图的差异,生成的HDR图像细节清晰且解决了伪影问题;
2、所述高动态范围图像去伪影方法通过从通道和空间维度得到注意力机制引导的特征图,使网络更精确地保留有用的信息,并抑制有害的信息,有效地去除了伪影;定量和定性实验表明,本算法优于现有方法;
3、所述高动态范围图像去伪影方法通过下采样,使送入合成模块的特征图尺寸减小,进而减少计算量,完成合成处理后再通过上采样恢复特征图尺寸,使网络的运行时间大幅度减少。
附图说明
图1是本发明基于注意力机制的高动态范围图像去伪影方法的流程图;
图2是本发明基于注意力机制的高动态范围图像去伪影方法的神经网络模型结构示意图;
图3是本发明基于注意力机制的高动态范围图像去伪影方法的注意力模块结构;
图4是本发明基于注意力机制的高动态范围图像去伪影方法的合成模块结构;
图5是本发明基于注意力机制的高动态范围图像去伪影方法的注意力模块产生的注意力机制引导的特征图;
图6是本发明基于注意力机制的高动态范围图像去伪影方法与现有的HDR成像方法对测试一的处理效果对比;
图7是本发明基于注意力机制的高动态范围图像去伪影方法与现有的HDR成像方法对测试二的处理效果对比。
具体实施方式
下面结合附图和实施例对本发明所述一种基于注意力机制的高动态范围图像去伪影方法做进一步说明和详细描述。
实施例1
本发明所述一种基于注意力机制的高动态范围图像去伪影方法,应用于动态场景中的高动态范围成像领域,适用于场景中具有较大运动,且在不同曝光下拍摄的多张LDR图像,并在论文Deep High Dynamic Range Imaging of Dynamic Scenes和论文RobustPatch-Based HDR Reconstruction of Dynamic Scenes中提出的两个公开数据集上进行了测试。与现有技术相比,能够有效去除HDR图像中由于物体运动产生的伪影,恢复饱和区域的细节,网络运行时间大幅度减少。
本实施例阐述采用本发明所述方法通过使用3张LDR图像合成1张HDR图像的过程,输入图像组是在前景运动较大的动态场景中使用不同曝光拍摄的3张LDR图像。
如图1所示,本实施例基于注意力机制的高动态范围图像去伪影方法,具体包括以下步骤:
S10、对3张LDR输入图像进行预处理,得到3个网络输入;
所述预处理,具体为:
S11、将输入的3张LDR图像利用伽马变换映射到HDR域,得到HDR域图像;
S12、将3张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,分别得到3个网络输入;
所述3个网络输入中的1个网络输入,包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道;
所述3张LDR输入图像中的中等曝光图像作为参考图像,其余2张图像作为非参考图像;所述3张LDR输入图像的曝光程度由小到大排列;
所述3个网络输入,包括2个非参考图像网络输入和1个参考图像网络输入;
S20、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型;
其中,基于注意力机制的高动态范围图像去伪影卷积神经网络模型结构示意图如图2所示,包括:第一卷积层、注意力模块、编码器、合成模块及解码器;
第一卷积层与注意力模块相连,注意力模块与编码器相连,编码器与合成模块相连,合成模块与解码器相连;
所述注意力模块包括通道注意力子模块和空间注意力子模块,通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数,空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数。所述注意力模块结构如图3所示。
所述编码器包括卷积层和ReLU激活函数。
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块。所述合成模块结构如图4所示。
所述解码器包括反卷积层和ReLU激活函数。
S30、将预处理得到的3个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛,得到训练好的神经网络模型;
所述真值图,与参考图像是对齐的;
S30具体包括如下子步骤:
S31、将预处理得到的3个网络输入分别通过第一卷积层,提取2个非参考图像网络输入的特征图和1个参考图像网络输入的特征图;
其中,第一卷积层的卷积核大小为3×3,通道数为64,后面包含一个ReLU激活函数;
S32、将2个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来,得到2个级联的特征图,并分别输入到2个注意力模块,得到2个注意力机制引导的特征图,注意力机制引导的特征图如图5所示;
所述2个级联的特征图,输入到2个注意力模块,得到2个注意力机制引导的特征图中每个注意力模块的操作过程,具体为:所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化,得到最大池化和平均池化特征图,然后分别将最大池化和平均池化特征图送入同一多层感知机,得到2个多层感知机输出的特征图。多层感知机的第一层的输出通道数为8,后面包含一个ReLU激活函数,第二层的输出通道数为64。将2个多层感知机输出的特征图进行逐像素相加,最后经过sigmoid激活函数得到通道注意力图;将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘,得到通道注意力机制引导的特征图;将通道注意力机制引导的特征图输入空间注意力子模块,空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息,得到通道上的最大池化和平均池化特征图,然后将通道上的最大池化和平均池化特征图分别经过两个卷积核大小为7×7的卷积层,通道数为1,再进行逐像素相加,最后经过sigmoid激活函数得到最终的注意力图;将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘,得到注意力机制引导的特征图;
S33、将2个注意力机制引导的特征图和参考图像网络输入的特征图分别通过3个编码器,得到3个编码器输出的特征图;
其中,每个编码器由卷积核大小为3×3的卷积层和ReLU激活函数组成,通道数从64增加到128,然后增加到256,所有卷积层的步长都为2;
S34、将3个编码器输出的特征图级联起来得到1个级联的编码器特征图,并输入到合成模块,合成模块将级联的编码器特征图进行融合,得到合成模块的特征图;
所述合成模块将级联的编码器特征图进行融合,得到合成模块的特征图,具体为:首先,将级联的编码器特征图经过一个卷积核大小为3×3的卷积层,得到一个64通道的特征图,然后将其依次送入三个扩张残差密集块,分别得到三个扩张残差密集块的特征图,扩张残差密集块是通过将扩张卷积应用于残差密集块实现的,扩张率为2,卷积核大小为3×3,通道数为64;将三个扩张残差密集块的特征图级联起来,通过一个卷积核大小为1×1、通道数为64的卷积层自适应融合不同特征,最后再通过一个卷积核大小为3×3、通道数为64的卷积层进一步提取特征,并实现特征融合,得到合成模块的特征图;
所述合成模块的所有卷积层后面都分别包含了一个ReLU激活函数;
S35、将3个编码器输出的特征图与合成模块的特征图相加进行全局残差学习,识别合成模块的特征图与编码器输出的特征图之间的差异,得到全局残差学习后的特征图;
所述进行全局残差学习,具体为:通过对3个编码器输出的特征图使用跳跃连接,与合成模块的特征图相加实现。
S36、将全局残差学习后的特征图输入解码器进行上采样,得到合成的HDR图像;
其中,解码器由反卷积层和ReLU激活函数组成,反卷积层的步长和内核与编码器中卷积层的步长和内核相同,通道数从256减少到128,再减少到64,最终减少到3以输出合成的HDR图像;
S37、将合成的HDR图像和真值图进行色调映射,得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数,并反向传播以更新权重,直至网络收敛,得到训练好的神经网络模型;
其中,色调映射采用μ-law方法,损失函数采用合成的HDR图像和真值图的色调映射结果的L2损失;
S40、对3张测试图像进行预处理,得到3个测试图像网络输入;
所述预处理,具体为:
S41、将3张测试图像映射到HDR域,分别得到3张HDR域图像;
S42、将3张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,得到3个测试图像网络输入;
S50、将3个测试图像网络输入作为训练好的神经网络模型的输入进行测试,得到合成的HDR图像;
S60、将合成的HDR图像进行色调映射,得到色调映射输出,并将色调映射输出显示在常用的LDR显示器上;
其中,色调映射采用μ-law方法。
用本发明方法与常用的几种高动态范围成像方法对同一组LDR图像进行HDR图像合成,两组对比结果分别如图6、图7所示,图像质量评价标准数据HDR-VDP-2、PSNR-T(色调映射后图像的PSNR值)、PSNR-L(HDR线性域图像的PSNR值)和SSIM如表1所示,处理一组图片的平均运行时间如表2所示,表1和表2中所有值是15组测试图像所得平均值。其中,对比方法分别为:Sen:Robust Patch-Based HDR Reconstruction of Dynamic Scenes;HDRCNN:HDR image reconstruction from a single exposure using deep CNNs;Kalantari:Deep High Dynamic Range Imaging of Dynamic Scenes;Wu:Deep High Dynamic RangeImaging with Large Foreground Motions;Yan:Attention-guided Network for Ghost-free High Dynamic Range Imaging。
表1图像质量标准对比
方法 | HDR-VDP-2 | PSNR-T | PSNR-L | SSIM |
Sen | 56.2643 | 40.9246 | 39.2917 | 0.9842 |
HDRCNN | 54.5906 | 14.1077 | 14.7209 | 0.7087 |
Kalantari | 64.3639 | 41.8317 | 41.3065 | 0.9859 |
Wu | 64.1937 | 41.8809 | 40.9723 | 0.9859 |
Yan | 65.7313 | 41.5960 | 41.0679 | 0.9860 |
本方法 | 66.8093 | 42.6962 | 41.7769 | 0.9863 |
表2平均运行时间对比
Sen | HDRCNN | Kalantari | Wu | Yan | 本方法 | |
时间(秒) | 58.06 | 8.30 | 15.84 | 2.83 | 1.29 | 0.96 |
由图6、图7、表1和表2的对比可知,本发明所述方法相较于其它方法,在同样的输入下,由于使用了注意力机制增强有用的像素信息,抑制有害的部分,能够消除动态区域的伪影,并恢复饱和区域的细节。
以上所述为本发明的较佳实施例而已,本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。
Claims (3)
1.一种基于注意力机制的高动态范围图像去伪影方法,依托于卷积神经网络模型,所述卷积神经网络模型,包括:第一卷积层、注意力模块、编码器、合成模块及解码器;
第一卷积层与注意力模块相连,注意力模块与编码器相连,编码器与合成模块相连,合成模块与解码器相连;
所述注意力模块包括通道注意力子模块和空间注意力子模块,通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数,空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数;
所述编码器包括卷积层和ReLU激活函数;
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块;
所述解码器包括反卷积层和ReLU激活函数;
其特征在于:包括如下步骤:
S1、对K张LDR输入图像进行预处理,得到K个网络输入;
所述预处理,具体为:
S11、将输入的K张LDR图像映射到HDR域,得到HDR域图像;
S12、将所有K张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,分别得到K个网络输入;
所述K个网络输入,包括K-1个非参考图像网络输入和1个参考图像网络输入;
S2、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型;
S3、将预处理得到的K个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛,得到训练好的神经网络模型,具体包括如下子步骤:
S31、将预处理得到的K个网络输入分别通过第一卷积层,提取K-1个非参考图像网络输入的特征图和1个参考图像网络输入的特征图;
S32、将K-1个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来,得到K-1个级联的特征图,并分别输入到K-1个注意力模块,得到K-1个注意力机制引导的特征图;
S33、将K-1个注意力机制引导的特征图和1个参考图像网络输入的特征图分别通过K个编码器,得到K个编码器输出的特征图;
S34、将K个编码器输出的特征图级联起来得到1个级联的编码器特征图,并输入到合成模块,合成模块将级联的编码器特征图进行融合,得到合成模块的特征图;
S35、将K个编码器输出的特征图与合成模块的特征图相加进行全局残差学习,识别合成模块的特征图与编码器输出的特征图之间的差异,得到全局残差学习后的特征图;
S36、将全局残差学习后的特征图输入解码器进行上采样,得到合成的HDR图像;
S37、将合成的HDR图像和真值图进行色调映射,得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数,并反向传播以更新权重,直至网络收敛,得到训练好的神经网络模型;
S4、对K张测试图像进行预处理,得到K个测试图像网络输入;
所述预处理,具体为:
S41、将K张测试图像映射到HDR域,分别得到K张HDR域图像;
S42、将K张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来,得到K个测试图像网络输入;
S5、将K个测试图像网络输入作为训练好的神经网络模型的输入进行测试,得到合成的HDR图像;
S6、将合成的HDR图像进行色调映射,得到色调映射输出,并将色调映射输出显示在常用的LDR显示器上;S1中,K的取值范围为2至10;
S12所述K个网络输入中的1个网络输入,包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道;
S12所述K张LDR输入图像中的中等曝光图像作为参考图像,其余K-1张图像作为非参考图像;所述K张LDR输入图像的曝光程度由小到大排列;
S32所述K-1个级联的特征图,输入到K-1个注意力模块,得到K-1个注意力机制引导的特征图中每个注意力模块的操作过程,具体为:所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化,得到最大池化和平均池化特征图,然后分别将最大池化和平均池化特征图送入同一多层感知机,得到2个特征图,并进行逐像素相加,最后经过sigmoid激活函数得到通道注意力图;将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘,得到通道注意力机制引导的特征图;将通道注意力机制引导的特征图输入空间注意力子模块,空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息,得到通道上的最大池化和平均池化特征图,然后将通道上的最大池化和平均池化特征图分别经过两个卷积层,再进行逐像素相加,最后经过sigmoid激活函数得到最终的注意力图;将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘,得到注意力机制引导的特征图;
S34所述合成模块将级联的编码器特征图进行融合,得到合成模块的特征图,具体为:首先,将级联的编码器特征图经过一个卷积层,得到一个通道数减少的特征图,然后将其依次送入三个扩张残差密集块,分别得到三个扩张残差密集块的特征图,将三个扩张残差密集块的特征图级联起来,通过一个卷积层自适应融合不同特征,最后再通过一个卷积层进一步提取特征,并实现特征融合,得到合成模块的特征图;
S37或S6中的色调映射采用μ-law方法。
2.如权利要求1所述的高动态范围图像去伪影方法,其特征在于:S3所述真值图,与参考图像是对齐的。
3.如权利要求1所述的高动态范围图像去伪影方法,其特征在于:S35所述进行全局残差学习,具体为:通过对K个编码器输出的特征图使用跳跃连接,与合成模块的特征图相加实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210621750.5A CN114998138B (zh) | 2022-06-01 | 2022-06-01 | 一种基于注意力机制的高动态范围图像去伪影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210621750.5A CN114998138B (zh) | 2022-06-01 | 2022-06-01 | 一种基于注意力机制的高动态范围图像去伪影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998138A CN114998138A (zh) | 2022-09-02 |
CN114998138B true CN114998138B (zh) | 2024-05-28 |
Family
ID=83031175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210621750.5A Active CN114998138B (zh) | 2022-06-01 | 2022-06-01 | 一种基于注意力机制的高动态范围图像去伪影方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998138B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161161A (zh) * | 2019-12-04 | 2020-05-15 | 天津大学 | 一种颜色保持的特征融合去雾方法 |
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
CN112907479A (zh) * | 2021-03-05 | 2021-06-04 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
CN113096029A (zh) * | 2021-03-05 | 2021-07-09 | 电子科技大学 | 基于多分支编解码器神经网络的高动态范围图像生成方法 |
CN113160178A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于注意力模块的高动态范围去重影成像系统及方法 |
CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
CN113628147A (zh) * | 2021-09-08 | 2021-11-09 | 辽宁师范大学 | 一种基于噪声生成网络的牙齿ct图像盲去噪方法 |
CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739078B (zh) * | 2020-06-15 | 2022-11-18 | 大连理工大学 | 一种基于上下文注意力机制的单目无监督深度估计方法 |
-
2022
- 2022-06-01 CN CN202210621750.5A patent/CN114998138B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161161A (zh) * | 2019-12-04 | 2020-05-15 | 天津大学 | 一种颜色保持的特征融合去雾方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
CN112907479A (zh) * | 2021-03-05 | 2021-06-04 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
CN113096029A (zh) * | 2021-03-05 | 2021-07-09 | 电子科技大学 | 基于多分支编解码器神经网络的高动态范围图像生成方法 |
CN113160178A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于注意力模块的高动态范围去重影成像系统及方法 |
CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
CN113628147A (zh) * | 2021-09-08 | 2021-11-09 | 辽宁师范大学 | 一种基于噪声生成网络的牙齿ct图像盲去噪方法 |
Non-Patent Citations (1)
Title |
---|
Attention GAN for Multipath Error Removal From ToF Sensors;Yipeng Deng.etc;International Conference on Pattern Recognition;20210115;8976-8983 * |
Also Published As
Publication number | Publication date |
---|---|
CN114998138A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zamir et al. | Cycleisp: Real image restoration via improved data synthesis | |
CN109003282B (zh) | 一种图像处理的方法、装置及计算机存储介质 | |
Amirshahi et al. | Image quality assessment by comparing CNN features between images | |
CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
CN107123094B (zh) | 一种混合泊松、高斯和脉冲噪声的视频去噪方法 | |
CN109949221B (zh) | 一种图像处理方法及电子设备 | |
CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及系统 | |
CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
Zhang et al. | A unified conditional framework for diffusion-based image restoration | |
Chen et al. | Attention-based broad self-guided network for low-light image enhancement | |
Prabhakar et al. | Self-gated memory recurrent network for efficient scalable HDR deghosting | |
Metwaly et al. | Attention-mask dense merger (attendense) deep hdr for ghost removal | |
Shaw et al. | Hdr reconstruction from bracketed exposures and events | |
Fu et al. | Raw image based over-exposure correction using channel-guidance strategy | |
CN114998138B (zh) | 一种基于注意力机制的高动态范围图像去伪影方法 | |
CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
Yue et al. | Rvideformer: Efficient raw video denoising transformer with a larger benchmark dataset | |
CN115375540A (zh) | 一种基于深度学习算法的太赫兹图像超分辨方法 | |
Kim et al. | Efficient-HDRTV: Efficient SDR to HDR Conversion for HDR TV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |