CN114998138A - 一种基于注意力机制的高动态范围图像去伪影方法 - Google Patents

一种基于注意力机制的高动态范围图像去伪影方法 Download PDF

Info

Publication number
CN114998138A
CN114998138A CN202210621750.5A CN202210621750A CN114998138A CN 114998138 A CN114998138 A CN 114998138A CN 202210621750 A CN202210621750 A CN 202210621750A CN 114998138 A CN114998138 A CN 114998138A
Authority
CN
China
Prior art keywords
image
attention
feature
feature maps
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210621750.5A
Other languages
English (en)
Other versions
CN114998138B (zh
Inventor
周文彪
张屏微
范路遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210621750.5A priority Critical patent/CN114998138B/zh
Publication of CN114998138A publication Critical patent/CN114998138A/zh
Application granted granted Critical
Publication of CN114998138B publication Critical patent/CN114998138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像增强领域，涉及一种基于注意力机制的高动态范围图像去伪影方法。所述方法包括：对LDR输入图像进行预处理，得到网络输入；构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型；将预处理得到的网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛，得到训练好的神经网络模型；对测试图像进行预处理，得到测试图像网络输入；将测试图像网络输入作为训练好的神经网络模型的输入进行测试，得到合成的HDR图像；将合成的HDR图像进行色调映射，得到色调映射输出，并将色调映射输出显示在常用的LDR显示器上。所述方法能有效去除图像伪影、抑制有害信息，并减少了计算量，生成细节丰富且无伪影的HDR图像。

Description

一种基于注意力机制的高动态范围图像去伪影方法
技术领域
本发明属于图像增强技术领域，具体涉及一种基于注意力机制的高动态范围图像去伪影方法。
背景技术
随着高动态范围(High Dynamic Range,HDR)成像技术的成熟，近年来，HDR图像的研究在计算机视觉和图像处理等领域已成为研究热点之一。自然界中的亮度值在很多数量级范围内变化，但由于大多数现有数字相机无法完全记录场景的动态范围，会导致拍摄出的低动态范围(Low Dynamic Range,LDR)图像很容易产生曝光不足或曝光过度的区域，造成场景还原的失真。除此之外，动态范围过小会导致自然界中一些亮度发生变化的场景在LDR图像中的亮度趋于一致，造成对比度的下降。然而，HDR图像由于其动态范围很大，提供了广泛的亮度和色彩范围，因此亮度增强，色彩和细节更加丰富，对比度也有所提升，更接近真实世界的场景。因此HDR图像可使观察者有非常好的视觉体验。
近年来，HDR成像已有很多研究基础，多曝光融合方法(Multi-exposure Fusion，MEF)是重建HDR图像最广泛采用的方法。在动态场景中，消除伪影是目前研究MEF时的一个重要方向。目前的研究方法包括用其中一个或多个LDR曝光图像中的对应像素代替检测出的运动像素，以及在合成HDR图像前，找到在非参考图像中与运动像素对应性最佳的像素，并通过特定方法与运动像素进行对齐等算法，还包括从大量训练样本学习重建动态区域细节以消除伪影的深度学习方法。现有很多高动态范围成像方法通过光流法对齐输入的LDR图像，再合成HDR图像。然而，当运动范围非常大的时候，光流法并不能精确地对齐运动区域，往往会导致伪影。因此，本申请研究动态场景中高动态范围图像的去伪影方法，致力于合成高质量、无伪影的HDR图像。
发明内容
本发明的目的在于针对动态场景中，使用多曝光融合方法进行高动态范围成像合成的HDR图像存在伪影，从而导致合成图像质量低的问题，提出了一种基于注意力机制的高动态范围图像去伪影方法，所述方法对LDR输入图像进行预处理，得到网络输入；构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型；将预处理得到的网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛，得到训练好的神经网络模型；对测试图像进行预处理，得到测试图像网络输入，将测试图像网络输入作为训练好的神经网络模型的输入进行测试，得到合成的HDR图像；将合成的HDR图像进行色调映射，得到色调映射输出，并将色调映射输出显示在常用的LDR显示器上；
为了达到上述目的，本发明采取如下技术方案：
所述高动态范围图像去伪影方法依托于卷积神经网络(Convolutional NeuralNetwork，CNN)模型；
所述高动态范围图像去伪影方法，包括如下步骤：
步骤1、对K张LDR输入图像进行预处理，得到K个网络输入；
其中，K的取值范围为2至10；
所述预处理，具体为：
步骤1.1、将输入的K张LDR图像映射到HDR域，得到HDR域图像；
步骤1.2、将所有K张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，分别得到K个网络输入；
所述K个网络输入中的1个网络输入，包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道；
所述K张LDR输入图像中的中等曝光图像作为参考图像，其余K-1张图像作为非参考图像；所述K张LDR输入图像的曝光程度由小到大排列；
所述K个网络输入，包括K-1个非参考图像网络输入和1个参考图像网络输入；
步骤2、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型；
其中，基于注意力机制的高动态范围图像去伪影卷积神经网络模型，包括：第一卷积层、注意力模块、编码器、合成模块及解码器；
第一卷积层与注意力模块相连，注意力模块与编码器相连，编码器与合成模块相连，合成模块与解码器相连；
所述注意力模块包括通道注意力子模块和空间注意力子模块，通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数，空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数。
所述编码器包括卷积层和ReLU激活函数。
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块。
所述解码器包括反卷积层和ReLU激活函数。
步骤3、将预处理得到的K个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛，得到训练好的神经网络模型；
所述真值图，与参考图像是对齐的；
步骤3具体包括如下子步骤：
步骤3.1、将预处理得到的K个网络输入分别通过第一卷积层，提取K-1个非参考图像网络输入的特征图和1个参考图像网络输入的特征图；
步骤3.2、将K-1个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来，得到K-1个级联的特征图，并分别输入到K-1个注意力模块，得到K-1个注意力机制引导的特征图；
所述K-1个级联的特征图，输入到K-1个注意力模块，得到K-1个注意力机制引导的特征图中每个注意力模块的操作过程，具体为：所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化，得到最大池化和平均池化特征图，然后分别将最大池化和平均池化特征图送入同一多层感知机，得到2个特征图，并进行逐像素相加，最后经过sigmoid激活函数得到通道注意力图；将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘，得到通道注意力机制引导的特征图；将通道注意力机制引导的特征图输入空间注意力子模块，空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息，得到通道上的最大池化和平均池化特征图，然后将通道上的最大池化和平均池化特征图分别经过两个卷积层，再进行逐像素相加，最后经过sigmoid激活函数得到最终的注意力图；将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘，得到注意力机制引导的特征图；
步骤3.3、将K-1个注意力机制引导的特征图和1个参考图像网络输入的特征图分别通过K个编码器，得到K个编码器输出的特征图；
步骤3.4、将K个编码器输出的特征图级联起来得到1个级联的编码器特征图，并输入到合成模块，合成模块将级联的编码器特征图进行融合，得到合成模块的特征图；
所述合成模块将级联的编码器特征图进行融合，得到合成模块的特征图，具体为：首先，将级联的编码器特征图经过一个卷积层，得到一个通道数减少的特征图，然后将其依次送入三个扩张残差密集块，分别得到三个扩张残差密集块的特征图，将三个扩张残差密集块的特征图级联起来，通过一个卷积层自适应融合不同特征，最后再通过一个卷积层进一步提取特征，并实现特征融合，得到合成模块的特征图；
步骤3.5、将K个编码器输出的特征图与合成模块的特征图相加进行全局残差学习，识别合成模块的特征图与编码器输出的特征图之间的差异，得到全局残差学习后的特征图；
所述进行全局残差学习，具体为：通过对K个编码器输出的特征图使用跳跃连接，与合成模块的特征图相加实现；
步骤3.6、将全局残差学习后的特征图输入解码器进行上采样，得到合成的HDR图像；
步骤3.7、将合成的HDR图像和真值图进行色调映射，得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数，并反向传播以更新权重，直至网络收敛，得到训练好的神经网络模型；
其中，色调映射采用μ-law方法；
步骤4、对K张测试图像进行预处理，得到K个测试图像网络输入；
所述预处理，具体为：
步骤4.1、将K张测试图像映射到HDR域，分别得到K张HDR域图像；
步骤4.2、将K张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，得到K个测试图像网络输入；
步骤5、将K个测试图像网络输入作为训练好的神经网络模型的输入进行测试，得到合成的HDR图像；
步骤6、将合成的HDR图像进行色调映射，得到色调映射输出，并将色调映射输出显示在常用的LDR显示器上；
其中，色调映射采用μ-law方法。
有益效果
本发明所提的一种基于注意力机制的高动态范围图像去伪影方法，与现有技术相比，具有如下有益效果：
1、所述高动态范围图像去伪影方法通过由注意力机制引导的、包含编解码器的卷积神经网络，能更深层次地提取有用的特征，并对所有输入图像进行全局残差学习，可以更好的识别合并后的特征图与所有原始特征图的差异，生成的HDR图像细节清晰且解决了伪影问题；
2、所述高动态范围图像去伪影方法通过从通道和空间维度得到注意力机制引导的特征图，使网络更精确地保留有用的信息，并抑制有害的信息，有效地去除了伪影；定量和定性实验表明，本算法优于现有方法；
3、所述高动态范围图像去伪影方法通过下采样，使送入合成模块的特征图尺寸减小，进而减少计算量，完成合成处理后再通过上采样恢复特征图尺寸，使网络的运行时间大幅度减少。
附图说明
图1是本发明基于注意力机制的高动态范围图像去伪影方法的流程图；
图2是本发明基于注意力机制的高动态范围图像去伪影方法的神经网络模型结构示意图；
图3是本发明基于注意力机制的高动态范围图像去伪影方法的注意力模块结构；
图4是本发明基于注意力机制的高动态范围图像去伪影方法的合成模块结构；
图5是本发明基于注意力机制的高动态范围图像去伪影方法的注意力模块产生的注意力机制引导的特征图；
图6是本发明基于注意力机制的高动态范围图像去伪影方法与现有的HDR成像方法对测试一的处理效果对比；
图7是本发明基于注意力机制的高动态范围图像去伪影方法与现有的HDR成像方法对测试二的处理效果对比。
具体实施方式
下面结合附图和实施例对本发明所述一种基于注意力机制的高动态范围图像去伪影方法做进一步说明和详细描述。
实施例1
本发明所述一种基于注意力机制的高动态范围图像去伪影方法,应用于动态场景中的高动态范围成像领域，适用于场景中具有较大运动，且在不同曝光下拍摄的多张LDR图像，并在论文Deep High Dynamic Range Imaging of Dynamic Scenes和论文RobustPatch-Based HDR Reconstruction of Dynamic Scenes中提出的两个公开数据集上进行了测试。与现有技术相比，能够有效去除HDR图像中由于物体运动产生的伪影，恢复饱和区域的细节，网络运行时间大幅度减少。
本实施例阐述采用本发明所述方法通过使用3张LDR图像合成1张HDR图像的过程，输入图像组是在前景运动较大的动态场景中使用不同曝光拍摄的3张LDR图像。
如图1所示，本实施例基于注意力机制的高动态范围图像去伪影方法，具体包括以下步骤：
S10、对3张LDR输入图像进行预处理，得到3个网络输入；
所述预处理，具体为：
S11、将输入的3张LDR图像利用伽马变换映射到HDR域，得到HDR域图像；
S12、将3张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，分别得到3个网络输入；
所述3个网络输入中的1个网络输入，包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道；
所述3张LDR输入图像中的中等曝光图像作为参考图像，其余2张图像作为非参考图像；所述3张LDR输入图像的曝光程度由小到大排列；
所述3个网络输入，包括2个非参考图像网络输入和1个参考图像网络输入；
S20、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型；
其中，基于注意力机制的高动态范围图像去伪影卷积神经网络模型结构示意图如图2所示，包括：第一卷积层、注意力模块、编码器、合成模块及解码器；
第一卷积层与注意力模块相连，注意力模块与编码器相连，编码器与合成模块相连，合成模块与解码器相连；
所述注意力模块包括通道注意力子模块和空间注意力子模块，通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数，空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数。所述注意力模块结构如图3所示。
所述编码器包括卷积层和ReLU激活函数。
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块。所述合成模块结构如图4所示。
所述解码器包括反卷积层和ReLU激活函数。
S30、将预处理得到的3个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛，得到训练好的神经网络模型；
所述真值图，与参考图像是对齐的；
S30具体包括如下子步骤：
S31、将预处理得到的3个网络输入分别通过第一卷积层，提取2个非参考图像网络输入的特征图和1个参考图像网络输入的特征图；
其中，第一卷积层的卷积核大小为3×3，通道数为64，后面包含一个ReLU激活函数；
S32、将2个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来，得到2个级联的特征图，并分别输入到2个注意力模块，得到2个注意力机制引导的特征图，注意力机制引导的特征图如图5所示；
所述2个级联的特征图，输入到2个注意力模块，得到2个注意力机制引导的特征图中每个注意力模块的操作过程，具体为：所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化，得到最大池化和平均池化特征图，然后分别将最大池化和平均池化特征图送入同一多层感知机，得到2个多层感知机输出的特征图。多层感知机的第一层的输出通道数为8，后面包含一个ReLU激活函数，第二层的输出通道数为64。将2个多层感知机输出的特征图进行逐像素相加，最后经过sigmoid激活函数得到通道注意力图；将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘，得到通道注意力机制引导的特征图；将通道注意力机制引导的特征图输入空间注意力子模块，空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息，得到通道上的最大池化和平均池化特征图，然后将通道上的最大池化和平均池化特征图分别经过两个卷积核大小为7×7的卷积层，通道数为1，再进行逐像素相加，最后经过sigmoid激活函数得到最终的注意力图；将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘，得到注意力机制引导的特征图；
S33、将2个注意力机制引导的特征图和参考图像网络输入的特征图分别通过3个编码器，得到3个编码器输出的特征图；
其中，每个编码器由卷积核大小为3×3的卷积层和ReLU激活函数组成，通道数从64增加到128，然后增加到256，所有卷积层的步长都为2；
S34、将3个编码器输出的特征图级联起来得到1个级联的编码器特征图，并输入到合成模块，合成模块将级联的编码器特征图进行融合，得到合成模块的特征图；
所述合成模块将级联的编码器特征图进行融合，得到合成模块的特征图，具体为：首先，将级联的编码器特征图经过一个卷积核大小为3×3的卷积层，得到一个64通道的特征图，然后将其依次送入三个扩张残差密集块，分别得到三个扩张残差密集块的特征图，扩张残差密集块是通过将扩张卷积应用于残差密集块实现的，扩张率为2，卷积核大小为3×3，通道数为64；将三个扩张残差密集块的特征图级联起来，通过一个卷积核大小为1×1、通道数为64的卷积层自适应融合不同特征，最后再通过一个卷积核大小为3×3、通道数为64的卷积层进一步提取特征，并实现特征融合，得到合成模块的特征图；
所述合成模块的所有卷积层后面都分别包含了一个ReLU激活函数；
S35、将3个编码器输出的特征图与合成模块的特征图相加进行全局残差学习，识别合成模块的特征图与编码器输出的特征图之间的差异，得到全局残差学习后的特征图；
所述进行全局残差学习，具体为：通过对3个编码器输出的特征图使用跳跃连接，与合成模块的特征图相加实现。
S36、将全局残差学习后的特征图输入解码器进行上采样，得到合成的HDR图像；
其中，解码器由反卷积层和ReLU激活函数组成，反卷积层的步长和内核与编码器中卷积层的步长和内核相同，通道数从256减少到128，再减少到64，最终减少到3以输出合成的HDR图像；
S37、将合成的HDR图像和真值图进行色调映射，得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数，并反向传播以更新权重，直至网络收敛，得到训练好的神经网络模型；
其中，色调映射采用μ-law方法，损失函数采用合成的HDR图像和真值图的色调映射结果的L2损失；
S40、对3张测试图像进行预处理，得到3个测试图像网络输入；
所述预处理，具体为：
S41、将3张测试图像映射到HDR域，分别得到3张HDR域图像；
S42、将3张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，得到3个测试图像网络输入；
S50、将3个测试图像网络输入作为训练好的神经网络模型的输入进行测试，得到合成的HDR图像；
S60、将合成的HDR图像进行色调映射，得到色调映射输出，并将色调映射输出显示在常用的LDR显示器上；
其中，色调映射采用μ-law方法。
用本发明方法与常用的几种高动态范围成像方法对同一组LDR图像进行HDR图像合成，两组对比结果分别如图6、图7所示，图像质量评价标准数据HDR-VDP-2、PSNR-T(色调映射后图像的PSNR值)、PSNR-L(HDR线性域图像的PSNR值)和SSIM如表1所示，处理一组图片的平均运行时间如表2所示，表1和表2中所有值是15组测试图像所得平均值。其中，对比方法分别为：Sen：Robust Patch-Based HDR Reconstruction of Dynamic Scenes；HDRCNN：HDR image reconstruction from a single exposure using deep CNNs；Kalantari：Deep High Dynamic Range Imaging of Dynamic Scenes；Wu：Deep High Dynamic RangeImaging with Large Foreground Motions；Yan：Attention-guided Network for Ghost-free High Dynamic Range Imaging。
表1图像质量标准对比
方法 HDR-VDP-2 PSNR-T PSNR-L SSIM
Sen 56.2643 40.9246 39.2917 0.9842
HDRCNN 54.5906 14.1077 14.7209 0.7087
Kalantari 64.3639 41.8317 41.3065 0.9859
Wu 64.1937 41.8809 40.9723 0.9859
Yan 65.7313 41.5960 41.0679 0.9860
本方法 66.8093 42.6962 41.7769 0.9863
表2平均运行时间对比
Sen HDRCNN Kalantari Wu Yan 本方法
时间(秒) 58.06 8.30 15.84 2.83 1.29 0.96
由图6、图7、表1和表2的对比可知，本发明所述方法相较于其它方法，在同样的输入下，由于使用了注意力机制增强有用的像素信息，抑制有害的部分，能够消除动态区域的伪影，并恢复饱和区域的细节。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (9)

1.一种基于注意力机制的高动态范围图像去伪影方法依托于卷积神经网络模型，所述卷积神经网络模型，包括：第一卷积层、注意力模块、编码器、合成模块及解码器；
第一卷积层与注意力模块相连，注意力模块与编码器相连，编码器与合成模块相连，合成模块与解码器相连；
所述注意力模块包括通道注意力子模块和空间注意力子模块，通道注意力子模块又包括最大池化、平均池化、多层感知机、sigmoid激活函数，空间注意力子模块又包括全局最大池化、全局平均池化、卷积层、sigmoid激活函数。
所述编码器包括卷积层和ReLU激活函数。
所述合成模块包括卷积层、ReLU激活函数和扩张残差密集块。
所述解码器包括反卷积层和ReLU激活函数。
其特征在于：包括如下步骤：
S1、对K张LDR输入图像进行预处理，得到K个网络输入；
所述预处理，具体为：
S11、将输入的K张LDR图像映射到HDR域，得到HDR域图像；
S12、将所有K张LDR图像和该LDR图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，分别得到K个网络输入；
所述K个网络输入，包括K-1个非参考图像网络输入和1个参考图像网络输入；
S2、构建基于注意力机制的高动态范围图像去伪影卷积神经网络模型；
S3、将预处理得到的K个网络输入和真值图输入到去伪影卷积神经网络模型进行训练直至收敛，得到训练好的神经网络模型，具体包括如下子步骤：
S31、将预处理得到的K个网络输入分别通过第一卷积层，提取K-1个非参考图像网络输入的特征图和1个参考图像网络输入的特征图；
S32、将K-1个非参考图像网络输入的特征图分别与参考图像网络输入的特征图级联起来，得到K-1个级联的特征图，并分别输入到K-1个注意力模块，得到K-1个注意力机制引导的特征图；
S33、将K-1个注意力机制引导的特征图和1个参考图像网络输入的特征图分别通过K个编码器，得到K个编码器输出的特征图；
S34、将K个编码器输出的特征图级联起来得到1个级联的编码器特征图，并输入到合成模块，合成模块将级联的编码器特征图进行融合，得到合成模块的特征图；
S35、将K个编码器输出的特征图与合成模块的特征图相加进行全局残差学习，识别合成模块的特征图与编码器输出的特征图之间的差异，得到全局残差学习后的特征图；
S36、将全局残差学习后的特征图输入解码器进行上采样，得到合成的HDR图像；
S37、将合成的HDR图像和真值图进行色调映射，得到合成的HDR图像和真值图的色调映射结果,根据合成的HDR图像和真值图的色调映射结果计算损失函数，并反向传播以更新权重，直至网络收敛，得到训练好的神经网络模型；
S4、对K张测试图像进行预处理，得到K个测试图像网络输入；
所述预处理，具体为：
S41、将K张测试图像映射到HDR域，分别得到K张HDR域图像；
S42、将K张测试图像和每张测试图像对应的HDR域图像沿红、绿、蓝通道维度依次级联起来，得到K个测试图像网络输入；
S5、将K个测试图像网络输入作为训练好的神经网络模型的输入进行测试，得到合成的HDR图像；
S6、将合成的HDR图像进行色调映射，得到色调映射输出，并将色调映射输出显示在常用的LDR显示器上。
2.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S1中，K的取值范围为2至10。
3.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S12所述K个网络输入中的1个网络输入，包括依次级联的LDR图像的红、绿、蓝通道和HDR域图像的红、绿、蓝通道。
4.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S12所述K张LDR输入图像中的中等曝光图像作为参考图像，其余K-1张图像作为非参考图像；所述K张LDR输入图像的曝光程度由小到大排列。
5.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S3所述真值图，与参考图像是对齐的。
6.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S32所述K-1个级联的特征图，输入到K-1个注意力模块，得到K-1个注意力机制引导的特征图中每个注意力模块的操作过程，具体为：所述注意力模块的通道注意力子模块首先将1个级联的特征图分别经过最大池化和平均池化，得到最大池化和平均池化特征图，然后分别将最大池化和平均池化特征图送入同一多层感知机，得到2个特征图，并进行逐像素相加，最后经过sigmoid激活函数得到通道注意力图；将通道注意力图与非参考图像网络输入的特征图进行逐像素相乘，得到通道注意力机制引导的特征图；将通道注意力机制引导的特征图输入空间注意力子模块，空间注意力子模块首先对通道注意力机制引导的特征图做基于通道的全局最大池化和全局平均池化以聚合通道信息，得到通道上的最大池化和平均池化特征图，然后将通道上的最大池化和平均池化特征图分别经过两个卷积层，再进行逐像素相加，最后经过sigmoid激活函数得到最终的注意力图；将最终的注意力图与通道注意力机制引导的特征图进行逐像素相乘，得到注意力机制引导的特征图。
7.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S34所述合成模块将级联的编码器特征图进行融合，得到合成模块的特征图，具体为：首先，将级联的编码器特征图经过一个卷积层，得到一个通道数减少的特征图，然后将其依次送入三个扩张残差密集块，分别得到三个扩张残差密集块的特征图，将三个扩张残差密集块的特征图级联起来，通过一个卷积层自适应融合不同特征，最后再通过一个卷积层进一步提取特征，并实现特征融合，得到合成模块的特征图。
8.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S35所述进行全局残差学习，具体为：通过对K个编码器输出的特征图使用跳跃连接，与合成模块的特征图相加实现。
9.如权利要求1所述的高动态范围图像去伪影方法，其特征在于：S37或S6中的色调映射采用μ-law方法。
CN202210621750.5A 2022-06-01 2022-06-01 一种基于注意力机制的高动态范围图像去伪影方法 Active CN114998138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210621750.5A CN114998138B (zh) 2022-06-01 2022-06-01 一种基于注意力机制的高动态范围图像去伪影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210621750.5A CN114998138B (zh) 2022-06-01 2022-06-01 一种基于注意力机制的高动态范围图像去伪影方法

Publications (2)

Publication Number Publication Date
CN114998138A true CN114998138A (zh) 2022-09-02
CN114998138B CN114998138B (zh) 2024-05-28

Family

ID=83031175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210621750.5A Active CN114998138B (zh) 2022-06-01 2022-06-01 一种基于注意力机制的高动态范围图像去伪影方法

Country Status (1)

Country Link
CN (1) CN114998138B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161161A (zh) * 2019-12-04 2020-05-15 天津大学 一种颜色保持的特征融合去雾方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法
CN111583152A (zh) * 2020-05-11 2020-08-25 福建帝视信息科技有限公司 基于U-net结构的图像伪影检测与自动去除方法
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN113096029A (zh) * 2021-03-05 2021-07-09 电子科技大学 基于多分支编解码器神经网络的高动态范围图像生成方法
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像系统及方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113628147A (zh) * 2021-09-08 2021-11-09 辽宁师范大学 一种基于噪声生成网络的牙齿ct图像盲去噪方法
CN113642634A (zh) * 2021-08-12 2021-11-12 南京邮电大学 一种基于混合注意力的阴影检测方法
US20210390723A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Monocular unsupervised depth estimation method based on contextual attention mechanism
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161161A (zh) * 2019-12-04 2020-05-15 天津大学 一种颜色保持的特征融合去雾方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法
CN111583152A (zh) * 2020-05-11 2020-08-25 福建帝视信息科技有限公司 基于U-net结构的图像伪影检测与自动去除方法
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
US20210390723A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Monocular unsupervised depth estimation method based on contextual attention mechanism
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN113096029A (zh) * 2021-03-05 2021-07-09 电子科技大学 基于多分支编解码器神经网络的高动态范围图像生成方法
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像系统及方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113642634A (zh) * 2021-08-12 2021-11-12 南京邮电大学 一种基于混合注意力的阴影检测方法
CN113628147A (zh) * 2021-09-08 2021-11-09 辽宁师范大学 一种基于噪声生成网络的牙齿ct图像盲去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIPENG DENG.ETC: "Attention GAN for Multipath Error Removal From ToF Sensors", INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, 15 January 2021 (2021-01-15), pages 8976 - 8983 *

Also Published As

Publication number Publication date
CN114998138B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111667442B (zh) 一种基于事件相机的高质量高帧率图像重建方法
CN111080541B (zh) 基于比特分层和注意力融合机制的彩色图像去噪方法
CN111311490A (zh) 基于多帧融合光流的视频超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111861902A (zh) 基于深度学习的Raw域视频去噪方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN110852961A (zh) 一种基于卷积神经网络的实时视频去噪方法及系统
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN113034413B (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN110717868A (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN115393227B (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
WO2023086194A1 (en) High dynamic range view synthesis from noisy raw images
CN114463218A (zh) 一种基于事件数据驱动的视频去模糊方法
CN110689498B (zh) 一种基于对非关注点部分分级模糊的高清视频优化方法
Chen et al. Attention-based broad self-guided network for low-light image enhancement
CN111524060B (zh) 一种实时人像背景虚化的系统、方法、存储介质和设备
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN117152019A (zh) 一种基于双分支特征处理的低照度图像增强方法和系统
CN114119428B (zh) 一种图像去模糊方法和装置
Cui et al. Multi-stream attentive generative adversarial network for dynamic scene deblurring
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant