CN112561838A - 基于残差自注意力和生成对抗网络的图像增强方法 - Google Patents
基于残差自注意力和生成对抗网络的图像增强方法 Download PDFInfo
- Publication number
- CN112561838A CN112561838A CN202011392344.3A CN202011392344A CN112561838A CN 112561838 A CN112561838 A CN 112561838A CN 202011392344 A CN202011392344 A CN 202011392344A CN 112561838 A CN112561838 A CN 112561838A
- Authority
- CN
- China
- Prior art keywords
- infrared
- attention
- image
- feature map
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 230000009191 jumping Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于残差自注意力和生成对抗网络的图像增强方法，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；低级特征图与高级特征图进行卷积合并生成增强红外图像，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。
Description
技术领域
本发明属于红外图像增强领域，具体涉及一种基于残差自注意力和生成对抗网络的图像增强方法。
背景技术
红外成像在医学成像，安全监控，环境污染检测和军事目标检测中发挥了重要作用；通常，红外图像具有一些缺点，例如低对比度和细节模糊，这限制了对红外目标的观察以及红外成像应用的进一步发展，为了获得高质量的结果，有必要增强红外图像。
以前的大多数方法是通过使用空间和频域来推广的，包括直方图均衡，对比度调整，变换，经验模态分解等，引入了基于直方图均衡的方法，通过分布热图像的直方图大致相等；最近，与以前基于手工特征的方法相比，基于卷积神经网络(CNN)的方法在各种视觉任务例如目标检测，图像识别和超分辨率图像，已经达到了创纪录的性能；Choi等人提出了第一种基于CNN的增强热图像的方法，他设计了一个相对较浅的CNN，CNN不仅在增强热图像质量方面取得了成功，而且在增强的热图像的基础上，在验证行人检测，视觉测距和图像配准等各种应用中的性能改进方面也取得了成功。
发明内容
鉴于此，本发明的主要目的在于提供一种于残差自注意力机制和生成对抗网络的红外图像增强方法。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于残差自注意力和生成对抗网络的图像增强方法，该方法为：首先，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；其次，通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；之后，低级特征图与高级特征图进行卷积合并生成增强红外图像，最后，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。
上述方案中，所述通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图，具体为：所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。
上述方案中，所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。
上述方案中，所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。
上述方案中，所述空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的最大池化和平均池化，然后将池化结果基于通道做concat操作，然后经过一个卷积操作，降维为1个通道，再经过sigmoid生成空间注意力权重矩阵，最后将该权重矩阵和该模块的输入特征图做乘法，得到最终生成的红外图像特征图。
上述方案中，所述通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图，具体为：增强模块由两个增强块即第一增强块与第二增强块组成，残差自注意力模块输出的低级红外特征图作为第一增强块的输入，第一增强块中有两个3×3前端卷积层，前端卷积层的输出以4倍、8倍、16倍、32倍的系数下采样以构建四级金字塔，使用1×1卷积以减小尺寸，将红外特征映射上采样到原始大小，并将其与前端卷积层的输出连接在一起，最后，在红外特征图的级联上实现3×3卷积，生成新的红外特征图；将输入的低级红外特征图与生成的新的红外特征图跳跃连接并馈送给第二增强块，第二增强块的结构与第一增强块相同，第二增强块输出高级红外特征图。
上述方案中，所述低级特征图与高级特征图进行卷积合并生成增强红外图像，具体为：残差自注意力模块输出的低级特征图与增强模块输出的高级特征图通过concat操作进行合并，并通过三层卷积层形成增强红外图像。所述三层卷积层分别为第二卷积层、第三卷积层、第四卷积层，第二卷积层与第三卷积层结构相同，大小为3×3×64，激活函数为ReLU；第四卷积层位于第二卷积层、第三卷积层之后，大小为9×9×64，激活函数为tanh。
上述方案中，所述将增强图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，计算两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，得到质量相对最优的增强红外图像，具体为：判别器网络主要由5个卷积层构成，除了第一层卷积层，其余所有层都有批量归一化层，第1、2、5层卷积层的步长分别为4、2、2，其余全部以步长为1移动，选用LeakyReLU激活函数，如式(1)所示，最后一层为含有1024个神经元的全连接层，
式中，x为输入红外特征图，α为固定参数0.2，连接将输出限制在(0，1)的softmax函数，输出结果为判定输出图像为真实图像的可能性大小。
上述方案中，损失函数由纹理损失函数、内容损失函数、全变分损失函数，对比度损失函数组成，具体为：
在成对的数据上训练判别器网络，并在判别器预训练结束后和生成器网络共同训练使交叉熵损失函数最小化，纹理损失函数如式(2)所示：
式中，FW表示生成器网络，D表示判别器网络，Is为低质量的原图像，FW(Is)表示生成的增强图像，It表示对应的高质量图像；
采用预训练的VGG-19网络的ReLU层后激活后的特征响应图的欧式距离作为内容损失函数，损失函数为增强图像和目标图像卷积层4的特征响应图之间的欧式距离，如式(3)所示：
式中，Cj表示特征图的数量，Hj表示特征图的高度、Wj表示特征图的宽度，ψj(·)表示为VGG-19第j层卷积层后得到特征图；
还引入了全变分损失函数，如式(4)所示：
式中，C、H、W分别表示增强图像的通道数、高度和宽度；
还引入了对比度损失函数，求取两幅图像之间的欧几里得距离，对比度损失函数如式(5)所示：
在基于数据集的初步训练之后，每部分损失函数的系数调整如式(:6)所示：
L＝Lcontent+0.4·Ltexture+0.1·Lcontrast+400·Ltv (6)
最终，生成器需要学习的不断优化的目标函数如式(7)所示，训练数据集共包含有N个图像对：
式中，W*为网络要学习的参数，L为总损失函数。
与现有技术相比，本发明的有益效果：
(1)本发明加入了残差自注意力模块，充分利用图像通道及空间位置的相关性，增加了图像增强的依据，使得增强图像更加符合实际。
(2)添加了增强模块，使得增强图像的细节信息更加丰富。
附图说明
图1为生成对抗网络训练过程。
图2为生成器结构。
图3为残差注意力模块结构。
图4为通道注意力模块结构。
图5为空间注意力模块结构。
图6为增强模块结构。
图7为判别器结构。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明实施例提供一种基于残差自注意力和生成对抗网络的图像增强方法，如图1-7所示，该方法具体通过以下步骤实现：
步骤101：通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；
具体地，所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。
所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。
所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。
所述空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的最大池化和平均池化，然后将池化结果基于通道做concat操作，然后经过一个卷积操作，降维为1个通道，再经过sigmoid生成空间注意力权重矩阵，最后将该权重矩阵和该模块的输入特征图做乘法，得到最终生成的红外图像特征图。
步骤102：通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；
具体地，增强模块由两个增强块组成，残差自注意力模块输出的低级红外特征图作为第一增强块的输入，第一增强块中有两个3×3前端卷积层，前端卷积层的输出以4倍、8倍、16倍、32倍的系数下采样以构建四级金字塔，使用1×1卷积以减小尺寸，将红外特征映射上采样到原始大小，并将其与前端卷积层的输出连接在一起，最后，在红外特征图的级联上实现3×3卷积，生成新的红外特征图；将输入的低级红外特征图与生成的新的红外特征图跳跃连接并馈送给第二增强块，第二增强块的结构与第一增强块相同，第二增强块输出高级红外特征图。
步骤103：低级特征图与高级特征图进行卷积合并生成增强红外图像；
具体地，低级特征图与高级特征图进行卷积合并生成增强红外图像，具体为：残差自注意力模块输出的低级特征图与增强模块输出的高级特征图通过concat操作进行合并，并通过三层卷积层形成增强红外图像。所述三层卷积层分别为第二卷积层、第三卷积层、第四卷积层，第二卷积层与第三卷积层结构相同，大小为3×3×64，激活函数为ReLU；第四卷积层位于第二卷积层、第三卷积层之后，大小为9×9×64，激活函数为tanh，从一定程度上削弱了梯度消失的出现可能性。
步骤104：将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。
具体地，将增强图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，计算两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，得到质量相对最优的增强红外图像，具体为：判别器判别器网络主要由5个卷积层构成，除了第一层卷积层，其余所有层都有批量归一化层，第1、2、5层卷积层的步长分别为4、2、2，其余全部以步长为1移动，选用LeakyReLU激活函数，如式(1)所示，最后一层为含有1024个神经元的全连接层，
式中，x为输入红外特征图，α为固定参数0.2，连接将输出限制在(0，1)的softmax函数，输出结果为判定输出图像为真实图像的可能性大小。
损失函数由纹理损失函数、内容损失函数、全变分损失函数，对比度损失函数组成，具体为：
在成对的数据上训练判别器网络，并在判别器预训练结束后和生成器网络共同训练使交叉熵损失函数最小化，纹理损失函数如式(2)所示，由定义可知，损失函数具有平移不变性：
式中，FW表示生成器网络，D表示判别器网络，Is为低质量的原图像，FW(Is)表示生成的增强图像，It表示对应的高质量图像。
为了更好地保留图像的语义信息，使增强图像和真实图像在内容和感知质量的各个方面有相似的特征表示，采用预训练的VGG-19网络的ReLU层后激活后的特征响应图的欧式距离作为内容损失函数，损失函数为增强图像和目标图像卷积层4的特征响应图之间的欧式距离，如式(3)所示：
式中，Cj表示特征图的数量，Hj表示特征图的高度、Wj表示特征图的宽度，ψj(·)表示为VGG-19第j层卷积层后得到特征图。
为了提高增强图像的空间平滑性，还引入了全变分损失函数，可有效抑制高频噪声，定义如式(4)所示：
式中，C、H、W分别表示增强图像的通道数、高度和宽度。
为了获取更好的训练效果，评估生成图像与真实图像之间亮度和对比度的差异，同时降低纹理和内容的影响。本章还引入了对比度损失函数，求取两幅图像之间的欧几里得距离，对比度损失函数如式(5)所示：
在基于数据集的初步训练之后，每部分损失函数的系数调整如式(6)所示：
L＝Lcontent+0.4·Ltexture+0.1·Lcontrast+400·Ltv (6)
最终，为了减小模型预测值和真实值之间的误差，生成器需要学习的不断优化的目标函数如式(7)所示，训练数据集共包含有N个图像对：
式中，W*为网络要学习的参数，L为总损失函数。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (9)
1.一种基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，该方法为：首先，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；其次，通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；之后，低级特征图与高级特征图进行卷积合并生成增强红外图像，最后，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。
2.根据权利要求1所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图，具体为：所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。
3.根据权利要求2所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。
4.根据权利要求3所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。
5.根据权利要求4所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的最大池化和平均池化，然后将池化结果基于通道做concat操作，然后经过一个卷积操作，降维为1个通道，再经过sigmoid生成空间注意力权重矩阵，最后将该权重矩阵和该模块的输入特征图做乘法，得到最终生成的红外图像特征图。
6.根据权利要求1-5任意一项所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图，具体为：增强模块由两个增强块即第一增强块与第二增强块组成，残差自注意力模块输出的低级红外特征图作为第一增强块的输入，第一增强块中有两个3×3前端卷积层，前端卷积层的输出以4倍、8倍、16倍、32倍的系数下采样以构建四级金字塔，使用1×1卷积以减小尺寸，将红外特征映射上采样到原始大小，并将其与前端卷积层的输出连接在一起，最后，在红外特征图的级联上实现3×3卷积，生成新的红外特征图；将输入的低级红外特征图与生成的新的红外特征图跳跃连接并馈送给第二增强块，第二增强块的结构与第一增强块相同，第二增强块输出高级红外特征图。
7.根据权利要求6所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述低级特征图与高级特征图进行卷积合并生成增强红外图像，具体为：残差自注意力模块输出的低级特征图与增强模块输出的高级特征图通过concat操作进行合并，并通过三层卷积层形成增强红外图像。所述三层卷积层分别为第二卷积层、第三卷积层、第四卷积层，第二卷积层与第三卷积层结构相同，大小为3×3×64，激活函数为ReLU；第四卷积层位于第二卷积层、第三卷积层之后，大小为9×9×64，激活函数为tanh。
8.根据权利要求7所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，所述将增强图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，计算两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，得到质量相对最优的增强红外图像，具体为：判别器网络主要由5个卷积层构成，除了第一层卷积层，其余所有层都有批量归一化层，第1、2、5层卷积层的步长分别为4、2、2，其余全部以步长为1移动，选用LeakyReLU激活函数，如式(1)所示，最后一层为含有1024个神经元的全连接层，
式中，x为输入红外特征图，α为固定参数0.2，连接将输出限制在(0，1)的softmax函数，输出结果为判定输出图像为真实图像的可能性大小。
9.根据权利要求8所述的基于残差自注意力和生成对抗网络的图像增强方法，其特征在于，损失函数由纹理损失函数、内容损失函数、全变分损失函数，对比度损失函数组成，具体为：
在成对的数据上训练判别器网络，并在判别器预训练结束后和生成器网络共同训练使交叉熵损失函数最小化，纹理损失函数如式(2)所示：
式中，FW表示生成器网络，D表示判别器网络，Is为低质量的原图像，FW(Is)表示生成的增强图像，It表示对应的高质量图像；
采用预训练的VGG-19网络的ReLU层后激活后的特征响应图的欧式距离作为内容损失函数，损失函数为增强图像和目标图像卷积层4的特征响应图之间的欧式距离，如式(3)所示：
式中，Cj表示特征图的数量，Hj表示特征图的高度、Wj表示特征图的宽度，ψj(·)表示为VGG-19第j层卷积层后得到特征图；
还引入了全变分损失函数，如式(4)所示：
式中，C、H、W分别表示增强图像的通道数、高度和宽度；
还引入了对比度损失函数，求取两幅图像之间的欧几里得距离，对比度损失函数如式(5)所示：
在基于数据集的初步训练之后，每部分损失函数的系数调整如式(:6)所示：
L＝Lcontent+0.4·Ltexture+0.1·Lcontrast+400·Ltv (6)
最终，生成器需要学习的不断优化的目标函数如式(7)所示，训练数据集共包含有N个图像对：
式中，W*为网络要学习的参数，L为总损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011392344.3A CN112561838B (zh) | 2020-12-02 | 2020-12-02 | 基于残差自注意力和生成对抗网络的图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011392344.3A CN112561838B (zh) | 2020-12-02 | 2020-12-02 | 基于残差自注意力和生成对抗网络的图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561838A true CN112561838A (zh) | 2021-03-26 |
| CN112561838B CN112561838B (zh) | 2024-01-30 |
Family
ID=75047079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011392344.3A Active CN112561838B (zh) | 2020-12-02 | 2020-12-02 | 基于残差自注意力和生成对抗网络的图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561838B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
| CN113379655A (zh) * | 2021-05-18 | 2021-09-10 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
| CN113538616A (zh) * | 2021-07-09 | 2021-10-22 | 浙江理工大学 | 一种联合PUGAN与改进U-net的磁共振图像重构方法 |
| CN113628125A (zh) * | 2021-07-06 | 2021-11-09 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
| CN113674191A (zh) * | 2021-08-23 | 2021-11-19 | 中国人民解放军国防科技大学 | 一种基于条件对抗网络的弱光图像增强方法和装置 |
| CN113704372A (zh) * | 2021-08-18 | 2021-11-26 | 中国人民解放军国防科技大学 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
| CN113744265A (zh) * | 2021-11-02 | 2021-12-03 | 成都东方天呈智能科技有限公司 | 一种基于生成对抗网络的异常检测系统、方法和存储介质 |
| CN113822895A (zh) * | 2021-08-29 | 2021-12-21 | 陕西师范大学 | 一种基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法 |
| CN113935977A (zh) * | 2021-10-22 | 2022-01-14 | 河北工业大学 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
| CN114022742A (zh) * | 2021-10-22 | 2022-02-08 | 中国科学院长春光学精密机械与物理研究所 | 红外与可见光图像融合方法、装置及计算机存储介质 |
| CN114428877A (zh) * | 2022-01-27 | 2022-05-03 | 西南石油大学 | 一种智能服饰匹配方法和系统 |
| CN114581318A (zh) * | 2022-01-24 | 2022-06-03 | 广东省科学院智能制造研究所 | 一种低照明度图像增强方法及系统 |
| CN114820350A (zh) * | 2022-04-02 | 2022-07-29 | 北京广播电视台 | 逆色调映射系统、方法及其神经网络系统 |
| CN115760630A (zh) * | 2022-11-26 | 2023-03-07 | 南京林业大学 | 一种低照度图像增强方法 |
| CN116152116A (zh) * | 2023-04-04 | 2023-05-23 | 青岛哈尔滨工程大学创新发展中心 | 一种基于视觉自注意力模型的水下图像增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145131A (zh) * | 2019-11-28 | 2020-05-12 | 中国矿业大学 | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111861924A (zh) * | 2020-07-23 | 2020-10-30 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
-
2020
- 2020-12-02 CN CN202011392344.3A patent/CN112561838B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145131A (zh) * | 2019-11-28 | 2020-05-12 | 中国矿业大学 | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111861924A (zh) * | 2020-07-23 | 2020-10-30 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曹真;杨云;齐勇;李程辉;: "基于多损失约束与注意力块的图像修复方法", 陕西科技大学学报, no. 03 * |
| 郝韵;: "基于生成对抗网络的视频监控图像增强方法研究", 公安海警学院学报, no. 06 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
| CN113379655A (zh) * | 2021-05-18 | 2021-09-10 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
| CN113379655B (zh) * | 2021-05-18 | 2022-07-29 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
| CN113628125A (zh) * | 2021-07-06 | 2021-11-09 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
| CN113628125B (zh) * | 2021-07-06 | 2023-08-15 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
| CN113538616A (zh) * | 2021-07-09 | 2021-10-22 | 浙江理工大学 | 一种联合PUGAN与改进U-net的磁共振图像重构方法 |
| CN113538616B (zh) * | 2021-07-09 | 2023-08-18 | 浙江理工大学 | 一种联合PUGAN与改进U-net的磁共振图像重构方法 |
| CN113704372A (zh) * | 2021-08-18 | 2021-11-26 | 中国人民解放军国防科技大学 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
| CN113704372B (zh) * | 2021-08-18 | 2024-02-06 | 中国人民解放军国防科技大学 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
| CN113674191A (zh) * | 2021-08-23 | 2021-11-19 | 中国人民解放军国防科技大学 | 一种基于条件对抗网络的弱光图像增强方法和装置 |
| CN113822895A (zh) * | 2021-08-29 | 2021-12-21 | 陕西师范大学 | 一种基于自注意力机制和CycleGAN的ScanSAR图像扇贝效应抑制方法 |
| CN114022742A (zh) * | 2021-10-22 | 2022-02-08 | 中国科学院长春光学精密机械与物理研究所 | 红外与可见光图像融合方法、装置及计算机存储介质 |
| CN113935977A (zh) * | 2021-10-22 | 2022-01-14 | 河北工业大学 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
| CN114022742B (zh) * | 2021-10-22 | 2024-05-17 | 中国科学院长春光学精密机械与物理研究所 | 红外与可见光图像融合方法、装置及计算机存储介质 |
| CN113744265A (zh) * | 2021-11-02 | 2021-12-03 | 成都东方天呈智能科技有限公司 | 一种基于生成对抗网络的异常检测系统、方法和存储介质 |
| CN114581318A (zh) * | 2022-01-24 | 2022-06-03 | 广东省科学院智能制造研究所 | 一种低照明度图像增强方法及系统 |
| CN114428877A (zh) * | 2022-01-27 | 2022-05-03 | 西南石油大学 | 一种智能服饰匹配方法和系统 |
| CN114428877B (zh) * | 2022-01-27 | 2023-09-15 | 西南石油大学 | 一种智能服饰匹配方法和系统 |
| CN114820350A (zh) * | 2022-04-02 | 2022-07-29 | 北京广播电视台 | 逆色调映射系统、方法及其神经网络系统 |
| CN115760630A (zh) * | 2022-11-26 | 2023-03-07 | 南京林业大学 | 一种低照度图像增强方法 |
| CN116152116A (zh) * | 2023-04-04 | 2023-05-23 | 青岛哈尔滨工程大学创新发展中心 | 一种基于视觉自注意力模型的水下图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561838B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112561838B (zh) | 基于残差自注意力和生成对抗网络的图像增强方法 | |
| Guo et al. | FuseGAN: Learning to fuse multi-focus image via conditional generative adversarial network | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN113673307A (zh) | 一种轻量型的视频动作识别方法 | |
| CN112233026A (zh) | 一种基于多尺度残差注意力网络的sar图像去噪方法 | |
| CN111275637A (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| Zong et al. | Local-CycleGAN: a general end-to-end network for visual enhancement in complex deep-water environment | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
| CN115205730A (zh) | 一种结合特征增强与模板更新的目标跟踪方法 | |
| Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
| CN113554599B (zh) | 一种基于人类视觉效应的视频质量评价方法 | |
| CN113723295A (zh) | 一种基于图像域频域双流网络的人脸伪造检测方法 | |
| CN113255602A (zh) | 基于多模态数据的动态手势识别方法 | |
| Qian et al. | Circular lbp prior-based enhanced GAN for image style transfer | |
| CN117351542A (zh) | 一种面部表情识别方法及系统 | |
| CN113762277B (zh) | 一种基于Cascade-GAN的多波段红外图像融合方法 | |
| CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
| CN117011515A (zh) | 基于注意力机制的交互式图像分割模型及其分割方法 | |
| Hou et al. | Learning deep image priors for blind image denoising | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN113344814A (zh) | 一种基于生成机制的高分辨率对抗样本的合成方法 | |
| CN116645287B (zh) | 一种基于扩散模型的图像去模糊方法 | |
| Zhang et al. | A lightweight CNN based information fusion for image denoising | |
| CN113837048B (zh) | 基于少样本注意力的车辆重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |