CN112381716B - 一种基于生成式对抗网络的图像增强方法 - Google Patents

一种基于生成式对抗网络的图像增强方法 Download PDF

Info

Publication number
CN112381716B
CN112381716B CN202011292865.1A CN202011292865A CN112381716B CN 112381716 B CN112381716 B CN 112381716B CN 202011292865 A CN202011292865 A CN 202011292865A CN 112381716 B CN112381716 B CN 112381716B
Authority
CN
China
Prior art keywords
image
shadow
resolution
network
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011292865.1A
Other languages
English (en)
Other versions
CN112381716A (zh
Inventor
张盛平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixiang Shenzhen Intelligent Technology Co ltd
Original Assignee
Aixiang Shenzhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aixiang Shenzhen Intelligent Technology Co ltd filed Critical Aixiang Shenzhen Intelligent Technology Co ltd
Priority to CN202011292865.1A priority Critical patent/CN112381716B/zh
Publication of CN112381716A publication Critical patent/CN112381716A/zh
Application granted granted Critical
Publication of CN112381716B publication Critical patent/CN112381716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的图像增强方法，包括以下步骤：收集光影正常的图像数据，对数据进行预处理；构建生成器网络模型GB2A；构建判别器网络模型DA和DB；对所收集的光影正常的图像数据再次进行处理；将光影正常的低分辨率图像和光影异常的高分辨率图像进行拼接，同时输入到超分辨率重建网络进行前向传播；以光影正常的高分辨率图像作为标签，定义超分辨率网络的约束，对超分辨率模型进行反向传播；读取待增强的光影异常的低质量图像，输入到生成器模型GA2B中进行图像增强。再将增强后的光影正常的低分辩图像和增强前的光影异常的高分辨率原图同时输入到超分辨率重建网络进行融合，得到增强后的光影正常的高分辨率图像。

Description

一种基于生成式对抗网络的图像增强方法
技术领域
本发明涉及图像处理和模式识别技术领域，尤其涉及一种基于生成式对抗网络的图像增强方法。
背景技术
随着社交媒体的发展和摄影设备的普及，人们越来越喜欢通过照片记录并分享生活中的美好瞬间，然而在阴天、雾天、低光、逆光等场景下普通摄影者很难获得光影正常的高质量图像，不良的天气条件和光照条件会使得图像呈现出对比度低、清晰度差、噪声多等图像退化问题，图像增强是计算机视觉领域的一个重要研究方向，同时，增强后的图像也可以更好地解决计算机视觉任务，例如图像识别、目标检测、目标跟踪等。
目前，基于深度学习的图像增强算法取得了较好的增强结果。大部分基于深度学习的图像增强算法都需要成对的图像增强数据，该类方法将光影正常的高质量图像和光影异常的低质量图像看作两个域，输入到卷积神经网络中进行端到端的学习。然而，端到端的训练方式使得现有方法高度依赖于训练数据，导致模型的泛化能力较弱。此外，通过神经网络生成的图像易发生细节丢失、伪影多的问题，许多基于深度学习的模型难以处理高分辨率图像。
发明内容
本发明的目的是提供一种基于生成式对抗网络的图像增强方法，通过生成式对抗网络实现无监督的低分辨率图像增强，通过图像超分辨率重建技术将增强后的结果融合到高分辨率原图中，从而得到光影正常的高质量高分辨率图像。
为实现上述目的，本发明采用下述技术方案：
一种基于生成式对抗网络的图像增强方法，包括以下步骤：
第一步、收集光影正常的图像数据，对数据进行预处理，生成光影异常的图像数据；光影正常的图像数据和光影异常的图像数据共同构成生成式对抗网络的训练数据集；
第二步、构建第一生成器网络模型GA2B，输入光影异常的低质量图像，通过下采样解码操作和上采样编码操作生成光影正常的高质量图像。
第三步、构建第二生成器网络模型GB2A，将第一生成器网络模型GA2B网络的输出作为输入，通过下采样解码操作和上采样编码操作恢复出光影异常的低质量原图。
第四步、构建第一判别器网络模型DA和第二判别器网络模型DB，通过生成器和判别器之间的对抗来学习光影异常的低质量图像和光影正常的高质量图像之间的相互转换。
第五步、对第一步中所收集的光影正常的图像数据再次进行处理，分别得到光影正常的低分辨率图像、光影正常的高分辨率图像、光影异常的高分辨率图像，共同构成超分辨率重建网络的训练数据集。
第六步、将光影正常的低分辨率图像和光影异常的高分辨率图像进行拼接，同时输入到超分辨率重建网络进行前向传播。
第七步、以光影正常的高分辨率图像作为标签，定义超分辨率网络的约束，对超分辨率模型进行反向传播。
第八步、读取待增强的光影异常的低质量图像，输入到第一生成器模型GA2B中进行图像增强，再将增强后的光影正常的低分辩图像和增强前的光影异常的高分辨率原图同时输入到超分辨率重建网络进行融合，得到增强后的光影正常的高分辨率图像。
进一步地，所述收集光影正常的图像数据，对数据进行预处理，获得生成式对抗网络的训练数据集，包括：
从现有的公开数据集和图像分享网站中，收集大量光影正常的图像数据，对图像数据的曝光度、白平衡、对比度、饱和度进行随机化调整，生成光影异常的图像数据，从而获得生成式对抗网络的训练数据集。
进一步地，所述构建第一生成器网络模型GA2B，输入光影异常的低质量图像，通过下采样解码操作和上采样编码操作生成光影正常的高质量图像，包括：
第一生成器网络模型GA2B由编码、转换器和解码三个阶段组成。编码阶段的主要操作是利用三个卷积层提取光影正常的图像的特征；转换阶段使用残差块组合编码器阶段所提取的特征，完成从光影异常数据域到光影正常数据域的转换。解码器阶段使用缩放卷积进行上采样，最终输出光影正常的图像。
进一步地，所述构建第二生成器网络模型GB2A，将第一生成器网络模型GA2B网络的输出作为输入，通过下采样解码操作和上采样编码操作恢复出光影异常的低质量原图，包括：
第二生成器网络模型GB2A和第一生成器网络模型GA2B的主干部分相同，输入输出不同，第二生成器网络模型GB2A将第一生成器网络模型GA2B的输出作为输入，最终的输出结果为光影异常的低质量原图。
进一步地，所述构建第一判别器网络模型DA和第二判别器网络模型DB，通过生成器和判别器之间的对抗来学习光影异常的低质量图像和光影正常的高质量图像之间的相互转换，包括：
判别器是用来判断输入的图像是网络生成的图像还是真实图像。本发明设计的判别器由五层卷积层构成，卷积核大小设置为4×4，前三个卷积的步长设置为2×2，最后两个卷积的步长大小为1×1。
定义待优化的损失函数，所述损失函数包括三项：用于约束对抗过程中的图像生成情况的对抗损失函数；用于约束非对称数据的不同域之间的相互转换的循环一致性损失函数；用于从高层语义角度约束图像生成的感知细节的感知损失函数。
进一步地，所述对所收集的光影正常的图像数据再次进行处理，分别得到光影正常的低分辨率图像、光影正常的高分辨率图像、光影异常的高分辨率图像，获得超分辨率重建网络的训练数据集，包括：
对第一步收集的光影正常的图像数据再次进行处理：原始图像作为光影正常的高分辨率图像；对原始图像进行缩放变换得到光影正常的低分辨率图像；对原始图像进行曝光度、白平衡、对比度、饱和度的调整得到光影异常的高分辨率图像。
进一步地，所述将光影正常的低分辨率图像和光影异常的高分辨率图像进行拼接，同时输入到超分辨率重建网络进行前向传播，包括：
将光影正常的低分辨率图像缩放为与光影异常的高分辨率图像相同的尺寸，将缩放后的光影正常的高分辨率图像与光影异常的高分辨率图像拼接起来，同时输入到超分辨率重建网络进行特征提取。
进一步地，所述以光影正常的高分辨率图像作为标签，定义超分辨率网络的约束，对超分辨率模型进行反向传播，包括：
超分辨率网络的损失函数采用L1损失和MSE损失两部分，通过Adam优化器对网络进行反向传播，使输入的光影正常的低分辨率图像和光影异常的高分辨率图像相互融合生成光影正常的高分辨率图像。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提供一种基于生成式对抗网络的图像增强方法，生成式对抗网络无监督的训练方式弥补了深度学习方法过度依赖训练数据的缺点，通过超分辨率重建技术将增强后的低分辨率图像与高分辨率原图进行融合，进一步克服了现有方法生成图像质量差、细节丢失、伪影多的缺陷。通过生成式对抗网络与图像超分辨率技术相结合的方式，本发明可以更加鲁棒的对光影较差的低质量图像进行增强，并使得增强后的不丢失纹理细节、不产生伪影，同时可以实现任意分辨率的图像增强。
附图说明
图1是本发明基于生成式对抗网络的图像增强方法流程图。
具体实施方式
如图1所示，一种基于生成式对抗网络的图像增强方法，包括以下步骤：
S1、收集光影正常的图像数据，对数据进行预处理，生成光影异常的图像数据；光影正常的图像数据和光影异常的图像数据共同构成生成式对抗网络的训练数据集；
S2、构建第一生成器网络模型GA2B，输入光影异常的低质量图像，通过下采样解码操作和上采样编码操作生成光影正常的高质量图像；S3、构建第二生成器网络模型GB2A，将第一生成器网络模型GA2B网络的输出作为输入，通过下采样解码操作和上采样编码操作恢复出光影异常的低质量原图；S4、构建第一判别器网络模型DA和第二判别器网络模型DB，通过生成器和判别器之间的对抗来学习光影异常的低质量图像和光影正常的高质量图像之间的相互转换；
S5、对S1中所收集的光影正常的图像数据再次进行处理，分别得到光影正常的低分辨率图像、光影正常的高分辨率图像、光影异常的高分辨率图像，共同构成超分辨率重建网络的训练数据集；
S6、将光影正常的低分辨率图像和光影异常的高分辨率图像进行拼接，同时输入到超分辨率重建网络进行前向传播；
S7、以光影正常的高分辨率图像作为标签，定义超分辨率网络的约束，对超分辨率模型进行反向传播；
S8、读取待增强的光影异常的低质量图像，输入到生成器模型GA2B中进行图像增强。再将增强后的光影正常的低分辩图像和增强前的光影异常的高分辨率原图同时输入到超分辨率重建网络进行融合，得到增强后的光影正常的高分辨率图像。
步骤S1中，从现有的图像增强公开数据集Fivek中，收集来自五位专家修饰过的25000张光影正常的图像数据，从图像分享网站Flickr中，收集5000张来自不同摄影师拍摄的光影正常的图像数据，然后对图像的曝光度、白平衡、对比度、饱和度数值进行随机化调整，生成大量光影异常的图像数据，光影正常的图像数据和光影异常的图像数据共同构成了本发明所使用的生成式对抗网络的训练数据集。
在步骤S2中，第一生成器网络模型GA2B由编码阶段、转换器阶段和解码阶段三部分组成，首先随机读取非对称的光影正常的高质量图像和光影异常的低质量图像，并将图像大小缩放到256×256，编码过程的主要操作是利用一个7×7和两个3×3的卷积层提取特征。卷积在提取特征的过程中也作为下采样层不断降低特征图的大小。转换器阶段的作用是组合编码器阶段所提取的特征，该阶段使用8个残差块，通过这些残差块的操作，组合来自编码阶段输入的特征映射，完成光影异常数据域到光影正常数据域之间的信息转换。网络中的残差块由两个卷积层组成，卷积核大小为3×3，步长为1×1。解码器阶段的作用是从转换器阶段输出的特征向量中还原出低级特征，生成光影正常的图像，解码器阶段使用上采样还原出图像原有的特征，本发明采用缩放卷积进行上采样，缩放卷积的结构包括两个部分，首先使用最近邻插值将图像缩放到目标尺寸，再进行卷积操作。缩放卷积可以有效的抑制其他上采样方式所带来的“棋盘效应”。最后通过组合上采样还原出的特征，输出最终的光影正常的图像。
步骤S3中，第二生成器网络模型GB2A采用和步骤S2中描述的第一生成器网络模型GA2B相同的网络结构，网络的输入为GA2B网络的输出，即由GA2B生成的光影正常的图像，网络的输出为GA2B的输入，即光影异常的原始输入图像。
步骤S4中，第一判别器DA用于判断输入的图像是真实的光影正常的图像还是第一生成器DA2B生成的光影正常的图像，第二判别器DB用于判断输入的图像是真实的光影异常的图像还是第二生成器DB2A生成的光影异常的图像。判别器DA和DB具有相同的结构，但是输入的数据不同。本发明设计的判别器是一个全卷积的网络，使用了5个尺寸为3×3的卷积用于提取特征。
通过生成器和判别器之间的对抗来学习光影异常的低质量图像和光影正常的高质量图像之间的转换，包括：
定义待优化的目标函数L＝Ladv+λLcyc+μLperceptual；其中λ和μ为权重参数，第一项为对抗损失Ladv＝logDB(b)+log(1-DB(GA2B(a)))+logDA(a)+log(1-DA(GB2A(b)))，其中A代表光影异常图像的样本空间，B代表光影正常图像的样本空间，a∈A和b∈B分别代表光影异常图像和光影正常图像；第二项为循环一致性损失Lcyc＝Ea～p(a)[||GB2A(GA2B(a))-a||1]+Eb～p(b)[||GA2B(GB2A(b))-b||1]，循环一致性损失保证了输出分布与目标分布的一致性，其中GB2A(GA2B(a))为原始图像A的循环图像，GA2B(GB2A(b))为原始图像B的循环图像。在训练过程中，目标是使得原始图像与循环图像的距离越小越好；第三项为感知损失其中φ(·)为在ImageNet上预训练的VGG-19的relu4_2层的特征图。
步骤S5中，对第一步收集的30000张光影正常的图像数据再次进行处理，原始图像作为光影正常的高分辨率图像，对原始图像进行缩放变换得到光影正常的低分辨率图像，对原始图像进行曝光度、白平衡、对比度、饱和度的调整得到光影异常的高分辨率图像，光影正常的高分辨率图像、光影正常的低分辨率图像和光影异常的高分辨率图像共同构成了本发明所使用的超分辨率重建网络的训练数据集。
步骤S6中，将光影正常的低分辨率图像缩放为与光影异常的高分辨率图像相同的尺寸，得到模糊的光影正常的高分辨率图像，将模糊的光影正常的高分辨率图像和光影异常的高分辨率图像拼接起来，同时输入到超分辨率重建网络进行特征提取。该网络为全卷积神经网络，由8个卷积层组成，第一个卷积层的卷积核大小为5×5，第二个卷积层的卷积核大小为1×1，第三到六个卷积层的卷积核大小为3×3，最后两个卷积层的卷积核大小为1×1。步长大小均设为1×1，除输出层外，每一层卷积操作后均采用PReLU激活函数。
步骤S7中，定义超分辨率网络待优化的目标函数LSR＝α|y*-y|+β(y*-y)2，其中，α和β表示权重参数，y表示预先准备好的光影正常的高分辨率图像，y*表示超分辨率网络生成的光影正常的高分辨率图像，通过Adam优化器对网络进行反向传播，不断更新参数以最小化损失函数，使得输入的光影正常的低分辨率图像和光影异常的高分辨率图像通过超分辨率重建网络的融合生成光影正常的高分辨率图像。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于生成式对抗网络的图像增强方法，其特征是，包括以下步骤：
第一步、收集光影正常的图像数据，对数据进行预处理，生成光影异常的图像数据；光影正常的图像数据和光影异常的图像数据共同构成生成式对抗网络的训练数据集；
第二步、构建第一生成器网络模型GA2B，输入光影异常的低质量图像，通过下采样解码操作和上采样编码操作生成光影正常的高质量图像；
第三步、构建第二生成器网络模型GB2A，将第一生成器网络模型GA2B网络的输出作为输入，通过下采样解码操作和上采样编码操作恢复出光影异常的低质量原图；
第四步、构建第一判别器网络模型DA和第二判别器网络模型DB，通过生成器和判别器之间的对抗来学习光影异常的低质量图像和光影正常的高质量图像之间的相互转换；
第五步、对所收集的光影正常的图像数据再次进行处理，分别得到光影正常的低分辨率图像、光影正常的高分辨率图像、光影异常的高分辨率图像，获得超分辨率重建网络的训练数据集；
第六步、将光影正常的低分辨率图像和光影异常的高分辨率图像进行拼接，同时输入到超分辨率重建网络进行前向传播；
第七步、以光影正常的高分辨率图像作为标签，定义超分辨率网络的约束，对超分辨率模型进行反向传播；
第八步、读取待增强的光影异常的低质量图像，输入到第一生成器网络模型GA2B中进行图像增强；再将增强后的光影正常的低分辩图像和增强前的光影异常的高分辨率原图同时输入到超分辨率重建网络进行融合，得到增强后的光影正常的高分辨率图像。
2.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第一步具体过程为：从现有的公开数据集和图像分享网站中，收集大量光影正常的图像数据，对图像数据的曝光度、白平衡、对比度、饱和度进行随机化调整，生成光影异常的图像数据，光影正常的图像数据和光影异常的图像数据共同构成生成式对抗网络的训练数据集。
3.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第二步中第一生成器网络模型GA2B由编码、转换和解码三个阶段组成；编码阶段利用三个卷积层提取光影正常的图像的特征；转换阶段使用残差块组合编码阶段所提取的特征，完成从光影异常数据域到光影正常数据域的转换；解码阶段使用缩放卷积进行上采样，最终输出光影正常的图像。
4.如权利要求3所述的一种基于生成式对抗网络的图像增强方法，其特征是，第三步中第二生成器网络模型GB2A和第一生成器网络模型GA2B的主干部分相同，输入输出不同，第二生成器网络模型GB2A网络将第一生成器网络模型GA2B网络的输出作为输入，最终的输出结果为光影异常的低质量原图。
5.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第四步中判别器是用来判断输入的图像是网络生成的图像还是真实图像；所述的判别器由五层卷积层构成，卷积核大小设置为4×4，前三个卷积的步长设置为2×2，最后两个卷积的步长大小为1×1。
6.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第五步中对第一步收集的光影正常的图像数据再次进行处理：原始图像作为光影正常的高分辨率图像；对原始图像进行缩放变换得到光影正常的低分辨率图像；对原始图像进行曝光度、白平衡、对比度、饱和度的调整得到光影异常的高分辨率图像。
7.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第六步中将光影正常的低分辨率图像缩放为与光影异常的高分辨率图像相同的尺寸，将缩放后的光影正常的高分辨率图像和光影异常的高分辨率图像拼接起来，同时输入到超分辨率重建网络进行特征提取。
8.如权利要求1所述的一种基于生成式对抗网络的图像增强方法，其特征是，第七步中超分辨率网络的约束采用L1损失和MSE损失两部分，通过Adam优化器对网络进行反向传播，使输入的光影正常的低分辨率图像和光影异常的高分辨率图像融合生成光影正常的高分辨率图像。
CN202011292865.1A 2020-11-18 2020-11-18 一种基于生成式对抗网络的图像增强方法 Active CN112381716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292865.1A CN112381716B (zh) 2020-11-18 2020-11-18 一种基于生成式对抗网络的图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292865.1A CN112381716B (zh) 2020-11-18 2020-11-18 一种基于生成式对抗网络的图像增强方法

Publications (2)

Publication Number Publication Date
CN112381716A CN112381716A (zh) 2021-02-19
CN112381716B true CN112381716B (zh) 2023-08-18

Family

ID=74585084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292865.1A Active CN112381716B (zh) 2020-11-18 2020-11-18 一种基于生成式对抗网络的图像增强方法

Country Status (1)

Country Link
CN (1) CN112381716B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160055A (zh) * 2021-04-07 2021-07-23 哈尔滨理工大学 一种基于深度学习的图像超分辨率重建方法
CN115511756A (zh) * 2021-06-23 2022-12-23 中兴通讯股份有限公司 视频增强处理方法、装置、电子设备和存储介质
CN113554624B (zh) * 2021-07-23 2023-12-05 深圳市人工智能与机器人研究院 异常检测方法、装置及计算机存储介质
CN116630140A (zh) * 2023-03-31 2023-08-22 南京信息工程大学 一种基于条件生成对抗网络的动漫人像真人化的实现方法、设备及介质
CN118469888B (zh) * 2024-07-15 2024-09-17 中国空气动力研究与发展中心高速空气动力研究所 一种温敏漆图像对比度增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110189253A (zh) * 2019-04-16 2019-08-30 浙江工业大学 一种基于改进生成对抗网络的图像超分辨率重建方法
CN111383173A (zh) * 2020-02-12 2020-07-07 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111784582A (zh) * 2020-07-08 2020-10-16 桂林电子科技大学 一种基于dec_se的低照度图像超分辨率重建方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及系统
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3112247A1 (en) * 2018-09-13 2020-03-19 Spectrum Optix Inc. Photographic underexposure correction using a neural network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN110189253A (zh) * 2019-04-16 2019-08-30 浙江工业大学 一种基于改进生成对抗网络的图像超分辨率重建方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN111383173A (zh) * 2020-02-12 2020-07-07 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111784582A (zh) * 2020-07-08 2020-10-16 桂林电子科技大学 一种基于dec_se的低照度图像超分辨率重建方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及系统
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的低质图像增强及超分辨复原技术研究;李梦醒;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-1365 *

Also Published As

Publication number Publication date
CN112381716A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112381716B (zh) 一种基于生成式对抗网络的图像增强方法
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Alsaiari et al. Image denoising using a generative adversarial network
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
Wang et al. Ucl-dehaze: Towards real-world image dehazing via unsupervised contrastive learning
CN116612211B (zh) 一种基于gan和3d系数重建的人脸图像身份合成方法
Yue et al. IENet: Internal and external patch matching ConvNet for web image guided denoising
CN117151990B (zh) 一种基于自注意力编码解码的图像去雾方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
Zhu et al. Multi-stream fusion network with generalized smooth L 1 loss for single image dehazing
Feng et al. U²-Former: Nested U-Shaped Transformer for Image Restoration via Multi-View Contrastive Learning
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
Zhou et al. Linear contrast enhancement network for low-illumination image enhancement
CN116664435A (zh) 一种基于多尺度人脸解析图融入的人脸复原方法
Li et al. Image super-resolution reconstruction based on multi-scale dual-attention
CN115170388A (zh) 人物线稿生成方法、装置、设备及介质
Liu et al. Facial image inpainting using multi-level generative network
Gao A method for face image inpainting based on generative adversarial networks
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117522674A (zh) 一种联合局部和全局信息的图像重建系统及方法
Wen et al. Mrft: Multiscale recurrent fusion transformer based prior knowledge for bit-depth enhancement
CN116188273A (zh) 一种基于不确定性导向的双模态可分离图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant