CN110782397B - 一种图像处理方法、生成式对抗网络、电子设备及存储介质 - Google Patents

一种图像处理方法、生成式对抗网络、电子设备及存储介质 Download PDF

Info

Publication number
CN110782397B
CN110782397B CN201811529114.XA CN201811529114A CN110782397B CN 110782397 B CN110782397 B CN 110782397B CN 201811529114 A CN201811529114 A CN 201811529114A CN 110782397 B CN110782397 B CN 110782397B
Authority
CN
China
Prior art keywords
feature
feature extraction
processing
extraction layer
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811529114.XA
Other languages
English (en)
Other versions
CN110782397A (zh
Inventor
张毅伟
赵元
沈海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811529114.XA priority Critical patent/CN110782397B/zh
Publication of CN110782397A publication Critical patent/CN110782397A/zh
Application granted granted Critical
Publication of CN110782397B publication Critical patent/CN110782397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理方法、生成式对抗网络、电子设备及存储介质。该方法包括：通过初始特征提取层对待处理图像进行初始特征提取处理，获得初始特征；通过每个下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征；通过每个上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征；通过残差特征提取层对第M个上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征；将残差特征和待处理图像相加得到目标图像。该方法能够降低图像增强过程中的处理复杂度，得到高清晰度的图像。

Description

一种图像处理方法、生成式对抗网络、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种图像处理方法、生成式对抗网络、电子设备及存储介质。
背景技术
图像处理包括：图像去噪、去模糊、去雾、去雨滴、低照度增强、边界增强等。多年来，图像处理技术一直是研究和应用领域的一个难点，由于现实场景的复杂多变，在应用中经常会遇到图像降质问题，而相关图像处理技术的单一性又限制了其在工程中的使用。多数情况下，传统的图像处理技术是针对多个单一问题进行处理后进行融合，其合理性不容置疑。但经过分析可以发现，各单一图像处理问题之间并不是相互独立的，例如在噪声和模糊同时存在的情况下，优先去噪会造成图像纹理信息的部分丢失，进而影响后续的去模糊过程，而优先去模糊不仅造成图像复原不准确还会放大噪声因素；又如低照度增强技术的处理并非仅仅是调节亮度信息的分布，研究和应用这一技术既要保证亮度信息的增强，又要保证噪声信息的极大抑制。
传统的图像处理技术针对各单一问题进行退化建模，然后结合统计模型和图像先验信息进行复原操作。例如在图像去噪中采用贝叶斯模型和噪声假设来进行增强；在图像去模糊中，采用最大后验概率模型和重尾分布进行建模；在图像去雾中，采用反向暗通道来进行颜色信息的调节；在低照度增强中，大多采用反向暗通道和去噪结合的方式。以上这些单一增强问题都得到了很好的研究水平，但在现实场景中，图像处理是一个复杂模式，利用上述单一增强方式对图像进行多次处理并不能达到很好的增强效果。
发明内容
鉴于此，本发明实施例提供一种图像处理方法、生成式对抗网络、电子设备及存储介质，以有效地改善上述问题。
本发明的实施例是这样实现的：
第一方面，本发明实施例提供了一图像处理方法，应用于生成式对抗网络GAN中，所述GAN包括生成网络，所述生成网络包括初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数。所述方法包括：通过所述初始特征提取层对待处理图像进行初始特征提取处理，获得初始特征；通过每个所述下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，其中，与所述初始特征提取层连接的第一个所述下采样特征提取层的输入特征为所述初始特征，第二个至第M个所述下采样特征提取层的输入特征为自身的前一个所述下采样特征提取层输出的所述下采样特征；通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，其中，与第M个所述下采样特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征和深度特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征；第j个所述上采样特征提取层的输入特征包括：第j直连接特征和第j跨连接特征，所述第j直连接特征为自身的前一个所述上采样特征提取层输出的上采样特征，所述第j跨连接特征为第M－j+1个所述下采样特征提取层输出的浅层特征以及第M－j个所述下采样特征提取层输出的深度特征；第M个所述上采样特征提取层的输入特征包括：第M直连接特征和第M跨连接特征，所述第M直连接特征为第M－1个所述上采样特征提取层输出的上采样特征，所述第M跨连接特征为第一个所述下采样特征提取层输出的浅层特征，其中，j依次取2至M－1；通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征；将所述残差特征和所述待处理图像相加得到目标图像。
本申请实施例中，通过生成网络中的初始特征提取层来获取初始特征，然后利用M个下采样特征提取层对输入到自身的输入特征进行下采样编码处理，以获取浅层特征、深度特征以及下采样特征，然后再利用M个上采样特征提取层对输入到自身的输入特征进行上采样解码处理，得到上采样特征，再利用残差特征提取层对最后一个上采样特征提取层输出的上采样特征进行残差提取，获得残差特征，最后将残差特征和待处理图像相加，即可得到所需要的复原图像也即目标图像。其中，通过下采样处理，以提取更深层次的特征，经过多次下采样处理后，可以获得更多深层次的特征，然后再经过对应的多次上采样处理，以逐次还原图像，且每次上采样时，都会插入对应的下采样获取的浅层特征和深度特征，进而使得最后复原的图像的增强效果更好；通过获取更多深层次的特征来进行图像增强，提升了模型的泛化能力，相比于采用单一增强方式对图像进行多次处理来说，降低了图像增强过程中的计算复杂度。
结合第一方面实施例的一种可能的实施方式，所述通过每个所述下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，包括：通过每个所述下采样特征提取层对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征；对所述第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述浅层特征；对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征；对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征；对所述第二基本特征依次进行三次残差处理，获得所述深度特征。本申请实施例中，将残差处理设置在提取深层特征的地方，既可以保证图像纹理结构不被破坏，又可以保证深层特征与浅层特层同时获得，进而提升了模型的泛化能力。
结合第一方面实施例的一种可能的实施方式，所述对所述第二基本特征依次进行三次残差处理，获得所述深度特征，包括：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征；对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；将所述第二串联特征与所述第四基本特征串联，得到第三串联特征；对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；将所述第五基本特征与所述第三串联特征串联，获得所述深度特征。
结合第一方面实施例的一种可能的实施方式，所述通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，包括：通过每个所述上采样特征提取层对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征；对所述第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
结合第一方面实施例的一种可能的实施方式，所述反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。
结合第一方面实施例的一种可能的实施方式，所述第一卷积处理，包括：通过尺寸为第一大小、步长为第一步长的卷积核进行卷积处理。
结合第一方面实施例的一种可能的实施方式，所述第二卷积处理，包括：通过尺寸为第二大小、步长为第一步长的卷积核进行卷积处理。
结合第一方面实施例的一种可能的实施方式，所述第三卷积处理，包括：通过尺寸为第三大小、步长为第二步长的卷积核进行卷积处理。
结合第一方面实施例的一种可能的实施方式，所述第四卷积处理，包括：通过尺寸为第一大小、步长为第二步长的卷积核进行卷积处理。
结合第一方面实施例的一种可能的实施方式，所述通过所述初始特征提取层对待处理图像进行初始特征提取处理，包括：通过所述初始特征提取层对待处理图像依次进行第五卷积处理、归一化处理、第一非线性转换处理。
结合第一方面实施例的一种可能的实施方式，所述通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，包括：所述通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理。
结合第一方面实施例的一种可能的实施方式，所述第五卷积处理，包括：通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。
结合第一方面实施例的一种可能的实施方式，所述生成网络还包括位于第M个所述下采样特征提取层与第一个所述上采样特征提取层之间的全局特征提取层，所述方法还包括：通过所述全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征；相应地，与所述全局特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征。本申请实施例中，在下采样结束时，先通过全局特征提取层来提取最后一个下采样特征提取层输出最小尺度下的下采样特征的全局特征，以此来增强生成网络的泛化能力和鲁棒性，提高对微小纹理的复原能力。
结合第一方面实施例的一种可能的实施方式，所述通过所述全局特征提取层对第M个所述下采样特征提取层进行全局特征提取处理，获得全局特征，包括：通过所述全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征；对所述全卷积特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得所述全局特征。
结合第一方面实施例的一种可能的实施方式，所述GAN还包括：串接在所述生成网络后方的对抗网络，通过以下方法训练所述GAN：训练时，将所述生成网络输出的目标图像以及参考图像分别输入所述对抗网络；利用单独交替迭代优化方法训练所述对抗网络和所述生成网络，直至迭代结束，先优化所述对抗网络，再优化所述生成网络，训练过程中所使用的损失函数如下：L＝Ladv+λ.Lcont，其中，L为损失函数，Ladv为对抗函数，Lcont为条件损失函数，λ是条件损失函数的权重，取值0－1，
Figure GDA0002460953460000061
其中，x～pr为所述参考图像的统计分布，
Figure GDA0002460953460000071
为所述目标图像的统计分布，
Figure GDA0002460953460000072
为所述参考图像与所述目标图像的混合分布，D为所述对抗网络，x、
Figure GDA0002460953460000073
分别为所述参考图像、所述目标图像以及所述参考图像和所述目标图像的加权和，E(.)为期望，α是正则项的参数，取值0－1。本申请实施例中，利用该损失函数来对生成对抗式网络进行优化，以提高生成网络的复原能力和鲁棒性。
结合第一方面实施例的一种可能的实施方式，所述对抗网络的优化公式如下：
Figure GDA0002460953460000074
结合第一方面实施例的一种可能的实施方式，所述生成网络的优化公式如下：
Figure GDA0002460953460000075
其中，所述条件损失函数
Figure GDA0002460953460000076
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，G为所述生成网络，b取值为1或2。本申请实施例中，利用条件损失函数将目标图像的分布约束在参考图像分布的附近，而采用像素这个层级来对模型进行约束，可以抑制噪声扰动。
结合第一方面实施例的一种可能的实施方式，所述生成网络的优化公式如下：
Figure GDA0002460953460000077
其中，所述条件损失函数
Figure GDA0002460953460000078
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，c2、w2、h2分别为所述目标图像在特征级的通道数、宽度和高度，F(.)是特征提取网络，G为所述生成网络。本申请实施例中，条件损失函数在像素和特征这两个层级对模型进行约束，在通过像素级的约束来抑制噪生的同时，通过特征级的约束使噪生服从高斯分布。
第二方面，本发明实施例还提供了一种生成式对抗网络，包括生成网络，所述生成网络包括：初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数。所述初始特征提取层，用于对待处理图像进行初始特征提取处理，获得初始特征。每个所述下采样特征提取层，用于对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，其中，与所述初始特征提取层连接的第一个所述下采样特征提取层的输入特征为所述初始特征，第二个至第M个所述下采样特征提取层的输入特征为自身的前一个所述下采样特征提取层输出的所述下采样特征。每个所述上采样特征提取层，用于对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，其中，与第M个所述下采样特征提取层连接的第一个所述上采样特征提取层的输入特征包括：直连接特征和跨连接特征，所述直连接特征为第M个所述下采样特征提取层输出的下采样特征和深度特征的第一串联特征，所述跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征；第j个所述上采样特征提取层的输入特征包括：直连接特征和跨连接特征，所述直连接特征为自身的前一个所述上采样特征提取层输出的上采样特征，所述跨连接特征为第M－j+1个所述下采样特征提取层输出的浅层特征以及第M－j个所述下采样特征提取层输出的深度特征；第M个所述上采样特征提取层的输入特征包括：直连接特征和跨连接特征，所述直连接特征为第M－1个所述上采样特征提取层输出的上采样特征，所述跨连接特征为第一个所述下采样特征提取层输出的浅层特征，其中，j依次取2至M－1。所述残差特征提取层，用于对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征，以便将所述残差特征和所述待处理图像相加得到目标图像。
结合第二方面实施例的一种可能的实施方式，每个所述下采样特征提取层均包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元；所述第一特征提取单元，用于对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征；所述第二特征提取单元，用于对所述第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述浅层特征；所述第三特征提取单元，用于对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征；所述第四特征提取单元，用于对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征；所述第五特征提取单元，用于对所述第二基本特征依次进行三次残差处理，获得所述深度特征。
结合第二方面实施例的一种可能的实施方式，所述第五特征提取单元，具体用于：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征；对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；将所述第二串联特征与所述第四基本特征串联，得到第三串联特征；对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；将所述第五基本特征与所述第三串联特征串联，获得所述深度特征。
结合第二方面实施例的一种可能的实施方式，每个所述上采样特征提取层均包括：第六特征提取单元、第一特征提取单元和第二特征提取单元；所述第六特征提取单元，用于对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；以及将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；所述第一特征提取单元，用于对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征；所述第二特征提取单元，用于对所述第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
结合第二方面实施例的一种可能的实施方式，所述反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。
结合第二方面实施例的一种可能的实施方式，所述第一卷积处理，包括：通过尺寸为第一大小、步长为第一步长的卷积核进行卷积处理。
结合第二方面实施例的一种可能的实施方式，所述第二卷积处理，包括：通过尺寸为第二大小、步长为第一步长的卷积核进行卷积处理。
结合第二方面实施例的一种可能的实施方式，所述第三卷积处理，包括：通过尺寸为第三大小、步长为第二步长的卷积核进行卷积处理。
结合第二方面实施例的一种可能的实施方式，所述第四卷积处理，包括：通过尺寸为第一大小、步长为第二步长的卷积核进行卷积处理。
结合第二方面实施例的一种可能的实施方式，所述初始特征提取层，具体用于对待处理图像依次进行第五卷积处理、归一化处理、第一非线性转换处理。
结合第二方面实施例的一种可能的实施方式，所述残差特征提取层，具体用于对第M个所述上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理。
结合第二方面实施例的一种可能的实施方式，所述第五卷积处理，包括：通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。
结合第二方面实施例的一种可能的实施方式，所述生成网络还包括位于第M个所述下采样特征提取层与第一个所述上采样特征提取层之间的全局特征提取层；所述全局特征提取层，用于对第M个所述下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征；相应地，与所述全局特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征。
结合第二方面实施例的一种可能的实施方式，所述全局特征提取层，具体用于对第M个所述下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征；对所述全卷积特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得所述全局特征。
第三方面，本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例提供的一种可能的实施方式提供的方法。
第四方面，本发明实施例还提供了一种存储介质，所述存储介质包括计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例提供的一种可能的实施方式提供的方法。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1示出了本发明实施例提供的生成式对抗网络中的生成网路的结构示意图。
图2示出了本发明实施例提供的图1中的下采样特征提取层的结构示意图。
图3示出了本发明实施例提供的图1中的上采样特征提取层的结构示意图。
图4示出了本发明实施例提供的一种生成网路的结构示意图。
图5示出了本发明实施例提供的又一种生成网路的层结构示意图。
图6示出了本发明实施例提供的一种电子设备的结构示意图。
图7示出了本发明实施例提供的一种图像处理方法的流程示意图。
图8示出了本发明实施例提供的图7中的步骤S103的流程示意图。
图9示出了本发明实施例提供的生成式对抗网络的层结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
第一实施例
本申请实施例提供了一种生成式对抗网络(Generative Adversarial Network，GAN)，该生成式对抗网络包括生成网络。请参阅图1，该生成网络包括：初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数。通过采用包含上述层结构的具备强鲁棒性的生成网络来对待处理图形进行处理，不仅能够得到清晰度好的复原图像，还可以降低图像处理过程中的计算复杂度。
其中，初始特征提取层，用于对待处理图像进行初始特征提取处理，获得初始特征。为了便于理解，本实施例中，在举例时，以对模糊图像的处理为例进行说明，但是并不表示该网络只能对模糊图像进行处理。也即将待处理的模糊图像输入初始特征提取层，在初始特征提取层的作用下，便可提取到模糊图像的初始特征。可选地，通过该初始特征提取层对模糊图像依次进行第五卷积处理、归一化处理、第一非线性转换处理，便可提取到待处理图像的初始特征。
其中，第五卷积处理，包括：通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。例如，通过尺寸为7x7，步长为1的卷积核对待处理图像进行卷积处理。其中，本申请中的第一非线性转换处理，可以是采用激活函数Leaky ReLU或其变体(如PReLU)来实现。
其中，每个所述下采样特征提取层，用于对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，其中，与所述初始特征提取层连接的第一个所述下采样特征提取层的输入特征为所述初始特征，第二个至第M个所述下采样特征提取层的输入特征为自身的前一个所述下采样特征提取层输出的所述下采样特征。其中，M为大于等于1的整数，本实施例中，以M为5为例进行说明，但是不能将其理解成是对本申请的限制。此时，与初始特征提取层连接的第一个下采样特征提取层的输入特征为初始特征，第二个至第五个下采样特征提取层的输入特征为自身的前一个下采样特征提取层输出的下采样特征，也即，第二个下采样特征提取层的输入特征为第一个下采样特征提取层输出的下采样特征，第三个下采样特征提取层的输入特征为第二个下采样特征提取层输出的下采样特征，依次类推。也就是说，当M为5时，可以获得5个浅层特征、5个深度特征以及5个下采样特征。由于各个下采样特征提取层为串联关系，因此，输入特征不同导致输出特征也不同，也即，第一个下采样特征提取层输出的浅层特征与第二个下采样特征提取层输出的浅层特征不同，第一个下采样特征提取层输出的深度特征与第二个下采样特征提取层输出的深度特征不同，第一个下采样特征提取层输出的下采样特征与第二个下采样特征提取层输出的下采样特征不同。其余各下采样特征提取层的情况与之类似。
其中，每个所述下采样特征提取层均包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元，如图2中的虚线框所示。第一特征提取单元的输出分别与第二特征提取单元的输入、第三特征提取单元的输入和第四特征提取单元的输入连接，第四特征提取单元的输出与第五特征提取单元的输入连接。
其中，第一特征提取单元，用于对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征。例如，对于第一个下采样特征提取层来说，将初始特征输入第一特征提取单元，在第一特征提取单元的作用下，便可获得第一基本特征。其余情况与之类似。
其中，第一卷积处理，包括：通过尺寸为第一大小、步长为第一步长的卷积核进行卷积处理。例如，通过尺寸为3x3，步长为1的卷积核对输入到自身的输入特征进行卷积处理。其中，第一非线性转换处理，可以是采用激活函数Leaky ReLU或其变体来实现。
第二特征提取单元，用于对该第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得浅层特征，也即将第一基本特征输入第二特征提取单元，在第二特征提取单元的作用下，便可获得浅层特征(也即第二特征提取单元的输出特征)。
其中，第二卷积处理，包括：通过尺寸为第二大小、步长为第一步长的卷积核进行卷积处理。例如，通过尺寸为1x1，步长为1的卷积核对输入到自身的输入特征进行卷积处理。其中，第一非线性转换处理的实现方式相互参见即可。
第三特征提取单元，用于对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征。也即，第三特征提取单元，除了对第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理外，还对第一基本特征进行池化处理，最后输出的是两者的串联特征，也即下采样特征。也即将第一基本特征输入第三特征提取单元，在第三特征提取单元的作用下，便可获得下采样特征(也即第三特征提取单元的输出特征)。
其中，第三卷积处理，包括：通过尺寸为第三大小、步长为第二步长的卷积核进行卷积处理。例如，通过尺寸为5x5，步长为2的卷积核对第一基本特征进行卷积处理。其中，第一非线性转换处理的实现方式相互参见即可。
第四特征提取单元，用于对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征。也即将第一基本特征输入第四特征提取单元，在第四特征提取单元的作用下，便可获得第二基本特征(也即第四特征提取单元的输出特征)。
其中，第四卷积处理，包括：通过尺寸为第一大小、步长为第二步长的卷积核进行卷积处理。例如，通过尺寸为3x3，步长为2的卷积核对第一基本特征进行卷积处理。其中，第一非线性转换处理的实现方式相互参见即可。
第五特征提取单元，用于对所述第二基本特征依次进行三次残差处理，获得所述深度特征。也即将第二基本特征输入第五特征提取单元，在第五特征提取单元的作用下，便可获得深度特征(也即第五特征提取单元的输出特征)。进一步地，第五特征提取单元，具体用于：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征(也即第一次残差处理)；对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；将所述第二串联特征与所述第四基本特征串联，得到第三串联特征(也即第二次残差处理)；对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；将所述第五基本特征与所述第三串联特征串联，获得所述深度特征(也即第三次残差处理)。
其中，第二串联特征为，将第三基本特征与第二基本特征进行串联后得到的特征。同理，第三串联特征为，将第二串联特征与第四基本特征进行串联后得到的特征。
其中，从上述内容可以看出，每次残差处理的原理是一样的，只是每次的输入特征不同，所以输出的特征也不同。下面仅对第一次残差处理的原理进行说明，第二次残差处理以及第三次残差处理的原理参照第一次残差处理的原理即可。其中，第一次残差处理为：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征。也即，先对第二基本特征进行第一卷积处理，然后再进行归一化处理，然后再进行第一非线性转换处理，然后再次进行第一卷积处理，然后再次进行归一化处理以及第一非线性转换处理，得到第三基本特征，最后将第三基本特征与第二基本特征串联输出，第一次残差处理结束。
每个上采样特征提取层，用于对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征。其中，与第M个下采样特征提取层连接的第一个上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，其中，第一直连接特征为第M个下采样特征提取层输出的下采样特征和深度特征的第一串联特征，第一跨连接特征为第M个下采样特征提取层输出的浅层特征以及第M－1个下采样特征提取层输出的深度特征。第j个上采样特征提取层的输入特征包括：第j直连接特征和第j跨连接特征，其中，第j直连接特征为自身的前一个上采样特征提取层输出的上采样特征，第j跨连接特征为第M－j+1个下采样特征提取层输出的浅层特征以及第M－j个下采样特征提取层输出的深度特征。第M个上采样特征提取层的输入特征包括：第M直连接特征和第M跨连接特征，其中，第M直连接特征为第M－1个上采样特征提取层输出的上采样特征，第M跨连接特征为第一个下采样特征提取层输出的浅层特征，其中，j依次取2至M－1。
其中，每个上采样特征提取层的输入特征均包括：直连接特征和跨连接特征。不同的上采样特征提取层，其直连接特征和跨连接特征均不相同。为了便于理解，以M为5为例进行说明。此时，与第5个(也即最后一个)下采样特征提取层连接的第一个上采样特征提取层的输入特征中的直连接特征为第5个下采样特征提取层输出的下采样特征和深度特征(第5个下采样特征提取层输出的)的第一串联特征，其中，此处的第一串联特征为，第5个下采样特征提取层输出的下采样特征和第5个下采样特征提取层输出的深度特征进行串联后得到的特征。第一个上采样特征提取层的输入特征中的跨连接特征为第5个下采样特征提取层输出的浅层特征以及第4个下采样特征提取层输出的深度特征。
第j个(也即第2个至第4个)上采样特征提取层的输入特征中的直连接特征为自身的前一个所述上采样特征提取层输出的上采样特征。也即，第二个上采样特征提取层的输入特征中的直连接特征为第一个上采样特征提取层输出的上采样特征。第三个上采样特征提取层的输入特征中的直连接特征为第二个上采样特征提取层输出的上采样特征。第四个上采样特征提取层的输入特征中的直连接特征为第三个上采样特征提取层输出的上采样特征。第j个(也即第2个至第4个)上采样特征提取层的输入特征中的跨连接特征为第M－j+1个下采样特征提取层输出的浅层特征以及第M－j个下采样特征提取层输出的深度特征。也即，第2个上采样特征提取层的输入特征中的跨连接特征为第4个下采样特征提取层输出的浅层特征以及第3个下采样特征提取层输出的深度特征。第3个上采样特征提取层的输入特征中的跨连接特征为第3个下采样特征提取层输出的浅层特征以及第2个下采样特征提取层输出的深度特征。第4个上采样特征提取层的输入特征中的跨连接特征为第2个下采样特征提取层输出的浅层特征以及第1个下采样特征提取层输出的深度特征。
第5个(也即最后一个)上采样特征提取层的输入特征中的直连接特征为第4个上采样特征提取层输出的上采样特征，第5个(也即最后一个)上采样特征提取层的输入特征中的跨连接特征为第一个所述下采样特征提取层输出的浅层特征。
其中，需要说明的是，下采样特征提取层和上采样特征提取层的数量是相同的，也即，下采样特征提取层的数量为1时，上采样特征提取层的数量也为1。其中，当M为1时，也即，只有一个下采样特征提取层和一个上采样特征提取层，此时，上采样特征提取层的直连接特征为下采样特征提取层输出的下采样特征和深度特征的第一串联特征，上采样特征提取层的跨连接特征为下采样特征提取层输出的浅层特征。当M为2时，也即，有2个下采样特征提取层和2个上采样特征提取层，此时，第一个上采样特征提取层的直连接特征为第二个下采样特征提取层输出的下采样特征和深度特征(第二个下采样特征提取层输出的)的第一串联特征，第一个上采样特征提取层的跨连接特征为第二个下采样特征提取层输出的浅层特征和第一个下采样特征提取层输出的深度特征。第二个上采样特征提取层的直连接特征为第一个上采样特征提取层输出的上采样特征，第二个上采样特征提取层的跨连接特征为第一个下采样特征提取层输出的浅层特征。M为3、4以及其他数值的情况请参阅对应的原理，在此不再不在一一说明。
其中，可选地，如图3所示，每个上采样特征提取层均包括：第六特征提取单元、第一特征提取单元和第二特征提取单元。其中，第六特征提取单元的输出与第一特征提取单元的输入连接，第一特征提取单元的输出与第二特征提取单元的输出连接。其中，需要说明的是，由于各个上采样特征提取层的输入特征不同，因此输出的上采样特征也不同。
其中，第六特征提取单元，用于对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；以及将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征。也即，先对输入到自身直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征，然后再将第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征。为了便于理解，以M为5为例，对于第一个上采样特征提取层来说，此时，输入到第六特征提取单元的直连接特征为第5个下采样特征提取层输出的下采样特征和深度特征的第一串联特征，跨连接特征为第5个下采样特征提取层输出的浅层特征以及第4个下采样特征提取层输出的深度特征。因此，上述过程为：先对第一串联特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征，然后再将第六基本特征和跨连接特征进行串联(也即第六基本特征、第5个下采样特征提取层输出的浅层特征以及第4个下采样特征提取层输出的深度特征进行串联)，得到第四串联特征。
其中，反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。例如，通过尺寸为5x5，步长为2的反卷积核对第一基本特征进行反卷积处理。其中，第一非线性转换处理的实现方式相互参见即可。
上采样特征提取层中的第一特征提取单元，用于对第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征。也即，将第四串联特征输入第一特征提取单元，在第一特征提取单元的作用下，便可获得第七基本特征(也即第一特征提取单元的输出特征)。第一卷积处理以及第一非线性转换处理的实现方式相互参见即可。
上采样特征提取层中的第二特征提取单元，用于对第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。也即，将第七基本特征输入第二特征提取单元，在第二特征提取单元的作用下，便可获得上采样特征(也即第二特征提取单元的输出特征)。第二卷积处理以及第一非线性转换处理的实现方式相互参见即可。
其中，需要说明的是，每个上采样特征提取层也可以只包括：第六特征提取单元和第一特征提取单元。也即该实施方式下，上采样特征提取层不包括第二特征提取单元。或者，每个上采样特征提取层也可以只包括第六特征提取单元和第二特征提取单元。也即该实施方式下，上采样特征提取层不包括第一特征提取单元。因此不能将图3所示的结构理解成是对本申请的限制。
残差特征提取层，用于对第M个(也即最后一个)上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征，以便将所述残差特征和所述待处理图像相加得到目标图像。也即将最后一个上采样特征提取层输出的上采样特征输入到残差特征提取层，在残差特征提取层的作用下，便可获得残差特征。可选地，通过该残差特征提取层对第M个上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理。
其中，第五卷积处理，包括：通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。例如，通过尺寸为7x7，步长为1的卷积核对待处理图像进行卷积处理。其中，第二非线性转换处理，可以是采用激活函数Tanh或其变体(sigmoid)来实现。
其中，在得到残差特征后，将残差特征和待处理图像相加(也即串联)便可以得到复原图像，也即目标图像。
其中，为了便于理解上述的过程，请参阅图4。其中，图4仅示出了M为3的情形，其余数值的情形按照上述的原理对应调整即可。其中，图4中的方框2(对应上文的第一特征提取单元)、方框3(对应上文的第三特征提取单元)、方框4(对应上文的第四特征提取单元)、方框5(对应上文的第五特征提取单元)、方框6(对应上文的第二特征提取单元)为一个下采样特征提取层，共包含5个。图4中的方框7(对应上文的第六特征提取单元)、方框2(对应上文的第一特征提取单元)、方框6(对应上文的第二特征提取单元)为一个上采样特征提取层，共包含5个，图4中的方框1为初始特征提取层，方框8为残差特征提取层。其中，因该网络结构上下均为跨层连接操作，为双跨连接，因此，可以将图4所示的生成网络称为D－Skip网络。
其中，图4中的矩形框中的不同数字标号代表不同的层结构，相同的数字对应的层结构相同，每个层结构的详细描述见下表1。
表1
Figure GDA0002460953460000221
其中，表1中的激活函数1为Leaky ReLU或Leaky ReLU的变体如PReLU；激活函数2为Tanh或Tanh的变体如sigmoid。
其中，本申请中的第一大小、第二大小、第三大小以及第四大小表示卷积核或者反卷积核的大小。需要说明的是，本申请实施例中，仅示出了第一大小为3x3的情形，第二大小为1x1的情形，第三大小为5x5的情形，第四大小为7x7的情形。第一大小、第二大小、第三大小以及第四大小之间其值可以相互转换，如第一大小为5x5的情形，第二大小为1x1的情形，第三大小为3x3的情形，第四大小为7x7的情形。因此不能将上述的示例理解成是对本申请的限制。
此外，作为一种可选的实施方式，该生成网络还包括位于第M个所述下采样特征提取层与第一个所述上采样特征提取层之间的全局特征提取层。也即该全局特征提取层位于最后一个下采样特征提取层与第一个所述上采样特征提取层之间，以此来增强生成网络的泛化能力和鲁棒性，提高对微小纹理的复原能力。
其中，该全局特征提取层，用于对第M个下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征。也即，此时，最后一个下采样特征提取层输出的下采样特征不是直接输入到第一个上采样特征提取层，相应地，与该全局特征提取层连接的第一个上采样特征提取层的输入特征的直连接特征为第M个(也即最后一个)下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征；跨连接特征为第M个下采样特征提取层输出的浅层特征以及第M－1个下采样特征提取层输出的深度特征。以M为5为例，则第一个上采样特征提取层的输入特征的直连接特征为第5个(也即最后一个)所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征。与该全局特征提取层连接的第一个上采样特征提取层的输入特征的跨连接特征为第5个下采样特征提取层输出的浅层特征以及第4个下采样特征提取层输出的深度特征。通过比对可以发现，不管有没有全局特征提取层，第一个上采样特征提取层的输入特征中的跨连接特征均不变，在包含全局特征提取层时，第一个上采样特征提取层的输入特征中的直连接特征还要包括全局特征，也即，在包含全局特征提取层时，第一个上采样特征提取层的输入特征中的直连接特征为最后一个下采样特征提取层输出的下采样特征、深度特征和该全局特征提取层输出的全局特征的串联特征。
将最后一个下采样特征提取层输出的下采样特征输入到全局特征提取层，在全局特征提取层的作用下，便可获得全局特征。可选地，通过全局特征提取层对第M下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征；然后再对该全卷积特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得所述全局特征。
其中，反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。例如，通过尺寸为5x5，步长为2的反卷积核对第一基本特征进行反卷积处理。其中，第一非线性转换处理的实现方式相互参见即可。
为了便于理解上述的过程，可以参阅图5。其中，图5所示的生成网络包含了全局特征提取层的情形。其中，图5中的位于最后一个下采样特征提取层(每个下采样特征提取层包括方框2、方框3、方框4、方框5、方框6)与第一个上采样特征提取层(每个上采样特征提取层包括方框7、方框2、方框6)之间的方框9和方框7即为全局特征提取。其中，由于图5所示的生成网络考虑了全局特征(Global)，因此，可以将图5所示的生成网络称为Global－D－Skip网络。
第二实施例
如图6所示，图6示出了本发明实施例提供的一种电子设备100的结构框图。所述电子设备100包括：存储器120、存储控制器130和处理器140。图6所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备100也可以具有其他组件和结构。
所述存储器120、存储控制器130、处理器140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器120用于存储程序，也即执行本实施例所示的图像处理方法所需要的程序，所述处理器140在接收到执行指令后，执行所述程序，后述本发明实施例任一实施例揭示的流程定义的电子设备100所执行的方法可以应用于处理器140中，或者由处理器140实现。处理器140在接收到执行指令后，通过总线调用存储在存储器120中的程序后，处理器140则可以执行图像处理方法的流程。
处理器140可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
其中，在本发明实施例中，所述电子设备100可以是，但不限于网络服务器、数据库服务器、云端服务器等。
请参阅图7，为本发明实施例提供的一种应用于上述电子设备100的图像处理方法，下面将结合图7对其所包含的步骤进行说明。其中，该图像处理方法应用于上述的生成式对抗网络。其中，生成式对抗网络包括生成网络，所述生成网络包括初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数。
步骤S101：通过所述初始特征提取层对待处理图像进行初始特征提取处理，获得初始特征。
在需要对降质图像、模糊图形等待处理图像进行图像增强处理时，通过将待处理图像输入初始特征提取层，在在初始特征提取层的作用下，便可提取到等待处理图像的初始特征。例如，通过该初始特征提取层对模糊图像依次进行第五卷积处理、归一化处理、第一非线性转换处理，便可提取到待处理图像的初始特征。
步骤S102：通过每个所述下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征。
通过下采样特征提取层来更新输入到自身的输入特征，获得浅层特征、深度特征以及下采样特征。其中，与初始特征提取层连接的第一个下采样特征提取层的输入特征为初始特征，第二个至第M个下采样特征提取层的输入特征为自身的前一个下采样特征提取层输出的下采样特征。对应第一个下采样特征提取层来说，此时，输入到自身的输入特征为初始特征提取层输出的初始特征，在第一个下采样特征提取层的作用下，便可获取浅层特征、深度特征以及下采样特征。
其中，每个下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征的原理是一样的，只是输入特征不同导致输出特征也不同，如以M为5为例，与初始特征提取层连接的第一个下采样特征提取层的输入特征为初始特征，第二个至第五个下采样特征提取层的输入特征为自身的前一个下采样特征提取层输出的下采样特征，也即，第二个下采样特征提取层的输入特征为第一个下采样特征提取层输出的下采样特征，第三个下采样特征提取层的输入特征为第二个下采样特征提取层输出的下采样特征，依次类推。
其中，通过每个下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，包括：
通过每个下采样特征提取层对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征；对第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述浅层特征；对第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到下采样特征；对所第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征；对第二基本特征依次进行三次残差处理，获得深度特征。
结合图2所示的下采样特征提取层的层结构对上述过程(步骤S102)进行说明，也即，利用第一特征提取单元对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征。例如，对于第一个下采样特征提取层来说，将初始特征输入第一特征提取单元，在第一特征提取单元的作用下，便可获得第一基本特征。其余情况与之类似。
利用第二特征提取单元对该第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得浅层特征，也即将第一基本特征输入第二特征提取单元，在第二特征提取单元的作用下，便可获得浅层特征(也即第二特征提取单元的输出特征)。
利用第三特征提取单元对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征。也即，第三特征提取单元，除了对第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理外，还对第一基本特征进行池化处理，最后输出的是两者的串联特征，也即下采样特征。也即将第一基本特征输入第三特征提取单元，在第三特征提取单元的作用下，便可获得下采样特征(也即第三特征提取单元的输出特征)。
利用第四特征提取单元对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征。也即将第一基本特征输入第四特征提取单元，在第四特征提取单元的作用下，便可获得第二基本特征(也即第四特征提取单元的输出特征)。
利用第五特征提取单元对所述第二基本特征依次进行三次残差处理，获得所述深度特征。也即将第二基本特征输入第五特征提取单元，在第五特征提取单元的作用下，便可获得深度特征(也即第五特征提取单元的输出特征)。进一步地，第五特征提取单元，具体用于：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征(也即第一次残差处理)；对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；将所述第二串联特征与所述第四基本特征串联，得到第三串联特征(也即第二次残差处理)；对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；将所述第五基本特征与所述第三串联特征串联，获得所述深度特征(也即第三次残差处理)。
其中，从上述内容可以看出，每次残差处理的原理是一样的，只是每次的输入特征不同，所以输出的特征也不同。下面仅对第一次残差处理进行说明，第二次残差处理以及第三次残差处理的原理参照第一次残差处理的原理即可。其中，第一次残差处理为：对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；将所述第三基本特征与所述第二基本特征串联，得到第二串联特征。也即，先对第二基本特征进行第一卷积处理，然后再进行归一化处理，然后再进行第一非线性转换处理，然后再次进行第一卷积处理，然后再次进行归一化处理以及第一非线性转换处理，得到第三基本特征，最后将第三基本特征与第二基本特征串联输出，第一次残差处理结束。
其中，下采样特征提取层进行特征提取的过程可以看成是特征编码的过程，下采样处理结束，编码完成。
步骤S103：通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征。
下采样处理结束也即编码完成后，需要进行特征解码，也即需要对特征进行上采样处理。此时，通过每个上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征。
其中，与第M个下采样特征提取层连接的第一个上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，其中，第一直连接特征为第M个下采样特征提取层输出的下采样特征和深度特征的第一串联特征，第一跨连接特征为第M个下采样特征提取层输出的浅层特征以及第M－1个下采样特征提取层输出的深度特征。第j个上采样特征提取层的输入特征包括：第j直连接特征和第j跨连接特征，其中，第j直连接特征为自身的前一个上采样特征提取层输出的上采样特征，第j跨连接特征为第M－j+1个下采样特征提取层输出的浅层特征以及第M－j个下采样特征提取层输出的深度特征。第M个上采样特征提取层的输入特征包括：第M直连接特征和第M跨连接特征，其中，第M直连接特征为第M－1个上采样特征提取层输出的上采样特征，第M跨连接特征为第一个下采样特征提取层输出的浅层特征，其中，j依次取2至M－1。
其中，每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征的原理是一样的，只是输入特征不同导致输出特征也不同。每个上采样特征提取层的输入特征均包括：直连接特征和跨连接特征。其中，在直连接特征和跨连接特征前加上“第一”、“第j”、“第M”等仅仅是为了区分。不同的上采样特征提取层，其直连接特征和跨连接特征均不相同。
可选地，通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征的过程，可以结合图7所示的流程图进行说明。
步骤S201：通过每个所述上采样特征提取层对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征。
步骤S202：将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征。
结合图3所示的上采样特征提取层的层结构对上述过程(步骤S201、步骤S202)进行说明。也即利用第六特征提取单元对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；以及将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征。也即，先对输入到自身直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征，然后再将第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征。
步骤S203：对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征。
在得到第四串联特征后，利用第一特征提取单元对第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征。也即，将第四串联特征输入第一特征提取单元，在第一特征提取单元的作用下，便可获得第七基本特征(也即第一特征提取单元的输出特征)。第一卷积处理以及第一非线性转换处理的实现方式相互参见即可。
步骤S204：对所述第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
在得到第七基本特征后，利用第二特征提取单元对第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。也即，将第七基本特征输入第二特征提取单元，在第二特征提取单元的作用下，便可获得上采样特征(也即第二特征提取单元的输出特征)。第二卷积处理以及第一非线性转换处理的实现方式相互参见即可。
其中，需要说明的是，每个上采样特征提取层也可以只包括：第六特征提取单元和第一特征提取单元。此时，图8所示的流程变更为：通过每个所述上采样特征提取层对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
或者，每个上采样特征提取层也可以只包括第六特征提取单元和第二特征提取单元。此时，图8所示的流程变更为：通过每个所述上采样特征提取层对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；对所述第四串联特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。因此不能将图8所示的流程理解成是对本申请的限制。
其中，上采样结束，也意味着解码结束，其中，下采样和上采样对应，因此，下采样特征提取层的数量与上采样特征提取层的数量相同。
步骤S104：通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征。
解码完成后，也即上采样结束后，通过残差特征提取层对第M个上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征。也即将最后一个上采样特征提取层输出的上采样特征输入到残差特征提取层，在残差特征提取层的作用下，便可获得残差特征。可选地，通过该残差特征提取层对第M个上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理，便可获得残差特征。
步骤S105：将所述残差特征和所述待处理图像相加得到目标图像。
在得到残差特征后，将残差特征和待处理图像相加(也即串联)便可以得到复原图像，也即目标图像。
此外，为了得到纹理更清晰的复原图像，还可以在第M个下采样特征提取层与第一个述上采样特征提取层之间增加全局特征提取层，以此来增强生成网络的泛化能力和鲁棒性，提高对微小纹理的复原能力。
通过所述全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征。可选地，通过全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征。
在第M个下采样特征提取层与第一个述上采样特征提取层之间增加了全局特征提取层之后，相应地，与所述全局特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征。
其中，要想提高生成网络对模糊图像的处理能力，也即输出清晰度高的复原图像也即目标图像，需要对生成网络进行训练优化。在训练优化生成网络时，需要在生成网络后方串接一个对抗网络也即判别网络，如图9所示。本申请实施例中，所采用的对抗网络的参数如表2所示。
表2(对抗网络参数设置)
# 层 参数维度 步长
1 卷积层 32x3x5x5 2
2 卷积层 64x32x5x5 1
3 卷积层 64x64x5x5 2
4 卷积层 128x64x5x5 1
5 卷积层 128x128x5x5 4
6 卷积层 256x128x5x5 1
7 卷积层 256x256x5x5 4
8 卷积层 512x256x5x5 1
9 卷积层 512x512x4x4 4
10 全连接层 512x1x1x1 －
其中，表2中的参数维度，如32x3x5x5，128x128x5x5等表示的含义如下，第一位数字如32、64、128等表示当前层特征的通道数，第二位数字如3、32、64等表示上一层特征的通道数，最后两位数字如5x5、4x4以及1x1表示卷积核的大小。
其中，图9示出了生成式对抗网络包括生成网络和对抗网络的情形。生成网络和对抗网络犹如两个博弈者，生成网络的目的是尽可能生成逼真的图像，使对抗网络无法识别真假，而对抗网络的目的是尽可能区分输入的图像是来自真实样本集还是假样本集，其中，输出的值越接近1，则表明输入的图像来自真实样本集的可能性越大，输出的值越接近0，则表明输入的图像来自假样本集的可能性越大，当然两者也可以反过来。
其中，可以通过以下方法训练生成式对抗网络(包括生成网络和串接在生成网络后方的对抗网络)，以下简称GAN：训练时，将生成网络(可以是上述2种网络中的任一种网络)输出的目标图像(假样本集)以及参考图像(真样本集)分别输入对抗网络；利用单独交替迭代优化方法训练对抗网络和生成网络，直至迭代结束。优化时，先优化所述对抗网络，再优化所述生成网络。其中，单独交替迭代优化方法也即在优化对抗网络时，暂时不考虑生成网络，在优化生成网络时，暂时不考虑对抗网络。其中，迭代次数可以根据需要进行设置，如设置为300次。
在训练GAN的过程中，可以使用如下的损失函数：L＝Ladv+λ.Lcont来对生成式对抗网络进行训练。其中，L为损失函数，Ladv为对抗函数，Lcont为条件损失函数，λ是条件损失函数的权重，取值0－1；
Figure GDA0002460953460000341
其中，x～pr为所述参考图像的统计分布，
Figure GDA0002460953460000342
为所述目标图像的统计分布，
Figure GDA0002460953460000343
为所述参考图像与所述目标图像的混合分布，D为所述对抗网络，x、
Figure GDA0002460953460000344
分别为所述参考图像、所述目标图像以及所述参考图像和所述目标图像的加权和，E(.)为期望，α是正则项的参数，取值0－1。
其中，基于该损失函数，可以得到对抗网络的优化公式如下：
Figure GDA0002460953460000345
其中，对抗网络的优化公式表示的意思为：求第一项+第二项+第三项的最大值。其中，第一项为：
Figure GDA0002460953460000351
第二项为：
Figure GDA0002460953460000352
第三项为：
Figure GDA0002460953460000353
该项为梯度正则项。
其中，基于该损失函数，可以得到生成网络的优化公式如下：
Figure GDA0002460953460000354
其中，对抗网络的优化公式表示的意思为：求第一项+第二项的最小值。其中，第一项为：
Figure GDA0002460953460000355
第二项为：λ.Lcont。其中，G为生成网络。
作为一种可选的实施方式，其中，所述条件损失函数
Figure GDA0002460953460000356
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，b取值为1或2。该实施方式下，通过条件损失函数在像素这个层级对模型进行约束，以此来抑制噪声。
作为另一种可选的实施方式，其中，所述条件损失函数
Figure GDA0002460953460000357
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，c2、w2、h2分别为所述目标图像在特征级的通道数、宽度和高度，F(.)是特征提取网络，如采用Vgg19网络来提取特征。该实施方式下，条件损失函数在像素和特征这两个层级对模型进行约束，在通过像素级的约束来抑制噪生的同时，通过特征级的约束使噪生服从高斯分布。其中，
Figure GDA0002460953460000358
为像素级约束，
Figure GDA0002460953460000359
为特征级约束。
通过上述方法对生成网络和判别网络进行训练，这样可以使得生成网络最终输出的图形让对抗网络也即判别网络无法识别，最终输出值为0.5左右。也即当对抗网络输出值为0.5左右时，表明该生成网络达到最优，也即训练好了，此时用训练好了的生成网络即可对模糊图像进行复原。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
第三实施例
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行上述第二实施例所述的方法的步骤。具体实现可参见方法实施例，在此不再赘述。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的程序代码被运行时，能够执行上述实施例示出的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法，也可以通过其它的方式实现。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (34)

1.一种图像处理方法，其特征在于，应用于生成式对抗网络GAN中，所述GAN包括生成网络，所述生成网络包括初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数；所述方法包括：
通过所述初始特征提取层对待处理图像进行初始特征提取处理，获得初始特征；
通过每个所述下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，其中，与所述初始特征提取层连接的第一个所述下采样特征提取层的输入特征为所述初始特征，第二个至第M个所述下采样特征提取层的输入特征为自身的前一个所述下采样特征提取层输出的所述下采样特征；
通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，其中，与第M个所述下采样特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征和深度特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征；第j个所述上采样特征提取层的输入特征包括：第j直连接特征和第j跨连接特征，所述第j直连接特征为自身的前一个所述上采样特征提取层输出的上采样特征，所述第j跨连接特征为第M－j+1个所述下采样特征提取层输出的浅层特征以及第M－j个所述下采样特征提取层输出的深度特征；第M个所述上采样特征提取层的输入特征包括：第M直连接特征和第M跨连接特征，所述第M直连接特征为第M－1个所述上采样特征提取层输出的上采样特征，所述第M跨连接特征为第一个所述下采样特征提取层输出的浅层特征，其中，j依次取2至M－1；
通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征；
将所述残差特征和所述待处理图像相加得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述通过每个所述下采样特征提取层对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，包括：
通过每个所述下采样特征提取层对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征；
对所述第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述浅层特征；
对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征；
对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征；
对所述第二基本特征依次进行三次残差处理，获得所述深度特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述第二基本特征依次进行三次残差处理，获得所述深度特征，包括：
对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；
将所述第三基本特征与所述第二基本特征串联，得到第二串联特征；
对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；
将所述第二串联特征与所述第四基本特征串联，得到第三串联特征；
对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；
将所述第五基本特征与所述第三串联特征串联，获得所述深度特征。
4.根据权利要求1所述的方法，其特征在于，所述通过每个所述上采样特征提取层对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，包括：
通过每个所述上采样特征提取层对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；
将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；
对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征；
对所述第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
5.根据权利要求4所述的方法，其特征在于，所述反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。
6.根据权利要求2、3或4所述的方法，其特征在于，所述第一卷积处理，包括：
通过尺寸为第一大小、步长为第一步长的卷积核进行卷积处理。
7.根据权利要求2或4所述的方法，其特征在于，所述第二卷积处理，包括：
通过尺寸为第二大小、步长为第一步长的卷积核进行卷积处理。
8.根据权利要求2所述的方法，其特征在于，所述第三卷积处理，包括：
通过尺寸为第三大小、步长为第二步长的卷积核进行卷积处理。
9.根据权利要求2所述的方法，其特征在于，所述第四卷积处理，包括：
通过尺寸为第一大小、步长为第二步长的卷积核进行卷积处理。
10.根据权利要求1所述的方法，其特征在于，所述通过所述初始特征提取层对待处理图像进行初始特征提取处理，包括：
通过所述初始特征提取层对待处理图像依次进行第五卷积处理、归一化处理、第一非线性转换处理。
11.根据权利要求1所述的方法，其特征在于，所述通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，包括：
所述通过所述残差特征提取层对第M个所述上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理。
12.根据权利要求10或11所述的方法，其特征在于，所述第五卷积处理，包括：
通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。
13.根据权利要求2所述的方法，其特征在于，所述生成网络还包括位于第M个所述下采样特征提取层与第一个所述上采样特征提取层之间的全局特征提取层，所述方法还包括：
通过所述全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征；相应地，
与所述全局特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征。
14.根据权利要求13所述的方法，其特征在于，所述通过所述全局特征提取层对第M个所述下采样特征提取层进行全局特征提取处理，获得全局特征，包括：
通过所述全局特征提取层对第M个所述下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征；
对所述全卷积特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得所述全局特征。
15.根据权利要求1所述的方法，其特征在于，所述GAN还包括：串接在所述生成网络后方的对抗网络，通过以下方法训练所述GAN：
训练时，将所述生成网络输出的目标图像以及参考图像分别输入所述对抗网络；
利用单独交替迭代优化方法训练所述对抗网络和所述生成网络，直至迭代结束，先优化所述对抗网络，再优化所述生成网络，训练过程中所使用的损失函数如下：L＝Ladv+λ.Lcont，其中，L为损失函数，Ladv为对抗函数，Lcont为条件损失函数，λ是条件损失函数的权重，取值0－1，
Figure FDA0002460953450000051
其中，x～pr为所述参考图像的统计分布，
Figure FDA0002460953450000052
为所述目标图像的统计分布，
Figure FDA0002460953450000053
为所述参考图像与所述目标图像的混合分布，D为所述对抗网络，x、
Figure FDA0002460953450000054
分别为所述参考图像、所述目标图像以及所述参考图像和所述目标图像的加权和，E(.)为期望，α是正则项的参数，取值0－1。
16.根据权利要求15所述的方法，其特征在于，所述对抗网络的优化公式如下：
Figure FDA0002460953450000061
17.根据权利要求16所述的方法，其特征在于，所述生成网络的优化公式如下：
Figure FDA0002460953450000062
其中，所述条件损失函数
Figure FDA0002460953450000063
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，G为所述生成网络，b取值为1或2。
18.根据权利要求16所述的方法，其特征在于，所述生成网络的优化公式如下：
Figure FDA0002460953450000064
其中，所述条件损失函数
Figure FDA0002460953450000065
c1、w1、h1分别为所述目标图像在像素级的通道数、宽度和高度，c2、w2、h2分别为所述目标图像在特征级的通道数、宽度和高度，F(.)是特征提取网络，G为所述生成网络。
19.一种生成式对抗网络，其特征在于，包括生成网络，所述生成网络包括：初始特征提取层、依次连接的M个下采样特征提取层、依次连接的M个上采样特征提取层和残差特征提取层，其中，M为大于等于1的整数；
所述初始特征提取层，用于对待处理图像进行初始特征提取处理，获得初始特征；
每个所述下采样特征提取层，用于对输入到自身的输入特征进行浅层特征、深度特征以及下采样特征提取处理，获得浅层特征、深度特征以及下采样特征，其中，与所述初始特征提取层连接的第一个所述下采样特征提取层的输入特征为所述初始特征，第二个至第M个所述下采样特征提取层的输入特征为自身的前一个所述下采样特征提取层输出的所述下采样特征；
每个所述上采样特征提取层，用于对输入到自身的输入特征进行上采样特征提取处理，获得上采样特征，其中，与第M个所述下采样特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征和深度特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征；第j个所述上采样特征提取层的输入特征包括：第j直连接特征和第j跨连接特征，所述第j直连接特征为自身的前一个所述上采样特征提取层输出的上采样特征，所述第j跨连接特征为第M－j+1个所述下采样特征提取层输出的浅层特征以及第M－j个所述下采样特征提取层输出的深度特征；第M个所述上采样特征提取层的输入特征包括：第M直连接特征和第M跨连接特征，所述第M直连接特征为第M－1个所述上采样特征提取层输出的上采样特征，所述第M跨连接特征为第一个所述下采样特征提取层输出的浅层特征，其中，j依次取2至M－1；
所述残差特征提取层，用于对第M个所述上采样特征提取层输出的上采样特征进行残差特征提取处理，获得残差特征，以便将所述残差特征和所述待处理图像相加得到目标图像。
20.根据权利要求19所述的生成式对抗网络，其特征在于，每个所述下采样特征提取层均包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元；
所述第一特征提取单元，用于对输入到自身的输入特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第一基本特征；
所述第二特征提取单元，用于对所述第一基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述浅层特征；
所述第三特征提取单元，用于对所述第一基本特征依次进行第三卷积处理、归一化处理以及第一非线性转换处理，得到转换特征，并对所述第一基本特征进行池化处理，将池化后得到的特征与所述转换特征串联得到所述下采样特征；
所述第四特征提取单元，用于对所述第一基本特征依次进行第四卷积处理、归一化处理以及第一非线性转换处理，获得第二基本特征；
所述第五特征提取单元，用于对所述第二基本特征依次进行三次残差处理，获得所述深度特征。
21.根据权利要求20所述的生成式对抗网络，其特征在于，所述第五特征提取单元，具体用于：
对所述第二基本特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第三基本特征；
将所述第三基本特征与所述第二基本特征串联，得到第二串联特征；
对所述第二串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第四基本特征；
将所述第二串联特征与所述第四基本特征串联，得到第三串联特征；
对所述第三串联特征依次进行第一卷积处理、归一化处理、第一非线性转换处理、第一卷积处理、归一化处理以及第一非线性转换处理，得到第五基本特征；
将所述第五基本特征与所述第三串联特征串联，获得所述深度特征。
22.根据权利要求19所述的生成式对抗网络，其特征在于，每个所述上采样特征提取层均包括：第六特征提取单元、第一特征提取单元和第二特征提取单元；
所述第六特征提取单元，用于对输入到自身的直连接特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得第六基本特征；以及将所述第六基本特征与输入到自身的跨连接特征串联，得到第四串联特征；
所述第一特征提取单元，用于对所述第四串联特征依次进行第一卷积处理、归一化处理以及第一非线性转换处理，获得第七基本特征；
所述第二特征提取单元，用于对所述第七基本特征依次进行第二卷积处理、归一化处理以及第一非线性转换处理，获得所述上采样特征。
23.根据权利要求22所述的生成式对抗网络，其特征在于，所述反卷积处理，包括：通过尺寸为第三大小、步长为第二步长的反卷积核进行反卷积处理。
24.根据权利要求20、21或22所述的生成式对抗网络，其特征在于，所述第一卷积处理，包括：
通过尺寸为第一大小、步长为第一步长的卷积核进行卷积处理。
25.根据权利要求20或22所述的生成式对抗网络，其特征在于，所述第二卷积处理，包括：
通过尺寸为第二大小、步长为第一步长的卷积核进行卷积处理。
26.根据权利要求20所述的生成式对抗网络，其特征在于，所述第三卷积处理，包括：
通过尺寸为第三大小、步长为第二步长的卷积核进行卷积处理。
27.根据权利要求20所述的生成式对抗网络，其特征在于，所述第四卷积处理，包括：
通过尺寸为第一大小、步长为第二步长的卷积核进行卷积处理。
28.根据权利要求19所述的生成式对抗网络，其特征在于，所述初始特征提取层，具体用于对待处理图像依次进行第五卷积处理、归一化处理、第一非线性转换处理。
29.根据权利要求19所述的生成式对抗网络，其特征在于，所述残差特征提取层，具体用于对第M个所述上采样特征提取层输出的上采样特征依次进行第五卷积处理、第二非线性转换处理。
30.根据权利要求28或29所述的生成式对抗网络，其特征在于，所述第五卷积处理，包括：
通过尺寸为第四大小、步长为第一步长的卷积核进行卷积处理。
31.根据权利要求20所述的生成式对抗网络，其特征在于，所述生成网络还包括位于第M个所述下采样特征提取层与第一个所述上采样特征提取层之间的全局特征提取层；
所述全局特征提取层，用于对第M个所述下采样特征提取层输出的下采样特征进行全局特征提取处理，获得全局特征；相应地，
与所述全局特征提取层连接的第一个所述上采样特征提取层的输入特征包括：第一直连接特征和第一跨连接特征，所述第一直连接特征为第M个所述下采样特征提取层输出的下采样特征、深度特征和所述全局特征的第一串联特征，所述第一跨连接特征为第M个所述下采样特征提取层输出的浅层特征以及第M－1个所述下采样特征提取层输出的深度特征。
32.根据权利要求31所述的生成式对抗网络，其特征在于，所述全局特征提取层，具体用于对第M个所述下采样特征提取层输出的下采样特征进行全卷积，获取全卷积特征；
对所述全卷积特征依次进行反卷积处理、归一化处理以及第一非线性转换处理，获得所述全局特征。
33.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；
所述存储器用于存储程序；
所述处理器用于调用存储于所述存储器中的程序，以执行如权利要求1－18中任一项所述的方法。
34.一种存储介质，其特征在于，所述存储介质包括计算机程序，所述计算机程序被计算机运行时执行如权利要求1－18任一项所述的方法。
CN201811529114.XA 2018-12-13 2018-12-13 一种图像处理方法、生成式对抗网络、电子设备及存储介质 Active CN110782397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811529114.XA CN110782397B (zh) 2018-12-13 2018-12-13 一种图像处理方法、生成式对抗网络、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811529114.XA CN110782397B (zh) 2018-12-13 2018-12-13 一种图像处理方法、生成式对抗网络、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110782397A CN110782397A (zh) 2020-02-11
CN110782397B true CN110782397B (zh) 2020-08-28

Family

ID=69383154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811529114.XA Active CN110782397B (zh) 2018-12-13 2018-12-13 一种图像处理方法、生成式对抗网络、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110782397B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313635A (zh) * 2020-02-26 2021-08-27 阿里巴巴集团控股有限公司 图像处理方法、模型训练方法、装置及设备
CN112163449B (zh) * 2020-08-21 2022-12-16 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112102184A (zh) * 2020-09-04 2020-12-18 西北工业大学 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
CN113673562A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 一种特征增强的方法、目标分割方法、装置和存储介质
CN114399440B (zh) * 2022-01-13 2022-12-13 马上消费金融股份有限公司 图像处理方法、图像处理网络训练方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN108830890A (zh) * 2018-04-24 2018-11-16 广州启辰电子科技有限公司 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572979B2 (en) * 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling
CN107527044B (zh) * 2017-09-18 2021-04-30 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置
CN107590774A (zh) * 2017-09-18 2018-01-16 北京邮电大学 一种基于生成对抗网络的车牌清晰化方法及装置
CN108376387B (zh) * 2018-01-04 2021-09-17 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN108492258B (zh) * 2018-01-17 2021-12-07 天津大学 一种基于生成对抗网络的雷达图像去噪方法
CN108460408B (zh) * 2018-02-05 2020-04-07 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108416752B (zh) * 2018-03-12 2021-09-07 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108805418B (zh) * 2018-05-22 2021-08-31 福州大学 一种基于生成式对抗网络的交通数据填充方法
CN108711138B (zh) * 2018-06-06 2022-02-11 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108830890A (zh) * 2018-04-24 2018-11-16 广州启辰电子科技有限公司 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法
CN108595916A (zh) * 2018-05-10 2018-09-28 浙江工业大学 基于生成对抗网络的基因表达全谱推断方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法

Also Published As

Publication number Publication date
CN110782397A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110782397B (zh) 一种图像处理方法、生成式对抗网络、电子设备及存储介质
Chu et al. Improving image restoration by revisiting global information aggregation
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
Ishikawa Higher-order clique reduction in binary graph cut
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
Zuo et al. Convolutional neural networks for image denoising and restoration
Pan et al. Dual convolutional neural networks for low-level vision
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
Kim et al. Deep image demosaicing for submicron image sensors
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
US20120121179A1 (en) Unified spatial image processing
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
Huang et al. Learning deformable and attentive network for image restoration
Zheng et al. Unfolded deep kernel estimation for blind image super-resolution
Xu et al. A slimmer and deeper approach to deep network structures for low‐level vision tasks
CN113298740A (zh) 一种图像增强方法、装置、终端设备及存储介质
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN116757962A (zh) 一种图像去噪方法、装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN105894481B (zh) 用于视频监控设备的直方图均衡化方法及装置
Mahendra et al. Improved deep multi-patch hierarchical network for handling saturation in image deblurring
CN109741264B (zh) 图像过度表示方法、装置、电子设备及可读存储介质
Seke et al. Multi‐frame super‐resolution algorithm using common vector approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant