CN109345456A - 生成对抗网络训练方法、图像处理方法、设备及存储介质 - Google Patents

生成对抗网络训练方法、图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN109345456A
CN109345456A CN201811155930.9A CN201811155930A CN109345456A CN 109345456 A CN109345456 A CN 109345456A CN 201811155930 A CN201811155930 A CN 201811155930A CN 109345456 A CN109345456 A CN 109345456A
Authority
CN
China
Prior art keywords
image
resolution
network
noise
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811155930.9A
Other languages
English (en)
Other versions
CN109345456B (zh
Inventor
刘瀚文
朱丹
那彦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811155930.9A priority Critical patent/CN109345456B/zh
Publication of CN109345456A publication Critical patent/CN109345456A/zh
Priority to EP19850782.4A priority patent/EP3857447A4/en
Priority to JP2020529196A priority patent/JP7415251B2/ja
Priority to MX2020013580A priority patent/MX2020013580A/es
Priority to KR1020207037174A priority patent/KR102661434B1/ko
Priority to PCT/CN2019/083872 priority patent/WO2020062846A1/en
Priority to US16/604,410 priority patent/US11615505B2/en
Priority to BR112020022560-6A priority patent/BR112020022560A2/pt
Priority to RU2020136214A priority patent/RU2762144C1/ru
Priority to AU2019350918A priority patent/AU2019350918B2/en
Priority to US16/614,547 priority patent/US11361222B2/en
Priority to JP2020528242A priority patent/JP7463643B2/ja
Priority to US16/614,558 priority patent/US11348005B2/en
Priority to EP19850805.3A priority patent/EP3857504A4/en
Priority to PCT/CN2019/092113 priority patent/WO2020062958A1/en
Priority to PCT/CN2019/092042 priority patent/WO2020062957A1/en
Priority to EP19850757.6A priority patent/EP3857503A4/en
Priority to JP2020528931A priority patent/JP7446997B2/ja
Priority to PCT/CN2019/107761 priority patent/WO2020063648A1/zh
Priority to US16/759,669 priority patent/US11449751B2/en
Priority to KR1020207014462A priority patent/KR102389173B1/ko
Priority to EP19864756.2A priority patent/EP3859655A4/en
Application granted granted Critical
Publication of CN109345456B publication Critical patent/CN109345456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种生成对抗网络的训练方法，包括生成网络训练步骤，生成网络训练步骤包括：从高分辨率样本图像中提取低分辨率样本图像；分别将第一输入图像和第二输入图像提供给生成网络，分别生成第一输出图像和第二输出图像；第一输入图像包括低分辨率样本图像和第一噪声图像；第二输入图像包括低分辨率样本图像和第二噪声图像；第一幅度大于0，第二幅度等于0；分别将第一输出图像和高分辨率样本图像提供给鉴别网络，输出第一鉴别结果和第二鉴别结果；调整网络的参数以减小损失函数。本发明还提供一种利用生成对抗网络的图像处理方法、计算机设备和计算机可读存储介质。本发明能得到所需要求的图像。

Description

生成对抗网络训练方法、图像处理方法、设备及存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种生成对抗网络的训练方法、利用所述训练方法得到的生成对抗网络的图像处理方法、计算机设备以及计算机可读存储介质。
背景技术
卷积神经网络是一种常见的深度学习网络，目前已被大量应用于图像处理领域，以实现图像识别、图像分类和图像超分辨率重构等。
在目前的超分辨率重构的方法中，基于低分辨率图像而重构的高分辨率图像往往缺少细节信息，导致高分辨率图像看起来不真实。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种生成对抗网络的训练方法、利用所述训练方法得到的生成对抗网络的图像处理方法、计算机设备和计算机可读存储介质。
为了解决上述技术问题之一，本发明提供一种生成对抗网络的训练方法，所述生成对抗网络包括生成网络和鉴别网络，所述生成网络用于对图像进行分辨率提升，所述训练方法包括生成网络训练步骤，所述生成网络训练步骤包括：
从高分辨率样本图像中提取低分辨率样本图像，所述高分辨率样本图像的分辨率高于所述低分辨率样本图像的分辨率；
分别将第一输入图像和第二输入图像提供给生成网络，以分别生成基于第一输入图像的第一输出图像和基于第二输入图像的第二输出图像；其中，第一输入图像包括所述低分辨率样本图像和第一幅度的噪声样本所对应的第一噪声图像；所述第二输入图像包括所述低分辨率样本图像和第二幅度的噪声样本所对应的第二噪声图像；所述第一幅度大于0，所述第二幅度等于0；
分别将所述第一输出图像和所述高分辨率样本图像提供给鉴别网络，所述鉴别网络输出基于所述第一输出图像的第一鉴别结果和基于所述高分辨率样本图像的第二鉴别结果；
调整所述生成网络的参数以减小生成网络的损失函数；其中，所述生成网络的损失函数包括第一项、第二项和第三项的叠加，所述第一项基于所述第二输出图像和所述高分辨率样本图像之间的重构误差；所述第二项基于所述第一输出图像与所述高分辨率样本图像之间的感知误差；所述第三项基于所述第一鉴别结果和第二鉴别结果。
可选地，根据所述第二输出图像与所述高分辨率样本图像的差值图像矩阵的L1泛数、所述第二输出图像与所述高分辨率样本图像之间的均方误差、所述第二输出图像与所述高分辨率样本图像之间的结构相似性中的任意一者确定所述第二输出图像和所述高分辨率样本图像之间的重构误差。
可选地，所述第一输出图像和所述第二输出图像均由所述生成网络通过分辨率提升步骤的迭代处理生成；所述生成网络的损失函数的第一项为λ1Lrec(X,Yn＝0)，其中：
其中，X为所述高分辨率样本图像；Yn＝0为所述第二输出图像；
Lrec(X，Yn＝0)为所述第二输出图像与所述高分辨率样本图像之间的重构误差；
L为所述迭代处理中分辨率提升步骤的总次数；L≥1；为所述生成网络基于所述第二输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与分辨率相同的图像；
E[]为对矩阵能量的计算；
λ1为预设的权值。
可选地，所述生成网络的损失函数的第二项为λ2Lper(X，Yn＝1)，其中：
其中，Yn＝1为所述第一输出图像；Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
为所述生成网络基于所述第一输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
λ2为预设的权值。
可选地，所述生成网络的损失函数的第三项为λ3LGAN(Yn＝1)，其中，
其中，为所述生成网络基于所述第一输入图像进行迭代处理时生成图像组，该图像组包括各次分辨率提升步骤结束时生成的图像；
HR1，2，…L为对高分辨率样本图像进行下采样后得到的与中各个图像的分辨率一一对应相同的图像；
为所述第一鉴别结果；D(HR1，2，…L)为所述第二鉴别结果；
λ3为预设的权值。
可选地，λ1：λ2：λ3＝10：0.1：0.001。
可选地，所述噪声样本为随机噪声。可选地，所述训练方法还包括鉴别网络训练步骤，该鉴别网络训练步骤包括：将所述第一输出图像和所述高分辨率样本图像分别提供给所述鉴别网络，使所述鉴别网络分别输出基于所述第一输出图像的鉴别结果和基于所述高分辨率样本图像的鉴别结果；并通过调整所述鉴别网络的参数，以减小所述鉴别网络的损失函数；
所述鉴别网络训练步骤与所述生成网络训练步骤交替进行，直至达到预设训练条件。
可选地，所述第一输出图像和所述第二输出图像均由所述生成网络通过分辨率提升步骤的迭代处理生成，所述迭代处理中分辨率提升步骤的总次数为L；当L大于1时，
所述生成网络基于第一输入图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升，生成网络均生成一个中间图像；
在所述鉴别网络训练步骤中，将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一输入图像生成的各个中间图像提供给生成网络；将所述高分辨率样本图像提供给所述鉴别网络的同时，还将对所述高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给所述鉴别网络。
相应地，本发明还提供一种利用上述训练方法得到的生成对抗网络中的生成网络的图像处理方法，所述图像处理方法用于提升图像的分辨率，所述图像处理方法包括：
将输入图像和参考噪声所对应的噪声图像提供给所述生成网络，以使所述生成网络生成基于所述输入图像的高分辨率图像。
可选地，所述参考噪声的幅度在0到所述第一幅度之间。
可选地，所述参考噪声为随机噪声。
相应地，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现上述训练方法。
相应地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述训练方法。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为重构失真和感知失真之间的关系示意图；
图2为本发明实施例中的生成网络训练步骤的流程图。
图3为本发明实施例中的生成网络的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图像超分辨率重构是对初始图像进行分辨率提升，以获得更高分辨率的图像的技术。在图像超分辨率重构中，重构失真和感知失真用来评估超分辨率的重构效果，重构失真用来衡量重构图像和参考图像之间的差异程度，具体评价标准包括均方误差(MSE)、相似度(SSIM)、峰值信噪比(PSNR)等；感知失真更关注于使图像看起来和自然图像更像。图1为重构失真和感知失真之间的关系示意图。如图1所示，当重构失真较小时，则感知失真较大，此时，重构图像看起来更平滑而缺少细节；当感知失真较小时，重构失真较大，此时，重构图像的细节更丰富。目前的图像超分辨率重构方法往往追求较小的重构失真，但是，在一些应用场景下，人们往往更希望获得细节丰富的重构图像。
本发明提供一种生成对抗网络的训练方法，生成对抗网络包括生成网络和鉴别网络，生成网络用于对图像进行分辨率提升，以获得目标分辨率的高分辨率图像。生成网络可以通过分辨率提升步骤的一次处理或多次迭代处理来获得高分辨率图像。以待处理图像的分辨率为128*128、目标分辨率为1024*1024为例，生成网络可以通过一次提升倍数为8倍的分辨率提升步骤来获得1024*1024的高分辨率图像；也可以通过提升倍数为2倍的分辨率提升步骤的三次迭代处理来依次获得分辨率为256*256、512*512、1024*1024的图像。
生成对抗网络的训练方法包括生成网络训练步骤，图2为本发明实施例中的生成网络训练步骤的流程图。如图2所示，生成网络训练步骤包括：
S1、从高分辨率样本图像中提取低分辨率样本图像，高分辨率样本图像的分辨率高于低分辨率样本图像的分辨率。具体地，低分辨率样本图像可以通过对高分辨率样本图像进行下采样后得到。
S2、分别将第一输入图像和第二输入图像提供给生成网络，以分别生成基于第一输入图像的第一输出图像和基于第二输入图像的第二输出图像；其中，第一输入图像包括低分辨率样本图像和第一幅度的噪声样本所对应的第一噪声图像；第二输入图像包括低分辨率样本图像和第二幅度的噪声样本所对应的第二噪声图像。第一幅度大于0，第二幅度等于0。
其中，噪声样本的幅度为噪声样本的平均波动幅度。例如，噪声样本为随机噪声，噪声样本所对应的图像均值为μ，方差为σ，即，噪声样本所对应的图像中各像素值大部分在μ-σ～μ+σ之间波动；此时，噪声幅度为μ。可以理解的是，在图像处理过程中，图像均以矩阵表示，上述像素值则表示图像矩阵中的元素值。而当噪声样本的幅度为0时，由于图像矩阵中的各元素的值不小于0，则可以看作图像矩阵的各元素值均为0。
另外需要说明的是，在生成对抗网络的训练方法中有多个生成网络训练步骤，在同一个生成网络训练步骤中，低分辨率样本图像为同一个，且接收第一输入图像和第二输入图像的生成网络的模型参数是相同的。
S3、分别将第一输出图像和高分辨率样本图像提供给鉴别网络，鉴别网络输出基于第一输出图像的第一鉴别结果和基于高分辨率样本图像的第二鉴别结果。第一鉴别结果用于表征第一输出图像与高分辨率样本图像之间的匹配度，例如，鉴别网络所判断得到的第一输出图像为高分辨率样本图像的概率；第二鉴别结果用于表征鉴别网络所判断得到的其接收到的高分辨率样本图像确实为高分辨率样本图像的概率。
其中，鉴别网络可以看作具有打分功能的分类器，其可以对接收到的待鉴别图像进行打分，输出的分数则表示待鉴别图像为高分辨率样本图像的概率，即，上述匹配度。其中，匹配度可以在0～1之间，当鉴别网络的输出为0或接近0时，表示鉴别网络将其接收到的待鉴别图像分类为非高分辨样本图像；当鉴别网络的输出为1或接近1时，表示其接收到的待鉴别图像为高分辨率样本图像。
鉴别网络的打分功能可以利用预先确定分数的“真”样本和“假”样本进行训练。例如，“假”样本为生成网络生成的图像，“真”样本为高分辨率样本图像。鉴别网络的训练过程即：通过调整鉴别网络的参数，使得鉴别网络接收到“真”样本时输出接近1的分数；接收到“假”样本时输出接近0的分数。
S4、通过调整生成网络的参数以减小生成网络的损失函数。所谓“减小生成网络的损失函数”是指，损失函数的值相对于上一次生成网络训练步骤中是减小的，或者，多次生成网络训练步骤中，损失函数的值整体上呈减小的趋势。其中，生成网络的损失函数包括第一项、第二项和第三项的叠加，其中，第一项为基于第二输出图像和高分辨率样本图像之间的重构误差；第二项为基于第一输出图像与高分辨率样本图像之间的感知误差；第三项基于第一鉴别结果和第二鉴别结果。
在进行超分辨率重构时，重构的高分辨率图像中细节特征(例如，毛发、线条等)往往会和噪声有关。当生成网络的训练中不加入噪声时，生成网络所生成的高分辨率图像的重构失真较小，感知失真较大，肉眼看起来不够真实；当生成网络的训练中加入噪声时，重构的高分辨率图像中的细节特征会比较明显，但是重构失真较大。而本发明中在生成网络的训练中，分别将包括幅度为0的噪声图像的第二输入图像和包括幅度为1的噪声图像的第一输入图像提供给了生成网络进行训练，且损失函数的第一项反映了生成网络生成结果的重构失真，第二项反映了生成网络生成结果的感知失真，即，损失函数结合了两种失真评价标准，在利用训练好的生成网络来对图像进行分辨率提升时，可以根据实际需要(即，是否需要获得突出图像的细节以及突出程度)，来调节输入噪声的幅度，从而使重构的图像满足实际需求。例如，在给定重构失真范围的情况下，通过调节输入噪声的幅度，以达到最小的感知失真；或者在给定感知失真范围的情况下，通过调节输入噪声的幅度，以达到最小的重构失真。
需要说明的是，本实施例中所说的第一输入图像的噪声图像的幅度为1，是指对噪声图像的幅度进行归一化之后得到的幅度值，在本申请的其他实施例中，也可不对噪声图像的幅度进行归一化，则第一输入图像的噪声图像的幅度值也可以为其他不为1的值。
可选地，噪声样本为随机噪声；第一噪声图像的均值为1。可选地，第一噪声图像的均值为：第一噪声图像的归一化图像的均值。例如，第一噪声图像为灰度图像，则对第一噪声图像进行归一化得到的图像中，各像素值的平均值即为第一噪声图像的均值；又例如，第一噪声图像为彩色图像，则对第一噪声图像各通道进行归一化后得到的图像中，各像素值的平均值即为第一噪声图像的均值。
可选地，生成网络的损失函数如以下公式所示：
Loss＝λ1Lrec(X,Yn＝0)+λ2Lper(X,Yn＝1)+λ3LGAN(Yn＝1)
其中，损失函数Loss的第一项λ1Lrec(X,Yn＝0)中，Lrec(X,Yn＝0)为第二输出图像和高分辨率样本图像之间的重构误差。损失函数Loss的第二项λ2Lper(X,Yn＝1)中，Lper(X,Yn＝1)为第二输出图像与高分辨率样本图像之间的感知误差。损失函数Loss的第三项λ2Lper(X,Yn＝1)中，λ3LGAN(Yn＝1)为第一鉴别结果和第二鉴别结果之和。λ1、λ2、λ3均为预设的权值。例如，λ1：λ2：λ3＝10：0.1：0.001，或者，λ1：λ2：λ3＝1：1：0.5等，可根据实际需求进行调整。
具体地，第二输出图像Yn＝0与高分辨率样本图像X之间的重构误差Lrec(X,Yn＝0)根据以下公式计算：
其中，第一输出图像和第二输出图像均由生成网络通过分辨率提升步骤的迭代处理生成；迭代处理中的分辨率提升步骤的总次数为L，L≥1。
为生成网络基于第二输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L。可以理解的是，当l＝L时，生成网络即生成第二输出图像Yn＝0。
LR为低分辨率样本图像；为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像。下采样方式可以与步骤S1中从高分辨率样本图像中获取低分辨率样本图像的方式相同。
HRl为高分辨率样本图像进行下采样后得到的与分辨率相同的图像。在此需要注意的是，当l＝L时，即为第二输出图像Yn＝0，此时，HRl即为高分辨率样本图像本身，也可以看作对高分辨率样本图像进行倍率为1的下采样后得到的图像。
E[]为对矩阵能量的计算。例如，E[]可以为计算“[]”中的矩阵中元素的最大值或平均值。
对于生成网络迭代多次分辨率提升步骤的情况，在计算重构误差时，不仅仅计算第二输出图像本身与高分辨率样本图像之间的差值图像矩阵的L1泛数，而且还累加了生成网络生成的中间分辨率图像(即，)与相同分辨率的中分辨率样本图像(即，HR1、HR2、…HRL-1)之间的差值图像矩阵的L1泛数，同时还累加了中间分辨率图像、第二输出图像下采样的图像与低分辨率样本图像之间的差值图像的L1泛数，从而在利用生成网络进行分辨率提升时，当输入幅度为零的噪声时，生成网络最终输出的图像能够达到尽量小的重构失真。
上述实施例中，第二输出图像和高分辨率样本图像之间的重构误差Lrec(X,Yn＝0)是基于第二输出图像与高分辨率样本图像的差值图像矩阵的L1泛数得到的，当然，也可以基于第二输出图像与高分辨率样本图像之间的均方误差(MSE)得到重构误差，或者基于第二输出图像与高分辨率样本图像之间的结构相似性(SSIM)得到重构误差。
可选地，第一输出图像Yn＝1与高分辨率样本图像X之间的感知误差Lper(X,Yn＝1)根据以下公式计算：
为生成网络基于第一输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L。可以理解的是，当l＝L时，生成网络即生成第一输出图像Yn＝1。
为对进行下采样后得到的与低分辨率样本图像LR分辨率相同的图像。下采样方式可以与步骤S1中从高分辨率样本图像中获取低分辨率样本图像的方式相同。HRl、E[]的含义参见上文中描述，这里不再赘述。
LCX()为感知损失(Contextual Loss)计算函数。
与计算重构误差类似地，感知误差的计算不仅利用感知损失函数计算了第一输出图像与高分辨率样本图像的差异，还累加计算了：生成网络基于第一输入图像生成的中间分辨率图像(即，)与相同分辨率的中分辨率样本图像(即，HR1、HR2、…HRL-1)之间的差异，同时还累加了中间分辨率图像、第二输出图像下采样的图像与低分辨率样本图像之间的差异，从而在利用生成网络进行分辨率提升时，当输入幅度为第一幅度的噪声时，生成网络最终输出的图像能够达到尽量小的感知失真。
可选地，生成网络的损失函数的第三项中的LGAN(Yn＝1)根据以下公式计算：
其中，为生成网络基于第一输入图像进行迭代处理时生成图像组，该图像组中包括各次分辨率提升步骤结束时生成的图像。当L＝1时，该图像组中仅包括上述第一输出图像；当L＞1时，该图像组中包括上述至以及第一输出图像Yn＝1。
HR1，2，…L为对高分辨率样本图像进行下采样后得到的与中各个图像的分辨率一一对应相同的图像。其中，HRL即为高分辨率样本图像本身。
为鉴别网络基于的鉴别结果，即，第一鉴别结果；D(HR1 ，2，…L)为鉴别网络基于HR1，2，…L的鉴别结果，即，第二鉴别结果。
在本发明的训练方法中，除了上述生成网络的训练步骤外，还包括鉴别网络训练步骤，鉴别网络训练步骤包括：将第一输出图像和高分辨率样本图像分别提供给鉴别网络，使鉴别网络分别输出基于第一输出图像的鉴别结果和基于高分辨率样本图像的鉴别结果；并通过调整鉴别网络的参数，以减小鉴别网络的损失函数。
鉴别网络训练步骤与生成网络训练步骤交替进行，直至达到预设训练条件。该预设训练条件例如可以为交替次数达到预定值。
其中，在初始化时，生成网络和鉴别网络的参数是设定的或随机的。
如上文中所述，第一输出图像和第二输出图像均由生成网络通过分辨率提升步骤的迭代处理生成，迭代总次数为L次。当L＝1时，每次向鉴别网络提供图像时，可以只将第一输出图像或高分辨率样本图像提供给鉴别网络。当L＞1时，生成网络基于第一输入图像进行的前L-1次分辨率提升步骤中，每进行一次分辨率提升，生成网络均生成一个中间图像；迭代第L次时，生成网络生成的图像即为第一输出图像。此时，鉴别网络配置为具有多个输入端，以同时接收多个图像，并根据接收到的多个图像确定其中分辨率最高的一者与高分辨率样本图像之间的匹配度。而在鉴别网络训练步骤中，将第一输出图像提供给鉴别网络的同时，还将生成网络基于第一输入图像生成的各个中间图像提供给鉴别网络；将高分辨率样本图像提供给鉴别网络的同时，还将对高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给鉴别网络。
在生成网络的训练过程中，通过调整生成网络的参数，以使生成网络的输出结果输入鉴别网络后，鉴别网络输出尽量接近1的匹配度，以作为鉴别结果，即，使鉴别网络认为生成网络的输出结果为高分辨率样本图像。在鉴别网络的训练过程中，通过调整鉴别网络的参数，以使得高分辨率样本图像输入鉴别网络后，鉴别网络输出尽量接近1的匹配度，且生成网络的输出结果输入鉴别网络后，鉴别网络输出尽量接近0的匹配度；即，鉴别网络通过训练能够判断出其接收到的图像是否是高分辨率样本图像。通过生成网络和鉴别网络的交替训练，使得鉴别网络不断优化，以提高鉴别能力；而生成网络不断优化，以使输出结果尽可能接近高分辨率样本图像。这种方法使得两个相互“对抗”的模型在每次训练中基于另一模型越来越好的结果而进行竞争和不断改进，以得到越来越优的生成对抗网络模型。
本发明还提供一种利用如上述训练方法得到的生成对抗网络的图像处理方法，该图像处理方法用于利用生成对抗网络中的生成网络提升图像的分辨率，图像处理方法包括：将输入图像和参考噪声所对应的噪声图像提供给生成网络，以使生成网络生成基于输入图像高分辨率图像。其中，参考噪声的幅度在0到第一幅度之间。具体地，参考噪声为随机噪声。
本发明在训练生成对抗网络中的生成网络时，分别给生成网络提供了幅度为零的噪声样本和第一幅度的噪声样本，并且，生成网络的损失函数结合了重构失真和感知失真两种失真评价标准，那么，在利用生成网络对图像进行分辨率提升时，则可以根据实际需要来调节参考噪声的幅度，从而满足实际需求，例如，在给定重构失真范围的情况下，通过调节参考噪声的幅度，以达到最小的感知失真；或者在给定感知失真范围的情况下，通过调节参考噪声的幅度，以达到最小的重构失真。
图3为本发明实施例中的生成网络的结构示意图；下面结合图3对生成网络进行介绍。生成网络用于进行分辨率提升的迭代处理，每次分辨率提升过程将待处理图像I l-1的分辨率进行提升，以得到分辨率提升后的图像I l。当分辨率提升的总迭代次数为1时，待处理图像I l-1即为初始的输入图像；当分辨率提升的总迭代次数为L次，且L>1时，则待处理图像I l-1为对初始的输入图像进行l-1次分辨率提升后的输出图像。下面以初始的输入图像的分辨率为128*128、每次分辨率提升倍数为2、l＝2为例对生成网络进行介绍。此时，图中的待处理图像I l-1则为经过一次分辨率提升后得到的256*256的图像。
如图3所示，生成网络包括第一分析模块11、第二分析模块12、第一联接模块21、第二联接模块22、插值模块31、第一上采样模块41、第一下采样模块51、叠加模块70和迭代的残差校正系统。
第一分析模块11用于生成待处理图像Il-1的特征图像Rμ l-1，该特征图像Rμ l-1的通道数大于待处理图像Il-1的通道数。
第一联接模块21用于将待处理图像的特征图像Rμ l-1与噪声图像noise联接(concat)，得到第一合并图像RCμ l-1；该第一合并图像RCμ l-1的通道数为特征图像Rμ l-1的通道数与噪声图像noise的通道数之和。
在此需要注意的是，噪声图像noise的分辨率与待处理图像Il-1的分辨率相同。因此，当生成网络执行分辨率提升的迭代总次数为多次时，在生成网络的训练步骤中，向生成网络提供的第一输入图像和第二输入图像均可以包括低分辨率样本图像和多个不同分辨率的噪声样本图像；或者，第一输入图像和第二输入图像均包括低分辨率样本图像和一个噪声样本图像，当迭代至第l次时，生成网络根据噪声样本的幅度生成所需倍数的噪声样本图像。
插值模块31用于对待处理图像Il-1进行插值，得到基于待处理图像Il-1的第一高分辨率图像，该第一高分辨率图像的分辨率为512*512。插值模块可以采样双三次插值(bicubic)等传统插值方法进行插值。
第二分析模块12用于生成第一高分辨率图像的特征图像，该特征图像的通道数大于第一高分辨率图像的通道数。
第一下采样模块51用于对第一高分辨率图像的特征图像进行下采样，以获得第一下采样特征图像。该下采样特征图像的分辨率为256*256。
第二联接模块22用于将第一合并图像RCμ l-1与第一下采样特征图像联接，得到第二合并图像。
第一上采样模块41用于对第二合并图像进行上采样，得到第一上采样特征图像Rl 0。
迭代的残差校正系统用于通过反向投影(back-projection)对第一上采样特征图像进行至少一次残差校正，得到经过残差修正的特征图像。
其中，迭代残差校正系统包括第二下采样模块52、第二上采样模块42和残差确定模块60。第二下采样模块52用于对其接收到的图像进行2倍的下采样，第二上采样模块42用于对其接收到的图像进行2倍的上采样；残差确定模块60用于对确定其接收到的两个图像之间的差值图像。
在第一次残差校正时，第一上采样特征图像Rl 0经过第一个第二下采样模块52的2倍下采样后，得到特征图像Rl 01；该特征图像Rl 01经过第二个第二下采样模块的2倍下采样后，得到与初始输入图像分辨率相同的特征图像Rl 02；之后，利用一个残差确定模块获取特征图像Rl 02与第一次分辨率提升步骤中的第一合并图像RCμ 0(即，原始输入图像的特征图像与噪声图像合并后的第一合并图像RCμ 0)之间的差值图像；然后利用第二上采样模块对该差值图像进行上采样，并利用叠加模块70将上采样后得到的特征图像与特征图像R01 l叠加，得到与第一合并图像R1 l-1分辨率相同的特征图像R03 l；之后，利用另一个残差确定模块得到特征图像R03 l与第一合并图像RCμ l-1之间的差值图像；并利用第二上采样模块42对该差值图像进行2倍的上采样，上采样后的图像与第一上采样特征图像Rl 0叠加，得到经过第一次残像校正后的特征图像Rl 1。
之后可以通过同样的过程对特征图像Rl 1进行第2次残差校正，得到经过第二次残差校正后的特征图像Rl 2；还可以再通过同样的过程对特征图像Rl 2进行第3次残像校正，以此类推。图中μ表示残差校正的次数。
生成网络还包括合成模块80，该合成模块80用于对经过多次残差校正后得到的特征图像Rl μ进行合成，以得到与第一高分辨率图像通道数相同的第二高分辨率图像；该第二高分辨率图像和第一高分辨率图像叠加，得到第l次分辨率提升后的输出图像Il。
在生成网络中，第一分析模块11、第二分析模块12、第一上采样模块41、第二上采样模块42、第一下采样模块51、第二下采样模块52和合成模块80均可以通过各模块均可以卷积层来实现相应的功能。
上述是以l＝2为例，对迭代处理中的第二次分辨率提升过程进行了介绍，其他次分辨率提升过程与上述过程类似，这里不再详细说明。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现上述生成对抗网络的训练方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述生成对抗网络的训练方法。
上述存储器和所述计算机可读存储介质包括但不限于以下可读介质：诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储、寄存器、磁盘或磁带、诸如光盘(CD)或DVD(数字通用盘)的光存储介质以及其它非暂时性介质。处理器的示例包括但不限于通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (14)

1.一种生成对抗网络的训练方法，所述生成对抗网络包括生成网络和鉴别网络，所述生成网络用于对图像进行分辨率提升，所述训练方法包括生成网络训练步骤，其特征在于，所述生成网络训练步骤包括：
从高分辨率样本图像中提取低分辨率样本图像，所述高分辨率样本图像的分辨率高于所述低分辨率样本图像的分辨率；
分别将第一输入图像和第二输入图像提供给所述生成网络，以分别生成基于第一输入图像的第一输出图像和基于第二输入图像的第二输出图像；其中，第一输入图像包括所述低分辨率样本图像和第一幅度的噪声样本所对应的第一噪声图像；所述第二输入图像包括所述低分辨率样本图像和第二幅度的噪声样本所对应的第二噪声图像；所述第一幅度大于0，所述第二幅度等于0；
分别将所述第一输出图像和所述高分辨率样本图像提供给鉴别网络，所述鉴别网络输出基于所述第一输出图像的第一鉴别结果和基于所述高分辨率样本图像的第二鉴别结果；
调整所述生成网络的参数以减小生成网络的损失函数；其中，所述生成网络的损失函数包括第一项、第二项和第三项的叠加，所述第一项基于所述第二输出图像和所述高分辨率样本图像之间的重构误差；所述第二项基于所述第一输出图像与所述高分辨率样本图像之间的感知误差；所述第三项基于所述第一鉴别结果和第二鉴别结果。
2.根据权利要求1所述的训练方法，其特征在于，根据所述第二输出图像与所述高分辨率样本图像的差值图像矩阵的L1泛数、所述第二输出图像与所述高分辨率样本图像之间的均方误差、所述第二输出图像与所述高分辨率样本图像之间的结构相似性中的任意一者确定所述第二输出图像和所述高分辨率样本图像之间的重构误差。
3.根据权利要求1所述的训练方法，其特征在于，所述第一输出图像和所述第二输出图像均由所述生成网络通过分辨率提升步骤的迭代处理生成；所述生成网络的损失函数的第一项为λ1Lrec(X，Yn＝0)，其中：
其中，X为所述高分辨率样本图像；Yn＝0为所述第二输出图像；
Lrec(X，Yn＝0)为所述第二输出图像与所述高分辨率样本图像之间的重构误差；
L为所述迭代处理中分辨率提升步骤的总次数；L≥1；为所述生成网络基于所述第二输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与分辨率相同的图像；
E[]为对矩阵能量的计算；
λ1为预设的权值。
4.根据权利要求3所述的训练方法，其特征在于，所述生成网络的损失函数的第二项为λ2Lper(X，Yn＝1)，其中：
其中，Yn＝1为所述第一输出图像；Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
为所述生成网络基于所述第一输入图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
λ2为预设的权值。
5.根据权利要求4所述的训练方法，其特征在于，所述生成网络的损失函数的第三项为λ3LGAN(Yn＝1)，其中，
其中，为所述生成网络基于所述第一输入图像进行迭代处理时生成图像组，该图像组包括各次分辨率提升步骤结束时生成的图像；
HR1，2，...L为对高分辨率样本图像进行下采样后得到的与中各个图像的分辨率一一对应相同的图像；
为所述第一鉴别结果；D(HR1，2，...L)为所述第二鉴别结果；
λ3为预设的权值。
6.根据权利要求5所述的训练方法，其特征在于，λ1∶λ2∶λ3＝10∶0.1∶0.001。
7.根据权利要求1所述的训练方法，其特征在于，所述噪声样本为随机噪声。
8.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括鉴别网络训练步骤，该鉴别网络训练步骤包括：将所述第一输出图像和所述高分辨率样本图像分别提供给所述鉴别网络，使所述鉴别网络分别输出基于所述第一输出图像的鉴别结果和基于所述高分辨率样本图像的鉴别结果；并通过调整所述鉴别网络的参数，以减小所述鉴别网络的损失函数；
所述鉴别网络训练步骤与所述生成网络训练步骤交替进行，直至达到预设训练条件。
9.根据权利要求8所述的训练方法，其特征在于，所述第一输出图像和所述第二输出图像均由所述生成网络通过分辨率提升步骤的迭代处理生成，所述迭代处理中分辨率提升步骤的总次数为L；当L大于1时，
所述生成网络基于第一输入图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升，生成网络均生成一个中间图像；
在所述鉴别网络训练步骤中，将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一输入图像生成的各个中间图像提供给生成网络；将所述高分辨率样本图像提供给所述鉴别网络的同时，还将对所述高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给所述鉴别网络。
10.一种利用如权利要求1至9中任意一项的训练方法得到的生成对抗网络中的生成网络的图像处理方法，其特征在于，所述图像处理方法用于提升图像的分辨率，所述图像处理方法包括：
将输入图像和参考噪声所对应的噪声图像提供给所述生成网络，以使所述生成网络生成基于所述输入图像的高分辨率图像。
11.根据权利要求10所述的图像处理方法，其特征在于，其中，所述参考噪声的幅度在0到所述第一幅度之间。
12.根据权利要求10所述的图像处理方法，其特征在于，所述参考噪声为随机噪声。
13.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现权利要求1至9中任意一项所述的训练方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任意一项所述的训练方法。
CN201811155930.9A 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质 Active CN109345456B (zh)

Priority Applications (22)

Application Number Priority Date Filing Date Title
CN201811155930.9A CN109345456B (zh) 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质
EP19850782.4A EP3857447A4 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
JP2020529196A JP7415251B2 (ja) 2018-09-30 2019-04-23 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
MX2020013580A MX2020013580A (es) 2018-09-30 2019-04-23 Aparato y metodo para procesamiento de imagenes y sistema para entrenamiento de red neuronal.
KR1020207037174A KR102661434B1 (ko) 2018-09-30 2019-04-23 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템
PCT/CN2019/083872 WO2020062846A1 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
US16/604,410 US11615505B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
BR112020022560-6A BR112020022560A2 (pt) 2018-09-30 2019-04-23 aparelho e método para processamento de imagens e sistema para rede neural de treinamento
RU2020136214A RU2762144C1 (ru) 2018-09-30 2019-04-23 Устройство и способ для обработки изображения и система для обучения нейроной сети
AU2019350918A AU2019350918B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
US16/614,558 US11348005B2 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
JP2020528242A JP7463643B2 (ja) 2018-09-30 2019-06-20 画像処理用の装置、方法及びコンピュータ読み取り可能媒体、並びにニューラルネットワークトレーニングシステム
US16/614,547 US11361222B2 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
EP19850805.3A EP3857504A4 (en) 2018-09-30 2019-06-20 APPARATUS, METHOD AND COMPUTER READABLE MEDIUM FOR IMAGE PROCESSING, AND NETWORK TRAINING SYSTEM
PCT/CN2019/092113 WO2020062958A1 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
PCT/CN2019/092042 WO2020062957A1 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
EP19850757.6A EP3857503A4 (en) 2018-09-30 2019-06-20 SYSTEM, METHOD AND COMPUTER READABLE MEDIA FOR IMAGE CLASSIFICATION
JP2020528931A JP7446997B2 (ja) 2018-09-30 2019-09-25 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
PCT/CN2019/107761 WO2020063648A1 (zh) 2018-09-30 2019-09-25 生成对抗网络训练方法、图像处理方法、设备及存储介质
US16/759,669 US11449751B2 (en) 2018-09-30 2019-09-25 Training method for generative adversarial network, image processing method, device and storage medium
KR1020207014462A KR102389173B1 (ko) 2018-09-30 2019-09-25 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
EP19864756.2A EP3859655A4 (en) 2018-09-30 2019-09-25 TRAINING METHOD, IMAGE PROCESSING METHOD, DEVICE AND STORAGE MEDIUM FOR GENERATIVE ADVERSARY NETWORK

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155930.9A CN109345456B (zh) 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109345456A true CN109345456A (zh) 2019-02-15
CN109345456B CN109345456B (zh) 2021-01-19

Family

ID=65307974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155930.9A Active CN109345456B (zh) 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109345456B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 图像处理的方法、装置、设备和存储介质
CN110163829A (zh) * 2019-04-19 2019-08-23 北京沃东天骏信息技术有限公司 图像生成方法、装置和计算机可读存储介质
CN110276399A (zh) * 2019-06-24 2019-09-24 厦门美图之家科技有限公司 图像转换网络训练方法、装置、计算机设备及存储介质
WO2020062957A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
CN111104967A (zh) * 2019-12-02 2020-05-05 精锐视觉智能科技(上海)有限公司 图像识别网络训练方法、图像识别方法、装置及终端设备
CN111612703A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于生成对抗网络的图像盲去模糊方法
CN111724292A (zh) * 2019-03-19 2020-09-29 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN111882556A (zh) * 2020-08-11 2020-11-03 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN112529161A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 生成对抗网络训练方法、生成对抗网络、人脸图像翻译方法和装置
WO2022227765A1 (zh) * 2021-04-29 2022-11-03 北京百度网讯科技有限公司 生成图像修复模型的方法、设备、介质及程序产品
WO2023093828A1 (zh) * 2021-11-25 2023-06-01 北京字跳网络技术有限公司 基于gan网络的超分图像处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089046A1 (en) * 2001-04-26 2002-11-07 Georgia Tech Research Corporation Video enhancement using multiple frame techniques
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN105144232A (zh) * 2014-03-25 2015-12-09 展讯通信（上海）有限公司 图像去噪方法和系统
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108154499A (zh) * 2017-12-08 2018-06-12 东华大学 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089046A1 (en) * 2001-04-26 2002-11-07 Georgia Tech Research Corporation Video enhancement using multiple frame techniques
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN105144232A (zh) * 2014-03-25 2015-12-09 展讯通信（上海）有限公司 图像去噪方法和系统
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108154499A (zh) * 2017-12-08 2018-06-12 东华大学 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周乐: "基于对抗生成网络的反射去除算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062957A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
WO2020063648A1 (zh) * 2018-09-30 2020-04-02 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
US11361222B2 (en) 2018-09-30 2022-06-14 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
US11449751B2 (en) 2018-09-30 2022-09-20 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
CN111724292A (zh) * 2019-03-19 2020-09-29 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN111724292B (zh) * 2019-03-19 2024-04-05 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN110163829A (zh) * 2019-04-19 2019-08-23 北京沃东天骏信息技术有限公司 图像生成方法、装置和计算机可读存储介质
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 图像处理的方法、装置、设备和存储介质
CN110276399A (zh) * 2019-06-24 2019-09-24 厦门美图之家科技有限公司 图像转换网络训练方法、装置、计算机设备及存储介质
CN111104967B (zh) * 2019-12-02 2023-12-22 精锐视觉智能科技(上海)有限公司 图像识别网络训练方法、图像识别方法、装置及终端设备
CN111104967A (zh) * 2019-12-02 2020-05-05 精锐视觉智能科技(上海)有限公司 图像识别网络训练方法、图像识别方法、装置及终端设备
CN111612703A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于生成对抗网络的图像盲去模糊方法
CN111882556A (zh) * 2020-08-11 2020-11-03 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN111882556B (zh) * 2020-08-11 2023-11-21 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN112529161A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 生成对抗网络训练方法、生成对抗网络、人脸图像翻译方法和装置
WO2022227765A1 (zh) * 2021-04-29 2022-11-03 北京百度网讯科技有限公司 生成图像修复模型的方法、设备、介质及程序产品
WO2023093828A1 (zh) * 2021-11-25 2023-06-01 北京字跳网络技术有限公司 基于gan网络的超分图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109345456B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109345456A (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
US11449751B2 (en) Training method for generative adversarial network, image processing method, device and storage medium
CN109360151A (zh) 图像处理方法及系统、分辨率提升方法、可读存储介质
CN109146784B (zh) 一种基于多尺度生成对抗网络的图像超分辨率重建方法
US20150363634A1 (en) Face Hallucination Using Convolutional Neural Networks
JP4933186B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
KR102169242B1 (ko) 초해상도 영상 복원을 위한 기계 학습 방법
CN108846319A (zh) 基于直方图的虹膜图像增强方法、装置、设备及存储介质
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
WO2015180042A1 (en) Learning deep face representation
US8605118B2 (en) Matrix generation apparatus, method, and program, and information processing apparatus
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
US11302094B2 (en) System and method for segmenting normal organ and/or tumor structure based on artificial intelligence for radiation treatment planning
CN112668519A (zh) 基于MCCAE网络和Deep SVDD网络的异常人脸识别活体检测方法及系统
JPWO2008133235A1 (ja) ２次元パターンのマッチング方法、特徴抽出方法、これらに用いる装置及びプログラム
CN108629262A (zh) 虹膜识别方法及相应装置
CN113570508A (zh) 图像修复方法及装置、存储介质、终端
CN111127316A (zh) 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN109345455A (zh) 图像鉴别方法、鉴别器和计算机可读存储介质
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
CN108550114B (zh) 一种多尺度空间约束的人脸超分辨率处理方法及系统
Ghouse et al. A residual diffusion model for high perceptual quality codec augmentation
Ribeiro et al. Exploring texture transfer learning via convolutional neural networks for iris super resolution
Chen et al. An evolutionary game-theoretic approach for image interpolation
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant