CN111882556B - 一种对抗网络的训练方法、装置和图像处理方法 - Google Patents

一种对抗网络的训练方法、装置和图像处理方法 Download PDF

Info

Publication number
CN111882556B
CN111882556B CN202010803096.0A CN202010803096A CN111882556B CN 111882556 B CN111882556 B CN 111882556B CN 202010803096 A CN202010803096 A CN 202010803096A CN 111882556 B CN111882556 B CN 111882556B
Authority
CN
China
Prior art keywords
resolution
image
loss function
sample image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010803096.0A
Other languages
English (en)
Other versions
CN111882556A (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010803096.0A priority Critical patent/CN111882556B/zh
Publication of CN111882556A publication Critical patent/CN111882556A/zh
Application granted granted Critical
Publication of CN111882556B publication Critical patent/CN111882556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请公开了一种对抗网络的训练方法、装置和图像处理方法，所述方法包括获取高分辨率样本图像；对所述高分辨率样本图像下采样形成低分辨率样本图像；获得与所述低分辨率样本图像对应的高分辨率预测图像；将所述高分辨率样本图像和所述高分辨率预测图像分别采用同样方式处理，分别获得高分辨率中间样本图像集以及高分辨率中间预测图像集；基于高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；基于高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。

Description

一种对抗网络的训练方法、装置和图像处理方法
技术领域
本申请涉及图像处理技术领域，特别是涉及一种对抗网络的训练方法、装置和图像处理方法。
背景技术
现在的智能手机变得越来越像一个智能相机。手机拍照画质是我们选购手机的时候最重要的考虑因素。数字变焦技术在光学变焦的基础上，可以实现连续变焦和超大倍率变焦。数字变焦的核心算法，是超分辨率算法。。
基于深度学习的超分算法，相比于传统超分算法(例如，字典学习等)在图像清晰度方面已经有很大的提升。基于深度学习的超分算法常用的loss(损失)函数有3种，像素空间的L1/L2-Loss，特征空间的感知loss，和生成对抗loss。
其中生成对抗loss效果更好，使用较为普遍，但是生成对抗loss都是在全图上施加的，这导致鉴别器无法关注到图像的高频细节，生成的细节容易失真。
发明内容
鉴于现有技术中具有的上述缺陷或不足，本申请提供了一种能够解决上述至少一个问题的一种对抗网络的训练方法，所述方法包括
获取高分辨率样本图像；
对所述高分辨率样本图像下采样形成低分辨率样本图像；
将所述低分辨率样本图像输入对抗网络的生成器，获得与所述低分辨率样本图像对应的高分辨率预测图像；
将所述高分辨率样本图像和所述高分辨率预测图像分别采用同样方式处理，分别获得高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像；
基于高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
基于高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
在一个实施在一个实施例中，例中，所述第一损失函数分量为绝对损失函数或均方差损失函数。
在一个实施例中，所述第二损失函数分量为：局部损失函数；或者
缩放损失函数；或者
局部损失函数与缩放损失函数的加权组合。
在一个实施例中，所述高分辨率中间样本图像集和高分辨率中间预测图像集分别为通过将所述高分辨率样本图像和高分辨率预测图像分块的方式形成。
在一个实施例中，分块形成的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
在一个实施例中，当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像的分辨率小于其他图像的分辨率时，通过补零的方式使得图像集中所有图像的分辨率相同。
在一个实施例中，所述高分辨率中间样本图像集和高分辨率中间预测图像集分别为将所述高分辨率样本图像和高分辨率预测图像分别采用多个缩放比例缩放得到。
在一个实施例中，所述缩放通过下采样的方式实现。
在一个实施例中，所述局部损失函数为分块形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值；
所述缩放损失函数为采用多个缩放比例形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值。
本申请还提供一种图像处理方法，其采用上述任一方案所述的训练方法训练的对抗网络对图像进行处理。
本申请还提供一种对抗网络的训练装置，所述装置包括：
获取模块，用于获取高分辨率样本图像；
采样模块，用于对所述高分辨样本图像下采样形成低分辨率样本图像；
生成模块，用于通过对抗网络的生成器获得与低分辨率样本图像对应的高分辨率预测图像；
图像拆分模块，用于将所述高分辨率样本图像和高分辨率预测图像分别采用同样方式处理形成高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像；
第一损失函数分量计算模块，用于根据高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
第二损失函数分类计数模块，用于根据高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
训练模块，用于将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
在一个实施例中，所述第一损失函数分量为绝对损失函数或均方差损失函数。
在一个实施例中，所述第二损失函数分量为：局部损失函数；或者
缩放损失函数；或者
局部损失函数与缩放损失函数的加权组合。
在一个实施例中，所述图像拆分模块采用同样的分块方式将所述高分辨率样本图像和高分辨率预测图像处理形成所述高分辨率中间样本图像集和高分辨率中间预测图像集。
在一个实施例中，分块形成的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
在一个实施例中，当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像的分辨率小于其他图像的分辨率时，所述图像拆分模块通过补零的方式使得图像集中所有图像的分辨率相同。
在一个实施例中，所述图像拆分模块采用多个缩放比例对所述高分辨率样本图像和高分辨率预测图像分别处理得到所述高分辨率中间样本图像集和高分辨率中间预测图像集。
在一个实施例中，所述缩放通过下采样的方式实现。
在一个实施例中，所述局部损失函数为分块形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值；
所述缩放损失函数为采用多个缩放比例形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值。
本申请还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
采用本申请的方案，采用局部施加的生成对抗损失，这样的网络就会更加关注图像的高频细节，高频细节也更加自然真实。而且对局部图像上得到的评分，以卷积的方式相加求和，就能得到全图的评分。并且绝对损失函数或均方差损失函数和分块或者不同缩放图像生成对抗损失结合在一起，就能得到一个更好的超分损失，训练得到的图像细节也更真实饱满。并且，采用缩放方式，可以让网络对不同尺度频率的图像细节都能关注到，进一步增加了对于不同频率的图像细节的支持能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请对抗网络训练方法流程图；
图2为本申请对抗网络训练装置结构图；
图3为本申请电子设备结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1所示，本申请的一种对抗网络的训练方法，所述方法包括：
获取高分辨率样本图像；
对所述高分辨率样本图像下采样形成低分辨率样本图像；
将所述低分辨率样本图像输入对抗网络的生成器，获得与所述低分辨率样本图像对应的高分辨率预测图像；
将所述高分辨率样本图像和所述高分辨率预测图像分别采用同样方式处理，分别获得高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像。
基于高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
基于高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
本申请的方案，采用局部施加的生成对抗损失，这样的网络就会更加关注图像的高频细节，高频细节也更加自然真实。而且对局部图像上得到的评分，以卷积的方式相加求和，就能得到全图的评分。
并且绝对损失函数或均方差损失函数关注的是低频图像细节，分块或者不同缩放图像生成对抗损失关注的是高频图像细节，两个损失结合在一起，就能得到一个更好的超分损失，训练得到的图像细节也更真实饱满。
在一个实施例中，所述第一损失函数分量为绝对损失函数或均方差损失函数。
在一个实施例中，所述第二损失函数分量为：局部损失函数；或者缩放损失函数；或者局部损失函数与缩放损失函数的加权组合。
在一个实施例中，所述高分辨率中间样本图像集和高分辨率中间预测图像集分别为通过将所述高分辨率样本图像和高分辨率预测图像分块的方式形成。
在一个实施例中，分块形成的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
在一个实施例中，当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像(例如边缘部分图像)的分辨率小于其它图像(例如中间部分图像)的分辨率时，通过对图像补零的方式使得图像集所有中间图像分辨率相同。例如分辨率为3000×3000的图像，分块生成为512×512的中间图像时，形成6×6的矩阵排列，而第6行和第6列的中间图像分辨率不够512×512(分辨率分别为430×512或512×430或430×430)，则对其进行补零操作，使其均达到512×512的分辨率。当然，上述在图像集中出现的是边缘图像分辨率小于其他图像的情况，只是一种分块方式下的可能，其他情况下，也可以是图像集中间某一部分的图像分辨率小于其他图像的分辨率。
在一个实施例中，将所述第一损失函数分量和第二损失函数分量进行加权相加中，所述第一损失函数分量和第二损失函数分量的权重均为0.5。
在一个实施例中，所述高分辨率中间样本图像集和高分辨率中间预测图像集分别为将所述源图像和高分辨率预测图像分别采用多个缩放比例缩放得到。采用这样的方案，可以让网络对不同尺度频率的图像细节都能关注到，进一步增加了对于不同频率的图像细节的支持能力。例如，将分辨率为3000×3000，分别缩放形成2000×2000、1000×1000、800×800、500×500等等。
在一个实施例中，所述缩放通过下采样的方式实现。
在一个实施例中，该生成器具体可通过卷积神经网络结构构成。该卷积神经网络结构具体可通过U-net(Convolutional Networks for Biomedical Image Segmentation，一种图像处理网络)网络结构、VGG(Visual Geometry Group Network，一种图像处理网络)或ResNet(ResidualNeuralNetwork，残差网络)等网络结构来实现，本申请实施例对此不做限定。鉴别器可通过多层的卷积神经网络实现。对于所述生成器和鉴别器参数的调整亦是本领域的公知技术。
计算机设备可预先通过训练样本训练生成对抗网络，得到训练好的生成对抗网络。关于生成对抗网络的训练过程等属于本领域的公知技术，不是本申请的重点，因此在本申请中不再赘述。
在一个实施例中，高分辨率采样图像(GroundTruth)用g表示，低分辨率采样图像用x表示，生成器输出的高分辨率预测图像用y表示；则第一损失函数分量为：
绝对损失函数L1 Loss＝|g-y|
均方差损失函数L2 Loss＝|g-y|2
把高分辨率采样图像g分块，得到高分辨率中间样本图像集{g_i},i＝1-n，n为分块数量；
把高分辨率目标图像y分块，得到高分辨率中间预测图像集{y_i},i＝1-n，n为分块数量，其中高分辨率采样图像g和高分辨率预测图像y的分块方式相同；因此，{g_i}和{y_i}为对应的中间图像；
把{g_i}和{y_i}送入鉴别器D，鉴别器输出的是0-1之间的某一概率，则：
第二损失函数分量即图像的局部损失函数AdverLoss为所有中间图像的损失的平均值，具体为：
其中，D(gi)、D(yi)各表示中间图像在鉴别器D中处理后的数据，log(D(gi))+log(1-D(yi))表示一幅中间图像的鉴别结果。
把L1 Loss或L2 Loss和局部损失函数AdverLoss做加权求和，就可以得到最终的总损失函数Loss如下
Loss＝w1*L1Loss+w2*AdverLoss或者
Loss＝w1*L2Loss+w2*AdverLoss
其中,w1和w2表示权重系数，
0<w1<1,0<w2<1,且w1+w2＝1。
在一个优选的方案中，w1＝w2＝0.5。
在一个实施例中，所述局部损失函数AdverLoss为每一中间图像的损失的求和，此时，在与第一损失函数分量加权求和时，权重系数w2则应除以图像集图像数量n。
通过调整生成器和鉴别器的参数，可以调整最终Loss的值，使其达到最小即可。
在另一个实施例中，将所述把高分辨率采样图像g通过下采样方式，形成多个不同分辨率的中间图像，例如，将1024×1024的高分辨率图像，分别形成512×512、256×256、128×128等，或者其他不限分辨率，例如，300×300、200×200等，构成序列{g_resize_i},i＝1-n,n为生成的不同分辨率中间图像的数量。
把所述高分辨率预测图像y通过同样的方式形成多个不同分辨率的中间图像，构成序列{y_resize_i},i＝1-n,n为生成的不同分辨率中间图像的数量。其中g_resize_i与y_resize_i一一对应。
把{g_resize_i}和{y_resize_i}送入鉴别器D，则：
第二损失函数分量即图像的缩放损失函数为所有中间图像的损失的平均，具体为：
其中，D(g_reiszei)、D(yiy_resizei)各表示中间图像在鉴别器D中处理后的数据，log(D(gi))+log(1-D(yi))表示一幅高分辨率样本图像的中间图像与对应的预测图像的中间图像的鉴别器输出结果。
把L1 Loss或L2 Loss和缩放损失函数AdverResizeLoss做加权求和，就可以得到最终的总损失函数Loss如下
Loss＝w1*L1Loss+w3*AdverResizeLoss或者
Loss＝w1*L2Loss+w3*AdverResizeLoss
其中,w1和w3表示权重系数，
0<w1<1,0<w3<1,且w1+w3＝1。
在一个优选的方案中，w1＝w3＝0.5
通过调整生成器和鉴别器的参数，可以调整最终总损失函数Loss的值，使其达到最小即可。
在一个实施例中，所述缩放损失函数AdverResizeLoss为所有中间图像的损失的求和，此时，在与第一损失函数分量加权求和时，权重系数w3则应除以图像集图像数量n。
在一个实施例中，分别采用上述两种方式对高分辨率采样图像和高分辨率预测图像进行处理，进而得到图像的局部损失函数AdverLoss和缩放损失函数AdverResizeLoss。此时，第二损失函数分量为所述局部损失函数AdverLoss和缩放损失函数AdverResizeLoss的加权求和。
如此，总损失函数Loss为L1 Loss或L2 Loss与局部损失函数AdverLoss和缩放损失函数AdverResizeLoss的加权求和，
具体为：
Loss＝w1*L1Loss+w2*AdverLoss+w3*AdverResizeLoss
或
Loss＝w1*L1Loss+w2*AdverLoss+w3*AdverResizeLoss
其中，0<w1<1,0<w2<1，0<w3<1，w1+w2+w3＝1。
例如：w1＝0.4；w2＝0.3；w3＝0.3。
同理，在一个实施例中，当局部损失函数AdverLoss和/或缩放损失函数AdverResizeLoss为所有图像集图像损失的求和时，所述加权系数w2和/或w3要相应的除以图像集图像数量n。
采用这样的方案，对于不同频率的图像细节考虑的更加周全，最终形成的图像高频细节也更加自然真实。
本申请还提供一种图像处理方法，其中，采用上述任一方法所训练的对抗网络来处理图像。
如图2所示，本申请还提供一种对抗网络的训练装置，所述装置包括：
获取模块，用于获取高分辨率采样图像；
采样模块，用于对采样图像下采样形成低分辨率样本图像；
生成模块，用于通过对抗网络的生成器获得与低分辨率样本图像对应的高分辨率预测图像；
图像拆分模块，用于将所述高分辨率样本图像和高分辨率预测图像分别采用同样方式处理形成高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像；
第一损失函数分量计算模块，用于根据高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
第二损失函数分类计数模块，用于根据高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
训练模块，用于将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
在一个实施例中，所述第一损失函数分量为绝对损失函数或均方差损失函数。
在一个实施例中，所述第二损失函数分量为：
局部损失函数；或者
缩放损失函数；或者
局部损失函数与缩放损失函数的加权组合。
在一个实施例中，所述图像拆分模块采用同样的分块方式将所述高分辨率采样图像和高分辨率预测图像处理形成所述高分辨率中间样本图像集和高分辨率中间预测图像集。
在一个实施例中，所述图像拆分模块将拆分获得的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
在一个实施例中，当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像的分辨率小于其他图像的分辨率时，所述图像拆分模块通过补零的方式使得图像集中所有图像的分辨率相同。
在一个实施例中，将所述第一损失函数分量和第二损失函数分量进行加权相加中，所述第一损失函数分量和第二损失函数分量的权重均为0.5。
在一个实施例中，所述图像拆分模块采用多个缩放比例对所述采样图像和高分辨率预测图像分别处理得到所述高分辨率中间样本图像集和高分辨率中间预测图像集。
在一个实施例中，所述图像拆分模块通过下采样的方式实现所述缩放。
在一个实施例中，所述局部损失函数为分块形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值；
所述缩放损失函数为采用多个缩放比例形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值。
本申请还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一方案所述的方法。
下面参考图3，其示出了适于用来实现本申请实施例的装置的电子设备300的结构示意图。
如图3所示，电子设备300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过电路304彼此相连。输入/输出(I/O)接口305也连接至电路304。
以下部件连接至I/O接口305：包括触摸屏输入部分306；包括诸如液晶显示面板(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如天线、调制解调器等的网络接口的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，上文参考流程图图1描述的方法和流程可以被实现为计算机软件程序。例如，本申请包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (21)

1.一种对抗网络的训练方法，其特征在于,所述方法包括
获取高分辨率样本图像；
对所述高分辨率样本图像下采样形成低分辨率样本图像；
将所述低分辨率样本图像输入对抗网络的生成器，获得与所述低分辨率样本图像对应的高分辨率预测图像；
将所述高分辨率样本图像和所述高分辨率预测图像分别采用同样方式处理，分别获得高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像；
基于高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
基于高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
2.根据权利要求1所述的训练方法，其特征在于,所述第一损失函数分量为绝对损失函数或均方差损失函数。
3.根据权利要求1所述的训练方法，其特征在于,所述第二损失函数分量为：局部损失函数；或者
缩放损失函数；或者
局部损失函数与缩放损失函数的加权组合。
4.根据权利要求1-3任一项所述的训练方法，其特征在于,所述高分辨率中间样本图像集和高分辨率中间预测图像集分别为通过将所述高分辨率样本图像和高分辨率预测图像分块的方式形成。
5.根据权利要求4所述的训练方法，其特征在于,分块形成的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
6.根据权利要求5所述的训练方法，其特征在于,当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像的分辨率小于其他图像的分辨率时，通过补零的方式使得图像集中所有图像的分辨率相同。
7.根据权利要求1-3任一项所述的训练方法，其特征在于,所述高分辨率中间样本图像集和高分辨率中间预测图像集为将所述高分辨率样本图像和高分辨率预测图像分别采用多个缩放比例缩放得到。
8.根据权利要求7所述的训练方法，其特征在于,所述缩放通过下采样的方式实现。
9.根据权利要求3所述的训练方法，其特征在于,所述局部损失函数为分块形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值；
所述缩放损失函数为采用多个缩放比例形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值。
10.一种图像处理方法，其特征在于：采用权利要求1-9任一项所述的训练方法训练的对抗网络对图像进行处理。
11.一种对抗网络的训练装置，其特征在于：所述装置包括：
获取模块，用于获取高分辨率样本图像；
采样模块，用于对所述高分辨样本图像下采样形成低分辨率样本图像；
生成模块，用于通过对抗网络的生成器获得与低分辨率样本图像对应的高分辨率预测图像；
图像拆分模块，用于将所述高分辨率样本图像和高分辨率预测图像分别采用同样方式处理形成高分辨率中间样本图像集以及高分辨率中间预测图像集；其中，高分辨率中间样本图像集中的每一幅图像的尺寸小于等于高分辨率样本图像；高分辨率中间预测图像集中的每一幅图像的尺寸小于等于高分辨率预测图像；
第一损失函数分量计算模块，用于根据高分辨率样本图像和高分辨率预测图像，确定第一损失函数分量；
第二损失函数分类计数模块，用于根据高分辨率中间样本图像集以及高分辨率中间预测图像集，确定第二损失函数分量；
训练模块，用于将所述第一损失函数分量和第二损失函数分量进行加权相加，得到损失函数总量，并基于该损失函数总量，训练对抗网络。
12.根据权利要求11所述的一种对抗网络的训练装置，其特征在于：所述第一损失函数分量为绝对损失函数或均方差损失函数。
13.根据权利要求11所述的一种对抗网络的训练装置，其特征在于：所述第二损失函数分量为：局部损失函数；或者
缩放损失函数；或者
局部损失函数与缩放损失函数的加权组合。
14.根据权利要求11-13任一项所述的一种对抗网络的训练装置，其特征在于：所述图像拆分模块采用同样的分块方式将所述高分辨率样本图像和高分辨率预测图像处理形成所述高分辨率中间样本图像集和高分辨率中间预测图像集。
15.根据权利要求14所述的一种对抗网络的训练装置，其特征在于：分块形成的所述高分辨率中间样本图像集和高分辨率中间预测图像集中所有图像的分辨率相同。
16.根据权利要求15所述的一种对抗网络的训练装置，其特征在于：当高分辨率中间样本图像集、高分辨率中间预测图像集出现部分图像的分辨率小于其他图像的分辨率时，所述图像拆分模块通过补零的方式使得图像集中所有图像的分辨率相同。
17.根据权利要求11-13任一项所述的一种对抗网络的训练装置，其特征在于：所述图像拆分模块采用多个缩放比例对所述高分辨率样本图像和高分辨率预测图像分别处理得到所述高分辨率中间样本图像集和高分辨率中间预测图像集。
18.根据权利要求17所述的一种对抗网络的训练装置，其特征在于：所述缩放通过下采样的方式实现。
19.根据权利要求13所述的一种对抗网络的训练装置，其特征在于：
所述局部损失函数为分块形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值；
所述缩放损失函数为采用多个缩放比例形成的高分辨率中间样本图像集以及高分辨率中间预测图像集中每一幅图像的损失的求和或取平均值。
20.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9中任一项所述的方法。
21.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法。
CN202010803096.0A 2020-08-11 2020-08-11 一种对抗网络的训练方法、装置和图像处理方法 Active CN111882556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803096.0A CN111882556B (zh) 2020-08-11 2020-08-11 一种对抗网络的训练方法、装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803096.0A CN111882556B (zh) 2020-08-11 2020-08-11 一种对抗网络的训练方法、装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN111882556A CN111882556A (zh) 2020-11-03
CN111882556B true CN111882556B (zh) 2023-11-21

Family

ID=73203465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803096.0A Active CN111882556B (zh) 2020-08-11 2020-08-11 一种对抗网络的训练方法、装置和图像处理方法

Country Status (1)

Country Link
CN (1) CN111882556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313633A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 超分网络模型的训练方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345456A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
WO2020102812A1 (en) * 2018-11-16 2020-05-22 Google Llc Generating super-resolution images using neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345456A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
WO2020102812A1 (en) * 2018-11-16 2020-05-22 Google Llc Generating super-resolution images using neural networks
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的单帧图像超分辨算法;王延年;李文婷;任劼;;国外电子测量技术(01);全文 *
基于生成对抗网络的单帧红外图像超分辨算法;邵保泰;汤心溢;金璐;李争;;红外与毫米波学报(04);全文 *

Also Published As

Publication number Publication date
CN111882556A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN110929780B (zh) 视频分类模型构建、视频分类的方法、装置、设备及介质
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
EP3526765B1 (en) Iterative multiscale image generation using neural networks
CN111275721B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN113177888A (zh) 超分修复网络模型生成方法、图像超分修复方法及装置
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
CN112911341B (zh) 图像处理方法、解码器网络训练方法、装置、设备和介质
CN112183492A (zh) 一种人脸模型精度矫正方法、装置及存储介质
CN114078201B (zh) 多目标类别对抗样本生成方法及相关设备
CN112270200A (zh) 一种文本信息的翻译方法、装置、电子设备和存储介质
CN111882556B (zh) 一种对抗网络的训练方法、装置和图像处理方法
CN113221718A (zh) 公式识别方法、装置、存储介质和电子设备
CN108665498B (zh) 图像处理方法、装置、电子设备和存储介质
CN118042246A (zh) 视频生成方法、装置、电子设备及可读存储介质
CN113837965A (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN117671254A (zh) 一种图像分割方法及装置
CN116485743A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN114972021A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114418835A (zh) 图像处理方法、装置、设备及介质
CN113362249A (zh) 文字图像合成方法、装置、计算机设备及存储介质
CN113592723A (zh) 视频增强方法及装置、电子设备、存储介质
CN111798385A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN110222746A (zh) 训练分类器的方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant