CN110322418A - 一种超分辨率图像生成对抗网络的训练方法及装置 - Google Patents
一种超分辨率图像生成对抗网络的训练方法及装置 Download PDFInfo
- Publication number
- CN110322418A CN110322418A CN201910623138.XA CN201910623138A CN110322418A CN 110322418 A CN110322418 A CN 110322418A CN 201910623138 A CN201910623138 A CN 201910623138A CN 110322418 A CN110322418 A CN 110322418A
- Authority
- CN
- China
- Prior art keywords
- super
- training
- resolution image
- loss
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006735 deficit Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请提供了一种超分辨率图像生成对抗网络的训练方法及装置，所述超分辨率图像生成对抗网络包括生成模型和损失计算模型，所述损失计算模型包括判别单元和分类单元，该方法包括：将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像；将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失；根据所述超分辨率图像的总损失，对所述超分辨率图像生成对抗网络进行训练。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种超分辨率图像生成对抗网络的训练方法及装置。
背景技术
遥感图像的超分辨率重建技术是利用单个或多个低分辨率、低质量的遥感图像来产生单幅高质量、高分辨率的遥感图像。通常所使用的术语“超分辨率图像重建”表示用于该种分辨率增强的信号处理方法，超分辨率重建技术可以提高图像的识别能力和识别精度，实现对目标物的深度分析，从而可以获取用户感兴趣区域内更高空间分辨率的图像，因此不需要直接采用数据量庞大的高分辨率图像采集装置。在遥感图像领域，利用高分辨率卫星图像可以更为容易地将图像区域内的目标对象进行分类操作以及应用其他数字图像处理技术，从而有效地提取用户所期望获取的数据信息。
现有技术中，超分辨率重建算法模型很少针对于遥感图像，以SRGAN(Super-Resolution Generative Adversarial Network，超分辨率生成对抗网络)为代表的最前沿的超分辨率图像生成算法基本是以一般通用图像为研究对象，这类模型由于具有普适性，没有考虑特殊的遥感图像所具有的特性以及其应用价值。
在遥感图像数字处理领域，分类是最重要的研究方向之一。对遥感图像应用超分辨率图像生成算法不仅是为了通过现有的低分辨率图像获取具有高分辨率、高质量的图像，而是为了能够进一步应用其他技术。而目前的超分辨率图像生成算法在进行训练阶段没有考虑其他方面的优化可能。
发明内容
有鉴于此，本申请的目的在于提供一种超分辨率图像生成对抗网络的训练方法及装置，用于解决现有技术中超分辨率图像生成算法不具备分类优化的问题。可以提高超分辨率图像生成算法的分类精度，从而降低超分辨率图像生成算法的图像损失。
第一方面，本申请实施例提供了一种超分辨率图像生成对抗网络的训练方法，所述超分辨率图像生成对抗网络包括生成模型和损失计算模型，所述损失计算模型包括判别单元和分类单元，该方法包括：
将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像；
将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失；
根据所述超分辨率图像的总损失，对所述超分辨率图像生成对抗网络进行训练。
根据第一方面，本申请实施例提供了第一方面的第一种可能的实施方案，其中，所述将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失，包括：
所述损失计算模型根据如下公式计算所述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；所述最小均方误差损失、VGG损失和对抗损失由所述判别单元计算得到，所述分类损失由所述分类单元计算得到。
根据第一方面，本申请实施例提供了第一方面的第二种可能的实施方案，其中，在将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失之前，还包括：
将全类别图像集输入到所述分类单元，以使所述分类单元对所述全类别图像集中的图像进行分类，得到预训练分类结果；
判断所述预训练分类结果的分类正确率是否达到第一阈值，若所述预训练分类结果达到第一阈值，则结束所述分类单元的预训练；
若否，则调整所述分类单元，重新进行所述分类单元的预训练。
根据第一方面，本申请实施例提供了第一方面的第三种可能的实施方案，其中，在将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像之前，还包括：
将白噪声图像集输入到所述生成模型，以使所述生成模型输出预训练生成图像，得到所述预训练生成图像与所述预训练生成图像对应的白噪声图像集中的图像的相似度；
判断所述相似度是否达到第二阈值，若所述相似度达到第二阈值，则结束所述生成模型的预训练；
若否，则调整所述生成模型，重新进行所述生成模型的预训练。
根据第一方面的第三种可能的实施方案，本申请实施例提供了第一方面的第四种可能的实施方案，其中，在根据所述预训练生成图像与所述预训练生成图像对应的白噪声图像集中的图像的相似度，对所述生成模型进行更新之后，还包括：
将对抗训练图像集中的低分辨率图像输入到所述生成模型，以使所述生成模型输出预训练超分辨率图像；
将所述预训练超分辨率图像输入到所述判别单元中，以使判别单元将所述预训练超分辨率图像与所述对抗训练图像集中对应的高分辨率图像进行比对，得到预训练最小均方误差损失、预训练VGG损失和预训练对抗损失；
判断是否预训练最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，若最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，则结束所述生成模型与所述判别单元的组合预训练；
若否，则调整所述生成模型和判别单元，重新进行所述生成模型与判别单元的组合预训练。
第二方面，本申请实施例提供了一种超分辨率图像生成对抗网络的训练装置，所述超分辨率图像生成对抗网络包括生成模型和损失计算模型，所述损失计算模型包括判别单元和分类单元，该装置包括：
生成模块，用于将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像；
计算模块，用于将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失；
训练模块，根据所述超分辨率图像的总损失，对所述超分辨率图像生成对抗网络进行训练。
根据第二方面，本申请实施例提供了第二方面的第一种可能的实施方案，其中，所述计算模块，包括：
所述损失计算模型根据如下公式计算所述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；所述最小均方误差损失、VGG损失和对抗损失由所述判别单元计算得到，所述分类损失由所述分类单元计算得到。
根据第二方面，本申请实施例提供了第二方面的第二种可能的实施方案，其中，在计算模块之前，还包括：
分类预训练模块，用于将全类别图像集输入到所述分类单元，以使所述分类单元对所述全类别图像集中的图像进行分类，得到预训练分类结果；判断所述预训练分类结果的分类正确率是否达到第一阈值，若所述预训练分类结果达到第一阈值，则结束所述分类单元的预训练；若否，则调整所述分类单元，重新进行所述分类单元的预训练。
第三方面，本申请实施例提供了一种计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其可能的实施方案中任一种方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面及其可能的实施方案中任一种方法的步骤。
本申请实施例提出的超分辨率图像生成对抗网络的训练方法及装置，通过在超分辨率图像生成对抗网络中添加分类单元，将超分辨率图像的分类损失作为超分辨率图像生成对抗网络训练的总损失的一部分，来进行该对抗网络的训练。本申请实施例所提出的超分辨率图像生成对抗网络的训练方法及装置通过添加分类单元，提高了超分辨率图像生成的分类精度，从而降低超分辨率图像生成算法的图像损失。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种超分辨率图像生成对抗网络的结构示意图；
图2为本申请实施例提供的一种超分辨率图像生成对抗网络的训练方法的流程示意图；
图3为本申请实施例提供的一种超分辨率图像生成对抗网络的训练装置的结构示意图；
图4为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种超分辨率图像生成对抗网络的训练方法，上述超分辨率图像生成对抗网络如图1所示包括生成模型和损失计算模型，上述损失计算模型包括判别单元和分类单元，如图2所示，包括以下步骤S101-S103：
S101、将图像信息输入到上述生成模型，以使上述生成模型输出超分辨率图像。
具体地，将低分辨率遥感图像输入到上述生成模型中，生成模型根据低分辨率遥感图像的图像信息，进行超分辨率重构，得到该低分辨率遥感图像对应的超分辨率图像。
S102、将上述超分辨率图像输入到上述损失计算模型，以使上述损失计算模型计算上述超分辨率图像的总损失。
具体地，将上述超分辨率图像分别输入到判别单元和分类单元中，判别单元和分类单元分别计算出该超分辨率图像生成对抗网络的内容损失、对抗损失和分类损失，根据预设的超分辨率图像生成对抗网络训练的损失函数进行计算，得到该超分辨率图像在生成过程中的总损失。
S103、根据上述超分辨率图像的总损失，对上述超分辨率图像生成对抗网络进行训练。
具体地，根据上述超分辨率图像在生成过程中的总损失，对超分辨率图像生成对抗网络中的生成模块和判别模块进行调整，以减少该超分辨率图像生成对抗网络生成的上述低分辨率遥感图像类别的超分辨率图像的总损失，从而提高该超分辨率图像生成对抗网络的分类精度，进一步地，也就提高了该超分辨率图像生成网络的整体生成精度。
本申请实施例是在现有技术中的SRGAN网络中加入了分类器(分类单元)以使超分辨率图像生成对抗网络在训练时能够对某一类特殊图像(如遥感图像)的超分辨率重构的效果进行优化，从而提高该超分辨率图像生成对抗网络在对该类特殊图像的超分辨率重构的精度。
在一可选的实施例中，步骤S102，将上述超分辨率图像输入到上述损失计算模型，以使上述损失计算模型计算上述超分辨率图像的总损失，包括：
上述损失计算模型根据如下公式计算上述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；上述最小均方误差损失、VGG损失和对抗损失由上述判别单元计算得到，上述分类损失由上述分类单元计算得到。
具体地，在超分辨率图像分别输入到判别单元和分类单元中进行损失计算：判别单元将超分辨率图像与上述低分辨率遥感图像对应的高分辨率遥感图像进行图像比对，得到超分辨率图像的内容损失，以及判别单元与生成模块形成的对抗网络的对抗损失，内容损失包含了基于超分辨率图像最小均方误差的损失和基于VGG的损失；分类单元对超分辨率图像进行图像分类，并将得到的超分辨率图像的类别与上述低分辨率遥感图像中携带的标签中的类别进行比对，得到该超分辨率图像的分类正确率，以计算出该超分辨率图像的分类损失，也就是，分类正确率期望与上述分类正确率的差值，为了达到对该超分辨率图像生成对抗模型的最佳分类优化效果，上述分类正确率期望一般设为1。
αm、αv、αc、αg是预设的对于各个损失的权重，也可称为折扣系数，可根据实际需求进行预设。
在一可选的实施例中，步骤S102在将上述超分辨率图像输入到上述损失计算模型，以使上述损失计算模型计算上述超分辨率图像的总损失之前，还包括：
将全类别图像集输入到上述分类单元，以使上述分类单元对上述全类别图像集中的图像进行分类，得到预训练分类结果。
判断上述预训练分类结果的分类正确率是否达到第一阈值，若上述预训练分类结果达到第一阈值，则结束上述分类单元的预训练。
若否，则调整上述分类单元，重新进行上述分类单元的预训练。
具体地，在分类单元参与超分辨率图像生成对抗网络的训练之前，分类单元需要具备对生成模块将要进行超分辨率重构的图像进行分类的能力。因此，将包含所有类别的遥感图像的图像集输入到分类单元中，使得分类单元进行分类预训练，并根据分类单元对图像集中的每一副遥感图像进行分类，得到分类结果，并将分类结果与上述图像集中对应的遥感图像所携带的图像类别进行比对，得到分类单元的分类正确率，若分类正确率没有达到预设的第一阈值，则对分类单元进行调整并再次将上述图像集输入分类单元中进行分类，直到分类单元的分类正确率达到第一阈值，则说明分类单元已经具备对生成模块将要进行超分辨率重构的图像进行分类的能力，结束分类单元的预训练。
除了以分类单元的分类正确率达到第一阈值作为预训练结束的标志外，还可以根据用户的经验，训练一定的周期后，结束分类单元的预训练。
在一可选的实施例中，在步骤S101之前，还包括：
将白噪声图像集输入到上述生成模型，以使上述生成模型输出预训练生成图像，得到上述预训练生成图像与上述预训练生成图像对应的白噪声图像集中的图像的相似度。
判断上述相似度是否达到第二阈值，若上述相似度达到第二阈值，则结束上述生成模型的预训练。
若否，则调整上述生成模型，重新进行上述生成模型的预训练。
具体地，生成模型在进行超分辨率图像生成对抗模型的训练之前，需要具备一定的超分辨率图像生成能力，白噪声图像集中包含了多个随机的图像组，每一个图像组都包含低分辨率图像和对应的高分辨率图像。
将低分辨率图像输入到生成模型中，生成模型生成对应的超分辨率图像集，然后将该超分辨率图像集中每一幅图像与对应的高分辨率图像进行相似度比对，得到生成模型生成超分辨率图像的相似度，若相似度没有达到预设的第二阈值，则对生成模型进行调整并再次将上述白噪声图像集中的低分辨率图像输入生成模型中进行超分辨率重构，直到生成模型生成超分辨率图像的相似度达到第二阈值，则说明生成模型已经具备一定的超分辨率图像生成能力，结束生成模块的预训练。
除了以生成模型生成超分辨率图像的相似度达到第二阈值作为预训练结束的标志外，还可以根据用户的经验，训练一定的周期后，结束生成模型的预训练。
在一可选的实施例中，在根据上述预训练生成图像与上述预训练生成图像对应的白噪声图像集中的图像的相似度，对上述生成模型进行更新之后，还包括：
将对抗训练图像集中的低分辨率图像输入到上述生成模型，以使上述生成模型输出预训练超分辨率图像。
将上述预训练超分辨率图像输入到上述判别单元中，以使判别单元将上述预训练超分辨率图像与上述对抗训练图像集中对应的高分辨率图像进行比对，得到预训练最小均方误差损失、预训练VGG损失和预训练对抗损失。
判断是否预训练最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，若最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，则结束上述生成模型与上述判别单元的组合预训练。
若否，则调整上述生成模型和判别单元，重新进行上述生成模型与判别单元的组合预训练。
具体地，在完成了生成模型的预训练后，需要先对除分类单元外的生成模型与判别单元组成的对抗网络进行训练，使生成模型与判别单元组成的对抗网络具有一定的完成度后再加入分类单元进行整体的超分辨率图像生成对抗网络的训练，以对生成模型与判别单元组成的对抗网络进行分类优化。
将低分辨率图像输入到生成模型中，生成模型生成对应的超分辨率图像，然后将该超分辨率图像输入到判别单元中进行损失计算，得到该次预训练的最小均方误差损失、VGG损失和对抗损失，若没有同时满足最小均方误差损失达到第三阈值、VGG损失达到第四阈值以及对抗损失达到第五阈值，则对生成模型和判别单元进行调整并再次将上述低分辨率图像输入生成模型中进行超分辨率重构，直到同时满足最小均方误差损失达到第三阈值、VGG损失达到第四阈值以及对抗损失达到第五阈值，则说明生成模型与判别单元组成的对抗网络已经具备一定的完成度，结束生成模型和判别单元的组合预训练。
本申请实施例提供了一种超分辨率图像生成对抗网络的训练装置，上述超分辨率图像生成对抗网络包括生成模型和损失计算模型，上述损失计算模型包括判别单元和分类单元，如图3所示，该装置包括：
生成模块20，用于将图像信息输入到上述生成模型，以使上述生成模型输出超分辨率图像；
计算模块21，用于将上述超分辨率图像输入到上述损失计算模型，以使上述损失计算模型计算上述超分辨率图像的总损失；
训练模块22，根据上述超分辨率图像的总损失，对上述超分辨率图像生成对抗网络进行训练。
在一可选的实施例中，上述计算模块21，包括：
上述损失计算模型根据如下公式计算上述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；上述最小均方误差损失、VGG损失和对抗损失由上述判别单元计算得到，上述分类损失由上述分类单元计算得到。
在一可选的实施例中，在计算模块21之前，还包括：
分类预训练模块23，用于将全类别图像集输入到上述分类单元，以使上述分类单元对上述全类别图像集中的图像进行分类，得到预训练分类结果；判断上述预训练分类结果的分类正确率是否达到第一阈值，若上述预训练分类结果达到第一阈值，则结束上述分类单元的预训练；若否，则调整上述分类单元，重新进行上述分类单元的预训练。
对应于图1中的超分辨率图像生成对抗网络的训练方法，本申请实施例还提供了一种计算机设备400，如图4所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述超分辨率图像生成对抗网络的训练方法。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述超分辨率图像生成对抗网络的训练方法，解决了现有技术中超分辨率图像生成算法不具备分类优化的问题。
对应于图1中的超分辨率图像生成对抗网络的训练方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述超分辨率图像生成对抗网络的训练方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述超分辨率图像生成对抗网络的训练方法，解决了现有技术中超分辨率图像生成算法不具备分类优化的问题，本申请通过添加分类单元，提高了超分辨率图像生成的分类精度，从而降低超分辨率图像生成算法的图像损失。
在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种超分辨率图像生成对抗网络的训练方法，其特征在于，所述超分辨率图像生成对抗网络包括生成模型和损失计算模型，所述损失计算模型包括判别单元和分类单元，该方法包括：
将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像；
将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失；
根据所述超分辨率图像的总损失，对所述超分辨率图像生成对抗网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失，包括：
所述损失计算模型根据如下公式计算所述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；所述最小均方误差损失、VGG损失和对抗损失由所述判别单元计算得到，所述分类损失由所述分类单元计算得到。
3.根据权利要求1所述的方法，其特征在于，在将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失之前，还包括：
将全类别图像集输入到所述分类单元，以使所述分类单元对所述全类别图像集中的图像进行分类，得到预训练分类结果；
判断所述预训练分类结果的分类正确率是否达到第一阈值，若所述预训练分类结果达到第一阈值，则结束所述分类单元的预训练；
若否，则调整所述分类单元，重新进行所述分类单元的预训练。
4.根据权利要求1所述的方法，其特征在于，在将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像之前，还包括：
将白噪声图像集输入到所述生成模型，以使所述生成模型输出预训练生成图像，得到所述预训练生成图像与所述预训练生成图像对应的白噪声图像集中的图像的相似度；
判断所述相似度是否达到第二阈值，若所述相似度达到第二阈值，则结束所述生成模型的预训练；
若否，则调整所述生成模型，重新进行所述生成模型的预训练。
5.根据权利要求4所述的方法，其特征在于，在根据所述预训练生成图像与所述预训练生成图像对应的白噪声图像集中的图像的相似度，对所述生成模型进行更新之后，还包括：
将对抗训练图像集中的低分辨率图像输入到所述生成模型，以使所述生成模型输出预训练超分辨率图像；
将所述预训练超分辨率图像输入到所述判别单元中，以使判别单元将所述预训练超分辨率图像与所述对抗训练图像集中对应的高分辨率图像进行比对，得到预训练最小均方误差损失、预训练VGG损失和预训练对抗损失；
判断是否预训练最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，若最小均方误差损失达到第三阈值、预训练VGG损失达到第四阈值以及预训练对抗损失达到第五阈值，则结束所述生成模型与所述判别单元的组合预训练；
若否，则调整所述生成模型和判别单元，重新进行所述生成模型与判别单元的组合预训练。
6.一种超分辨率图像生成对抗网络的训练装置，其特征在于，所述超分辨率图像生成对抗网络包括生成模型和损失计算模型，所述损失计算模型包括判别单元和分类单元，该装置包括：
生成模块，用于将图像信息输入到所述生成模型，以使所述生成模型输出超分辨率图像；
计算模块，用于将所述超分辨率图像输入到所述损失计算模型，以使所述损失计算模型计算所述超分辨率图像的总损失；
训练模块，根据所述超分辨率图像的总损失，对所述超分辨率图像生成对抗网络进行训练。
7.根据权利要求6所述的装置，其特征在于，所述计算模块，包括：
所述损失计算模型根据如下公式计算所述超分辨率图像的总损失：
其中，为超分辨率图像的总损失，为超分辨率图像的最小均方误差损失，为超分辨率图像的VGG损失，为超分辨率图像的分类损失，为超分辨率图像的对抗损失，αm为最小均方误差损失的权重，αv为VGG损失的权重，αc为分类损失的权重，αg为对抗损失的权重，γmax为分类正确率期望，为实际分类正确率；所述最小均方误差损失、VGG损失和对抗损失由所述判别单元计算得到，所述分类损失由所述分类单元计算得到。
8.根据权利要求6所述的装置，其特征在于，在计算模块之前，还包括：
分类预训练模块，用于将全类别图像集输入到所述分类单元，以使所述分类单元对所述全类别图像集中的图像进行分类，得到预训练分类结果；判断所述预训练分类结果的分类正确率是否达到第一阈值，若所述预训练分类结果达到第一阈值，则结束所述分类单元的预训练；若否，则调整所述分类单元，重新进行所述分类单元的预训练。
9.一种计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910623138.XA CN110322418A (zh) | 2019-07-11 | 2019-07-11 | 一种超分辨率图像生成对抗网络的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910623138.XA CN110322418A (zh) | 2019-07-11 | 2019-07-11 | 一种超分辨率图像生成对抗网络的训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110322418A true CN110322418A (zh) | 2019-10-11 |
Family
ID=68121905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910623138.XA Pending CN110322418A (zh) | 2019-07-11 | 2019-07-11 | 一种超分辨率图像生成对抗网络的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322418A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785499A (zh) * | 2020-12-31 | 2021-05-11 | 马培峰 | 超分辨率重建模型训练方法及计算机设备 |
| CN113065635A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种模型的训练方法、图像增强方法及设备 |
| CN113673271A (zh) * | 2020-05-13 | 2021-11-19 | 北京君正集成电路股份有限公司 | 一种基于宠物检测的双层标注计算二级损失的方法 |
| CN116485652A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 遥感影像车辆目标检测的超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190695A (zh) * | 2018-08-28 | 2019-01-11 | 中国海洋大学 | 一种基于深度卷积神经网络的鱼类图像分类方法 |
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
-
2019
- 2019-07-11 CN CN201910623138.XA patent/CN110322418A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190695A (zh) * | 2018-08-28 | 2019-01-11 | 中国海洋大学 | 一种基于深度卷积神经网络的鱼类图像分类方法 |
| CN109871902A (zh) * | 2019-03-08 | 2019-06-11 | 哈尔滨工程大学 | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN LEDIG等: ""Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network"", 《ARXIV》 * |
| XINTAO WANG等: ""ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks"", 《ARXIV》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673271A (zh) * | 2020-05-13 | 2021-11-19 | 北京君正集成电路股份有限公司 | 一种基于宠物检测的双层标注计算二级损失的方法 |
| CN113673271B (zh) * | 2020-05-13 | 2023-04-28 | 北京君正集成电路股份有限公司 | 一种基于宠物检测的双层标注计算二级损失的方法 |
| CN112785499A (zh) * | 2020-12-31 | 2021-05-11 | 马培峰 | 超分辨率重建模型训练方法及计算机设备 |
| CN113065635A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种模型的训练方法、图像增强方法及设备 |
| CN116485652A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 遥感影像车辆目标检测的超分辨率重建方法 |
| CN116485652B (zh) * | 2023-04-26 | 2024-03-01 | 北京卫星信息工程研究所 | 遥感影像车辆目标检测的超分辨率重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032926B (zh) | 一种基于深度学习的视频分类方法以及设备 | |
| CN110414377B (zh) | 一种基于尺度注意力网络的遥感图像场景分类方法 | |
| CN110322418A (zh) | 一种超分辨率图像生成对抗网络的训练方法及装置 | |
| Fu et al. | Fast crowd density estimation with convolutional neural networks | |
| CN107742107A (zh) | 人脸图像分类方法、装置及服务器 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN104679818B (zh) | 一种视频关键帧提取方法及系统 | |
| CN107506740A (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
| CN109376603A (zh) | 一种视频识别方法、装置、计算机设备及存储介质 | |
| CN109711422A (zh) | 图像数据处理、模型的建立方法、装置、计算机设备和存储介质 | |
| CN106599789A (zh) | 视频类别识别方法和装置、数据处理装置和电子设备 | |
| CN105095902B (zh) | 图片特征提取方法及装置 | |
| CN107832835A (zh) | 一种卷积神经网络的轻量化方法及装置 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN105144239A (zh) | 图像处理装置、程序及图像处理方法 | |
| CN108509827B (zh) | 视频流中异常内容的识别方法及视频流处理系统和方法 | |
| CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
| CN102385592B (zh) | 图像概念的检测方法和装置 | |
| CN103745201B (zh) | 一种节目识别方法及装置 | |
| CN107729809A (zh) | 一种自适应生成视频摘要的方法、装置及其可读存储介质 | |
| CN104809469A (zh) | 一种面向服务机器人的室内场景图像分类方法 | |
| US20210081672A1 (en) | Spatio-temporal interactions for video understanding | |
| CN107516103A (zh) | 一种影像分类方法和系统 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |