CN110930308A - 一种图像超分辨生成网络的结构搜索方法 - Google Patents

一种图像超分辨生成网络的结构搜索方法 Download PDF

Info

Publication number
CN110930308A
CN110930308A CN201911116480.7A CN201911116480A CN110930308A CN 110930308 A CN110930308 A CN 110930308A CN 201911116480 A CN201911116480 A CN 201911116480A CN 110930308 A CN110930308 A CN 110930308A
Authority
CN
China
Prior art keywords
convolution
network
unit
resolution
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911116480.7A
Other languages
English (en)
Other versions
CN110930308B (zh
Inventor
莫凌飞
管旭辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201911116480.7A priority Critical patent/CN110930308B/zh
Publication of CN110930308A publication Critical patent/CN110930308A/zh
Application granted granted Critical
Publication of CN110930308B publication Critical patent/CN110930308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种图像超分辨生成网络的结构搜索方法，由网络结构控制器自动采样最优的生成器的网络结构，不再依赖专家手工设置，采样出的图像超分辨生成网络可以根据自身性能给网络结构控制器提供奖励信号，使得网络结构控制器不断更新自身参数，且高分辨生成图像可获得最优峰值信噪比和结构相似性；当所需进行超分辨操作的图像大小、特征发生改变时，重新通过网络结构控制器搜索得到当前特征形态图像下的最优图像超分辨生成网络。

Description

一种图像超分辨生成网络的结构搜索方法
技术领域
本发明涉及图像超分辨技术领域，尤其是一种图像超分辨生成网络的结构搜索方法。
背景技术
图像超分辨是一项基础且重要的视觉问题，旨在从低分辨率的图像中恢复高分辨率的图像。图像超分辨技术有着广泛的实际应用前景，例如，手机暗光环境下拍摄照片细节丢失严重，可通过图像超分辨技术恢复丢失的细节；各类网站可压缩图像、视频质量以减少传输带框，到达客户端时再通过超分辨技术回复高清图像、视频。现有的图像超分辨方法主要包含基于传统插值理论的方法、基于卷积神经网络的方法、基于生成对抗网络的方法。
基于插值理论的方法中比较经典的是最近邻插值、双线性插值和双三次插值等，这些插值方法共同点都是使用临近像素灰度值得到待插值像素的灰度值，其优点是复杂度低、计算速度快，缺点在于生成的图像边缘效应明显，不能较好恢复图像的细节。
中国科学院遥感与数字地球研究所在其申请的专利文献“基于深度卷积网络的遥感图像超分辨重建方法及系统”(专利申请号：CN201710271199.5，公开号：CN107123089A)中提出了一种基于多层深度卷积神经网络生成超分辨图像的方法。该方法将待处理图像由RGB空间转换到YCbCr空间，分出亮度空间和色度空间，使用深度卷积网络重建亮度空间，再由重建的亮度空间为导向图直到色度空间进行联合双边滤波，得到重建的色度空间，最后将重建的亮度空间和色度空间整合并转换回RGB空间，得到超分辨图像。该方法可以在不依赖同一场景多时图像序列的情况下实现针对图像进行超分辨重建。但是使用深度卷积网络存在的问题是生成的图像会过于平滑，虽然峰值信噪比比较高，但人眼观感会较为模糊。
西北工业大学在其申请的专利文献“基于生成对抗网络的高光谱图像超分辨重建方法”(专利申请号：CN201910389210.7，公开号：CN110119780A)中提出了一种利用生成对抗网络分别从高光谱图像丰富冗余信息中提取光谱特征和空间特征，生成高分辨图像的方法。基于生成对抗网络是目前图像超分辨领域效果较佳的方法，能够生成人眼观感较为清晰的高分辨率图像，但是该方法存在的问题是需要专家手工设置生成器和鉴别器的网络结构，在不同大小、不同场景特征的图像下网络结构不能通用，一个训练好的生成器输入不同分辨率、不同特征的图像得到的高分辨率生成图像存在较大差异，并且生成对抗网络在训练时存在训练不稳定的情况。
发明内容
本发明所要解决的技术问题在于，提供一种图像超分辨生成网络的结构搜索方法，能够得到较为平稳的训练损失，改善生成对抗网络训练不稳定、容易产生模式崩塌的问题。
为解决上述技术问题，本发明提供一种图像超分辨生成网络的结构搜索方法，包括如下步骤：
(1)设置图像超分辨生成网络中共享生成器的结构搜索空间
Figure BDA0002274213510000021
搜索空间分为两类，分别为生成器中残差卷积单元搜索空间
Figure BDA0002274213510000022
和上采样卷积单元搜索空间
Figure BDA0002274213510000023
生成器网络结构控制器在搜索空间
Figure BDA0002274213510000024
中采样生成器的网络结构
Figure BDA0002274213510000025
(2)在小规模的超分辨图像数据集上采用损失稳定器训练由网络结构控制器采样出的共享生成器，得到当前采样出的生成器的高分辨生成图像与高分辨真实图像之间的峰值信噪比PSNR和结构相似性SSIM；
(3)将步骤(2)得到的峰值信噪比或者结构相似性作为奖励信号R传给网络结构控制器，网络结构控制器根据奖励信号R更新自身参数；
(4)不断重复步骤(2)和步骤(3)，直到生成器的高分辨生成图像满足条件或者训练达到指定接待次数，训练终止；
(5)将网络结构控制器采样出的生成器在完整的超分辨图像数据集上进行训练，得到该数据集下的最优生成器，该生成器输入低分辨率图像，生成效果最优的高分辨率图像。
优选的，步骤(1)中，结构搜索空间分为两组，分别为生成器中残差卷积单元搜索空间
Figure BDA0002274213510000026
和上采样卷积单元搜索空间
Figure BDA0002274213510000027
其中残差卷积单元搜索空间
Figure BDA0002274213510000028
分为四类，分别由网络结构控制器的前四个输出单元采样得出，残差卷积单元的这四类搜索空间为：
(a)第一卷积块类型C1：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(b)第二卷积块类型C2：包含前卷积激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(c)归一化类型N1：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(d)单元内捷径SC1：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间。
优选的，步骤(1)中，上采样卷积单元搜索空间
Figure BDA0002274213510000031
分为五类，分别由网络结构控制器的后五个输出单元采样得到，上采样卷积单元的这五类搜索空间为：
(a)第一卷积块类型C3：包含前激活上采样卷积模块和后激活上采样卷积模块两个待选搜索空间；
(b)第二卷积块类型C4：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个搜索空间；
(c)归一化类型N2：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(d)上采样类型U：包含线性插值上采样、最近邻插值上采样和反卷积三个待选搜索空间；
(e)单元内捷径SC2：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间。
优选的，步骤(1)中，网络结构控制器包括控制器残差卷积模块和控制器上采样卷积模块，其中控制器残差卷积模块用于采样生成器中残差卷积单元的网络结构，控制器上采样卷积模块用于采样生成器中上采样卷积单元的网络结构；网络结构控制器中，每一个控制器单元采样一个网络结构，每个单元为长短时记忆LSTM网络单元，长短时记忆网络的隐状态输出和最终采样网络结构的输出神经元之间为线性神经网络连接并使用Softmax函数激活，在输出神经元中采样Softmax激活后值最大的网络结构组成生成器结构。
优选的，步骤(2)中，共享生成器中，输入低分辨率图像后，经过核大小为3×3的卷积操作和参数修正线性激活操作后，后接N个残差卷积单元和两个上采样卷积单元，每个单元之间都有捷径连接；由于其每个单元固定，单元中的具体操作需要由网络结构控制器搜索得到，故称共享生成器；其中，残差卷积单元由两个无上采样卷积块组成，两个卷积块之间加入了上一单元的捷径输入，第一卷积块得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块，单元内也可根据网络结构控制器的采样结果SC1决定是否有捷径连接，所有捷径连接路径上加入了核大小为1×1的卷积操作以保证连接时通道数一致；上卷积单元由上采样卷积单元和无上采样卷积单元组成，上采样卷积单元和无上采样卷积单元之间加入了上一单元的捷径输入，第一卷积块(上采样)得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块(无上采样)，单元内也可根据网络结构控制器的采样结果决定是否具有捷径连接，所有捷径路径上加入了反卷积操作以保证连接时通道数和维度一致。
优选的，步骤(2)中，损失稳定器，其不仅考虑单个批次的损失，而且将相邻批次间的损失差以及固定数量批次中的损失差总和考虑在内，得到较为平稳的损失，以增强生成对抗网络的训练稳定性；用于训练图像超分辨生成器的损失是对抗损失
Figure BDA0002274213510000041
和内容损失
Figure BDA0002274213510000042
的组合：
Figure BDA0002274213510000043
其中，λ为组合比例，可设为100；所述损失稳定器得到的损失为：
Figure BDA0002274213510000044
其中，
Figure BDA0002274213510000045
为第b个批次数据的损失，BN为设定的批次稳定数量，β1，β2，β3为各部分的比例系数，可设为β1＝0.6，β2＝0.3，β3＝0.1。
优选的，步骤(5)中，为了找到最优的生成器网络结构，网络结构控制器要最大化采样出的生成网络的期望奖励J(θC)：
Figure BDA0002274213510000046
其中，m为网络结构控制器一个批次中采样出的网络结构数量，T为网络结构控制器超参数的数量，θC为网络结构控制器的参数，at为第t个网络结构类型，Rk为网络结构控制器采样的第k个网络的奖励信号，b为基准函数，通过在之间采样到的结构获得中奖励上施加指数滑动平均窗得到。
本发明的有益效果为：(1)本发明可通过网络结构控制器自动搜索出特定大小、特定特征下图像超分辨生成器的网络结构，不再需要专家手工设计；通过搜索出的共享生成器在数据集上训练得到的峰值信噪比或者结构相似性作为奖励信号，可以搜索出最优的网络结构，所生成的超分辨图像比专家手工设计的生成器生成的超分辨图像性能更佳；同时，当图像的大小或者特征发生改变时，网络结构控制器可搜索出与图像相适配的超分辨图像生成网络，具有较强的数据适应性能；(2)针对生成对抗网络训练不稳定、容易产生模式崩塌的问题，本发明提出的损失稳定器不仅考虑单个批次的损失，而且将相邻批次间的损失差以及固定数量批次中的损失差总和考虑在内，得到较为平稳的损失，以增强生成对抗网络的训练稳定性。
附图说明
图1为本发明搜索超分辨图像生成器网络结构的方法流程示意图。
图2为本发明网络结构控制器的组成结构示意图。
图3为本发明网络结构控制器中一个控制器单元的组成结构示意图。
图4为本发明超分辨共享生成器的组成结构示意图。
图5为本发明超分辨共享生成器中残差卷积单元的组成结构示意图。
图6为本发明超分辨共享生成器中上采样卷积单元的组成结构示意图。
图7为本发明无上采样前激活卷积模块组成结构示意图。
图8为本发明无上采样后激活卷积模块组成结构示意图。
图9为本发明上采样前激活卷积模块组成结构示意图。
图10为本发明上采样后卷积激活模块组成结构示意图。
图11为本发明的网络结构控制器搜索出来的超分辨生成网络中的残差卷积单元示意图。
图12为本发明的网络结构控制器搜索出来的超分辨生成网络中的上采样卷积单元示意图。
图13(a)为本发明的网络结构控制器搜索出来的超分辨生成网络输入的低分辨率图像示意图。
图13(b)为本发明的网络结构控制器搜索出来的超分辨生成网络生成的高分辨率图像示意图。
具体实施方式
如图1所示，一种图像超分辨生成网络的结构搜索方法，包括如下步骤：
步骤S1：设置图像超分辨生成网络中共享生成器的结构搜索空间
Figure BDA0002274213510000051
搜索空间分为两类，分别为生成器中残差卷积单元搜索空间
Figure BDA0002274213510000052
和上采样卷积单元搜索空间
Figure BDA0002274213510000053
生成器网络结构控制器在搜索空间
Figure BDA0002274213510000054
中采样生成器的网络结构
Figure BDA0002274213510000055
步骤S2：在小规模的超分辨图像数据集上采用损失稳定器训练由网络结构控制器采样出的共享生成器，得到当前采样出的生成器的高分辨生成图像与高分辨真实图像之间的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(StructuralSimilarity Index，SSIM)；
步骤S3：将步骤S2得到的峰值信噪比或者结构相似性作为奖励信号R传给网络结构控制器，网络结构控制器根据奖励信号R更新自身参数；
步骤S4：不断重复步骤S2和步骤S3，直到生成器的高分辨生成图像满足条件或者训练达到指定接待次数，训练终止；
步骤S5：将网络结构控制器采样出的生成器在完整的超分辨图像数据集上进行训练，得到该数据集下的最优生成器，该生成器输入低分辨率图像，生成效果最优的高分辨率图像。
步骤S1中的结构搜索空间
Figure BDA0002274213510000061
分为两组，分别为生成器中残差卷积单元搜索空间
Figure BDA0002274213510000062
和上采样卷积单元搜索空间
Figure BDA0002274213510000063
其中残差卷积单元搜索空间
Figure BDA0002274213510000064
分为四类，分别由网络结构控制器的前四个输出单元采样得出，残差卷积单元的这四类搜索空间为：
(1)第一卷积块类型C1：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(2)第二卷积块类型C2：包含前卷积激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(3)归一化类型N1：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(4)单元内捷径SC1：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间；
其中，上采样卷积单元搜索空间
Figure BDA0002274213510000065
分为五类，分别由网络结构控制器的后五个输出单元采样得到，上采样卷积单元的这五类搜索空间为：
(1)第一卷积块类型C3：包含前激活上采样卷积模块和后激活上采样卷积模块两个待选搜索空间；
(2)第二卷积块类型C4：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个搜索空间；
(3)归一化类型N2：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(4)上采样类型U：包含线性插值上采样、最近邻插值上采样和反卷积三个待选搜索空间；
(5)单元内捷径SC2：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间；
在进行步骤S2时，分为两个子步骤，子步骤1是分别将高分辨真实图像和高分辨生成图像分别输入到鉴别器以训练鉴别器，子步骤2是将低分辨率图像输入共享生成器，并将高分辨生成图像输入鉴别器，根据鉴别器损失训练共享生成器，子步骤1和子步骤2交替进行，实验证明，1次子步骤1和5次子步骤2作为一个训练循环可以得到较为稳定的训练结果。
如图2所示，本发明提出的用于搜索超分辨生成网络的网络结构控制器的具体组成结构如下。网络结构控制器分为两个部分，分别为控制器残差卷积模块和控制器上采样卷积模块，其中控制器残差卷积模块用于采样生成器中残差卷积单元的网络结构，控制器上采样卷积模块用于采样生成器中上采样卷积单元的网络结构。网络结构控制器中，每一个控制器单元采样一个网络结构，每个单元为长短时记忆(Long Short-Term Memory,LSTM)网络单元，前一个控制器单元的输出会输入到后一个控制器单元。控制器残差卷积模块所采样的网络结构在搜索空间
Figure BDA0002274213510000072
中选择：第一卷积块类型C1、第二卷积块类型C2、归一化类型N1、单元内捷径SC1，控制器上采样卷积模块所采样的网络结构在搜索空间
Figure BDA0002274213510000071
中选择：第一卷积块类型C3、第二卷积块类型C4、归一化类型N2、上采样类型U、单元内捷径SC2。
如图3所示，以采样归一化类型N1的控制器单元为例，本发明的控制器单元具体组成结构如下。控制器单元为长短时记忆网络单元，每个控制器单元隐状态输出和最终采样网络结构的输出神经元之间为线性神经网络连接并使用Softmax函数激活，在输出神经元中采样Softmax激活后值最大的网络结构组成生成器结构。下面以采样归一化类型N1的控制器单元为例，具体说明控制器单元的组成结构：该单元共100个输入神经元，100个隐藏层神经元，隐藏层神经元与3个搜索空间(包含批归一化、实例归一化和无归一化)所对应的3个输出神经元之间采用线性连接，3个搜索空间神经元最后采用Softmax函数进行激活。本发明提出的搜索空间共计21种，将其进行嵌入操作后所对应的100个数据输入到输入神经元，将前一控制器单元隐层的输入传到本单元的隐层，同时将本单元隐层的输出传到后一控制器单元隐层，若在一个搜索过程种，三个输出神经元激活后的输出值分别为0.14、0.76、0.10，则最大激活值0.76所对应的搜索空间(实例归一化)被采样为残差卷积单元中的归一化类型。
如图4所示，本发明提出的图像超分辨共享生成器的组成结构如下。网络结构控制器搜索的是用于图像超分辨的共享生成器中待搜索的结构类型，共享生成器输入低分辨率图像后，经过核大小为3×3的卷积操作和参数修正线性激活操作后，后接N个残差卷积单元和两个上采样卷积单元，每个单元之间都有捷径连接。由于其每个单元固定，单元中的具体操作需要由网络结构控制器搜索得到，故称共享生成器。图像超分辨共享生成器输入低分辨率图像，得到高分辨率生成图像。
如图5所示，本发明提出的图像超分辨共享生成器中的残差卷积单元的具体组成结构如下。残差卷积单元由两个无上采样卷积块(类型可选为无上采样前激活卷积或无上采样后激活卷积)组成，两个卷积块之间加入了上一单元的捷径输入，第一卷积块得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块，单元内也可根据网络结构控制器的采样结果SC1决定是否有捷径连接，所有捷径连接路径上加入了核大小为1×1的卷积操作以保证连接时通道数一致。
如图6所示，本发明提出的图像超分辨共享生成器中的上采样卷积单元的具体组成结构如下。上卷积单元由上采样卷积单元(类型可选为上采样前激活卷积或上采样后激活卷积)和无上采样卷积单元(类型可选为无上采样前激活卷积或无上采样后激活卷积)组成，上采样卷积单元和无上采样卷积单元之间加入了上一单元的捷径输入，第一卷积块(上采样)得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块(无上采样)，单元内也可根据网络结构控制器的采样结果决定是否具有捷径连接，所有捷径路径上加入了反卷积操作以保证连接时通道数和维度一致。
如图7所示，本发明提出的无上采样前激活卷积模块的具体组成结构图。在无上采样前激活卷积模块中，归一化操作和激活操作在卷积操作之前。一个无上采样前激活卷积模块从输入到输出的操作依次为：归一化(类型可选择为批归一化、实例归一化或无归一化)，带参数修正线性激活单元，卷积。
如图8所示，本发明提出的无上采样后激活卷积模块的具体组成结构图。在无上采样后激活卷积模块中，归一化操作和激活操作在卷积操作之前。一个无上采样后激活卷积模块从输入到输出的操作依次为：卷积，归一化(类型可选为批归一化、实例归一化或无归一化)，带参数修正线性激活单元。
如图9所示，本发明提出的上采样前激活卷积模块的具体组成结构图。与无上采样前激活卷积模块相比，上采样前激活卷积模块的区别是在卷积操作之前加入了上采样操作。一个上采样前激活卷积模块从输入到输出的操作依次为：归一化(类型可选为批归一化、实例归一化或无归一化)，带参数修正线性激活单元，上采样(类型可选为线性插值上采样、最近邻插值上采样或反卷积上采样)，卷积。
如图10所示，本发明提出的上采样后激活卷积模块的具体组成结构图。与无上采样后激活卷积模块相比，上采样后激活卷积模块的区别是在卷积操作之前加入了上采样操作。一个上采样后激活卷积模块从输入到输出的操作以此为：上采样(类型可选为线性插值上采样、最近邻上采样或反卷积上采样)，卷积，归一化(类型可选为批归一化、实例归一化或无归一化)，带参数修正线性激活单元。
为了解决对抗生成网络容易出现的梯度损失、梯度爆炸、模式崩塌问题，本发明同时设计了损失稳定器，其不仅考虑单个批次的损失，而且将相邻批次间的损失差以及固定数量批次中的损失差总和考虑在内，得到较为平稳的损失，以增强生成对抗网络的训练稳定性。用于训练图像超分辨生成器的损失是对抗损失
Figure BDA0002274213510000091
和内容损失
Figure BDA0002274213510000092
的组合：
Figure BDA0002274213510000093
Figure BDA0002274213510000094
Figure BDA0002274213510000095
其中，λ为组合比例，可设为100，IL和IH分别为训练数据集中的低分辨率图像和高分辨率图像，
Figure BDA0002274213510000096
为生成器输出，
Figure BDA0002274213510000097
为鉴别器输出，θG和θD分别为生成器和鉴别器的参数；内容损失是将分辨生成图像和高分辨真实图像分别输入到VGG19网络比较特征间差异得出，其中Φi,j是VGG19网络中低i个最大池化层前的第j个卷积获得的特征图，Ni,j和Hi,j为特征图的维度，VGG19网络在ImageNet数据集上预选练过。所述损失稳定器得到的损失为：
Figure BDA0002274213510000098
其中，
Figure BDA0002274213510000099
为第b个批次数据的损失，BN为设定的批次稳定数量，β1，β2，β3为各部分的比例系数，可设为β1＝0.6，β2＝0.3，β3＝0.1。
当网络结构生成器采样得到一个图像超分辨生成器时，采样得到的超分辨生成器会与鉴别器在小规模数据集上交替博弈训练，得到当前采样出的图像超分辨生成器的性能指标峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)或结构相似性(StructuralSimilarity Index,SSIM)，峰值信噪比或结构相似性作为奖励信号传给网络结构控制器以更新控制器网络参数。为了找到最优的生成器网络结构，网络结构控制器要最大化采样出的生成网络的期望奖励J(θC):
Figure BDA0002274213510000101
其中P(a1:T；θC)表示在网络结构控制器θC下采样出网络结构a1:T的概率，由于奖励信号R不可微，因此可将上述目标函数转换为下列目标函数：
Figure BDA0002274213510000102
其中，m为网络结构控制器一个批次中采样出的网络结构数量，T为网络结构控制器超参数的数量，θC为网络结构控制器的参数，at为第t个网络结构类型，Rk为网络结构控制器采样的第k个网络的奖励信号，b为基准函数，通过在之间采样到的结构获得中奖励上施加指数滑动平均窗得到。
下面以BSD100数据集(一个用于图像修复和图像超分辨的数据集，包含100对低分辨率和高分辨率的图像)为例，详细叙述本发明的运行环境、参数设置以及超分辨生成网络的结构搜索结果。
本发明中实验的实施环境如下。硬件参数：CPU为
Figure BDA0002274213510000103
CoreTM i7-6850K@3.6GHz，内存为32G，GPU为
Figure BDA0002274213510000104
TITAN Xp；软件参数：系统为Ubuntu16.04LTS，计算库为CUDA9.0+CuDNN7.1+Pytorch1.1.0。网络结构搜索器参数设置如下：优化器选用Adam，学习率为3.5e-4，β1＝0.0，β2＝0.9；为获得奖励信号每次共享生成器输入的图像数量为10个；基准函数下降率为0.9。共享生成器的参数设置如下：优化器选用Adam，学习率为0.0002；训练批次15；每批64个图像；CPU线程数设置为8；鉴别器的参数设置如下：优化器选用Adam，学习率为0.0002；训练批数、每批图像数量与共享生成器保持一致，分别为15和64；共享生成器和鉴别器训练间隔为5(即每训练5次共享生成器训练一次鉴别器)。
执行具体实施方式中所述的步骤S1到步骤S4之后，网络结构控制器采样的结构为[0,0,1,0,0,0,1,2,0]，即搜索出来的残差卷积单元如图11所示，第一卷积块选用无上采样前激活卷积模块，第二卷积块选用无上采样前激活卷积单元，归一化如图12所示，操作选用实例归一化，包含单元内捷径连接；上采样卷积单元如图12所示，第一卷积块选用上采样前激活卷积单元，第二卷积块选用无上采样前激活卷积单元，归一化操作选用实例归一化，上采样操作选用反卷积，包含单元内捷径。
得到最优超分辨生成网络后，执行具体实施方式中所述的步骤S5，此时采样出的共享生成器的训练批次由15改为150，其余参数不变。步骤S5执行完毕后，输入超分辨生成器的低分辨图像和高分辨生成图像如图13(a)和图13(b)所示，所采样出的超分辨生成网络峰值信噪比为31.64，结构相似性为0.8971。

Claims (7)

1.一种图像超分辨生成网络的结构搜索方法，其特征在于，包括如下步骤：
(1)设置图像超分辨生成网络中共享生成器的结构搜索空间
Figure FDA0002274213500000011
搜索空间分为两类，分别为生成器中残差卷积单元搜索空间
Figure FDA0002274213500000012
和上采样卷积单元搜索空间
Figure FDA0002274213500000013
生成器网络结构控制器在搜索空间
Figure FDA0002274213500000014
中采样生成器的网络结构
Figure FDA0002274213500000015
(2)在小规模的超分辨图像数据集上采用损失稳定器训练由网络结构控制器采样出的共享生成器，得到当前采样出的生成器的高分辨生成图像与高分辨真实图像之间的峰值信噪比PSNR和结构相似性SSIM；
(3)将步骤(2)得到的峰值信噪比或者结构相似性作为奖励信号R传给网络结构控制器，网络结构控制器根据奖励信号R更新自身参数；
(4)不断重复步骤(2)和步骤(3)，直到生成器的高分辨生成图像满足条件或者训练达到指定接待次数，训练终止；
(5)将网络结构控制器采样出的生成器在完整的超分辨图像数据集上进行训练，得到该数据集下的最优生成器，该生成器输入低分辨率图像，生成效果最优的高分辨率图像。
2.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(1)中，结构搜索空间分为两组，分别为生成器中残差卷积单元搜索空间
Figure FDA0002274213500000016
和上采样卷积单元搜索空间
Figure FDA0002274213500000017
其中残差卷积单元搜索空间
Figure FDA0002274213500000018
分为四类，分别由网络结构控制器的前四个输出单元采样得出，残差卷积单元的这四类搜索空间为：
(a)第一卷积块类型C1：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(b)第二卷积块类型C2：包含前卷积激活无上采样卷积模块和后激活无上采样卷积模块两个待选搜索空间；
(c)归一化类型N1：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(d)单元内捷径SC1：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间。
3.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(1)中，上采样卷积单元搜索空间
Figure FDA0002274213500000019
分为五类，分别由网络结构控制器的后五个输出单元采样得到，上采样卷积单元的这五类搜索空间为：
(a)第一卷积块类型C3：包含前激活上采样卷积模块和后激活上采样卷积模块两个待选搜索空间；
(b)第二卷积块类型C4：包含前激活无上采样卷积模块和后激活无上采样卷积模块两个搜索空间；
(c)归一化类型N2：包含批归一化、实例归一化和无归一化三个待选搜索空间；
(d)上采样类型U：包含线性插值上采样、最近邻插值上采样和反卷积三个待选搜索空间；
(e)单元内捷径SC2：包含有单元内捷径连接和无单元内捷径连接两个待选搜索空间。
4.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(1)中，网络结构控制器包括控制器残差卷积模块和控制器上采样卷积模块，其中控制器残差卷积模块用于采样生成器中残差卷积单元的网络结构，控制器上采样卷积模块用于采样生成器中上采样卷积单元的网络结构；网络结构控制器中，每一个控制器单元采样一个网络结构，每个单元为长短时记忆LSTM网络单元，长短时记忆网络的隐状态输出和最终采样网络结构的输出神经元之间为线性神经网络连接并使用Softmax函数激活，在输出神经元中采样Softmax激活后值最大的网络结构组成生成器结构。
5.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(2)中，共享生成器中，输入低分辨率图像后，经过核大小为3×3的卷积操作和参数修正线性激活操作后，后接N个残差卷积单元和两个上采样卷积单元，每个单元之间都有捷径连接；由于其每个单元固定，单元中的具体操作需要由网络结构控制器搜索得到，故称共享生成器；其中，残差卷积单元由两个无上采样卷积块组成，两个卷积块之间加入了上一单元的捷径输入，第一卷积块得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块，单元内也可根据网络结构控制器的采样结果SC1决定是否有捷径连接，所有捷径连接路径上加入了核大小为1×1的卷积操作以保证连接时通道数一致；上卷积单元由上采样卷积单元和无上采样卷积单元组成，上采样卷积单元和无上采样卷积单元之间加入了上一单元的捷径输入，第一卷积块得到的数据和上一单元捷径输入的数据逐元素相加后输入第二卷积块，单元内也可根据网络结构控制器的采样结果决定是否具有捷径连接，所有捷径路径上加入了反卷积操作以保证连接时通道数和维度一致。
6.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(2)中，损失稳定器考虑单个批次的损失，而且将相邻批次间的损失差以及固定数量批次中的损失差总和考虑在内，得到较为平稳的损失，以增强生成对抗网络的训练稳定性；用于训练图像超分辨生成器的损失是对抗损失
Figure FDA0002274213500000031
和内容损失
Figure FDA0002274213500000032
的组合：
Figure FDA0002274213500000033
其中，λ为组合比例，可设为100；所述损失稳定器得到的损失为：
Figure FDA0002274213500000034
其中，
Figure FDA0002274213500000035
为第b个批次数据的损失，BN为设定的批次稳定数量，β1，β2，β3为各部分的比例系数，可设为β1＝0.6，β2＝0.3，β3＝0.1。
7.如权利要求1所述的图像超分辨生成网络的结构搜索方法，其特征在于，步骤(5)中，为了找到最优的生成器网络结构，网络结构控制器要最大化采样出的生成网络的期望奖励J(θC)：
Figure FDA0002274213500000036
其中，m为网络结构控制器一个批次中采样出的网络结构数量，T为网络结构控制器超参数的数量，θC为网络结构控制器的参数，at为第t个网络结构类型，Rk为网络结构控制器采样的第k个网络的奖励信号，b为基准函数，通过在之间采样到的结构获得中奖励上施加指数滑动平均窗得到。
CN201911116480.7A 2019-11-15 2019-11-15 一种图像超分辨生成网络的结构搜索方法 Active CN110930308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911116480.7A CN110930308B (zh) 2019-11-15 2019-11-15 一种图像超分辨生成网络的结构搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911116480.7A CN110930308B (zh) 2019-11-15 2019-11-15 一种图像超分辨生成网络的结构搜索方法

Publications (2)

Publication Number Publication Date
CN110930308A true CN110930308A (zh) 2020-03-27
CN110930308B CN110930308B (zh) 2022-11-08

Family

ID=69854041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911116480.7A Active CN110930308B (zh) 2019-11-15 2019-11-15 一种图像超分辨生成网络的结构搜索方法

Country Status (1)

Country Link
CN (1) CN110930308B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667004A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 数据生成方法、装置、设备以及存储介质
CN112749788A (zh) * 2020-12-17 2021-05-04 郑州金惠计算机系统工程有限公司 超分辨率图片模型生成方法、装置、电子设备及存储介质
CN113298239A (zh) * 2021-07-06 2021-08-24 东南大学 一种生成图像超分辨网络的神经组件搜索方法
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN109872276A (zh) * 2019-01-29 2019-06-11 北京字节跳动网络技术有限公司 用于生成图像超分辨率模型的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN109872276A (zh) * 2019-01-29 2019-06-11 北京字节跳动网络技术有限公司 用于生成图像超分辨率模型的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏健民等: "基于生成对抗网络的单帧遥感图像超分辨率", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法
CN111667004A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 数据生成方法、装置、设备以及存储介质
CN112749788A (zh) * 2020-12-17 2021-05-04 郑州金惠计算机系统工程有限公司 超分辨率图片模型生成方法、装置、电子设备及存储介质
CN113298239A (zh) * 2021-07-06 2021-08-24 东南大学 一种生成图像超分辨网络的神经组件搜索方法
CN113298239B (zh) * 2021-07-06 2024-04-16 东南大学 一种生成图像超分辨网络的神经组件搜索方法

Also Published As

Publication number Publication date
CN110930308B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN110930308B (zh) 一种图像超分辨生成网络的结构搜索方法
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN108805814B (zh) 基于多频段深度卷积神经网络的图像超分辨重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN114331831A (zh) 一种轻量化的单张图像超分辨率重建方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113112401A (zh) 一种基于跨尺度纹理迁移的图像超分辨率方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN114067018B (zh) 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN116402679A (zh) 一种轻量级红外超分辨率自适应重建方法
CN113298744B (zh) 一种端到端的红外与可见光图像融合方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN112598604A (zh) 一种盲脸复原方法及系统
Wu et al. Remote sensing image colorization based on multiscale SEnet GAN
Mengbei et al. Overview of research on image super-resolution reconstruction
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN111882485B (zh) 分级特征反馈融合的深度图像超分辨率重建方法
CN114782249A (zh) 一种图像的超分辨率重建方法、装置、设备以及存储介质
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN117635478B (zh) 一种基于空间通道注意力的低光照图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant