CN113298239A - 一种生成图像超分辨网络的神经组件搜索方法 - Google Patents

一种生成图像超分辨网络的神经组件搜索方法 Download PDF

Info

Publication number
CN113298239A
CN113298239A CN202110762910.3A CN202110762910A CN113298239A CN 113298239 A CN113298239 A CN 113298239A CN 202110762910 A CN202110762910 A CN 202110762910A CN 113298239 A CN113298239 A CN 113298239A
Authority
CN
China
Prior art keywords
network
resolution
image
super
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762910.3A
Other languages
English (en)
Other versions
CN113298239B (zh
Inventor
莫凌飞
管旭辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110762910.3A priority Critical patent/CN113298239B/zh
Publication of CN113298239A publication Critical patent/CN113298239A/zh
Application granted granted Critical
Publication of CN113298239B publication Critical patent/CN113298239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种生成图像超分辨网络的神经组件搜索方法，该方法可搜索不同算力限制下的图像超分辨网络，其网络大小可伸缩。该方法除神经网络结构外，还可搜索色彩空间、损失函数组成及其他影响神经网络训练、推理性能的神经组件。该方法同时使用权值共享策略，全部搜索空间构建的超图权值可以被搜索出来的子图继承，大大加快了搜索时间。本发明针对图像超分辨重建应用，构建了简易性超图，并搜索出慢、一般、快三种图像超分辨网络。此外，该发明不仅适用于图像超分辨网络这一领域，也可作为一个通用框架，通过更改搜索空间，可使用提出的伸进组件搜索方法搜索出其他应用的神经网络。

Description

一种生成图像超分辨网络的神经组件搜索方法
技术领域
本发明属于图像超分辨技术领域，具体涉及一种生成图像超分辨网络的神经组件搜索方法。
背景技术
现在的图像超分重建方法可分为基于插值的方法和基于学习的方法。基于插值的方法可使用参数化方法，如双三次插值；也可使用非参数化回归方法如边缘有向插值、归一化卷积、双边滤波等来对图像的尺度进行上采样。然而，基于插值的图像超分辨重建方法在平滑区域(低频)表现较好，在边缘区域(高频)表现较差，因为它们容易出现边缘模糊和锯齿状伪影。
基于学习的图像超分辨重建方法有些不错的重建效果，但大多数基于学习的图像超分辨重建网络是手工设计的。根据经验和多次实验调整而手工设计的网络存在的问题在于，不同的网络需要在不同的超分辨场景下进行训练，网络在结构和损失函数等诸多方面均存在差异。
为了弥补上述手工设计网络的不足，几年来研究人员也提出了使用神经网络结构搜索方法(Neural Architecture Search,NAS)来搜索图像超分辨网络结构的思路。目前使用神经结构搜索的方法使用了混合控制算法，利用强化学习(ReinforcementLearning,RL)和进化算法(Evolution Algorithm,EA)从弹性空间采样图像超分辨重建网络，可以在给定的约束条件下，产生高质量的网络模型；同时从模型评估过程中采集有价值信息来指导网络进化，以实现有效的超分辨网络搜索，同时加速收敛。不过在这些神经结构搜索方法中，搜索空间仅局限于网络结构，在损失函数和训练策略方面仍引入了大量的人工先验知识；且大多数搜索方法采用了遗传算法，搜索空间大，导致了搜索时间长。
为了增大图像超分辨重建网络搜索空间的灵活性、加快搜索效率，本发明提出了参数共享的神经组件搜索方法(Neural Component Search,NCS)，并建立了搜索空间，搜索出了一批用于超分辨图像重建的自适应残差稠密网络(Adaptive Residual DenseNetwork,ARDN)。与仅搜索网络结构的NAS方法不同，本发明提出的NCS方法还可以搜索色彩空间、损失函数组成以及其他影响神经网络训练、推理性能的神经组件。同时，本发明提出的NCS除应用于图像超分辨领域外，也可作为一种通用框架，通过更改搜索空间的设置，可快速应用与其他应用神经网络的计算机视觉领域。
发明内容
为解决上述问题，本发明公开了一种生成图像超分辨网络的神经组件搜索方法，在给定的算力约束条件下搜索出最优的图像超分辨网络，提高超分辨网络搜索空间的自由度，减少引入的人工先验，提高搜索速度。
为达到上述目的，本发明的技术方案如下：
一种生成图像超分辨网络的神经组件搜索方法，包括以下步骤：
步骤S1：设计搜索空间
Figure BDA0003149624120000021
搜索空间是一种待搜索的超图，包含搜索所有的网络节点、连接路径、损失函数、色彩空间；
步骤S2：使用控制器从搜索空间
Figure BDA0003149624120000022
中采样网络组件
Figure BDA0003149624120000023
构建图像超分辨重建网络子图，该子图包含网络参数为
Figure BDA0003149624120000025
的共享生成器和网络为
Figure BDA0003149624120000024
的共享鉴别器；共享生成器分为四类单元，共享鉴别器分为一类单元；
步骤S3：训练共享生成器的网络参数
Figure BDA0003149624120000026
和共享鉴别器的网络参数
Figure BDA0003149624120000027
训练方法遵循生成对抗式网络(Generative Adversarial Network,GAN)的训练，共享生成器和共享鉴别器交替训练固定的轮次。该步骤训练结束后，讲共享生成器在验证集上进行评估，得到峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性(Structural SimilarityIndex,SSIM)指标；
步骤S4：训练控制器参数θc。使用步骤S3得到的PSNR和SSIM以及REINFORCE算法计算估计梯度，更新控制器参数θc；
步骤S5：重复步骤S2到步骤S4，直到训练达到指定接待次数，搜索过程终止；
步骤S6：精炼模型，将步骤S2到步骤S5搜索出的模型放到完整的数据集上进行较长轮次的训练，得到最终的超分辨图像重建模型，其参数为
Figure BDA0003149624120000028
(与步骤S2的
Figure BDA0003149624120000029
相同)。
作为本发明的一种改进，步骤S1构建了自适应残差稠密图像超分辨网络ARDN的色彩空间，本发明在目前已经在图像超分辨领域尝试使用的色彩空间RGB、YIQ、HSI、HSV、CEILAB中选取了主流的RGB和YCbCr作为自适应图像超分辨网络ARDN的色彩域搜索空间。更进一步的，当神经组件搜索方法选择RGB作为ARDN的色彩空间时，搜索出的图像超分辨重建网络生成通道图像；当选择YCbCr作为色彩空间时，由于人类对亮度空间敏感，同时考虑到图像重建效率、降低计算量，搜索的图像超分辨重建网络仅重构YCbCr中的亮度通道(即Y通道)，而通过插值的方法快速构建其他蓝色差和红色通道，然后将重建的亮度通道和两个色差通道堆叠成3通道的超分辨图像。
作为本发明的一种改进，步骤S2构建了自适应残差稠密图像超分辨网络ARDN的共享生成器搜索空间，其定义了图像超分辨重建网络的结构搜索空间，包含可被搜索的自适应残差稠密网络分支。具体来讲，图像超分辨生成网络的共享生成器包含四个主要模块，包括浅层特征提取(Shallow Feature Extraction,SFE)、自适应特征提取(AdaptiveFeature Extraction,AFE)、深度特征提取(Deep Feature Extraction,DFE)和上采样(Upsample)。需要注意的是，当使用纯卷积网络直接生成超分辨重建图像时，一些异常的噪声点可能会出现在生成图像上，且噪声点像素强度和相邻像素值之间的差异值很明显，造成感觉上的突兀。造成这种现象可解释的一种原因是，训练春卷及网络的目标是最小化损失，而噪声的出现会使得损失有一定程度的下降。在此基础上，为了一定程度上缓解这种噪声，本发明在共享生成器中加入了插值连接(Interpolation Shortcut,IS)，在存在IS的情况下，超分辨图像生成器生成的是插值后图像的像素细节调整，而不是完整的图像像素强度。
其浅层特征提取模块SFE分为SFE1和SFE2；其深层特征提取模块DFE也分为DFE1和DFE2。在此设定基础上，进一步规定了SFE1和DFE2的搜索空间。对于SFE1，搜索空间主要取决于不同色彩空间下SFE1的输入通道数量。当色彩空间为RGB时，SFE1的输入通道为3；当色彩空间为YCbCr时，SFE1的输入通道数为1。同样，DFE2的搜索空间时不同色彩空间下的输出通道数，DFE2的色彩空间为RGB和YCbCr时的输出通道分别为3和1。
自适应特征提取模块AFE包含了灵活多样的搜索空间，且AFE的数量不固定，这些特征决定了神经组件搜索方法搜索出来的图像超分辨重建网络的可伸缩性。每个AFE模块由多个稠密连接的自适应卷积块(Adaptive Convolution Blocks,ACB)组成，同时输入特征被累加到每个AFE单元的输入特征中进行局部特征融合。对于AFE模块，有四个影响图像超分辨重建网络大小的待搜索参数，分别为每个AFE单元的基准输出通道G0、每个ACB的输出通道G、AFE单元数量D和每个AFE单元中ACB的数量C。对于第d个包含C个自适应卷积块的自适应提取单元AFEd，输入特征是Fd-1，第c个自适应卷积块的输出特征是：
Fd，c＝ACBd，c(Fd，c-1)
＝ACBd，c(Fd-1+ACBd，1(Fd-1)+ACBd，2(Fd，1)+…+ACBd，c-11(Fd，c-2))
为了减少计算量，特征输入到每个AFE单元之前都要进行通道压缩操作。假设每个ACB输出一个具有G个通道的特征，则将C个具有G通道的特征和一个具有G通道的特征进行堆叠拼接，得到G0+CG个通道，然后经过一次1×1卷积，将特征通道压缩为G0然后发送给AFEd+1。
自适应特征提取模块AFE由多个数量可变的自适应卷积块ACB组成，且自适应卷积模块稠密连接，且每个自适应特征提取模块AFE内的所有ACB输出会拼接后进行通道压缩，每个AFE模块内的输入和输出之间存在跳跃连接以实现局部特征融合。每个ACB的搜索空间要集中在块内的归一化、激活类型和激活顺序的选择。归一化是为了使训练过程更稳定而广泛使用方法，针对图像超分辨数据集个体差异大的特点，在归一化域中选取了三个搜索空间，即批归一化(Batch Normalization,BN)，实例归一化(Instance Normalization,IN)和无归一化(w/o)。自适应卷积块中激活函数的搜索空间选择了两种最为常用的激活类型：ReLU和LReLU。此外，前激活和后激活的不同选择对深度神经网络的准确性也有很大的影响。当神经组件搜索方法选择前激活时，自适应卷积模块中张量的流通顺序为归一化、激活函数、卷积；当神经组件搜索方法选择后激活时，自适应卷积模块中的张量流通顺序为卷积、归一化、激活函数。
上采样模块的目的在于在提取的特征上重建更大尺度的特征，以便深层特征提取模块DFE在此特征上生成超分辨图像。一般地，基于插值的方法直接根据邻接点计算新的像素点，比基于学习的方法速度快，但也会存在精度低的不足。考虑到精度和速度不同偏向的多样性，设计了五种上采样类型，包括双线性插值、最近邻插值、双三次插值、反卷积和亚像素卷积。这五种上采样方法都是即插即用的，不需要改变自适应特征提取模块和深度卷积模块的结构。同时根据上采样因子(即图像方法倍率)的不同，每种上采样类型设置了遇上采样因子数量等同的搜索空间。
构建了图像超分辨生成网络ARDN的共享鉴别器搜索空间。具体而言，共享鉴别器的设立目的是当选择对抗损失作为损失组成的一部分来训练图像超分辨生成网络时，需要使用其提供该项损失。为了保证神经组件搜索的效率，本发明中共享鉴别器被设计为一个不可伸缩的网络。进一步地，共享鉴别器的搜索空间主要在于鉴别器块(AdaptiveDiscriminator Block)中归一化、激活类型和激活顺序的选择。共享鉴别器由五个鉴别器块和两个全连接层组成，最后的Sigmoid层输出最终的置信度。与自适应卷积块类似，每个鉴别器块中的归一化搜索空间包括批归一化、谱归一化和无归一化。每个鉴别器模块的激活函数搜索空间包括ReLU和LReLU，激活顺序搜索空间包括前激活卷积模块和后激活卷积模块。
构建了自适应图像超分辨生成网络ARDN的损失函数组成搜索空间，其主要目的在于，在图像超分辨重建领域，损失函数用来衡量重建误差，指导模型优化，大多数图像超分辨重建损失都是在像素维度或感知维度上计算高分辨图像I和超分辨图像
Figure BDA0003149624120000041
之间的差值。为了使神经组件搜索方法搜索到一种有效的损失组合，本发明设计了四种损失函数作为损失函数的待搜索部分，分别是像素损失、感知损失、个体噪声损失和对抗损失。
像素损失进一步划分为L1像素损失
Figure BDA0003149624120000042
和L2像素损失
Figure BDA0003149624120000043
两项损失均为损失函数组成的一部分，两者的计算方式分别为：
Figure BDA0003149624120000044
Figure BDA0003149624120000045
其中h、w和c分别是图像的高度、宽度和通道数量。
在损失函数搜索空间中加入感知损失的目的在于，损失函数不考虑图像质量(如感知质量、纹理细节等类目)，若只用L1像素损失或者L2像素损失训练自适应图像超分辨生成网络ARDN得到的超分辨图像往往结果感觉上缺乏高频信息，表现为生成图像过于平滑。为了评估生成的超分辨重建图像的感知质量，损失组成的搜索中加入了感知损失
Figure BDA0003149624120000051
利用预训练的VGG网络Φ计算高分辨图像I和超分辨重建图像
Figure BDA00031496241200000518
之间的语义差异。感知损失定义为VGG网络第l层提取的特征Φ(l)(I)和
Figure BDA00031496241200000517
之间的欧氏距离：
Figure BDA0003149624120000052
个体噪声损失设立的目的在于为了缓解基于生成对抗式网络的图像超分辨重建网络的生成结果容易产生伪影的问题。为表征该个体噪声损失项，使用总变分损失
Figure BDA0003149624120000053
来衡量单个生成图像中的噪声：
Figure BDA0003149624120000054
对抗损失不仅影响图像超分辨生成网络的结果性能指标，且决定了网络的训练方式。具体而言，当神经组件搜索方法选择对抗损失作为损失函数的组成部分时，图像超分辨生成网络将以对抗方式进行训练，交替训练从共享生成器超图中采样得到的生成器和从共享鉴别器超图中采样得到的鉴别器；而不选择对抗损失作为损失函数的组成部分时，则直接训练从共享生成器超图中采样得到的图像超分辨生成器网络。进一步地，当选择了对抗损失时，搜索到的鉴别器的最后一层Sigmoid层得到的结果为
Figure BDA0003149624120000055
或
Figure BDA0003149624120000056
然后计算得到
Figure BDA0003149624120000057
和
Figure BDA0003149624120000058
作为共享生成器
Figure BDA0003149624120000059
和共享鉴别器
Figure BDA00031496241200000510
的对抗损失：
Figure BDA00031496241200000511
Figure BDA00031496241200000512
定义了REINFORCE算法训练神经组件搜索方法搜索控制器的方式。具体而言，训练控制器的目的在于，为了找到最优的图像超分辨重建网络，控制器需要在计算量和参数量限制的情况下，使采样的超分辨重建网络的期望回报J(θC)最大:
Figure BDA00031496241200000513
Figure BDA00031496241200000514
其中m表示控制器单次搜索批次中搜索到的图像超分辨重建网络，T表示控制器超参数数量，θc表示控制器的参数，
Figure BDA00031496241200000515
表示第t个网络组件，Rk表示第k个搜索出来的网络在验证集上得到的奖励信号，b是基准函数，通过在搜索到的网络上应用指数滑动平均窗口计算得到。
为了在峰值信噪比PSNR和结构相似性SSIM两个性能指标间达到相对平衡，将奖励信号Rk定义为某个搜索到的网络在训练数据集上得到的PSNR和SSIM的加权和，且由于PSNR对生成结果的视觉观感应影响更大，在计算奖励信号时将PSNR的权重设置得更大：
Figure BDA00031496241200000516
上式中的具体参数设置为λ1＝0.8，λ2＝0.2，PSNRmax＝40，SSIMmax＝1.
本发明的有益效果是：
第一，本发明提出的神经组件搜索方法不仅搜索超分辨图像重建网络的结构，而且将损失函数、色彩空间、训练方式组为搜索空间的一部分，扩充了搜索空间的灵活性，减少了训练过程中先验知识的引入，实现了统一框架下可搜索不同网络应对不同图像超分辨应用场景。
第二，采用模块搜索和参数共享思想的方式设计本发明基于神经组件搜索方法的图像超分辨应用的搜索空间，大大加快了搜索时间，实现了网络模型的快速适配。
第三，本发明所设计的神经组件搜索方法不仅可应用于所设计的图像想分辨应用搜索空间，还可更改其他计算机视觉应用适配的搜索空间，形成一种通用的网络模型搜索框架。
附图说明
图1是本发明生成图像超分辨网络的神经组件搜索方法流框图；
其中LR,HR,SR分别表示低分辨图像、高分辨图像和超分辨生成图像。
图2是本发明图像超分辨网络的共享生成器框图；
图3是本发明图像超分辨网络的自适应特征提取单元示意图；
图4是本发明图像超分辨网络的自适应卷积块示意图；
图5是本发明图像超分辨网络的共享鉴别器框图；
图6是本发明图像超分辨网络的鉴别器块示意图；
图7是本发明计算量FLOPs限制为800G，500G，100G，50G时，分别使用PSNR和SSIM作为奖励信号搜索到的2倍率ARDN在基准数据集上的评估结果；
图8是本发明使用提出的奖励信号定义方式搜搜到的5个ARDN精炼过程中在Set5基准数据集上的评估结果变化曲线；
图9是本发明使用神经组件搜索方法搜搜到的ARDN可视化结果；
图10是本发明使用神经组件搜索方法搜搜到的ARDN与对比模型在Set5基准集上的参数量和性能比较结果。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
参照图1，本发明提出的生成图像超分辨网路的神经组件搜索方法具体实施步骤如下。
步骤S1：设计搜索空间
Figure BDA0003149624120000061
搜索空间是一种待搜索的超图，包含搜索可能的网络节点、连接路径、损失函数144-147、色彩空间。不同的网络节点顺序对结果的影响很大，如卷积层、激活层、归一化层的顺序通常是固定的，且太过自由的搜索空间会极大加大神经组件搜索方法的搜索难度，因此本发明提出了基于单元结构的搜索空间，共享生成器分为四类单元，共享鉴别器分为一类单元；共享生成器141、共享鉴别器142、损失函数144-147、色彩空间构成了共享网络147，其中感知网络143是预训练模型，权值固定；
步骤S2：使用控制器120从搜索空间
Figure BDA0003149624120000071
中采样网络组件
Figure BDA0003149624120000072
构建图像超分辨重建网络子图，该子图包含网络参数为
Figure BDA00031496241200000712
的共享生成器141和网络为
Figure BDA0003149624120000073
的共享鉴别器142；
步骤S3：训练共享生成器141的网络参数
Figure BDA00031496241200000711
和共享鉴别器142的网络参数
Figure BDA0003149624120000074
训练方法遵循生成对抗式网络(Generative Adversarial Network,GAN)的训练，共享生成器141和共享鉴别器142交替训练固定的轮次。该步骤训练结束后，讲共享生成器在验证集上进行评估，得到峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性(Structural Similarity Index,SSIM)指标，由此得到奖励信号150；
步骤S4：训练控制器120参数θc。使用步骤S3得到的PSNR和SSIM以及REINFORCE算法计算估计梯度，更新控制器参数θc；
步骤S5：重复步骤S2到步骤S4，直到训练达到指定接待次数，搜索过程终止；
步骤S6：精炼模型，将步骤S2到步骤S5搜索出的模型放到完整的数据集上进行较长轮次的训练，得到最终的超分辨图像重建模型，其参数为
Figure BDA00031496241200000713
训练共享网络时，在神经组件搜索方法的搜索空间中设置了四种损失函数，分别为像素损失144、全变分损失145、感知损失146和对抗损失147。
像素损失144进一步划分为L1像素损失
Figure BDA0003149624120000075
和L2像素损失
Figure BDA0003149624120000076
两项损失均为损失函数组成的一部分，两者的计算方式分别为：
Figure BDA0003149624120000077
Figure BDA0003149624120000078
其中h、w和c分别是图像的高度、宽度和通道数量。
在损失函数搜索空间中加入感知损失145的目的在于，损失函数不考虑图像质量(如感知质量、纹理细节等类目)，若只用L1像素损失或者L2像素损失训练自适应图像超分辨生成网络ARDN得到的超分辨图像往往结果感觉上缺乏高频信息，表现为生成图像过于平滑。为了评估生成的超分辨重建图像的感知质量，损失组成的搜索中加入了感知损失
Figure BDA0003149624120000079
利用预训练的VGG网络Φ143分辨图像I和超分辨重建图像I之间的语义差异。感知损失定义为VGG网络第l层提取的特征Φ(l)(I)和
Figure BDA00031496241200000710
之间的欧氏距离：
Figure BDA0003149624120000081
个体噪声损失设立的目的在于为了缓解基于生成对抗式网络的图像超分辨重建网络的生成结果容易产生伪影的问题。为表征该个体噪声损失项，使用总变分损失
Figure BDA0003149624120000082
146来衡量单个生成图像中的噪声：
Figure BDA0003149624120000083
对抗损失147不仅影响图像超分辨生成网络的结果性能指标，且决定了网络的训练方式。具体而言，当神经组件搜索方法选择对抗损失作为损失函数的组成部分时，图像超分辨生成网络将以对抗方式进行训练，交替训练从共享生成器超图中采样得到的生成器和从共享鉴别器超图中采样得到的鉴别器；而不选择对抗损失作为损失函数的组成部分时，则直接训练从共享生成器超图中采样得到的图像超分辨生成器网络。进一步地，当选择了对抗损失时，搜索到的鉴别器的最后一层Sigmoid层得到的结果为
Figure BDA0003149624120000084
或
Figure BDA0003149624120000085
然后计算得到
Figure BDA0003149624120000086
和
Figure BDA0003149624120000087
作为共享生成器
Figure BDA0003149624120000088
和共享鉴别器
Figure BDA0003149624120000089
的对抗损失：
Figure BDA00031496241200000810
Figure BDA00031496241200000811
训练控制器120时，REINFORCE算法定义了训练神经组件搜索方法搜索控制器的方式。具体而言，训练控制器的目的在于，为了找到最优的图像超分辨重建网络，控制器需要在计算量和参数量限制的情况下，使采样的超分辨重建网络的期望回报J(θC)最大:
Figure BDA00031496241200000812
Figure BDA00031496241200000813
其中m表示控制器单次搜索批次中搜索到的图像超分辨重建网络，T表示控制器超参数数量，θc表示控制器的参数，
Figure BDA00031496241200000814
表示第t个网络组件，Rk表示第k个搜索出来的网络在验证集上得到的奖励信号，b是基准函数，通过在搜索到的网络上应用指数滑动平均窗口计算得到。
参照图2，本发明提出的图像超分辨网络的共享生成器的具体组成结构如下。
自适应残差稠密图像超分辨网络ARDN的共享生成器搜索空间，其定义了图像超分辨重建网络的结构搜索空间，包含可被搜索的自适应残差稠密网络分支。具体来讲，图像超分辨生成网络的共享生成器包含四个主要模块，包括浅层特征提取(Shallow FeatureExtraction,SFE)211-212、自适应特征提取(Adaptive Feature Extraction,AFE)221-223、深度特征提取(Deep Feature Extraction,DFE)231-232和上采样(Upsample)240。需要注意的是，当使用纯卷积网络直接生成超分辨重建图像时，一些异常的噪声点可能会出现在生成图像上，且噪声点像素强度和相邻像素值之间的差异值很明显，造成感觉上的突兀。造成这种现象可解释的一种原因是，训练春卷及网络的目标是最小化损失，而噪声的出现会使得损失有一定程度的下降。在此基础上，为了一定程度上缓解这种噪声，本发明在共享生成器中加入了插值连接(Interpolation Shortcut,IS)250，在存在IS250的情况下，超分辨图像生成器生成的是插值后图像的像素细节调整，而不是完整的图像像素强度。
浅层特征提取模块SFE分为SFE1211和SFE2212；其深层特征提取模块DFE也分为DFE1231和DFE2232。在此设定基础上，进一步规定了SFE1211和DFE2232的搜索空间。对于SFE1231，搜索空间主要取决于不同色彩空间下SFE1的输入通道数量。当色彩空间为RGB时，SFE1211的输入通道为3；当色彩空间为YCbCr时，SFE1211的输入通道数为1。同样，DFE2232的搜索空间时不同色彩空间下的输出通道数，DFE2232的色彩空间为RGB和YCbCr时的输出通道分别为3和1。
同时在SFE1211后及上采样层240前构建了跨越连接，形成了全局特征统合260.
参照图3，本发明提出的自适应卷积块的具体组成结构如下。
自适应特征提取模块AFE包含了灵活多样的搜索空间，且AFE的数量不固定，这些特征决定了神经组件搜索方法搜索出来的图像超分辨重建网络的可伸缩性。每个AFE模块由多个稠密连接的自适应卷积块(Adaptive Convolution Blocks,ACB)311-313组成，同时输入特征被累加到每个AFE单元的输入特征中进行局部特征融合340。对于AFE模块，有四个影响图像超分辨重建网络大小的待搜索参数，分别为每个AFE单元的基准输出通道G0、每个ACB的输出通道G、AFE单元数量D和每个AFE单元中ACB的数量C。对于第d个包含C个自适应卷积块的自适应提取单元AFEd，输入特征是Fd-1，第c个自适应卷积块的输出特征是：
Fd，c＝ACBd，c(Fd，c-1)
＝ACBd，c(Fd-1+ACBd，1(Fd-1)+ACBd，2(Fd，1)+…+ACBd，c-11(Fd，c-2))
为了减少计算量，特征输入到每个AFE单元之前都要进行通道压缩操作。假设每个ACB输出一个具有G个通道的特征，则将C个具有G通道的特征和一个具有G通道的特征进行堆叠拼接320，得到G0+CG个通道，然后经过一次1×1卷积操作330，将特征通道压缩为G0然后发送给AFEd+1。
自适应卷积模块ACB稠密连接，且每个自适应特征提取模块AFE内的所有ACB输出会拼接后进行通道压缩，每个AFE模块内的输入和输出之间存在跳跃连接以实现局部特征融合340。
参照图4，本发明提出的自适应卷积块的具体组成结构如下。
每个ACB的搜索空间要集中在块内的归一化、激活类型和激活顺序的选择。归一化是为了使训练过程更稳定而广泛使用方法，针对图像超分辨数据集个体差异大的特点，在归一化域中选取了三个搜索空间，即批归一化(Batch Normalization,BN)411/422，实例归一化(Instance Normalization,IN)412/423和无归一化(w/o)413/424。自适应卷积块中激活函数的搜索空间选择了两种最为常用的激活类型：ReLU414/425和LReLU415/426。此外，前激活410和后激活420的不同选择对深度神经网络的准确性也有很大的影响。当神经组件搜索方法选择前激活410时，自适应卷积模块中张量的流通顺序为归一化411-413、激活函数414-415、卷积416；当神经组件搜索方法选择后激活420时，自适应卷积模块中的张量流通顺序为卷积421、归一化422-424、激活函数425-426。
结合图5，本发明提出的共享鉴别器的具体组成结构如下。
共享鉴别器的设立目的是当选择对抗损失作为损失组成的一部分来训练图像超分辨生成网络时，需要使用其提供该项损失。为了保证神经组件搜索的效率，本发明中共享鉴别器被设计为一个不可伸缩的网络。该不可伸缩的共享鉴别器由五个鉴别器块511-515以及两个全连接层520组成。当鉴别器分别输入生成的超分辨图像和真实高分辨图像时，鉴别器输出假性置信度530和真性置信度540.
结合图6，本发明提出的鉴别器块的具体组成结构如下。
共享鉴别器的搜索空间主要在于鉴别器块(Adaptive Discriminator Block)中归一化、激活类型和激活顺序的选择。共享鉴别器由五个鉴别器块和两个全连接层组成，最后的Sigmoid层输出最终的置信度。与自适应卷积块类似，每个鉴别器块中的归一化搜索空间包括批归一化BN611/622、谱归一化612/623和无归一化613/624。每个鉴别器模块的激活函数搜索空间包括ReLU614/625和LReLU615/626，激活顺序搜索空间包括前激活卷积模块610和后激活卷积模块620。当神经组件搜索方法选择前置激活卷积模块610时，每个鉴别器块中张量的流通顺序为归一化611-613、激活函数614-615、卷积616；当神经组件搜索方法选择后置激活卷积模块620时，每个鉴别器块中张量的流通顺序为卷积621、归一化622-624、激活函数625-626.
表1
Figure BDA0003149624120000101
Figure BDA0003149624120000111
表1说明了本发明了针对图像超分辨应用为神经组件搜索方法设计的搜索空间，神经组件搜索方法的控制器可编码出45种输出，包括15种待搜索的组件类型，着15种组件类型共可组成约28.7万个模型。
结合表1，从数据集、搜索细节、精炼细节三方面对本发明的设计细节做进一步阐述。
与大多数超分辨领域的研究一样，本发明选取DIV2K作为训练集，选取Set5、Set14、B100、Urban100作为基准数据集，对搜索出的图像超分辨网络进行性能评估，所有的性能评估指标都是在YCbCr色彩空间的亮度通道计算的。在搜索阶段，本发明搜索出的网络使用在Set5上评估出的PSNR和SSIM作为奖励信号，计算期望奖励J(θc)来训练控制器。
搜索细节方面，所设计的LSTM控制器可解码出45种输出，包括15种待搜索的组件类型，神经组件搜索方法一定进行65次迭代搜索，对于每一次搜索的过程，共享生成器和共享鉴别器交替训练15个批次，控制器训练30个批次。共享生成器和共享鉴别器的学习率都设置为2e-4，使用Adam优化器更新权值。控制器和共享网络都在显存大小为12G的NVIDIATitan-X上进行训练，受显存大小的限制，共性生成器和共享鉴别器的批处理大小都设置为16，训练时不采用完成图像进行训练，而是输入大小为32×32的图像块。训练共享生成器的损失按下式进行计算：
Figure BDA0003149624120000112
其中λi∈{0，1}，i＝1，2，3，4，由神经组件搜索方法控制器进行搜索得到。两个共享网络均使用KaimingUniform对权值进行初始化。LSTM控制器的学习率设置为3e-5，使用Adam优化器，每批搜索一组网络组件构建一个图像超分辨重建网络模型。
搜索阶段完成后，记录验证集上评估出的PSNR或SSIM最优的k个超分辨重建模型，然后对模型进行精炼。精炼过程中均使用Adam优化器训练搜索得到的生成器和鉴别器，共训练800个批次，一次训练输出64个图像，学习速度为1e-4。在训练到总批次的80％时，学习率下降到1e-5，其余设置和搜索过程的设置保持一致。
结合图7，本发明提出的神经组件搜索方法使用不同的奖励函数搜索得到的图像超分辨网络评估结果说明如下。
分别使用纯PSNR和SSIM作为奖励函数搜索出4个网络后得到在基础数据集上的结果，以说明本发明奖励函数如此设计的原因。搜索时，分别讲计算量FLOPs限制在800G，500G，100G和50G，搜索并精炼得到4个ARDN，从图中可以看到，使用PSNR作为奖励信号搜索自适应图像超分辨网络是一个更优的选择。此外，为了权衡PSNR和SSIM，本发明使用PSNR和SSIM的正则化加权和和表述奖励信号，且PNSR的权重相对更高：
Figure BDA0003149624120000121
上式中的具体参数设置为λ1＝0.8，λ2＝0.2，PSNRmax＝40，SSIMmax＝1。
结合图8，本发明使用提出的神经组件搜索方法搜索到的ARDN在精炼过程在Set5基准数据集上的评估分析如下。
这五个自适应图像超分辨网络ARDN的FLOPs限制为800G、500G、200G、100G、50G，分为用ARDNA-E表示，当整个精炼过程达到80％时，ARDN的学习率下降到原来的0.1，因而评估结果曲线在640个批次时会出现图像上升并在之后变得平缓。从图中可以直观地看出，在本发明搜素空间、搜索框架和搜索策略的设置下，ARDN的性能与模型大小由直接的关系：模型越大，性能呈现一定比例的上升。从训练日志可以看到，神经组件搜索方法几乎都会选择像素损失作为损失组成的重要部分，当模型的计算量限制设置得很大时，神经组件搜索方法倾向于讲辨别器损失和感知损失加入到损失函数中；而当模型只能设置得很小时，神经组件搜索方法倾向于选择插值连接IS以减少模型的参数量和计算量。
结合图9，本发明使用提出的神经组件搜索方法搜索到的ARDN可视化结果分析如下。
为更直观地展示搜索出的模型的性能，图9展示了搜索出的五个模型的可视化结果，五个模型的FLOPs限制分别为800G、500G、200G、100G、50G。图中展示的是五个ARDN在Set14的“face”、BSD100的“43074”，Set14的“ppt3”三个数据集图像的超分辨图像重建结果。显然，具有较大FLOPs的ARDN重建图像具有更清晰的细节，但在一些训练集中不常见的场景(如Set14中的“ppt3”)中，PNSR不会随着模型的增大就一定具有提升。
结合图10，本发明使用提出的神经组件搜索方法搜索到的ARDN与对比模型在Set5基准集上的参数量和性能比较分析如下。
本发明搜索得到的ARDN的参数量和PNSR定量结果与其他模型进行分析的结果如图10所示，图中搜索到的ARDN用三角形表示，其他模型用圆表示。在参数量相似的条件下，搜索到的ARDN可以与最优网络相匹敌，甚至在参数空间较大时，ARDN具有比最优模型更好的性能。
表2
Figure BDA0003149624120000131
图2表示缩放因子为2的ARDN与其他模型在四个基准数据集上的测试结果比较。为了公平地比较和分析模型，本发明设计了三个比较域慢(FLOPs>500G)、一般(100G<FLOPs≤500G)、快(FLOPs≤100G)。当缩放因子为2，ARDN与其他模型在基准数据集上的定量结果如表2所示。在三个比较域中，搜索出来的ARDN都具有很强的竞争力，且由于多个损失函数的可选择性，SSIM具有显著的优势，在三个比较域中都排在前2名。与之前的研究保持一致，FLOPs是在超分辨之后尺寸为128×128的图像上计算的。
表3
模型 设备 搜索时间
MoreMNAS Tesla-V100×8 ～7天
FALSR Tesla-V100×8 <1.5天
ESRN Tesla-V100×8 ～1天
ARDN Titan-X×1 ～7小时
表3说明了本发明提出的神经组件搜索方法与其他非手工设计网络搜索速度对比。由于采用了参数共享策略和REINFORCE算法，本文提出的NCS最显著的特点是其快速的搜索速度。与全局搜索方法或遗传算法不同，共享生成器和共享鉴别器的参数在搜索过程中可以重用，因此不需要每次搜索迭代中都对搜索到的超分辨图像重建网络进行从头训练，大大提高了搜索速度。本文方法的搜索速度与另外三种超分辨重建网络搜索方法MoreMNAS、FALSR和ESRN进行了比较，如表3示，另外三种模型都使用8GPU的Telsa-V100，而本文提出的方法在单个Titan-X上进行搜索。其它方法在搜索阶段至少需要1天的时间，而本文提出的NCS只需7小时左右。与其它方法相比，该方法的搜索速度得到了显著提高。

Claims (10)

1.一种生成图像超分辨网络的神经组件搜索方法，分为搜索和精炼两个过程，其特征在于：包括如下步骤：
步骤S1：设计搜索空间
Figure FDA0003149624110000011
搜索空间是一种待搜索的超图，包含搜索所有的网络节点、连接路径、损失函数、色彩空间；
步骤S2：使用控制器从搜索空间
Figure FDA0003149624110000012
中采样网络组件
Figure FDA0003149624110000013
构建图像超分辨重建网络子图，该子图包含网络参数为
Figure FDA0003149624110000014
的共享生成器和网络为
Figure FDA0003149624110000015
的共享鉴别器；共享生成器分为四类单元，共享鉴别器分为一类单元；
步骤S3：训练共享生成器的网络参数
Figure FDA0003149624110000016
和共享鉴别器的网络参数
Figure FDA0003149624110000017
训练方法遵循生成对抗式网络的训练，共享生成器和共享鉴别器交替训练固定的轮次。该步骤训练结束后，讲共享生成器在验证集上进行评估，得到峰值信噪比和结构相似性指标；
步骤S4：训练控制器参数θc；使用步骤S3得到的PSNR和SSIM以及REINFORCE算法计算估计梯度，更新控制器参数θc；
步骤S5：重复步骤S2到步骤S4，直到训练达到指定接待次数，搜索过程终止；
步骤S6：精炼模型，将步骤S2到步骤S5搜索出的模型放到完整的数据集上进行较长轮次的训练，得到最终的超分辨图像重建模型，其参数为
Figure FDA0003149624110000018
2.根据权利要求1所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：步骤S1所述的色彩空间，选取常用的RGB和YCbCr未作待搜索的色彩空间；当选择RGB作为色彩空间时，搜索出的图像超分辨重建网络生成3通道图像；当选择YCbCr作为色彩空间时，由于人类对亮度空间敏感，搜索出的图像超分辨重建网络仅重构YCbCr中的亮度通道，而通过插值的方法快读构建其他两个色差通道。
3.根据权利要求1所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：步骤S2所述的共享生成器搜索空间，其定义了图像超分辨重建网络的结构搜索空间，包含搜索可能的自适应残差稠密网络分支；共享生成器包含四个主要模块，分别是浅层特征提取SFE、自适应特征提取AFE、深度特征提取DFE和上采样Upsample；共享生成器中加入了插值连接IS，在存在IS的情况下，生成器生成的是插值后图像的像素细节调整，而不是完整的图像像素强度。
4.根据权利要求3所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：所述浅层特征提取层SFE，分为SFE1和SFE2；深层特征提取层DFE也分为DFE1和DFE2；对于SFE1，搜索空间取决于不同色彩空间下SFE1的输入通道数量；当色彩空间为RGB时，SFE1的输入通道为3；当色彩空间为YCbCr时，SFE1的输入通道数为1；同样，DFE2的搜索空间时不同色彩空间下的输出通道数，DFE2的色彩空间为RGB和YCbCr时的输出通道分别为3和1。
5.根据权利要求3所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：所述自适应特征提取模块AFE，每个AFE模块由多个稠密连接的自适应卷积块组成，同时输入特征被累加到每个AFE单元的输入特征中进行局部特征融合；对于AFE模块，有四个影响图像超分辨重建网络大小的待搜索参数，分别为每个AFE单元的基准输出通道G0、每个ACB的输出通道G、AFE单元数量D和每个AFE单元中ACB的数量C；对于第d个包含C个自适应卷积块的自适应提取单元AFEd，输入特征是Fd-1，第c个自适应卷积块的输出特征是：
Fd，c＝ACBd，c(Fd，c-1)
＝ACBd，c(Fd-1+ACBd，1(Fd-1)+ACBd，2(Fd，1)+…+ACBd，c-11(Fd，c-2))
为了减少计算量，特征输入到每个AFE单元之前都要进行通道压缩操作；假设每个ACB输出一个具有G个通道的特征，则将C个具有G通道的特征和一个具有G通道的特征进行堆叠拼接，得到G0+CG个通道，然后经过一次1×1卷积，将特征通道压缩为G0然后发送给AFEd+1。
6.根据权利要求5所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：所述自适应卷积模块ACB，其搜索空间集中在块内的归一化、激活类型和激活顺序的选择；归一化是为了使训练过程更稳定而广泛使用方法，针对图像超分辨数据集个体差异大的特点，在归一化域中选取了三个搜索空间，即批归一化BN、实例归一化IN和无归一化w/o；自适应卷积块中激活函数的搜索空间选择了两种激活类型：ReLU和LReLU；此外，前激活和后激活的不同选择对深度神经网络的准确性也有很大的影响；当神经组件搜索方法选择前激活时，自适应卷积模块中张量的流通顺序为归一化、激活函数、卷积；当神经组件搜索方法选择后激活时，自适应卷积模块中的张量流通顺序为卷积、归一化、激活函数。
7.根据权利要求3所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：所述上采样模块分为五种类型，包括双线性插值、最近邻插值、双三次插值、反卷积和亚像素卷积；根据上采样因子的不同，每种上采样类型设置了遇上采样因子数量等同的搜索空间。
8.根据权利要求1所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：步骤S2所述的共享鉴别器，为一个不可伸缩的网络；共享鉴别器的搜索空间在于鉴别器块中归一化、激活类型和激活顺序的选择；共享鉴别器由五个鉴别器块和两个全连接层组成，最后的Sigmoid层输出最终的置信度；与自适应卷积块类似，每个鉴别器块中的归一化搜索空间包括批归一化、谱归一化和无归一化；每个鉴别器模块的激活函数搜索空间包括ReLU和LReLU，激活顺序搜索空间包括前激活卷积模块和后激活卷积模块。
9.根据权利要求1所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：步骤S1所述的损失函数分为四种，分别是像素损失、感知损失、个体噪声损失和对抗损失；
所述像素损失，神经组件搜索方法搜索L1像素损失
Figure FDA0003149624110000031
和L2像素损失
Figure FDA0003149624110000032
两者的计算方式分别为：
Figure FDA0003149624110000033
Figure FDA0003149624110000034
其中h、w和c分别是图像的高度、宽度和通道数量；
所述感知损失
Figure FDA0003149624110000035
利用预训练的VGG网络Φ计算高分辨图像I和超分辨重建图像I之间的语义差异；感知损失定义为VGG网络第l层提取的特征Φ(l)(I)和
Figure FDA00031496241100000316
之间的欧氏距离：
Figure FDA0003149624110000036
所述个体噪声损失，使用总变分损失
Figure FDA0003149624110000037
来衡量单个生成图像中的噪声：
Figure FDA0003149624110000038
所述对抗损失，当神经组件搜索方法选择对抗损失作为损失组成部分时，搜索到的鉴别器的最后一层Sigmoid层得到的结果为
Figure FDA0003149624110000039
或
Figure FDA00031496241100000310
然后计算得到
Figure FDA00031496241100000311
和
Figure FDA00031496241100000312
作为共享生成器
Figure FDA00031496241100000313
和共享鉴别器
Figure FDA00031496241100000314
的对抗损失：
Figure FDA00031496241100000315
Figure FDA0003149624110000041
10.根据权利要求1所述的一种生成图像超分辨网络的神经组件搜索方法，其特征在于：步骤S4所述的REINFORCE算法，其目标在于，为了找到最优的图像超分辨重建网络，控制器需要在计算量和参数量限制的情况下，使采样的超分辨重建网络的期望回报J(θC)最大：
Figure FDA0003149624110000042
Figure FDA0003149624110000043
其中m表示控制器单次搜索批次中搜索到的图像超分辨重建网络，T表示控制器超参数数量，θc表示控制器的参数，
Figure FDA0003149624110000044
表示第t个网络组件，Rk表示第k个搜索出来的网络在验证集上得到的奖励信号，b是基准函数，通过在搜索到的网络上应用指数滑动平均窗口计算得到；
所述奖励函数，将其设计为PSNR和SSIM的加权和，且PSNR权重更大：
Figure FDA0003149624110000045
上式中的具体参数设置为λ1＝0.8，λ2＝0.2，PSNRmax＝40，SSIMmax＝1。
CN202110762910.3A 2021-07-06 2021-07-06 一种生成图像超分辨网络的神经组件搜索方法 Active CN113298239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762910.3A CN113298239B (zh) 2021-07-06 2021-07-06 一种生成图像超分辨网络的神经组件搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762910.3A CN113298239B (zh) 2021-07-06 2021-07-06 一种生成图像超分辨网络的神经组件搜索方法

Publications (2)

Publication Number Publication Date
CN113298239A true CN113298239A (zh) 2021-08-24
CN113298239B CN113298239B (zh) 2024-04-16

Family

ID=77330620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762910.3A Active CN113298239B (zh) 2021-07-06 2021-07-06 一种生成图像超分辨网络的神经组件搜索方法

Country Status (1)

Country Link
CN (1) CN113298239B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930308A (zh) * 2019-11-15 2020-03-27 东南大学 一种图像超分辨生成网络的结构搜索方法
CN112381733A (zh) * 2020-11-13 2021-02-19 四川大学 面向图像恢复的多尺度神经网络结构搜索方法及网络应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930308A (zh) * 2019-11-15 2020-03-27 东南大学 一种图像超分辨生成网络的结构搜索方法
CN112381733A (zh) * 2020-11-13 2021-02-19 四川大学 面向图像恢复的多尺度神经网络结构搜索方法及网络应用

Also Published As

Publication number Publication date
CN113298239B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN109584161A (zh) 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN114202017A (zh) 基于条件生成对抗网络的sar光学图像映射模型轻量化方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
Hu et al. Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution
CN111091059A (zh) 一种生活垃圾塑料瓶分类中的数据均衡方法
Gendy et al. Lightweight image super-resolution based on deep learning: State-of-the-art and future directions
CN111986085A (zh) 一种基于深度反馈注意力网络系统的图像超分辨率方法
CN110930308B (zh) 一种图像超分辨生成网络的结构搜索方法
CN115311187A (zh) 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN106023268A (zh) 一种基于两步参数子空间优化的彩色图像灰度化方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN117391958B (zh) 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法
CN111784583A (zh) 一种用于降水图的循环随机超分辨率生成对抗网络
CN113298239A (zh) 一种生成图像超分辨网络的神经组件搜索方法
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116757979A (zh) 胚胎图像融合方法、装置、电子设备及存储介质
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN113780146B (zh) 基于轻量化神经架构搜索的高光谱图像分类方法及系统
CN116258165A (zh) 一种融合卷积及自注意力的多目标神经架构搜索方法
CN114677313A (zh) 一种生成多对抗网络结构的遥感图像空谱融合方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant