CN111583109A - 基于生成对抗网络的图像超分辨率方法 - Google Patents

基于生成对抗网络的图像超分辨率方法 Download PDF

Info

Publication number
CN111583109A
CN111583109A CN202010329481.6A CN202010329481A CN111583109A CN 111583109 A CN111583109 A CN 111583109A CN 202010329481 A CN202010329481 A CN 202010329481A CN 111583109 A CN111583109 A CN 111583109A
Authority
CN
China
Prior art keywords
image
network model
network
resolution
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329481.6A
Other languages
English (en)
Other versions
CN111583109B (zh
Inventor
刘闯闯
严伊彤
金龙存
彭新一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010329481.6A priority Critical patent/CN111583109B/zh
Publication of CN111583109A publication Critical patent/CN111583109A/zh
Application granted granted Critical
Publication of CN111583109B publication Critical patent/CN111583109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了基于生成对抗网络的图像超分辨率方法。所述方法包括以下步骤：获取训练数据集、验证数据集；构建图像超分辨率模型，包括生成网络模型和判别网络模型；初始化建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；使用损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡；获取测试数据集并输入到训练好的生成网络模型，生成超分辨率图像；计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。本发明通过优化网络结构来提升网络重建超分辨率图像的性能，解决图像超分辨率问题。

Description

基于生成对抗网络的图像超分辨率方法
技术领域
本发明涉及计算机视觉领域，具体涉及基于生成对抗网络(GAN)的图像超分辨率方法。
背景技术
在日常的生产生活中，图像是一种重要的信息载体，而图像分辨率是衡量图像质量的重要标准之一。高分辨率图像包含更多的纹理特征，可以提供更多的信息，因此在生产生活中人们更希望获取到高分辨率图像。但是由于成像设备的参差不齐、网络传输过程图像信息的丢失等原因，通过图像超分辨率来提高图像的分辨率成本更低、效果好、更容易实现。因此图像超分辨率更为实用，对图像超分辨率任务的研究具有重要意义。
图像超分辨率方法主要分为三种：基于插值的、基于重建的和基于学习的。近年来，深度学习被广泛应用于计算机视觉领域，取得不错的效果，基于深度学习的图像超分辨率算法也不断提出并取得很好的重建效果和较快的重建速度。董超等人提出的SRCNN首次将卷积神经网络(CNN)引入到图像超分辨率任务，并取得不错的重建效果。自此，大量基于CNN的图像超分辨率方法提出，学者通过加深网络来提高网络的重建性能。但是使用均方误差损失(MSE)来优化网络会使得生成的图像过于平滑，视觉效果差。SRGAN(Ledig C,TheisL,Huszár F,et al.Photo-realistic single image super-resolution using agenerative adversarial network[A].In:Proceedings of the IEEE conference oncomputer vision and pattern recognition[C],2017.4681–4690.)将生成对抗网络(GAN)引入到图像超分辨率任务中，利用感知损失和对抗损失等损失函数来监督网络，使得生成图像具有更好的视觉效果，更加接近于真实图像。ESRGAN(Wang X,Yu K,Wu S,etal.Esrgan:Enhanced super-resolution generative adversarial networks[A].In:European Conference on Computer Vision[C],2018.63–79.)提出使用Residual-in-Residual Dense Block(RRDB)来构建生成网络，使用RaGAN(Jolicoeur-Martineau A.Therelativistic discriminator:a key element missing from standard GAN[J].arXivpreprint arXiv:1807.00734,2018.)的判别网络来监督生成网络，生成的图像视觉效果更好。
但是上述的基于生成对抗网络(GAN)的图像超分辨率方法SRGAN和ESRGAN也存在一些问题：
1)这些基于GAN的图像超分辨率方法的判别网络往往只输出一个介于[0,1]的概率值，在整体上判断输入图像是生成的超分辨率图像还是真实高分辨率图像，以此来监督生成网络来生成更接近真实高分辨率图像的超分辨率图像。但是这种监督是粗糙的，生成网络不知道生成图像的哪个像素点的重建效果更好，哪个像素点的重建的效果更差。
2)这些基于GAN的图像超分辨率方法通常包含两个独立的网络——生成网络和判别网络。但是，生成网络和判别网络的浅层部分都是用于提取图像的底层特征，包括边缘，角点等信息。这两个网络的浅层部分具有相似或者相同的作用，但是却独立在不同的分支中，增加了模型的参数量。其次，生成网络和判别网络在的信息传递上只有对抗损失，判别网络将对抗损失传递给生成网络，生成网络通过该损失学习生成使判别器分类错误的超分辨率图像。对抗损失对生成网络的影响是不充分的，不能全面地向生成网络反映出如何更好地生成靠近真实高分辨率图像的超分辨率图像的。
发明内容
本发明的目的在于解决上述的问题，提供两种改进的基于GAN的图像超分辨率方法。本发明通过改进的生成式对抗网络来解决图像超分辨率问题，使用判别网络来监督生成网络，使生成网络生成更接近于真实图像的超分辨率图像。与之前的基于GAN的图像超分辨率网络比较，本发明能够生成更高质量的超分辨率图像。
本发明的目的至少通过以下技术方案之一实现。
基于生成对抗网络的图像超分辨率方法，包括以下步骤：
S1、获取训练数据集、验证数据集；
S2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；
S3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；
S4、首先使用L1损失来训练生成网络模型直到网络收敛，使得生成网络具有较好的重建图像的能力，保存训练过程中的生成网络模型；加载预训练好的生成网络模型，使用生成网络和判别网络的损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡，保存此过程中的生成网络模型和判别网络模型；
S5、获取测试数据集；
S6、加载训练好的生成网络模型，将测试数据集输入到生成网络模型，生成超分辨率图像；
S7、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比(PSNR)，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。
进一步地，步骤S1中，采用DIV2K数据集中的若干张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；对原始的2K图像进行下采样处理得到低分辨率图像，与原始的高分辨率图像构成训练样本对；由于原始的图像尺寸太大，直接输入到网络模型中进行训练会造成网络模型计算量过大，减慢训练速度，因此对训练图像进行随机剪裁，将低分辨率图像裁剪为M×K大小的图像块，其中M代表图像块的高度，K代表其宽度，对应的高分辨率图像裁剪为Mr×Kr，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，将成对的训练数据即低分辨率-高分辨率图像进行翻转和旋转操作，包括90°、180°和270°；
所述验证数据集采用Set5数据集，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。
进一步地，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述的判别网络模型采用Unet结构，上分支与传统的判别网络模型具有相同的结构，利用步长为2的池化层来减少特征图的空间大小，扩大感受野；经过R次池化层，特征图的空间大小变为原来的
Figure BDA0002464429590000031
倍；每个池化层后跟随两个卷积层，提取特征。在特征图最小的情况下使用两个全连接层输出图像的整体统计特征，即判别网络模型对输入图像整体上的判别，1代表输入的是真实图像，而0代表输入的是生成图像；
所述判别网络模型的下分支采用不断上采样的方式，逐步扩大特征图的空间大小，将上分支与下分支具有相同大小的特征图进行串联，利于判别网络模型中的信息流动和对下分支中浅层次特征的充分利用；每个上采样后的特征图经过两个卷积层处理；下分支最终输出一个与输入图像大小相同的掩码图(Mask map)，表示判别网络模型对输入图像的每个像素的判别信息，其中，该像素上的值越接近于1代表该像素与真实图像的对应像素越相似，反之越不相似；将此掩码图加入到生成网络模型的损失函数中，使生成网络模型关注于重建得不好的像素，监督生成网络模型去重建出更高质量的超分辨率图像；判别网络模型的损失函数包括两个部分：对抗损失和细粒度的attention损失，公式如下：
Figure BDA0002464429590000032
Figure BDA0002464429590000033
表示对抗损失，采用RaGAN中的损失函数，公式如下：
Figure BDA0002464429590000034
其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure BDA0002464429590000035
代表对批数据量中所有的假数据求期望的操作，而
Figure BDA0002464429590000036
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成图像，所述真实数据为真实图像；
Figure BDA0002464429590000037
表示细粒度的attention损失，公式如下：
Figure BDA0002464429590000038
其中，Mr和Mf分别代表了真实图像和生成图像的掩码图，W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，则生成网络模型的输出图像的宽度为Wr，而长度为Hr。
进一步地，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述生成网络模型采用RRDB(Residual-in-Residual Dense Block)作为基础模块，通过以线性串联的方式来堆叠A个RRDB来构建深层的网络结构，重建出高质量的超分辨率图像；生成网络模型的损失函数如下：
LG＝L1+λadv*Ladv+λattention*Lattention+λpercep*Lpercep；
其中，λadv、λattention、λpercep代表平衡不同损失函数项的系数；
Lattention表示细粒度的attention损失，公式如下：
Figure BDA0002464429590000041
其中，Mf是判别网络模型络生成的超分辨率图像的掩码图(Mask map)，Mf(w,h,c)表示生成图像ISR(w,h,c)与真实图像之间的每个像素的差异，使用1-Mf(w,h,c)的方法来给图像的每个像素分配不同的权重，使得与真实图像分布差异较大的像素受到更多的关注；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure BDA0002464429590000042
其中，
Figure BDA0002464429590000043
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure BDA0002464429590000044
其中
Figure BDA0002464429590000045
是指预训练的VGG19网络的函数，G表示生成网络模型，
Figure BDA0002464429590000046
和
Figure BDA0002464429590000047
分别是第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure BDA0002464429590000048
进一步地，步骤S2中，特征共享的基于GAN的图像超分辨率方法中，将生成网络和判别网络的浅层特征提取模块协同起来，减少模型的参数；生成网络和判别网络共同优化浅层特征提取模块，有利于提取出更加有效的特征；共用的浅层特征提取模块采用特征图的大小不变的全卷积神经网络，公式如下：
Hshared＝Fshared(x)；
其中Fshared代表共用的浅层特征提取模块的函数，Hshared代表浅层特征提取模块所输出的特征图，x指的是输入到浅层特征提取模块的特征图。
进一步地，特征共享的基于GAN的图像超分辨率方法中，所述生成网络模型包括浅层特征提取模块、深层特征提取模块和重建模块；其中，深层特征提取模块的基础模块与浅层特征提取模块的相同；浅层特征提取模型由S个RRDB构成，而深层特征提取模块由D个RRDB通过线性串联的方式堆叠而成，D＞S，用于提取更多的抽象特征和高频特征，为重建出高质量的超分辨率图像提供重要信息；重建模块通过上采样层来将特征图放大到指定的尺寸，使用卷积层重建出超分辨率图像；
生成网络模型的损失函数包括对抗损失、内容损失和感知损失，如下：
LG＝L1+λadv*Ladv+λpercep*Lpercep；
λadv和λpercep代表平衡不同损失函数项的系数；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure BDA0002464429590000051
其中，
Figure BDA0002464429590000052
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure BDA0002464429590000053
其中
Figure BDA0002464429590000054
是指预训练的VGG19网络的函数，G表示生成网络模型，
Figure BDA0002464429590000055
和
Figure BDA0002464429590000056
分别是第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure BDA0002464429590000057
进一步地，特征共享的基于GAN的图像超分辨率方法中，所述判别网络模型是一个分类网络，需要使用更大的感受野去获取图像在整体上的抽象特征；使用类似VGG网络的结构作为判别网络模型，判别网络模型由N个卷积层组合和一个线性分类器组成，所述卷积层组合是由卷积核为3的一层卷积和卷积核为4，步长为2的卷积层组成的；为了减少信息的损失，判别网络模型使用了步长为2的卷积层来替代池化层，从而减小特征图的大小；为了保持较好的特征表达能力，在减小特征图的同时增加通道的数目；最后，将特征图变为一维的向量，并通过两层的全连接网络输出对输入图像判别的分类值，其中0表示生成图像(fake)，1表示真实图像(real)；
判别网络模型的损失函数为对抗损失，具体如下：
Figure BDA0002464429590000061
其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure BDA0002464429590000062
代表对批数据量中所有的假数据求期望的操作，而
Figure BDA0002464429590000063
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成的超分辨率图像，所述真实数据为真实的高分辨率图像。
进一步地，步骤S3中，对所述生成网络模型和判别网络模型中的所有卷积层采用kaiming_normal来初始化其权重；选取Adam作为网络训练时的优化器；
所述网络训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络的批数据量、初始学习率Lr_initial；ADAM优化器的参数、生成网络和判别网络的损失函数中各项损失函数的系数以及训练的迭代次数niter。
迭代训练的过程中，生成网络模型和判别网络模型的损失函数的收敛曲线可能会产生震荡，表明当前的学习率过大，因此，在同时训练生成网络模型和判别网络模型时，每隔lr_step步将学习率减半，加速生成网络模型和判别网络模型的收敛速度，提高生成网络模型的重建性能和判别网络模型的判别性能；在训练过程中使用ADAM优化器来对生成网络模型和判别网络模型的梯度进行反向传播，不断更新两个模型的权重。
进一步地，步骤S4中，在网络训练的初期使用多个损失函数训练会使得网络训练动荡，损失函数的曲线难以收敛；因此，首先采用L1损失对生成网络模型进行预训练，得到预训练好的生成网络模型。训练过程中采用ADAM优化器进行梯度的反向传播，更新参数；初始学习率为lr_G，迭代次数为niter_G，每隔lr_step_G次迭代对学习率进行减半，加快生成网络模型的收敛和提高生成网络模型的重建性能；接着使用上述的生成网络的损失函数和判别网络的损失函数来同时训练生成网络模型和判别网络模型；当生成网络模型和判别网络模型达到纳什平衡时，生成网络模型生成的超分辨率图像，使得判别网络模型不能区分出是生成的超分辨率图像还是真实的高分辨率图像；
步骤S5中，测试数据集采用图像超分辨率任务中常见的测试数据集Set5、Set14、Urban100、BSD100、Manga109和DIV2K验证集测试数据集。
进一步地，步骤S7中，采用根均方误差(RMSE)和感知指数(PI)作为图像重建质量的评价指标，将图像转到YCbCr空间，在Y通道上进行计算根均方误差或者峰值信噪比PNSR。
Figure BDA0002464429590000064
其中H、W为低分辨率图像的长度和宽度，r为放大因子，X为真实图像，
Figure BDA0002464429590000065
为生成的超分辨率图像。
Figure BDA0002464429590000071
MSE为均方误差，n为每像素的比特数；PSNR的单位是分贝(dB)，数值越大表示失真越小，重建质量越好；
Figure BDA0002464429590000072
其中Ma(Ma C,Yang C Y,Yang X,et al.Learning a No-Reference QualityMetric for Single-Image Super-Resolution[J].Computer Vision and ImageUnderstanding,2017,158:1-16)与NIQE(Mittal A,Fellow,IEEE,et al.Making a'Completely Blind'Image Quality Analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212.)是两个无参考图像测量方式，用于感知质量评估；PI被用来作为2018PIRM Challenge on Perceptual Image Super-Resolution(Blau Y,Mechrez R,Timofte R,et al.The 2018 PIRM Challenge on Perceptual Image Super-Resolution[A].In European Conference on Computer Vision[C],2018.7794-7803.)的评价指标之一；PI与人类对图像的主观评价有相关性，数值越小，在一定程度上反映了图像越具有感知质量，为了保证重建的超分辨率图像在内容上与真实的高分辨率图像相似，PI通常需要与MSE结合来评价重建图像的质量。
相比于现有技术，本发明的优点在于：
1)本发明提出了基于生成对抗网络的图像超分辨率方法，包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)和特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)。其中FASRGAN采用Unet结构来构建判别网络，使其输出一个在整体图像上判断输入图像是生成的图像还是真实的图像的介于[0,1]的分类值，和一个在像素层面上判断输入图像在每个像素上与真实的图像之间的差异的掩码图(Mask map)。将Mask map加入到生成网络模型的损失函数中，使生成网络更加关注于重建图像中效果较差的部分，从而重建出质量更好的超分辨率图像。Fs-SRGAN将生成网络和判别网络的浅层特征提取部分进行共享，使得这两个网络共用一个浅层特征提取模块，在减少生成网络模型和判别网络模型的参数量的同时，让生成网络和判别网络的损失函数来共同优化该浅层特征提取模块，有利于该模块提取到对生成网络和判别网络更加有效的特征，从而提高生成网络的重建能力。
2)本发明通过优化网络结构来提升网络重建超分辨率图像的性能，解决图像超分辨率问题，并且取得比当前主流的图像超分辨率方法更好的重建效果。
附图说明
图1基于生成对抗网络(GAN)方法的图像超分辨率方法的网络模型，生成网络(Generator)包括浅层特征提取模块、深层特征提取模型、重建模块，重建高质量的超分辨率图像，而判别网络(Discriminator)包含浅层特征提取、深层抽象特征表示、分类器，判别输入图像为真实高分辨率图像(real)还是虚假的生成图像(fake)；
图2本发明的训练流程图与测试流程图；
图3为细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)的判别网络，其中，K、S、G分别表示卷积层中卷积核大小、卷积步长和通道数；
图4为特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)的网络模型；
图5为本发明提出的两个基于GAN的图像超分辨率方法的网络训练方式和步骤；
图6为本发明中的FASRGAN与当前流行的图像超分辨率方法在放大因子为4时的结果示意图；
图7为本发明中FASRGAN的消融实验结果示意图，去掉细粒度注意力机制；
图8为当放大因子为4时，本发明中Fs-SRGAN与当前流行的图像超分辨率方法的视觉对比图；
图9为本发明中Fs-SRGAN的消融实验结果示意图，去掉特征共享机制；
图10为在放大因子为4时，本发明中提出的两种方法与当前流行的图像超分辨率方法在数据集Urban100中均方根误差(RMSE)与感知指标(PI)之间的权衡，其中FA+Fs-GAN将本发明中的细粒度注意力机制和特征共享机制融合到同一个基于GAN的图像超分辨率模型中；
图11为本发明训练过程中，当放大因子为4时，本发明方法在Set14数据集上平均PI值的变化曲线，其中FA+Fs-GAN将本发明中的细粒度注意力机制和特征共享机制融合到同一个基于GAN的图像超分辨率模型中。
具体实施方式
下面结合实施例及附图对本发明的具体实施作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
基于生成对抗网络的图像超分辨率方法，如图2所示，包括以下步骤：
S1、获取训练数据集、验证数据集；
本实施例中，采用DIV2K数据集中的800张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；对原始的2K图像进行下采样处理得到低分辨率图像，与原始的高分辨率图像构成训练样本对；由于原始的图像尺寸太大，直接输入到网络模型中进行训练会造成网络模型计算量过大，减慢训练速度，因此对训练图像进行随机剪裁，将低分辨率图像裁剪为M×K大小的图像块，其中M代表图像块的高度，K代表其宽度，对应的高分辨率图像裁剪为Mr×Kr，r为放大因子；本实例中，将低分辨率图像裁剪为48×48大小的图像块，则当放大因子为2时，其对应的高分辨率图像块为96。为了增强训练数据集中数据的多样性和扩展数据量，将成对的训练数据即低分辨率-高分辨率图像进行翻转和旋转操作，包括90°、180°和270°；
所述验证数据集采用Set5数据集，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。
S2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；
如图3所示，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述的判别网络模型采用Unet结构，上分支与传统的判别网络模型具有相同的结构，利用步长为2的池化层来减少特征图的空间大小，扩大感受野；经过R次池化层，特征图的空间大小变为原来的
Figure BDA0002464429590000091
倍，本实施例中，将R设为3；每个池化层后跟随两个卷积核为3的卷积层，提取特征。在特征图最小的情况下使用两个全连接层输出图像的整体统计特征，即判别网络模型对输入图像整体上的判别，1代表输入的是真实图像，而0代表输入的是生成图像；
所述判别网络模型的下分支采用不断上采样的方式，本实施例采用双线性对特征图进行上采样，逐步扩大特征图的空间大小，将上分支与下分支具有相同大小的特征图进行串联，利于判别网络模型中的信息流动和对下分支中浅层次特征的充分利用；每个上采样后的特征图经过两个卷积核为3的卷积层处理；下分支最终输出一个与输入图像大小相同的掩码图(Mask map)，表示判别网络模型对输入图像的每个像素的判别信息，其中，该像素上的值越接近于1代表该像素与真实图像的对应像素越相似，反之越不相似；将此掩码图加入到生成网络模型的损失函数中，使生成网络模型关注于重建得不好的像素，监督生成网络模型去重建出更高质量的超分辨率图像；判别网络模型的损失函数包括两个部分：对抗损失和细粒度的attention损失，公式如下：
Figure BDA0002464429590000092
Figure BDA0002464429590000093
表示对抗损失，采用RaGAN中的损失函数，公式如下：
Figure BDA0002464429590000094
其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure BDA0002464429590000095
代表对批数据量中所有的假数据求期望的操作，而
Figure BDA0002464429590000096
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成图像，所述真实数据为真实图像；
Figure BDA0002464429590000097
表示细粒度的attention损失，公式如下：
Figure BDA0002464429590000098
其中，Mr和Mf分别代表了真实图像和生成图像的掩码图，W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，则生成网络模型的输出图像的宽度为Wr，而长度为Hr。
如图1所示，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述生成网络模型结构与既有的基于生成对抗网络的图像超分辨率方法，ESRGAN(Wang X,Yu K,Wu S,etal.Esrgan:Enhanced super-resolution generative adversarial networks[A].In:European Conference on Computer Vision[C],2018.63–79.)的结构类似，包含浅层特征提取模块、深层特征提取模块和重建模块。所述的生成网络模型采用一层3×3卷积作为浅层特征提取模块，采用RRDB(Residual-in-Residual Dense Block)作为基础模块，通过以线性串联的方式来堆叠A个RRDB来构建深层特征提取模块，本实施例将A设置为23，提取的深层特征经过上采样层和重建层，重建出高质量的超分辨率图像，本实施例的上采样层采用sub-pixel的方法，重建层为一层3×3的卷积；生成网络模型的损失函数如下：
LG＝L1+λadv*Ladv+λattention*Lattention+λpercep*Lpercep；
其中，λadv、λattention、λpercep代表平衡不同损失函数项的系数；
Lattention表示细粒度的attention损失，公式如下：
Figure BDA0002464429590000101
其中，Mf是判别网络模型络生成的超分辨率图像的掩码图(Mask map)，Mf(w,h,c)表示生成图像ISR(w,h,c)与真实图像之间的每个像素的差异，使用1-Mf(w,h,c)的方法来给图像的每个像素分配不同的权重，使得与真实图像分布差异较大的像素受到更多的关注；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure BDA0002464429590000102
其中，
Figure BDA0002464429590000103
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure BDA0002464429590000104
其中
Figure BDA0002464429590000105
是指预训练的VGG19网络的函数，G表示生成网络模型，
Figure BDA0002464429590000106
和
Figure BDA0002464429590000107
分别是第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure BDA0002464429590000111
如图4所示，特征共享的基于GAN的图像超分辨率方法中，将生成网络和判别网络的浅层特征提取模块协同起来，减少模型的参数；生成网络和判别网络共同优化浅层特征提取模块，有利于提取出更加有效的特征；共用的浅层特征提取模块采用特征图的大小不变的全卷积神经网络，公式如下：
Hshared＝Fshared(x)；
其中Fshared代表共用的浅层特征提取模块的函数，Hshared代表浅层特征提取模块所输出的特征图，x指的是输入到浅层特征提取模块的特征图。
如图4所示，特征共享的基于GAN的图像超分辨率方法中，所述生成网络模型包括浅层特征提取模块、深层特征提取模块和重建模块；其中，深层特征提取模块的基础模块与浅层特征提取模块的相同；浅层特征提取模型由S个RRDB构成，而深层特征提取模块由D个RRDB通过线性串联的方式堆叠而成，D＞S，用于提取更多的抽象特征和高频特征，为重建出高质量的超分辨率图像提供重要信息；重建模块通过上采样层来将特征图放大到指定的尺寸，使用卷积层重建出超分辨率图像；本实施例将S设为1，D设为16，上采样层采用sub-pixel的方式。
生成网络模型的损失函数包括对抗损失、内容损失和感知损失，如下：
LG＝L1+λadv*Ladv+λpercep*Lpercep；
λadv和λpercep代表平衡不同损失函数项的系数；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure BDA0002464429590000112
其中，
Figure BDA0002464429590000113
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure BDA0002464429590000114
其中
Figure BDA0002464429590000115
是指预训练的VGG19网络的函数，G表示生成网络模型的函数，
Figure BDA0002464429590000116
和
Figure BDA0002464429590000117
分别是第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure BDA0002464429590000121
如图4所示，特征共享的基于GAN的图像超分辨率方法中，所述判别网络模型是一个分类网络，需要使用更大的感受野去获取图像在整体上的抽象特征；使用类似VGG网络的结构作为判别网络模型，判别网络模型由N个卷积层组合和一个线性分类器组成，所述卷积层组合是由卷积核为3的一层卷积和卷积核为4，步长为2的卷积层组成的，本实施例将N设为5；为了减少信息的损失，判别网络模型使用了步长为2的卷积层来替代池化层，从而减小特征图的大小；为了保持较好的特征表达能力，在减小特征图的同时增加通道的数目；最后，将特征图变为一维的向量，并通过两层的全连接网络输出对输入图像判别的分类值，其中0表示生成图像(fake)，1表示真实图像(real)；
判别网络模型的损失函数为对抗损失，具体如下：
Figure BDA0002464429590000122
其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure BDA0002464429590000123
代表对批数据量中所有的假数据求期望的操作，而
Figure BDA0002464429590000124
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成图像，所述真实数据为真实图像。
S3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；
对所述生成网络模型和判别网络模型中的所有卷积层采用kaiming_normal来初始化其权重；选取Adam作为网络训练时的优化器；
所述网络训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络的批数据量B、初始学习率Lr_initial；ADAM优化器的参数、生成网络和判别网络的损失函数中各项损失函数的系数以及训练的迭代次数niter。
本实施例中，在训练细粒度注意力机制的基于GAN的图像超分辨率网络时，输入到网络的批数据量B设为12、初始学习率Lr_initial设为0.0001；训练特征共享的基于GAN的图像超分辨率网络时，批数据量设为32、初始学习率Lr_initial为0.0001；所述的细粒度注意力机制的基于GAN的图像超分辨率方法，生成网络的损失函数中Lattention损失的系数为0.02，Ladv损失的系数为0.005，Lpercep损失的系数为1；所述的特征共享的基于GAN的图像超分辨率方法，生成网络的损失函数中的Ladv损失的系数为0.005，Lpercep损失的系数为1；两种方法的训练的迭代次数niter都设为5×105。
迭代训练的过程中，生成网络模型和判别网络模型的损失函数的收敛曲线可能会产生震荡，表明当前的学习率过大，因此，在同时训练生成网络模型和判别网络模型时，每隔lr_step步将学习率减半，加速生成网络模型和判别网络模型的收敛速度，提高生成网络模型的重建性能和判别网络模型的判别性能，本实施例中，lr_step设为50000；在训练过程中使用ADAM优化器来对生成网络模型和判别网络模型的梯度进行反向传播，不断更新两个模型的权重，本实施例中，ADAM的参数设置为：β1＝0.9，β2＝0.999以及ε＝10-8。
S4、如图5所示，在网络训练的初期使用多个损失函数训练会使得网络训练动荡，损失函数的曲线难以收敛；首先使用L1损失来训练生成网络模型，使得生成网络具有较好的重建图像的能力，保存训练过程中的生成网络模型；在本实施例中，训练过程中采用ADAM优化器进行梯度的反向传播，更新参数，其参数设置为β1＝0.9，β2＝0.999以及ε＝10-8；初始学习率lr_G为0.0002，迭代次数niter_G为1×106，每隔lr_step_G＝2×105次迭代对学习率进行减半，加快生成网络模型的收敛和提高生成网络模型的重建性能。接着加载预训练好的生成网络模型，使用上述的生成网络的损失函数和判别网络的损失函数来同时训练生成网络模型和判别网络模型；生成网络和判别网络是一种对抗的关系，像是一种博弈游戏，生成网络需要生成与真实图像尽可能相近的超分辨率图像，使得判别网络不能区分输入的图像为真实图像还是生成图像；当生成网络模型和判别网络模型达到纳什平衡时，即判别网络模型的损失函数大概为0.5时，生成网络模型生成的超分辨率图像，使得判别网络模型不能区分出是生成的超分辨率图像还是真实的高分辨率图像。
本实施例中，每隔5000次迭代训练，将使用验证数据集对生成网络模型的性能做一个评估，计算其峰值信噪比(PNSR)；首先对验证数据集的高分辨率图像(HR)进行下采样处理，得到对应的低分辨率图像(LR)，组成验证图像对。
S5、获取测试数据集，采用图像超分辨率任务中常见的测试数据集Set5、Set14、Urban100、BSD100、Manga109和DIV2K验证集测试数据集；
本实施例中，采用六个标准的测试数据集进行图像超分辨率模型效果的验证。这个六个测试集是：Set5、Set14、BSD100、Urban100、Manga109和DIV2K的验证集(包含100张2K高分辨率图像)。Set5、Set14、BSD100是一些自然图像的集合；Urban100是100张具有高频信息的城市图像的集合；Manga109是109张日本漫画图像的集合；DIV2K包含多个场景。这些数据集被广泛地应用在各种各样的超分辨率模型验证上，具有极好的代表性和说服力。首先对数据集的高分辨率图像进行下采样操作得到对应的低分辨率图像。也可以获取生产生活中的需要进行放大的低分辨率图像作为测试的输入。
S6、在测试阶段，只需要使用生成网络模型来对低分辨率图像进行图像超分辨率处理，不需要判别网络模型；加载训练好的生成网络模型，将测试数据集输入到生成网络模型，生成超分辨率图像；
S7、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比(PSNR)，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。
采用根均方误差(RMSE)和感知指数(PI)作为图像重建质量的评价指标，将图像转到YCbCr空间，在Y通道上进行计算根均方误差或者峰值信噪比PNSR。
Figure BDA0002464429590000141
其中H、W为低分辨率图像的长度和宽度，r为放大因子，X为真实图像，
Figure BDA0002464429590000142
为生成的超分辨率图像。
Figure BDA0002464429590000143
MSE为均方误差，n为每像素的比特数，如8、16；在本实例中，PSNR是在灰度图像的Y通道上计算，灰度图像的像素取值范围为[0,255]，因此n取8；PSNR的单位是分贝(dB)，数值越大表示失真越小，重建质量越好；
Figure BDA0002464429590000144
其中Ma(Ma C,Yang C Y,Yang X,et al.Learning a No-Reference QualityMetric for Single-Image Super-Resolution[J].Computer Vision and ImageUnderstanding,2017,158:1-16)与NIQE(Mittal A,Fellow,IEEE,et al.Making a'Completely Blind'Image Quality Analyzer[J].IEEE Signal Processing Letters,2013,20(3):209-212.)是两个无参考图像测量方式，用于感知质量评估；PI被用来作为2018PIRM Challenge on Perceptual Image Super-Resolution(Blau Y,Mechrez R,Timofte R,et al.The 2018 PIRM Challenge on Perceptual Image Super-Resolution[A].In European Conference on Computer Vision[C],2018.7794-7803.)的评价指标之一；PI与人类对图像的主观评价有相关性，数值越小，在一定程度上反映了图像越具有感知质量，为了保证重建的超分辨率图像在内容上与真实的高分辨率图像相似，PI通常需要与MSE结合来评价重建图像的质量。
图6和图8分别是本发明的FASRGAN和Fs-SRGAN与其他图像超分辨率方法的视觉效果对比图，本发明的两种方法均比其他图像超分辨率方法的重建效果更好。
图7和图9分别是本发明的FASRGAN和Fs-SRGAN的消融实验对比效果图，在生成对抗网络中分别加入本发明提出的细粒度注意力机制和特征共享机制都能提升模型的重建能力。
图10是更好重建精度(RMSE)和更好的视觉感知质量(PI)的权衡图。从图中可以得出，本发明提出的FASRGAN和Fs-SRGAN，以及两者的结合都取得较好的权衡。图11是在训练过程中，随着训练步数的增长，本发明提出的FASRGAN和Fs-SRGAN，以及两者的结合的感知指数的变化曲线。由图可知，Fs-SRGAN的训练过程更加稳定，而FASRGAN的感知指数更低，重建性能更好。
上述实施例是本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于生成对抗网络的图像超分辨率方法，其特征在于，包括以下步骤：
S1、获取训练数据集、验证数据集；
S2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；
S3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；
S4、首先使用L1损失来训练生成网络模型直到网络收敛，使得生成网络具有较好的重建图像的能力，保存训练过程中的生成网络模型；加载预训练好的生成网络模型，使用生成网络和判别网络的损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡，保存此过程中的生成网络模型和判别网络模型；
S5、获取测试数据集；
S6、加载训练好的生成网络模型，将测试数据集输入到生成网络模型，生成超分辨率图像；
S7、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比(PSNR)，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。
2.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S1中，采用DIV2K数据集中的若干张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；对原始的2K图像进行下采样处理得到低分辨率图像，与原始的高分辨率图像构成训练样本对；由于原始的图像尺寸太大，直接输入到网络模型中进行训练会造成网络模型计算量过大，减慢训练速度，因此对训练图像进行随机剪裁，将低分辨率图像裁剪为M×K大小的图像块，其中M代表图像块的高度，K代表其宽度，对应的高分辨率图像裁剪为Mr×Kr，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，将成对的训练数据即低分辨率-高分辨率图像进行翻转和旋转操作，包括90°、180°和270°；
所述验证数据集采用Set5数据集，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。
3.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述的判别网络模型采用Unet结构，上分支与传统的判别网络模型具有相同的结构，利用步长为2的池化层来减少特征图的空间大小，扩大感受野；经过R次池化层，特征图的空间大小变为原来的
Figure FDA0002464429580000011
倍；每个池化层后跟随两个卷积层，提取特征；在特征图最小的情况下使用两个全连接层输出图像的整体统计特征，即判别网络模型对输入图像整体上的判别，1代表输入的是真实图像，而0代表输入的是生成图像；
所述判别网络模型的下分支采用不断上采样的方式，逐步扩大特征图的空间大小，将上分支与下分支具有相同大小的特征图进行串联，利于判别网络模型中的信息流动和对下分支中浅层次特征的充分利用；每个上采样后的特征图经过两个卷积层处理；下分支最终输出一个与输入图像大小相同的掩码图(Mask map)，表示判别网络模型对输入图像的每个像素的判别信息，其中，该像素上的值越接近于1代表该像素与真实图像的对应像素越相似，反之越不相似；将此掩码图加入到生成网络模型的损失函数中，使生成网络模型关注于重建得不好的像素，监督生成网络模型去重建出更高质量的超分辨率图像；判别网络模型的损失函数包括两个部分：对抗损失和细粒度的attention损失，公式如下：
Figure FDA0002464429580000021
Figure FDA0002464429580000022
表示对抗损失，采用RaGAN中的损失函数，公式如下：
Figure FDA0002464429580000023
其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure FDA0002464429580000024
代表对批数据量中所有的假数据求期望的操作，而
Figure FDA0002464429580000025
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成图像，所述真实数据为真实图像；
Figure FDA0002464429580000026
表示细粒度的attention损失，公式如下：
Figure FDA0002464429580000027
其中，Mr和Mf分别代表了真实的高分辨率图像和生成的超分辨率图像的掩码图，W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，则生成网络模型的输出图像的宽度为Wr，而长度为Hr。
4.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述生成网络模型采用RRDB(Residual-in-Residual Dense Block)作为基础模块，通过以线性串联的方式来堆叠A个RRDB来构建深层的网络结构，重建出高质量的超分辨率图像；生成网络模型的损失函数如下：
LG＝L1+λadv*Ladv+λattention*Lattention+λpercep*Lpercep；
其中，λadv、λattention、λpercep代表平衡不同损失函数项的系数；
Lattention表示细粒度的attention损失，公式如下：
Figure FDA0002464429580000028
其中，Mf是判别网络模型络生成的超分辨率图像的掩码图(Mask map)，Mf(w,h,c)表示生成的超分辨率图像ISR(w,h,c)与真实图像之间的每个像素的差异，使用1-Mf(w,h,c)的方法来给图像的每个像素分配不同的权重，使得生成的超分辨率图像中与真实高分辨率图像差异较大的像素在下一次迭代训练中接受到生成网络更多的关注；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure FDA0002464429580000031
其中，
Figure FDA0002464429580000038
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure FDA0002464429580000033
其中
Figure FDA0002464429580000034
是指预训练的VGG19网络的函数，G表示生成网络模型，
Figure FDA0002464429580000035
和
Figure FDA0002464429580000036
分别是批数据量中的第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure FDA0002464429580000037
5.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，特征共享的基于GAN的图像超分辨率方法中，将生成网络和判别网络的浅层特征提取模块协同起来，减少模型的参数；生成网络和判别网络共同优化浅层特征提取模块，有利于提取出更加有效的特征；共用的浅层特征提取模块采用特征图的大小不变的全卷积神经网络，公式如下：
Hshared＝Fshared(x)；
其中Fshared代表共用的浅层特征提取模块的函数，Hshared代表浅层特征提取模块所输出的特征图，x指的是输入到浅层特征提取模块的特征图。
6.根据权利要求5所述的基于生成对抗网络的图像超分辨率方法，其特征在于，特征共享的基于GAN的图像超分辨率方法中，所述生成网络模型包括浅层特征提取模块、深层特征提取模块和重建模块；其中，深层特征提取模块的基础模块与浅层特征提取模块的相同；浅层特征提取模型由S个RRDB构成，而深层特征提取模块由D个RRDB通过线性串联的方式堆叠而成，D＞S，用于提取更多的抽象特征和高频特征，为重建出高质量的超分辨率图像提供重要信息；重建模块通过上采样层来将特征图放大到指定的尺寸，使用卷积层重建出超分辨率图像；
生成网络模型的损失函数包括对抗损失、内容损失和感知损失，如下：
LG＝L1+λadv*Ladv+λpercep*Lpercep；
λadv和λpercep代表平衡不同损失函数项的系数；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：
Figure FDA0002464429580000041
其中，
Figure FDA0002464429580000042
代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：
Figure FDA0002464429580000043
其中
Figure FDA0002464429580000044
是指预训练的VGG19网络的函数，G表示生成网络模型，
Figure FDA0002464429580000045
和
Figure FDA0002464429580000046
分别是批数据量中的第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：
Figure FDA0002464429580000047
7.根据权利要求5所述的基于生成对抗网络的图像超分辨率方法，其特征在于，特征共享的基于GAN的图像超分辨率方法中，所述判别网络模型是一个分类网络，需要使用更大的感受野去获取图像在整体上的抽象特征；使用类似VGG网络的结构作为判别网络模型，判别网络模型由N个卷积层组合和一个线性分类器组成，所述卷积层组合是由卷积核为3的一层卷积和卷积核为4，步长为2的卷积层组成的；为了减少信息的损失，判别网络模型使用了步长为2的卷积层来替代池化层，从而减小特征图的大小；为了保持较好的特征表达能力，在减小特征图的同时增加通道的数目；最后，将特征图变为一维的向量，并通过两层的全连接网络输出对输入图像判别的分类值，其中0表示生成图像，1表示真实图像；
判别网络模型的损失函数为对抗损失，具体如下：
Figure FDA0002464429580000048
其中，xr和xf代表真实高分辨率图像和生成的超分辨率图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，
Figure FDA0002464429580000051
代表对批数据量中所有的假数据求期望的操作，而
Figure FDA0002464429580000052
代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成的超分辨率图像，所述真实数据为真实的高分辨率图像。
8.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S3中，对所述生成网络模型和判别网络模型中的所有卷积层采用kaiming_normal来初始化其权重；选取Adam作为网络训练时的优化器；
所述网络训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络的批数据量B、初始学习率Lr_initial；ADAM优化器的参数、生成网络和判别网络的损失函数中各项损失函数的系数以及训练的迭代次数niter；
迭代训练的过程中，生成网络模型和判别网络模型的损失函数的收敛曲线可能会产生震荡，表明当前的学习率过大，因此，在同时训练生成网络模型和判别网络模型时，每隔lr_step步将学习率减半，加速生成网络模型和判别网络模型的收敛速度，提高生成网络模型的重建性能和判别网络模型的判别性能；在训练过程中使用ADAM优化器来对生成网络模型和判别网络模型的梯度进行反向传播，不断更新两个模型的权重。
9.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S4中，在网络训练的初期使用多个损失函数训练会使得网络训练动荡，损失函数的曲线难以收敛；因此，首先采用L1损失对生成网络模型进行预训练，得到预训练好的生成网络模型；训练过程中采用ADAM优化器进行梯度的反向传播，更新参数；初始学习率为lr_G，迭代次数为niter_G，每隔lr_step_G次迭代对学习率进行减半，加快生成网络模型的收敛和提高生成网络模型的重建性能；接着使用上述的生成网络的损失函数和判别网络的损失函数来同时训练生成网络模型和判别网络模型；当生成网络模型和判别网络模型达到纳什平衡时，生成网络模型生成的超分辨率图像，使得判别网络模型不能区分出是生成的超分辨率图像还是真实的高分辨率图像；
步骤S5中，测试数据集采用图像超分辨率任务中常见的测试数据集Set5、Set14、Urban100、BSD100、Manga109和DIV2K验证集测试数据集。
10.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S7中，采用根均方误差(RMSE)和感知指数(PI)作为图像重建质量的评价指标，将图像转到YCbCr空间，在Y通道上进行计算根均方误差或者峰值信噪比PNSR；
Figure FDA0002464429580000053
其中H、W为低分辨率图像的长度和宽度，r为放大因子，X为真实图像，
Figure FDA0002464429580000054
为生成的超分辨率图像；
Figure FDA0002464429580000055
MSE为均方误差，n为每像素的比特数；PSNR的单位是分贝(dB)，数值越大表示失真越小，重建质量越好；
Figure FDA0002464429580000061
其中Ma与NIQE是两个无参考图像测量方式，用于感知质量评估；PI被用来作为2018PIRM Challenge on Perceptual Image Super-Resolution的评价指标之一；PI与人类对图像的主观评价有相关性，数值越小，在一定程度上反映了图像越具有感知质量，为了保证重建的超分辨率图像在内容上与真实的高分辨率图像相似，PI通常需要与MSE结合来评价重建图像的质量。
CN202010329481.6A 2020-04-23 2020-04-23 基于生成对抗网络的图像超分辨率方法 Active CN111583109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329481.6A CN111583109B (zh) 2020-04-23 2020-04-23 基于生成对抗网络的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329481.6A CN111583109B (zh) 2020-04-23 2020-04-23 基于生成对抗网络的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111583109A true CN111583109A (zh) 2020-08-25
CN111583109B CN111583109B (zh) 2024-02-13

Family

ID=72125423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329481.6A Active CN111583109B (zh) 2020-04-23 2020-04-23 基于生成对抗网络的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111583109B (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112102167A (zh) * 2020-08-31 2020-12-18 西安工程大学 一种基于视觉感知的图像超分辨率方法
CN112132746A (zh) * 2020-09-17 2020-12-25 东南大学 面向智能路侧设备的小尺度行人目标快速超分辨率化方法
CN112148906A (zh) * 2020-09-18 2020-12-29 南京航空航天大学 基于修正的CycleGAN模型的声纳图像库构建方法
CN112419242A (zh) * 2020-11-10 2021-02-26 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112487992A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于流模型的人脸情绪图像的生成方法及设备
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112561799A (zh) * 2020-12-21 2021-03-26 江西师范大学 一种红外图像超分辨率重建方法
CN112598578A (zh) * 2020-12-28 2021-04-02 北京航空航天大学 一种核磁共振图像超分辨率重建系统及方法
CN112634135A (zh) * 2020-12-23 2021-04-09 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法
CN112785498A (zh) * 2020-12-31 2021-05-11 达科为（深圳）医疗设备有限公司 一种基于深度学习的病理图像超分建模方法
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113066013A (zh) * 2021-05-18 2021-07-02 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN113096015A (zh) * 2021-04-09 2021-07-09 西安电子科技大学 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN113205468A (zh) * 2021-06-01 2021-08-03 桂林电子科技大学 一种基于自注意力机制和gan的水下图像实时复原模型
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
CN113689337A (zh) * 2021-08-27 2021-11-23 华东师范大学 一种基于生成对抗网络的超声图像超分辨率重建方法及系统
CN113781316A (zh) * 2021-07-28 2021-12-10 杭州火烧云科技有限公司 一种基于对抗生成网络的高分辨率图像修复方法及修复系统
CN113837179A (zh) * 2021-09-16 2021-12-24 南京航空航天大学 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN114022360A (zh) * 2021-11-05 2022-02-08 长春理工大学 基于深度学习的渲染图像超分辨系统
CN114463176A (zh) * 2022-01-25 2022-05-10 河南大学 基于改进esrgan的图像超分辨重建方法
CN114549308A (zh) * 2022-01-28 2022-05-27 大连大学 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN114648724A (zh) * 2022-05-18 2022-06-21 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備
CN114821146A (zh) * 2021-01-27 2022-07-29 四川大学 一种基于增强的弱监督细粒度阿尔兹海默症分类方法
CN115063293A (zh) * 2022-05-31 2022-09-16 北京航空航天大学 采用生成对抗网络的岩石显微图像超分辨率重建方法
WO2022206021A1 (zh) * 2021-03-30 2022-10-06 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
CN115170399A (zh) * 2022-09-08 2022-10-11 中国人民解放军国防科技大学 多目标场景图像分辨率提升方法、装置、设备和介质
CN115375975A (zh) * 2022-09-05 2022-11-22 长春大学 一种基于深度卷积生成对抗网络的wce图像生成方法
CN115546212A (zh) * 2022-11-29 2022-12-30 浙江大学计算机创新技术研究院 基于全局上下文嵌入生成对抗网络的图像异常检测方法
CN116777904A (zh) * 2023-08-16 2023-09-19 笑纳科技(苏州)有限公司 基于条带特征的不同分辨率异常染色体生成网络及方法
CN116912345A (zh) * 2023-07-12 2023-10-20 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质
CN112508782B (zh) * 2020-09-10 2024-04-26 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘闯闯: "《精确与高感知质量的单幅图像超分辨率的问题研究》" *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112102167A (zh) * 2020-08-31 2020-12-18 西安工程大学 一种基于视觉感知的图像超分辨率方法
CN112102167B (zh) * 2020-08-31 2024-04-26 深圳市航宇数字视觉科技有限公司 一种基于视觉感知的图像超分辨率方法
CN112508782B (zh) * 2020-09-10 2024-04-26 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112508782A (zh) * 2020-09-10 2021-03-16 浙江大华技术股份有限公司 网络模型的训练方法、人脸图像超分辨率重建方法及设备
CN112132746A (zh) * 2020-09-17 2020-12-25 东南大学 面向智能路侧设备的小尺度行人目标快速超分辨率化方法
CN112148906A (zh) * 2020-09-18 2020-12-29 南京航空航天大学 基于修正的CycleGAN模型的声纳图像库构建方法
CN112419242A (zh) * 2020-11-10 2021-02-26 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112419242B (zh) * 2020-11-10 2023-09-15 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112487992A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于流模型的人脸情绪图像的生成方法及设备
CN112487992B (zh) * 2020-12-02 2022-07-22 重庆邮电大学 一种基于流模型的人脸情绪图像的生成方法及设备
CN112561799A (zh) * 2020-12-21 2021-03-26 江西师范大学 一种红外图像超分辨率重建方法
CN112634135A (zh) * 2020-12-23 2021-04-09 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN112598578A (zh) * 2020-12-28 2021-04-02 北京航空航天大学 一种核磁共振图像超分辨率重建系统及方法
CN112598578B (zh) * 2020-12-28 2022-12-30 北京航空航天大学 一种核磁共振图像超分辨率重建系统及方法
CN112785498A (zh) * 2020-12-31 2021-05-11 达科为（深圳）医疗设备有限公司 一种基于深度学习的病理图像超分建模方法
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法
CN114821146A (zh) * 2021-01-27 2022-07-29 四川大学 一种基于增强的弱监督细粒度阿尔兹海默症分类方法
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
WO2022206021A1 (zh) * 2021-03-30 2022-10-06 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
CN113096015A (zh) * 2021-04-09 2021-07-09 西安电子科技大学 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN113066013A (zh) * 2021-05-18 2021-07-02 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113205468B (zh) * 2021-06-01 2022-08-09 桂林电子科技大学 一种基于自注意力机制和gan的水下图像实时复原模型方法
CN113205468A (zh) * 2021-06-01 2021-08-03 桂林电子科技大学 一种基于自注意力机制和gan的水下图像实时复原模型
CN113421188B (zh) * 2021-06-18 2024-01-05 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113344110B (zh) * 2021-06-26 2024-04-05 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
CN113781316A (zh) * 2021-07-28 2021-12-10 杭州火烧云科技有限公司 一种基于对抗生成网络的高分辨率图像修复方法及修复系统
CN113689337A (zh) * 2021-08-27 2021-11-23 华东师范大学 一种基于生成对抗网络的超声图像超分辨率重建方法及系统
CN113689337B (zh) * 2021-08-27 2023-09-19 华东师范大学 一种基于生成对抗网络的超声图像超分辨率重建方法及系统
CN113837179A (zh) * 2021-09-16 2021-12-24 南京航空航天大学 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN114022360A (zh) * 2021-11-05 2022-02-08 长春理工大学 基于深度学习的渲染图像超分辨系统
CN114022360B (zh) * 2021-11-05 2024-05-03 长春理工大学 基于深度学习的渲染图像超分辨系统
CN114463176B (zh) * 2022-01-25 2024-03-01 河南大学 基于改进esrgan的图像超分辨重建方法
CN114463176A (zh) * 2022-01-25 2022-05-10 河南大学 基于改进esrgan的图像超分辨重建方法
CN114549308A (zh) * 2022-01-28 2022-05-27 大连大学 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN114549308B (zh) * 2022-01-28 2024-03-22 大连大学 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN114648724A (zh) * 2022-05-18 2022-06-21 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN115063293A (zh) * 2022-05-31 2022-09-16 北京航空航天大学 采用生成对抗网络的岩石显微图像超分辨率重建方法
CN115375975A (zh) * 2022-09-05 2022-11-22 长春大学 一种基于深度卷积生成对抗网络的wce图像生成方法
CN115170399A (zh) * 2022-09-08 2022-10-11 中国人民解放军国防科技大学 多目标场景图像分辨率提升方法、装置、设备和介质
CN115546212A (zh) * 2022-11-29 2022-12-30 浙江大学计算机创新技术研究院 基于全局上下文嵌入生成对抗网络的图像异常检测方法
CN116912345A (zh) * 2023-07-12 2023-10-20 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质
CN116912345B (zh) * 2023-07-12 2024-04-26 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质
CN116777904B (zh) * 2023-08-16 2023-10-24 笑纳科技(苏州)有限公司 基于条带特征的不同分辨率异常染色体生成网络及方法
CN116777904A (zh) * 2023-08-16 2023-09-19 笑纳科技(苏州)有限公司 基于条带特征的不同分辨率异常染色体生成网络及方法

Also Published As

Publication number Publication date
CN111583109B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111583109A (zh) 基于生成对抗网络的图像超分辨率方法
CN110136063B (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111476717B (zh) 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN111797717B (zh) 一种高速高精度的sar图像船只检测方法
CN109559276B (zh) 一种基于质量评价和特征统计的图像超分辨率重建方法
CN112037131A (zh) 一种基于生成对抗网络的单图像超分辨率重建方法
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN111563841A (zh) 一种基于生成对抗网络的高分辨率图像生成方法
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN108389192A (zh) 基于卷积神经网络的立体图像舒适度评价方法
Singla et al. A review on Single Image Super Resolution techniques using generative adversarial network
CN109949222A (zh) 基于语义图的图像超分辨率重建方法
CN109584162A (zh) 一种基于生成网络的图像超分辨率重构的方法
CN113538234A (zh) 基于轻量化生成模型的遥感图像超分辨率重建方法
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN111080521A (zh) 一种基于结构先验的人脸图像超分辨率方法
Luo et al. Bi-GANs-ST for perceptual image super-resolution
CN114943646A (zh) 基于纹理导向的梯度权重损失和注意力机制超分辨方法
CN112818777B (zh) 一种基于密集连接与特征增强的遥感图像目标检测方法
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN113160057B (zh) 基于生成对抗网络的rpgan图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant