CN110717857A - 超分辨率图像重构方法和装置 - Google Patents
超分辨率图像重构方法和装置 Download PDFInfo
- Publication number
- CN110717857A CN110717857A CN201910935280.8A CN201910935280A CN110717857A CN 110717857 A CN110717857 A CN 110717857A CN 201910935280 A CN201910935280 A CN 201910935280A CN 110717857 A CN110717857 A CN 110717857A
- Authority
- CN
- China
- Prior art keywords
- generator
- image
- input
- discriminator
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000010276 construction Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 28
- 238000011156 evaluation Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种超分辨率图像重构方法，包括：构建生成对抗网络；构建原始分辨率图像训练集；基于所述原始分辨率图像训练集训练所述生成对抗网络；利用训练后的所述生成对抗网络的生成器，对输入图像进行重构。在本发明实施例的超分辨率图像重构方法和装置中，所构建的生成对抗网络包括生成器、判别器以及损失函数计算器，并且该生成对抗网络采用原始分辨率图像训练集进行训练，因此能够利用原始分辨率图像作为参考图像来重构超分辨率图像，从而即使原始分辨率为较低分辨率，仍然可以重构出较高分辨率图像。
Description
技术领域
本发明属于计算机视觉、深度学习、图像处理领域，尤其涉及一种超分辨率图像重构方法和装置。
背景技术
高分辨率遥感图像在资源勘探、环境监测、自然灾害预防、军事侦察等方面发挥着重要的作用。然而由于信号传输带宽及成像传感器存储的限制，遥感成像设备通常只能获取低空间分辨率的遥感图像。成像设备精度的提高、图像尺寸的缩小、单位面积内像素采集量的增加，都受到了当前制造水平的制约，从硬件上提高图像分辨率较为困难，且耗时较长，成本极高。
基于深度学习的超分辨率重构方法，通过大量样本训练学习低分辨率图像和高分辨率图像之间的端到端映射关系，能够更充分地学习低分辨率图像中的先验信息，重建速度快且效果好。然而目前含有大量高分辨率遥感图像的数据集很少，如何利用较少的高分辨率遥感图像训练样本使用深度学习的方法提高遥感图像的空间分辨率仍然是一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种超分辨率图像重构方法和装置，可以有效地解决现有技术中因参考图像分辨率不理想而带来的重构困难的问题。
本发明实施例的第一方面提供了一种超分辨率图像重构方法，包括：
构建生成对抗网络，其中所述生成对抗网络至少包括生成器、判别器和损失函数计算器；构建原始分辨率图像训练集；基于所述原始分辨率图像训练集训练所述生成对抗网络，其中，所述原始分辨率图像训练集经由预处理作为所述判别器的第一输入，所述生成器的输出作为所述判别器的第二输入；利用训练后的所述生成对抗网络的生成器，对输入图像进行重构。
本发明实施例的第二方面提供了一种超分辨率图像重构装置，其特征在于，包括：第一构建模块，构建生成对抗网络，其中所述生成对抗网络至少包括、生成器、判别器和损失函数计算器；第二构建模块，构建原始分辨率图像训练集；训练模块，基于所述原始分辨率图像训练集训练所述生成对抗网络，其中，所述原始分辨率图像训练集经由预处理作为所述判别器的第一输入，所述生成器的输出作为所述判别器的第二输入；重构模块，利用训练后的所述生成对抗网络的生成器，对输入图像进行重构。
在本发明实施例的超分辨率图像重构方法和装置中，所构建的生成对抗网络包括生成器、判别器以及损失函数计算器，并且该生成对抗网络采用原始分辨率图像训练集进行训练，因此能够利用原始分辨率图像作为参考图像来重构超分辨率图像，从而即使原始分辨率为较低分辨率，仍然可以重构出较高分辨率图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A是本发明实施例的超分辨率图像重构方法的示意性流程图。
图1B是本发明实施例的生成对抗网络模型的具体训练步骤的流程图。
图2是本发明中无监督学习进行超分辨率重构的流程。
图3是本发明实施例中生成对抗网络中的生成器结构。
图4是本发明实施例中生成对抗网络中的判别器结构。
图5是本发明实施例的超分辨率图像重构装置的示意性框图。
图6是在测试集上×2倍数重构结果评价图。
图7是在测试集上×4倍数重构结果评价图。
图8是×2重构图片的视觉质量效果图。
图9是×4重构图片的视觉质量效果图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1A是本发明实施例的超分辨率图像重构方法的示意性流程图。图1A的超分辨率图像重构方法100包括：
110：构建生成对抗网络，其中生成对抗网络至少包括生成器、判别器和损失函数计算器。
120：构建原始分辨率图像训练集。
应理解，本发明实施例中的原始分辨率图像可以包括任何的分辨率图像，优选地，在存在低分辨率图像时，本发明实施例的技术效果可以达到最优。即，包括相当数量的高分辨率图像的数据集也在本发明实施例的范围内，达到重构更高分辨率图像的目的，本发明实施例对此不作限定。根据本发明实施例的训练集中的图像可以为任何图像，优先地为遥感图像。作为一个具体的实施例，为达到最优技术效果，例如图1B所示，训练集为UCM、NWPU以及WHU-RS19进行下采样构建的低分辨率遥感图像数据集。测试集为西班牙海梅一世大学提供的超分辨率图像评价MATLAB工具箱的数据集。
130：基于原始分辨率图像训练集训练生成对抗网络，其中，原始分辨率图像训练集经由预处理作为判别器的第一输入，生成器的输出作为判别器的第二输入；
140：利用训练后的生成对抗网络的生成器，对输入图像进行重构。
应理解，原始分辨率图像训练集经过预处理之后输入到生成器中，可以是经过插值处理输入到生成器中，本发明实施例对各种插值的方式不做限定。作为一个优选地的实施例，可以进行双三次插值处理。此外，卷积神经网络可以包括平均池化层，用于进行下采样处理。
应理解，实施该图像重构方法的图像重构装置可以为服务器，可以作为遥感装置中的部件，也可以作为与遥感装置连接的独立的处理装置，本发明实施例对此不作限定。作为一个具体的实施例，例如图1B所示，搭建PyTorch的开发环境；本发明的硬件平台是基于Intel E5-2690 V3处理器，TITAN V GPU，64G内存。实验的软件平台是基于Ubantu16.04版本，采用CUDA 9.0、CUDNN 7以及PyTorch1.0.0环境。
应理解，本发明实施例中的生成器可以不包括下采样器，即在训练时，将下采样器的输出输入到判别器。或者，生成器可以包括下采样器(例如，平均池化层)，将生成器的输入出入到判别器。本发明实施例的训练采用生成对抗网络的思想，但适用于多种生成对抗网络的架构，因此，利用原始分辨率图像训练集作为判别器的标签进行重构的任何方案都在本发明实施例的范围内。
因此，在本发明实施例的超分辨率图像重构方法中，所构建的生成对抗网络包括生成器、判别器以及损失函数计算器，并且该生成对抗网络采用原始分辨率图像训练集进行训练，因此能够利用原始分辨率图像作为参考图像来重构超分辨率图像，从而即使原始分辨率为较低分辨率，仍然可以重构出较高分辨率图像。换句话说，例如，利用本发明实施例构建带有下采样过程的生成对抗网络模型，作为较优选的实施例，通过将较低分辨率图像作为标签，即使用下采样后的重构图片与较低分辨率图片求损失以更新网络参数，达到无监督超分辨率重构的目的。
目前，遥感图像中通常只存在少量甚至不存在高分辨率遥感图像，针对训练数据源少的问题，可以采取以下几种解决方式：(1)采用数据集扩增方式扩增数据；(2)使用自然图像来训练重构网络模型，再迁移到遥感图像超分辨率重构中；(3)采用无监督学习的方式重构高分辨率遥感图像。采取数据集扩增的方式只能在一定程度上缓解这一问题带来的影响，与ImageNet大数据集相比，扩增后的数据量并不足以训练出理想的重构模型；而且遥感图像与自然图像成像的降质过程有很大的不同之处，采用自然图像训练的网络模型不适宜直接应用到遥感图像超分辨率重构中，且迁移学习仍然需要高分辨率遥感图像标签；因此，要从根本上解决遥感图像高分辨率图像源少的问题，可以采用无监督学习的方法。
生成对抗网络(GAN)通过增加判别器，可以与生成器进行对抗训练，从而达到质量好的生成图片的目的。判别器通过训练能够尽量判别出生成图片与标签图片，而生成器通过训练过程能生成尽可能使判别器判别不出来的图片。在二者对抗训练过程中，判别器能够间接作为损失函数提高生成器的学习能力。将生成对抗网络应用于图像超分辨率重构(SRGAN模型)能够使得重构图像具有更多的纹理细节信息，视觉效果优于其他深度学习模型。遥感图像通常由远距离获取，包含复杂的场景和地物信息，因此在遥感图像重构过程中，对于细节的重构要求更高，将GAN引入遥感图像超分辨率重构能够有效提高重构效果。
根据图1所述的超分辨率图像重构方法，构建生成对抗网络，包括：利用卷积神经网络构建生成器，卷积神经网络包括卷积核大小依次递减的多个卷积层，其中每个卷积层的卷积核大小都大于步长。具体地，生成器结构采用了卷积层解卷积层构建的编解码器结构，能够进行特征的提取与恢复，并且引入跳跃链接，将底层特征融入高层输出中，有效的保留了原始图片的低频信息。
根据图1所述的超分辨率图像重构方法，利用卷积神经网络构建生成器，包括：将卷积神经网络的输出层之后增加用于下采样的平均池化层，其中将从平均池化层输出的图像作为判别器的第二输入，其中，利用训练后的生成对抗网络的生成器，对输入图像进行重构，包括：将输入图像输入到生成器，从输出层得到重构图像。具体地，在网络中输出层再加入一层平均池化层(×4倍数为两层平均池化)，达到将重构图像进行下采样的目的。平均池化与最大池化相比能够在下采样过程尽可能多的保留邻域像素信息，而且能够增加模型对于不同过程降质图片的泛化能力。生成器的最终输出为重构图片ISR与下采样的重构图片ISR’。
根据图1所述的超分辨率图像重构方法，判别器的第一输入对应于第一输出，第二输入对应于第二输出，其中构建生成对抗网络，包括：利用生成器损失函数计算器，以便向生成器反馈生成器损失函数，其中生成器损失函数至少包括第一输出与第二输出之间的交叉熵损失。首先，本发明实施例的生成器损失函数LG可以包含以下几个部分，图像损失Limage，感知损失LVGG，对抗损失LAdv以及全变分损失LTV。生成器损失函数计算公式为：
LG＝Limage+2×10-3×LVGG+LAdv+2×10-8×LTV (1)
其中，图像损失为ISR与ISR'的L1范数：
其中，r为特征提取比，W为基于像素的图像宽度，而H为基于像素的图像高度。
VGG(VisualGeometryGroup，视觉几何组)模型损失为ILR与ISR'经过VGG16特征提取网络的最后一层卷积层(包括激活函数)的输出特征之间的L1范数：
其中，W’为基于像素的图像宽度，而H’为基于像素的图像高度。
基于D(.)的判别器输出函数，对抗损失为D(ILR)与真实标签1、D(ISR')与虚假标签0以及D(ILR)与D(ISR')之间的交叉熵损失的加权和，其中w1和w2为可调权重：
全变分损失为图像水平方向与垂直方向的差分均方值：
其中，Ix,y表示横坐标第x个像素，纵坐标为第y个像素。
除了生成器损失函数之外，本发明实施例的判别器损失为：
根据图1所述的超分辨率图像重构方法，构建生成对抗网络，包括：利用批归一化层构建判别器，批归一化层置于判别器的密集层与激励函数层之间。具体而言，判别器由一系列不同步长的卷积层构成，每个卷积层后接Leaky ReLU(α＝0.2)激活函数以及BN(归一化)层，最后在两个密集连结层后加入一层BN再输入给Sigmoid函数(一种激励函数)，得到判别器对一张图片的评分。
此外，训练结束之后，并且在利用训练后的生成对抗网络的生成器对输入图像进行重构之前，可以对网络模型进行训练与测试，例如，本发明实施例可以采用Adam优化器优化损失函数，输入数据采用128*128随机裁剪的图像块，能够起到一定的数据增强作用。学习率设置为5*10-4，Batch_size大小为32。利用训练集对所构建的生成对抗网络进行训练，并使用测试集对训练好的重构网络进行测试，完成遥感图像的超分辨率重构。
此外，可以采用评价指标对重构图像进行评价。例如，本发明实施例采用SAM(光谱角制图)，RMSE(均方根误差)，ERGAS(综合无量纲整体相对误差)，sCC(空间相关系数)，Qindex(质量指标)，SSIM(结构相似度)，PSNR(峰值信噪比)作为评价指标对重构图像进行全面评价。例如，表1给出了这些评价指标的计算公式。
表1评价指标计算公式
图2是通过无监督学习实现遥感图像超分辨率重构的流程图。作为一个具体的实施例，通过输入插值后的低分辨率图像从生成器输出后，得到重构图像，然后将下采样至与低分辨率图像LR同尺寸，然后输入判别器使其判别LR和SR’，并求二者之间的损失以更新网络参数。
图3是本发明中生成对抗网络的生成器结构。生成器具有卷积层和解卷积层的编解码器结构，并且所述卷积层和所述解卷积层具有跳跃连接。具体而言，该生成器包含一系列卷积层和解卷积层，首先三个卷积核分别为7，5和3的卷积层(接ReLU(线性整流单元))用于特征的提取，其后接连续4层3×3的卷积层用于图像特征编码；然后4层解卷积用于特征解码，3，5，7三层解卷积用于特征恢复，最终得到重构图像。为解决图像连续卷积低频信息丢失的问题，在输入与输出之间加入跳跃连接，保留低频信息。
图4是本发明生成对抗网络中的判别器。输入图像后，判别器经过一系列卷积、Leaky ReLU以及BN层，对输入图片进行特征提取，最后部分进行密集连接并输入sigmoid函数得到该输入图片的得分值，根据得分判断输入图片之间的差异。
图5是本发明实施例的图像重构装置的示意性框图。图5的超分辨率图像重构装置500包括：
第一构建模块510，构建生成对抗网络，其中生成对抗网络至少包括生成器、判别器和损失函数计算器；
第二构建模块520，构建原始分辨率图像训练集；
训练模块530，基于原始分辨率图像训练集训练生成对抗网络，其中，原始分辨率图像训练集经由预处理作为判别器的第一输入，生成器的输出作为判别器的第二输入；
重构模块540，利用训练后的生成对抗网络的生成器，对输入图像进行重构。
在本发明实施例的超分辨率图像重构装置中，所构建的生成对抗网络包括生成器、判别器以及损失函数计算器，并且该生成对抗网络采用原始分辨率图像训练集进行训练，因此能够利用原始分辨率图像作为参考图像来重构超分辨率图像，从而即使原始分辨率为较低分辨率，仍然可以重构出较高分辨率图像。
根据图5的超分辨率图像重构装置，第一构建模块具体用于：利用卷积神经网络构建生成器，卷积神经网络包括卷积核大小依次递减的多个卷积层，其中每个卷积层的卷积核大小都大于步长。
根据图5的超分辨率图像重构装置，第一构建模块具体用于：将卷积神经网络的输出层之后增加用于下采样的平均池化层，其中将从平均池化层输出的图像作为判别器的第二输入，其中重构模块具体用于：将输入图像输入到生成器，从输出层得到重构图像。
根据图5的超分辨率图像重构装置，判别器的第一输入对应于第一输出，第二输入对应于第二输出，其中第一构建模块具体用于：利用生成器损失函数计算器，以便向生成器反馈生成器损失函数，其中生成器损失函数至少包括第一输出与第二输出之间的交叉熵损失。
根据图5的超分辨率图像重构装置，第一构建模块具体用于：利用批归一化层构建判别器，批归一化层置于判别器的密集层与激励函数层之间。
图6是本发明实施例中对测试集进行×2倍数测试得到的各项评价指标平均值。图中包含了12种无监督学习进行图像超分辨率重构的方法，其中SAM值越接近0越好，RMSE越小越好，ERGAS越小越好，sCC越接近1越好，Q越大越好，SSIM越接近1越好，PSNR越大越好。由图和表中数值可知，在以上各项指标中，本发明重构的图像均能获取最好的评价结果(ERGAS结果排第二)，从而证明了该网络进行无监督学习重构图像的有效性。
图7对测试集进行×4倍数测试得到的各项评价指标平均值。由图和表中数值可知，在各评价指标中，本方法均取得了最好的评价结果，证明了本发明在较大放大倍数下无监督学习重构结果的有效性。
图8是本发明实施例中对于测试集×2倍数部分结果的视觉显示，图(a)为原始高分辨率图像，图(b)为输入网络的双三次插值后的图像，图(c)为本方法重构的图像，由图可以看出本方法重构的细节多，接近高分辨率图像。
图9是本发明实施例中对于测试集×2倍数部分结果的视觉显示，图(a)为原始高分辨率图像，图(b)为输入网络的双三次插值后的图像，图(c)为本方法重构的图像，由图可以看出本方法的重构的图片能取得良好的视觉效果，更加接近高分辨率图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种超分辨率图像重构方法，其特征在于，包括：
构建生成对抗网络，其中所述生成对抗网络至少包括生成器、判别器和损失函数计算器；
构建原始分辨率图像训练集；
基于所述原始分辨率图像训练集训练所述生成对抗网络，其中，所述原始分辨率图像训练集经由预处理作为所述判别器的第一输入，所述生成器的输出作为所述判别器的第二输入；
利用训练后的所述生成对抗网络的生成器，对输入图像进行重构。
2.根据权利要求1所述的图像重构方法，其特征在于，所述构建生成对抗网络，包括：
利用卷积神经网络构建所述生成器，所述卷积神经网络包括卷积核大小依次递减的多个卷积层，其中每个卷积层的卷积核大小都大于步长。
3.根据权利要求2所述的图像重构方法，其特征在于，利用卷积神经网络构建所述生成器，包括：
将卷积神经网络的输出层之后增加用于下采样的平均池化层，其中将从所述平均池化层输出的图像作为所述判别器的所述第二输入，
其中，所述利用训练后的所述生成对抗网络的生成器，对输入图像进行重构，包括：
将所述输入图像输入到所述生成器，从输出层得到重构图像。
4.根据权利要求1所述的图像重构方法，其特征在于，所述判别器的所述第一输入对应于第一输出，所述第二输入对应于第二输出，其中所述构建生成对抗网络，包括：
利用生成器损失函数计算器，以便向所述生成器反馈所述生成器损失函数，其中所述生成器损失函数至少包括所述第一输出与所述第二输出之间的交叉熵损失。
5.根据权利要求1所述的图像重构方法，其特征在于，所述构建生成对抗网络，包括：
利用批归一化层构建所述判别器，所述批归一化层置于所述判别器的密集层与激励函数层之间。
6.一种超分辨率图像重构装置，其特征在于，包括：
第一构建模块，构建生成对抗网络，其中所述生成对抗网络至少包括生成器、判别器和损失函数计算器；
第二构建模块，构建原始分辨率图像训练集；
训练模块，基于所述原始分辨率图像训练集训练所述生成对抗网络，其中，所述原始分辨率图像训练集经由预处理作为所述判别器的第一输入，所述生成器的输出作为所述判别器的第二输入；
重构模块，利用训练后的所述生成对抗网络的生成器，对输入图像进行重构。
7.根据权利要求6所述的图像重构装置，其特征在于，所述第一构建模块具体用于：
利用卷积神经网络构建所述生成器，所述卷积神经网络包括卷积核大小依次递减的多个卷积层，其中每个卷积层的卷积核大小都大于步长。
8.根据权利要求7所述的图像重构装置，其特征在于，所述第一构建模块具体用于：
将卷积神经网络的输出层之后增加用于下采样的平均池化层，其中将从所述平均池化层输出的图像作为所述判别器的所述第二输入，
其中，所述重构模块具体用于：
将所述输入图像输入到所述生成器，从输出层得到重构图像。
9.根据权利要求6所述的图像重构装置，其特征在于，所述判别器的所述第一输入对应于第一输出，所述第二输入对应于第二输出，其中所述第一构建模块具体用于：
利用生成器损失函数计算器，以便向所述生成器反馈所述生成器损失函数，其中所述生成器损失函数至少包括所述第一输出与所述第二输出之间的交叉熵损失。
10.根据权利要求6所述的图像重构装置，其特征在于，所述第一构建模块具体用于：
利用批归一化层构建所述判别器，所述批归一化层置于所述判别器的密集层与激励函数层之间。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935280.8A CN110717857A (zh) | 2019-09-29 | 2019-09-29 | 超分辨率图像重构方法和装置 |
| PCT/CN2020/077874 WO2021056969A1 (zh) | 2019-09-29 | 2020-03-05 | 超分辨率图像重构方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935280.8A CN110717857A (zh) | 2019-09-29 | 2019-09-29 | 超分辨率图像重构方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717857A true CN110717857A (zh) | 2020-01-21 |
Family
ID=69211158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910935280.8A Pending CN110717857A (zh) | 2019-09-29 | 2019-09-29 | 超分辨率图像重构方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110717857A (zh) |
| WO (1) | WO2021056969A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508929A (zh) * | 2020-12-16 | 2021-03-16 | 奥比中光科技集团股份有限公司 | 一种训练生成对抗网络的方法和装置 |
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
| WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298719B (zh) * | 2021-07-02 | 2024-04-05 | 西安电子科技大学 | 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法 |
| CN113538238A (zh) * | 2021-07-09 | 2021-10-22 | 深圳市深光粟科技有限公司 | 一种高分辨率的光声图像成像方法、装置及电子设备 |
| CN113592715B (zh) * | 2021-08-05 | 2024-05-24 | 昆明理工大学 | 一种面向小样本图像集的超分辨率图像重构方法 |
| CN113643182B (zh) * | 2021-08-20 | 2024-03-19 | 中国地质大学（武汉） | 一种基于对偶学习图网络的遥感影像超分辨率重建方法 |
| CN113888406B (zh) * | 2021-08-24 | 2024-04-23 | 厦门仟易网络科技有限公司 | 一种通过深度学习的摄像头超分辨率方法 |
| CN113689360B (zh) * | 2021-09-30 | 2024-02-20 | 合肥工业大学 | 一种基于生成对抗网络的图像修复方法 |
| CN113935977A (zh) * | 2021-10-22 | 2022-01-14 | 河北工业大学 | 一种基于生成对抗网络的太阳能电池板缺陷生成方法 |
| CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
| CN114596285A (zh) * | 2022-03-09 | 2022-06-07 | 南京邮电大学 | 一种基于生成对抗网络的多任务医学图像增强方法 |
| CN114663280A (zh) * | 2022-03-15 | 2022-06-24 | 北京万里红科技有限公司 | 远距离虹膜图像的超分辨率重建模型及训练方法、重建方法、设备及介质 |
| CN114913086B (zh) * | 2022-05-05 | 2023-05-02 | 上海云思智慧信息技术有限公司 | 基于生成对抗网络的人脸图像质量增强方法 |
| CN115545110B (zh) * | 2022-10-12 | 2024-02-02 | 中国电信股份有限公司 | 生成对抗网络的高分辨率数据重构方法及相关方法和设备 |
| CN115936983A (zh) * | 2022-11-01 | 2023-04-07 | 青岛哈尔滨工程大学创新发展中心 | 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 |
| CN115841423B (zh) * | 2022-12-12 | 2023-06-27 | 之江实验室 | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 |
| CN116863016A (zh) * | 2023-05-31 | 2023-10-10 | 北京长木谷医疗科技股份有限公司 | 基于深度学习生成对抗网络的医学图像重建方法及装置 |
| CN117131348B (zh) * | 2023-10-27 | 2024-02-09 | 深圳中科保泰科技有限公司 | 基于差分卷积特征的数据质量分析方法及系统 |
| CN117455774B (zh) * | 2023-11-17 | 2024-05-14 | 武汉大学 | 一种基于差分输出的图像重建方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130530A1 (en) * | 2017-10-31 | 2019-05-02 | Disney Enterprises Inc. | Video Super-Resolution Using An Artificial Neural Network |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319076B2 (en) * | 2016-06-16 | 2019-06-11 | Facebook, Inc. | Producing higher-quality samples of natural images |
| CN108171762B (zh) * | 2017-12-27 | 2021-10-12 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构系统与方法 |
| CN109785258B (zh) * | 2019-01-10 | 2022-12-16 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN110717857A (zh) * | 2019-09-29 | 2020-01-21 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
-
2019
- 2019-09-29 CN CN201910935280.8A patent/CN110717857A/zh active Pending
-
2020
- 2020-03-05 WO PCT/CN2020/077874 patent/WO2021056969A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130530A1 (en) * | 2017-10-31 | 2019-05-02 | Disney Enterprises Inc. | Video Super-Resolution Using An Artificial Neural Network |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN LEDIG 等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 高媛 等: "基于深度残差生成对抗网络的医学影像超分辨率算法", 《计算机应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN112508929A (zh) * | 2020-12-16 | 2021-03-16 | 奥比中光科技集团股份有限公司 | 一种训练生成对抗网络的方法和装置 |
| WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| CN116681604B (zh) * | 2023-04-24 | 2024-01-02 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021056969A1 (zh) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717857A (zh) | 超分辨率图像重构方法和装置 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Xie et al. | Hyperspectral image super-resolution using deep feature matrix factorization | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN110770784A (zh) | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 | |
| CN110136055B (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112132959A (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN111127316A (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 | |
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| An et al. | Single-shot high dynamic range imaging via deep convolutional neural network | |
| CN113436076A (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| Li et al. | Hdrnet: Single-image-based hdr reconstruction using channel attention cnn | |
| CN115115514A (zh) | 基于高频信息特征融合的图像超分辨率重建方法 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| Zhu et al. | Generative high-capacity image hiding based on residual CNN in wavelet domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |