CN113674154B - 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 - Google Patents
一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN113674154B CN113674154B CN202110970721.5A CN202110970721A CN113674154B CN 113674154 B CN113674154 B CN 113674154B CN 202110970721 A CN202110970721 A CN 202110970721A CN 113674154 B CN113674154 B CN 113674154B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- convolution
- resolution
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000644 propagated effect Effects 0.000 claims abstract 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006798 recombination Effects 0.000 claims description 4
- 238000005215 recombination Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000008485 antagonism Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Abstract
本发明涉及一种基于生成对抗网络的单幅图像超分辨率重建方法及系统，其方法包括：S1：获取高分辨率子图像集IBH；S2：利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL；S3：将低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS；S4：将IBH与IS分别送入判别网络中进行正向传播得到其分类概率；S5：对判别网络的参数反向传播，更新判别网络；S6：对生成网络的参数反向传播，更新生成网络；S7：重复步骤S3～S6，直至当生成网络与判别网络达到相对的平衡状态时，得到重建的超分辨率图像。本发明的生成网络方法采用U‑Net网络结构，使得重建的图片更接近于真实图像，并在判别网络引入残差模块，提升抽取深层特征的能力。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。
背景技术
图像分辨率越高，图像越清晰，得到的图像中的信息也越准确。成像的效果往往会受到硬件设备的限制，比如元件性能低、设备老化等问题，得到不理想的图像。另外环境因素的不确定性也会干扰拍摄图像的清晰度，比如天气、物体遮挡、空气湿度等。诸多客观因素使得设备在成像的时候出现模糊、噪声、降采样等退化现象，使得最后成像分辨率不高。现实生活中通常增加硬件设备成本，提高成像系统的性能，得到高分辨率图像。使用这种方法存在问题，一方面通过硬件提升的方法代价过于昂贵；另一方面，通过增加成像系统传感器的密度提高图像分辨率目前已达到瓶颈，继续增加摄像机的传感器数量很难再提高图像分辨率。并且，这样的方法仍无法避免环境因素对成像效果的影响。此外，高分辨率图像在存储介质中占用空间大，存储高清图像和视频时，经常出现存储介质空间不够用的情况，也使硬件成本增加。超分辨率重建算法就是为了从软件算法的途径解决上述因图像分辨率产生的问题。
超分辨率重建问题的目标是给定一幅或多幅低分辨率图像，恢复其高频细节，得到尽可能合理的高分辨率图像。高分辨率图像一方面有拥有更多的图像像素，另一方面在对同一场景的描述上能体现出更多的细节信息。这样，即使原摄像传感器的分辨率不变，也可进一步提高图像分辨率；此外，面对解决高清图像存储问题，可以先将图像以低分辨率图像进行储存，需要使用时通过超分辨率重建复原，达到节约存储介质空间的目的。
图像的超分辨率技术已广泛应用于生产生活，在许多领域取得很重要的成果。比如视频监控、高清电视、数码相机、手机照相技术等。超分辨率重建技术最成熟的应用是在图像和视频压缩传输中。
按照重建目标的不同，超分辨率重建问题可以分为三类：单帧图像，多帧图像和视频的超分辨率重建。其中，由于单帧图像没有多帧图像与视频的图像参照信息，其超分辨率重建过程设计有难度。因此，如何提高重建图片的质量，成为亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。
本发明技术解决方案为：一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：
步骤S1：获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH；
步骤S2：设置图像下采样因子为s，利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL，IBL中图像的大小为
步骤S3：将所述低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，其中，IS中图像大小为M×M；
步骤S4：将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
步骤S5：采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络；
步骤S6：采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络；
步骤S7：重复步骤S3～S6，直至当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1，得到重建的超分辨率图像。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中的生成网络方法采用U-Net网络结构，相较于传统使用残差结构的生成网络，U-Net结构对图像的先验信息提取能力更强，经过U-Net结构重建的图片其像素空间更接近于真实图像空间，使生成图像更容易快速的向真实图像的生成空间拟合。且通过实验证明U-Net结构可以提升图片重建质量。
2、本发明公开的一种基于生成对抗网络的单幅图像超分辨率重建方法，改进了判别网络结构。相较于普遍的使用VGG网络结构的判别网络，本发明引入了残差模块对网络提取深层特征的能力进行提升。使其可以提取到更多更深层的特征信息，让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
附图说明
图1为本发明实施例中一种基于生成对抗网络的单幅图像超分辨率重建方法的流程图；
图2为本发明实施例中生成网络的结构示意图；
图3为本发明实施例中判别网络的结构示意图；
图4为本发明实施例中一种基于生成对抗网络的单幅图像超分辨率重建系统的结构框图。
具体实施方式
本发明提供了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中生成网络方法采用U-Net网络结构，使得重建的图片更接近于真实图像，并在判别网络引入残差模块，提升抽取深层特征的能力,让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于生成对抗网络的单幅图像超分辨率重建方法，包括下述步骤：
步骤S1：获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH；
步骤S2：设置图像下采样因子为s，利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL，IBL中图像的大小为
步骤S3：将低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，其中，IS中图像大小为M×M；
步骤S4：将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
步骤S5：采用Adam算法对判别网络的参数反向传播，更新判别网络；
步骤S6：采用Adam算法对生成网络的参数反向传播，更新生成网络；
步骤S7：重复步骤S3～S6，直至当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1，得到重建的超分辨率图像。
在一个实施例中，上述步骤S1：获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH，具体包括：
从高分辨率图像数据集中获取到图像集IH，并对IH进行裁剪，裁剪尺寸为M×M，M严格小于高分辨率图像集IH中的最小尺寸图像的长或宽，经裁剪后得到新的、多张高分辨率的小尺寸图像，构成高分辨率子图像集IBH。
在一个实施例中，上述步骤S2中利用双三次插值法对IBH进行下采样，具体包括：
步骤S21：构造双三次插值函数，如公式(1)所示：
其中，x为IBH图像像素点的坐标；
步骤S22：对于待插值像素点(x,y)，取其附近的4×4领域点(xi,yj)，i,j＝0,1,2,3，按公式(2)计算插值位置：
其中，f(x,y)为像素点(x,y)的值。
高分辨率子图像集IBH经过上述步骤的下采样处理后，得到低分辨率子图像集IBL，IBL中图像的大小为
将低分辨率子图像集输入生成网络，利用获取图像先验信息能力更强的网络结构可以更有效率的生成图像。同时，在利用先验信息后，生成图像也更接近真实图像。通过实验分析，相比与传统的残差网络生成结构，U-Net在对图像的处理上可以从更多维的方向获取图像先验。因此本发明实施例采用基于U-Net的生成网络，通过其结构的特点，逐层将低分辨率子图像的特征进行提取融合，提升重建图像质量。生成网络的结构如图2所示。
在一个实施例中，上述步骤S3：将低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，具体包括：
步骤S31：将低分辨率子图像集IBL通过亚像素卷积进行上采样，其中，亚像素卷积层的计算公式(3)如下所示，放大至重建目标图像的尺寸；
Iinput＝PS(LRELU(conv(IBL)3))4 (3)
其中，conv表示卷积运算，卷积运算中下标3表示卷积核的尺寸，LRELU为LeakyReLU函数；PS表示亚像素卷积上采样模块，下标4表示采样倍数，表示PS公式(4)如下所示：
PS(T)H,W,C＝T[H/s][W/s]C·s·mod(W,s)+C·mod(H,s)+b (4)
公式(4)表示对形状为H×W×C·s2的输入图像张量元素进行变换，最终得到图像形状变为sH×sW×C，s为采样因子，C表示图像的色彩通道数，T为转换函数；b为偏置；
通过本步骤将低分辨率图像的分辨率提高，从空间上补充了像素。但放大后的图像生成像素是无规律的，需要生成网络进一步的处理。
步骤S32：通过步长对Iinput进行n次下采样，n>1，每次下采样后图像尺寸缩小一倍，记第n次下采样后的图像为In；
本发明实施例中共进行4次下采样，并保留每次下采样的结果。将步骤S31中，经过上采样放大至重建目标图像的尺寸为M×M的特征图，经过4次下采样后，尺寸变为
步骤S33：将最后一次下采样的图像In进行通过亚像素卷积方法进行上采样操作，采样后图像再经过n次批量正则化层计算，如公式(5)所示，最终得到图像I'的尺寸与重建目标图像尺寸一致；
I'n-1＝BN(upsample(LRELU(conv(In)3))2) (5)
其中，BN表示批量正则化，upsample表示上采样；
本发明实施例中，将步骤S32中最后一次下采样的图像I4仍使用亚像素卷积进行上采样(采样因子为2)，上采样结果经过批量正则化运算防止过拟合，再经过卷积运算提取特征并与之前保留的I3结果相加以保证在卷积运算后特征不退化。此过程也进行四次，最终得到图像尺寸与样本集中图像块的大小一致。
步骤S34：将I'通过三层卷积网络进行非线性映射重组，最后经过Sigmoid函数激活得到重建后的图像集IS。
将上一步中得到特征图I'，再通过三层卷积网络进行非线性映射重组，使128幅特征图映射到RGB三通道。最后经过Sigmoid函数激活得到重建图像IS。
将步骤S1得到的高分辨率子图像集IBH和步骤S3经由生成网络生成的重建后的图像集IS输入判别网络进行学习，使得判别网络分辨真实与重建图像。在传统的超分辨生成对抗网络，判别网络使用VGG结构。VGG在图像分类任务上有出色的表现，但随着生成网络的能力的提升，VGG结构的判别网络在生成图像与真实图像判别表现上常不尽如人意。通常在短暂的几次迭代周期后，VGG网络已经无法区分生成图像与真实图像。提升VGG结构的网络深度可以改善其判别表现，但过深的网络会引起特征退化。本发明实施例通过融入残差网络的方法，可以有效防止深层网络的特征退化，提升判别网络的能力。本发明实施例中的判别网络如图3所示，其中SR表示超分辨率图像，HR表示高分辨率图像。
在一个实施例中，上述步骤S4：将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像，具体包括：
步骤S41：图像IS与IBH输入判别网络中，通过残差块对其提取深层特征；残差块的运算如公式(6)所示：
IF＝LRELU(BN(conv(LRELU(BN(conv(I)3)))3))+I (6)
其中，I为输入图像，包括IS和IBH；IF为输出图像；
步骤S42：对IF通过采用增加卷积步长的下采样方法得到更多更深层的特征图，其过程如公式(7)～(8)所示；
Io＝IF+f(LRELU(BN(conv(IF)3))) (7)
本发明实施例将IF通过一个由两层卷积层组成的残差模块进一步提取深层特征，并使用VGG结构的方式对Io进行下采样得到更局部的深层特征。同时，增加卷积核的数量使特征图的数量也增加。下采样模块的组成结构与残差模块类似，但在第二个卷积层中，卷积核数量使前一个的一倍，且卷积的步长为2。
步骤S43：重复步骤S41～S42，直到提取出1024张特征图；
本发明实施例中重复步骤S41～S42的过程4次，以第一次下采样过程中64个卷积核开始为例，此时最终的特征图数量共有1024张。
步骤S44：对1024张特征图进行最大池化运算，并通过全连接层与Leaky ReLU激活函数运算后得到其分类概率。
最大池化运算后通过两层全连接层得到图像的分类值，最终用Sigmoid函数将值转变到(0,1)之间，使其成为真正的类概率。此过程可以用如下公式表示：
PI＝sigmoid(F(LRELU(F(maxpool(·))1024))1) (9)
在一个实施例中，上述步骤S5：采用Adam算法对判别网络的参数反向传播，更新判别网络，具体包括：
构建判别网络损失函数，如公式(10)所示，对其进行求导，再通过Adam算法进行优化；
其中，D是判别网络，G是生成网络，θ表示相应网络的参数，Ptrain为真实高分辨率图像的概率分布，PG为低分辨图片经重建后的图像的概率分布。
由于初次重建的图像与真实图像差异较大，判别网络容易区分。随着生成网络生成图像质量越高，利用公式(11)的判别网络损失函数，可以使判别网络能更好博弈，同样需要对其进行反向传播
在一个实施例中，上述步骤S6：采用Adam算法对生成网络的参数反向传播，更新生成网络，具体包括：
构建生成网络损失函数，如公式(11)所示，对其进行求导，再反向传播；
Gloss＝limgloss+6×10-3lvggloss+10-3ladvloss+2×10-8ltvloss (11)
其中，limgloss与lvggloss表示生成网络的内容损失，ladvloss表示在判别过程中的对抗损失，ltvloss表示重建后图像的全变差损失，其表示如下述公式(12)～(15)所示：
其中，limgloss中s为上采样因子，lvggloss中Hi,j，Wi,j为所采用的判别网络相应特征图的高度与宽度，φi,j为在经过第i次池化前，通过第j次卷积后的特征图运算，β为tvloss的可调参数，当β<1时容易生成图像伪影，β>1时，图像会更加平滑。
在一个实施例中，上述步骤S7：重复步骤S3～S6，直至当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1时，得到重建的超分辨率图像。
实施例二
如图4所示，本发明实施例提供了一种基于生成对抗网络的单幅图像超分辨率重建系统，包括下述模块：
获取高分辨率子图像集模块41，用于获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH；
获取低分辨率子图像集模块42，用于设置图像下采样因子为s，利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL，IBL中图像的大小为
获取重建后的图像集模块43，用于将低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，其中，IS中图像大小为M×M；
判别模块44，用于将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
更新判别网络模块45，用于采用Adam算法对判别网络的参数反向传播，更新判别网络；
更新生成网络模块46，用于采用Adam算法对生成网络的参数反向传播，更新生成网络；
获取重建超分辨率图像模块47，用于判断当生成网络与判别网络达到相对的平衡状态时，即生成网络的损失函数趋于0，判别网络的损失函数趋于1时，得到重建的超分辨率图像。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (5)
1.一种基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，包括：
步骤S1：获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH；
步骤S2：设置图像下采样因子为s，利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL，IBL中图像的大小为
步骤S3：将所述低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，其中，IS中图像大小为M×M，具体包括：
步骤S31：将所述低分辨率子图像集IBL通过亚像素卷积进行上采样，其中，亚像素卷积层的计算公式(3)如下所示，放大至重建目标图像的尺寸；
Iinput＝PS(LRELU(conv(IBL)3))4 (3)
其中，conv表示卷积运算，卷积运算中下标3表示卷积核的尺寸，LRELU为Leaky ReLU函数；PS表示亚像素卷积上采样模块，下标4表示采样倍数，表示PS的公式(4)如下所示：
PS(T)H,W,C＝T[H/s][W/s]C·s·mod(W,s)+C·mod(H,s)+b (4)
公式(4)表示对形状为H×W×C·s2的输入图像张量元素进行变换，最终得到图像形状变为sH×sW×C，s为采样因子，C表示图像的色彩通道数，T为转换函数；b为偏置；
步骤S32：通过步长对Iinput进行n次下采样，n>1，每次下采样后图像尺寸缩小一倍，记第n次下采样后的图像为In；
步骤S33：将最后一次下采样的图像In进行通过亚像素卷积方法进行上采样操作，采样后图像再经过n次批量正则化层计算，如公式(5)所示，最终得到图像I'的尺寸与重建目标图像尺寸一致；
I'n-1＝BN(upsample(LRELU(conv(In)3))2) (5)
其中，BN表示批量正则化，upsample表示上采样；
步骤S34：将I'通过三层卷积网络进行非线性映射重组，最后经过Sigmoid函数激活得到重建后的图像集IS；
步骤S4：将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算，具体包括：
步骤S41：图像IS与IBH输入判别网络中，通过残差块对其提取深层特征，初始残差块的卷积核数量为64，后续残差块卷积核数量翻倍；所述残差块的运算如公式(6)所示：
IF＝LRELU(BN(conv(LRELU(BN(conv(I)3)))3))+I (6)
其中，I为输入图像；IF为输出图像；
步骤S42：对IF通过采用增加卷积步长的下采样方法得到更多更深层的特征图，公式的形式与(6)一致，但第二个卷积核的步长增加一倍，其过程如公式(7)～(8)所示，其中上标2表示步长为2，其余各处定义与之前相同；
Io＝IF+f(LRELU(BN(conv(IF)3))) (7)
步骤S43：重复步骤S41～S42，直到提取出1024张特征图；
步骤S44：对所述1024张特征图进行最大池化运算，并通过全连接层与Leaky ReLU激活函数运算后得到其分类概率；
步骤S5：采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络；
步骤S6：采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络；
步骤S7：重复步骤S3～S6，直至当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1时，得到重建的超分辨率图像。
2.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S2中利用双三次插值法对IBH进行下采样，具体包括：
步骤S21：构造双三次插值函数，如公式(1)所示：
其中，x为IBH图像像素的坐标；
步骤S22：对于待插值像素点(x,y)，取其附近的4×4领域点(xi,yj)，i,j＝0,1,2,3，按公式(2)计算插值位置：
其中，f(x,y)为像素点(x,y)的值。
3.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S5：采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络，具体包括：
构建判别网络损失函数，如公式(10)所示，对其进行求导，再通过Adam算法进行优化；
其中，D是所述判别网络，G是所述生成网络，θ表示相应网络的参数，Ptrain为真实高分辨率图像的概率分布，PG为低分辨图片经重建后的图像的概率分布。
4.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S6：采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络，具体包括：
构建生成网络损失函数，如公式(11)所示，对其进行求导，再反向传播；
Gloss＝limgloss+6×10-3lvggloss+10-3ladvloss+2×10-8ltvloss (11)
其中，limgloss与lvggloss表示所述生成网络的内容损失，ladvloss表示在判别过程中的对抗损失，ltvloss表示重建后图像的全变差损失，其表示如下述公式(12)～(15)所示：
其中，limgloss中s为上采样因子，lvggloss中Hi,j，Wi,j为所采用的所述判别网络相应特征图的高度与宽度，φi,j为在经过第i次池化前，通过第j次卷积后的特征图运算，β为tvloss的可调参数，当β<1时容易生成图像伪影，β>1时，图像会更加平滑。
5.一种基于生成对抗网络的单幅图像超分辨率重建系统，其特征在于，包括下述模块：
获取高分辨率子图像集模块，用于获取高分辨率图像集IH，对IH进行裁剪，裁剪尺寸为M×M，其中，M小于IH中最小尺寸图像的长或宽，得到高分辨率子图像集IBH；
获取低分辨率子图像集模块，用于设置图像下采样因子为s，利用双三次插值法对IBH进行下采样，得到低分辨率子图像集IBL，IBL中图像的大小为
获取重建后的图像集模块，用于将所述低分辨率子图像集IBL输入到生成网络，通过网络的正向传播得到重建后的图像集IS，其中，IS中图像大小为M×M，具体包括：
步骤S31：将所述低分辨率子图像集IBL通过亚像素卷积进行上采样，其中，亚像素卷积层的计算公式(3)如下所示，放大至重建目标图像的尺寸；
Iinput＝PS(LRELU(conv(IBL)3))4 (3)
其中，conv表示卷积运算，卷积运算中下标3表示卷积核的尺寸，LRELU为Leaky ReLU函数；PS表示亚像素卷积上采样模块，下标4表示采样倍数，表示PS的公式(4)如下所示：
PS(T)H,W,C＝T[H/s][W/s]C·s·mod(W,s)+C·mod(H,s)+b (4)
公式(4)表示对形状为H×W×C·s2的输入图像张量元素进行变换，最终得到图像形状变为sH×sW×C，s为采样因子，C表示图像的色彩通道数，T为转换函数；b为偏置；
步骤S32：通过步长对Iinput进行n次下采样，n>1，每次下采样后图像尺寸缩小一倍，记第n次下采样后的图像为In；
步骤S33：将最后一次下采样的图像In进行通过亚像素卷积方法进行上采样操作，采样后图像再经过n次批量正则化层计算，如公式(5)所示，最终得到图像I'的尺寸与重建目标图像尺寸一致；
I'n-1＝BN(upsample(LRELU(conv(In)3))2) (5)
其中，BN表示批量正则化，upsample表示上采样；
步骤S34：将I'通过三层卷积网络进行非线性映射重组，最后经过Sigmoid函数激活得到重建后的图像集IS；
判别模块，用于将IBH与IS分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算，具体包括：
步骤S41：图像IS与IBH输入判别网络中，通过残差块对其提取深层特征，初始残差块的卷积核数量为64，后续残差块卷积核数量翻倍；所述残差块的运算如公式(6)所示：
IF＝LRELU(BN(conv(LRELU(BN(conv(I)3)))3))+I (6)
其中，I为输入图像；IF为输出图像；
步骤S42：对IF通过采用增加卷积步长的下采样方法得到更多更深层的特征图，公式的形式与(6)一致，但第二个卷积核的步长增加一倍，其过程如公式(7)～(8)所示，其中上标2表示步长为2，其余各处定义与之前相同；
Io＝IF+f(LRELU(BN(conv(IF)3))) (7)
步骤S43：重复步骤S41～S42，直到提取出1024张特征图；
步骤S44：对所述1024张特征图进行最大池化运算，并通过全连接层与Leaky ReLU激活函数运算后得到其分类概率；
更新判别网络模块，用于采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络；
更新生成网络模块，用于采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络
获取重建超分辨率图像模块，用于判断当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1时，得到重建的超分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970721.5A CN113674154B (zh) | 2021-08-23 | 2021-08-23 | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970721.5A CN113674154B (zh) | 2021-08-23 | 2021-08-23 | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674154A CN113674154A (zh) | 2021-11-19 |
| CN113674154B true CN113674154B (zh) | 2023-10-27 |
Family
ID=78545178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970721.5A Active CN113674154B (zh) | 2021-08-23 | 2021-08-23 | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674154B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837215B (zh) * | 2021-03-31 | 2022-10-18 | 电子科技大学 | 一种基于生成对抗网络的图像形状变换方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN109816593A (zh) * | 2019-01-18 | 2019-05-28 | 大连海事大学 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN111127316A (zh) * | 2019-10-29 | 2020-05-08 | 山东大学 | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 |
| CN112396554A (zh) * | 2019-08-14 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种基于生成对抗网络的图像超分辨率算法 |
| CN112561799A (zh) * | 2020-12-21 | 2021-03-26 | 江西师范大学 | 一种红外图像超分辨率重建方法 |
| CN113096015A (zh) * | 2021-04-09 | 2021-07-09 | 西安电子科技大学 | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 |
-
2021
- 2021-08-23 CN CN202110970721.5A patent/CN113674154B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN109816593A (zh) * | 2019-01-18 | 2019-05-28 | 大连海事大学 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
| CN112396554A (zh) * | 2019-08-14 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种基于生成对抗网络的图像超分辨率算法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN111127316A (zh) * | 2019-10-29 | 2020-05-08 | 山东大学 | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 |
| CN112561799A (zh) * | 2020-12-21 | 2021-03-26 | 江西师范大学 | 一种红外图像超分辨率重建方法 |
| CN113096015A (zh) * | 2021-04-09 | 2021-07-09 | 西安电子科技大学 | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Bin Yang.Super-resolution Generative Adversarial Networks Based on Attention Model.《2020 IEEE 6th International Conference on Computer and Communications》.2021,781-786. * |
| Yuan Liu.Improved generative adversarial network and its applicaiton in image oil painting styel transfer.《Image and Vision Computing》.2021,第105卷(第2期),104087. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674154A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| CN111311490A (zh) | 基于多帧融合光流的视频超分辨率重建方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN108921783B (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN112270644A (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
| CN113222825B (zh) | 基于可见光图像训练的红外图像超分辨率重构方法及应用 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN113034361B (zh) | 一种基于改进esrgan的遥感影像超分重建方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN110634103A (zh) | 基于生成对抗网络的图像去马赛克方法 | |
| KR20100077307A (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN114022809A (zh) | 基于改进自编码网络的视频运动放大方法 | |
| CN117173025A (zh) | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统 | |
| Sun et al. | A rapid and accurate infrared image super-resolution method based on zoom mechanism | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |