CN112907448A - 一种任意比率图像超分辨率方法、系统、设备及存储介质 - Google Patents
一种任意比率图像超分辨率方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112907448A CN112907448A CN202110186443.4A CN202110186443A CN112907448A CN 112907448 A CN112907448 A CN 112907448A CN 202110186443 A CN202110186443 A CN 202110186443A CN 112907448 A CN112907448 A CN 112907448A
- Authority
- CN
- China
- Prior art keywords
- resolution
- resolution image
- super
- image
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 4
- 206010008909 Chronic Hepatitis Diseases 0.000 claims 1
- 208000006454 hepatitis Diseases 0.000 claims 1
- 230000003321 amplification Effects 0.000 abstract description 8
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 4
- 230000001419 dependent effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种任意比率图像超分辨率方法。包括：搭建生成器，包括其中的特征提取模块与Meta‑Upscale上采样结构；搭建相对平均判别器；将训练数据集中的低分辨率图像输入生成器中，得到生成的超分辨率图像，利用损失函数反向更新生成器和相对平均判别器；训练完成后将待处理的低分辨率图像输入生成器中，得到重建后的超分辨率图像。本发明还公开了一种任意比率图像超分辨率系统、计算机设备及计算机可读存储介质。本发明通过一系列与放大比率和坐标相关的向量，可动态地预测不同数量的卷积滤波器的权重，从而实现图像的任意比率(包括非整数)上采样操作，而损失函数的构造弥补了像素损失导致重建后图像过于平滑的缺陷，得到更多的纹理等细节信息。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种任意比率图像超分辨率方法、任意比率图像超分辨率系统、计算机设备及计算机可读存储介质。
背景技术
近年来，随着视觉传感器性能的大幅提升，视觉数据量大幅增加。然而，通过视觉传感器获得的图像在传输过程中常常受到噪声、降采样等因素的影响，使得图像的质量下降，分辨率降低，原始场景中的一些细节也会因此而损失。面对大量的视觉数据，人们对于高分辨率的图像和视频要求越来越高。
超分辨率技术是图像处理和计算机视觉的一项重要课题。它是指将一副或多幅低分辨率图像作为输入，构造其没有的细节从而获取高分辨率图像的方法。图像的超分辨率技术可以应用于多个领域，比如监控视频缩放、医学图像恢复重建、恢复低清卫星图像细节和低分辨率文字图像复原等。
随着深度学习的流行，人们也成功的将其应用在图像超分辨率方法当中，并取得出色效果。基于深度学习的超分辨率方法的操纵过程如下，首先要将低分辨率图像作为输入，然后再利用训练好的网络结构进行重建，最后输出高分辨率图像。近几年来，深度学习在超分辨率重建方面得到广泛应用和发展，模型结构变得更加简约并且重建图像质量更加优秀，极大地推动了该领域技术的进步。
目前的现有技术之一是Wang等的《Esrgan：Enhanced super-resolutiongenerative adversarial networks》以及Ledig等的《Photo-realistic single imagesuper-resolution using a generative adversarial network》所提出的基于生成对抗网络的图像超分辨率方法，方法思路都是：1)利用残差网络组成的残差块再将多个残差块用密集连接的方式连接在一起，构建生成器；判别器采用相对平均判别器(Relativisticaverage Discriminator,RaD)；2)设计总损失函数，其中包含感知损失和对抗损失，利用构建好的损失函数对模型进行对抗训练，得到训练好的模型；3)最后，将低分辨率图像输入训练好的生成器中，输出的结果就是超分辨率重建后的图像。这类方法的缺点是：其所使用的上采样模块无法实现对低分辨率图像的任意比率放大，仅适用于整数放大比率；对于不同的放大比率，这类方法必须专门设计对应的放大模块，即针对不同的放大比率必须训练不同的模型。
目前的现有技术之二是Hu等的《Meta-SR：a magnification-arbitrary networkfor super-resolution》提出的基于卷积神经网络任意比率放大的单图像超分辨率方法，其引入残差网络、跳跃连接和注意力机制等技术使网络结构变得更深，最后通过Meta-Upscale模块进行上采样，实现任意比率放大的图像超分辨率。具体包括：1)先构建低分辨率图像和高分辨率图像的数据对作为训练集，输入模型中；2)模型首先对输入的单张低分辨率图像提取特征，即对图像进行卷积得到低分辨率特征图；3)将提取的低分辨率特征图输入到后续的网络模型中进行非线性映射，得到高分辨率特征图；4)最后基于Meta-Upscale模块对高分辨率特征图进行上采样重建，恢复成高分辨率图像；5)利用像素损失函数计算生成的高分辨率图像和真实的高分辨率图像的损失，然后反向更新网络模型的权重，将上面的步骤重复多次，得到训练好的超分辨率模型；6)将要重建的图像输入训练好的超分辨率模型，得到重建后的图像，作为超分辨率重建的结果。该方法的缺点是：1)使用的L1、均方误差(MSE)这样的像素损失函数难以恢复丢失的高频细节(如纹理)，会导致处理后图像的质量较差；2)对于较高的图像放大尺度，这种超分辨率技术处理后的图像会趋于平滑，存在细节信息丢失的情况。
发明内容
本发明的目的是克服现有方法的不足，提出了一种任意比率图像超分辨率方法、系统、设备及存储介质。本发明解决的主要问题，是如何实现单个模型对低分辨率图像的任意比率放大，且对于较高放大比率的超分辨率重建任务，如何恢复高频信息，使重建后的图像不会过于平滑。
为了解决上述问题，本发明提出了一种任意比率图像超分辨率方法，所述方法包括：
收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及 Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale上采样结构中，输出生成的超分辨率图像；
以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG 网络搭建生成对抗网络中的相对平均判别器(Relativistic average Discriminator， RaD)；
将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器；
重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
优选地，所述特征提取模块，具体为：
特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个 Basic Block模块，Basic Block模块是残差中的残差密集块(Residualin Residual Dense Block，RRDB)，Basic Block模块结合了多层残差网络和密集连接。
优选地，所述Meta-Upscale上采样结构，具体为：
Meta-Upscale上采样结构的输入为低分辨率特征图，输出为生成的超分辨率图像，Meta-Upscale上采样结构进行三个操作：位置投影、权重预测以及特征映射；
位置投影的目标是找到超分辨率图像每一个像素所对应的低分辨率图像像素；
权重预测能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量，而不用直接从训练数据集学习；
特征映射是利用预测出的滤波器权重，将低分辨率特征图映射到目标超分辨率图像。
优选地，所述搭建生成对抗网络中的相对平均判别器，具体为：
相对平均判别器记作DRa(·)，如下所示：
C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，xr表示原始高分辨率图像，xf表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
优选地，所述生成器的损失函数，具体为：
生成器的损失函数包括感知损失、对抗损失以及L1损失：
其中Lpercep表示感知损失，其操作方式是利用VGG网络在激活层前提取高分辨率图像和低分辨率图像的特征，并计算它们之间的损失2
L1损失如下所示：
其中G(xi)表示生成器生成的超分辨率图像，y表示对应的原始高分辨率图像，E表示期望值。
优选地，所述相对平均判别器的损失函数，具体为：
相对平均判别器的损失函数仅包括对抗损失
如下所示：
相应地，本发明还提供了一种任意比率图像超分辨率系统，包括：
训练集构造单元，用于收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
生成器构造单元，用于搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale 上采样结构中，输出生成的超分辨率图像；
判别器构造单元，用于以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG网络搭建生成对抗网络中的相对平均判别器；
模型训练单元，用于将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器，之后重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
重建显示单元，用于将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述任意比率图像超分辨率方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意比率图像超分辨率方法的步骤。
实施本发明，具有如下有益效果：
本发明的Meta-Upscale上采样结构通过一系列与放大比率和坐标相关的向量，可动态地预测不同数量的卷积滤波器的权重，从而实现图像的任意比率(包括非整数)上采样操作，而损失函数的构造弥补了像素损失导致重建后图像过于平滑的缺陷，得到更多的纹理等细节信息。
附图说明
图1是本发明实施例的一种任意比率图像超分辨率方法的总体流程图；
图2是本发明实施例的生成器结构图；
图3是本发明实施例的残差中的残差密集块结构图2
图4是本发明实施例的Meta-Upscale上采样结构图；
图5是本发明实施例的一种任意比率图像超分辨率系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种任意比率图像超分辨率方法的总体流程图，如图1所示，该方法包括：
S1，收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
S2，搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及 Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale上采样结构中，输出生成的超分辨率图像；
S3，以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用 VGG网络搭建生成对抗网络中的相对平均判别器(Relativistic average Discriminator，RaD)；
S4，将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器；
S5，重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
S6，将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
步骤S2，具体如下：
S2-1，生成器的结构如图2所示，包括特征提取模块以及Meta-Upscale上采样结构，图中LR表示输入的低分辨率图像，SR表示生成的高分辨率图像。
S2-2，特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23 个Basic Block模块，Basic Block模块是残差中的残差密集块(Residualin Residual Dense Block，RRDB)，如图3所示，Basic Block模块结合了多层残差网络和密集连接，β表示残差标度参数。
S2-3，Meta-Upscale上采样结构，如图4所示，输入为低分辨率特征图，输出为生成的超分辨率图像。将要放大的比率记为r，高分辨率图像的像素记为 (i，j)，对应的低分辨率图像的像素记为(i′，j′)。Meta-Upscale模块进行三个操作：位置投影、权重预测以及特征映射；
S2-3-1，位置投影的目标是找到高分辨率图像每一个像素(i，j)所对应的低分辨率图像像素(i′，j′)，本质上是为了得到像素(i′，j′)的特征，如下公式所示：
S2-3-2，权重预测网络能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量，而不用直接从训练数据集学习。这意味着不再需要再为了不同的放大比率存储滤波器的权重，而能够以单个模型实现任意比率放大的超分辨率重建。用于预测滤波器权重的尺度相关和坐标相关的向量记为vij。vij与(i，j)有关，并引入放大比率r作为元素，以此来区分不同放大比率对应的权重。vij用公式表示为：
权重预测网络可以用公式表示为：
W(i，j)表示对于高分辨率图像像素点(i，j)的滤波器权重，
表示权重预测网络，θ表示输入权重预测网络的参数。
S2-3-3，特征映射就是利用预测出的滤波器权重，将特征图映射到目标高分辨率图像SR。特征映射Φ(·)表示为：
Φ(FLR(i′，j′)，W(i，j))＝FLR(i′，j′)W(i，j)
步骤S3，具体如下：
相对平均判别器记作DRa(·)，如下所示：
C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，xr表示原始高分辨率图像，xf表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
步骤S4，具体如下：
S4-1，生成器的损失函数包括感知损失、对抗损失以及L1损失：
其中Lpercep表示感知损失，其操作方式是利用VGG网络在激活层前提取高分辨率图像和低分辨率图像的特征，并计算它们之间的损失；
L1损失如下所示：
其中G(xi)表示生成器生成的超分辨率图像，y表示对应的原始高分辨率图像，E表示期望值。
S4-2，相对平均判别器的损失函数仅包括对抗损失
如下：
相应地，本发明还提供了一种任意比率图像超分辨率系统，如图5所示，包括：
训练集构造单元1，用于收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集。
生成器构造单元2，用于搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale 上采样结构中，输出生成的超分辨率图像；
具体地，生成器的结构如图2所示，包括特征提取模块以及Meta-Upscale 上采样结构。
其中，所述特征提取模块，具体为：特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个Basic Block模块，Basic Block模块是残差中的残差密集块(Residual inResidual Dense Block，RRDB)，如图3所示，Basic Block模块结合了多层残差网络和密集连接，β表示残差标度参数。
其中，所述Meta-Upscale上采样结构，具体为：Meta-Upscale上采样结构，如图4所示，输入为低分辨率特征图，输出为生成的超分辨率图像。将要放大的比率记为r，高分辨率图像的像素记为(i，j)，对应的低分辨率图像的像素记为 (i′，j′)。Meta-Upscale模块进行三个操作，位置投影、权重预测以及特征映射：
(1)位置投影的目标是找到高分辨率图像每一个像素(i，j)所对应的低分辨率图像像素(i′，j′)，本质上是为了得到像素(i′，j′)的特征，如下公式所示：
(2)杈重预测网络能够根据尺度相关和坐标相关的向量去预测滤波器的杈重和数量，而不用直接从训练数据集学习。这意味着不再需要再为了不同的放大比率存储滤波器的权重，而能够以单个模型实现任意比率放大的超分辨率重建。用于预测滤波器权重的尺度相关和坐标相关的向量记为vij。vij与(i，j)有关，并引入放大比率r作为元素，以此来区分不同放大比率对应的权重。vij用公式表示为：
权重预测网络可以用公式表示为：
W(i，j)表示对于高分辨率图像像素点(i，j)的滤波器权重，
表示权重预测网络，θ表示输入权重预测网络的参数。
(3)特征映射就是利用预测出的滤波器权重，将特征图映射到目标高分辨率图像SR。特征映射Φ(·)表示为：
Φ(FLR(i′，j′)，W(i，j))＝FLR(i′，j′)W(i，j)
判别器构造单元3，用于以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG网络搭建生成对抗网络中的相对平均判别器。
具体地，相对平均判别器记作DRa(·)，如下所示：
C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，xr表示原始高分辨率图像，xf表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
模型训练单元4，用于将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器，之后重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型。
具体地，生成器的损失函数包括感知损失、对抗损失以及L1损失：
其中Lpercep表示感知损失，其操作方式是利用VGG网络在激活层前提取高分辨率图像和低分辨率图像的特征，并计算它们之间的损失；
L1损失如下所示：
其中G(xi)表示生成器生成的超分辨率图像，y表示对应的原始高分辨率图像，E表示期望值。
相对平均判别器的损失函数仅包括对抗损失
如下：
重建显示单元5，用于将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
因此，本发明中的Meta-Upscale上采样结构通过一系列与放大比率和坐标相关的向量，可动态地预测不同数量的卷积滤波器的权重，从而实现图像的任意比率(包括非整数)上采样操作，而损失函数的构造弥补了像素损失导致重建后图像过于平滑的缺陷，得到更多的纹理等细节信息。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意比率图像超分辨率方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意比率图像超分辨率方法的步骤。
以上对本发明实施例所提供的一种任意比率图像超分辨率方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种任意比率图像超分辨率方法，其特征在于，所述方法包括：
收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale上采样结构中，输出生成的超分辨率图像；
以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG网络搭建生成对抗网络中的相对平均判别器(Relativistic average Discriminator，RaD)；
将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器；
重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
2.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述特征提取模块，具体为：
特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个Basic Block模块，BasicBlock模块是残差中的残差密集块(Residual in Residual Dense Block，RRDB)，BasicBlock模块结合了多层残差网络和密集连接。
3.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述Meta-Upscale上采样结构，具体为：
Meta-Upscale上采样结构的输入为低分辨率特征图，输出为生成的超分辨率图像，Meta-Upscale模块进行三个操作：位置投影、权重预测以及特征映射；
位置投影的目标是找到超分辨率图像每一个像素所对应的低分辨率图像像素；
权重预测能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量，而不用直接从训练数据集学习；
特征映射是利用预测出的滤波器权重，将低分辨率特征图映射到目标超分辨率图像。
4.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述搭建生成对抗网络中的相对平均判别器，具体为：
相对平均判别器记作DRa(·)，如下所示：
C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，xr表示原始高分辨率图像，xf表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
5.如权利要求4所述的一种任意比率图像超分辨率方法，其特征在于，所述生成器的损失函数，具体为：
生成器的损失函数包括感知损失、对抗损失以及L1损失：
其中Lpercep表示感知损失，其操作方式是利用VGG网络在激活层前提取高分辨率图像和低分辨率图像的特征，并计算它们之间的损失；
L1损失如下所示：
其中G(xi)表示生成器生成的超分辨率图像，y表示对应的原始高分辨率图像，E表示期望值。
6.如权利要求4所述的一种任意比率图像超分辨率方法，其特征在于，所述相对平均判别器的损失函数，具体为：
相对平均判别器的损失函数仅包括对抗损失
如下所示：
7.一种任意比率图像超分辨率系统，其特征在于，所述系统包括：
训练集构造单元，用于收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
生成器构造单元，用于搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及Meta-Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta-Upscale上采样结构中，输出生成的超分辨率图像；
判别器构造单元，用于以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG网络搭建生成对抗网络中的相对平均判别器；
模型训练单元，用于将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器，之后重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
重建显示单元，用于将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
8.如权利要求7所述的一种任意比率图像超分辨率系统，其特征在于，所述生成器构造单元，其中的特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个Basic Block模块，Basic Block模块是残差中的残差密集块，Basic Block模块结合了多层残差网络和密集连接；
其中的Meta-Upscale上采样结构的输入为低分辨率特征图，输出为生成的超分辨率图像，Meta-Upscale模块进行三个操作：位置投影、权重预测以及特征映射：位置投影的目标是找到超分辨率图像每一个像素所对应的低分辨率图像像素，权重预测能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量而不用直接从训练数据集学习，特征映射是利用预测出的滤波器权重将低分辨率特征图映射到目标超分辨率图像。
9.如权利要求7所述的一种任意比率图像超分辨率系统，其特征在于，所述判别器构造单元，其中的相对平均判别器记作DRa(·)，如下所示：
C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，xr表示原始高分辨率图像，xf表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110186443.4A CN112907448A (zh) | 2021-02-09 | 2021-02-09 | 一种任意比率图像超分辨率方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110186443.4A CN112907448A (zh) | 2021-02-09 | 2021-02-09 | 一种任意比率图像超分辨率方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112907448A true CN112907448A (zh) | 2021-06-04 |
Family
ID=76123780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110186443.4A Pending CN112907448A (zh) | 2021-02-09 | 2021-02-09 | 一种任意比率图像超分辨率方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907448A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298181A (zh) * | 2021-06-16 | 2021-08-24 | 合肥工业大学智能制造技术研究院 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
| CN115082322A (zh) * | 2022-07-26 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 图像处理方法和装置、图像重建模型的训练方法和装置 |
| CN115511748A (zh) * | 2022-09-30 | 2022-12-23 | 北京航星永志科技有限公司 | 图像高清化处理方法和装置、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
| CN112288632A (zh) * | 2020-10-29 | 2021-01-29 | 福州大学 | 基于精简esrgan的单图像超分辨率方法及系统 |
-
2021
- 2021-02-09 CN CN202110186443.4A patent/CN112907448A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
| CN112288632A (zh) * | 2020-10-29 | 2021-01-29 | 福州大学 | 基于精简esrgan的单图像超分辨率方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| HU, XUECAI等: "《Meta-SR: A Magnification-Arbitrary Network for Super-Resolution》", 3 April 2019, HTTPS://ARXIV.ORG/ABS/1903.00875 * |
| 唐艳秋等: "图像超分辨率重建研究综述", 《电子学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298181A (zh) * | 2021-06-16 | 2021-08-24 | 合肥工业大学智能制造技术研究院 | 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
| CN115082322A (zh) * | 2022-07-26 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 图像处理方法和装置、图像重建模型的训练方法和装置 |
| CN115511748A (zh) * | 2022-09-30 | 2022-12-23 | 北京航星永志科技有限公司 | 图像高清化处理方法和装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105352B (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| WO2022042124A1 (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN115147271A (zh) | 一种用于光场超分辨率的多视图信息注意力交互网络 | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| Dai et al. | Image super-resolution via residual block attention networks | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN111951203A (zh) | 视点合成方法、装置、设备及计算机可读存储介质 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN111414988A (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
| CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |
|
| RJ01 | Rejection of invention patent application after publication |