CN114549308B - 面向感知的具有大感受野的图像超分辨率重建方法及系统 - Google Patents
面向感知的具有大感受野的图像超分辨率重建方法及系统 Download PDFInfo
- Publication number
- CN114549308B CN114549308B CN202210108462.XA CN202210108462A CN114549308B CN 114549308 B CN114549308 B CN 114549308B CN 202210108462 A CN202210108462 A CN 202210108462A CN 114549308 B CN114549308 B CN 114549308B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- receptive field
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008447 perception Effects 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了面向感知的具有大感受野的图像超分辨率重建方法及系统，涉及图像处理领域，首先，对超分辨率重建数据集中的原始数据进行预处理，构建出成对的LR‑HR训练数据；其次，将预处理好的数据集输入到面向PSNR具有感受野的超分辨率重建网络中，仅采用L1作为训练损失进行训练；然后，使用训练过的面向PSNR的模型作为生成器的初始化，将鉴别器与生成器交替训练，得到最终的超分辨率重建模型；最后，加载上述模型，将所需要超分的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。本发明有效的提取了图像多尺度信息，并且能够重建出更多的高频信息以及复杂的纹理细节等，在图像感知指标上有显著提高。
Description
技术领域
本发明涉及计算机视觉技术领域及图像处理领域，具体涉及面向感知的具有大感受野的图像超分辨率重建方法及系统。
背景技术
图像超分辨率重建技术指的是将给定的低分辨率图像通过特殊的算法恢复成与之对应的高分辨率图像。图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，高分辨率图像中往往包含更丰富的纹理细节，并且具有更高的可信赖度。在现实生活中具有广泛的运用，如：对医学图像进行超分辨率重建，可以更好的复原出清晰的医学影像，从而实现对病变细胞的精准探测。然而，受到采集设备以及环境、图像退化模型本身等诸多因素的影响，会导致高分辨率图像重建过程中高频信息的丢失，从而影响最终的重建效果。因此，如何从低分辨率图像中恢复出高分辨率图像的细节成为了一项重要且艰巨的任务。
目前来说，图像超分辨率重建的方法主要分为三种：基于插值的方法、基于重构的方法以及基于学习的方法。在早期，大多数重建方法都是采用的基于插值的方法，最常见的包含双线性插值以及双三次插值法，这类方法计算较为简单、易于理解并且便于实现，但是在最终的重建结果会出现振铃效应以及高频信息丢失严重的问题。在这之后，出现了很多基于重构的方法，这类方法从图像的降质退化模型出发，结合图像的先验知识来约束超分辨率图像的生成。而基于学习的方法则是通过学习过程获得先验知识，来指导高分辨率图像生成。
随着深度学习的流行，出现了很多基于深度学习的超分辨率重建算法，一类主要是面向峰值信噪比(PSNR，Peak Signal to Noise Ratio)的重建算法，比如RCAN、EDSR以及CARN等等。这类方法虽然可以获得较高的PSNR，但是重建结果缺乏足够的高频信息；另一类是面向感知的重建算法，比如ESRGAN、HSRGAN等，这类方法可以虽然可以恢复出部分图像的细节，但是这些算法感受野较小并且只能提取单一尺度特征，缺乏足够的监督信息，因此难以恢复出局部细节和复杂结构。
发明内容
针对现有技术存在上述问题，本发明提出一种面向感知的具有大感受野的图像超分辨率重建方法，该方法可以恢复出更多的毛发、纹理等高频信息，克服现有基于GAN的单图像超分辨率重建方法只能提取单一尺度特征和感受野较小不足的问题，提高图像超分辨率重建精度。
为此，本发明提供了以下技术方案：
本发明提供了一种面向感知的具有大感受野的图像超分辨率重建方法，包括：
步骤1、获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像训练数据；
步骤2、将预处理好的训练数据输入到面向峰值信噪比且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；所述面向峰值信噪比且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成；所述Basic block由具有大感受野的RRFDB模块与4个剩余残留密集块RRDB模块组成；所述具有大感受野的RRFDB模块通过将感受野模块RFB加入到RRDB模型中形成；
步骤3、将步骤2中的训练模型权重作为生成器的初始化，鉴别器采用与增强型超分辨率生成对抗网络ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
步骤4、加载步骤3训练完的图像超分辨率重建模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。
进一步地，步骤1具体包括：
将原始数据集中高分辨率图像进行裁剪操作，每张图片裁剪若干张128×128的子图，用来扩充数据集；
通过Matlab使用双三次核函数对高分辨率图像进行4倍的下采样从而获得低分辨率图像，采用成对的低分辨率图像-高分辨率图像作为超分辨率重建网络的训练集。
进一步地，步骤2具体包括：
将低分辨率训练图片输入到一个内核大小为3x3的卷积层；
将经过卷积处理得到的结果输入到4个Basic block和1个感受野模块RFB组成的具有大感受野的特征提取网络中，提取特征；
将经过所述特征提取网络提取的特征送入到上采样模块中进行上采样操作；
将经过上采样操作的输出结果输入到最后两个3x3的卷积层中，得到最终重建出来的高分辨率图像，并且保存训练模型和评价指标。
进一步地，步骤3具体包括：
将步骤2中的训练模型权重作为生成器的初始化，并且采用经过预训练好的Vgg19网络提取ISR和IHR的特征，使用Vgg19有助于网络恢复高频内容；
将生成器生成的ISR图片送入到鉴别器网络中，采用Vgg128作为鉴别器，鉴别器包含了8个卷积操作和最后两个全连接层；
生成器的总损失由感知损失、内容损失以及对抗损失组成，损失函数为LG＝LVgg+λLadv+ηL1；其中，ISR表示经过生成器G生成的SR图像，ISR的生成用ISR＝G(ILR)表示，LVGG代表感知损失函数的loss函数，IHR表示原始的高分辨率图像，代表训练数据集，利用感知损失函数能够在训练中获得更多的高频信息，引导生成器生成更清晰的SR图像；生成器的对抗损失为Ladv＝-E[log(1-ΔReal)]-E[log(ΔFake)]；Δ(.)代表判断SR图像的相对真假，即ISR和IHR之间真实度的差异，D(.)来表示鉴别器的功能函数，E[.]表示小批量中所有数据的平均操作；L1＝E||G(ILR)-IHR||1是用来评估生成的图像和真实的图像之间1范式距离的内容损失，λ、η是不同损失项的系数；
鉴别器的总损失为LD＝-E[log(ΔReal)]-E[1-log(ΔFake)]。
进一步地，将经过卷积处理得到的结果输入到4个Basic block和1个感受野模块RFB组成的具有大感受野的特征提取网络中，提取特征，包括：
将经过卷积处理得到的结果输入到第一个Basic block，输出由下列公式表示：
其中代表了RRDB的功能函数，fRRFDB代表了RRFDB的功能函数；
将输出结果x1 Basic block输入到第二个Basic block中，得到输出x2 Basic block；同理，依次得到第三个以及第四个经过Basic block的输出结果，分别为x3 Basic block以及x4 Basic block，输出分别用下列公式表示；
将经过4个Basic block得到的输出x4 Basic block与经过第一层卷积的结果xconv进行残差连接，得到结果xBasic block+conv；
最后，将xBasic block+conv输入到特征提取网络的最后一个大感受野模块RFB模块中，则输出由公式表示：
xlast＝fRFB(xBasic block+conv)；
其中，xlast代表了特征提取最终的输出，fRFB代表了RFB模块的功能函数。
进一步地，所述上采样模块采取最近邻上采样NNI和亚像素卷积SPC相结合的方式。
又一方面，本发明还提供了一种面向感知的具有大感受野的图像超分辨率重建系统，包括：
预处理模块，用于获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像训练数据；
训练模块，用于将预处理好的训练数据输入到面向峰值信噪比且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；所述面向峰值信噪比且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成；所述Basic block由具有大感受野的RRFDB模块与4个剩余残留密集块RRDB模块组成；所述具有大感受野的RRFDB模块通过将感受野模块RFB加入到RRDB模型中形成；
模型建立模块，用于将训练模块中的训练模型权重作为生成器的初始化，鉴别器采用与增强型超分辨率生成对抗网络ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
图像重建模块，用于加载模型建立模块训练完的图像超分辨率重建模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述一种面向感知的具有大感受野的图像超分辨率重建方法。
本发明由于采用以上技术方案，能够取得如下的技术效果：本发明采用基于GAN的深度学习模型，利用感受野模块RFB组成的Basicblock模块可以有效地提取图像多尺度信息，并且RFB是由不同尺度的卷积滤波器组成，可以保持深度丰富的特征，有助于超分辨率重建结果拥有更多的纹理细节以及高频信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种面向感知的具有大感受野的图像超分辨率重建方法的流程图；
图2为本发明实施例中一种面向感知的具有大感受野的图像超分辨率重建网络的框架图；
图3为本发明实施例中RFB模块具体结构图；
图4为本发明实施例中上采样模块结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本实施例以Windows系统为开发环境，以Pycharm为开发平台，Python为开发语言，采用本发明的面向感知的带有感受野的图像超分辨率重建方法，完成低分辨率图像到高分辨率图像的重建。
如图1所示，其示出了本发明实施例中一种面向感知的具有大感受野的图像超分辨率重建方法的流程示意图，包括：
步骤1：获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像(LR-HR)训练数据；
其中，步骤1具体包括：
步骤1.1：将原始数据集中高分辨率图像(HR)进行裁剪操作，每张图片裁剪若干张128×128的子图，用来扩充数据集；
步骤1.2：通过Matlab使用双三次核函数对高分辨率图像进行4倍的下采样从而获得低分辨率图像(LR)，采用成对的LR-HR作为超分辨率重建网络的训练集。
步骤2：将预处理好的训练数据输入到面向PSNR且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；
其中，如图2所示，面向PSNR且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成。
步骤2具体包括：
步骤2.1：首先，将LR训练图片输入到一个内核大小为3x3的卷积层，它的输出公式为(1)，fconv表示的是对输入LR图片进行卷积操作，xconv代表的是经过卷积操作所得到的输出，ILR代表的是输入的低分辨率图像；
xconv＝fconv(ILR) (1)
步骤2.2：将步骤2.1经过卷积处理得到的结果输入到具有大感受野的特征提取网络(4个基础模块Basic block+感受野模块RFB)中；
RRDB(Residual-in-Residu Dense Block)是具有紧凑并且有效的剩余残留密集块，有助于提高感知质量，具有非常好的特征提取能力。但是RRDB仅仅能提取单一尺度特征，本发明将感受野模块RFB加入到特征提取模块RRDB中，形成具有大感受野的RRFDB模块，RFB虽然可以增大感受野使得网络可以提取多尺度特征，但是同时会带有参数量显著上升的问题，所以本发明将一个RRFDB与4个RRDB相结合，组成Basic block基本模块，Basicblock可以在提取基本特征同时，看到更多的上下文信息。当Basicblock数量小于4时，模型的重构能力会下降，并且随着Basic block数量的增加，网络的参数量也在不断增加。为了达到计算开销与性能两者之间的最佳平衡，本发明将Basic block的数量设置为4。
如图3所示，RFB模块是一个多分支的卷积块，第一分支包括1×1卷积，第二分支包括串联的1×1卷积、1×3卷积、1×3卷积和3×3卷积(rate＝5)，第三分支包括串联的1×1卷积、3×1卷积和3×3卷积(rate＝3)，第四分支包括串联的1×1卷积、1×3卷积和3×3卷积(rate＝3)，四五分支包括串联的1×1卷积和3×3卷积(rate＝1)，第二分支、第三分支、第四分支和第五分支串联，再与1×1卷积叠加，最后再与第一分支叠加，叠加结果进入LReLU activation。
具体地，将步骤2.1经过卷积处理得到的结果输入到第一个Basic block，输出可以用公式(2)表示，其中代表了RRDB的功能函数，fRRFDB代表了RRFDB的功能函数；
将输出结果x1 Basic block输入到第二个Basic block中，得到输出x2 Basic block；同理，依次得到第三个以及第四个经过Basic block的输出结果，分别为x3 Basic block以及x4 Basic block，输出可以分别用公式(3)、(4)以及(5)表示；
将经过4个Basic block得到的输出x4 Basic block与经过第一层卷积的结果xconv进行残差连接，得到结果xBasic block+conv。
最后，将xBasic block+conv输入到特征提取网络的最后一个大感受野模块RFB模块中，则输出公式可以用(6)表示，其中xlast代表了特征提取最终的输出，fRFB代表了RFB模块的功能函数。
xlast＝fRFB(xBasic block + conv ) (6)
步骤2.3：将经过上述特征提取网络提取的特征送入到上采样模块中。
基础模型ESRGAN(增强型超分辨率生成对抗网络，Enhanced Super-ResolutionGenerative Adversarial Networks)的上采样模块采取了两个放大2倍的最近邻上采样(NNI)，虽然NNI具有计算量小、模型推理速度快的优点，但是NNI仅使用离带采样点最近的像素的灰值度而没有考虑其他相邻像素点的影响，因此重建结果会出现灰度值的明显的不连续性，直接影响到人的视觉效果。
本发明采取最近邻上采样(NNI)和亚像素卷积(SPC)相结合的方式，相比采用两个NNI的上采样方法，交替使用NNI和SPC两种不同的上采样方法能够产生更多的纹理细节，同时本发明在上采样模块中也加入感受野模块RFB，有利于空间信息交互。如图4所示，上采样模块包括最近邻上采样NNI、感受野模块RFB、亚像素卷积SPC、感受野模块RFB和卷积，输入进入上采样模块，得到SR图像(重建的超分辨率图像)。
公式(7)表示的是上采样模块的输出，fRFB表示RFB的功能函数，finter指的是最近邻插值函数，fsub表示的是亚像素卷积函数，x表示的是经过上采样模块的输出结果；
x＝(fconv(fRFB(fsub(fRFB(finter))))) (7)
步骤2.4：将上述经过上采样操作的输出结果x输入到最后两个3x3的卷积层中，得到最终重建出来的高分辨率图像，并且保存训练模型和评价指标；
输出可以用公式(8)表示，使用f1和f2表示最后两个卷积层，ISR代表的是最终网络重建出来的高分辨率图像。
ISR＝f2(f1(x)) (8)
步骤3：将步骤2中的训练模型权重作为生成器的初始化，鉴别器采用与基础模型ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
其中，所述步骤3具体包括：
步骤3.1：将经过步骤2训练好的面向PSNR的模型作为生成器的初始化，并且采用经过预训练好的Vgg19网络来提取ISR和IHR的特征，使用Vgg19有助于网络恢复高频内容。
用ISR来表示经过生成器G生成的SR图像，ISR的生成可以用公式(9)表示，LVGG代表感知损失函数的loss函数，如公式(10)所示。用IHR来表示原始的高分辨率图像，这里用D代表训练数据集，利用感知损失函数可以在训练中获得更多的高频信息，引导生成器生成更清晰的SR图像；
ISR＝G(ILR) (9)
步骤3.2：将生成器生成的ISR图片送入到鉴别器网络中，采用Vgg128作为鉴别器，鉴别器包含了8个卷积操作和最后两个全连接层。
公式(11)和(12)分别代表了生成器的对抗损失和鉴别器的损失，在这里使用Δ(.)代表判断SR图像的相对真假，即ISR和IHR之间真实度的差异，这里使用D(.)来表示鉴别器的功能函数，使用E[.]来表示小批量中所有数据的平均操作；
Ladv＝-E[log(1-ΔReal)]-E[log(ΔFake)] (11)
LD＝-E[log(ΔReal)]-E[1-log(ΔFake)] (12)
步骤3.3：生成器的总损失由感知损失、内容损失以及对抗损失组成，损失函数如公式(13)所示，这里的L1＝E||G(ILR)-IHR||1是用来评估生成的图像和真实的图像之间1范式距离的内容损失，而λ、η则是不同损失项的系数，而鉴别器的总损失如公式(12)所示。
LG＝LVgg+λLadv+ηL1 (13)
步骤4：加载步骤3训练完保存的模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像以及相应的评价指标；
具体地，加载步骤3中训练好的模型model_best，将低分辨率图像输入到模型中，并输出重建的SR图像以及相应的评价指标。
评价指标以PI为主要指标，PSNR和SSIM为辅助指标(SSIM是一种类似于PSNR的指标，通常来说，越高越好)。与PSNR指标不同，PI指标主要用来衡量图像的感知质量，它结合了Ma的评分以及NIQE，通常来说，越低越好。而PSNR指标基于对应像素点之间的误差，主要关注的是两幅图像相同位置的像素之间的差异，并且未考虑人眼的视觉特性。PI的计算公式如公式(14)所示，PSNR的计算公式如公式(15)所示，这里的表示图像点颜色的最大数值，MSE表示的是均方误差。
根据以上步骤，将本发明中的模型与EDSR模型、RCAN模型、ESRGAN模型以及HSRGAN模型进行对比。从表1(通过感知指数测量数据集Set5、Set14、BSD100、Urban100以及General100上不同SR方法的定量评估)中可以看出，本发明提出方法在五个常见的测试集上的PI值基本都优于其他方法。
表1
对应本发明中的一种面向感知的具有大感受野的图像超分辨率重建方法，本发明还提供了一种面向感知的具有大感受野的图像超分辨率重建系统，包括：
预处理模块，用于获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像训练数据；
训练模块，用于将预处理好的训练数据输入到面向峰值信噪比且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；所述面向峰值信噪比且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成；所述Basic block由具有大感受野的RRFDB模块与4个剩余残留密集块RRDB模块组成；所述具有大感受野的RRFDB模块通过将感受野模块RFB加入到RRDB模型中形成；
模型建立模块，用于将训练模块中的训练模型权重作为生成器的初始化，鉴别器采用与增强型超分辨率生成对抗网络ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
图像重建模块，用于加载模型建立模块训练完的图像超分辨率重建模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。
对于本发明实施例的一种面向感知的具有大感受野的图像超分辨率重建系统而言，由于其与上面实施例中的一种面向感知的具有大感受野的图像超分辨率重建方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的一种面向感知的具有大感受野的图像超分辨率重建方法说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的一种面向感知的具有大感受野的图像超分辨率重建方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，包括：
步骤1、获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像训练数据；
步骤2、将预处理好的训练数据输入到面向峰值信噪比且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；所述面向峰值信噪比且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成；所述Basic block由具有大感受野的RRFDB模块与4个剩余残留密集块RRDB模块组成；所述具有大感受野的RRFDB模块通过将感受野模块RFB加入到RRDB模型中形成；
步骤3、将步骤2中的训练模型权重作为生成器的初始化，鉴别器采用与增强型超分辨率生成对抗网络ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
步骤4、加载步骤3训练完的图像超分辨率重建模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。
2.根据权利要求1所述的一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，步骤1具体包括：
将原始数据集中高分辨率图像进行裁剪操作，每张图片裁剪若干张128×128的子图，用来扩充数据集；
通过Matlab使用双三次核函数对高分辨率图像进行4倍的下采样从而获得低分辨率图像，采用成对的低分辨率图像-高分辨率图像作为超分辨率重建网络的训练集。
3.根据权利要求1所述的一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，步骤2具体包括：
将低分辨率训练图片输入到一个内核大小为3x3的卷积层；
将经过卷积处理得到的结果输入到4个Basic block和1个感受野模块RFB组成的具有大感受野的特征提取网络中，提取特征；
将经过所述特征提取网络提取的特征送入到上采样模块中进行上采样操作；
将经过上采样操作的输出结果输入到最后两个3x3的卷积层中，得到最终重建出来的高分辨率图像，并且保存训练模型和评价指标。
4.根据权利要求1所述的一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，步骤3具体包括：
将步骤2中的训练模型权重作为生成器的初始化，并且采用经过预训练好的Vgg19网络提取ISR和IHR的特征，使用Vgg19有助于网络恢复高频内容；
将生成器生成的ISR图片送入到鉴别器网络中，采用Vgg128作为鉴别器，鉴别器包含了8个卷积操作和最后两个全连接层；
生成器的总损失由感知损失、内容损失以及对抗损失组成，损失函数为LG＝LVgg+λLadv+ηL1；其中，ISR表示经过生成器G生成的SR图像，ISR的生成用ISR＝G(ILR)表示，LVGG代表感知损失函数的loss函数，IHR表示原始的高分辨率图像，/>代表训练数据集，利用感知损失函数能够在训练中获得更多的高频信息，引导生成器生成更清晰的SR图像；生成器的对抗损失为Ladv＝-E[log(1-ΔReal)]-E[log(ΔFake)]；Δ(.)代表判断SR图像的相对真假，即ISR和IHR之间真实度的差异，D(.)来表示鉴别器的功能函数，E[.]表示小批量中所有数据的平均操作；L1＝E||G(ILR)-IHR||1是用来评估生成的图像和真实的图像之间1范式距离的内容损失，λ、η是不同损失项的系数；
鉴别器的总损失为LD＝-E[log(ΔReal)]-E[1-log(ΔFake)]。
5.根据权利要求1所述的一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，将经过卷积处理得到的结果输入到4个Basic block和1个感受野模块RFB组成的具有大感受野的特征提取网络中，提取特征，包括：
将经过卷积处理得到的结果输入到第一个Basic block，输出由下列公式表示：
其中代表了RRDB的功能函数，fRRFDB代表了RRFDB的功能函数；
将输出结果x1 Basic block输入到第二个Basic block中，得到输出x2 Basic block；同理，依次得到第三个以及第四个经过Basic block的输出结果，分别为x3 Basic block以及x4 Basic block，输出分别用下列公式表示；
将经过4个Basic block得到的输出x4 Basic block与经过第一层卷积的结果xconv进行残差连接，得到结果xBasic block+conv；
最后，将xBasic block+conv输入到特征提取网络的最后一个大感受野模块RFB模块中，则输出由公式表示：
xlast＝fRFB(xBasic block+conv)；
其中，xlast代表了特征提取最终的输出，fRFB代表了RFB模块的功能函数。
6.根据权利要求1所述的一种面向感知的具有大感受野的图像超分辨率重建方法，其特征在于，所述上采样模块采取最近邻上采样NNI和亚像素卷积SPC相结合的方式。
7.一种面向感知的具有大感受野的图像超分辨率重建系统，其特征在于，包括：
预处理模块，用于获取单图像超分辨率重建数据集，并对单图像超分辨率重建数据集中的原始数据进行预处理，构建出成对的低分辨率图像-高分辨率图像训练数据；
训练模块，用于将预处理好的训练数据输入到面向峰值信噪比且具有大感受野的图像超分辨率重建网络中，仅采用L1作为训练损失进行训练；所述面向峰值信噪比且具有大感受野的图像超分辨率重建网络由卷积层、4个基础模块Basic block、感受野模块RFB、上采样模块、2个卷积层串联而成；所述Basic block由具有大感受野的RRFDB模块与4个剩余残留密集块RRDB模块组成；所述具有大感受野的RRFDB模块通过将感受野模块RFB加入到RRDB模型中形成；
模型建立模块，用于将训练模块中的训练模型权重作为生成器的初始化，鉴别器采用与增强型超分辨率生成对抗网络ESRGAN相同的鉴别器，并且将鉴别器与生成器交替训练，得到最终的图像超分辨率重建模型；
图像重建模块，用于加载模型建立模块训练完的图像超分辨率重建模型，将所需要超分辨率的图片输入到训练完的超分辨率重建网络模型中，得到低分辨率图像所对应的高分辨率图像。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～6任一项所述的一种面向感知的具有大感受野的图像超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210108462.XA CN114549308B (zh) | 2022-01-28 | 2022-01-28 | 面向感知的具有大感受野的图像超分辨率重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210108462.XA CN114549308B (zh) | 2022-01-28 | 2022-01-28 | 面向感知的具有大感受野的图像超分辨率重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549308A CN114549308A (zh) | 2022-05-27 |
| CN114549308B true CN114549308B (zh) | 2024-03-22 |
Family
ID=81673353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210108462.XA Active CN114549308B (zh) | 2022-01-28 | 2022-01-28 | 面向感知的具有大感受野的图像超分辨率重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549308B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205122B (zh) * | 2022-09-06 | 2022-12-06 | 深圳大学 | 保持结构和纹理的超分图像生成方法、系统、装置和介质 |
| CN115937018B (zh) * | 2022-11-03 | 2023-11-03 | 江苏济远医疗科技有限公司 | 一种利用多通道反馈网络进行图像复原的方法 |
| CN115994857B (zh) * | 2023-01-09 | 2023-10-13 | 深圳大学 | 一种视频超分辨率方法、装置、设备及存储介质 |
| CN115982418B (zh) * | 2023-03-17 | 2023-05-30 | 亿铸科技(杭州)有限责任公司 | 一种提升ai计算芯片超分运算性能的方法 |
| CN116739899A (zh) * | 2023-06-12 | 2023-09-12 | 重庆理工大学 | 基于saugan网络的图像超分辨率重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
| CN113298718A (zh) * | 2021-06-22 | 2021-08-24 | 云南大学 | 一种单幅图像超分辨率重建方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11354577B2 (en) * | 2017-03-15 | 2022-06-07 | Samsung Electronics Co., Ltd | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| US11790489B2 (en) * | 2020-04-07 | 2023-10-17 | Samsung Electronics Co., Ltd. | Systems and method of training networks for real-world super resolution with unknown degradations |
-
2022
- 2022-01-28 CN CN202210108462.XA patent/CN114549308B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN111583109A (zh) * | 2020-04-23 | 2020-08-25 | 华南理工大学 | 基于生成对抗网络的图像超分辨率方法 |
| CN113298718A (zh) * | 2021-06-22 | 2021-08-24 | 云南大学 | 一种单幅图像超分辨率重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭岑 ; 尹增山 ; 高爽 ; .空间感知残差网络的遥感图像超分辨率重建.测绘科学.2020,(05),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549308A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
| Purkait et al. | Super resolution image reconstruction through Bregman iteration using morphologic regularization | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN112419150B (zh) | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 | |
| Vu et al. | Perception-enhanced image super-resolution via relativistic generative adversarial networks | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| Liu et al. | Learning cascaded convolutional networks for blind single image super-resolution | |
| CN115115514A (zh) | 基于高频信息特征融合的图像超分辨率重建方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN117474764A (zh) | 一种针对复杂退化模型下遥感图像的高分辨率重建方法 | |
| CN117217997A (zh) | 一种基于上下文感知边缘增强的遥感图像超分辨率方法 | |
| CN117011139A (zh) | 基于深度学习的人脸超分辨率图形重建方法及系统 | |
| Peng et al. | MND-GAN: A research on image deblurring algorithm based on generative adversarial network | |
| CN111986102A (zh) | 一种数字病理图像去模糊方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |