CN116091313A - 一种图像超分辨率网络模型和重建方法 - Google Patents
一种图像超分辨率网络模型和重建方法 Download PDFInfo
- Publication number
- CN116091313A CN116091313A CN202211640581.6A CN202211640581A CN116091313A CN 116091313 A CN116091313 A CN 116091313A CN 202211640581 A CN202211640581 A CN 202211640581A CN 116091313 A CN116091313 A CN 116091313A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- resolution image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 19
- 230000006872 improvement Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨率网络模型和重建方法，所述方法包括以下步骤：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。本发明使用MCRAN网络提升了超分辨率网络性能，提高了图像超分辨率的视觉质量。
Description
技术领域
本发明涉及图像超分辨率技术领域，特别是涉及图像超分辨率重建方法。
背景技术
图像是重要的信息载体，图像分辨率质量对于图像内容的信息提取和目译判读具有非常重要的影响。因此，超分辨率图像蕴含的像素密度更高，高频纹理细节更丰富，提供的有效信息更多。在5G时代的背景下，智能设备逐渐普及到生活的每个角落，针对各种场景的成像设备也层出不穷。在实际应用场景中，由于硬件水平及造价成本等限制，以及设备成像过程受到光学模糊、运动模糊、压缩噪声和机械振动等诸多因素的影响，导致最终的成像质量一般，图像分辨率较低。
随着SRCNN网络的提出，基于深度学习的超分辨率重建方法取得了突破性进展，特别是与传统的算法相比，重建性能得到了很大的提升。目前超分辨率算法随着网络的加深，非线性表达能力也越强，但在网络传播过程中可能带来浅层特征信息的丢失，因此亟需一种能够改善浅层特征信息丢失的方法。
发明内容
本发明提供一种图像超分辨率网络模型和重建方法，通过将图像超分辨率网络模型改为MCRAN网络，改善了超分辨率网络应用过程中浅层特征信息丢失的问题，提高了图像超分辨率的视觉质量。
为实现上述效果，本发明的技术方案如下：
一种图像超分辨率网络模型，图像超分辨率网络模型为MCRAN网络，MCRAN网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；
浅层特征提取模块由依次连接的卷积层Conv_1、第一Leaky ReLU非线性激活函数组成；深层特征提取模块由8个依次连接的MRAB模块、卷积层Conv_2、第二Leaky ReLU非线性激活函数组成；上采样模块由依次连接的卷积层Conv_3、第三Leaky ReLU非线性激活函数、卷积层Conv_4、亚像素卷积模块组成。
需要说明的是，浅层特征提取模块、深层特征提取模块、上采样模块均设有LeakyReLU非线性激活函数以增加超分辨率网络的非线性能力。深层特征提取模块一共使用8个MRAB模块进行串联，旨在更好地提取图像特征信息。
本发明MCRAN网络是对SRResNet网络的改进，在原始SRResNet网络中的残差结构中包含批归一化层(BN)，为加快学习收敛速度，存在梯度消失的问题。但对于超分辨率重建任务来说，批归一化层在传统的重构方法EDSR中被证明效果不佳；批归一化层在训练时，使用一个小批次训练数据的均值和方差对该批次特征进行归一化，但在测试阶段批归一化层使用整个测试集上数据的均值和方差进行预测，当测试集与训练集的数据量有较大差异时，在梯度计算时可能会引入噪声，从而生成伪影，弱化了单张图像本身特有的一些细节信息，并且限制模型的泛化能力。所以本发明在设计MCRAN网络时移除了批归一化层，以更有利于超分辨率网络的训练。
进一步的，所述卷积层Conv_1、卷积层Conv_2、卷积层Conv_3、卷积层Conv_4的卷积核均为3x3。
进一步的，所述MRAB模块包括输入端Xn-1、卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层、卷积层Conv2_1、卷积层Conv2_2、第二融合层、卷积层Conv3_1、通道注意力模块，输出端Xn；
其中，输入端Xn-1分别和卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层的输入端连接；输入端Xn-1、卷积层Conv1_2、输出端卷积层Conv1_3的输出端分别和第一融合层的输入端连接，第一融合层的输出端分别和卷积层Conv2_1、卷积层Conv2_2的输入端连接，输入端Xn-1、卷积层Conv2_1的输出端、卷积层Conv2_2的输出端、卷积层Conv1_1的输出端分别和第二融合层的输入端连接，第二融合层的输出端依次连接卷积层Conv3_1、通道注意力模块后得到输出端Xn；
卷积层Conv1_2、卷积层Conv1_3、卷积层Conv2_1、卷积层Conv2_2、卷积层Conv3_1均设有Leaky ReLU非线性激活函数。
一种图像超分辨率重建方法，包括以下步骤：
S1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；
S2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；
S3：基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；
S4：利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；
S5：将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。
需要说明的是，初始特征图的分辨率在整个MCRAN网络提取过程中与原始高分辨率图像保持一致，原始高分辨率图像作为MCRAN网络的输入图像。
进一步的，步骤S1中下采样为双三次插值下采样。
进一步的，步骤S2具体为：
步骤S2.1：低分辨率图像经过超分辨率网络模型的浅层特征提取模块提取低分辨率图像的低频特征信息，输出64维特征图；浅层特征提取模块的输入输出维度均为64维；
步骤S2.2：64维特征图经过深层特征提取模块进行多尺度特征提取，提取高频特征信息；深层特征提取模块中MRAB模块的输入输出维度均为64维；
步骤S2.3：将所有深层特征提取模块提取后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，得到特征融合图；
步骤S2.4：特征融合图经过上采样模块进行上采样，得到超分辨率图像。
需要说明的是，浅层特征提取模块用于提取低分辨率图像中的底层特征信息，采用3×3标准卷积核，并在其后设置Leaky ReLU非线性激活函数增加MCRAN网络的非线性能力；MRAB模块用于特征提取，上采样模块用于将特征图像信息重建为超分辨率图像。
进一步的，步骤S2.4具体为：上采样采用亚像素卷积，将特征融合图经过特征提取后输出上采样特征图像，上采样特征图像经亚像素排列后生成r2维度的超分辨率图像，r代表网络重建倍数，通道数即为超分辨率图像尺寸的平方。
需要说明的是，上采样特征图像与输入的初始特征图尺寸相同；上采样采用亚像素卷积，利用了特征融合图本身的信息，没有破坏高频特征信息与低频特征信息之间的关联性与空间特征，并通过自适应的方式学习亚像素信息的生成与排列。
如果特征融合图进行2倍上采样，那么只需控制亚像素卷积模块的卷积核个数，使特征融合图输出维度为22，再经过亚像素卷积即可重建为2倍的超分辨率图像；同理，重建3倍和4倍图像，只需将r分别设置为3和4；上采样模块通过控制卷积核个数来灵活调整重建倍数，对图像进行任意尺度的超分辨率放大，相比固定尺度的超分辨率可以有更灵活的放大倍数，解决了原始超分辨率网络固定缩放因子的问题。
进一步的，步骤S3中L1损失函数表示如下；
其中，N表示训练集的数量，IHR和ISR分别表示原始高分辨率图像和超分辨率图像。
进一步的，步骤S4之前还包括：按照预设下采样倍数对若干数量张原始高分辨率图像进行下采样，以得到相应的低分辨率图像；基于所述原始高分辨率图像和所述低分辨率图像构造用于训练所述MCRAN网络的训练集；其中，所述训练集中包含所述原始高分辨率图像以及对应的所述低分辨率图像。
进一步的，步骤S4具体为：确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和参数；基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型。
进一步的，将Adam作为训练过程使用的优化器，学习率初始值为0.001，优化器参数包括β1和β2，β1和β2分别为0.9和0.999。
本发明根据MRAB模块构造MCRAN网络，MCRAN网络接收不同尺度的感受野信息，从多个层次进行信息交互和提取。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出的MCRAN网络选用MRAB模块作为特征提取模块，提升MCRAN网络的性能，提高了图像超分辨率的视觉质量；低分辨率图像经过MCRAN网络中获得了视觉质量良好的超分辨率图像；通过设置浅层特征提取模块改善了超分辨率网络应用过程中浅层特征信息丢失的问题，充分利用了图像多尺度感受野的特征信息。
附图说明
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明实施例提供的原始SRResNet网络结构示意图；
图2是本发明实施例提供的MRAB模块示意图；
图3是本发明实施例提供的MCRAN网络的示意图；
图4是本发明实施例提供的DIV2K数据集的示意图
图5是本发明实施例提供的MRAB模块数量对比示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
本发明中相关名词注释：
MCRAN：Multi-scale Convolution and Residual-dense Attention super-resolution Networks，多尺度卷积和剩余密集注意力超分辨率网络；
MRAB：Multi-scale Residual-dense Attention Block，多尺度残差密连模块；
Concat：融合；
BN：Batch Normalization，批归一化层；
Pixel Shuffle：亚像素卷积；
实施例1
为了便于理解，请参阅图2-图3，本发明提供的一种图像超分辨率网络模型的一个实施例，图像超分辨率网络模型为MCRAN网络，MCRAN网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；
浅层特征提取模块由依次连接的卷积层Conv_1、第一Leaky ReLU非线性激活函数组成；深层特征提取模块由8个依次连接的MRAB模块、卷积层Conv_2、第二Leaky ReLU非线性激活函数组成；上采样模块由依次连接的卷积层Conv_3、第三Leaky ReLU非线性激活函数、卷积层Conv_4、亚像素卷积模块组成。
所述卷积层Conv_1、卷积层Conv_2、卷积层Conv_3、卷积层Conv_4的卷积核均为3x3。
作为本发明的另一实施例，一种图像超分辨率重建方法，包括以下步骤：
S1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；
S2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；
S3：基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；
S4：利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；
S5：将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。
MRAB模块采用多尺度卷积结构、残差密连思想，由多个卷积层和通道注意力机制组成。
具体的，步骤S2具体为：步骤S2.1：低分辨率图像经过超分辨率网络模型的浅层特征提取模块提取低分辨率图像的低频特征信息，输出64维特征图；浅层特征提取模块的输入输出维度均为64维；
步骤S2.2：64维特征图经过深层特征提取模块进行多尺度特征提取，提取高频特征信息；深层特征提取模块中MRAB模块的输入输出维度均为64维；
需要说明的是，MRAB模块每个串联操作都具有三个或四个初始特征图信息，以充分利用图像中多尺度局部特征信息。如图2所示，MRAB模块中间两条支路路径的卷积核大小不同，能够以不同的尺度比例检测初始特征图，有利于局部不同尺寸特征信息的融合。图像信息传递过程如下式所示。
式中，Xn-1表示MRAB模块的输入图像，Xn表示MRAB模块的输出图像，*表示卷积运算，
表示卷积核；其中，下标a×a表示卷积核的尺寸，上标表示b层网络的参数，
表示Leaky ReLU非线性激活函数，
表示通道注意
力机制。
MRAB模块的网络参数如表1所示。每个卷积层的卷积核的个数都为64；除卷积层Conv1_1外，每个卷积层均设有Leaky ReLU非线性激活函数。
表1MRAB模块网络参数
当Xn-1作为输入图像输入到MRAB模块中，Xn-1分别经过卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3得到第一特征图、第二特征图、第三特征图，并针对卷积核尺寸设计了不同的padding大小以确保初始特征图尺寸保持不变；第一特征图、第二特征图、第三特征图进行第一次Concat操作将多尺度特征信息融合，输出192维特征图；
192维特征图分别经过卷积层Conv2_1、卷积层Conv2_2得到第四特征图、第五特征图，第四特征图、第五特征图、初始特征图、第一特征图进行第二次Concat操作，输出256维特征图；256维特征图进入卷积层Conv3_1输出64维特征图；此时，卷积层Conv3_1输出64维特征图与初始特征图输入维度保持一致，这种设计可以串联多个MRAB模块以更好地进行多层次特征提取，最后卷积层Conv3_1输出的64维特征图使用通道注意力(ChannelAttention)模块分配权重，得到输出图像Xn。
步骤S2.3：将所有深层特征提取模块提取后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，得到特征融合图；
步骤S2.4：上采样采用亚像素卷积，将特征融合图经过特征提取后输出与输入相同尺寸的上采样特征图像，上采样特征图像经亚像素排列后生成r2维度的超分辨率图像，r代表网络重建倍数，通道数即为超分辨率图像尺寸的平方。
MCRAN网络参数如表2所示；
表2MCRAN网络参数
需要说明的是，每个MRAB模块的输入输出都为64维，方便浅层特征提取模块和MRAB模块之间的串联，有利于提取图像的高频特征信息。
由于低分辨率图像包含丰富的低频特征信息，所以MCRAN网络只需要学习低分辨率图像到超分辨率图像之间的残差(即高频特征信息)，利用全局残差思想将所有深层特征提取模块后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，充分结合浅-深层特征信息，使MCRAN网络更专注地学习高频信息。采用特征融合(Concat)的方式进行多尺度特征融合，通过堆叠融合的方式保留初始特征图的多层次语义信息。
本发明提出的MCRAN网络，基于SRResNet网络进行改进，MCRAN网络是SRGAN网络中的生成网络部分，对原始高分辨率图像的多个层次进行信息交互和提取
虽然通过堆叠卷积块来加深网络层数可以提升一定的效果，但也可能带来特征提取效率变低和网络退化等问题，所以本发明针对这个问题设计MRAB模块，MRAB模块为多尺度残差密连结构，通过设置多尺度残差密连结构，并在多尺度残差密连结构中引入通道注意力机制对MCRAN网络改进，可有效提升MCRAN网络的重建效果，使得超分辨率图像拥有较好的PSNR(峰值信噪比)。
实施例2
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
图4为DIV2K数据集示意图，数据集全部采用2K高清数据集，数据集分为训练集、验证集和测试集，训练集、验证集和测试集的比例为8:1:1。
高质量图像有利于网络学习更丰富的高频细节信息，为了较好地验证本发明超分辨率网络重建效果，测试训练数据全部采用2K高清数据集DIV2K，本实施例中包含训练集800张，验证集100张，测试集100张。低分辨率图像(LR)的获取使用传统的方法，即通过双三次下采样的方式从原始高分辨率图像(HR)中获得，从而构成LR-HR成对图像。
为了与常规图像超分辨率方法公平的比较，本发明训练过程将图像RGB通道转换为YUV通道，取Y亮度通道数据进行训练并计算重建后的PSNR和SSIM指标；训练数据的数量和质量决定了网络性能的上限，为了得到更多的训练数据，使用了数据增强的方法，将DIV2K训练数据集进行水平翻转、左右镜像翻转以及旋转偏移不同的角度(90°、180°和270°)，并且不重叠裁剪为100x100尺寸大小图像，每种尺度的训练迭代次数设置为500。
分别训练×2、×3和×4三种放大尺度的超分辨率网络模型；在训练过程的超参数设置上，一共加入了8个MRAB特征提取模块，为了加快模型的收敛速度，使用了权重初始化方法来设置卷积核初始参数。将Adam作为训练过程使用的优化器，学习率初始值为0.001，参数β1和β2分别为0.9和0.999。
在损失函数的选择上，现有的像素损失函数没有考虑到图像视觉质量(如感知质量和纹理)，它通过生成图像和真实图像的差值平方来确定像素损失，当遇到异常点时平方计算方式会加大惩罚力度，从而忽略了图像本身的内容结构，使生成图像缺乏高频细节信息，导致图像产生的纹理过于平滑，视觉感受比较模糊；
本发明训练选用L1损失函数作为损失函数，L1损失对于异常点的惩罚力度没那么敏感，能够使生成图像的视觉感受更接近真实超分辨率图像，L1损失函数表示如下；
其中，N表示训练集的数量，IHR和ISR分别表示原始高分辨率图像和超分辨率图像；
训练环境：深度学习框架为pytorch1.2.0，CPU型号为Inter i7-9700，RAM为16GB，GPU型号为NVIDIA GeForce RTX2060 6GB；
选用常用的Set5,Set14,BSD100以及Ubran100作为基准数据集进行测试，并采用超分辨率领域常用的SRCNN、FSRCNN、VDSR、DRCN、LapSRN、DRRN、SRResNet和本发明MCRAN网络进行对比测试；因为原始SRResNet网络通过串联两个2倍亚像素卷积模块完成四倍上采样，所以本发明将上采样模块按提出的方法进行修改，使用一层亚像素卷积模块，通过控制上采样模块前卷积层的卷积核个数即可完成多尺寸放缩任务；低分辨率图像的获取方法和训练集保持一致，均采用双三次插值的方法。
为了验证本发明提出的MCRAN网络中MRAB模块的有效性，分别针对各个改进点进行消融测试；图1为本发明实施例提供的原始SRResNet网络结构示意图，测试中将SRResNet作为基线网络(Baseline)，Baseline_1表示基线网络去除BN结构；MCRAN_1表示MRAB模块只保留多尺度卷积，MCRAN_2表示MRAB模块保留多尺度卷积和通道注意力机制，MCRAN_3表示保留MRAB模块，MCRAN表示保留完整MRAB模块；测试使用DIV2K作为训练集，Set14和BSD100作为测试集，4倍重建的测试结果如表3所示；
表3不同网络有效性分析
从表3可以看出，在基于基线网络的比较中，以Set14测试集举例，当基线网络去除BN结构后，PSNR指标提高了0.02dB；当将单尺度卷积替换为多尺度卷积模块后，PSNR指标提高了0.05dB；当同时加入多尺度卷积核通道注意力机制后，PSNR指标提高了0.08dB；当同时加入多尺度卷积并使用残差密连结构连接，PSNR指标提高了0.12dB；当同时加入多尺度卷积和通道注意力机制并使用残差密连结构连接，PSNR指标提高了0.17dB；
从测试结果可以看出，去除BN结构后网络性能得到提升，证明了BN并不适用于图像超分辨率任务；在改进的结构中，每增加一种改进方式都会提升网络的整体性能，证明了本发明MCRAN网络改进的有效性；
本发明进行了MRAB模块数量对于MCRAN网络性能影响的测试，采用4倍重建进行测试；从图5中可以看出，当叠加2个MRAB模块时，PSNR指标为26.33dB，SSIM为0.7601；随着模块数量的提升，PSNR指标不断增加，说明叠加MRAB模块对于MCRAN网络的性能提升有帮助，当达到8个MRAB模块时PSNR指标达到最高，PSNR为28.62dB，SSIM为0.7810，继续增加MRAB模块数量时，PSNR指标开始降低，MCRAN网络性能退化，因此，MCRAN网络选择8个MRAB模块进行串联以更好地进行特征提取；
上述测试证明了本发明通过对SRResNet超分辨率网络结构的改进，MCRAN网络解决了网络传播过程中可能带来浅层特征信息的丢失和充分利用尺度感受野的特征信息，多个层次进行信息交互和提取，证明了MCRAN网络有效性。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种图像超分辨率网络模型，其特征在于，图像超分辨率网络模型为MCRAN网络，MCRAN网络包括依次连接的浅层特征提取模块、深层特征提取模块、上采样模块；
浅层特征提取模块由依次连接的卷积层Conv_1、第一Leaky ReLU非线性激活函数组成；深层特征提取模块由8个依次连接的MRAB模块、卷积层Conv_2、第二Leaky ReLU非线性激活函数组成；上采样模块由依次连接的卷积层Conv_3、第三Leaky ReLU非线性激活函数、卷积层Conv_4、亚像素卷积模块组成。
2.根据权利要求1所述一种图像超分辨率网络模型，其特征在于，所述卷积层Conv_1、卷积层Conv_2、卷积层Conv_3、卷积层Conv_4的卷积核均为3x3。
3.根据权利要求2所述一种图像超分辨率网络模型，其特征在于，所述MRAB模块包括输入端Xn-1、卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层、卷积层Conv2_1、卷积层Conv2_2、第二融合层、卷积层Conv3_1、通道注意力模块，输出端Xn；
其中，输入端Xn-1分别和卷积层Conv1_1、卷积层Conv1_2、卷积层Conv1_3、第一融合层的输入端连接；输入端Xn-1、卷积层Conv1_2、输出端卷积层Conv1_3的输出端分别和第一融合层的输入端连接，第一融合层的输出端分别和卷积层Conv2_1、卷积层Conv2_2的输入端连接，输入端Xn-1、卷积层Conv2_1的输出端、卷积层Conv2_2的输出端、卷积层Conv1_1的输出端分别和第二融合层的输入端连接，第二融合层的输出端依次连接卷积层Conv3_1、通道注意力模块后得到输出端Xn；
卷积层Conv1_2、卷积层Conv1_3、卷积层Conv2_1、卷积层Conv2_2、卷积层Conv3_1均设有Leaky ReLU非线性激活函数。
4.一种根据权利要求1～3任一图像超分辨率网络模型的图像超分辨率重建方法，其特征在于，包括以下步骤：
S1：获取对原始高分辨率图像进行下采样后得到的低分辨率图像，并对所述低分辨率图像进行特征提取以得到初始特征图；
S2：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像；
S3：基于所述原始高分辨率图像和所述超分辨率图像构建L1损失函数；
S4：利用所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型；
S5：将待优化的低分辨率图像输入至训练后的MCRAN网络模型中，得到相应的超分辨率图像。
5.根据权利要求4所述一种图像超分辨率重建方法，其特征在于，步骤S2具体为：
步骤S2.1：低分辨率图像经过超分辨率网络模型的浅层特征提取模块提取低分辨率图像的低频特征信息，输出64维特征图；浅层特征提取模块的输入输出维度均为64维；
步骤S2.2：64维特征图经过深层特征提取模块进行多尺度特征提取，提取高频特征信息；深层特征提取模块中MRAB模块的输入输出维度均为64维；
步骤S2.3：将所有深层特征提取模块提取后的高频特征信息与浅层特征提取模块提取的低频特征信息进行特征融合，得到特征融合图；
步骤S2.4：特征融合图经过上采样模块进行上采样，得到超分辨率图像。
6.根据权利要求5所述一种图像超分辨率重建方法，其特征在于，步骤S2.4具体为：上采样采用亚像素卷积，将特征融合图经过特征提取后输出上采样特征图像，上采样特征图像经亚像素排列后生成r2维度的超分辨率图像，r代表网络重建倍数，通道数即为超分辨率图像尺寸的平方。
7.根据权利要求6所述一种图像超分辨率重建方法，其特征在于，步骤S3中L1损失函数表示如下；
其中，N表示训练集的数量，IHR和ISR分别表示原始高分辨率图像和超分辨率图像。
8.根据权利要求7所述一种图像超分辨率重建方法，其特征在于，步骤S4之前还包括：按照预设下采样倍数对若干数量张原始高分辨率图像进行下采样，以得到相应的低分辨率图像；基于所述原始高分辨率图像和所述低分辨率图像构造用于训练所述MCRAN网络的训练集；其中，所述训练集中包含原始高分辨率图像以及对应的低分辨率图像。
9.根据权利要求8所述一种图像超分辨率重建方法，其特征在于，步骤S4具体为：确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和参数；基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述L1损失函数对MCRAN网络进行训练，以得到训练后的MCRAN网络模型。
10.根据权利要求9所述一种图像超分辨率重建方法，其特征在于，将Adam作为训练过程使用的优化器，学习率初始值为0.001，优化器参数包括β1和β2，β1和β2分别为0.9和0.999。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211640581.6A CN116091313A (zh) | 2022-12-20 | 2022-12-20 | 一种图像超分辨率网络模型和重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211640581.6A CN116091313A (zh) | 2022-12-20 | 2022-12-20 | 一种图像超分辨率网络模型和重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116091313A true CN116091313A (zh) | 2023-05-09 |
Family
ID=86203660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211640581.6A Pending CN116091313A (zh) | 2022-12-20 | 2022-12-20 | 一种图像超分辨率网络模型和重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091313A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362972A (zh) * | 2023-05-22 | 2023-06-30 | 飞狐信息技术（天津）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116883247A (zh) * | 2023-09-06 | 2023-10-13 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
| CN116883362A (zh) * | 2023-07-12 | 2023-10-13 | 四川大学工程设计研究院有限公司 | 一种基于图像识别的裂缝检测方法、系统及图像处理设备 |
| CN117036162A (zh) * | 2023-06-19 | 2023-11-10 | 河北大学 | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 |
-
2022
- 2022-12-20 CN CN202211640581.6A patent/CN116091313A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362972A (zh) * | 2023-05-22 | 2023-06-30 | 飞狐信息技术（天津）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116362972B (zh) * | 2023-05-22 | 2023-08-08 | 飞狐信息技术（天津）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN117036162A (zh) * | 2023-06-19 | 2023-11-10 | 河北大学 | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 |
| CN117036162B (zh) * | 2023-06-19 | 2024-02-09 | 河北大学 | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 |
| CN116883362A (zh) * | 2023-07-12 | 2023-10-13 | 四川大学工程设计研究院有限公司 | 一种基于图像识别的裂缝检测方法、系统及图像处理设备 |
| CN116883247A (zh) * | 2023-09-06 | 2023-10-13 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
| CN116883247B (zh) * | 2023-09-06 | 2023-11-21 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| CN116091313A (zh) | 一种图像超分辨率网络模型和重建方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN113436076B (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN114170167A (zh) | 基于注意力引导上下文校正的息肉分割方法和计算机设备 | |
| CN115115514A (zh) | 基于高频信息特征融合的图像超分辨率重建方法 | |
| CN112927137A (zh) | 一种用于获取盲超分辨率图像的方法、设备及存储介质 | |
| CN114881856A (zh) | 一种人体图像超分辨率重建方法、系统、装置及存储介质 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| George | Robust single image super resolution using neighbor embedding and fusion in wavelet domain | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |