CN114998107A - 一种图像盲超分辨网络模型、方法、设备及存储介质 - Google Patents
一种图像盲超分辨网络模型、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114998107A CN114998107A CN202210664443.5A CN202210664443A CN114998107A CN 114998107 A CN114998107 A CN 114998107A CN 202210664443 A CN202210664443 A CN 202210664443A CN 114998107 A CN114998107 A CN 114998107A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- feature
- resolution
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000015556 catabolic process Effects 0.000 claims abstract description 87
- 238000006731 degradation reaction Methods 0.000 claims abstract description 87
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000010410 layer Substances 0.000 claims description 74
- 230000004913 activation Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000007850 degeneration Effects 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像盲超分辨网络模型、方法、设备及存储介质,图像盲超分辨网络模型包括退化表达与初始特征提取子网络(DRIFENet)、特征融合变换子网络(FFTNet)、图像重建子网络(IRNet),DRIFENet完成从输入的LR图像中进行退化表达编码和初始特征图提取,FFTNet通过级联的特征变换模块获取融合了空间局部信息和退化表达信息的高价值特征,IRNet利用变换后的高价值特征完成图像的超分辨重建。本发明所公开的图像盲超分辨网络模型在利用退化表达信息的同时,引入空间局部信息,并且在重建单元模块中引入特征融合机制,在几种对比算法中重建效果最佳,且在图像重建效果和运行时间之间达到了较好的平衡。
Description
技术领域
本发明属于图像盲超分辨技术领域,具体涉及一种图像盲超分辨网络模型、方法、设备及存储介质。
背景技术
图像超分辨(Super-Resolution,SR)是指从低分辨(LowResolution,LR)图像重建出对应的高分辨(High Resolution,HR)图像的技术。该技术因其在航空航天、医疗成像、图像通信等领域具有重要的应用价值,受到了广泛的关注。图像超分辨重建技术经历了基于插值的方法、基于重构的方法、基于浅层神经网络的方法、基于深度卷积神经网络(Convolutional Neural NETWORK,CNN)的方法的发展过程,其中基于深度卷积神经网络的方法具有更好的图像表征和重建能力,是目前最活跃的研究方向。基于深度CNN的图像超分辨方法通常假设图像的退化模型是已知的,当图像的实际退化模型与深度CNN假定的退化模型不一致时,会导致图像超分辨重建的性能显著下降。为了解决这个问题,学者们提出了图像盲超分辨重建技术。
图像盲超分辨重建是指在图像的退化模型未知的条件下完成低分辨图像的超分辨重建。针对图像盲超分辨重建,Kai Zhang等在训练深度CNN模型时,将若干个退化模型(包括多个高斯核、多种噪声)联合训练数据作为整个训练数据来训练深度CNN模型,这种模型相对于单一假定的退化模型来说具有更强的适应性,但是当实际的退化模型未包含在训练数据的退化模型中时,图像的超分辨重建性能仍然不佳。为了提高图像盲超分辨的性能,学者们提出了估计退化模型的思路。Jinjin Gu等提出了一种迭代估计退化模型的方法,该方法能够较准确的估计出图像的退化模型,具有较高的盲超分辨性能。但是,该方法采用多次迭代的方式估计图像的退化模型,使得算法运行时间较长,不能满足实际应用的需要。为了提高图像盲超分辨重建的效率,Longguang Wang等提出了一种基于退化表达学习的图像盲超分辨方法,具有较高的图像盲超分辨重建性能和效率。但是该方法在图像盲超分辨重建时,未利用图像的空间局部信息,限制了超分辨重建性能的进一步提高。
发明内容
为了解决上述问题,本发明实施例提供一种图像盲超分辨网络模型,在利用退化表达信息的同时,引入空间局部信息,增强了图像盲超分辨过程中的高价值信息,从而提高模型的超分辨重建性能。
本发明的技术方案是:一种图像盲超分辨网络模型,包括:
退化表达与初始特征提取子网络,用于通过卷积网络获得低分辨率LR图像的退化表达量R和初始特征F0,并输出至特征融合变换子网络;
特征融合变换子网络,用于根据所述退化表达量R和初始特征F0对所述LR图像退化信息和空间局部信息学习,提取融合了空间局部信息和退化表达信息的高价值特征,将提取的高价值特征输出至图像重建子网络;
图像重建子网络,用于通过卷积网络对提取到的高价值特征进行重建,得到重建后的高分辨率HR图像。
进一步的,所述退化表达与初始特征提取子网络包括,退化表达分支,将LR图像输入一个6层卷积网络得到所述LR图像的退化表达量R;初始特征分支,将LR图像输入一个单层卷积网络得到所述LR图像的初始特征F0。
进一步的,所述特征融合变换子网络包括,N个级联的特征变换模块,每个所述特征变换模块由一个SLDC级联块和一个特征融合块组成,N为正整数;第i个所述SLDC级联块,其中i为1至N之间的正整数,用于接收所述退化表达量R和本级的输入特征经退化信息和空间局部信息学习得到输出特征并输出至本级特征融合块,其中第1个所述SLDC级联块的输入特征所述表示为式中H(·)表示SLDC级联块的模型;
第i个所述特征融合块,其中i为1至N之间的正整数,包括特征融合层和卷积层,用于将初始特征F0、本级SLDC级联块的输出特征以及本级之前的i-1个特征融合块的输出[F1,F2,…,Fi-1]进行融合,然后经卷积层得到第i个特征融合块的输出Fi,所述Fi作为第i+1个SLDC级联块的输入特征所述Fi表示为式中表示第i个特征融合块卷积层的参数,*表示卷积运算;
第N个所述特征融合块的输出FN经过一个卷积层后,通过加法器与初始特征F0的恒等映射构成残差学习模型,得到特征融合变换子网络输出FFFTNet;所述FFFTNet表示为FFFTNet=fFFTNet(F0)+F0,式中fFFTNet(·)表示特征融合变换子网络模型。
进一步的,所述图像重建子网络包括:一层亚像素卷积层和一层卷积网络层,特征融合变换子网络输出FFFTNet依次经过所述一层亚像素卷积层和一层卷积网络层,得到高分辨重建后的HR图像YSR,所述YSR表示为YSR=fIRNet(FFFTNet),式中fIRNet(·)表示图像重建子网络模型。
进一步的,每个所述SLDC级联块包括:n个级联的SLDC块,每个所述SLDC块包括空间局部信息学习分支、第一退化特征信息学习分支、第二退化特征信息学习分支;
所述空间局部信息学习分支,将输入特征U依次通过第一卷积层、ReLU激活函数、第二卷积层、sigmoid激活函数,得到空间局部特征图s,再利用该空间局部特征图s对输入特征U相乘后得到调制后的特征U1;
所述第一退化特征信息学习分支,将初始退化表达量R依次通过两个全连接层和结构变换后,得到第三卷积层和第四卷积层的参数,然后将特征U依次经过所述第三卷积层和所述第四卷积层,得到退化表达调制后的特征U2;
所述第二退化特征信息学习分支,将退化表达量R通过两个全连接层和sigmoid激活函数后,得到通道调节分量v,然后所述通道调节分量v与输入特征U按通道相乘后得到退化表达调制后的特征U3;
所述特征U1、特征U2、特征U3经过特征聚合后,再经过第五卷积层变换并与残差分支聚合后得到所述SLDC块的输出特征Uout。
所述特征U1表示为U1=f(U,s),式中f(·)表示局部特征图s与输入特征U逐元素相乘;
所述特征U3表示为U3=g(U,v),式中g(·)表示通道调节分量v与输入特征U逐元素相乘;
所述特征Uout表示为Uout=WSLDC*[U1+U2+U3]+bSLDC+U,式中WSLDC、bSLDC表示所述第五卷积层的参数,*表示卷积运算。
本发明实施例还提供一种图像盲超分辨方法,将低分辨率LR图像输入上述实施例中任一项图像盲超分辨网络模型,并按照如下步骤得到高分辨率HR图像:S1、通过卷积网络获得低分辨率LR图像的退化表达量R和初始特征F0;
S2、根据所述退化表达量R和初始特征F0对所述LR图像退化信息和空间局部信息学习,提取融合了空间局部信息和退化表达信息的高价值特征;
S3、通过卷积网络对提取到的所述高价值特征进行重建,得到重建后的高分辨率HR图像。
本发明实施例还提供一种电子设备,采用上述实施例所述的方法实现图像盲超分辨。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储有至少一条程序指令,所述至少一条程序指令被处理器加载并执行以实现上述实施例所述的图像盲超分辨方法。
本发明的上述各个实施例中具有如下有益效果:本发明在利用退化表达信息的同时,引入空间局部信息,增强了图像盲超分辨过程中的高价值信息,并在重建单元模块中引入特征融合机制,提高不同层级特征信息的融合能力,通过SLDC级联块及特征融合块的级联以及前端至后端的融合链接,不仅使得学习到的高价值特征和图像退化信息得到加强,而且使得前端学习到的信息得到保持,使得具有高价值信息学习能力和多层级信息融合能力。实验结果表明,本发明在不同的退化模型条件下的PSNR值都有所提高,并且重建的效率较高,在重建图像的视觉效果对比中能够恢复出更多的图像细节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1(a)是本发明实施例网络模型的整体结构示意图。
图1(b)是本发明实施例网络模型中特征融合变换子网络中特征变换模块的结构示意图。
图2是本发明实施例网络模型中SLDC块结构示意图。
图3是本发明实施例的网络模型与其他算法模型对Set14中的“zebra”进行的重建效果对比图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:本发明提出一种图像盲超分辨网络模型,具体来说是一种基于图像空间局部信息和退化构建的深度卷积神经网络模型,用于图形盲超分辨重建,该模型简称为SLDCN(Spacial Local and Degradation Construction Network)。SLDCN使用退化表达信息的同时,进一步引入空间局部构建信息,同时在单元模块中采用特征融合机制,以增强高价值特征在网络中的传播。基于图像空间局部信息和退化构建的深度卷积神经网络模型(SLDCN)的结构图如图1(a)所示,该模型由退化表达与初始特征提取子网络(DegradationRepresentation and Initial Feature Extraction sub-Network,DRIFENet)、特征融合变换子网络(Feature Fusion Transformation sub-Network,FFTNet)、图像重建子网络(Image Reconstruction sub-Network,IRNet)三部分依次连接组成。其中,DRIFENet完成从输入的LR图像中进行退化表达编码和初始特征图提取,FFTNet通过级联的特征变换模块获取融合了空间局部信息和退化表达信息的高价值特征,IRNet利用变换后的高价值特征完成图像的超分辨重建。下面分退化表达与初始特征提取子网络(DRIFENet)、特征融合变换子网络(FFTNet)、图像重建子网络(IRNet)三个部分对SLDCN模型进行具体介绍。
退化表达与初始特征提取子网络(DRIFENet):DRIFENet子网络包括退化表达和初始特征提取两个部分,为了提高模型的训练效率,我们借鉴wang的方法(Longguang Wang,Yingqian Wang,et al.Unsupervised degradation representation learning forblind super-resolution[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2021:10576-10585),不在像素层面估计LR图像的准确退化信息,而是利用6层的卷积网络得到LR图像的退化表达量R,该表达量与LR图像经卷积网络产生的初始特征F0一起送入FFTNet子网络进行特征变换。
特征融合变换子网络(FFTNet):FFTNet子网络包括N个级联的特征变换模块,特征变换模块经过空间局部和退化构建(Spacial Local and Degradation Construction,SLDC)级联块和特征融合块级联组成的,获得对LR图像初始特征的高价值提取和退化信息的学习。FFTNet子网络中,SLDC级联块和特征融合块的结构图,即特征变换模块的结构图如图1(b)所示,每个特征变换模块由一个SLDC级联块和一个特征融合块组成。
其中SLDC级联块由n个级联的SLDC块组成,SLDC块实现对图像特征中空间信息的自主学习,提高模型对高价值特征的关注度,另外,模型还完成对LR图像退化信息的快速高效学习,以实现图像的盲超分辨。SLDC块的结构图如图2所示,图2中“Conv”代表卷积层,“ReLU”和“sigmoid”代表激活运算,设由前一级SLDC块送到本级SLDC块的特征为U=[u1,u2,…,uc],该特征包含C张尺寸为H×W的特征图。为了使模型学习到高价值的空间分布信息,提高模型对高频细节的重建能力,借鉴HU中局部计算模型的思想(Channel-wise andspatial feature modulation network for single image super-resolution[J].IEEETransactions on Circuits and Systems for Video Technology,vol.30,no.11,pp.3911-3927,Nov.2020),构建了高价值空间局部信息学习分支,该分支包含依次连接的第一卷积层、ReLU激活函数、第二卷积层、sigmoid激活函数。通过卷积网络和激活函数,得到空间局部特征图s=R1×H×W,该过程可以用以下公示表示:
上式中,ρ(·)表示sigmoid激活函数,δ(·)表示ReLU激活函数,*表示卷积运算,Ws 1和表示所述第一卷积层的参数,Ws 2和表示所述第二卷积层的参数。利用该空间局部特征图s对输入特征U进行调制后得到调制后的特征U1,用以下公式表示:
U1=f(U,s) (2)
上式中,f(·)表示局部特征图s与输入特征U逐元素相乘。
为了使模型快速学习到图像的退化信息,还构建了两个退化特征信息学习分支。其中第一退化特征信息学习分支,将初始退化表达量R依次通过两个全连接层和结构变换后,得到第三卷积层和第四卷积层的参数,然后将特征U依次经过所述第三卷积层和所述第四卷积层,得到退化表达调制后的特征U2,用公式表示如下:
第二退化特征信息学习分支,将退化表达量R通过两个全连接层和sigmoid激活函数后,得到通道调节分量v,然后所述通道调节分量v与输入特征U按通道相乘后得到退化表达调制后的特征U3,用公式表示如下:
U3=g(U,v) (4)
上式中g(·)表示通道调节分量v与输入特征U逐元素相乘。
特征U1、U2、U3经过特征聚合后,再经过第五卷积层变换并与残差分支聚合后得到所述SLDC块的输出特征Uout,可以表示为:
Uout=WSLDC*[U1+U2+U3]+bSLDC+U (5)
上式中WSLDC、bSLDC表示所述第五卷积层的参数,*表示卷积运算。
因为每个特征变换模块由一个SLDC级联块和一个特征融合块组成,而FFTNet子网络中包括有N个级联的特征变换模块,因此FFTNet子网络中又包括有N个SLDC级联块和N个特征融合块。
第n个SLDC块的输出与前面i-1个特征融合块的输出[F1,F2,…,Fi-1],以及初始特征F0,在特征融合块特征融合层中沿通道域进行拼接,然后经一层卷积层得到第i个特征融合块的输出Fi,可以表示为:
上式中表示第i个特征融合块卷积层的参数,*表示卷积运算。第i个特征融合块的输出Fi作为第i+1个SLDC级联块的输入特征第N个所述特征融合块的输出FN经过一个卷积层后,通过加法器与初始特征F0的恒等映射构成残差学习模型,得到特征融合变换子网络输出FFFTNet,可以表示为:
FFFTNet=fFFTNet(F0)+F0 (8)
上式中fFFTNet(·)表示特征融合变换子网络模型。通过SLDC块的级联、特征变换模块的级联,使得模型学习到的高价值空间局部信息和图像退化信息得到加强。通过特征融合块的融合、前端至后端的融合链接,使得模型不仅学习到本级模块的特征信息,而且使得前端模块学习到的信息得到保持。
图像重建子网络(IRNet):IRNet包括一层亚像素卷积层和一层卷积网络层,得到高分辨重建后的HR图像,可以表示为:
YSR=fIRNet(FFFTNet) (9)
上式中,YSR表示输出的高分辨重建图像,fIRNet(·)表示图像重建子网络模型。
实施例2:本发明还提供一种图像盲超分辨方法,具体而言,是将低分辨率LR图像输入上述实施例的图像盲超分辨网络模型,并按照如下步骤得到高分辨率HR图像:
S1、通过卷积网络获得低分辨率LR图像的退化表达量R和初始特征F0;
S2、根据所述退化表达量R和初始特征F0对所述LR图像退化信息和空间局部信息学习,提取融合了空间局部信息和退化表达信息的高价值特征;
S3、通过卷积网络对提取到的高价值特征进行重建,得到重建后的高分辨率HR图像。
实验及分析:
为了验证本发明实施例的图像盲超分辨网络模型的有效性,选择不同场景的图像作为测试集,将RCAN、SRMD、MZSR、IKC、DASR几种算法和本发明的实验结果进行对比分析验证:
我们使用DIV2K数据集的800张图像作为本发明提出模型的训练数据集,使用Set5、Set14、B100三个基准测试集作为模型有效性的测试数据集。采用峰值信噪比(PeakSignal-to-Noise Ratio,PSNR)作为图像重建质量的评价指标,评价指标的值越大表示重建效果越好。
实验所用的LR图像由HR图像与高斯核进行卷积操作后再经过双三次插值下采样以及添加噪声后得到,高斯核尺寸设置为21×21,当采样因子为×2时,高斯核参数σ的选择范围为[0.2,2.0],当采样因子为×4时,高斯核参数σ的选择范围为[0.2,3.6],高斯噪声方差的选择范围为[0,15]。从DIV2K数据集中随机选择32幅HR图像,利用随机翻转和旋转变换对选出的HR图像进行扩充。随机旋转32个高斯核参数核高斯噪声参数,生成HR图像对应的LR图像,在每个LR图像中随机剪切2个大小为48×48的LR图像块,总共64对LR图像和HR图像块对组成模型的训练集。
模型训练时,采用Adam算法对模型进行优化,其中超参数β1、β2、ε分别设为,0.9、0.999、10-8,退化表达量R按照wang中的方法(Longguang Wang,Yingqian Wang,etal.Unsupervised degradation representation learning for blind super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2021:10576-10585)得到。模型迭代更新1000次,学习率初始化为10-4,每经过250次迭代更新学习率衰减一半。模型训练采用L1损失函数。LR图像在训练和测试前首先利用DnCNN算法进行去噪。
客观量化结果及分析:我们在Set5、Set14、B100三个测试数据集上对比了本发明的SLDCN模型与RCAN、SRMD、MZSR、IKC、DASR算法模型在采样因子为×2和×4时的PSNR值,其中MZSR模型只用于采样因子为×2的超分辨,IKC模型只用于采样因子为×4的超分辨,SRMD、MZSR模型采用IKC模型中的退化预测模块。对比结果如表1、表2所示。
表1采样因子为×2时,不同算法模型的PSNR值对比结果
表2采样因子为×4时,不同算法模型的PSNR值对比结果
从表1和表2中可以看出,当高斯核宽度设置为0时,此时的退化为双三次退化,这种情况下RCAN模型的超分辨性能最好,当高斯核宽度不为0,RCAN模型的性能显著降低,说明该模型对不同的退化适应能力较低。SRMD+退化预测、MZSR+退化预测、IKC、DASR几种模型都具有退化预测能力,对不同的图像退化具有一定的适应能力。本发明的SLDCN模型中结合了空间局部信息和退化预测构建,在高斯核宽度为0.8、1.6的×2的超分辨重建,以及高斯核宽度为1.6、3.2的×4的超分辨重建中,都具有更高的PSNR值,说明本发明的模型具有更优的图像盲超分辨性能。
模型运行时间对比:本发明的SLDCN算法模型与RCAN、SRMD、MZSR、IKC、DASR几种算法的平均运行时间如表3所示。从表中可以看出,SRMD算法运行效率最高,但是该算法不具有盲超分辨重建能力,当图形退化模型与算法实际退化模型不一致时,算法超分辨重建能力显著降低。由于IKC算法通过迭代估计图像的退化模型,该算法的运行效率最低。本发明的SLDCN算法的运行效率低于DASR算法,但是显著高于RCAN算法。
表3不同算法模型的平均运行时间
RCAN | SRMD | MZSR | IKC | DASR | SLDCN(ours) | |
时间 | 168ms | 8ms | 92ms | 521ms | 75ms | 87ms |
视觉效果对比:本发明比较了几种算法模型在噪声水平为5,高斯核宽度为1.6,采样因子为×4时在Set14测试数据集中“zebra”图像中的盲超分辨效果,视觉效果如图3所示。从图中可以看出,由于图形的退化模型不为双三次退化模型,RCAN的超分辨效果较差。SRMD与IKC算法估计的退化模型与实际退化模型偏差较大,这两个算法的超分辨效果也不理想。本发明算法在利用退化表达信息的同时,引入空间局部信息,并且在重建单元模块中引入特征融合机制,在几种算法中重建效果最佳,且在图像重建效果和运行时间之间达到了较好的平衡。
本发明实施例所述图像盲超分辨方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像的重建方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (9)
1.一种图像盲超分辨网络模型,其特征在于,包括:
退化表达与初始特征提取子网络,用于通过卷积网络获得低分辨率LR图像的退化表达量R和初始特征F0,并输出至特征融合变换子网络;
特征融合变换子网络,用于根据所述退化表达量R和初始特征F0对所述LR图像退化信息和空间局部信息学习,提取融合了空间局部信息和退化表达信息的高价值特征,将提取的高价值特征输出至图像重建子网络;
图像重建子网络,用于通过卷积网络对提取到的高价值特征进行重建,得到重建后的高分辨率HR图像。
2.根据权利要求1所述的一种图像盲超分辨网络模型,其特征在于,所述退化表达与初始特征提取子网络包括,
退化表达分支,将LR图像输入一个6层卷积网络得到所述LR图像的退化表达量R;
初始特征分支,将LR图像输入一个单层卷积网络得到所述LR图像的初始特征F0。
3.根据权利要求1所述的一种图像盲超分辨网络模型,其特征在于,所述特征融合变换子网络包括,
N个级联的特征变换模块,每个所述特征变换模块由一个SLDC级联块和一个特征融合块组成,N为正整数;
第i个所述SLDC级联块,其中i为1至N之间的正整数,用于接收所述退化表达量R和本级的输入特征经退化信息和空间局部信息学习得到输出特征并输出至本级特征融合块,其中第1个所述SLDC级联块的输入特征所述表示为式中H(·)表示SLDC级联块的模型;
第i个所述特征融合块,其中i为1至N之间的正整数,包括特征融合层和卷积层,用于将初始特征F0、本级SLDC级联块的输出特征以及本级之前的i-1个特征融合块的输出[F1,F2,…,Fi-1]进行融合,然后经卷积层得到第i个特征融合块的输出Fi,所述Fi作为第i+1个SLDC级联块的输入特征
第N个所述特征融合块的输出FN经过一个卷积层后,通过加法器与初始特征F0的恒等映射构成残差学习模型,得到特征融合变换子网络输出FFFTNet;
所述FFFTNet表示为FFFTNet=fFFTNet(F0)+F0,式中fFFTNet(·)表示特征融合变换子网络模型。
4.根据权利要求1所述的一种图像盲超分辨网络模型,其特征在于,所述图像重建子网络包括:
一层亚像素卷积层和一层卷积网络层,特征融合变换子网络输出FFFTNet依次经过所述一层亚像素卷积层和一层卷积网络层,得到高分辨重建后的HR图像YSR,所述YSR表示为YSR=fIRNet(FFFTNet),式中fIRNet(·)表示图像重建子网络模型。
5.根据权利要求3所述的一种图像盲超分辨网络模型,其特征在于,每个所述SLDC级联块包括:
n个级联的SLDC块,每个所述SLDC块包括空间局部信息学习分支、第一退化特征信息学习分支、第二退化特征信息学习分支;
所述空间局部信息学习分支,将输入特征U依次通过第一卷积层、ReLU激活函数、第二卷积层、sigmoid激活函数,得到空间局部特征图s,再利用该空间局部特征图s对输入特征U相乘后得到调制后的特征U1;
所述第一退化特征信息学习分支,将初始退化表达量R依次通过两个全连接层和结构变换后,得到第三卷积层和第四卷积层的参数,然后将特征U依次经过所述第三卷积层和所述第四卷积层,得到退化表达调制后的特征U2;
所述第二退化特征信息学习分支,将退化表达量R通过两个全连接层和sigmoid激活函数后,得到通道调节分量v,然后所述通道调节分量v与输入特征U按通道相乘后得到退化表达调制后的特征U3;
所述特征U1、特征U2、特征U3经过特征聚合后,再经过第五卷积层变换并与残差分支聚合后得到所述SLDC块的输出特征Uout。
6.根据权利要求5所述的一种图像盲超分辨网络模型,其特征在于,所述空间局部特征图s表示为式中ρ(·)表示sigmoid激活函数,δ(·)表示ReLU激活函数,*表示卷积运算,和表示所述第一卷积层的参数,Ws 2和表示所述第二卷积层的参数;
所述特征U1表示为U1=f(U,s),式中f(·)表示局部特征图s与输入特征U逐元素相乘;
所述特征U3表示为U3=g(U,v),式中g(·)表示通道调节分量v与输入特征U逐元素相乘;
所述特征Uout表示为Uout=WSLDC*[U1+U2+U3]+bSLDC+U,式中WSLDC、bSLDC表示所述第五卷积层的参数,*表示卷积运算。
7.一种图像盲超分辨方法,其特征在于,
将低分辨率LR图像输入如权利要求1-6任一项图像盲超分辨网络模型,并按照如下步骤得到高分辨率HR图像:
S1、通过卷积网络获得低分辨率LR图像的退化表达量R和初始特征F0;
S2、根据所述退化表达量R和初始特征F0对所述LR图像退化信息和空间局部信息学习,提取融合了空间局部信息和退化表达信息的高价值特征;
S3、通过卷积网络对提取到的所述高价值特征进行重建,得到重建后的高分辨率HR图像。
8.一种电子设备,其特征在于,采用如权利要求7所述的方法实现图像盲超分辨。
9.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条程序指令,所述至少一条程序指令被处理器加载并执行以实现如权利要求7所述的图像盲超分辨方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210664443.5A CN114998107A (zh) | 2022-06-13 | 2022-06-13 | 一种图像盲超分辨网络模型、方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210664443.5A CN114998107A (zh) | 2022-06-13 | 2022-06-13 | 一种图像盲超分辨网络模型、方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998107A true CN114998107A (zh) | 2022-09-02 |
Family
ID=83032216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210664443.5A Pending CN114998107A (zh) | 2022-06-13 | 2022-06-13 | 一种图像盲超分辨网络模型、方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998107A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115982529A (zh) * | 2022-12-14 | 2023-04-18 | 北京登临科技有限公司 | 卷积运算结构、卷积运算阵列及相关设备 |
CN117541460A (zh) * | 2023-12-06 | 2024-02-09 | 长春理工大学 | 一种红外图像盲超分辨率方法及装置 |
-
2022
- 2022-06-13 CN CN202210664443.5A patent/CN114998107A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115982529A (zh) * | 2022-12-14 | 2023-04-18 | 北京登临科技有限公司 | 卷积运算结构、卷积运算阵列及相关设备 |
CN115982529B (zh) * | 2022-12-14 | 2023-09-08 | 北京登临科技有限公司 | 卷积运算结构、卷积运算阵列及相关设备 |
CN117541460A (zh) * | 2023-12-06 | 2024-02-09 | 长春理工大学 | 一种红外图像盲超分辨率方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
Zou et al. | Sdwnet: A straight dilated network with wavelet transformation for image deblurring | |
CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
Wen et al. | Image recovery via transform learning and low-rank modeling: The power of complementary regularizers | |
US11880903B2 (en) | Bayesian image denoising method based on distribution constraint of noisy images | |
CN114998107A (zh) | 一种图像盲超分辨网络模型、方法、设备及存储介质 | |
CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
CN110648292A (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
Wu et al. | Dual residual attention network for image denoising | |
Chen et al. | Image denoising via deep network based on edge enhancement | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
Wang et al. | Frequency compensated diffusion model for real-scene dehazing | |
Wu et al. | Dcanet: Dual convolutional neural network with attention for image blind denoising | |
Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
Wei et al. | Flow-based gan for 3d point cloud generation from a single image | |
Wu et al. | Recent progress in image denoising: A training strategy perspective | |
CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
Kas et al. | DLL-GAN: Degradation-level-based learnable adversarial loss for image enhancement | |
CN111986114B (zh) | 一种基于自监督约束的双尺度图像盲去噪方法及系统 | |
CN113298232B (zh) | 一种基于深度学习神经网络的红外光谱盲自去卷积方法 | |
You et al. | Indigo: An inn-guided probabilistic diffusion algorithm for inverse problems | |
CN114332276B (zh) | 基于多尺度特征融合网络的ct图像超分辨率重建方法 | |
Wang et al. | A contrastive learning-based iterative network for remote sensing image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |