CN109544448A - 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 - Google Patents
一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 Download PDFInfo
- Publication number
- CN109544448A CN109544448A CN201811331076.7A CN201811331076A CN109544448A CN 109544448 A CN109544448 A CN 109544448A CN 201811331076 A CN201811331076 A CN 201811331076A CN 109544448 A CN109544448 A CN 109544448A
- Authority
- CN
- China
- Prior art keywords
- network
- group
- laplacian pyramid
- pyramid structure
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000017105 transposition Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 2
- 239000010931 gold Substances 0.000 claims description 2
- 229910052737 gold Inorganic materials 0.000 claims description 2
- 239000010410 layer Substances 0.000 abstract description 60
- 239000011229 interlayer Substances 0.000 abstract description 8
- 230000008713 feedback mechanism Effects 0.000 abstract description 3
- 238000004880 explosion Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 238000013480 data collection Methods 0.000 description 6
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，通过将待重建图像分为训练数据集与测试数据集并分别进行增强和预处理，构建拉普拉斯金字塔结构的团网络并输入训练数据集进行训练，将测试数据集输入到训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。本发明采用拉普拉斯金字塔结构，通过渐进式重建高分辨率图像的方式，逐步地优化重建结果，更好解决超分辨率图像重建，将残差学习应用到网络中，减少网络参数，避免网络复杂度增加引起的梯度爆炸等问题，在每个构建模块中，任意两个卷积层之间既有前向又有反馈连接，层间信息交替更新，使层间信息流和反馈机制最大化，层间连接更加密集，提取到更多细节的特征。
Description
技术领域
本发明涉及在图像平面内的图形图像转换，例如，从位像到位像地建立一个不同图像的技术领域，特别涉及一种可以将已有的低分辨率图像转换成高分辨率图像的拉普拉斯金字塔结构的团网络超分辨率图像重建方法。
背景技术
超分辨率图像重建是指用信号处理和图像处理的方法，将已有的低分辨率(Low-resolution，LR)图像转换成高分辨率(High-resolution，HR)图像的技术，其适用于解决各种计算机视觉方面的任务，如遥感卫星、安全与监视成像、医学成像、图像生成等。
常用的超分辨率图像重建方法包括基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法根据图像先验信息和统计模型进行插值计算，实现简单、计算复杂度低，但是重建结果在边缘处存在环或锯齿效应，使得得到的结果比较模糊；基于重建的方法从同一场景下的多帧LR图像中提取高频信息，融合生成HR图像，但是需要在合适的先验假设下才能获得较好的重建效果；基于学习的方法主要是对高低分辨率训练样本的学习，构造高低分辨率字典对，其可以获得更多的高频信息，从而得到更加清晰的纹理细节，获取更好的重建效果，因此得到更多关注。
在基于学习的超分辨率图像重建方法中，论文“Image super-resolution viasparse representation”提出的基于稀疏表示的超分辨率图像重建方法表现最为突出，通过高分辨率图像样本训练出具有相同稀疏表示的高低分辨率字典对，从而重建出较好的高分辨率图像，然而，该方法容易出现块效应；而论文“空间自适应正则化的图像超分重建算法”引入自回归正则化和非局部相似正则化，对稀疏表示系数的求解进行约束，并对重建后的高分辨率图像进行全局优化，该方法对基于稀疏表示的超分辨率图像重建方法进行了优化，提高了方法的鲁棒性与重建图像的质量，然而，此算法对通用图像的超分辨率重建效果却不甚理想。
近年来，随着计算机硬件计算力的大幅提升，卷积神经网络在计算机视觉任务中进行应用，取得了一系列巨大的成功，因此，越来越多的基于深度学习的模型，尤其是卷积神经网络被广泛用于超分辨率图像重建领域。
论文“Image Super-Resolution Using Deep Convolutional Networks”首先提出了SRCNN方法，学习非线性LR到HR映射，将一个三层卷积神经网络引入到超分辨率网络中；论文“Accurate Image Super-Resolution Using Very Deep ConvolutionalNetworks”提出的VDSR方法和论文“Deeply-Recursive Convolutional Network forImage Super-Resolution”提出的DRCN方法通过裁剪梯度、跳跃连接或递归学习的方式增加网络深度以减轻网络深度增加带来的训练问题；上述方法虽然优于传统的基于学习的方法且更加适用通用图像的超分辨率重建，但在预测之前，直接使用预定义的上采样算子将输入图像升高到期望输出的空间分辨率，将会增加不必要的计算成本，并且经常导致可见的重建伪像。
为了减少不必要的计算成本、削弱可见的伪像，论文“Accelerating the Super-Resolution Convolutional Neural Network”提出了FSRCNN方法，不再使用预定义的上采样算子，转而直接将原始低分辨率图像作为输入并在最后一步引入转置卷积进行上采样；论文“Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution”提出了基于级联结构的超分辨率方法LapSRN，能够在多个分辨率下生成中间SR预测，并逐步进行优化，取得了较好的重建效果；但是这些方法均采用链式的方式堆叠构建模块，仅重视卷积层之间的前向信息传递，忽视了卷积层之间的反馈交流信息。
发明内容
为了解决上述问题，本发明提出了一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，将论文“Convolutional Neural Networks with Alternately UpdatedClique”中的CliqueNet的团块Clique Block引入本发明的方法中，并对CliqueNet做进一步的改善，将改进后的结构命名为构建模块(CNB)，作为网络的基本构建模块。
本发明所采用的技术方案是，一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，所述方法包括以下步骤：
步骤1：取数据集图像为待重建图像，将待重建图像分为训练数据集与测试数据集；
步骤2：对训练数据集进行增强，对测试数据集进行预处理；
步骤3：构建拉普拉斯金字塔结构的团网络；
步骤4：将步骤2得到的增强后的训练数据集输入到步骤3构建的拉普拉斯金字塔结构的团网络中，训练拉普拉斯金字塔结构的团网络；
步骤5：将步骤2获得的预处理后的测试数据集输入到步骤4中训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。
优选地，所述步骤2中，对训练数据集进行增强包括以下步骤：
步骤2.1.1：将训练数据集中的图像以α的倍数进行缩放、以β角度进行旋转、以γ的概率进行水平翻转及垂直翻转，得到处理后的图像；α＞0，0＜β＜360°，0＜γ＜1；
步骤2.1.2：将处理后的图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.1.3：对步骤2.1.2中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到增强后的训练数据集；M为正整数。
优选地，所述步骤2中，对测试数据集进行预处理包括以下步骤：
步骤2.2.1：将测试数据集中的所有图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.2.2：对步骤2.2.1中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到预处理后的测试数据集；M为正整数。
优选地，所述步骤3中，构建拉普拉斯金字塔结构的团网络包括以下步骤：
步骤3.1：设置浅层特征提取网络的内核大小、输出通道大小，输出第1层级特征提取分支的输入特征；
步骤3.2：以F0,S作为拉普拉斯金字塔S级的输入，在拉普拉斯金字塔结构的第S级构建n个构建模块，提取输入特征的细节特征Fn,S；S≥1；
步骤3.3：以上采样网络使用转置卷积对Fn,S进行上采样，得到图像在S级上的上采样特征FUP,S＝HUP(Fn,S)，其中，HUP()表示卷积运算；
步骤3.4：以残差提取网络获取在拉普拉斯金字塔S级中生成的残差图像IRES,S＝HRES(FUP,S)，其中，HRES()表示卷积运算；
步骤3.5：图像重建。
优选地，所述步骤3.2中，构建模块包含团连通网络与局部特征融合网络，所述团连通网络包括输入节点和若干层结构，任意两个层结构间双向连接。
优选地，所述步骤3.2中，构建模块提取输入特征的细节特征包括以下步骤：
步骤3.2.1：以输入节点通过单向连接初始化所述团连通网络中的所有层结构，令任一构建模块中团连通网络共p层；
步骤3.2.2：在金字塔S层级中，第n个构建模块中团连通网络的第c层输出为其中，σ()表示非线性激活函数，*表示带参数W的卷积运算，l为小于c的所有非负整数，Wij,n,S表示更新过程中各层之间的权值，Wij,n,S在不同阶段重复使用，i∈[0,l]，j∈[1,c]，每一层都将从最近更新的层接收反馈信息；c≤n；
步骤3.2.3：任意2个层结构交替更新，在金字塔S层级中，第n个构建模块中团连通网络的第c层在第k次循环中的输出为c≥1、k≥2，m为大于c且小于等于p的所有整数；
步骤3.2.4：应用局部特征融合网络融合提取到的局部特征，融合后的第n个构建模块的输出为其中，HLFF()表示卷积运算；
步骤3.2.5：输出构建模块提取的输入特征的细节特征。
优选地，所述步骤3.5中，图像重建包括以下步骤：
步骤3.5.1：在金字塔S级中，当S＝1时，使用上采样网络对输入的低分辨率图片进行上采样，当S＞1时，使用上采样网络对S-1级生成的高分辨率图像进行上采样，获得放大的低分辨率图像其中，HUP()表示卷积运算，ILR为低分辨率图片，ISR,S-1为S-1级重建网络的输出；
步骤3.5.2：将上采样获得的放大的低分辨率图像ILSR,S与步骤3.4获得的残差IRES,S融合，获得金字塔S级重建的高分辨率图像ISR,S＝ILSR,S+IRES,S；
步骤3.5.3：图像重建完成。
优选地，所述步骤4中，训练拉普拉斯金字塔结构的团网络包括以下步骤：
步骤4.1：设置团网络的损失函数；
步骤4.2：设置团网络的动量参数、权值衰减和学习率；
步骤4.3：以设置的损失函数、动量参数、权值衰减和学习率训练团网络。
优选地，所述步骤5中，以重建后的超分辨率图像的Y分量上的峰值信噪比和结构相似性评估重建的高分辨率图像。
本发明提供了一种优化的拉普拉斯金字塔结构的团网络超分辨率图像重建方法，通过将待重建图像分为训练数据集与测试数据集并分别进行增强和预处理，构建拉普拉斯金字塔结构的团网络并输入训练数据集进行训练，将测试数据集输入到训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。
本发明的有益效果在于：
1.采用拉普拉斯金字塔结构，通过渐进式重建高分辨率图像的方式，逐步地优化重建结果，更好解决超分辨率图像重建；
2.将残差学习应用到网络中，减少网络参数，避免网络复杂度增加引起的梯度爆炸等问题；
3.在每个CNB模块中，任意两个卷积层之间既有前向又有反馈连接，层间信息交替更新，使层间信息流和反馈机制最大化，层间连接更加密集，提取到更多细节的特征。
附图说明
图1为本发明的流程图；
图2为本发明的拉普拉斯金字塔结构的团网络结构示意图，第一个方框中为拉普拉斯金字塔结构的第1级，第二个方框示意拉普拉斯金字塔结构的第S级；
图3为本发明的构建模块结构示意图；
图4的右上角为本发明的构建模块提取输入特征的细节特征的结构示意图，左边列为将构建模块的卷积层展开后，以箭头表示的第一阶段的交互示意图，底部行为将构建模块的卷积层展开后，以箭头表示的第二阶段的交互示意图；
图5为本发明中以行为单位，第一行为高分辨率原始图像，第二至第五行自上而下顺次展示以Bicubic、SRCNN、LapSRN和本发明方法完成的2副图像重建的效果对比图。
具体实施方式
下面结合实例与附图对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，本发明中的同一个构建模块CNB中的任意两个卷积层之间都有前向和反馈连接，层间信息交替更新，以便信息流和反馈机制可以最大化，层间的连接更加密集，同时采用拉普拉斯金字塔结构，通过渐进式重建高分辨率图像的方式，逐步地优化重建结果，将残差学习应用到网络中，减少网络参数，避免梯度爆炸。
图1为本发明实施的流程图，包含5个步骤。
步骤1：取数据集图像为待重建图像，将待重建图像分为训练数据集与测试数据集。
本实施例中，使用510张图像作为训练数据集与测试数据集。
本实施例中，将291张图像作为训练数据集进行分割，其中91张图像来自Yang等人，其他的200张图像来自Berkeley Segmentation Dataset训练集。
本实施例中，将分别来自4个被广泛使用的基准测试数据集Set5、Set14、BSDS100和Urban100的剩余图像作为测试数据集，其中，Set5、Set14和BSDS100由自然场景组成，而Urban100由具有不同细节的具有挑战的城市场景图像组成。
步骤2：对训练数据集进行增强，对测试数据集进行预处理。
所述步骤2中，对训练数据集进行增强包括以下步骤：
步骤2.1.1：将训练数据集中的图像以α的倍数进行缩放、以β角度进行旋转、以γ的概率进行水平翻转及垂直翻转，得到处理后的图像；α＞0，0＜β＜360°，0＜γ＜1；
步骤2.1.2：将处理后的图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.1.3：对步骤2.1.2中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到增强后的训练数据集；M为正整数。
所述步骤2中，对测试数据集进行预处理包括以下步骤：
步骤2.2.1：将测试数据集中的所有图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.2.2：对步骤2.2.1中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到预处理后的测试数据集；M为正整数。
本实施例中，将训练数据集的图像按照α＝1,0.9,0.8,0.7,0.6,0.5进行缩小后，以β为90度、180度以及270度进行旋转，最后以0.5的概率水平和垂直翻转。一般情况下，缩放、旋转和翻转的顺序并非固定，本领域技术人员可以针对具体的图像、依据需求进行顺序变动。
本发明中，在实际操作中，对训练数据集的处理中，α亦可以为大于1的值，即进行放大处理，但可能会对后续图像重建造成影响，故一般情况下对于训练数据集的处理中α≤1。
本实施例中，将训练数据集的图像由RGB转换为YCbCr格式，且由于本实施例只对亮度通道Y进行超分辨重建，因此仅提取亮度通道Y的分量值。
本实施例中，使用Bicubic双三次插值法，对提取Y分量的图像以M倍进行下采样，获得网络低分辨率输入图像。至此，训练集的制作完成。一般情况下，考虑到计算机的内存和实际的计算空间，M为1或2即可，本领域技术人员可以依据需求自行设置。
本实施例中，将训练数据集的图像由RGB转换为YCbCr格式，并提取亮度通道Y分量，使用Bicubic双三次插值法，以M倍进行下采样，获得网络低分辨率输入图像，与训练数据集的部分处理一致。至此，测试数据集的预处理完成。本领域技术人员可以依据需求自行设置M值，如M为1或2。
步骤3：构建拉普拉斯金字塔结构的团网络。本网络提出拉普拉斯金字塔结构，在拉普拉斯金字塔的每个层级(共S级)中包含特征提取分支与图像重建分支。特征提取分支由CNB构建模块、上采样网络(UPNet)、残差提取网络(RESNet)三个步骤，其中CNB构建模块包含团连通网络与局部特征融合(LFFNet)网络。图像重建分支由上采样网(UPNet)和残差融合两个步骤。
所述步骤3中，构建拉普拉斯金字塔结构的团网络包括以下步骤。
步骤3.1：设置浅层特征提取网络的内核大小、输出通道大小，输出第1层级特征提取分支的输入特征。
本实施例中，浅层特征提取网络(SFENet)使用的卷积内核大小为3×3，输出通道设置为64。
本实施例中，在进行卷积之前，需要在输入的边界填充零，以保持输出的大小与输入的大小相同。
本实施例中，事实上来说，步骤3.1输出的是图像的所有像素点的Y分量值。
步骤3.2：以F0,S作为拉普拉斯金字塔S级的输入，在拉普拉斯金字塔结构的第S级构建n个构建模块，提取输入特征的细节特征Fn,S；S≥1。
所述步骤3.2中，构建模块包含团连通网络与局部特征融合网络，所述团连通网络包括输入节点和若干层结构，任意两个层结构间双向连接。
本实施例中，团连通网络的卷积层内核大小均为3×3，局部特征融合网络(LFFNet)的卷积层内核大小为1×1。
本实施例中，以图4为例，为具有4层的团连通网络结构示意图。除了输入节点外，同一网络中的任意两层之间都是双向连接的，即任意一层都是另一层的输入和输出。网络有两个阶段组成，第一个阶段用于初始化块中的所有层，从第二阶段开始，这些层将会被重复提取。其中，矩形是卷积层，包括卷积核和激活函数，F事实上是经过卷积层处理后获得的特征，特征F经过这些矩形块之后，获得新的特征F'，这些特征在矩形块中相互传播，交流信息。
本发明中，显而易见地，n≥1。
所述步骤3.2中，构建模块提取输入特征的细节特征包括以下步骤。
步骤3.2.1：以输入节点通过单向连接初始化所述团连通网络中的所有层结构，令任一构建模块中团连通网络共p层。
步骤3.2.2：在金字塔S层级中，第n个构建模块中团连通网络的第c层输出为其中，σ()表示非线性激活函数，*表示带参数W的卷积运算，l为小于c的所有非负整数，Wij,n,S表示更新过程中各层之间的权值，Wij,n,S在不同阶段重复使用，i∈[0,l]，j∈[1,c]，每一层都将从最近更新的层接收反馈信息；c≤n。
本实施中，第一阶段中，输入层Fn-1,S通过单向连接初始化该团连通网络中的其他所有层，每个更新的层被连接起来以更新下一层。为了便于推导，将第一阶段金字塔S级中的第n个CNB构建模块的输入节点Fn-1,S改写为
本实施中，第一阶段作为初始化；第一阶段第一层时，l＝0；第一阶段第二层时，l＝0,1，c＝2；第一阶段第3层时，l＝0,1,2，c＝3；第一阶段第4层时，l＝0,1,2,3，c＝4；第一阶段第5层时候，l＝0,1,2,3,4，c＝5。事实上，l为层数的计数值。
步骤3.2.3：任意2个层结构交替更新，在金字塔S层级中，第n个构建模块中团连通网络的第c层在第k次循环中的输出为c≥1、k≥2，m为大于c且小于等于p的所有整数。
本实施例中，第二阶段开始，各层开始交替更新。第二阶段第1层时，c＝1，m＝2,3,4,5，没有使用l；第二阶段第2层时，c＝2，m＝3,4,5，l＝1；第二阶段第3层时，c＝3，m＝4,5，l＝1,2；第二阶段第4层时，c＝4，m＝5，l＝1,2,3；第二阶段第5层时，c＝5，m没有使用，l＝1,2,3,4。
步骤3.2.4：应用局部特征融合网络融合提取到的局部特征，融合后的第n个构建模块的输出为其中，HLFF()表示卷积运算。
本实施例中，由于第二阶段提取了更多的特征，因此应用局部特征融合(LFFNet)网络自适应的融合第二阶段第k(k≥2)次循环提取到的局部特征。
本实施例中，使用卷积层内核大小为1×1，自适应地控制输出信息。
步骤3.2.5：输出构建模块提取的输入特征的细节特征。
步骤3.3：以上采样网络使用转置卷积对Fn,S进行上采样，得到图像在S级上的上采样特征FUP,S＝HUP(Fn,S)，其中，HUP()表示卷积运算。
本实施例中，上采样网络(UPNet)使用转置卷积，根据前述M的大小设置需要放大的倍数，基于此，设定卷积层内核大小，如4×4。
步骤3.4：以残差提取网络获取在拉普拉斯金字塔S级中生成的残差图像IRES,S＝HRES(FUP,S)，其中，HRES()表示卷积运算。
本实施例中，残差提取网络(RESNet)的卷积层内核大小为3×3，至此，拉普拉斯金字塔结构第S级的特征提取完成。
步骤3.5：图像重建。
所述步骤3.5中，图像重建包括以下步骤：
步骤3.5.1：在金字塔S级中，当S＝1时，使用上采样网络对输入的低分辨率图片进行上采样，当S＞1时，使用上采样网络对S-1级生成的高分辨率图像进行上采样，获得放大的低分辨率图像其中，HUP()表示卷积运算，ILR为低分辨率图片，ISR,S-1为S-1级重建网络的输出；
步骤3.5.2：将上采样获得的放大的低分辨率图像ILSR,S与步骤3.4获得的残差IRES,S融合，获得金字塔S级重建的高分辨率图像ISR,S＝ILSR,S+IRES,S；
步骤3.5.3：图像重建完成。
本实施例中，残差融合网络的卷积层内核大小为1×1。
本实施例中，步骤3.5.2中所述的融合是指放大的低分辨率图像ILSR,S与步骤3.4获得的残差IRES,S以像素点一一对应并将对应的Y分量值相加，得到的整体的具有更新后的Y分量值的图像，图像包括了与ILSR,S和IRES,S对应的像素点。
步骤4：训练拉普拉斯金字塔结构的团网络。将步骤2中获得的增强后的训练数据集输入到步骤3所构建的拉普拉斯金字塔结构的团网络中，获得训练好的拉普拉斯金字塔结构的团网络。
训练拉普拉斯金字塔结构的团网络包括以下步骤：
步骤4.1：设置团网络的损失函数。
本实施例中，采用Charbonnier函数作为损失函数。
步骤4.2：设置团网络的动量参数、权值衰减和学习率。
本实施例中，动量参数设置为0.9，权值衰减设置为1e-4，学习率设置为1e-4。
步骤4.3：以设置的损失函数、动量参数、权值衰减和学习率训练团网络。
本实施例中，以设定的训练次数，将图像分批进行训练，以获得的训练结果为指导，对训练中的学习率等进行调节，使之满足超分辨率图像重建的需求。此为本领域技术人员容易理解的内容，本领域技术人员可以依据需求对拉普拉斯金字塔结构的团网络进行设置、训练。
步骤5：逐级重建超分辨率图像。将步骤2获得的预处理后的测试数据集输入到步骤4已经训练好的拉普拉斯金字塔结构的团网络，根据放大倍数，逐级重建超分辨率图像。
所述步骤5中，以重建后的超分辨率图像的Y分量上的峰值信噪比和结构相似性评估重建的高分辨率图像。
本实施例中，如图5所示，选择n为2、c为5作为模型的最佳参数进行训练并与其他方法进行对比。对分别来自测试集BSDS100中的“37073”以及Urban中的“image_093”的图像进行4倍放大因子的重建，从主观方面展示了几种方法的重建效果。可以看出，本发明所提出的拉普拉斯金字塔结构的团网络超分辨率方法与其他方法相比，不仅可以恢复出较清晰的边缘特征而且可以准确的重建平行直线和网格直线，重建后的图片更加的接近于真实图片。
本实施例中，可以以重建后的超分辨率图像的Y分量上的峰值信噪比PSNR和结构相似性SSIM评估重建的高分辨率图像，如表1和表2所示，分别为在不同的放大倍数下，不同算法在对基准测试数据集Set5、Set14、BSDS100和Urban100进行超分辨率图像重建后的峰值信噪比PSNR和结构相似性SSIM，可以看到本发明的方法LCN所得到的峰值信噪比PSNR和结构相似性SSIM均优于其他算法。
表1：2倍放大后，不同算法在对基准测试数据集Set5、Set14、BSDS100和Urban100进行超分辨率图像重建后的峰值信噪比PSNR和结构相似性SSIM
表2：4倍放大后，不同算法在对基准测试数据集Set5、Set14、BSDS100和Urban100进行超分辨率图像重建后的峰值信噪比PSNR和结构相似性SSIM
Claims (9)
1.一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述方法包括以下步骤：
步骤1：取数据集图像为待重建图像，将待重建图像分为训练数据集与测试数据集；
步骤2：对训练数据集进行增强，对测试数据集进行预处理；
步骤3：构建拉普拉斯金字塔结构的团网络；
步骤4：将步骤2得到的增强后的训练数据集输入到步骤3构建的拉普拉斯金字塔结构的团网络中，训练拉普拉斯金字塔结构的团网络；
步骤5：将步骤2获得的预处理后的测试数据集输入到步骤4中训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。
2.根据权利要求1所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤2中，对训练数据集进行增强包括以下步骤：
步骤2.1.1：将训练数据集中的图像以α的倍数进行缩放、以β角度进行旋转、以γ的概率进行水平翻转及垂直翻转，得到处理后的图像；α＞0，0＜β＜360°，0＜γ＜1；
步骤2.1.2：将处理后的图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.1.3：对步骤2.1.2中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到增强后的训练数据集；M为正整数。
3.根据权利要求1所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤2中，对测试数据集进行预处理包括以下步骤：
步骤2.2.1：将测试数据集中的所有图像由RGB转换为YCbCr格式，提取Y分量；
步骤2.2.2：对步骤2.2.1中提取Y分量的图像以M倍进行下采样，得到低分辨率图像，得到预处理后的测试数据集；M为正整数。
4.根据权利要求1所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤3中，构建拉普拉斯金字塔结构的团网络包括以下步骤：
步骤3.1：设置浅层特征提取网络的内核大小、输出通道大小，输出第1层级特征提取分支的输入特征；
步骤3.2：以F0,S作为拉普拉斯金字塔S级的输入，在拉普拉斯金字塔结构的第S级构建n个构建模块，提取输入特征的细节特征Fn,S；S≥1；
步骤3.3：以上采样网络使用转置卷积对Fn,S进行上采样，得到图像在S级上的上采样特征FUP,S＝HUP(Fn,S)，其中，HUP()表示卷积运算；
步骤3.4：以残差提取网络获取在拉普拉斯金字塔S级中生成的残差图像IRES,S＝HRES(FUP,S)，其中，HRES()表示卷积运算；
步骤3.5：图像重建。
5.根据权利要求4所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤3.2中，构建模块包含团连通网络与局部特征融合网络，所述团连通网络包括输入节点和若干层结构，任意两个层结构间双向连接。
6.根据权利要求5所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤3.2中，构建模块提取输入特征的细节特征包括以下步骤：
步骤3.2.1：以输入节点通过单向连接初始化所述团连通网络中的所有层结构，令任一构建模块中团连通网络共p层；
步骤3.2.2：在金字塔S层级中，第n个构建模块中团连通网络的第c层输出为其中，σ()表示非线性激活函数，*表示带参数W的卷积运算，l为小于c的所有非负整数，Wij,n,S表示更新过程中各层之间的权值，Wij,n,S在不同阶段重复使用，i∈[0,l]，j∈[1,c]，每一层都将从最近更新的层接收反馈信息；c≤n；
步骤3.2.3：任意2个层结构交替更新，在金字塔S层级中，第n个构建模块中团连通网络的第c层在第k次循环中的输出为c≥1、k≥2，m为大于c且小于等于p的所有整数；
步骤3.2.4：应用局部特征融合网络融合提取到的局部特征，融合后的第n个构建模块的输出为其中，HLFF()表示卷积运算；
步骤3.2.5：输出构建模块提取的输入特征的细节特征。
7.根据权利要求5所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤3.5中，图像重建包括以下步骤：
步骤3.5.1：在金字塔S级中，当S＝1时，使用上采样网络对输入的低分辨率图片进行上采样，当S＞1时，使用上采样网络对S-1级生成的高分辨率图像进行上采样，获得放大的低分辨率图像其中，HUP()表示卷积运算，ILR为低分辨率图片，ISR,S-1为S-1级重建网络的输出；
步骤3.5.2：将上采样获得的放大的低分辨率图像ILSR,S与步骤3.4获得的残差IRES,S融合，获得金字塔S级重建的高分辨率图像ISR,S＝ILSR,S+IRES,S；
步骤3.5.3：图像重建完成。
8.根据权利要求1所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤4中，训练拉普拉斯金字塔结构的团网络包括以下步骤：
步骤4.1：设置团网络的损失函数；
步骤4.2：设置团网络的动量参数、权值衰减和学习率；
步骤4.3：以设置的损失函数、动量参数、权值衰减和学习率训练团网络。
9.根据权利要求1所述的一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，其特征在于：所述步骤5中，以重建后的超分辨率图像的Y分量上的峰值信噪比和结构相似性评估重建的高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811331076.7A CN109544448B (zh) | 2018-11-09 | 2018-11-09 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811331076.7A CN109544448B (zh) | 2018-11-09 | 2018-11-09 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109544448A true CN109544448A (zh) | 2019-03-29 |
| CN109544448B CN109544448B (zh) | 2023-06-30 |
Family
ID=65846640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811331076.7A Active CN109544448B (zh) | 2018-11-09 | 2018-11-09 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544448B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
| CN110610459A (zh) * | 2019-09-17 | 2019-12-24 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 图像处理方法及装置 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN111460912A (zh) * | 2020-03-12 | 2020-07-28 | 南京理工大学 | 基于级联高分辨卷积神经网络的密集人群计数算法 |
| CN111489291A (zh) * | 2020-03-04 | 2020-08-04 | 浙江工业大学 | 一种基于网络级联的医学图像超分辨率重建方法 |
| CN112116526A (zh) * | 2019-06-19 | 2020-12-22 | 中国石油化工股份有限公司 | 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN112217825A (zh) * | 2020-10-13 | 2021-01-12 | 四川大学 | 基于分辨率自适应网络的非对称加密系统攻击方法 |
| CN112508779A (zh) * | 2019-09-16 | 2021-03-16 | 四川大学 | 一种基于门控多反馈网络的图像超分辨率重构方法 |
| CN112819716A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
| WO2021227877A1 (zh) * | 2020-05-13 | 2021-11-18 | 中兴通讯股份有限公司 | 图像超分辨率处理方法、装置、设备及存储介质 |
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| CN115330279A (zh) * | 2022-10-14 | 2022-11-11 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
-
2018
- 2018-11-09 CN CN201811331076.7A patent/CN109544448B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN108460726A (zh) * | 2018-03-26 | 2018-08-28 | 厦门大学 | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI-SHENG LAI等: "《fast and accurate image super-resolution with deep laplacian pyramid networks》", 《ARXIV.ORG/ABS》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116526A (zh) * | 2019-06-19 | 2020-12-22 | 中国石油化工股份有限公司 | 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法 |
| CN110473144B (zh) * | 2019-08-07 | 2023-04-25 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
| CN112508779A (zh) * | 2019-09-16 | 2021-03-16 | 四川大学 | 一种基于门控多反馈网络的图像超分辨率重构方法 |
| CN110610459A (zh) * | 2019-09-17 | 2019-12-24 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 图像处理方法及装置 |
| CN110689483B (zh) * | 2019-09-24 | 2022-07-01 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN111489291A (zh) * | 2020-03-04 | 2020-08-04 | 浙江工业大学 | 一种基于网络级联的医学图像超分辨率重建方法 |
| CN111460912B (zh) * | 2020-03-12 | 2022-10-28 | 南京理工大学 | 基于级联高分辨卷积神经网络的密集人群计数算法 |
| CN111460912A (zh) * | 2020-03-12 | 2020-07-28 | 南京理工大学 | 基于级联高分辨卷积神经网络的密集人群计数算法 |
| WO2021227877A1 (zh) * | 2020-05-13 | 2021-11-18 | 中兴通讯股份有限公司 | 图像超分辨率处理方法、装置、设备及存储介质 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN112217825A (zh) * | 2020-10-13 | 2021-01-12 | 四川大学 | 基于分辨率自适应网络的非对称加密系统攻击方法 |
| CN112217825B (zh) * | 2020-10-13 | 2021-11-02 | 四川大学 | 基于分辨率自适应网络的非对称加密系统攻击方法 |
| CN112819716A (zh) * | 2021-01-29 | 2021-05-18 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
| CN112819716B (zh) * | 2021-01-29 | 2023-06-09 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| CN115330279A (zh) * | 2022-10-14 | 2022-11-11 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
| CN115330279B (zh) * | 2022-10-14 | 2023-01-24 | 北京师范大学 | 一种基于股票走势图相似性检测的公司选取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109544448B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544448A (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN109903228A (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN109525859A (zh) | 模型训练、图像发送、图像处理方法及相关装置设备 | |
| CN105550993B (zh) | 基于多重变换域的超分辨率重建方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN107123094A (zh) | 一种混合泊松、高斯和脉冲噪声的视频去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |