CN114219738A - 单幅图像多尺度超分辨重建网络结构及方法 - Google Patents
单幅图像多尺度超分辨重建网络结构及方法 Download PDFInfo
- Publication number
- CN114219738A CN114219738A CN202111657697.6A CN202111657697A CN114219738A CN 114219738 A CN114219738 A CN 114219738A CN 202111657697 A CN202111657697 A CN 202111657697A CN 114219738 A CN114219738 A CN 114219738A
- Authority
- CN
- China
- Prior art keywords
- output
- layer
- module
- image
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002776 aggregation Effects 0.000 claims abstract description 50
- 238000004220 aggregation Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 11
- 238000000429 assembly Methods 0.000 claims description 7
- 230000000712 assembly Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 15
- 239000010410 layer Substances 0.000 description 69
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000013047 polymeric layer Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单幅图像多尺度超分辨重建网络结构及方法，本发明网络结构包括：特征提取层，输入为原始图像，输出连接空洞卷积神经网络输入层；级联扩张层，输入与空洞卷积神经网络输出层连接；聚合层，用于融合所述特征提取层不同尺度的低层编码信息以及所述级联扩张层的解码信息；重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。本发明采用后端升采样网络将图像映射变换都在低分辨率空间进行，降低了计算复杂度和空间复杂度。
Description
技术领域
本发明涉及计算机视觉、人工智能领域，特别是一种单幅图像多尺度超分辨重建网络结构及方法。
背景技术
数字图像超分辨率重建技术是信息处理技术的重要内容，是低分辨率图像生成高分辨率图像的主要手段之一，在很多领域得到了越来越广泛的应用：如城市排水管网缺陷检测需要通过低分辨率的图像重建高清图像从而实现缺陷识别和定级；在使用遥感影像检测地物时需要以低分辨率的图像重建细节更加突出的高分辨率遥感影像；在水质监测中，影像数据易受水汽影像导致图像模糊、通道信号差，需要采用超分辨率重建恢复细节更丰富的信息；医学中采用模糊图像重建技术放大人眼不能辨别的细微病灶而不丢失图像信息等。因此，提高图像分辨率而不丢失图像的细节纹理是图像处理领域的主要技术之一。
CN202011318695.X公开了一种基于多尺度通道注意力机制的单幅图像超分辨率方法，提出采用多尺度通道注意力重建超分辨方法，但该方法存在以下两个问题：
(1)该方法预先设定的升采样方法会引入模糊(noise)、噪声放大(noiseamplification)等问题，同时因为网络在前端即进行插值到高分辨率空间，所需的存储空间和耗时都远高于其他类型超分网络；
(2)该方法采用多尺度通道注意力，较好的实现了全局信息的提取，但是其未能考虑图像低层编码信息与高层解码信息的融合，该网络无法弥补图像在卷积过程中损失的细节信息，造成重建后出现伪影现象。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种单幅图像多尺度超分辨重建网络结构及方法，增加重建阶段图像信息量，避免重建的图片出现伪影。
为解决上述技术问题，本发明所采用的技术方案是：一种单幅图像多尺度超分辨重建网络结构，包括：
特征提取层，输入为原始图像，输出连接空洞卷积神经网络(NLA)输入层；
级联扩张层，输入与空洞卷积神经网络输出层连接；
聚合层，用于融合所述特征提取层不同尺度的低层编码信息以及重建模块上采样后的解码信息；
重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。
本发明采用聚合层将特征提取层不同尺度的低层编码信息以及级联扩张层解码信息融合起来，增加了图像重建阶段图像信息量，避免了重建的图片出现伪影，解决了图像重建时图像信息损失严重的问题。针对现有技术升采样方法容易在图像中引入噪声、同时计算和空间复杂度高的问题，本发明采用后端升采样网络(级联扩张层)将图像映射变换都在低分辨率空间进行，同时结合空洞卷积神经网络(NLA模块)降低了计算复杂度和空间复杂度。
所述特征提取层包括：
卷积模块，用于提取原始图像的浅层特征；
M个残差组件，与所述卷积模块连接，用于提取深层特征；其中，M≥1。
卷积操作将图像映射到低分辨率空间，降低计算复杂度和空间复杂度，残差组件可以提取到图像更深层的语义信息。
所述级联扩张层包括M个级联的解码器；第一个解码器与所述空洞卷积神经网络输出层连接，第M个解码器与所述重建模块连接。所述级联扩张层采用转置卷积级联解码，可以自适应学习图像编码-解码映射关系,得到更详细的图像信息恢复特征，进一步提高图像重建精度。
所述卷积模块的输入与第M-1个解码器的输出叠加，作为第M个解码器的输入。融合低层特征有利于图片细节纹理的重建。
本发明中，所述聚合层包括N个聚合模块；其中1≤N≤M。
本发明的聚合层有多种实现结构，如下：
当N＝1时，所述M个残差组件均与该聚合模块连接，该聚合模块的输出与所述空洞卷积神经网络的输出叠加，或者与第i个所述解码器的输出叠加，1≤i＜M。该聚合模块可融合多尺度低层编码信息，与所述空洞卷积神经网络的输出叠加可以融合高层特征语义信息，与第i个所述解码器的输出叠加有利于增强该部分图像重建信息。
当N＝M时，每个聚合模块对应与一个所述残差组件连接，各聚合模块的输出分别对应与所述空洞卷积神经网络的输出、第1个所述解码器的输出、……、第M-1个所述解码器的输出叠加。该聚合模块可融合多尺度低层编码信息，与所述空洞卷积神经网络的输出叠加可以融合高层特征语义信息，与所述第1个所述解码器的输出、……、第M-1个所述解码器的输出叠加，缓解了多次上采样操作带来的图像信息损失。
当1＜N＜M时，每个聚合模块对应与至少一个残差组件连接，各聚合模块的输出对应与所述空洞卷积神经网络的输出、第1～第j个所述解码器的输出叠加；其中，j≤N。所述聚合模块可融合多尺度低层编码信息，与所述空洞卷积神经网络的输出叠加可以融合高层特征语义信息，与第1～第j个所述解码器的输出叠加有利于弥补各个上采样阶段图像信息损失。
优选地，本发明中，M＝4；N＝3；第1个聚合模块与4个所述残差组件连接，第2个聚合模块与第2～第4个残差组件连接，第3个聚合模块与第3个和第4个残差组件连接；第3个聚合模块的输出与所述空洞卷积神经网络的输出叠加，作为第1个解码器的输入；第2个聚合模块的输出所述第1个解码器的输出叠加，作为第2个解码器的输入；第1个聚合模块的输出与所述第2个解码器的输出叠加，作为第3个解码器的输入。所述4个残差组件可最大化的提取图像有效特征，所述3个聚合模块在融合多尺度特征的基础上不会造成信息的冗余，所述聚合模块与残差组件、空洞卷积神经网络、解码器的连接方式可最优的融合高层语义信息，弥补各个上采样阶段图像信息损失。
所述聚合模块包括L个第一上采样层，所述L个第一上采样层的输出均与由多个不同倍数上采样层级联而成的聚合单元的输入层连接；其中，L为聚合模块所接的残差组件的个数。所述聚合模块结构有利融合多尺度特征信息。
所述空洞卷积神经网络(NLA)包括多个并联的级联支路，所述多个并联的级联支路的输入为特征提取层的输出，所述多个并联的级联支路的输出与融合模块连接；所述级联支路包括一个或多个串联的卷积层。融合模块用于叠加(从通道方向叠加)所有级联支路的输出。本发明中，单个级联支路利用多个空洞卷积可以极大提高感受野，增加局部特征聚合。
所述级联支路数量为5；5个级联支路上的卷积层个数从上往下分别为1、2、0、3、4。所述多个级联支路可提取多尺度特征信息，并进行信息融合。
本发明还提供了一种单幅图像多尺度超分辨重建方法，其包括以下步骤：
S1、从图像数据集中获取多张图像作为样本集，将所述样本集随机划分为训练集和验证集；
S2、采用所述训练集训练超分辨重建网络，采用所述验证集调整模型结构和超参数，得到重建模型；
其中，所述超分辨重建网络为本发明所述的网络结构。
步骤S1之后，步骤S2之前，还包括：对所述训练集的图片进行增强处理。
本发明的方法还包括：S3、将原始图片作为所述重建模型的输入，得到重建后的图像。
与现有技术相比，本发明所具有的有益效果为：
1)针对现有技术预先设定的升采样方法容易在图像中引入噪声、同时计算和空间复杂度高的问题，本发明采用后端升采样网络将图像映射变换都在低分辨率空间进行，降低了计算复杂度和空间复杂度；
2)针对重建阶段图像信息损失严重问题，本发明采用聚合模块实现低层和高层信息的融合，增加了重建阶段图像信息量，避免了重建的图片出现伪影；聚合层有效整合了低层次语义信息，有利于重建阶段图像信息恢复，消除图像伪影现象；
3)本发明弱化了模型对先验知识图谱的依赖性，具备一定的自学习性，即使不存在先验知识也能够有效的对现有图像进行自我学习和自我重建；
4)密集空洞卷积结构大幅度提升了模型中图像感受野，实现了多尺度特征融合，极大程度的降低了图像在卷积过程中的信息损失、消除了振铃噪声和边缘模糊现象，有利于图像中纹理细节的重建。
附图说明
图1为本发明实施例网络结构图；
图2为本发明实施例聚合模块结构图；
图3为本发明实施例密集空洞卷积模块结构图；
图4为本发明实施例1超分辨重建模块结构图；
图5(a)～图5(e)为伪影现象处理实验结果图；图5(a)为原始低分辨率图像；图5(b)为SRCNN方法重建结果图；图5(c)为RCAN方法重建结果图；图5(d)为IGNN方法重建结果图；图5(e)为SRDCNN方法(本发明方法)重建结果图；图6(a)～图6(e)为纹理重建细节实验结果图；图6(a)为原始低分辨率图像；图6(b)为SRCNN方法重建结果图；图6(c)为RCAN方法重建结果图；图6(d)为IGNN方法重建结果图；图6(e)为SRDCNN方法(本发明方法)重建结果图。
具体实施方式
如图1所示，本发明实施例1并联堆叠结构的超分辨重建网络结构包括：
特征提取模块包括1个卷积层和4个串联的残差组件，其中卷积层输出与级联扩张层输出连接，第2、3、4个残差块(即残差组件)输出与全局金字塔聚合模块输入连接。
全局金字塔聚合模块(即聚合层)如图2所示，由三个G模块(即聚合模块)组成；其中第1个G模块输入为第1、2、3、4个残差块的输出经过不同倍数上采样后叠加所得，第2个G模块输入为第2、3、4个残差块的输出经过不同倍数上采样后叠加所得，第3个G模块输入为第3、4个残差块的输出经过不同倍数上采样后叠加所得。
如图3，密集空洞卷积模块包括含五个并行分支，图3中，五个分支按照从上至下的顺序，第1个分支包含1个3x3空洞卷积，膨胀系数为1；第2个分支包含2个3x3空洞卷积，膨胀系数分别为3、1；第3个分支直接将输入与其他分支输出连接；第4个分支包含3个3x3空洞卷积，膨胀系数分别为1、3、1；第5个分支包含4个3x3空洞卷积，膨胀系数分别为1、3、5、1。
级联扩张层包含4个串联的Decoder block模块，其中Decoder block模块包含两个1x1卷积和两个3x3转置卷积。
超分辨重建模块包含1个卷积层，以及Pixelshuffle层。
本发明实施例2的图像重建方法如下：
S1、从图像超分辨率重建公开数据集DIV2K中抽取1000张RGB图片作为样本，并按8:2比例划分训练集和验证集；
S2、防止图像内容信息变化较为剧烈，出现明显的边界，采用Blend方法和RGBpermute方法对S1中训练集图片进行增强，增强后训练集数量为5800张；
S3、构建基于并联堆叠结构的超分辨重建网络如图1所示；
S4、利用S2中数据扩增后的数据集进行网络训练，利用S1中验证集调整模型结构和超参数，损失函数设为L(θ)。
进一步地，所述S3具体为：
S3.1构建包括输入层及4个串联连接的残差组件，第一个卷积层和串联残差块组成特征提取层；
S3.1中的第一个卷积层，由1个普通卷积层和最大池化层构建，用于对输入图像的浅层特征进行提取，其中普通卷积核大小设置为7X7，采用步长stride＝2，池化层采用Maxpool；
S3.1中残差组件层，用于提取图像深层特征，其中第1个残差组件由3个Resnet基本块组成，其中Resnet基本块包含两个3x3卷积，卷积层间激活函数采用Relu,输入和输出通过跳跃连接从通道层面进行concat操作，残差块数学表达为：
xl+1＝xl+F(xl,Wl)
其中xl+1为输出,xl为输入，Wl为卷积核，F(xl,Wl)是残差部分；
对于更深的层L，其与第l层的关系可以表示为：
L层可以表示为任意一个比它浅的l层和它们之间的残差部分之和；
S3.1其中第2、3、4个残差组件分别由4,6,3个resnet基本块组成，每个残差组件后接有一个maxpool池化层对图像进行降采样；
S3.2全局金字塔聚合模块由三个G模块组成；其中第1个G模块输入为第1、2、3、4个残差块的输出经过不同倍数上采样后叠加所得，第2、3个G模块输入依次为2、3、4和3、4叠加所得；
上述S3.2中G模块如图2所示，对于多个分支的输入，先用1x1卷积层使各层channel数相同，再用上采样得到相同的尺寸而后concat，再经过具有不同膨胀系数的可分离膨胀卷积，此处膨胀系数设置为1、2、4，获取不同感受野的各层融合信息，在通过3×3卷积层得到最终结果；
其中Gk是第k步的输出，Fk为第k步时编码层的特征图，
表示上采样倍率为2i-k，
代表特征拼接操作，DSconv@2i-k表示可分离空洞卷积；
S3.3密集空洞卷积模块具有5个并行的分支结构，每个分支采用核为3x3空洞卷积级联模式堆叠，第1个分支包含1个3x3空洞卷积，膨胀系数为1；第2个分支包含2个3x3空洞卷积，膨胀系数分别为3、1；第3个分支直接将输入与其他分支输出连接；第4个分支包含3个3x3空洞卷积，膨胀系数分别为1、3、1；第5个分支包含4个3x3空洞卷积，膨胀系数分别为1、3、5、1，该并联结构利用了多分辨率功能，末端将5个分支结构进行concat操作实现多尺度信息融合。
S3.3中密集空洞卷积模块如图3所示，其作用在于降低图像信息损失并扩充感受野，保证在解码阶段的图像分辨率重建任务的信息量，在每个空洞卷积分支中，我们应用一个1x1卷积进行整流线性激活。
此处感受野计算方式为：
其中RFl+1为当前特征图对应的感受野大小，RFl为上一层特征图对应的感受野大小，fl+1为当前卷积层卷积核大小，
表示之前卷积层的步长乘积。
S3.3中的多分支并行结构，使用了特征分层的思想直接将不同膨胀系数的空洞卷积的输出分层叠加，实现不同的感受野相加，弥补了空洞卷积带来的网格效应，解决了局部信息丢失问题和远距离获取的信息无相关性问题。
S3.4级联扩张层如图1所示，具有4个Decoder blocks(解码器模块)，解码器模块采用1x1卷积层+3x3转置卷积+1x1卷积层组合，利用转置卷积学习自适应映射得到更详细的信息恢复特征，其中第1个Decoder blocks的输入为密集空洞卷积模块的输出与第3个G模块的输出通过concat操作融合所得，相应的第2个Decoder blocks的输入为第1个Decoder blocks的输出与第2个G模块的输出通过concat操作融合所得，第3个Decoderblocks的输入为第2个Decoder blocks的输出与第1个G模块的输出通过concat操作融合所得，第4个Decoder blocks的输入为第3个Decoder blocks的输出与特征提取层第1个卷积层的输出通过concat操作融合所得。
S3.4超分辨重建模块结构如图4所示，包括1个1x1卷积以及pixelshuffle(像素重组)上采样层，其作用在于逐级放大图片尺寸并恢复像素信息。
S3.4中超分辨重建模块如下图4所示，其中Pixelshuffle上采样层，其作用在于将一个H×W的图像变为rH×rW的高分辨率图像，采用1X1卷积获得r2个通道特征图(特征图大小和输入低分辨率图像一致)，然后通过周期筛选的方法得到这个高分辨率的图像，其中r为上采样因子即为图像的扩大倍率。
进一步地，所述S4具体为：
S4.1使用Pytorch作为深度学习框架。所有模型均在2个NVIDIA GTX2080 GPU上进行了训练。
S4.2使用均方误差来定义目标函数，给定S2中所给定数据集{(x1,y1),…(xn,yn)},目标函数如下定义，其中n是训练集的样本数。
其中F(xi；θ)为特征提取函数；xi为输入特征；yi为对应的真值；θ为求解的最优参数，θ0，θ1，……θn为每一步迭代获得的最优参数；L(θ)为目标函数；
S4.3训练时采用随机梯度下降(SGD)来最小化目标函数。其更新过程可写成如下：
其中α为步长，
为梯度；
具体步骤如下：首先对网络参数θ进行随机初始化，然后参数θ按照以下更新规则来最小化目标函数：
……
进行n次迭代，直到满足要求，循环结束，得到最优θ值。
S4.4利用pytorch框架API，torch.save()函数保存最佳训练权重，通过torch.load()函数加载模型参数，将训练完成的模型对S.1中的测试集进行推理测试、实现模型对图片超分辨重建。
测试结果：
利用训练好的模型对测试集数据进行测试、实验结果及模型参数如下所示：
对比其他方法，本发明具有较小的计算复杂度和空间复杂度、同时具有更优的峰值信噪比和结构相似性评价。
选取放大尺度为4的重建图像测试结果进行对比。
1、伪影现象
根据图5(a)～5(e)所示结果可知，图5(a)～5(d)右下角的屋顶放大图中屋顶与天空的交界处出现有多余的纹路，图5(e)左下角的屋顶放大图中较好的消除了此问题，由此说明本发明方法能效消除图像中边缘过渡区域的伪影现象。
2、纹理重建细节
根据图6(a)～6(e)与其他方法对比结果，可以明显看出，图6(a)～6(d)右下角的窗户放大图中恢复的细节纹理都较为稀少，图6(e)右下角的窗户放大图中细节纹理较多，由此说明发明方法对于纹理细节重建效果较好。
Claims (10)
1.一种单幅图像多尺度超分辨重建网络结构，其特征在于，包括：
特征提取层，输入为原始图像，输出连接空洞卷积神经网络输入层；
级联扩张层，输入与空洞卷积神经网络输出层连接；
聚合层，用于融合所述特征提取层提取的不同尺度的低层编码信息以及级联扩张层获取的解码信息；
重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。
2.根据权利要求1所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述特征提取层包括：
卷积模块，用于提取原始图像的浅层特征；
M个残差组件，与所述卷积模块连接，用于提取深层特征；其中，M≥1。
3.根据权利要求2所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述级联扩张层包括M个级联的解码器；第一个解码器与所述空洞卷积神经网络输出层连接，第M个解码器与所述重建模块连接。
4.根据权利要求3所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述卷积模块的输入与第M-1个解码器的输出叠加，作为第M个解码器的输入。
5.根据权利要求4所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述聚合层包括N个聚合模块；其中1≤N≤M；
当N＝1时，所述M个残差组件均与该聚合模块连接，该聚合模块的输出与所述空洞卷积神经网络的输出叠加，或者与第i个所述解码器的输出叠加，1≤i＜M；
当N＝M时，每个聚合模块对应与一个所述残差组件连接，各聚合模块的输出分别对应与所述空洞卷积神经网络的输出、第1个所述解码器的输出、……、第M-1个所述解码器的输出叠加；
当1＜N＜M时，每个聚合模块对应与至少一个残差组件连接，各聚合模块的输出对应与所述空洞卷积神经网络的输出、第1～第j个所述解码器的输出叠加；其中，j≤N。
6.根据权利要求5所述的单幅图像多尺度超分辨重建网络结构，其特征在于，M＝4；N＝3；第1个聚合模块与4个所述残差组件连接，第2个聚合模块与第2～第4个残差组件连接，第3个聚合模块与第3个和第4个残差组件连接；第3个聚合模块的输出与所述空洞卷积神经网络的输出叠加，作为第1个解码器的输入；第2个聚合模块的输出所述第1个解码器的输出叠加，作为第2个解码器的输入；第1个聚合模块的输出与所述第2个解码器的输出叠加，作为第3个解码器的输入。
7.根据权利要求5所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述聚合模块包括L个第一上采样层，所述L个第一上采样层的输出均与由多个不同倍数上采样层级联而成的聚合单元的输入层连接；其中，L为聚合模块所接的残差组件的个数。
8.根据权利要求1～7之一所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述空洞卷积神经网络包括多个并联的级联支路，所述多个并联的级联支路的输入为特征提取层的输出，所述多个并联的级联支路的输出与融合模块连接；所述级联支路包括一个或多个串联的卷积层。
9.根据权利要求8所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述级联支路数量为5；5个级联支路上的串联的卷积层个数分别为1、2、0、3、4。
10.一种单幅图像多尺度超分辨重建方法，其特征在于，包括以下步骤：
S1、从图像数据集中获取多张图像作为样本集，将所述样本集随机划分为训练集和验证集；
S2、采用所述训练集训练超分辨重建网络，采用所述验证集调整超分辨重建网络结构和超参数，得到重建模型；
其中，所述超分辨重建网络为权利要求1～9之一所述的网络结构；
优选地，
步骤S1之后，步骤S2之前，还包括：对所述训练集的图片进行增强处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111657697.6A CN114219738A (zh) | 2021-12-30 | 2021-12-30 | 单幅图像多尺度超分辨重建网络结构及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111657697.6A CN114219738A (zh) | 2021-12-30 | 2021-12-30 | 单幅图像多尺度超分辨重建网络结构及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114219738A true CN114219738A (zh) | 2022-03-22 |
Family
ID=80707154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111657697.6A Pending CN114219738A (zh) | 2021-12-30 | 2021-12-30 | 单幅图像多尺度超分辨重建网络结构及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564653A (zh) * | 2022-09-30 | 2023-01-03 | 江苏济远医疗科技有限公司 | 一种多因子融合的图像超分辨率方法 |
-
2021
- 2021-12-30 CN CN202111657697.6A patent/CN114219738A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564653A (zh) * | 2022-09-30 | 2023-01-03 | 江苏济远医疗科技有限公司 | 一种多因子融合的图像超分辨率方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN108898560B (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN112862689A (zh) | 一种图像超分辨率重建方法及系统 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| CN114881871A (zh) | 一种融合注意力单幅图像去雨方法 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| CN114841856A (zh) | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 | |
| CN104899835A (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN114092824A (zh) | 结合密集注意力和并行上采样的遥感图像道路分割方法 | |
| CN116757955A (zh) | 一种基于全维动态卷积多融合对比网络 | |
| CN117058160A (zh) | 基于自适应特征融合网络的三维医学图像分割方法及系统 | |
| CN113962882B (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |