CN112017116A - 基于非对称卷积的图像超分辨率重建网络及其构建方法 - Google Patents
基于非对称卷积的图像超分辨率重建网络及其构建方法 Download PDFInfo
- Publication number
- CN112017116A CN112017116A CN202010718581.8A CN202010718581A CN112017116A CN 112017116 A CN112017116 A CN 112017116A CN 202010718581 A CN202010718581 A CN 202010718581A CN 112017116 A CN112017116 A CN 112017116A
- Authority
- CN
- China
- Prior art keywords
- convolution
- asymmetric
- module
- convolution kernel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 37
- 230000003321 amplification Effects 0.000 claims abstract description 23
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 16
- 230000006798 recombination Effects 0.000 claims description 16
- 238000005215 recombination Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于非对称卷积的图像超分辨率重建网络及其构建方法，所述图像超分辨率重建网络包括：第一特征提取模块；第二特征提取模块，连接第一特征提取模块；第一放大模块，连接第二特征提取模块；第二放大模块，连接第一特征提取模块的输入端；求和模块，连接第一放大模块的输出端和第二放大模块的输出端；其中，第二特征提取模块包括m个依次串联的BG模块，每个BG模块包括依次串联的n个非对称卷积残差块和一个卷积层。本发明提供的图像超分辨率重建网络减少了参数量和计算量，提高了网络推理速度，同时提升了网络性能。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于非对称卷积的图像超分辨率重建网络及其构建方法。
背景技术
在当今信息化时代，随着计算机技术的飞速发展，图像采集及处理系统在交通安全、安防监控、遥感观测等领域得到了广泛的应用。其所采集的高分辨率图像不仅给人们带来更好的视觉感受，也可以记录更多的场景信息。然而在现实生活中，由于硬件的限制和成像过程中一些自然因素(例如噪声、运动模糊、光源质量等)的影响，自然获取的图像往往倾向于表现出比较低的分辨率。由于低分辨率图像蕴含的信息较少，对后续基于图像的活动带来不利影响。因而，研究图像超分辨率技术是十分有必要的。
超分辨率技术即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像，该过程就是超分辨率重建。目前，深度学习的快速发展使得基于深度卷积网络(DCNN)的图像超分辨率重建技术取得了较好的效果。但是，随着超分辨率重建效果的提升，网络的模型也越来越大，随之带来的巨大参数量和计算量限制了图像超分辨率重建技术的应用。且一般情况下，减少参数量就意味着网络性能的下降。
目前，多数的超分辨率重建网络通过提高计算量来抵消参数量减小的影响，常用的方法包括使用递归、交插的上下采样等方法来缩小网络模型。然而，上述方法带来的巨大参数量会导致模型推理阶段十分缓慢，尤其是交插上下采样模型的计算量会随着网络的放大倍数的增大呈几何倍数增长。因此，设计一种可以同时减少参数量和计算量又不影响网络性能的图像超分辨率重建网络具有重要意义。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于非对称卷积的图像超分辨率重建网络及其构建方法。本发明要解决的技术问题通过以下技术方案实现：
一种基于非对称卷积的图像超分辨率重建网络，包括：
第一特征提取模块，用于对输入图像进行浅层特征提取，得到第一特征图像；
第二特征提取模块，连接所述第一特征提取模块，用于对所述第一特征图像进行深层特征提取和处理，得到第二特征图像；
第一放大模块，连接所述第二特征提取模块，用于对所述第二特征图像进行放大，得到第一放大图像；
第二放大模块，连接所述第一特征提取模块的输入端，用于对所述输入图像进行放大，得到第二放大图像；
求和模块，连接所述第一放大模块的输出端和所述第二放大模块的输出端，用于对所述第一放大图像和所述第二放大图像进行求和，得到超分辨率重建图像；
其中，所述第二特征提取模块包括m个依次串联的BG模块，每个所述BG模块包括依次串联的n个非对称卷积残差块和一个卷积层。
在本发明的一个实施例中，每个所述BG模块的输入端与其输出端连接。
在本发明的一个实施例中，每个所述非对称卷积残差块包括依次连接的非对称卷积单元、激活单元、通道压缩单元以及CA单元，其中，
所述非对称卷积单元包括并行连接的第一卷积核、第二卷积核以及第三卷积核，且所述第一卷积核为方形卷积核，所述第二卷积核和所述第三卷积核均为非对称卷积核。
在本发明的一个实施例中，所述第一卷积核为3×3大小的方形卷积核，所述第二卷积核为1×3大小的非对称卷积核，所述第三卷积核为3×1大小的非对称卷积核。
在本发明的一个实施例中，每个所述非对称卷积残差块的输入端与其输出端连接。
在本发明的一个实施例中，所述激活单元的激活函数为ReLU函数。
在本发明的一个实施例中，所述第一放大模块包括第四卷积核和第一像素重组单元，其中，
每个所述BG模块的输出端均连接至所述第四卷积核的输入端，所述第四卷积核的输出端连接所述第一像素重组单元的输入端。
在本发明的一个实施例中，所述第二放大模块包括第五卷积核和第二像素重组单元，其中，
所述第五卷积核的输入端连接所述第一特征提取模块的输入端，所述第五卷积核的输出端连接所述第二像素重组单元的输入端；
所述第一像素重组单元的输出端和所述第二像素重组单元的输出端均连接所述求和模块的输入端；
所述求和模块的输出端作为整个网络的输出端，输出超分辨率重建图像。
在本发明的一个实施例中，所述第五卷积核为大尺寸方形卷积核。
本发明的另一个实施例提供了一种基于非对称卷积的图像超分辨率重建网络的构建方法，所述构建方法用于构建如上述实施例所述的基于非对称卷积的图像超分辨率重建网络，所述构建方法包括：
根据非对称卷积和残差网络思想构建非对称卷积残差块；其中，所述非对称卷积残差块包括非对称卷积单元，所述非对称卷积单元包括并行连接的一个方形卷积核和两个非对称卷积核；
根据所述非对称卷积残差块构建BG模块；其中，所述BG模块的输入端和输出端相连。
根据所述BG模块构建基于非对称卷积的图像超分辨率重建网络。
本发明的有益效果：
1、本发明通过非对称卷积结合残差网络思想构建了非对称卷积残差块，并以此作为基础单元构建了图像超分辨率重建网络，该网络在训练阶段可通过使用两个非对称卷积核和传统的方形卷积核并行连接，增加网络宽度，使网络拥有不同的感受野,同时又将不同感受野的特征图进行融合，强化超分辨率重建网络的特征提取能力，使最终的重建图像具有非常丰富的细节信息，从而提升图像超分辨率重建网络的性能；在模型推理阶段，可将两个非对称卷积核聚合在方形卷积核上，得到和聚合前性能一致的等效卷积核，在不影响网络性能的前提下，同时降低网络的参数量和计算量，提高了网络推理速度；
2、本发明在非对称卷积残差块、BG模块以及全局网络中增加了不同长度的跳跃连接，增强了网络的信息流通性，便于网络进行训练，提高了网络的表达能力。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于非对称卷积的图像超分辨率重建网络的结构示意图；
图2是本发明实施例提供的BG模块结构示意图；
图3是本发明实施例提供的非对称卷积残差块的结构示意图；
图4是本发明实施例提供的非对称卷积提取图像特征的示意图；
图5是本发明实施例提供的CA单元的结构示意图；
图6是本发明实施例提供的一种基于非对称卷积的图像超分辨率重建网络的构建方法流程图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于非对称卷积的图像超分辨率重建网络的结构示意图，包括：
第一特征提取模块1，用于对输入图像进行浅层特征提取，得到第一特征图像；
第二特征提取模块2，连接第一特征提取模块1，用于对第一特征图像进行深层特征提取和处理，得到第二特征图像；
第一放大模块3，连接第二特征提取模块2，用于对第二特征图像进行放大，得到第一放大图像；
第二放大模块4，连接第一特征提取模块1的输入端，用于对输入图像进行放大，得到第二放大图像；
求和模块5，连接第一放大模块3的输出端和第二放大模块4的输出端，用于对第一放大图像和第二放大图像进行求和，得到超分辨率重建图像；
其中，第二特征提取模块2包括m个依次串联的BG模块BGi，1≤i≤m，每个BG模块包括依次串联的n个非对称卷积残差块Blockj，1≤j≤n，和一个卷积层conv-BG。
具体而言，本实施例采用一个普通的卷积层作为第一特征提取模块1，可对输入图像的浅层特征进行提取，得到经过初步特征提取的第一特征图像，以便后续进一步进行特征提取。
进一步地，请参见图2，图2是本发明实施例提供的BG模块结构示意图，其包括m个依次串联的BG模块BGi，1≤i≤m，且每个BG模块BGi的输入端与其输出端连接。
其中，每个BG模块还包括依次串联的n个非对称卷积残差块Blockj，1≤j≤n，以及一个卷积层conv-BG，其中，第1个非对称卷积残差块Block1的输入端作为BG模块的输入端，卷积层conv-BG的输出端作为BG模块的输出端。
本实施例为了避免网络过深导致浅层信息无法传递到网络的末端，以n个非对称卷积残差块和一个卷积层构成一个BG模块(Block Group)。同时，BG模块的输入输出端直接连接，采用这种长跳跃连接(skip连接)可以使浅层信息流向网络深处，提高网络的表达能力。
进一步地，请参见图3，图3是本发明实施例提供的非对称卷积残差块的结构示意图，其中，Blockj表示第j个非对称卷积残差块，其输入来自第j-1个非对称卷积残差块，输出送往第j+1个非对称卷积残差块，且非对称卷积残差块Blockj的输入端与其输出端连接。
具体地，每个非对称卷积残差块Blockj包括依次连接的非对称卷积单元a、激活单元b、通道压缩单元c以及CA单元d，其中，
非对称卷积单元a包括并行连接的第一卷积核conv1、第二卷积核conv2以及第三卷积核conv3，且第一卷积核conv1为方形卷积核，第二卷积核conv2和第三卷积核conv3均为非对称卷积核。
可选地，在本实施例中，第一卷积核conv1为3×3大小的方形卷积核，所述第二卷积核conv2为1×3大小的非对称卷积核，所述第三卷积核conv3为3×1大小的非对称卷积核。
在本实施例中，非对称卷积单元a的三个卷积核可同时对第一特征图像进行卷积操作，以提取更深层次的特征。
与传统的卷积网络希望通过增加深度来提高网络性能不同，本实施例希望在训练阶段通过增加网络的宽度来提高性能，在推理阶段通过聚合卷积核在不影响网络性能的前提下降低参数量和计算量，提高推理速度。
具体地，在训练阶段，可通过使用两个非对称卷积核和传统的方形卷积核并行连接，增加网络宽度，使网络拥有不同的感受野,同时又将不同感受野的特征图进行融合，强化超分辨率重建网络的特征提取能力，使最终的重建图像具有非常丰富的细节信息，从而提升了图像超分辨率重建网络的性能。
请参见图4，图4是本发明实施例提供的非对称卷积提取图像特征的示意图，其中，左侧是使用非对称卷积和聚合后的等效卷积核提取图像特征，具体地，左侧上方是使用未聚合的卷积核提取特征，左侧下方是使用聚合后的卷积核提取特征，这两种方式提取出的特征是一致的；右侧图表示卷积核聚合示意图。
在模型推理阶段，可将两个非对称卷积核聚合在方形卷积核上，得到和聚合前性能一致的等效卷积核，在不影响网络性能的前提下，同时降低网络的参数量和计算量，提高了网络推理速度。
具体地，卷积核聚合过程可以表示为：
其中，I表示待卷积的图像特征，K(1)，K(2)，K(3)分别表示第一卷积核、第二卷积核以及第三卷积核，*表示卷积，
表示卷积核聚合(对应位置的加法操作)，
为聚合后的等效卷积核。
进一步地，在本实施例中，为了使上式成立，需要在卷积时对边缘进行填充，第一卷积核conv1也即方形卷积核卷积时需要在外围做填充，第二卷积核conv2也即1×3大小的非对称卷积核卷积时需要在左右进行填充，上下不变，第三卷积核conv3也即3×1大小的非对称卷积核卷积时则需要在上下进行填充而左右不变。
此外，三个卷积核还需设置相同的步长，以便将不同的特征图融合在一起。由于最终在推理阶段将卷积核聚合，可以设置方形卷积核带有偏置，两个非对称卷积核没有偏置，进一步减少参数量。
进一步地，本实施例参考高效宽激活图像超分辨率重建网络，先通过非对称卷积单元a的三个卷积核提取深度特征，同时进行通道扩大，以使更多的信息流向网络深处，有助于提高网络性能。然后将三个结果相加，完成多尺度特征融合，提高特征提取能力，相加后的通道数和三个卷积核任意一个的通道数一样。
然后利用激活单元b激活扩大后的特征图。在本实施例中，激活单元b采用的激活函数为ReLU函数。接着再利用通道压缩单元c对激活后的特征进行降维，以减少冗余信息，同时保证非对称卷积残差块的输入输出通道数一致。本实施例采用一个普通卷积核作为通道压缩单元c，经过该卷积核计算后完成通道数压缩。最后通过一个CA单元(ChannelAttention，通道注意力模块)对压缩后的特征进行加权，进一步筛选重要信息，使网络重点关注权值大的特征，优化网络参数。
在本实施例中，CA单元参考SENet网络进行设计，具体地，请参见图5，图5是本发明实施例提供的CA单元的结构示意图，其包括一个全局平局池化单元、1×1卷积核w1、ReLU函数激活单元、1×1卷积核w2、以及Sigmoid函数激活单元。
具体地，送入CA模块的特征首先顺着空间维度进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。本实施例采用全局平均池化来实现特征压缩，压缩后的特征图形状为(1*1*c)，其中c表示上一层特征图的通道数，则压缩后的特征图可以表示为：
其中，H和W表示特征图的长和宽，Fsq表示特征压缩方法，在本实施例中为全局平均池化，uc表示输入的特征图，zc表示压缩后的特征图。
然后，使用1×1的卷积核w1将压缩后的特征图进行降维，进行降维的目的一是降低参数量，二是增加非线性，使其更好的拟合通道间的复杂的相关性，降维过程可用如下公式表示：
zc/r＝w1(zc)
其中，zc/r表示降维后的特征图，r表示降维比例。
接着，将经过降维的特征图使用ReLU函数激活，再使用1×1卷积核w2将通道数扩大至和输出一致。最后经过Sigmoid激活后与输入特征图相乘得到通道注意力特征图CAc，该过程用公式表示如下：
CAc＝Sigmod(w2(ReLu(zc/r)))*uc
本实施例结合残差网络思想，将非对称卷积和残差网络相融合，构建非对称卷积残差块作为图像超分辨率重建网络的基础模块，且在残差块之间增加一些跳跃连接，增强了网络的信息流通性，便于网络进行训练。
进一步地，请继续参见图1，其中，第一放大模块3包括第四卷积核conv4和第一像素重组单元Shuffle1，其中，
每个BG模块的输出端均连接至第四卷积核conv4的输入端，第四卷积核conv4的输出端连接第一像素重组单元Shuffle1的输入端。
具体地，本实施例将每个BG模块的输出直接送往网络末端拼接起来，再经过第五四卷积核conv4的卷积操作把通道数降到R，其中，
R＝scale*scale*n_colors
scale表示超分辨率重建网络的放大倍数，n_colors表示图像的通道数。在本实施例中，由于是在RGB通道下进行训练的，因此，n_colors＝3。
最后使用第一像素重组单元Shuffle1将图像放大到输入的scale倍，得到第一放大图像。
进一步地，第二放大模块4包括第五卷积核conv5和第二像素重组单元Shuffle2，其中，
第五卷积核conv5的输入端连接特征提取模块1的输入端，第五卷积核conv5的输出端连接第二像素重组单元Shuffle2的输入端；
第一像素重组单元Shuffle1的输出端和第二像素重组单元Shuffle2的输出端均连接求和模块5的输入端；
所述求和模块5的输出端作为整个网络的输出端，输出超分辨率重建图像。
本实施例通过第二放大模块4，构成一个skip连接，从而形成全局的残差学习，为了使skip部分拥有较大的感受野，使用了一个大尺寸的方形卷积核，也即第五卷积核conv5，这样设置可以使网络的主体部分重点学习图像的高频信息，带来更好的超分辨率重建效果。
具体地，输入图像经第五卷积核conv5的卷积操作将特征通道变为R，然后通过第二像素重组单元Shuffle2将图像放大到输入的scale倍，得到第二放大图像。
最后将两部分的放大图像输入求和模块5进行相加得到最终的超分辨率重建图像并输出。
本实施例提供的基于非对称卷积的图像超分辨率重建网络通过非对称卷积核与传统的方形卷积核相结合，使网络可以拥有不同的感受野，并将不同卷积核提取出的特征图相加，完成多尺度特征融合，强化超分辨率重建网络的特征提取能力，使最终的重建图像具有非常丰富的细节信息。同时结合残差学习的思想，构建了非对称卷积残差块，残差块之间增加一些跳跃连接，增强网络的信息流通性，便于网络进行训练。在推理阶段，将非对称卷积核聚合在方形卷积核上，在不影响网络性能的前提下，同时降低网络的参数量和计算量，增快网络推理速度。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于非对称卷积的图像超分辨率重建网络的构建方法，请参见图6，图6是本发明实施例提供的一种基于非对称卷积的图像超分辨率重建网络的构建方法流程图，包括：
步骤1：根据非对称卷积和残差网络思想构建非对称卷积残差块。
具体地，本实施例将非对称卷积和残差学习思想相结合构建一个非对称卷积单元，其中，非对称卷积单元包括并行连接一个方形卷积核和两个非对称卷积核。该方式在训练阶段可以使网络拥有不同的感受野，将不同感受野的特征图进行融合，以提升图像超分辨率重建网络的性能。在模型推理阶段，将两个非对称卷积核聚合在方形卷积核上，得到和聚合前性能一致的等效卷积核，降低推理阶段的参数量和计算量，提高推理速度。
在此基础上，参考Jiahui Yu等人提出的高效宽激活图像超分辨率重建网络，构建非对称卷积残差块作为图像超分辨率重建网络的基础模块。在此过程中，在通过非对称卷积残差块的激活函数前扩大特征的通道数，有利于更多的图像信息向网络的末端传输，激活后的图像特征再经过卷积完成特征压缩，减少冗余信息。将压缩后的特征再经过一个通道注意力模块，给特征进行加权，进一步筛选重要信息，使网络重点关注权值大的特征，优化了网络参数。
本实施例构建的非对称卷积残差块结构如上述实施例一及图3所述，在此不再赘述。
步骤2：根据非对称卷积残差块构建BG模块。
本实施例为了避免网络过深导致浅层信息无法传递到网络的末端，以n个非对称卷积残差块(Block)和一个卷积层构成一个BG(Block Group)模块，如上述实施例一及图3所示，其中，BG的输入输出端直接连接，使用这种长跳跃连接可以使浅层信息流向网络深处，提高网络的表达能力。
步骤3：根据BG模块构建基于非对称卷积的图像超分辨率重建网络。
具体地，根据步骤2得到的网络组件，再结合常规的卷积层以及像素重组(Shuffle)技术，构建一个端到端的基于非对称卷积的图像超分辨率重建网络，如图1所示。
在本实施例中，采用了skip连接形式，同时，为了使skip部分拥有较大的感受野，使用一个大尺寸的方形卷积核，这样设置可以使网络的主体部分重点学习图像的高频信息，带来更好的超分辨率重建效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于非对称卷积的图像超分辨率重建网络，其特征在于，包括：
第一特征提取模块(1)，用于对输入图像进行浅层特征提取，得到第一特征图像；
第二特征提取模块(2)，连接所述第一特征提取模块(1)，用于对所述第一特征图像进行深层特征提取和处理，得到第二特征图像；
第一放大模块(3)，连接所述第二特征提取模块(2)，用于对所述第二特征图像进行放大，得到第一放大图像；
第二放大模块(4)，连接所述第一特征提取模块(1)的输入端，用于对所述输入图像进行放大，得到第二放大图像；
求和模块(5)，连接所述第一放大模块(3)的输出端和所述第二放大模块(4)的输出端，用于对所述第一放大图像和所述第二放大图像进行求和，得到超分辨率重建图像；
其中，所述第二特征提取模块(2)包括m个依次串联的BG模块(BGi，1≤i≤m)，每个所述BG模块(BGi)包括依次串联的n个非对称卷积残差块(Blockj，1≤j≤n)和一个卷积层(conv-BG)。
2.根据权利要求1所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，每个所述BG模块(BGi)的输入端与其输出端连接。
3.根据权利要求1所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，每个所述非对称卷积残差块(Blockj)包括依次连接的非对称卷积单元(a)、激活单元(b)、通道压缩单元(c)以及CA单元(d)，其中，
所述非对称卷积单元(a)包括并行连接的第一卷积核(conv1)、第二卷积核(conv2)以及第三卷积核(conv3)，且所述第一卷积核(conv1)为方形卷积核，所述第二卷积核(conv2)和所述第三卷积核(conv3)均为非对称卷积核。
4.根据权利要求3所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，所述第一卷积核(conv1)为3×3大小的方形卷积核，所述第二卷积核(conv2)为1×3大小的非对称卷积核，所述第三卷积核(conv3)为3×1大小的非对称卷积核。
5.根据权利要求3所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，每个所述非对称卷积残差块(Blockj)的输入端与其输出端连接。
6.根据权利要求3所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，所述激活单元(b)的激活函数为ReLU函数。
7.根据权利要求1所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，所述第一放大模块(3)包括第四卷积核(conv4)和第一像素重组单元(Shuffle1)，其中，
每个所述BG模块(BGi)的输出端均连接至所述第四卷积核(conv4)的输入端，所述第四卷积核(conv4)的输出端连接所述第一像素重组单元(Shuffle1)的输入端。
8.根据权利要求7所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，所述第二放大模块(4)包括第五卷积核(conv5)和第二像素重组单元(Shuffle2)，其中，
所述第五卷积核(conv5)的输入端连接所述第一特征提取模块(1)的输入端，所述第五卷积核(conv5)的输出端连接所述第二像素重组单元(Shuffle2)的输入端；
所述第一像素重组单元(Shuffle1)的输出端和所述第二像素重组单元(Shuffle2)的输出端均连接所述求和模块(5)的输入端；
所述求和模块(5)的输出端作为整个网络的输出端，输出超分辨率重建图像。
9.根据权利要求8所述的基于非对称卷积的图像超分辨率重建网络，其特征在于，所述第五卷积核(conv5)为大尺寸方形卷积核。
10.一种基于非对称卷积的图像超分辨率重建网络的构建方法，其特征在于，所述构建方法用于构建如权利要求1至9任一项所述的基于非对称卷积的图像超分辨率重建网络，所述构建方法包括：
根据非对称卷积和残差网络思想构建非对称卷积残差块；其中，所述非对称卷积残差块包括非对称卷积单元，所述非对称卷积单元包括并行连接的一个方形卷积核和两个非对称卷积核；
根据所述非对称卷积残差块构建BG模块；其中，所述BG模块的输入端和输出端相连。
根据所述BG模块构建基于非对称卷积的图像超分辨率重建网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010718581.8A CN112017116B (zh) | 2020-07-23 | 2020-07-23 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010718581.8A CN112017116B (zh) | 2020-07-23 | 2020-07-23 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017116A true CN112017116A (zh) | 2020-12-01 |
| CN112017116B CN112017116B (zh) | 2024-02-23 |
Family
ID=73498902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010718581.8A Active CN112017116B (zh) | 2020-07-23 | 2020-07-23 | 基于非对称卷积的图像超分辨率重建网络及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017116B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866694A (zh) * | 2020-12-31 | 2021-05-28 | 杭州电子科技大学 | 联合非对称卷积块和条件上下文的智能图像压缩优化方法 |
| CN113361546A (zh) * | 2021-06-18 | 2021-09-07 | 合肥工业大学 | 融合非对称卷积和注意力机制的遥感图像特征提取方法 |
| CN113837946A (zh) * | 2021-10-13 | 2021-12-24 | 中国电子技术标准化研究院 | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 |
| CN114820324A (zh) * | 2022-05-19 | 2022-07-29 | 河南垂天科技有限公司 | 一种基于三并行残差网络的图像超分辨率重建系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070252986A1 (en) * | 2006-04-28 | 2007-11-01 | Torbjorn Sandstrom | Method and apparatus for recording of images and study of surfaces |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
-
2020
- 2020-07-23 CN CN202010718581.8A patent/CN112017116B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070252986A1 (en) * | 2006-04-28 | 2007-11-01 | Torbjorn Sandstrom | Method and apparatus for recording of images and study of surfaces |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 翟森;任超;熊淑华;占文枢;: "基于深度学习局部与非局部信息的单幅图像超分辨率重建", 现代计算机, no. 33 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866694A (zh) * | 2020-12-31 | 2021-05-28 | 杭州电子科技大学 | 联合非对称卷积块和条件上下文的智能图像压缩优化方法 |
| CN113361546A (zh) * | 2021-06-18 | 2021-09-07 | 合肥工业大学 | 融合非对称卷积和注意力机制的遥感图像特征提取方法 |
| CN113837946A (zh) * | 2021-10-13 | 2021-12-24 | 中国电子技术标准化研究院 | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 |
| CN114820324A (zh) * | 2022-05-19 | 2022-07-29 | 河南垂天科技有限公司 | 一种基于三并行残差网络的图像超分辨率重建系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017116B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| Hui et al. | Fast and accurate single image super-resolution via information distillation network | |
| CN111275618B (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN110930342B (zh) | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 | |
| CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN107155110A (zh) | 一种基于超分辨率技术的图片压缩方法 | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN115358932B (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及系统 | |
| CN112200724A (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
| CN112884650A (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| CN113362239A (zh) | 一种基于特征交互的深度学习图像修复方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |