CN111652804A - 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 - Google Patents
基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 Download PDFInfo
- Publication number
- CN111652804A CN111652804A CN202010466399.8A CN202010466399A CN111652804A CN 111652804 A CN111652804 A CN 111652804A CN 202010466399 A CN202010466399 A CN 202010466399A CN 111652804 A CN111652804 A CN 111652804A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，采集需要进行超分辨率重建的场景图像，并且对所述场景图像进行下采样获得低分辨率图像与高分辨率图像对；通过所述低分辨率图像与高分辨率图像对构建训练数据集，获得一组LR图像块和与之对应的HR图像块；根据插值方法对所述LR图像块进行上采样，获得与HR图像块的尺寸相同的上采样后的LR图像块；将所述上采样后的LR图像块与HR图像块输入膨胀卷积金字塔与瓶颈网络进行训练，获取待超分辨率图像场景对应的网络的参数，并将其适配膨胀卷积金字塔与瓶颈网络；将所述待超分辨率处理的图像输入所述适配训练好参数的膨胀卷积金字塔与瓶颈网络，获得超分辨后的结果图。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法。
背景技术
图像超分辨率重建的过程可以在既有图像采集设备的基础上提高了图像质量，从而获取分辨率高于成像设备的图像，以方便后续的处理。
通常，超分变率重建使用低分辨率(LR)图像将具有特定图像信息的图像还原为高分辨率(HR)图像，该项技术广泛应用于航空航天，导航系统，安全监控，医学成像系统中。
到目前为止，研究人员一直热衷于研究的超分辨率重建方法，往往依赖于大量的学习样本和深度很深的学习网络；经典的三层超高分辨率卷积神经网络(SRCNN)方法首先利用ImageNet的40万张图像来训练超分辨率重建网络。随着层数的增加，SRCNN可能会面临过度拟合的问题，这类过拟合问题可以通过残差结构加以解决，于是有学者提出了VDSR和DRCN网络，他们使用来自G200和Yang 91的数据集的291张图像训练深度学习网络；为了使用更全面的数据集进行网络训练，后又有学者提出了生成对抗网络(GAN)，该网络使得图像的真实性得以提高。
深度学习网络实现超分辨率重建，学习网络往往采用了深度很深的神经网络，训练它依赖于大量的训练数据，这就导致网络训练是参数量急剧上升，训练过程中可能会出现梯度消失现象；而传统的超分辨率重建方法(插值等)不需要大量的学习样本，但它们不能满足我们对超分辨率细节信息保留的需求。
综上所述，结合国内外图像超分辨率重建的发展现状，研究一种不需大量样本和很深的深度学习网络结构，就能实现较好的、可信度高的图像超分辨率重建方法，对于超分辨率重建的实用领域(例如生物医学成像，航空航天等)有弥足重要的意义和价值。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，该方法为：采集需要进行超分辨率重建的场景图像，并且对所述场景图像进行下采样获得低分辨率图像(LR)与高分辨率图像(HR)对；
通过所述低分辨率图像(LR)与高分辨率图像(HR)对构建训练数据集，获得一组LR图像块和与之对应的HR图像块；
根据插值方法对所述LR图像块进行上采样，获得与HR图像块的尺寸相同的上采样后的LR图像块；
将所述上采样后的LR图像块与HR图像块输入膨胀卷积金字塔与瓶颈网络(ESP-BNet)进行训练，获取待超分辨率图像场景对应的网络的参数，并将其适配膨胀卷积金字塔与瓶颈网络；
将所述待超分辨率处理的图像输入所述适配训练好参数的膨胀卷积金字塔与瓶颈网络，获得超分辨后的结果图。
上述方案中，所述对所述场景图像进行下采样获得低分辨率图像(LR)与高分辨率图像(HR)对，具体为：对所述场景图像进行高斯滤波，高斯滤波的滑动窗口步长为下采样率S，下采样率与超分辨倍数保持一致，从而构建低分辨率图像(LR)与高分辨率图像(HR)对。
上述方案中，所述通过所述低分辨率图像(LR)与高分辨率图像(HR)对构建训练数据集，具体为：采用128×128大小的掩模从LR图像中裁剪图像块，同时在HR图像中对应位置裁剪128S×128S大小的图像块，其中S表示待超分辨倍数或下采样倍数，裁剪图像块的位置为随机位置，裁剪后的LR-HR图像对经过不同角度的旋转和对称，获得增强的LR-HR训练数据集。
上述方案中，所述根据插值方法对所述LR图像块进行上采样，获得与HR图像块的尺寸相同的上采样后的LR图像块，具体为：插值方法采用双三次样条插值，插值基函数为三次B样条，插值后的LR图像块大小与HR图像块大小一致。
上述方案中，所述膨胀卷积金字塔模块由三部分组成：降维模块、分割转换模块和特征融合模块；所述降维模块为1×1卷积模块，其作用为将输入特征图降维，假设输入特征图为m×n×M，其中m，n表示单张特征图的长和宽，M表示特征图的数量，也即维数，后面分割转换模块的并行分支有K个，则所述1×1卷积模块为1×1×d的卷积核，即共有d个1×1的卷积核，其中d＝M/K，原M维的特征图经过降维模块后，输出为d维的特征图；所述分割转换模块为K个并行分支，每个分支的输入均为所述d维特征图，每个分支的卷积操作均为膨胀卷积，不同分支的膨胀系数r不同，膨胀卷积取特征图元素间隔为r-1该模块输出为K个d维的特征图；所述特征融合模块为若干个不同的加法模块与联接模块，其输入为K个d为的特征图，输出结果为M(M＝K×d)维特征图。
上述方案中，所述瓶颈模块由卷积块和跳跃连接两个分支组成；所述卷积块由1×1、3×3和1×1三个不同的卷积层组成，其中第一个1×1的卷积层负责将输入特征图降维，3×3卷积层负责进一步的特征提取，第二个1×1的卷积层负责将特征图扩展维度；所述跳跃连接为所述瓶颈模块由输入到输出的连接，中间经过一个1×1的卷积层，用以匹配特征维度。
上述方案中，所述将所述上采样后的LR图像块与HR图像块输入膨胀卷积金字塔与瓶颈网络(ESP-BNet)进行训练，具体步骤为：
(7a)从所述LR-HR图像块训练集中随机选取若干图像对块，其中LR图像块大小为128×128，HR图像块为128S×128S，S超分辨率尺度参数；
(7b)将所述LR图像块通过双三次样条插值扩展为128S×128S大小的图像块，将之送入ESP-BNet，同时将LR图像块对应的HR图像块作为训练标签；
(7c)在ESP-BNet中，经过一次前向传播，得到初次超分结果图，将之与HR图像标签做比较，计算损失函数，损失函数采用L1损失，计算公式如式(1)所示：
其中，L(·)表示损失函数；θ表示ESP-BNet的输入参量，为一组参数数值；N表示图像块中的像素个数，即128S×128S；HESP-B(·)表示ESP-BNet网络等效函数；LRin表示输入的LR图像块，HRtest表示对应的HR图像块标签，即原始图像中对应位置的图像块；
(7d)将损失函数反向传播，利用随机梯度下降的优化策略更新ESP-BNet的网络参数，用以最小化损失函数；
(7e)重复(7a)～(7d)，重复训练迭代直到最大训练次数。
上述方案中，所述将所述待超分辨率处理的图像输入所述适配训练好参数的膨胀卷积金字塔与瓶颈网络，获得超分辨后的结果图，具体为：将待超分辨处理的图像输入训练好的ESP-BNet，其中ESP-BNet已移除第一层限制128×128输入的输入层，而直接将原始图像输入该神经网络，执行一次前向传播，即可得到超分辨后的结果图像。
与现有的技术相比，本发明对当前场景的针对性更强，因而重建出的高分辨率图像的可信度与视觉效果要远优于传统算法；通过从测试图像中获取训练数据集，增强了超分辨网络的专用性，免去了额外大量的数据集预训练过程，极大地缩减了所需训练的参数量，实现零样本训练，极大地增强了其实用性。
附图说明
图1是本发明提供的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法的网络整体架构图；
图2是本发明提供的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法的ESP模块示意图；
图3是本发明提供的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法的瓶颈网络模块示意图。
图4是本发明提供的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法的超分辨率重建结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于膨胀卷积金字塔与瓶颈网络的零样本超分辨率重建方法，如图1所示，该方法通过以下步骤实现：
步骤1：构建训练数据集
采集需要进行超分辨率重建的场景图像，对该场景图像做下采样，下采样过程为：对场景图像做高斯滤波，高斯滤波的滑动窗口步长为下采样率S，高斯滤波核大小为2(S/2)+1。本实施例中，S＝2，即高斯滤波滤波核大小为3×3，滑动步长为2。下采样率与超分辨倍数保持一致。从而构建出低分辨率图像(LR)与高分辨率图像(HR)对。
利用该LR-HR图像对构建训练数据集，得到一组LR图像块和与之对应的HR图像块。具体为：采用128×128大小的掩模从LR图像中裁剪图像块，同时在HR图像中对应位置裁剪128S×128S大小的图像块，其中S表示待超分辨倍数或下采样倍数。裁剪图像块的位置为随机位置。裁剪后的LR-HR图像对块经过不同角度的旋转和对称，得到一组增强的LR-HR训练数据集，本实施例中，S＝2。
步骤2：训练网络
具体步骤为：
(a)从所述LR-HR图像块训练集中随机选取若干图像对块，其中LR图像块大小为128×128，HR图像块为128S×128S，S超分辨率尺度参数，本实施例中，S＝2。
(b)将所述LR图像块通过双三次B样条插值扩展为128S×128S大小的图像块，将之送入ESP-BNet，同时将LR图像块对应的HR图像块作为训练标签。
(c)在ESP-BNet中，经过一次前向传播，得到初次超分结果图。前向传播经过整个ESP-BNet网络。
其具体传播过程为：
1)输入上采样后的图像，大小为128S×128S×3，经过第一个卷积层，该卷积层内卷积核的大小为3×3×64，即共有64个3×3的卷积核。经过该卷积层后，初步得到64张128S×128S大小的特征图，本实施例中为64张256×256大小的特征图。
2)将所述64张128S×128S大小的特征图输入膨胀卷积金字塔(ESP)模块，ESP模块的具体示意图如附图2所示。该模块由三部分组成：降维模块、分割转换模块和特征融合模块。
所述降维模块为1×1卷积层，其作用为将输入特征图降维，本实施例中，输入特征图为128S×128S×64，其中，S＝2。即输入特征图的维数为64，后面分割转换模块的并行分支有4个，则所述1×1卷积层的卷积核为1×1×16，即共有16个1×1的卷积核，原64维的特征图经过降维模块后，输出为16维的特征图。
所述分割转换模块为4个并行分支，每个分支的输入均为所述16维特征图，即特征图尺寸为128S×128S×16，其中S＝2。每个分支的卷积操作均为膨胀卷积，不同分支的膨胀系数r(膨胀卷积取特征图元素间隔为r-1)不同，本实施例中，四个分支r的取值分别为1、2、4和8。该模块输出为4个16维的特征图。
所述特征融合模块为几个不同的加法模块与联接模块，其输入为4个16维的特征图，输出结果为64维特征图。具体的，如附图2所示，经过所述分割转换模块，膨胀系数为1、2、4、8的膨胀卷积层卷积后得到的特征图分别为F1，F2，F4和F8，特征融合模块采用逐级相加然后联接的融合方式，即将特征图F1，F1+F2，F1+F2+F4，F1+F2+F4+F8四组16维的特征图在维度方向拼接为一组特征图，得到一组64位的特征图，将该特征图与输入ESP模块的64维特征图相加，即可得到该模块最终的特征融合结果图，也即ESP模块的最终输出特征图，特征图维度为128S×128S×64，S＝2；
3)将从ESP模块输出的所述128S×128S×64大小的特征图输入瓶颈网络模块。瓶颈网络模块示意图如附图3所示。
具体地，该模块由卷积块和跳跃连接两个分支组成。所述卷积块由1×1、3×3和1×1三个不同的卷积层组成，其中第一个1×1的卷积层负责将输入特征图降维，其后的特征图经过批正则化处理，经由RELU激活函数后送入3×3卷积层，3×3卷积层负责进一步的特征提取，得到的特征图经过批正则化和RELU激活后输入第二个1×1的卷积层，该卷积层负责将特征图扩展维度，同样将得到的特征图做批正则化处理，得到特征图Fbn1。所述跳跃连接，为所述瓶颈模块由输入到输出的连接，中间经过一个1×1的卷积层，用以匹配特征维度，之后将特征图做批正则化处理，得到特征图Fbn2。将Fbn1与Fbn2相加后送入RELU激活函数，得到该模块的输出特征图，特征图尺寸为128S×128S×64，S＝2。
4)将所述瓶颈网络输出的特征图送入3×3卷积层，卷积核个数为64，重复步骤1)～步骤3)。
5)将第三个瓶颈网络模块输出的特征图送入输出层，输出层为3个3×3卷积核组成的卷积层，输出结果即为初次前向传播得到的超分辨率重建结果图。
(d)将初次超分结果图与HR图像标签做比较，计算损失函数，损失函数采用L1损失，计算公式如式(1)所示。
其中，L(·)表示损失函数；θ表示ESP-BNet的输入参量，为一组参数数值；N表示图像块中的像素个数，即128S×128S；HESP-B(·)表示ESP-BNet网络等效函数；LRin表示输入的LR图像块，HRtest表示对应的HR图像块标签，即原始图像中对应位置的图像块。本实施例中，S＝2。
(e)将损失函数反向传播，利用随机梯度下降的优化策略更新ESP-BNet的网络参数，用以最小化损失函数，本实施例中，学习率的取值范围为0.001～10-5。
(f)重复(a)～(e)，重复训练迭代直到最大训练次数。本实施例中，最大训练次数为10000次
步骤3：获得超分辨后的结果图。
将所述待超分辨率处理的图像输入所述适配训练好参数的ESP-BNet网络，执行一次前向传播，前向传播在步骤2中已做详细阐述，此处不再赘述。需要注意的是，此时网络中的特征图大小，不再是128S×128S，而是变成了Row*S×Col*S。其中，Row和Col分别代表输入图像的高和宽。本实施例中，Row＝960，Col＝1800。经过一次前向传播，即可得到最终的超分结果图。
图4展示了不同算法在同一组图片上的超分辨率重建结果，本实施例中，同样做了一些对比试验，对比方法均为当前超分辨率重建领域热门且表现较好的深度学习方法,分别为SCSR、NE+LLE、A+、SRCNN和SRGAN,它们均是在领域内公用超分辨数据集Set5和Set14上进行训练，训练轮数为10000次，学习率设置为0.01～10-5，的测试结果分别如图4(a)、(b)、(c)、(d)、(e)所示，而本发明所述方法得到的超分辨率重建结果如图4(f)所示，从细节表现上看，本发明所提方法的细节更加清晰，超分效果要优于以上对比算法。
此外，采用领域内通用的评价指标峰值信噪比(PSNR)来评估本发明所提方法的性能，经过计算，利用SCSR超分后的PSNR为30.62，利用NE+LLE超分后的PSNR为30.73，利用A+超分后的PSNR为31.09，利用SRCNN超分后的PSNR为32.05，利用SRGAN超分后的PSNR为31.46，而本发明所采用的方法超分后的PSNR为32.65，为所有算法中指标最高的，说明该方法要优于其他对比算法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (8)
1.一种基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，该方法为：采集需要进行超分辨率重建的场景图像，并且对所述场景图像进行下采样获得低分辨率图像(LR)与高分辨率图像(HR)对；
通过所述低分辨率图像(LR)与高分辨率图像(HR)对构建训练数据集，获得一组LR图像块和与之对应的HR图像块；
根据插值方法对所述LR图像块进行上采样，获得与HR图像块的尺寸相同的上采样后的LR图像块；
将所述上采样后的LR图像块与HR图像块输入膨胀卷积金字塔与瓶颈网络(ESP-BNet)进行训练，获取待超分辨率图像场景对应的网络的参数，并将其适配膨胀卷积金字塔与瓶颈网络；
将所述待超分辨率处理的图像输入所述适配训练好参数的膨胀卷积金字塔与瓶颈网络，获得超分辨后的结果图。
2.根据权利要求1所述的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，所述对所述场景图像进行下采样获得低分辨率图像(LR)与高分辨率图像(HR)对，具体为：对所述场景图像进行高斯滤波，高斯滤波的滑动窗口步长为下采样率S，下采样率与超分辨倍数保持一致，从而构建低分辨率图像(LR)与高分辨率图像(HR)对。
3.根据权利要求1或2所述的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，所述通过所述低分辨率图像(LR)与高分辨率图像(HR)对构建训练数据集，具体为：采用128×128大小的掩模从LR图像中裁剪图像块，同时在HR图像中对应位置裁剪128S×128S大小的图像块，其中S表示待超分辨倍数或下采样倍数，裁剪图像块的位置为随机位置，裁剪后的LR-HR图像对经过不同角度的旋转和对称，获得增强的LR-HR训练数据集。
4.根据权利要求3所述的基于膨胀卷积金字塔与瓶颈网络的零样本超分辨率重建方法，其特征在于，所述根据插值方法对所述LR图像块进行上采样，获得与HR图像块的尺寸相同的上采样后的LR图像块，具体为：插值方法采用双三次样条插值，插值基函数为三次B样条，插值后的LR图像块大小与HR图像块大小一致。
5.根据权利要求4所述的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，所述膨胀卷积金字塔模块由三部分组成：降维模块、分割转换模块和特征融合模块；所述降维模块为1×1卷积模块，其作用为将输入特征图降维，假设输入特征图为m×n×M，其中m，n表示单张特征图的长和宽，M表示特征图的数量，也即维数，后面分割转换模块的并行分支有K个，则所述1×1卷积模块为1×1×d的卷积核，即共有d个1×1的卷积核，其中d＝M/K，原M维的特征图经过降维模块后，输出为d维的特征图；所述分割转换模块为K个并行分支，每个分支的输入均为所述d维特征图，每个分支的卷积操作均为膨胀卷积，不同分支的膨胀系数r不同，膨胀卷积取特征图元素间隔为r-1该模块输出为K个d维的特征图；所述特征融合模块为若干个不同的加法模块与联接模块，其输入为K个d为的特征图，输出结果为M(M＝K×d)维特征图。
6.根据权利要求5所述的基于膨胀卷积金字塔与瓶颈网络的零样本超分辨率重建方法，其特征在于，所述瓶颈模块由卷积块和跳跃连接两个分支组成；所述卷积块由1×1、3×3和1×1三个不同的卷积层组成，其中第一个1×1的卷积层负责将输入特征图降维，3×3卷积层负责进一步的特征提取，第二个1×1的卷积层负责将特征图扩展维度；所述跳跃连接为所述瓶颈模块由输入到输出的连接，中间经过一个1×1的卷积层，用以匹配特征维度。
7.根据权利要求6所述的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，所述将所述上采样后的LR图像块与HR图像块输入膨胀卷积金字塔与瓶颈网络(ESP-BNet)进行训练，具体步骤为：
(7a)从所述LR-HR图像块训练集中随机选取若干图像对块，其中LR图像块大小为128×128，HR图像块为128S×128S，S超分辨率尺度参数；
(7b)将所述LR图像块通过双三次样条插值扩展为128S×128S大小的图像块，将之送入ESP-BNet，同时将LR图像块对应的HR图像块作为训练标签；
(7c)在ESP-BNet中，经过一次前向传播，得到初次超分结果图，将之与HR图像标签做比较，计算损失函数，损失函数采用L1损失，计算公式如式(1)所示：
其中，L(·)表示损失函数；θ表示ESP-BNet的输入参量，为一组参数数值；N表示图像块中的像素个数，即128S×128S；HESP-B(·)表示ESP-BNet网络等效函数；LRin表示输入的LR图像块，HRtest表示对应的HR图像块标签，即原始图像中对应位置的图像块；
(7d)将损失函数反向传播，利用随机梯度下降的优化策略更新ESP-BNet的网络参数，用以最小化损失函数；
(7e)重复(7a)～(7d)，重复训练迭代直到最大训练次数。
8.根据权利要求7所述的基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法，其特征在于，所述将所述待超分辨率处理的图像输入所述适配训练好参数的膨胀卷积金字塔与瓶颈网络，获得超分辨后的结果图，具体为：将待超分辨处理的图像输入训练好的ESP-BNet，其中ESP-BNet已移除第一层限制128×128输入的输入层，而直接将原始图像输入该神经网络，执行一次前向传播，即可得到超分辨后的结果图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466399.8A CN111652804B (zh) | 2020-05-28 | 2020-05-28 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010466399.8A CN111652804B (zh) | 2020-05-28 | 2020-05-28 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652804A true CN111652804A (zh) | 2020-09-11 |
| CN111652804B CN111652804B (zh) | 2023-04-07 |
Family
ID=72346920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010466399.8A Active CN111652804B (zh) | 2020-05-28 | 2020-05-28 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652804B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233033A (zh) * | 2020-10-19 | 2021-01-15 | 中南民族大学 | 解析先验融合的渐进高倍人脸超分辨率系统及其方法 |
| CN113240583A (zh) * | 2021-04-13 | 2021-08-10 | 浙江大学 | 一种基于卷积核预测的图像超分辨方法 |
| CN113506215A (zh) * | 2021-06-22 | 2021-10-15 | 中国公路工程咨询集团有限公司 | 基于宽激活的超分辨图像重建方法、装置及电子设备 |
| CN113822805A (zh) * | 2021-10-13 | 2021-12-21 | 柚皮(重庆)科技有限公司 | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2823460A2 (en) * | 2012-03-05 | 2015-01-14 | Thomson Licensing | Method and apparatus for performing hierarchical super-resolution of an input image |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
-
2020
- 2020-05-28 CN CN202010466399.8A patent/CN111652804B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2823460A2 (en) * | 2012-03-05 | 2015-01-14 | Thomson Licensing | Method and apparatus for performing hierarchical super-resolution of an input image |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
| CN110473144A (zh) * | 2019-08-07 | 2019-11-19 | 南京信息工程大学 | 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 向文;张灵;陈云华;姬秋敏;: "结合结构自相似性和卷积网络的单幅图像超分辨率" * |
| 陈书贞;解小会;杨郁池;练秋生;: "利用多尺度卷积神经网络的图像超分辨率算法" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233033A (zh) * | 2020-10-19 | 2021-01-15 | 中南民族大学 | 解析先验融合的渐进高倍人脸超分辨率系统及其方法 |
| CN113240583A (zh) * | 2021-04-13 | 2021-08-10 | 浙江大学 | 一种基于卷积核预测的图像超分辨方法 |
| CN113240583B (zh) * | 2021-04-13 | 2022-09-16 | 浙江大学 | 一种基于卷积核预测的图像超分辨方法 |
| CN113506215A (zh) * | 2021-06-22 | 2021-10-15 | 中国公路工程咨询集团有限公司 | 基于宽激活的超分辨图像重建方法、装置及电子设备 |
| CN113506215B (zh) * | 2021-06-22 | 2023-07-04 | 中国公路工程咨询集团有限公司 | 基于宽激活的超分辨图像重建方法、装置及电子设备 |
| CN113902617A (zh) * | 2021-09-27 | 2022-01-07 | 中山大学·深圳 | 基于参考图像的超分辨率方法、装置、设备及介质 |
| CN113822805A (zh) * | 2021-10-13 | 2021-12-21 | 柚皮(重庆)科技有限公司 | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652804B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652804B (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
| CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
| Qin et al. | Multi-scale feature fusion residual network for single image super-resolution | |
| CN111047515B (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN108475415B (zh) | 用于图像处理的方法和系统 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
| CN109685716B (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN112037131A (zh) | 一种基于生成对抗网络的单图像超分辨率重建方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN112699844A (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
| Xu et al. | Joint demosaicing and super-resolution (JDSR): Network design and perceptual optimization | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN115829834A (zh) | 基于半耦合深度卷积字典学习的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |