CN112508779A - 一种基于门控多反馈网络的图像超分辨率重构方法 - Google Patents
一种基于门控多反馈网络的图像超分辨率重构方法 Download PDFInfo
- Publication number
- CN112508779A CN112508779A CN201910869419.3A CN201910869419A CN112508779A CN 112508779 A CN112508779 A CN 112508779A CN 201910869419 A CN201910869419 A CN 201910869419A CN 112508779 A CN112508779 A CN 112508779A
- Authority
- CN
- China
- Prior art keywords
- feedback
- level
- low
- features
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 230000008713 feedback mechanism Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种门控多反馈网络的图像超分辨率重构方法，包括以下步骤：(1)初始浅层特征提取；(2)经过多个级联的RDB以提取分层级的特征；(3)将提取到的分层级特征建立反馈；(4)利用多重反馈重建下一次迭代的网络(5)利用损失函数优化网络参数。
Description
技术领域
本发明涉及一种基于门控多反馈网络的图像超分辨率重构方法，属于图像处理领域。
背景技术
单图像超分辨率重构旨在通过低分辨率图像重建高分辨率图像。近年来，深度学习使得图像超分辨率重构的研究更加深入。然而，几乎所有基于深度学习的图像超分辨率重构网络都是完全前馈的：特征信息仅从网络的较浅层流向较深层，随后再从顶层提取的高级特征直接用于图像超分辨率重构。对于这些前馈网络，因为网络较浅层中图像的感受野小于网络深层中的感受野，网络浅层不能将有价值的上下文信息考虑在内，这个缺点在一定程度上阻碍了网路模型的重建能力。深度网络中的反馈机制旨在通过将高级特征传播到浅层来改进低级特征，在高级信息的帮助下，低级特征变得更具代表性和拥有更多的信息量。反馈机制已被广泛利用在许多高级视觉任务中，但很少用于图像超分辨率重构。基于以上考虑，我们提出了一种采用门控多反馈网络的图像超分辨率重构方法。我们采用多个反馈连接将多个高级特征传输到网络浅层。但过多的高级特征会造成冗余因此，我们设计了门控反馈模块自适应地选择增强有用的高级信息，从而改进低级特征。由于更多有价值的信息从高级特征传入浅层，使得低级特征变得更具代表性，这将从根本上提高了网络的重建能力。
反馈机制将更多具代表性和信息从网络的深层传入到浅层，使低级特征可以有效提取到更多高级信息，其已被广泛地用于各种计算机视觉任务中。但是这些网络中的大多数反馈连接都是单对单的，这意味着只有单一最高级别的特征才会传输到网络最浅层。因此，我们需要设计一种新的反馈网络应用于图像超分辨率。
近年的研究中，处理图像超分辨率重构的深度学习网络的输入图像从插值的低像素图像变为原始低像素图像，这样做可使由插值操作引起的负面效果得到了有效缓解。各种跳跃连接的应用似的网络可以更一步加深，从而获得了更好的重建性能。研究还表明循环结构可以有效地减少网络参数，它一直广泛应用于图像超分辨率重构。我们提出的门控多反馈网络方法使用高级特征来丰富，通过使用反馈连接来表示低级特征。
发明内容
本发明的目的在于为了处理图像超分辨率重构问题提供一种新的门控反馈网络的方法。
本发明通过以下技术方案来实现上述目的：
本发明所述方法包括以下步骤：
(1)初始浅层特征提取
(2)经过多个级联的RDB以提取分层级的特征
(3)将提取到的分层级特征建立反馈
(4)利用多重反馈重建下一次迭代的网络
(5)利用损失函数优化网络参数
上述方法的基本原理如下：
门控多反馈网络方法使用了多重反馈连接传播层级的高级特征，并用这些高级特征来优化低级特征。在大的感受野捕获的高级特征拥有更多上下文的背景信息，这些信息正是低级特征所缺少的。将这些有价值的上下文信息反馈到网络浅层，使低级特征变得更具代表性，图像重建性能在本质上得到改善。
在门控多反馈网络方法中的门控反馈模块从多个反馈到下一次迭代中的高级特征中自适应选择有效信息，进一步增强精炼低级特征。由于只允许有效信息通过，高效特征之间的冗余信息被有效地消除，该步骤使低级特征更为翔实。
具体地，所述步骤(1)中，给定低分辨率图像ILR作为第t次迭代的输入，申请两个卷积层提取初始的低级特征
第一层和第二层分别使用3×3和1×1的卷积核，
通过公式(1)获得：
所述步骤(2)中，在子网络中堆叠多个RDB将可以提供更多不同大小的感受野，从而形成更好的提取特征的层次结构。这种丰富的不同层级的特征更好协助我们改进低级特征。每个细化过程都是在一个RDB之前放置一组由反馈连接组成的门控反馈模块来完成。假设我们在每次迭代级联B组RDB，最后一个在LR空间中的高级特征
可以通过公式(2)获得：
所述步骤(3)中，通过多组反馈连接实现两个相邻迭代中的子网络之间的通信。在最浅层RDB之前的门控反馈模块接收反馈连接，并使用选定的高级信息进一步细化低级特征。门控反馈模块从上一次迭代中多个高级特征提取高级信息，利用多重反馈引入下一次迭代中，以细化从浅层的低级特征。一个门控反馈模块由门单元和细化单元组成。门单元从多个高级特征中自适应地选择和增强有用的高级信息。细化单元使用所选的有意义的高级信息来细化低级特征，并进一步将精炼的低级特征传送到之后的RDB块。我们选择最浅层RDB的输入作为低级特征需要进行细化，在此放置门控反馈模块，并且从上次迭代中选择多个深RDB的输出作为要进行的高级特征连接到门控反馈模块。深层的RDB可以提取低像素空间中最具代表性的信息，这有利于初始低级特征的细化过程。我们采用反馈连接将多个从深层提取的高级特征传入最浅层，反馈连接由一个门控反馈模块处理。
所述步骤(4)中，在重建块中，提取到的高级特征首先使用反卷积层升维。然后，使用3×3大小的卷积层恢复残差图像。最后，第t个次迭代中将恢复的残差图像与插值低分辨率图像组合，重建高分辨率图像
数学公式重建块的表示表示为公式(3)：
所述步骤(5)中，门控多反馈网络方法的T次迭代展开中，我们可以获得T张SR图像。那么就存在T张高分辨率图像作为每个子网络的重建目标。我们采纳L1损失函数优化网络，损失函数可以表示为公式(4):
让我们将SM＝{1,…,M-1,M}表示为最浅M个RDBs的选定索引的集合，此集合输入被视为低级特征。DN＝{N,N+1,…,B-1,B}作为最深层B个RDB的选定索引集，其输出用于优化这些低级特征。在第t次迭代中，第b个RDB的输出可以通过公式(5)获得：
HRDB,b(·)and HRU,b(·)分别代表在第b个门控反馈模块中的第b个RDB和细化单元的特征。
指
and
的串联，
指从多个高级别特征中选择和增强的高级信息流入第b个门控反馈模块的特征。这些高级特征是从深层的RDB中提取的，然后由一组反馈连接进行。因此，被选择和增强的高级信息
可由公式(6)得到：
HGU,b表示第b个门控反馈模块中门单元的特征。基于多个级联RDB之间的相对层次关系，公式6表示第b个门控反馈模块仅接收上一个迭代中索引等于或大于b的RDB的输出。我们分别使用两个1×1大小的卷积层作为第b个门控反馈模块中的门控单元和细化单元。
根据公式(5)和公式(6)，每次迭代的门控反馈模块的数量(第一次迭代除外)和两个相邻迭代训练之间的反馈连接组的数量等于M，并且每组中的反馈连接的数量由N的值确定，M和N的值可以调整，选定的索引集SM和DN控制需要多少低级特征以及高级特征。在本方法中，我们选定M＝1，N＝4，B＝7，从而完成多到一的多反馈连接。
本发明的有益效果在于：
本发明提出一种门控多反馈网络的图像超分辨率算法。它通过回传多层次的高级特征到浅层，以丰富了低级特征的信息量。门控反馈模块有效地选择和增强有意义的高级信息来自多组反馈连接，并使用选定和增强的高级别用于优化低级功能的信息。广泛实验分析证明了我们提出的多重性的优越性反馈连接。门控多反馈网络与现有技术的图像超分辨率重构方法相比，实现了更好的重建性能。
附图说明
图1是本发明实施例中门控多反馈网络的框架；
图2是本发明实施例中平均特征图的可视化结果；
图3是本发明实施例中门控多反馈网络实现图像超分辨率重构的定性结果；
具体实施方式
下面结合具体实施例和附图对本发明作进一步说明：
实施例：
为了使本发明所述图像超分辨率重构方法更加便于理解和接近于真实应用，下面从原始的低分辨率图像开始到图像超分辨重建完成为止进行整个流程的整体说明，其中包括本发明的核心修复方法：
(1)参数设置。将展开的次数设置为T＝2，并且在每次迭代的子网络中级联7个RDB。每个RDB的残差比例因子设置为0.2。第一层和子网的最后一层中的卷积内核的数量分别设置为C0和Cout。因为我们主要关注RGB图像的重建，所以需将Cout设置为3。其他层中的卷积核的数量设置为C。在提出的门控多反馈网络方法中，除了每个RDB和重建块的最后一个卷积层，所有卷积和反卷积层之后都是PReLU激活函数。在重建块中，使用双线性内核来内插低分辨率图像。
(2)选择数据集和评估指标。我们使用来自DIV2K的800张图像进行训练，并使用随机缩放、旋转和翻转来增强训练图像。并使用Set5数据集中的图像进行验证。具体地，首先使用Bicubic方式下采样生成LR图像，然后利用转换的YCbCr空间的Y通道(即亮度)上的PSNR值来评估超分辨率重建效果。
(3)训练设置。对于每次迭代，将16个尺寸为48×48的RGB低分辨率图像送进网络。使用‘He’的方法初始化参数。‘Adam’方法用于优化参数，初始学习率为2×10^-4。每2×10^5次迭代学习率减半。
(4)进行反馈连接和门控反馈模块方面的实验。实验中，第一层和其他层的卷积核Co和C的数量分别设置为128和32。每个模型在2×10^5次迭代下进行训练，并在Urban100数据集上进行评估，比例因子为4。
(5)多对单反馈连接旨在将多个高级特征传输到第一个RDB。在索引集SM和DN中分别设置M＝1，N＝4，B＝7。
上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。
Claims (2)
1.门控多反馈网络方法，其特征在于：包括以下步骤：
(1)初始浅层特征提取；
(2)经过多个级联的RDB以提取分层级的特征；
(3)将提取到的分层级特征建立反馈；
(4)利用多重反馈重建下一次迭代的网络；
(5)利用损失函数优化网络参数完成训练。
2.根据权利要求1所述的门控多反馈网络方法，其特征在于：
a.所述步骤(1)中，给定低分辨率图像ILR作为第t次迭代的输入，申请两个卷积层提取初始的低级特征
第一层和第二层分别使用3×3和1×1的卷积核，
通过公式
获得；
b.所述步骤(2)中，在子网络中堆叠多个RDB将可以提供更多不同大小的感受野，从而形成更好的提取特征的层次结构；这种丰富的不同层级的特征更好协助我们改进低级特征；每个细化过程都是在一个RDB之前放置一组由反馈连接组成的门控反馈模块来完成；假设我们在每次迭代级联B组RDB，最后一个在LR空间中的高级特征
可以通过公式
获得；
c.所述步骤(3)中，通过多组反馈连接实现两个相邻迭代中的子网络之间的通信；在最浅层RDB之前的门控反馈模块接收反馈连接，并使用选定的高级信息进一步细化低级特征；门控反馈模块从上一次迭代中多个高级特征提取高级信息，利用多重反馈引入下一次迭代中，以细化从浅层的低级特征；一个门控反馈模块由门单元和细化单元组成；门单元从多个高级特征中自适应地选择和增强有用的高级信息；细化单元使用所选的有意义的高级信息来细化低级特征，并进一步将精炼的低级特征传送到之后的RDB块；我们选择最浅层RDB的输入作为低级特征需要进行细化，在此放置门控反馈模块，并且从上次迭代中选择多个深RDB的输出作为要进行的高级特征连接到门控反馈模块；深层的RDB可以提取低像素空间中最具代表性的信息，这有利于初始低级特征的细化过程；我们采用反馈连接将多个从深层提取的高级特征传入最浅层，反馈连接由一个门控反馈模块处理；
d.所述步骤(4)中，在重建块中提取到的高级特征首先使用反卷积层升维；然后，使用3×3大小的卷积层恢复残差图像；最后，第t个次迭代中将恢复的残差图像与插值低分辨率图像组合，重建高分辨率图像
重建块的数学公式表示为
H↑(ILR)代表重建块的功能，反卷积层和卷积层，以及插值核；
e.所述步骤(5)中，门控多反馈网络方法的T次迭代展开中，我们可以获得T张高分辨率的图像；那么就存在T张高分辨率图像作为每个子网络的重建目标；我们采纳L1损失函数优化网络，损失函数可以表示为公式
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910869419.3A CN112508779A (zh) | 2019-09-16 | 2019-09-16 | 一种基于门控多反馈网络的图像超分辨率重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910869419.3A CN112508779A (zh) | 2019-09-16 | 2019-09-16 | 一种基于门控多反馈网络的图像超分辨率重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508779A true CN112508779A (zh) | 2021-03-16 |
Family
ID=74923977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910869419.3A Pending CN112508779A (zh) | 2019-09-16 | 2019-09-16 | 一种基于门控多反馈网络的图像超分辨率重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508779A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101562703A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 用于在成像设备内执行基于触摸的调整的方法和装置 |
| CN105474235A (zh) * | 2013-06-28 | 2016-04-06 | 谷歌公司 | 比较使用连续扫描提取的卡数据 |
| CN106062211A (zh) * | 2013-12-15 | 2016-10-26 | 哈佛学院院长等 | 与光学超分辨率图案化相关的方法和组合物 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN109544448A (zh) * | 2018-11-09 | 2019-03-29 | 浙江工业大学 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
| CN109978763A (zh) * | 2019-03-01 | 2019-07-05 | 昆明理工大学 | 一种基于跳跃连接残差网络的图像超分辨率重建算法 |
-
2019
- 2019-09-16 CN CN201910869419.3A patent/CN112508779A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101562703A (zh) * | 2008-04-15 | 2009-10-21 | 索尼株式会社 | 用于在成像设备内执行基于触摸的调整的方法和装置 |
| CN105474235A (zh) * | 2013-06-28 | 2016-04-06 | 谷歌公司 | 比较使用连续扫描提取的卡数据 |
| CN106062211A (zh) * | 2013-12-15 | 2016-10-26 | 哈佛学院院长等 | 与光学超分辨率图案化相关的方法和组合物 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN109544448A (zh) * | 2018-11-09 | 2019-03-29 | 浙江工业大学 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
| CN109978763A (zh) * | 2019-03-01 | 2019-07-05 | 昆明理工大学 | 一种基于跳跃连接残差网络的图像超分辨率重建算法 |
Non-Patent Citations (1)
| Title |
|---|
| QILEI LI等: "Gated Multiple Feedback Network for Image Super-Resolution", 《ARXIV.ORG》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN108804397B (zh) | 一种基于少量目标字体的汉字字体转换生成的方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN113837946A (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
| Li et al. | Deep interleaved network for image super-resolution with asymmetric co-attention | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN111861886A (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| Yang et al. | Multilevel and multiscale network for single-image super-resolution | |
| CN116596764A (zh) | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 | |
| CN110288529B (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
| Wu et al. | Lightweight asymmetric convolutional distillation network for single image super-resolution | |
| Liu et al. | Multi-scale skip-connection network for image super-resolution | |
| CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
| Sun et al. | ESinGAN: Enhanced single-image GAN using pixel attention mechanism for image super-resolution | |
| CN117237190A (zh) | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 | |
| CN112508779A (zh) | 一种基于门控多反馈网络的图像超分辨率重构方法 | |
| CN109087247B (zh) | 一种对立体图像进行超分的方法 | |
| CN116434039A (zh) | 一种基于多尺度拆分注意力机制的目标检测方法 | |
| Zou et al. | LMSN: a lightweight multi-scale network for single image super-resolution | |
| CN113674151A (zh) | 一种基于深度神经网络的图像超分辨率重建方法 | |
| CN113436094A (zh) | 一种基于多视角注意力机制的灰度图像自动上色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210316 |