CN111402140A - 单张图像超分辨率重建系统及方法 - Google Patents

单张图像超分辨率重建系统及方法 Download PDF

Info

Publication number
CN111402140A
CN111402140A CN202010218624.6A CN202010218624A CN111402140A CN 111402140 A CN111402140 A CN 111402140A CN 202010218624 A CN202010218624 A CN 202010218624A CN 111402140 A CN111402140 A CN 111402140A
Authority
CN
China
Prior art keywords
resolution
image
network
convolutional
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010218624.6A
Other languages
English (en)
Other versions
CN111402140B (zh
Inventor
曹飞龙
陈白洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010218624.6A priority Critical patent/CN111402140B/zh
Publication of CN111402140A publication Critical patent/CN111402140A/zh
Application granted granted Critical
Publication of CN111402140B publication Critical patent/CN111402140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种单张图像超分辨率重建系统及方法，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。本发明实现了单张图像的超分辨率重建，复杂度低、效果好。

Description

单张图像超分辨率重建系统及方法
技术领域
本发明属于图像处理领域，特别涉及一种单张图像的超分辨率重建方法。
背景技术
单张图像超分辨率是计算机视觉领域的一个热门话题。它广泛应用于各个领域，包括人脸识别、卫星成像和医学成像等。超分辨率重建的目的是从给定的低分辨率图像中恢复高分辨率图像。然而，当上采样因子较大时，恢复图像中的高频信息就变得非常困难。因此，很有必要从低分辨率图像中收集更大范围内有用的上下文信息，以便捕获足够的信息来恢复高分辨率图像中的高频细节。
本发明主要关注的是基于学习的方法，这是近年来最流行的超分辨率重建方法。这种方法主要学习低分辨率图像和高分辨率图像之间的映射关系并且实现了较好的重建效果。
2014年Dong等人提出了一种具有三个卷积层的卷积神经网络 (SRCNN)，直接学习低分辨率图像和高分辨率图像之间的映射，与以前的方法相比，该方法具有更好的性能。然而，当网络层数加深时，网络的收敛速度变得很慢并且网络训练变得非常困难。为了克服SRCNN的局限性，Kim等人提出了一种非常深的网络(VDSR)，通过采用高学习率去提高收敛速度，同时采用残差学习和梯度裁剪的方式解决了梯度爆炸的问题。同时，Kim等人提出了一种深度递归卷积网络 (DRCN)去解决由于网络层数加深而引起的参数增加的问题，并且运用递归机制和跳跃连接去降低训练的复杂度。为了得到放大因子为8 的模型，Lai等人提出了一种名为LapSRN的网络，其在一个前馈过程中利用拉普拉斯金字塔去产生不同尺度的中间预测结果。而现存的基于卷积神经网络的方法没有提供如此的灵活性。为了减少参数，Lai等人在LapSRN的基础上做了进一步改进，提出了MS-LapSRN，其通过使用递归结构达到了减少参数的目的并且提高了重建性能。
然而，现有技术中，对于单张图像的超分辨率重建，仍然较为复杂，重建效果不佳。
发明内容
本发明的目的是提供一种单张图像的超分辨率重建系统及方法，降低了重建复杂度和提升了重建效果。
为了实现上述目的，本发明提供了一种单张图像的超分辨率重建方法，包括以下步骤：
采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；
两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；
重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；
将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。
可选的，在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64 个大小为3×3的卷积核；
分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：
L1＝f1(x),L2＝f2(L1)
其中，f1,f2为特征提取函数，L1,L2分别为第一个卷积层和第二个卷积层提取的特征。
可选的，级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为的卷积核来提取粗到细的特征，第七个卷积层使用64 个大小为的卷积核来去除冗余的信息。
可选的，对于两个级联的细提取块，该过程表示为：
L3＝F1(L2),L4＝F2(L3)
其中F1,F2分别代表第一个细提取块和第二个细提取块的映射函数； L3,L4分别为第一个细提取块和第二个细提取块得到的特征图；特别地，对于每一个细提取块；它由六个3×3的卷积层和一个1×1的卷积层构成；在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：
m1-m2＝m3-m1＝m4-m5＝m6-m4
其中m3＝m4；记第三个卷积层的输出为O3；划分出O3特征图的
Figure BDA0002425290570000031
维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程表示为：
T1＝C(S(O3,1/p),L2)
其中S为划分操作，C为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作；记第六个卷积层的输出为O6，将前面融合的结果与第六层的输出相加，该过程表示为：
T2＝O6+T1
接着，通过一个1×1的卷积层去除冗余的信息从而获得了L3：
L3＝fk(T2),k＝1,2,
其中f1,f2分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。
可选的，反卷积操作被用来恢复特征并获得残差图像；该过程为：
D1＝R1(L3),D2＝R2(L4)
其中R1,R2为反卷积操作，D1,D2是重建网络的输出。
可选的，将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y；通过以下过程实现：
y＝R1(L3)+R2(L4)+B(x)
其中，B为双三次插值操作。
本发明还提供了一种单张图像超分辨率重建系统，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。
与现有技术相比，本发明的有益效果在于：
本发明利用了嵌入网络、级联的细提取块和重建网络，利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像，考虑到残差学习和级联结构在超分辨率中可以减轻直接重建图像的复杂度。本发明实现了单张图像的超分辨率重建，复杂度低、效果好。
附图说明
图1a放大倍数为2时的低分辨率图像；
图1b放大倍数为2时本发明重建的高分辨率图像；
图2a放大倍数为3时的低分辨率图像；
图2b放大倍数为3时本发明重建的高分辨率图像；
图3为本发明超分辨率图像重建方法总体流程示意图；
图4为本发明超分辨率图像重建算方中细提取块的示意图，其中数字代表特征图的维度。
具体实施方式
本发明利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像。
本发明的基本思路为：
首先，使用两个卷积层，用于从原始的低分辨率图像中提取特征；
其次，两个级联的细提取块通过一种粗到细的方式从低分辨率特征中重建高分辨率残差特征；
再次，重建的高分辨率特征被送到重建网络中通过反卷积的操作得到高分辨率残差图像；
最后，上采样的低分辨率图像和高分辨率残差图像经过一个求和操作得到最终的高分辨率图像；
步骤一：
在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征。考虑到宽卷积可能会增加计算的复杂度，并且第二个卷积层的结果要和细提取块的结果相加，所以，第二层中我们使用64个大小为3×3的卷积核。
分别定义网络的输入图像为x，网络的输出图像为y。对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：
L1＝f1(x),L2＝f2(L1)
其中，f1,f2为特征提取函数，L1,L2分别为第一个卷积层和第二个卷积层提取的特征。
步骤二：
级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为3×3的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为 1×1的卷积核来去除冗余的信息。
对于两个级联的细提取块，该过程可以表示为：
L3＝F1(L2),L4＝F2(L3)
其中F1,F2分别代表第一个细提取块和第二个细提取块的映射函数。 L3,L4分别为第一个细提取块和第二个细提取块得到的特征图。特别地，对于每一个细提取块，它由六个3×3的卷积层和一个1×1的卷积层构成，其结构展示于图4。在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：
m1-m2＝m3-m1＝m4-m5＝m6-m4
其中m3＝m4。记第三个卷积层的输出为O3。接着，划分出O3特征图的
Figure BDA0002425290570000061
维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程可以表示为：
T1＝C(S(O3,1/p),L2)
其中S为划分操作，C为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作。记第六个卷积层的输出为O6，将前面融合的结果与第六层的输出相加，该过程表示为：
T2＝O6+T1
接着，通过一个1×1的卷积层去除冗余的信息从而获得了L3：
L3＝fk(T2),k＝1,2,
其中f1,f2分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。
步骤三：
由于在卷积的过程中，大量有用的信息被丢失，因此，反卷积操作被用来恢复特征并获得残差图像。该过程为：
D1＝R1(L3),D2＝R2(L4)
其中R1,R2为反卷积操作，D1,D2是重建网络的输出。
步骤四：
将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y。
y＝R1(L3)+R2(L4)+B(x)
其中，B为双三次插值操作。
如图1a所示，是放大倍数为2时的低分辨率图像，图1b所示，是用本发明重建的高分辨率图像。图2a所示，是放大倍数为3时的低分辨率图像，图2b所示，是用本发明重建的高分辨率图像。

Claims (7)

1.一种单张图像超分辨率重建方法，其特征在于：包括如下步骤：
采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；
两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；
重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；
将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。
2.根据权利要求1所述的单张图像超分辨率重建方法，其特征在于：在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64个大小为3×3的卷积核；
分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：
L1＝f1(x),L2＝f2(L1)
其中，f1,f2为特征提取函数，L1,L2分别为第一个卷积层和第二个卷积层提取的特征。
3.根据权利要求1所述的单张图像超分辨率重建方法，其特征在于：级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为的卷积核来去除冗余的信息。
4.根据权利要求3所述的单张图像超分辨率重建方法，其特征在于：对于两个级联的细提取块，该过程表示为：
L3＝F1(L2),L4＝F2(L3)
其中F1,F2分别代表第一个细提取块和第二个细提取块的映射函数；L3,L4分别为第一个细提取块和第二个细提取块得到的特征图；特别地，对于每一个细提取块；它由六个3×3的卷积层和一个1×1的卷积层构成；在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：
m1-m2＝m3-m1＝m4-m5＝m6-m4
其中m3＝m4；记第三个卷积层的输出为O3；划分出O3特征图的
Figure FDA0002425290560000021
维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程表示为：
T1＝C(S(O3,1/p),L2)
其中S为划分操作，C为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作；记第六个卷积层的输出为O6，将前面融合的结果与第六层的输出相加，该过程表示为：
T2＝O6+T1
接着，通过一个1×1的卷积层去除冗余的信息从而获得了L3：
L3＝fk(T2),k＝1,2,
其中f1,f2分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。
5.根据权利要求2、3和4所述的单张图像超分辨率重建方法，其特征在于：反卷积操作被用来恢复特征并获得残差图像；该过程为：D1＝R1(L3),D2＝R2(L4)
其中R1,R2为反卷积操作，D1,D2是重建网络的输出。
6.根据权利要求5所述的单张图像超分辨率重建方法，其特征在于：将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y；通过以下过程实现：
y＝R1(L3)+R2(L4)+B(x)
其中，B为双三次插值操作。
7.一种单张图像超分辨率重建系统，其特征在于：包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。
CN202010218624.6A 2020-03-25 2020-03-25 单张图像超分辨率重建系统及方法 Active CN111402140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010218624.6A CN111402140B (zh) 2020-03-25 2020-03-25 单张图像超分辨率重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010218624.6A CN111402140B (zh) 2020-03-25 2020-03-25 单张图像超分辨率重建系统及方法

Publications (2)

Publication Number Publication Date
CN111402140A true CN111402140A (zh) 2020-07-10
CN111402140B CN111402140B (zh) 2023-08-22

Family

ID=71433016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010218624.6A Active CN111402140B (zh) 2020-03-25 2020-03-25 单张图像超分辨率重建系统及方法

Country Status (1)

Country Link
CN (1) CN111402140B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116527A (zh) * 2020-09-09 2020-12-22 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN113012046A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法
US20190373293A1 (en) * 2019-08-19 2019-12-05 Intel Corporation Visual quality optimized video compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
US20190373293A1 (en) * 2019-08-19 2019-12-05 Intel Corporation Visual quality optimized video compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴嘉昕等: "《基于复合卷积神经网络的图像超分辨率算法》" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116527A (zh) * 2020-09-09 2020-12-22 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN112116527B (zh) * 2020-09-09 2024-02-23 北京航空航天大学杭州创新研究院 基于级联网络框架的图像超分辨率方法、级联网络
CN113012046A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法
CN113012046B (zh) * 2021-03-22 2022-12-16 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法

Also Published As

Publication number Publication date
CN111402140B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN111161150B (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
CN109118432B (zh) 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN110689483B (zh) 基于深度残差网络的图像超分辨率重建方法及存储介质
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN111402128A (zh) 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN112949636B (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
Hui et al. Two-stage convolutional network for image super-resolution
CN111402140A (zh) 单张图像超分辨率重建系统及方法
CN113222818A (zh) 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
Li et al. DLGSANet: lightweight dynamic local and global self-attention networks for image super-resolution
CN115984747A (zh) 一种基于动态滤波器的视频显著性目标检测方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN114359044A (zh) 一种基于参考图像的图像超分辨率系统
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant