CN112070702B - 多尺度残差特征判别增强的图像超分辨率重构系统及方法 - Google Patents
多尺度残差特征判别增强的图像超分辨率重构系统及方法 Download PDFInfo
- Publication number
- CN112070702B CN112070702B CN202010958361.2A CN202010958361A CN112070702B CN 112070702 B CN112070702 B CN 112070702B CN 202010958361 A CN202010958361 A CN 202010958361A CN 112070702 B CN112070702 B CN 112070702B
- Authority
- CN
- China
- Prior art keywords
- feature
- scale
- module
- level
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 67
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 239000010410 layer Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 239000002356 single layer Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 9
- 238000002059 diagnostic imaging Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多尺度残差特征判别增强的图像超分辨率重构系统及方法，涉及图像复原技术领域。本系统是：低分辨率图像（A）、浅层特征提取模块（10）、多级残差特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）、上采样重构模块（50）和高分辨率图像（B）依次交互，浅层特征提取模块（10）分别与多级特征融合模块（30）和加法器模块（40）交互。本方法是：①浅层特征提取；②多尺度残差特征判别增强的多级残差特征提取；③多级特征融合；④深度特征生成；⑤高分辨率图像生成。本发明能在得到高质量超分辨率重构图像的同时，极好地减低系统的实现复杂度，降低系统训练难度，减少计算时间；适用于视频监控、医学成像等应用。
Description
技术领域
本发明涉及图像复原技术领域，尤其涉及一种多尺度残差特征判别增强的图像超分辨率重构系统及其方法；本发明基于深度卷积神经网络，是一种利用多尺度特征判别增强技术的单帧图像超分辨率重构系统及其方法。
背景技术
单帧图像超分辨率旨在由观测的单帧低分辨率图像重建原始高分辨率图像，其在医学成像、数字摄影和视频监控等领域具有广泛应用。传统的单帧图像超分辨率方法可以为基于插值的方法、基于模型的方法和基于学习的方法。近年来，随着深度学习理论在图像分类识别领域的成功应用，基于深度卷积神经网络的图像超分辨率重构方法研究也得到广泛关注。【参见文献：[1]Dong C,Loy C C,He K,et al.Image super-resolution usingdeep convolutional networks[J].IEEE transactions on pattern analysis andmachine intelligence,2016,38(2):295-307；[2]Tai Y,Yang J,Liu X,et al.Memnet:Apersistent memory network for image restoration[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2017:4539-4547；[3]Zhang Y,Tian Y,Kong Y,et al.Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018:2472-2481.】。
比较全连接神经网络，卷积神经网络能够大大减少网络参数，因此能够极大降低网络复杂度，但是较小尺寸的卷积核却限制了卷积运算的感受野，一定程度影响了卷积神经网络的系统性能。通过引入残差学习和增加网路深度，基于深度卷积神经网络的超分辨率图像重构质量得到了有效提升。【参见文献：[4]Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2016:1646-1654；[5]Lim B,Son S,Kim H,et al.Enhanced deep residual networks for singleimage super-resolution[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops.2017:136-144.】
然而，随着网络深度的增加，必然带来卷积神经网络的训练难度的增加，并会导致系统性能的下降。多尺度网络结构能够有益于在减少网络深度的同时得到系统性能的较好保持，既可以有效降低模型复杂度，又可以加速模型训练。【参见文献：[6]Li J,Fang F,MeiK,et al.Multi-scale Residual Network for Image Super-Resolution:15th EuropeanConference,Munich,Germany,September 8-14,2018,Proceedings,Part VIII[C]//European Conference on Computer Vision.Springer,Cham,2018；[7]Xinxia,Fan,Yanhua,等.Compressed multi-scale feature fusion network for single imagesuper-resolution[J].Signal Processing the Official Publication of theEuropean Association for Signal Processing,2018】。但是，以往基于多尺度卷积神经网络的超分辨率重构，由于忽略了不同尺度信息不仅存在冗余，而且在影响重构质量方面存在重要性差异，因此较大程度上影响了系统复杂度和最后重构图像质量。
发明内容
本发明的目的就在于克服上述背景技术的缺点和不足，提供一种多尺度残差特征判别增强的图像超分辨率重构系统及方法，在保障图像高质量超分辨率重构的同时，有效降低系统实现的复杂度。
本发明的技术思路是：
首先采用单层卷积神经网络对输入的低分辨率图像进行变换，得到其初始的浅层特征表示；然后，利用多级多尺度残差特征判别增强网络得到输入的低分辨率图像的多级深层残差特征表示，并通过对多层特征表示的融合及残差学习，得到输入的低分辨率图像的深度特征表示；最后利用单层卷积网络对深度特征表示进行上采样变换，得到图像的高分辨率重构。本发明通过采用多尺度特征提取技术有效减少网络深度与复杂度，并通过采用多尺度特征的判别融合有效提升了表示能力，保障了图像的重构质量。
一、利用多尺度残差特征判别增强的单图像超分辨率重构系统(简称系统)
本系统包括浅层特征提取模块、多级残差特征提取模块、多级特征融合模块、加法器模块和上采样重构模块；
低分辨率图像、浅层特征提取模块、多级残差特征提取模块、多级特征融合模块、加法器模块、上采样重构模块和高分辨率图像依次交互，浅层特征提取模块分别与多级特征融合模块和加法器模块交互。
二、利用多尺度残差特征判别增强的的单图像超分辨率重构方法(简称方法)
本方法包括下列步骤：
①浅层特征提取
浅层特征提取模块接收输入的低分辨率图像，采用单层的卷积神经网络，生成低分辨率图像的初始特征F0；
②多尺度残差特征判别增强的多级残差特征提取
多级残差特征提取模块内的第1多尺度特征判别增强单元，采用多层多尺度卷积神经网络，首先接收初始特征F0，通过两组不同尺度的卷积运算单元生成多尺度特征F11和F12，然后通过卷积运算提取判别特征H1,最后根据判别特征H1将尺度1特征F11和尺度2特征F12进行多尺度特征融合，得到新的增强特征表示F1；然后，第2多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征表示F1，生成新的特征表示F2；接下来，第3多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征F2，生成新的特征表示F3；照此执行，最后的第G多尺度特征判别增强单元接收FG-1，生成新的特征表示FG；
③多级特征融合
多级特征融合模块接收输入的低分辨率图像的浅层特征表示F0、以及多级多尺度特征判别增强表示F1、F2、…、FG，采用多层卷积神经网络对输入的特征进行融合变换，生成输入的低分辨率图像的深度残差特征表示FR；
④深度特征生成
加法器模块对接收的低分辨率图像的浅层特征F0和深度残差特征FR进行求和运算，产生低分辨率图像的深度特征FD；
⑤高分辨图像生成
上采样重构模块接收加法器模块送入的低分辨率图像的深度特征FD，采用上采样卷积神经网络进行图像的上采样重构，生成高分辨率图像输出。
工作机理：
本发明的实现分为两个阶段：
第一阶段，采用浅层特征提取模块、多级残差特征提取模块、多级特征融合模块和加法器模块，由已知的低分辨率图像估计高分辨率图像的深度特征表示；
第二阶段，利用上采样重构模块，通过亚像素上采样重构，得到高分辨率图像的重构结果。
与现有技术相比，本发明具有下列优点和积极效果：
本发明能在得到高质量超分辨率重构图像的同时，极好地减低系统的实现复杂度，降低系统训练难度，减少计算时间；适用于视频监控、医学成像等应用。
附图说明
图1是本系统的结构方框图；
图1中：
10—浅层特征提取模块(SFE)；
20—多级残差特征提取模块，
21—第1多尺度特征判别增强单元(MsFDE1单元)，
22—第2多尺度特征判别增强单元(MsFDE2单元)，
……
2G—第G多尺度特征判别增强单元(MsFDEG单元)，
G是自然数，1≤G≤12。
30—多级特征融合模块；
40—加法器模块；
50—上采样重构模块；
A—低分辨率图像；
B—高分辨率图像。
图2是本系统的多尺度特征判别增强单元的内部结构框图；
图2中：
201—尺度1特征生成单元；
202—尺度2特征生成单元；
203—判别特征提取单元；
204—多尺度特征融合单元。
图3是本方法与同类方法的图像重构性能比较表；
图4是本方法与同类方法的系统包含参数的规模比较表。
具体实施方式
下面结合附图和实施例详细说明：
一、系统
1、总体
如图1，本系统包括浅层特征提取模块10、多级残差特征提取模块20、多级特征融合模块30、加法器模块40和上采样重构模块50；
低分辨率图像A、浅层特征提取模块10、多级残差特征提取模块20、多级特征融合模块30、加法器模块40、上采样重构模块50和高分辨率图像B依次交互，浅层特征提取模块10分别与多级特征融合模块30和加法器模块40交互。
详细地说：浅层特征提取模块10有一个输入端、两个输出端，多级残差特征提取模块20有一个输入端和G个输出端，多级特征融合模块30有G+1个输入端和一个输出端，加法器模块40有两个输入端和一个输出端，上采样重构模块50有一个输入端和一个输出端；
浅层特征提取模块10的第一输出端与多级残差特征提取模块20交互，浅层特征提取模块10的第二输出端分别与多级特征融合模块30和加法器模块40的一个输入端交互；
多级残差特征提取模块20的G个输出端与多级特征融合模块30的其余G个输入端交互；
浅层特征提取模块10的输入端为系统的输入端；
残差残差特征提取模块20的第1多尺度特征判别增强单元21、第2多尺度特征判别增强单元22……第G多尺度特征判别增强单元2G依次交互；
如图2，多尺度特征判别增强单元包括并行的尺度1特征生成单元201、尺度2特征生成单元202、判别特征提取单元203和多尺度特征融合单元204，尺度1特征生成单元201和尺度2特征生成单元202接收相同的输入，判别特征提取单元203的两个输入端分别与尺度1特征生成单元201和尺度2特征生成单元202的输出端交互，判别特征提取单元203的输出端与多尺度特征融合单元204的一个输入端交互，多尺度特征融合单元204的另外两个输入端分别与尺度1特征生成单元201和尺度2特征生成单元202的输出端交互；
上采样重构模块50的输出端为系统的输出端。
2、功能模块
1)浅层特征提取模块10
如图1，浅层特征提取模块10对输入的低分辨率图像A进行卷积运算，产生新的特征表示。
其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出结果按同样次序进行排列。
浅层特征提取模块10和其它模块之间的关系：
浅层特征提取模块10接收输入的低分辨率图像A，通过卷积运算，得到低分辨率图像的初始特征表示，分别送入多级残差特征提取模块20、多级特征融合模块30和加法器模块40。
2)多级残差特征提取模块20
如图1，多级残差特征提取模块20包括依次交互的第1、2……G多尺度特征判别增强单元21、22……2G，G是自然数，1≤G≤12。
多级残差特征提取模块(20)包含的G级多尺度特征判别增强单元，分别接收前一级特征生成单元的输出，通过多层的多尺度特征提取与判别增强，产生新的更高一级的图像特征表示；
如图2，多尺度特征判别增强单元包括并行的尺度1特征生成单元201、尺度2特征生成单元202、判别特征提取单元203和多尺度特征融合单元204，尺度1特征生成单元201和尺度2特征生成单元202接收相同的输入，判别特征提取单元203的两个输入端分别与尺度1特征生成单元201和尺度2特征生成单元202的输出端交互，判别特征提取单元203的输出端与多尺度特征融合单元204的一个输入端交互，多尺度特征融合单元204的另外两个输入端也分别与尺度1特征生成单元201和尺度2特征生成单元202的输出端交互；
多级残差特征提取模块20的工作流程是：模块内的第1多尺度特征判别增强单元，首先接收初始特征F0，并行的尺度1特征生成单元201和尺度2特征生成单元202分别采用不同尺度的卷积运算生成多尺度特征F11和F12，然后通过判别特征提取单元203利用卷积运算提取判别特征H1,最后利用多尺度特征融合单元204采用多层卷积运算根据判别特征H1对尺度1特征F11和尺度2特征F12进行多尺度特征融合，得到新的增强特征表示F1；然后，第2多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征表示F1，生成新的特征表示F2；接下来，第3多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征F2，生成新的特征表示F3；照此执行，最后的第G多尺度特征判别增强单元接收FG-1，生成新的特征表示FG；
3)多级特征融合模块30
多级特征融合模块30是将送入的(G+1)组输入的低分辨率图像的特征表示进行融合处理，得到与浅层特征表示的维数相同的输入的低分辨率图像的深度残差特征表示。
多级特征融合模块30和其它模块之间的关系：
多级特征融合模块30接收浅层特征提取模块10、多级残差特征提取模块20送入的低分辨率图像的浅层特征表示和多级残差特征表示，通过多层卷积神经网络，得到低分辨率图像的深度残差特征表示，送入加法器模块40。
4)加法器模块40
加法器模块40是将送入的图像的两路特征表示进行求和运算，产生输入的低分辨率图像的深度特征表示。
加法器模块40和其它模块之间的关系：
加法器模块40接收浅层特征提取模块10送入的浅层特征表示和多级特征融合模块30的深度残差特征表示，通过相加运算，得到低分辨率图像的深度特征表示，送入上采样重构模块50。
5)上采样重构模块50
上采样重构模块50是通过卷积运算和插值运算，将送入的低分辨率图像的深度特征表示进行变换，得到分辨率放大的高分辨率图像输出。
上采样重构模块50和其它模块之间的关系：
上采样重构模块50接收加法器模块40送入的低分辨率图像的深度特征表示，通过亚像素上采样卷积网络，得到高分辨率图像B的估计。
二、方法
本方法包括下列步骤：
①浅层特征提取模块10对接收的低分辨率图像A进行单层的卷积运算，得到低分辨率图像y的初始特征表示F0，数学公式表示为：
F0＝W0*y+b0,
其中：
W0为尺度为k×k×c×M的卷积滤波器，
*表示卷积运算，
b0为相应的偏置；
②多级残差特征提取模块20对接收的低分辨率图像y的浅层特征表示，采用多层卷积神经网络，进行多次多尺度特征判别增强变换，得到低分辨率图像y的多层残差特征表示F1、F2、…、FG，数学公式表示为：
Fi＝fMsFDE(Fi-1,Ws1,Ws2,Wd,Wmf),i＝1,2,…,G
其中：
Ws1和Ws2为所用尺度1特征生成卷积网络和尺度2特征生成卷积网络的参数,Wd和Wmf分别为判别特征提取卷积网络和多尺度特征融合卷积网络的参数；若令F11＝Ws1*Fi-1,F12＝Ws2*Fi-1,则有
H1＝Wd*[F11,F12]T
Fi＝Wmf*(H1⊙[F11,F12]T)
其中的*表示卷积运算符，⊙表示元素级点乘运算符。
③多级特征融合模块30接收低分辨率图像y的初始特征表示和多级残差特征表示，采用多层卷积神经网络进行融合变换，得到低分辨率图像y的深度残差特征表示，数学表示为：
FR＝fff(F0,…,Fg,…,FG,Wff)＝Wff*[F0…Fg,…FG]T
其中的Wff为所用特征融合卷积网络的参数。
④加法器模块40接收浅层特征提取模块10送入的初始特征表示F0和多级特征融合模块送入的深度残差特征表示FR，采用加法器进行加法运算，得到低分辨率图像y的深度特征表示FD，数学表示为：
FD＝F0+FR
⑤上采样重构模块50接收加法器模块40送入的低分辨率图像的深度特征表示FD，通过亚像素上采样卷积网络，得到高分辨率图像的估计x，数学表示为：
x＝frec(FD,Wu)＝Wu*FD
其中的Wu为亚像素上采样卷积网络的参数。
三、实验评估
为了证明本发明实施例的有效性，申请人在pytorch深度学习框架下进行了实验评估。实验平台配置1张Nvidia GeForce GTX 1080 Ti显卡。多级残差网络的级联层数选取为G＝10，每个多尺度特征判别增强单元设计由一组3×3的卷积网络和另一组5×5的卷积网络、注意力学习与特征融合卷积网络组成。网络训练所用的训练集为DIV2K，测试集为Set14。仅对图像的亮度通道进行训练、测试系统性能用平均PSNR和SSIM指标度量。训练方法选用Adam法，相关参数设置为β1＝0.9,β2＝0.999和ε＝10-8；初始学习率为0.0001，每200个周期下降一半；Batch size大小为16。网络训练定义的损失函数为均方误差。
图3给出了本发明方法与同类方法的图像重构性能比较结果；
图4给出了本发明方法与同类方法的系统包含参数的规模比较。
由此可见：本发明在改善重构图像质量、降低系统复杂度方面均具有良好表现。
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (5)
1.一种多尺度残差特征判别增强的图像超分辨率重构系统，其特征在于：
包括浅层特征提取模块(10)、多尺度残差特征判别增强的多级残差特征提取模块(20)、多级特征融合模块(30)、加法器模块(40)和上采样重构模块(50)；
低分辨率图像(A)、浅层特征提取模块(10)、多级残差特征提取模块(20)、多级特征融合模块(30)、加法器模块(40)、上采样重构模块(50)和高分辨率图像(B)依次交互，浅层特征提取模块(10)分别与多级特征融合模块(30)和加法器模块(40)交互；
所述的多级残差特征提取模块(20)包括依次交互的第1、2……G多尺度特征判别增强单元(21、22……2G)，G是自然数，1≤G≤12；
多级残差特征提取模块(20)包含的各级多尺度残差特征判别增强单元，依次接收前一级特征生成单元的输出，通过多层的多尺度特征提取与判别增强，产生新的更高一级的图像特征表示；
所述的多尺度残差特征判别增强单元包括并行的尺度1特征生成单元(201)和尺度2特征生成单元(202)、判别特征提取单元(203)和多尺度特征融合单元(204)，尺度1特征生成单元(201)和尺度2特征生成单元(202)接收相同的输入，判别特征提取单元(203)的两个输入端分别与尺度1特征生成单元(201)和尺度2特征生成单元(202)的输出端交互，判别特征提取单元(203)的输出端与多尺度特征融合单元(204)的一个输入端交互，多尺度特征融合单元(204)的另外两个输入端也分别与尺度1特征生成单元(201)和尺度2特征生成单元(202)的输出端交互；
图像超分辨率重构方法包括下列步骤：
①浅层特征提取
浅层特征提取模块(10)接收输入的低分辨率图像(A)，采用单层的卷积神经网络，生成低分辨率图像(A)的初始特征F0；
②多尺度残差特征判别增强的多级残差特征提取
多级残差特征提取模块(20)内的第1多尺度特征判别增强单元，采用多层多尺度卷积神经网络，首先接收初始特征F0，通过两组不同尺度的卷积运算单元生成多尺度特征F11和F12，然后通过卷积运算提取判别特征H1,最后根据判别特征H1将尺度1特征F11和尺度2特征F12进行多尺度特征融合，得到新的增强特征表示F1；然后，第2多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征表示F1，生成新的特征表示F2；接下来，第3多尺度特征判别增强单元，采用结构与第1多尺度特征判别增强单元相同的多层多尺度卷积神经网络，接收特征F2，生成新的特征表示F3；照此执行，最后的第G多尺度特征判别增强单元接收FG-1，生成新的特征表示FG；
③多级特征融合
多级特征融合模块(30)接收输入的低分辨率图像的浅层特征表示F0、以及多级多尺度特征判别增强表示F1、F2、……、FG，采用多层卷积神经网络对输入的特征进行融合变换，生成输入的低分辨率图像的深度残差特征表示FR；
④深度特征生成
加法器模块(40)对接收的低分辨率图像的浅层特征F0和深度残差特征FR进行求和运算，产生低分辨率图像的深度特征表示FD；
⑤高分辨图像生成
上采样重构模块(50)接收加法器模块送入的低分辨率图像的深度特征FD，采用上采样卷积神经网络进行图像的上采样重构，生成高分辨率图像(B)输出。
2.按权利要求1所述的图像超分辨率重构系统，其特征在于：
所述的浅层特征提取模块(10)对输入的低分辨率图像进行卷积运算，产生新的特征表示图像；
其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出一组与输入图像维度相同的特征图像。
3.按权利要求1所述的图像超分辨率重构系统，其特征在于：
所述的多级特征融合模块(30)对输入的图像的多级特征表示进行融合，产生低分辨率图像的深度残差特征表示；
其工作流程是：首先通过一次的卷积和运算对输入的多路特征进行融合运算，降低特征表示的维数；然后，将特征融合的结果进一步进行第二次的卷积和运算，得到与浅层特征提取模块(10)的输出的维数相同的特征表示。
4.按权利要求1所述的图像超分辨率重构系统，其特征在于：
所述的加法器模块(40)接收浅层特征提取模块(10)的输出与多级特征融合模块(30)的输出，通过特征级的加法运算，产生输入的低分辨率图像的深度特征表示。
5.按权利要求1所述的图像超分辨率重构系统，其特征在于：
所述的上采样重构模块(50)接收输入的加法器模块(40)输出，通过卷积上采样运算，生成低分辨率图像的高分辨率表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010958361.2A CN112070702B (zh) | 2020-09-14 | 2020-09-14 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010958361.2A CN112070702B (zh) | 2020-09-14 | 2020-09-14 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070702A CN112070702A (zh) | 2020-12-11 |
| CN112070702B true CN112070702B (zh) | 2023-10-03 |
Family
ID=73697015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010958361.2A Active CN112070702B (zh) | 2020-09-14 | 2020-09-14 | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070702B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767255B (zh) * | 2021-03-04 | 2022-11-29 | 山东大学 | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
| CN113139899A (zh) * | 2021-03-31 | 2021-07-20 | 桂林电子科技大学 | 高质量轻量级超分辨率重建网络模型设计方法 |
| CN113191948B (zh) * | 2021-04-22 | 2022-05-03 | 中南民族大学 | 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 |
| CN113393449A (zh) * | 2021-06-25 | 2021-09-14 | 上海市第一人民医院 | 基于人工智能的内窥镜视频图像自动存储方法 |
| CN113763251B (zh) * | 2021-09-14 | 2023-06-16 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390088A (zh) * | 2013-07-31 | 2013-11-13 | 浙江大学 | 一种针对光栅建筑平面图的全自动三维转换方法 |
| CN103593853A (zh) * | 2013-11-29 | 2014-02-19 | 武汉大学 | 基于联合稀疏表达的遥感影像多尺度面向对象分类方法 |
| CN106169086A (zh) * | 2016-07-21 | 2016-11-30 | 武汉大学 | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 |
| CN109978785A (zh) * | 2019-03-22 | 2019-07-05 | 中南民族大学 | 多级递归特征融合的图像超分辨率重构系统及其方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111402128A (zh) * | 2020-02-21 | 2020-07-10 | 华南理工大学 | 一种基于多尺度金字塔网络的图像超分辨率重建方法 |
-
2020
- 2020-09-14 CN CN202010958361.2A patent/CN112070702B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390088A (zh) * | 2013-07-31 | 2013-11-13 | 浙江大学 | 一种针对光栅建筑平面图的全自动三维转换方法 |
| CN103593853A (zh) * | 2013-11-29 | 2014-02-19 | 武汉大学 | 基于联合稀疏表达的遥感影像多尺度面向对象分类方法 |
| CN106169086A (zh) * | 2016-07-21 | 2016-11-30 | 武汉大学 | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 |
| CN109978785A (zh) * | 2019-03-22 | 2019-07-05 | 中南民族大学 | 多级递归特征融合的图像超分辨率重构系统及其方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111402128A (zh) * | 2020-02-21 | 2020-07-10 | 华南理工大学 | 一种基于多尺度金字塔网络的图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070702A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070702B (zh) | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 | |
| Anwar et al. | Densely residual laplacian super-resolution | |
| Tong et al. | Image super-resolution using dense skip connections | |
| CN109978762B (zh) | 一种基于条件生成对抗网络的超分辨率重建方法 | |
| He et al. | MRFN: Multi-receptive-field network for fast and accurate single image super-resolution | |
| Li et al. | Learning a deep dual attention network for video super-resolution | |
| WO2020015167A1 (zh) | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 | |
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN109978785B (zh) | 多级递归特征融合的图像超分辨率重构系统及其方法 | |
| CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN109272452A (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN111476745A (zh) | 一种进行运动模糊超分辨的多分支网络及方法 | |
| Xu et al. | Joint demosaicing and super-resolution (JDSR): Network design and perceptual optimization | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Xing et al. | Residual swin transformer channel attention network for image demosaicing | |
| Xiang et al. | Boosting high-level vision with joint compression artifacts reduction and super-resolution | |
| Wu et al. | Lightweight asymmetric convolutional distillation network for single image super-resolution | |
| Chen et al. | Guided dual networks for single image super-resolution | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| CN115272113A (zh) | 一种基于多尺度频率分离网络的图像去模糊方法 | |
| Li et al. | Single image deblurring using bi-attention network | |
| CN112308772A (zh) | 基于深度学习局部与非局部信息的超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |