CN107240066A - 基于浅层和深层卷积神经网络的图像超分辨率重建算法 - Google Patents

基于浅层和深层卷积神经网络的图像超分辨率重建算法 Download PDF

Info

Publication number
CN107240066A
CN107240066A CN201710295195.0A CN201710295195A CN107240066A CN 107240066 A CN107240066 A CN 107240066A CN 201710295195 A CN201710295195 A CN 201710295195A CN 107240066 A CN107240066 A CN 107240066A
Authority
CN
China
Prior art keywords
layer
shallow
convolutional
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710295195.0A
Other languages
English (en)
Inventor
李素梅
范如
雷国庆
侯春萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710295195.0A priority Critical patent/CN107240066A/zh
Publication of CN107240066A publication Critical patent/CN107240066A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法,包括:步骤一、选取训练样本和测试样本;步骤二、对深层网络特征进行提取、映射、上采样和多尺度变换;步骤3、进行浅层网络特征提取;步骤4、进行浅层深层网络的结合。与现有技术相比,本发明在单幅图像重建以及视频序列重建方面,建立能准确有效地重建高分辨率图像的模型,取得了很好的重建效果;特征提取多尺度细节,结果明显优于现有其他算法;且重建速度较快。

Description

基于浅层和深层卷积神经网络的图像超分辨率重建算法
技术领域
本发明属于图像处理领域,涉及深度学习中卷积神经网络的优化,尤其对浅层深层网络相结合的改进。
背景技术
卷积神经网络(ConvolutionalNeural Networks,CNN)在各种计算机视觉领域呈现出优异的性能,如图像分类、目标检测、语义分割和动作识别等。在很多领域中,我们都对高画质的图像有所需求。单帧图像的超分辨率(Single Image SuperResolution,SISR)重建是指对已知单幅低分辨率的图像重构出具有更高像素密度、更细腻的画质和包含更多细节的高分辨率图像,从而满足较高画面质量的需求。图像超分辨率重建技术在视频监控、医学成像、遥感卫星成像等各个领域有着广泛的应用。然而由于根据有限的输入信息重构出更多信息图像的过程是一个典型的病态反过程,图像超分辨率重建始终是一个极具挑战的任务。
早期的SISR方法基于插值技术,如最近邻插值、双线性插值、双三次插值、样条插值、分形插值和Lanczos重采样,该技术比较简单,易于实现。但是会因放大因子的增大而出现立即下降的情况。1993年,M.Irani等人提出了迭代反投影法(Iterative Back-Projection IBP)。该算法不但计算量小,而且收敛快。1995年,Schulte和Stevenson提出了最大后验概率方法(Application ofMaximum a Posteriori,MAP),重建图像质量得以提升。根据集投影理论,之后改进的凸集投影法(Projection onto ConvexSets,POCS),速度获得了进一步地提升。Elad和FeuerM等人在Schulte和Stevenson的基础上,发展出了一种通用的最大似然估计和凸集投影混合的超分辨率算法。该方法集合了两者自身的优点,不但能稳定的收敛,还充分利用了先验知识。
之后,基于学习方法被广泛应用于超分辨率恢复。基本思想为获取低分辨率图像块和高分辨率块之间的共同的先验知识,并建立两者之间的映射模型。2004年Chang等人提出了邻居嵌入和局部线性嵌入(NE+LLE)的超分辨重建方法,将低分辨率图像块的空间局部几何映射到高分辨率当中,再用映射产生的邻域的线性组合来生成高分辨图像块。2010年,Yang等人基于稀疏表达(Spare Coding,SC)提出了新的超分辨率重建的方法,从高分辨率信号之间的低维投影可以精准地恢复它们的线性关系。所以,通过学习一种简洁的图像块对表达方式去去获取对应的高、低分辨率图像块之间共同的先验知识,而不是从图像中直接提取它们的图像块对。后来,Zeyde等人对此方法做了些许改进:用K-SVD法训练低分辨率字典,对高分辨率字典直接采用伪逆的方法;并且通过主成分分析技术和正交匹配追踪算法进行降维。基于稀疏编码的网络(SCN)相比于通用SC模型实现显着的改进,SCN的级联(CSCN)也受益于具有特殊设计的多尺度成本函数的深度网络的端到端训练。但大多数人依靠手工设计表征LR图像的特征。
传统重建技术恢复图像的速度是缓慢的,该技术主要包含三个步骤:预处理、配准和重建。它们中的大多数是计算复杂度高,不能实现端到端直接放大。其中,Dong et al.提出了基于卷积神经网络的超分辨率重建(Learning a Deep Convolutional Network forImage Super-Resolution),成功地将深度学习技术引用到SR领域中,该算法简称为SRCNN。其主要特征是学习插值后LR与HR图像块之间的映射,相较于先前的学习算法省去了很多的预处理及后期整合。但SRCNN仍有一些局限性。第一,该网络学习到的特征少且单一。第二,作为一个预处理步骤,原LR图像需要上采样到目标图像的大小做为网络的输入。第三,在大的图像处理速度上还需提高。
发明内容
为了降低恶意节点对网络的影响、提高网络安全性,本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法,结合浅层和深层卷积神经网络算法(Shallow and Deep Convolutional Networks for Image Super-Resolution,简称SDSR),旨在通过将浅层和深层的卷积神经网络(Convolutional Neural Networks,CNN)相结合提取低分辨率样例图像块和高分辨率样例图像块的图像特征,然后学习它们之间的非线性映射关系,用反卷积层实现上采样,从而还原出高分辨率图像。
本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法,该方法包括以下步骤:
步骤一、选取训练样本和测试样本,包括91幅图像数据集和包含100幅bmp格式的无压缩图像的General-100数据集;
步骤二、对深层网络特征进行提取、映射、上采样和多尺度变换,其中:
特征提取:在原始LR图像上提取特征,对每个提取的特征设置了3个卷积层,每层包含64个3×3大小的滤波器,使用了快捷连接;将卷积层表示为:
Fl(Y)=PReLU(Wl*Fl-1(Y)+Bl)
其中,Wl和Bl分别表示l层的滤波器和偏置;Fl表示输出的特征图;*表示卷积操作;Wl包括了nl个滤波器参数个数为nl-1×fl×fl,fl表示卷积核的空间大小;
在原始LR图像Y通道卷积前三层;在除了最后一层卷积层以外的每个卷积层后面都设置一个PReLU激活函数,使用参数修正线性单元(PReLU);PReLU激活函数定义为:
PReLU(xi)=max(xi,0)+aimin(0,xi)
其中,xi是第i个通道上激活函数的输入信号,ai是负数部分的系数;
映射:首先使用12×1×1卷积层由64维映射到低维12维(降低维度提高了计算效率),然后使用4个12×3×3卷积层增加映射的非线性;在该步骤学习一个端到端的原LR和目标HR图像之间的映射关系;
上采样:使用反卷积层实现,在映射部分的后面先将维度增加到64维,使用Caffe工具箱,当训练一个fsub×fsub大小的LR子图像时,放大因子为n,反卷积层的只能输出(nfsub-n+1)2大小的HR图像作为目标HR大小;
多尺度变换:将开始的4个64维3×3卷积层用于提取高维特征,同样也用到快捷连接;之后16维1×1卷积层用于降低维度;然后一系列的多尺度卷积层由4个卷积层并列组成,卷积核大小分别为7×7、5×5、3×3、1×1;每个组成多尺度卷积曾的卷积核;输出4个特征图,然后连接成16个特征图,这样不同大小的特征被提取出来;最后设置一个1×1的卷积层用于权重连接多尺度的特征;
步骤3、进行浅层网络特征提取:浅层网络由简单的2个卷积层和1个反卷积层组成,实现对图像粗略特征的提取;
步骤4、进行浅层深层网络的结合:将浅层和深层网络的输出相结合,浅层网络和深层网络各自输出一张高分辨图像,最后通过一个卷积层进行连接,得到最终的高分辨率图像。
与现有技术相比,本发明的一种基于浅层和深层卷积神经网络的图像超分辨率重建算法(SDSR)具有以下积极效果:
1、在单幅图像重建以及视频序列重建方面,建立能准确有效地重建高分辨率图像的模型,取得了很好的重建效果;
2、特征提取多尺度细节,结果明显优于现有其他算法;
3、且重建速度较快;为图像视频增强打下了基础,具有实际可行性。
4、可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象;
5、可以很好地适用于自然场景图像的超分辨率增强任务,时间复杂度较低,且重建效果明显优于现存算法;
6、为自然场景图像增强实时环境及系统的推广提供了有效途径。
附图说明
图1为浅层和深层卷积神经网络框架图;
图2为不同算法下lenna图像超分辨率恢复结果比较图,其中放大因子为3;其中,(2a)、原始lenna图像;(2b)、Bicubic算法;(2c)、A+算法;(2d)、SRCNN算法;(2e)、FSRCNN算法;(2f)、本发明的SDSR算法;
图3为不同算法下lenna图像超分辨率恢复坏点比较图,其中放大因子为3,白色部分为坏点;(2a)、原始lenna图像;(2b)、Bicubic算法;(2c)、A+算法;(2d)、SRCNN算法;(2e)、FSRCNN算法;(2f)、本发明的SDSR算法;
图4为不同算法在Set5数据集上测试收敛曲线图;
图5为高速路视频序列图像重建结果图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明提供一种浅层和深层网络相结合的卷积神经网络,提取低分辨率样例图像块和高分辨率样例图像块的图像特征,学习它们之间的非线性映射关系,对CNN网络进行训练、测试。该模型加宽了网络,增加了参数个数,并有效地防止了过拟合现象。同时设计不同的两路网络结构捕获不同的有效特征,更多的有效特征有利于提高重建效果。本文模型是由深层残差支路浅层支路组成的并列模型。该并列网络的两路输入为相同的LR图像,通过本文模型最终获得HR图像。整个网络结构的基本框架如图1所示。同时也比较了本发明算法与相关算法在超分辨率重建图像质量方面的性能优劣。
具体步骤如下:
步骤1、选取训练样本和测试样本:其中,训练样本选取了被广泛用作基于学习的超分辨率重建方法91幅图像数据集(该图像数据集来自J.Yang,J.Wright,T.S.Huang,andY.Ma,“Image super-resolution via sparse representation,”IEEE transactions onimage processing,vol.19,no.11,pp.2861–2873,2010.)和包含100幅bmp格式的无压缩图像的General-100数据集;前者广泛用作基于学习的超分辨率重建方法,后者非常适合超分学习训练。因此,原始数据是191张图片。为了使数据更有效,对原始图像进行旋转变换。因此最后的训练数据集是20倍的原始数据。也就是说,将总共191×20=3820幅图像用于训练;测试样本则选取Set5图像、Set14图片和BSD100共100幅图像作为测试数据集,用来评估放大因素为×2、×3和×4时的图片质量;采用PSNR和SSIM指标用于定量评价。采取只对YCbCr通道中的Y通道进行实验,而另外2个通道则是直接采取Bicubic插值的方法进行放大的通道数选择方式,即c=1,NE十LLE,SC,A+和ANR这些方法都是,以便下文比较重建质量;
步骤2、对深层网络特征进行提取、映射、上采样和多尺度变换,特征映射多次从而可提取出准确的细节信息;
(2-1)、特征提取:在原始LR图像上提取特征,对对每个提取的特征设置了3个卷积层对原始LR图像进行特征提取,每层包含64个3×3大小的滤波器。为了抑制网络衰减,使用了快捷连接,实现残差网络,即通过在一个网络基础上叠加前向连接的层(称identitymappings,恒等映射),可以让网络随深度增加而不退化,从而加速了网络收敛。
将卷积层表示为:
Fl(Y)=PReLU(Wl*Fl-1(Y)+Bl)
其中,Wl和Bl分别表示l层的滤波器和偏置;Fl表示输出的特征图;*表示卷积操作;Wl包括了nl个滤波器参数个数为nl-1×fl×fl,fl表示卷积核的空间大小。
具体为:首先在原始LR图像Y通道卷积前三层;每个卷积层的输出作为激活函数的输入,本发明激活函数使用参数修正线性单元(Parametric Rectified Linear Unit,PReLU),PReLU激活函数定义为:
PReLU(xi)=max(xi,0)+aimin(0,xi)
其中,xi是第i个通道上激活函数的输入信号,ai是负数部分的系数;如果ai=0,那么PReLU退化为ReLU。PReLU只增加了极少量的参数,也就意味着网络的计算量以及过拟合的危险性都只增加了一点。特别的,当不同通道使用相同的ai时,参数就更少了。采用PReLU主要为了避免在ReLU中造成的“死特性”,即未提取到特征造成的特征图全黑。在每个卷积层(除了最后一层卷积层)后面都设置了激活函数。
该步骤在原始LR图像上提取特征,没有像SRCNN先进行双立方插值图像的预处理,从而实现针对性地学习一个端到端的映射,
(2-2)、映射:首先使用12×1×1卷积层由64维映射到低维12维(降低维度提高了计算效率),然后使用4个12×3×3卷积层增加映射的非线性;在该步骤学习一个端到端的原LR和目标HR图像之间的映射关系;
(2-3)、上采样:发生在高维,因此在映射部分的后面先将维度增加到64维。不同于传统方法手动内插上采样,本发明使用反卷积层实现上采样,即使用Caffe工具箱,当训练一个fsub×fsub大小的LR子图像时,放大因子为n,反卷积层的只能输出(nfsub-n+1)2大小的HR图像作为目标HR大小;
(2-4)、多尺度变换:考虑到高分辨率图像复原通常依赖于大小不同的索引信息,本步骤提出用多尺度的卷积核提取图片多尺度的索引信息。步骤1提取的特征经多尺度重 建后得到的特征部分由16层卷积层组成,开始的4个64维3×3卷积层用于提取高维特征,其作用类似于步骤1的特征提取部分,同样也用到快捷连接;之后16维1×1卷积层用于降低维度;然后一系列的多尺度卷积层由4个卷积层并列组成,卷积核大小分别为7×7、5×5、3×3、1×1;每个组成多尺度卷积层的卷积核输出4个特征图,然后连接成16个特征图,这样从大小卷积核提取不同尺度的特征;最后设置一个1×1的卷积层用于权重连接多尺度的特征;
步骤3、进行浅层网络特征提取:浅层网络由简单的2个卷积层和1个反卷积层组成,实现对图像粗略特征的提取;
步骤4、进行浅层深层网络的结合:根据步骤3所述的浅层网络只有3个卷积层,能复原图像的大致信息,缺乏高频细节信息;与之相反,深层网络可以更准确恢复出高频细节信息。最后,将浅层和深层网络的输出相结合,浅层网络和深层网络各自输出一张高分辨图像,最后通过一个卷积层进行连接,得到最终的高分辨率图像。
本发明的网络训练实例说明如下:
本发明采用的最小化欧式距离来优化模型参数。给定训练数据集x(i)表示一组低分辨率图像,y(i)表示对应的真实高分辨率图像,本文的目标是学习模型 是目标图像的估计。只要使得均值误差1/2||Y-F(X)||2最小,即可得到优化的参数模型。训练过程中采用基于反向传播的随机梯度下降法来优化回归[24]。本模型卷积层中的所有过滤器均随机初始化为高斯分布,满足均值为零和标准差偏置为0。训练所用硬件设备为GPU Titan X Pascal。
表1、不同数据集下不同算法在不同放大因子时的超分结果比较
表2、不同算法在不同视频集超分恢复结果比较

Claims (1)

1.一种基于浅层和深层卷积神经网络的图像超分辨率重建算法,其特征在于,该方法包括以下步骤:
步骤一、选取训练样本和测试样本,包括91幅图像数据集和包含100幅bmp格式的无压缩图像的General-100数据集;
步骤二、对深层网络特征进行提取、映射、上采样和多尺度变换,其中:
特征提取:在原始LR图像上提取特征,对每个提取的特征设置了3个卷积层,每层包含64个3×3大小的滤波器,使用了快捷连接;将卷积层表示为:
Fl(Y)=PReLU(Wl*Fl-1(Y)+Bl)
其中,Wl和Bl分别表示l层的滤波器和偏置;Fl表示输出的特征图;*表示卷积操作;Wl包括了nl个滤波器参数个数为nl-1×fl×fl,fl表示卷积核的空间大小;
在原始LR图像Y通道卷积前三层;在除了最后一层卷积层以外的每个卷积层后面都设置一个PReLU激活函数,使用参数修正线性单元(PReLU);PReLU激活函数定义为:
PReLU(xi)=max(xi,0)+aimin(0,xi)
其中,xi是第i个通道上激活函数的输入信号,ai是负数部分的系数;
映射:首先使用12×1×1卷积层由64维映射到低维12维(降低维度提高了计算效率),然后使用4个12×3×3卷积层增加映射的非线性;在该步骤学习一个端到端的原LR和目标HR图像之间的映射关系;
上采样:使用反卷积层实现,在映射部分的后面先将维度增加到64维,使用Caffe工具箱,当训练一个fsub×fsub大小的LR子图像时,放大因子为n,反卷积层的只能输出(nfsub-n+1)2大小的HR图像作为目标HR大小;
多尺度变换:将开始的4个64维3×3卷积层用于提取高维特征,同样也用到快捷连接;之后16维1×1卷积层用于降低维度;然后一系列的多尺度卷积层由4个卷积层并列组成,卷积核大小分别为7×7、5×5、3×3、1×1;每个组成多尺度卷积曾的卷积核;输出4个特征图,然后连接成16个特征图,这样不同大小的特征被提取出来;最后设置一个1×1的卷积层用于权重连接多尺度的特征;
步骤3、进行浅层网络特征提取:浅层网络由简单的2个卷积层和1个反卷积层组成,实现对图像粗略特征的提取;
步骤4、进行浅层深层网络的结合:将浅层和深层网络的输出相结合,浅层网络和深层网络各自输出一张高分辨图像,最后通过一个卷积层进行连接,得到最终的高分辨率图像。
CN201710295195.0A 2017-04-28 2017-04-28 基于浅层和深层卷积神经网络的图像超分辨率重建算法 Pending CN107240066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710295195.0A CN107240066A (zh) 2017-04-28 2017-04-28 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710295195.0A CN107240066A (zh) 2017-04-28 2017-04-28 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Publications (1)

Publication Number Publication Date
CN107240066A true CN107240066A (zh) 2017-10-10

Family

ID=59985508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710295195.0A Pending CN107240066A (zh) 2017-04-28 2017-04-28 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Country Status (1)

Country Link
CN (1) CN107240066A (zh)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN107945139A (zh) * 2017-12-15 2018-04-20 深圳大学 一种图像处理方法、存储介质及智能终端
CN108022212A (zh) * 2017-11-24 2018-05-11 腾讯科技(深圳)有限公司 高分辨率图片生成方法、生成装置及存储介质
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108235058A (zh) * 2018-01-12 2018-06-29 广州华多网络科技有限公司 视频质量处理方法、存储介质和终端
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108537733A (zh) * 2018-04-11 2018-09-14 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108594146A (zh) * 2018-04-24 2018-09-28 朱高杰 一种基于深度学习和凸集投影的磁共振弥散加权成像方法
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108830319A (zh) * 2018-06-12 2018-11-16 北京合众思壮科技股份有限公司 一种图像分类方法和装置
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN109118428A (zh) * 2018-06-07 2019-01-01 西安电子科技大学 一种基于特征增强的图像超分辨率重建方法
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109241982A (zh) * 2018-09-06 2019-01-18 广西师范大学 基于深浅层卷积神经网络的目标检测方法
CN109685863A (zh) * 2018-12-11 2019-04-26 帝工(杭州)科技产业有限公司 一种重建医学乳房图像的方法
CN109785236A (zh) * 2019-01-21 2019-05-21 中国科学院宁波材料技术与工程研究所 一种基于超像素和卷积神经网络的图像超分辨方法
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN109886874A (zh) * 2019-01-31 2019-06-14 西安理工大学 超分辨率图像重建方法及专用加速电路
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109949222A (zh) * 2019-01-30 2019-06-28 北京交通大学 基于语义图的图像超分辨率重建方法
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN109977904A (zh) * 2019-04-04 2019-07-05 成都信息工程大学 一种基于深度学习的轻量型的人体动作识别方法
CN110020658A (zh) * 2019-03-28 2019-07-16 大连理工大学 一种基于多任务深度学习的显著目标检测方法
CN110084745A (zh) * 2019-03-12 2019-08-02 天津大学 基于并联的稠密卷积神经网络的图像超分辨率重建方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
CN110276720A (zh) * 2018-03-16 2019-09-24 华为技术有限公司 一种图像生成方法和装置
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110490799A (zh) * 2019-07-25 2019-11-22 西安理工大学 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法
US10540749B2 (en) 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution
NL2022758B1 (en) * 2018-07-27 2020-01-31 Univ Xuzhou Technology Image Super-resolution Reconstruction Method Based on Multi-scale Generative Adversarial Network
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111028153A (zh) * 2019-12-09 2020-04-17 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN111340695A (zh) * 2020-02-10 2020-06-26 上海智幻软件科技有限公司 一种球幕视频的超分重建方法
CN111353944A (zh) * 2018-12-20 2020-06-30 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
CN111414988A (zh) * 2020-02-13 2020-07-14 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN111667406A (zh) * 2020-04-24 2020-09-15 东北大学 一种基于时域相关性的视频图像超分辨率重建方法
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
WO2020248706A1 (zh) * 2019-06-14 2020-12-17 深圳市中兴微电子技术有限公司 图像处理的方法、装置、计算机存储介质及终端
CN112116526A (zh) * 2019-06-19 2020-12-22 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN112381839A (zh) * 2020-11-14 2021-02-19 四川大学华西医院 一种基于深度学习的乳腺癌病理图像he癌巢分割方法
CN112492323A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 直播蒙版的生成方法、可读存储介质及计算机设备
CN112580581A (zh) * 2020-12-28 2021-03-30 英特灵达信息技术(深圳)有限公司 目标检测方法、装置及电子设备
CN112633140A (zh) * 2020-12-21 2021-04-09 华南农业大学 多光谱遥感图像城中村多类别建筑物语义分割方法及系统
CN112801866A (zh) * 2020-12-18 2021-05-14 展讯通信(天津)有限公司 图像重建模型的生成方法、图像重建方法及相关设备
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术(北京)有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113255768A (zh) * 2021-05-26 2021-08-13 之江实验室 一种提升卷积神经网络鲁棒性能的方法
CN113505860A (zh) * 2021-09-07 2021-10-15 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
WO2022047783A1 (en) * 2020-09-07 2022-03-10 Intel Corporation Poly-scale kernel-wise convolution for high-performance visual recognition applications
WO2022154783A1 (en) * 2021-01-13 2022-07-21 Hewlett-Packard Development Company, L.P. Output resolution selections
TWI826184B (zh) * 2022-12-14 2023-12-11 瑞昱半導體股份有限公司 超解析度影像產生裝置以及超解析度影像產生方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIFAN WANG等: "End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks", 《IEEE ACCESS》 *
吴斯: "基于多尺度池化的卷积神经网络人脸识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
徐冉等: "利用双通道卷积神经网络的图像超分辨率算法", 《中国图象图形学报》 *
楚敏南: "基于卷积神经网络的图像分类技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944379B (zh) * 2017-11-20 2020-05-15 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
US11373275B2 (en) 2017-11-24 2022-06-28 Tencent Technology (Shenzhen) Company Limited Method for generating high-resolution picture, computer device, and storage medium
CN108022212A (zh) * 2017-11-24 2018-05-11 腾讯科技(深圳)有限公司 高分辨率图片生成方法、生成装置及存储介质
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置
CN107945139B (zh) * 2017-12-15 2020-01-07 深圳大学 一种图像处理方法、存储介质及智能终端
CN107945139A (zh) * 2017-12-15 2018-04-20 深圳大学 一种图像处理方法、存储介质及智能终端
WO2019114027A1 (zh) * 2017-12-15 2019-06-20 深圳大学 一种图像处理方法、存储介质及智能终端
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109961396B (zh) * 2017-12-25 2020-12-22 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108235058A (zh) * 2018-01-12 2018-06-29 广州华多网络科技有限公司 视频质量处理方法、存储介质和终端
CN110276720A (zh) * 2018-03-16 2019-09-24 华为技术有限公司 一种图像生成方法和装置
US10540749B2 (en) 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution
US11836891B2 (en) 2018-04-02 2023-12-05 Tencent Technology (Shenzhen) Company Ltd Image related processing method and apparatus, device and storage medium
WO2019192316A1 (zh) * 2018-04-02 2019-10-10 腾讯科技(深圳)有限公司 图像相关处理方法及装置、设备、存储介质
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108537733B (zh) * 2018-04-11 2022-03-11 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108537733A (zh) * 2018-04-11 2018-09-14 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108594146B (zh) * 2018-04-24 2020-07-28 朱高杰 一种基于深度学习和凸集投影的磁共振弥散加权成像方法
CN108594146A (zh) * 2018-04-24 2018-09-28 朱高杰 一种基于深度学习和凸集投影的磁共振弥散加权成像方法
CN108764072B (zh) * 2018-05-14 2021-04-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN108734659B (zh) * 2018-05-17 2021-08-20 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109118428A (zh) * 2018-06-07 2019-01-01 西安电子科技大学 一种基于特征增强的图像超分辨率重建方法
CN108830319A (zh) * 2018-06-12 2018-11-16 北京合众思壮科技股份有限公司 一种图像分类方法和装置
CN108830319B (zh) * 2018-06-12 2022-09-16 北京合众思壮科技股份有限公司 一种图像分类方法和装置
CN108921786A (zh) * 2018-06-14 2018-11-30 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN108921786B (zh) * 2018-06-14 2022-06-28 天津大学 基于残差卷积神经网络的图像超分辨率重构方法
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN109063824B (zh) * 2018-07-25 2023-04-07 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
NL2022758B1 (en) * 2018-07-27 2020-01-31 Univ Xuzhou Technology Image Super-resolution Reconstruction Method Based on Multi-scale Generative Adversarial Network
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109146788B (zh) * 2018-08-16 2023-04-18 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109241982A (zh) * 2018-09-06 2019-01-18 广西师范大学 基于深浅层卷积神经网络的目标检测方法
CN109685863A (zh) * 2018-12-11 2019-04-26 帝工(杭州)科技产业有限公司 一种重建医学乳房图像的方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN111353944A (zh) * 2018-12-20 2020-06-30 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
CN111353944B (zh) * 2018-12-20 2024-05-28 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
US11810265B2 (en) 2018-12-20 2023-11-07 Sanechips Technology Co., Ltd. Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium
CN109886870B (zh) * 2018-12-29 2023-03-03 西北大学 基于双通道神经网络的遥感图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN109785236A (zh) * 2019-01-21 2019-05-21 中国科学院宁波材料技术与工程研究所 一种基于超像素和卷积神经网络的图像超分辨方法
CN109785236B (zh) * 2019-01-21 2022-11-08 中国科学院宁波材料技术与工程研究所 一种基于超像素和卷积神经网络的图像超分辨方法
CN109903226B (zh) * 2019-01-30 2023-08-15 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109949222A (zh) * 2019-01-30 2019-06-28 北京交通大学 基于语义图的图像超分辨率重建方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109886874B (zh) * 2019-01-31 2022-11-29 西安理工大学 超分辨率图像重建方法及专用加速电路
CN109886874A (zh) * 2019-01-31 2019-06-14 西安理工大学 超分辨率图像重建方法及专用加速电路
CN110084745A (zh) * 2019-03-12 2019-08-02 天津大学 基于并联的稠密卷积神经网络的图像超分辨率重建方法
CN110020658A (zh) * 2019-03-28 2019-07-16 大连理工大学 一种基于多任务深度学习的显著目标检测方法
CN109977904A (zh) * 2019-04-04 2019-07-05 成都信息工程大学 一种基于深度学习的轻量型的人体动作识别方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110246083B (zh) * 2019-05-10 2023-02-24 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
WO2020248706A1 (zh) * 2019-06-14 2020-12-17 深圳市中兴微电子技术有限公司 图像处理的方法、装置、计算机存储介质及终端
CN112116526A (zh) * 2019-06-19 2020-12-22 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN112116526B (zh) * 2019-06-19 2024-06-11 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110490799A (zh) * 2019-07-25 2019-11-22 西安理工大学 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法
CN110490799B (zh) * 2019-07-25 2021-09-24 西安理工大学 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法
CN112492323B (zh) * 2019-09-12 2022-07-19 上海哔哩哔哩科技有限公司 直播蒙版的生成方法、可读存储介质及计算机设备
CN112492323A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 直播蒙版的生成方法、可读存储介质及计算机设备
CN110992265B (zh) * 2019-12-02 2023-10-20 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111028153B (zh) * 2019-12-09 2024-05-07 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111028153A (zh) * 2019-12-09 2020-04-17 南京理工大学 图像处理和神经网络训练方法、装置及计算机设备
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN111192237B (zh) * 2019-12-16 2023-05-02 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111062872B (zh) * 2019-12-17 2021-02-05 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111161150B (zh) * 2019-12-30 2023-06-23 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术(北京)有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113160046B (zh) * 2020-01-23 2023-12-26 百度在线网络技术(北京)有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN111340695A (zh) * 2020-02-10 2020-06-26 上海智幻软件科技有限公司 一种球幕视频的超分重建方法
CN111414988A (zh) * 2020-02-13 2020-07-14 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN111414988B (zh) * 2020-02-13 2023-04-18 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN111667406A (zh) * 2020-04-24 2020-09-15 东北大学 一种基于时域相关性的视频图像超分辨率重建方法
CN111667406B (zh) * 2020-04-24 2023-05-30 东北大学 一种基于时域相关性的视频图像超分辨率重建方法
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
WO2022047783A1 (en) * 2020-09-07 2022-03-10 Intel Corporation Poly-scale kernel-wise convolution for high-performance visual recognition applications
CN112381839A (zh) * 2020-11-14 2021-02-19 四川大学华西医院 一种基于深度学习的乳腺癌病理图像he癌巢分割方法
CN112801866A (zh) * 2020-12-18 2021-05-14 展讯通信(天津)有限公司 图像重建模型的生成方法、图像重建方法及相关设备
CN112633140B (zh) * 2020-12-21 2023-09-01 华南农业大学 多光谱遥感图像城中村多类别建筑物语义分割方法及系统
CN112633140A (zh) * 2020-12-21 2021-04-09 华南农业大学 多光谱遥感图像城中村多类别建筑物语义分割方法及系统
CN112580581A (zh) * 2020-12-28 2021-03-30 英特灵达信息技术(深圳)有限公司 目标检测方法、装置及电子设备
WO2022154783A1 (en) * 2021-01-13 2022-07-21 Hewlett-Packard Development Company, L.P. Output resolution selections
US12120279B2 (en) 2021-01-13 2024-10-15 Hewlett-Packard Development Company, L.P. Output resolution selections
CN113255768A (zh) * 2021-05-26 2021-08-13 之江实验室 一种提升卷积神经网络鲁棒性能的方法
CN113505860B (zh) * 2021-09-07 2021-12-31 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
CN113505860A (zh) * 2021-09-07 2021-10-15 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
TWI826184B (zh) * 2022-12-14 2023-12-11 瑞昱半導體股份有限公司 超解析度影像產生裝置以及超解析度影像產生方法

Similar Documents

Publication Publication Date Title
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
Qin et al. Multi-scale feature fusion residual network for single image super-resolution
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
CN111681166B (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN110276721A (zh) 基于级联残差卷积神经网络的图像超分辨率重建方法
CN107358576A (zh) 基于卷积神经网络的深度图超分辨率重建方法
Luo et al. Lattice network for lightweight image restoration
CN107123089A (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN111340696B (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN108765290A (zh) 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
Yang et al. License plate image super-resolution based on convolutional neural network
Cao et al. Fast and accurate single image super-resolution via an energy-aware improved deep residual network
CN106447609A (zh) 一种基于深度卷积神经网络的图像超分辨方法
Gao et al. Single image super-resolution using dual-branch convolutional neural network
Li Image super-resolution using attention based densenet with residual deconvolution
Gong et al. Learning deep resonant prior for hyperspectral image super-resolution
CN104299193A (zh) 一种基于高频和中频信息的图像超分辨率重建方法
CN111754399A (zh) 基于梯度的保持几何结构的图像超分辨率方法
CN110288529A (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171010

RJ01 Rejection of invention patent application after publication