CN109064405A - 一种基于双路径网络的多尺度图像超分辨率方法 - Google Patents
一种基于双路径网络的多尺度图像超分辨率方法 Download PDFInfo
- Publication number
- CN109064405A CN109064405A CN201810964588.0A CN201810964588A CN109064405A CN 109064405 A CN109064405 A CN 109064405A CN 201810964588 A CN201810964588 A CN 201810964588A CN 109064405 A CN109064405 A CN 109064405A
- Authority
- CN
- China
- Prior art keywords
- resolution
- scale
- model
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009977 dual effect Effects 0.000 title abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000006798 recombination Effects 0.000 claims description 5
- 238000005215 recombination Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000008034 disappearance Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001622623 Coeliadinae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双路径网络的多尺度图像超分辨率方法，考虑和利用了不同尺度的超分辨率之间的相互关系，构建了一个多尺度超分辨率模型。该模型直接将低分辨率图像作为输入，在模型的头部，为了减少不同尺度的输入图像的差异，每个尺度都有其对应的预处理模块；在模型的中部，不同尺度共享高层特征提取模块，高层特征提取模块用于提取输入图像的高层特征；在模型的尾部，每个尺度都有其对应的上采样模块，上采样模块用于将提取到的高层特征转化为高分辨率图像。通过在高层特征提取模块中采用双路径架构以及局部残差学习和层次特征融合，有效地解决了深度神经网络的梯度消失问题，并减少了模型的参数，提高了图像超分辨率的重建性能。
Description
技术领域
本发明涉及计算机视觉领域与人工智能技术，更具体地，涉及一种基于双路径网络的多尺度图像超分辨率方法。
背景技术
当前我们正处于信息化时代，图像是人们获取信息和传递信息的重要载体，在人们的日常生活中占据着越来越重要的地位。人们可以在网上浏览、上传和下载图像资源，医生可以通过专门的医学图像来诊断疾病，警察可以通过获取监控录像来帮助侦破案件等等。但是在现实生活中，由于成像设备、环境、网络带宽等因素，人们获取到的一般是低分辨率的、模糊的或信息不全的图像，这大大影响了人们的使用，可能无法满足特定场景的需求。目前在医学图像处理、视频监控和卫星遥感影像等多个图像应用领域对获得高分辨率的图像都有比较强烈的需求。
超分辨率是一种算法，旨在通过增加图像中每个单位区域的像素的数量来提供更多的有用的细节特征。我们首先了解一下为了增加单位区域的像素数量，基于硬件的方法有哪些。一般来说，基于硬件的方法包括两种：第一种方法是减少像素的尺寸；第二种方法是增加传感器的尺寸。前一个方法是一种有用的方案，但是减少像素的尺寸到某个特定的阈值(当前的技术已经达到了这个阈值)以下会导致到达传感器上与该像素相关联的成像单元上的光的强度不够，从而会引入更多的噪声。后一个方案中，增加传感器的尺寸会增加成像设备的电容，这会降低电荷转移速率，因此传感器的尺寸并不能无限增大。此外，上述提及的两种基于硬件的方法通常都是成本昂贵的。现实中往往也是因为成本问题而无法生产大量的高分辨率成像设备。为了克服基于硬件的方法存在的局限性，出现了超分辨率技术。与基于硬件的方法相比，超分辨率技术采用软件的方式而不需要改变硬件本身就能让图像的分辨率得到提升，不仅节约了成本，而且具有很大的灵活性。
最近几年，基于卷积神经网络的方法在超分辨率问题上就PSNR和SSIM而言达到了很高的性能。然而，这些网络就架构的最优性而言仍存在一定的局限性。首先，网络模型的重建性能对网络架构上的微小变化是非常敏感的，因此在训练神经网络的时候，认真地设计模型的架构是至关重要的。其次，现有的大多数超分辨率算法将不同尺度的超分辨率看作是独立的问题，没有考虑和利用超分辨率中不同尺度间的相互关系。为了处理不同的尺度，这些算法需要独立地训练多个特定尺度的模型。
最近提出的双路径网络结合了残差网络(ResNet)和密集卷积网络(DenseNet)的优点，在图像分类等任务上显示出了优秀的性能。ResNet能够重复利用特征，而DenseNet能够探索新的特征，对于学习好的表示来说这两点都是非常重要的。为了获得ResNet和DenseNet这两种路径拓扑结构的好处，双路径网络采用双路径架构来保持探索新特征的灵活性，同时公共特征能被共享。双路径网络能够有效地解决深度网络的梯度消失问题，并能有效地降低模型的计算量、减少模型的参数。本发明充分利用双路径网络的优点，并将其首次应用在图像超分辨率任务上，提出一种基于双路径网络的多尺度图像超分辨率模型(Multi-scale Image Super-ResolutionModel Based on Dual PathNetwork，MISRM-DPN)，有效地提高了图像超分辨率的重建性能。此外，本发明提出的MISRM-DPN利用了超分辨率中不同尺度之间的相互关系，使得训练好的模型能够在单个模型中处理多个尺度的超分辨率。
发明内容
针对现有技术的不足，本发明提供了一种基于双路径网络的多尺度图像超分辨率方法，提高了图像超分辨率的重建性能，减少了模型参数，充分利用不同尺度的超分辨率之间的相互关系使得在单个模型中能够处理多个尺度的超分辨率。
本发明采用的技术方案是：
一种基于双路径网络的多尺度图像超分辨率方法，包括以下步骤：
(1)根据不同的尺度，生成多尺度的图像训练集(ILR,IHR)；
(2)构建预处理模块、高层特征提取模块以及上采样模块，每个尺度都有其对应的预处理模块和上采样模块，多个尺度之间共享高层特征提取模块；
(3)搭建卷积神经网络模型，所述卷积神经网络模型将低分辨率图像作为输入，沿传输方向依次经过步骤(2)中构建的预处理模块、高层特征提取模块和上采样模块，最终得到重建出的高分辨率图像；
(4)采用步骤(1)中的图像训练集(ILR,IHR)作为训练集，用L1损失函数来训练步骤(3)中构建好的卷积神经网络模型；
(5)采用Adam优化器来优化根据步骤(1)至(4)构建的基于双路径网络的多尺度图像超分辨率模型，即MISRM-DPN模型的参数，得到低分辨率图像与高分辨率图像之间的端到端的网络映射；
(6)根据步骤(5)中优化得到的MISRM-DPN模型，将输入的低分辨率图像转化为高分辨率图像，并计算相应的客观评价指标峰值信噪比PSNR和结构相似性SSIM。
进一步地，所述步骤(1)中采用的尺度包含2倍、3倍和4倍，形成多尺度的训练集。
进一步地，所述步骤(1)采用的是开源公开的DIV2K数据集中的800张图片作为训练集，其中低分辨率图像是通过对高分辨率图像进行双三次插值下采样来获得。
进一步地，所述步骤(1)中的图像训练集在训练的时候采用的就是原始的RGB彩色图像，不需要转换到YCbCr空间。
进一步地，所述步骤(2)中的预处理模块由2个残差块ResBlock组成，每个尺度都有其对应的预处理模块，每个ResBlock均由4个卷积层和3个线性整流函数ReLU激活层组成，卷积层的卷积核大小都是3×3。
进一步地，所述步骤(2)中的高层特征提取模块主要由残差双路径块RDPB组成，每个RDPB主要由双路由网络块DPNBlock组成，高层特征提取模块中的RDPB的个数为5，RDPB中的DPNBlock的个数为2，DPNBlock中的残差路径的输出通道数为64，密集连接路径的增长率为32。
进一步地，所述步骤(2)中的上采样模块位于模型的尾部，每个尺度都有其对应的上采样模块，上采样模块由一个卷积层和一个像素重组PixelShuffle层组成，其中PixelShuffle层代表的是与子像素卷积层等价的像素重组操作。
进一步地，所述步骤(3)中搭建好的卷积神经网络模型在模型的头部会对每个低分辨率输入图像执行一个简单的预处理操作：减去DIV2K数据集的RGB均值；相应地，在模型的尾部会加上DIV2K数据集的均值。
进一步地，步骤(3)中，所述卷积神经网络模型将低分辨率图像作为输入，在模型的头部，为了减少不同尺度的输入图像的差异，每个尺度都有其对应的预处理模块；在模型的中部，不同尺度共享高层特征提取模块，高层特征提取模块用于提取输入图像的高层特征，并将高层特征将作为上采样模块的输入；在模型的尾部，每个尺度都有其对应的上采样模块，用于将提取到的高层特征转化为高分辨率图像。
进一步地，所述步骤(6)中的PSNR和SSIM这两个指标的值越大，则表示重建出的图像越接近原始的高分辨率图像。
与现有技术相比，本发明的有益效果为：
本发明提供的一种基于双路径网络的多尺度图像超分辨率方法，运用最新的双路径网络技术，利用超分辨率中不同尺度之间的相互关系，有效地解决了非常深的神经网络的梯度消失问题，不仅提升了图像超分辨率的重建性能，而且使得能在单个模型中处理多个尺度的超分辨率。具体地：
(1)本发明首次将双路径网络的思想应用在图像超分辨率任务上，有效地解决了极深网络训练困难的问题并能够减少模型的参数，最终取得了良好的超分辨率重建效果。
(2)通过在模型的头部引入预处理模块，可以有效地减少不同尺度的输入图像之间的差异，使得不同尺度之间可以共享大部分网络参数，从而提高整个模型的参数效率。
(3)高层特征提取模块中采用层次特征融合技术，充分利用了各个层次提取到的特征，从而提高网络的超分辨率重建性能。
(4)在模型的尾部采用由子像素卷积层组成的上采样模块来将高层特征提取模块提取到的高层特征转化为高分辨率图像，使得大部分特征提取操作得以在低分辨率空间进行，从而大大地提高了整个模型的计算效率。
(5)本发明考虑和利用了不同尺度之间的超分辨率的相互关系，模型训练好之后可以在单个模型中处理多个尺度的超分辨率，而不需要为每个尺度训练特定的模型。
附图说明
图1是本发明的一种基于双路径网络的多尺度图像超分辨率方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明公开了一种基于双路径网络的多尺度图像超分辨率方法，充分利用了双路径网络的优点以及不同尺度的超分辨率之间的相互关系，有效地提高了图像超分辨率重建效果。本发明的方法具体包括以下几个步骤：
(1)根据不同的尺度，生成多尺度的图像训练集(ILR,IHR)；进一步地，利用DIV2K数据集来生成不同尺度的低分辨率图像和高分辨率图像集。
本发明采用DIV2K数据集中的800张图片来作为训练数据，低分辨率图像ILR是通过对高分辨率图像IHR进行双三次插值下采样来获得。考虑3个尺度：2倍、3倍和4倍，得到多尺度的图像训练集(ILR,IHR)。在训练时用的就是原始的RGB图像，采用的低分辨率图像块的大小为48×48，对应的高分辨率图像块的大小为48·S×48·S，其中S代表的是尺度。为了增强训练数据，采用的方式是随机的水平翻转和90度旋转。
(2)构建预处理模块、高层特征提取模块以及上采样模块，每个尺度都有其对应的预处理模块和上采样模块，多个尺度之间共享高层特征提取模块。
一般来说，尺度越大，则对应的输入图像丢失的信息就越多。在训练本发明基于双路径网络的多尺度图像超分辨率方法进行构建模型，即MISRM-DPN时，低分辨率图像是通过对原始的高分辨率图像进行双三次插值下采样来获得的，尺度越大，则下采样的程度就越高，得到的低分辨率图像丢失的有用信息就越多。为了减少不同尺度的输入图像之间的差异，本发明在MISRM-DPN的头部引入预处理模块来处理不同尺度的超分辨率，每个尺度都有其对应的预处理模块。预处理模块由两个残差块(ResBlock)组成。每个ResBlock主要由卷积层(conv)和线性整流函数ReLU激活层组成。假设ResBlock中卷积层的个数为M，则ResBlock中除了第M个卷积层之外，其他的卷积层后面都会跟着一个ReLU激活函数。假设ResBlock的输入为x，则x将分成两条线走，一条线是x经过M个卷积层和M-1个ReLU；另一条线是x本身，然后再把这两条线的输出相加作为这个ResBlock的输出。各个尺度对应的预处理模块中的ResBlock中的卷积层的个数为M＝4，每个卷积层的卷积核大小都是3×3，输出通道数都是64。通过在ResBlock中采用多个卷积层，可以使得网络的早期阶段能够使用更大的感受野。
高层特征提取模块位于MISRM-DPN模型的中部，是整个模型的核心部分，用于提取输入图像的高层特征。不同尺度之间共享同一个高层特征提取模块，这使得不同尺度之间能够共享整个模型的大部分参数。高层特征提取模块主要由残差双路径块RDPB组成。假设RDPB的个数为N，第n个RDPB提取到的特征可以用公式表示如下：
其中，HRDPB,n(·)代表的是第n个RDPB对应的运算，可以将HRDPB,n(·)看成是一个复合函数，该函数包含多种运算(卷积和ReLU等)。
RDPB主要由DPNBlock组成。在DPNBlock结构中，矩形框和多边形框都是代表输入输出，对于一个输入x(分两种情况，一种是如果x是整个网络的第一个DPNBlock的输入，则会采用一个1×1的卷积层来进行通道加宽，然后将输出按照通道数分割成两个部分：data_o1和data_o2；另一种是如果x是网络中某个DPNBlock的输出，则本身就包含两个部分：data_o1和data_o2)，走两条线，一条是保持data_o1和data_o2本身；另一条线是x依次经过1×1卷积，ReLU，3×3卷积，ReLU，3×3卷积，ReLU，1×1卷积，然后将输出分割成两个部分：output_1和output_2。最后，output_1和data_o1相加得到sum，类似于ResNet中的操作；output_2和data_o2做通道合并得到dense，类似于DenseNet中的操作。也就是说DPNBlock的输出包含两个值：sum和dense，这两个值将作为下一个DPNBlock的输入，以此类推。如果是网络中的最后一个DPNBlock，则会将sum和dense做通道合并，合并后的结果作为下一个模块的输入。
假设RDPB中的DPNBlock的数量为D，DPNBlock中的残差路径的输出通道数为F，密集连接路径的增长率为K。第n个RDPB中的第d个DPNBlock提取到的特征为可用公式表示如下：
其中，HDPNB,d(·)代表的是第n个RDPB中的第d个DPNBlock对应的运算。由于DPNBlock的输出特征图的个数会不断增长，为了减少计算量，本发明在RDPB的尾部引入一个1×1的卷积层来自适应地控制输出信息，本发明将这一操作称为局部特征融合(LocalFeatureFusion，LFF)，可用公式表示如下：
其中，表示的是第n个RDPB提取到的局部特征，表示的是第n个RDPB中的1×1卷积层对应的运算，该1×1卷积层的输出通道数为64。为了进一步改善信息流，本发明在RDPB中引入了局部残差学习。第n个RDPB最终提取到的特征可用公式表示如下：
在用一组RDPB提取到多个不同层次的特征之后，本发明进一步提出层次特征融合(Hierarchical Feature Fusion，HFF)来充分利用这些特征。HFF将会融合来自所有的RDPB提取到的特征，从而得到密集特征这个操作可以用公式表示如下：
其中，表示的是对第1个到第N个RDPB提取到的那些特征做通道合并后的结果，HHFF(·)代表的层次特征融合操作。为了进一步提高网络的表示能力，本发明在高层特征提取模块中引入了全局残差学习，经过全局残差学习之后得到全局特征这一过程可用公式表示如下：
在高层特征提取模块的末端，本发明采用一个ResBlock来进一步提取特征，从而得到高层特征这一操作可用公式表示如下：
其中，HRB(·)代表的是高层特征提取模块尾部的那个ResBlock对应的运算。该ResBlock中的卷积层的个数为2，卷积核大小为3×3，输出通道数为64。高层特征提取模块提取到的高层特征将作为上采样模块的输入，下面将详细介绍上采样模块。
上采样模块位于模型的尾部，用于将高层特征提取模块提取到的高层特征转化为高分辨率图像。之所以将上采样模块放在模型的尾部是为了使得模型中的大部分特征提取操作得以在低分辨率空间进行，从而能够显著地减少计算量。每个尺度都有其对应的上采样模块，高层特征经过其对应的上采样模块后再加上训练数据集的RGB均值即可得到最终的超分辨率图像这一过程可用公式表示如下：
其中，代表的是尺度S对应的超分辨率图像，HAM(·)代表的加均值操作。代表的是尺度S对应的上采样模块所对应的运算。每个上采样模块都是由一个卷积层和一个PixelShuffle层组成，其中PixelShuffle层代表的是与子像素卷积层等价的像素洗牌操作。在上采样模块中，卷积层的滤波器大小为3×3，输出通道个数为：C·S2，其中C表示输入图像的颜色通道个数，S表示尺度。尺度S对应的上采样模块中的PixelShuffle层的上采样因子就是S。
(3)搭建卷积神经网络模型。模型直接将低分辨率图像作为输入，依次经过步骤(2)构建的预处理模块、高层特征提取模块和上采样模块，最终得到重建出的高分辨率图像。本发明提出的MISRM-DPN中的RDPB的个数为N＝5，RDPB中的DPNBlock的个数为D＝2，DPNBlock中的残差路径的输出通道数为F＝64，密集连接路径的增长率为K＝32。
(4)采用步骤(1)中的图像训练集(ILR,IHR)作为训练集，用L1损失函数来训练步骤(3)中构建好的卷积神经网络模型；
(5)采用Adam优化器来优化根据步骤(1)至(4)构建的基于双路径网络的多尺度图像超分辨率模型，即MISRM-DPN模型的参数，得到低分辨率图像与高分辨率图像之间的端到端的网络映射；Adam优化器的参数设置如下：β1＝0.9,β2＝0.999,ε＝10-8。批大小(batchsize)设置为16，每个迭代(epoch)包含1000次反向传播迭代。学习率初始化为：2×10-4，每隔150个epochs就除以2，共训练650个epochs。
(6)根据步骤(5)优化得到的MISRM-DPN模型，即可将输入的低分辨率图像转化为高分辨率图像，并计算相应的客观评价指标峰值信噪比(PSNR)和结构相似性(SSIM)。进一步地，这两个指标的值越大则表明重建出的图像越接近原始的高分辨率图像。
Claims (10)
1.一种基于双路径网络的多尺度图像超分辨率方法，其特征在于，包括以下步骤：
(1)根据不同的尺度，生成多尺度的图像训练集(ILR,IHR)；
(2)构建预处理模块、高层特征提取模块以及上采样模块，每个尺度都有其对应的预处理模块和上采样模块，多个尺度之间共享高层特征提取模块；
(3)搭建卷积神经网络模型，所述卷积神经网络模型将低分辨率图像作为输入，沿传输方向依次经过步骤(2)中构建的预处理模块、高层特征提取模块和上采样模块，最终得到重建出的高分辨率图像；
(4)采用步骤(1)中的图像训练集(ILR,IHR)作为训练集，用L1损失函数来训练步骤(3)中构建好的卷积神经网络模型；
(5)采用Adam优化器来优化根据步骤(1)至(4)构建的基于双路径网络的多尺度图像超分辨率模型，即MISRM-DPN模型的参数，得到低分辨率图像与高分辨率图像之间的端到端的网络映射；
(6)根据步骤(5)优化得到的MISRM-DPN模型，将输入的低分辨率图像转化为高分辨率图像，并计算相应的客观评价指标峰值信噪比PSNR和结构相似性SSIM。
2.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(1)中采用的尺度包含2倍、3倍和4倍，形成多尺度的训练集。
3.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(1)采用的是开源公开的DIV2K数据集中的800张图片作为训练集，其中低分辨率图像是通过对高分辨率图像进行双三次插值下采样来获得。
4.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(1)中的图像训练集在训练的时候采用的就是原始的RGB彩色图像，不需要转换到YCbCr空间。
5.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(2)中的预处理模块由2个残差块ResBlock组成，每个尺度都有其对应的预处理模块，每个ResBlock均由4个卷积层和3个线性整流函数ReLU激活层组成，卷积层的卷积核大小都是3×3。
6.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(2)中的高层特征提取模块主要由残差双路径块RDPB组成，每个RDPB主要由双路由网络块DPNBlock组成，高层特征提取模块中的RDPB的个数为5，RDPB中的DPNBlock的个数为2，DPNBlock中的残差路径的输出通道数为64，密集连接路径的增长率为32。
7.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(2)中的上采样模块位于模型的尾部，每个尺度都有其对应的上采样模块，上采样模块由一个卷积层和一个像素重组PixelShuffle层组成，其中PixelShuffle层代表的是与子像素卷积层等价的像素重组操作。
8.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(3)中搭建好的卷积神经网络模型在模型的头部会对每个低分辨率输入图像执行一个简单的预处理操作：减去DIV2K数据集的RGB均值；相应地，在模型的尾部会加上DIV2K数据集的均值。
9.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：步骤(3)中，所述卷积神经网络模型将低分辨率图像作为输入，在模型的头部，为了减少不同尺度的输入图像的差异，每个尺度都有其对应的预处理模块；在模型的中部，不同尺度共享高层特征提取模块，高层特征提取模块用于提取输入图像的高层特征，并将高层特征将作为上采样模块的输入；在模型的尾部，每个尺度都有其对应的上采样模块，用于将提取到的高层特征转化为高分辨率图像。
10.根据权利要求1所述的一种基于双路径网络的多尺度图像超分辨率方法，其特征在于：所述步骤(6)中的PSNR和SSIM这两个指标的值越大，则表示重建出的图像越接近原始的高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810964588.0A CN109064405A (zh) | 2018-08-23 | 2018-08-23 | 一种基于双路径网络的多尺度图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810964588.0A CN109064405A (zh) | 2018-08-23 | 2018-08-23 | 一种基于双路径网络的多尺度图像超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109064405A true CN109064405A (zh) | 2018-12-21 |
Family
ID=64755858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810964588.0A Withdrawn CN109064405A (zh) | 2018-08-23 | 2018-08-23 | 一种基于双路径网络的多尺度图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109064405A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109840290A (zh) * | 2019-01-23 | 2019-06-04 | 北京航空航天大学 | 一种基于端到端深度哈希的皮肤镜图像检索方法 |
| CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
| CN110097541A (zh) * | 2019-04-22 | 2019-08-06 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
| CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及系统 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110929811A (zh) * | 2019-10-21 | 2020-03-27 | 北京理工大学 | 一种获取全波形激光雷达高分辨率数据的深度学习方法 |
| CN111161386A (zh) * | 2019-12-30 | 2020-05-15 | 无锡触典科技有限公司 | 超声图像的渲染方法、装置及超声设备 |
| CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111242846A (zh) * | 2020-01-07 | 2020-06-05 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
| CN111461172A (zh) * | 2020-03-04 | 2020-07-28 | 哈尔滨工业大学 | 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法 |
| CN111626937A (zh) * | 2020-05-28 | 2020-09-04 | 成都三零凯天通信实业有限公司 | 一种人像超分辨率重建方法 |
| CN111724308A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 模糊图像处理方法及系统 |
| CN111754400A (zh) * | 2020-06-01 | 2020-10-09 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN112150360A (zh) * | 2020-09-16 | 2020-12-29 | 北京工业大学 | 一种基于稠密残差网络的ivus图像超分辨率重建方法 |
| CN112232433A (zh) * | 2020-10-27 | 2021-01-15 | 河北工业大学 | 一种基于双通路网络的肺结节良恶性分类方法 |
| CN112288626A (zh) * | 2020-10-10 | 2021-01-29 | 武汉大学 | 一种基于双路径深度融合的人脸幻构方法及系统 |
| CN112329878A (zh) * | 2020-11-16 | 2021-02-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| US11055819B1 (en) * | 2018-09-27 | 2021-07-06 | Amazon Technologies, Inc. | DualPath Deep BackProjection Network for super-resolution |
| CN113506336A (zh) * | 2021-06-30 | 2021-10-15 | 上海师范大学 | 一种基于卷积神经网络和注意力机制的光场深度预测方法 |
| CN113537246A (zh) * | 2021-08-12 | 2021-10-22 | 浙江大学 | 一种基于对抗学习的灰度图像同时上色超分方法 |
| CN113610706A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 基于卷积神经网络的模糊监控图像超分辨率重建方法 |
| US20220108425A1 (en) * | 2020-04-01 | 2022-04-07 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
| CN115409715A (zh) * | 2022-11-01 | 2022-11-29 | 北京科技大学 | 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
-
2018
- 2018-08-23 CN CN201810964588.0A patent/CN109064405A/zh not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| W. SHI等: "Real-time single im-age and video super-resolution using an efficient sub-pixel convolutional neural network", 《CVPR》 * |
| YULUN ZHANG等: "Residual Dense Network for Image Super-Resolution", 《THESE CVPR 2018》 * |
| 李现国等: "基于中间层监督卷积神经网络的图像超分辨率重建", 《中国图像图形学报》 * |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11055819B1 (en) * | 2018-09-27 | 2021-07-06 | Amazon Technologies, Inc. | DualPath Deep BackProjection Network for super-resolution |
| CN109840290A (zh) * | 2019-01-23 | 2019-06-04 | 北京航空航天大学 | 一种基于端到端深度哈希的皮肤镜图像检索方法 |
| CN109859106A (zh) * | 2019-01-28 | 2019-06-07 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN110097541A (zh) * | 2019-04-22 | 2019-08-06 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
| CN110097541B (zh) * | 2019-04-22 | 2023-03-28 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
| CN110111329B (zh) * | 2019-05-17 | 2021-05-11 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及系统 |
| CN110111329A (zh) * | 2019-05-17 | 2019-08-09 | 四川大学华西第二医院 | 一种基于人工智能超声影像检测方法及系统 |
| CN110197468A (zh) * | 2019-06-06 | 2019-09-03 | 天津工业大学 | 一种基于多尺度残差学习网络的单图像超分辨重建算法 |
| CN110738231B (zh) * | 2019-07-25 | 2022-12-27 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110929811A (zh) * | 2019-10-21 | 2020-03-27 | 北京理工大学 | 一种获取全波形激光雷达高分辨率数据的深度学习方法 |
| CN110929811B (zh) * | 2019-10-21 | 2023-07-28 | 北京理工大学 | 一种获取全波形激光雷达高分辨率数据的深度学习方法 |
| CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111160413B (zh) * | 2019-12-12 | 2023-11-17 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111161386A (zh) * | 2019-12-30 | 2020-05-15 | 无锡触典科技有限公司 | 超声图像的渲染方法、装置及超声设备 |
| CN111242846B (zh) * | 2020-01-07 | 2022-03-22 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
| CN111242846A (zh) * | 2020-01-07 | 2020-06-05 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
| CN111461172A (zh) * | 2020-03-04 | 2020-07-28 | 哈尔滨工业大学 | 基于二维点组卷积的高光谱遥感数据的轻量级特征融合方法 |
| US11900563B2 (en) * | 2020-04-01 | 2024-02-13 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
| US20220108425A1 (en) * | 2020-04-01 | 2022-04-07 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111626937A (zh) * | 2020-05-28 | 2020-09-04 | 成都三零凯天通信实业有限公司 | 一种人像超分辨率重建方法 |
| CN111754400B (zh) * | 2020-06-01 | 2023-12-26 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111754400A (zh) * | 2020-06-01 | 2020-10-09 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111724308A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 模糊图像处理方法及系统 |
| CN112150360A (zh) * | 2020-09-16 | 2020-12-29 | 北京工业大学 | 一种基于稠密残差网络的ivus图像超分辨率重建方法 |
| CN112288626A (zh) * | 2020-10-10 | 2021-01-29 | 武汉大学 | 一种基于双路径深度融合的人脸幻构方法及系统 |
| CN112232433A (zh) * | 2020-10-27 | 2021-01-15 | 河北工业大学 | 一种基于双通路网络的肺结节良恶性分类方法 |
| CN112232433B (zh) * | 2020-10-27 | 2022-08-26 | 河北工业大学 | 一种基于双通路网络的肺结节良恶性分类方法 |
| CN112329878A (zh) * | 2020-11-16 | 2021-02-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法 |
| CN112528782A (zh) * | 2020-11-30 | 2021-03-19 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112528782B (zh) * | 2020-11-30 | 2024-02-23 | 北京农业信息技术研究中心 | 水下鱼类目标检测方法及装置 |
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN113506336A (zh) * | 2021-06-30 | 2021-10-15 | 上海师范大学 | 一种基于卷积神经网络和注意力机制的光场深度预测方法 |
| CN113506336B (zh) * | 2021-06-30 | 2024-04-26 | 上海师范大学 | 一种基于卷积神经网络和注意力机制的光场深度预测方法 |
| CN113610706A (zh) * | 2021-07-19 | 2021-11-05 | 河南大学 | 基于卷积神经网络的模糊监控图像超分辨率重建方法 |
| CN113537246A (zh) * | 2021-08-12 | 2021-10-22 | 浙江大学 | 一种基于对抗学习的灰度图像同时上色超分方法 |
| CN113537246B (zh) * | 2021-08-12 | 2024-07-12 | 浙江大学 | 一种基于对抗学习的灰度图像同时上色超分方法 |
| CN115409715A (zh) * | 2022-11-01 | 2022-11-29 | 北京科技大学 | 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064405A (zh) | 一种基于双路径网络的多尺度图像超分辨率方法 | |
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| US11551333B2 (en) | Image reconstruction method and device | |
| CN112634137B (zh) | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| An et al. | TR-MISR: Multiimage super-resolution based on feature fusion with transformers | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN113011562B (zh) | 一种模型训练方法及装置 | |
| WO2022022288A1 (zh) | 一种图像处理方法以及装置 | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| WO2024002211A1 (zh) | 一种图像处理方法及相关装置 | |
| CN117474781A (zh) | 一种基于注意力机制的高光谱与多光谱图像融合方法 | |
| CN113793267B (zh) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 | |
| Yoo et al. | Rzsr: Reference-based zero-shot super-resolution with depth guided self-exemplars | |
| Liu et al. | RAN: Region-aware network for remote sensing image super-resolution | |
| Zhang et al. | Unsupervised detail-preserving network for high quality monocular depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181221 |