CN109146788A - 基于深度学习的超分辨率图像重建方法和装置 - Google Patents
基于深度学习的超分辨率图像重建方法和装置 Download PDFInfo
- Publication number
- CN109146788A CN109146788A CN201810937200.8A CN201810937200A CN109146788A CN 109146788 A CN109146788 A CN 109146788A CN 201810937200 A CN201810937200 A CN 201810937200A CN 109146788 A CN109146788 A CN 109146788A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- resolution image
- low
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的超分辨率图像重建方法和装置，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合，使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，能够获得更好的重建效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的超分辨率图像重建方法和装置。
背景技术
超分辨率(Super-Resolution)是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率在视频压缩与传输、医学图像辅助诊断，安防监控以及卫星成像等领域有着广泛的应用前景。
超分辨率主要有以下两个评价标准：(1)图像的重建效果，重建的目标是恢复图像的高频信息，提高图像的质量，尽可能地提升重建图像的视觉效果；(2)图像的重建效率，目的就是在保证重建效果的同时，尽可能的提高重建速度。超分辨率重建根据技术原理的不同可以被划分为以下三种类型：基于差值的方法、基于重建的方法、基于学习的方法。其中，基于学习的方法是目前比较热门的方法，基于学习的方法通常是通过一个数据集学习高分辨率图像与低分辨图像之间的映射关系，然后，利用学习到的映射关系重建高分辨率图像。目前常用的学习方法包括SRCNN、ESPCN、VDSR等。
但是，现有的学习方法中，针对不同尺度的图像，超分辨率的增强效果不一致。
发明内容
本发明提供一种基于深度学习的超分辨率图像重建方法和装置，通过获取不同尺度的特征进行超分辨率重建，能够获得更好的重建效果。
本发明第一方面提供一种基于深度学习的超分辨率图像重建方法，包括：
根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，使用训练得到的模型参数和所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本发明第二方面提供一种基于深度学习的超分辨率图像重建装置，包括：
预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
重建模块，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述预处理模块具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，所述重建模块具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本发明第三方面提供一种终端设备，包括：处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如本发明第一方面所述的基于深度学习的超分辨率图像重建方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本发明第一方面所述的基于深度学习的超分辨率图像重建方法。
本发明提供的基于深度学习的超分辨率图像重建方法和装置，根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合，使用训练得到多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，实现了对图像的多尺度特征提取，使用不同尺度的特征进行超分辨率图像重建，能够获得更好的重建效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例一提供的基于深度学习的超分辨率图像重建方法的流程图；
图2为多尺度网络模型的一种示意图；
图3为图2所示的多尺度网络模型的特征提取网络的一种结构示意图；
图4为图2所示的多尺度网络模型的特征提取网络的又一种结构示意图；
图5为图3所示的残差学习块的一种示意图；
图6为本发明实施例二提供的基于深度学习的超分辨率图像重建装置的结构示意图；
图7为本发明实施例三提供的终端设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。
图1为本发明实施例一提供的基于深度学习的超分辨率图像重建方法的流程图，本实施例可以由具有图像处理功能的终端设备执行，例如，个人电脑、智能手机、平板电脑、个人数字助理(personal digital assistant，PDA)、膝上型计算机、电视等。如图1所示，本实施例的方法包括以下步骤：
步骤S101、根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集。
该图像集可以采用常用的图像集，例如DIV2K数据集、91-images数据集。示例性的，通过以下方式建立高分辨率图像和低分辨率图像对应的训练集：对图像集中的每张高分辨率图像进行高斯滤波；对每张经过高斯滤波后的高分辨率图像进行两次双三次插值(bicubic)，得到低分辨率图像，双三次插值使用的放大倍数为目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
图像集中包括多张高分辨率图，先对所有图像高分辨率图像进行高斯滤波，然后对滤波后的高分辨率图像进行一次bicubic，即对滤波后的高分辨率图像进行下采样，其中，下采样的倍数为多尺度网络模型的目标放大倍数，进一步的，对下采样后的图像再进行一次bicubic，即下采样得到的图像进行上采样，上采样的倍数为该目标放大倍数，通过对高分辨率图像进行两次bicubic得到低分辨率图像。
按照预设的滑动步长，将图像集中的每张高分辨率图像裁剪成多个图像块，构成HR(高分辨率)样本集合。按照相同的滑动步长，将每张低分辨率图像裁剪成多个图像块，构成LR(低分辨率)样本集合。其中，高分辨率样本集合中的图像块与低分辨率样本集合中的图像块一一对应，且对应的两个图像块的尺寸相同，编号相同。其中，高分辨率样本集合可以表示为：label_1～label_n，低分辨率样本集合可以表示为：input_1～input_n。
假设图像集中有800张2K高分辨率图像，裁剪成n＝180000个label图像，2K高分辨率图像对应的低分辨率图像按照相同的方式裁剪成n＝180000个input图像。
步骤S102、根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合。
图2为多尺度网络模型的一种示意图，如图2所示，该多尺度网络模型共分为六层：第一层为一个卷积网络，用于对输入的图像进行卷积；第二层包括N个特征提取网络，N大于或等于2，N个特征提取网络的网络深度不同，每个特征提取网络用于对卷积后的图像进行特性提取；第三层为一个组合网络，用于将多个特征提取网络提取到的多组特征进行组合，例如，将多组特征进行串联；第四层为一个卷积网络，用于对组合后的特征进行卷积，第五层为一个加法模块，用于将第四层的卷积网络得到的结果与第一层的卷积网络得到的结果进行相加，第六层为一个卷积层，用于对加法模块输出的结果进行卷积，得到重建后的高分辨率图像。可选的，上述各卷积网络使用的卷积核的大小可以为3x3。
一种实现方式中，每个特征提取网络用于对图像进行残差处理，相应的，每个特征提取网络包括至少一个残差学习块。图3为图2所示的多尺度网络模型的特征提取网络的一种结构示意图，如图3所示，该特征提取网络包括m个残差学习块，其中，m为大于或等于1的整数，m个残差学习模块串联。通过将残差学习从图像空间转移到特征图空间，不显式的得到残差图像，使得后续的重建效果更好。
另一种实现方式中，每个特征提取网络包括至少一个卷积层。图4为图2所示的多尺度网络模型的特征提取网络的又一种结构示意图，如图4所示，该特征提取网络包括m个卷积层，其中，m为大于或等于1的整数，m个卷积层串联。
一种示例性的方式中，每个残差学习块包括多个卷积层，卷积层之间还包括激活函数(activation function)。图5为图3所示的残差学习块的一种示意图，如图5所示，该残差学习块包括两个卷积层、一个激活函数和一个加法子模块，激活函数设置在两个卷积层之间。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。该激活函数可以是线性整流函数(Rectified LinearUnit，ReLU)，ReLU又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。加法子模块用于对经过卷积层和激活函数处理后的结果以及残差学习块的输入值进行相加。
本实施例中，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，从而能够实现对图像的多尺度特征提取，通过不同尺度的特征进行超分辨率重建，能够获得更好的重建效果。另外，每个特征提取网络可以采用残差学习，通过残差学习可以进一步提升重建效果。
示例性的，多个特征提取网络的网络深度呈阶梯状递增或递减。例如，假设多尺度网络模型共包括N个特征提取网络，每个特征提取网络由残差学习块组成，示例性的，第一个特征提取网络包括一个残差学习块，第二特征提取网络包括两个残差学习块，第三个特征提取网络包括3个残差学习块，以此类推，第N个特征提取网络包括N个残差学习块。
当每个特征提取网络由卷积层组成时，各特征提取网络的卷积层数不同，示例性的，第一个特征提取网络包括一个卷积层，第二个特征提取网络包括两个卷积层，第三个特征提取网络包括三个卷积层，以此类推，第N个特征提取网络包括N个卷积层。
可选的，多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为低分辨图像对应的高分辨率图像；
θ为模型参数。
可选的，多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为模型参数。
通过将训练集中的图像输入到多尺度网络模型中进行训练，得到模型参数θ，后续使用该模型参数进行高分辨图像重建。
步骤S103、使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
示例性的，使用双三次插值将输入的低分辨图像放大目标放大倍数，得到待处理的低分辨图像，然后使用多尺度网络模型对待处理的低分辨率图像进行重建得到高分辨率图像。
本实施例中，根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合，使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络特征提取网络对图像进行特征提取，并进行多特征组合，实现了对图像的多尺度特征提取，通过不同尺度的特征进行超分辨率图像重建，能够获得更好的重建效果。
图6为本发明实施例二提供的基于深度学习的超分辨率图像重建装置的结构示意图，本实施例的装置可以应用在具有图像处理功能的终端设备中，如图6所示，本实施例提供的装置包括：
预处理模块11，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块12，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
重建模块13，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述预处理模块11具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，所述重建模块13具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的、所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本实施例提供的装置可用于执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。
图7为本发明实施例三提供的终端设备的结构示意图，如图7所示，本实施例提供的终端设备包括：处理器21、存储器22和收发器23，所述存储器22用于存储指令，所述收发器23用于和其他设备通信，所述处理器21用于执行所述存储器22中存储的指令，以使所述终端设备执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。。
本发明实施例四提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (18)
1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括：
根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个卷积层。
3.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
4.根据权利要求1-3所述的方法，其特征在于，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
5.根据权利要求4所述的方法，其特征在于，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
7.根据权利要求1-3任一项所述的方法，其特征在于，使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
9.一种基于深度学习的超分辨率图像重建装置，其特征在于，包括：
预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
重建模块，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
10.根据权利要求9所述的装置，其特征在于，每个特征提取网络包括至少一个卷积层。
11.根据权利要求9所述的装置，其特征在于，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
13.根据权利要求12所述的装置，其特征在于，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
14.根据权利要求9-11任一项所述的装置，其特征在于，所述预处理模块具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
15.根据权利要求9-11任一项所述的装置，其特征在于，所述重建模块具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
16.根据权利要求9-11任一项所述的装置，其特征在于，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
17.一种终端设备，其特征在于，包括：处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如权利要求1-8任一项所述的基于深度学习的超分辨率图像重建方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求1-8任一项所述的基于深度学习的超分辨率图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810937200.8A CN109146788B (zh) | 2018-08-16 | 2018-08-16 | 基于深度学习的超分辨率图像重建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810937200.8A CN109146788B (zh) | 2018-08-16 | 2018-08-16 | 基于深度学习的超分辨率图像重建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146788A true CN109146788A (zh) | 2019-01-04 |
| CN109146788B CN109146788B (zh) | 2023-04-18 |
Family
ID=64789920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810937200.8A Active CN109146788B (zh) | 2018-08-16 | 2018-08-16 | 基于深度学习的超分辨率图像重建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146788B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785237A (zh) * | 2019-01-25 | 2019-05-21 | 广东工业大学 | 一种太赫兹图像超分辨率重建方法、系统及相关装置 |
| CN109816612A (zh) * | 2019-02-18 | 2019-05-28 | 京东方科技集团股份有限公司 | 图像增强方法和装置、计算机可读存储介质 |
| CN109948627A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN110264410A (zh) * | 2019-05-07 | 2019-09-20 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110619605A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 并行气象要素降尺度方法、装置、电子设备及存储介质 |
| CN110648282A (zh) * | 2019-09-29 | 2020-01-03 | 燕山大学 | 一种基于宽度神经网络的图像超分辨率重建方法及系统 |
| CN110956671A (zh) * | 2019-12-12 | 2020-04-03 | 电子科技大学 | 一种基于多尺度特征编码的图像压缩方法 |
| CN111223161A (zh) * | 2020-01-02 | 2020-06-02 | 京东数字科技控股有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
| CN111353940A (zh) * | 2020-03-31 | 2020-06-30 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN111505738A (zh) * | 2020-03-17 | 2020-08-07 | 上海眼控科技股份有限公司 | 数值天气预报中气象因素的预测方法及设备 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN112070667A (zh) * | 2020-08-14 | 2020-12-11 | 西安理工大学 | 一种多尺度特征融合的视频超分辨率重建的方法 |
| CN112200725A (zh) * | 2020-10-26 | 2021-01-08 | 深圳大学 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
| CN112580381A (zh) * | 2020-12-23 | 2021-03-30 | 成都数之联科技有限公司 | 一种基于深度学习的二维码超辨率重构增强方法及系统 |
| WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
-
2018
- 2018-08-16 CN CN201810937200.8A patent/CN109146788B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李现国等: "基于中间层监督卷积神经网络的图像超分辨率重建", 《中国图象图形学报》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785237A (zh) * | 2019-01-25 | 2019-05-21 | 广东工业大学 | 一种太赫兹图像超分辨率重建方法、系统及相关装置 |
| CN109785237B (zh) * | 2019-01-25 | 2022-10-18 | 广东工业大学 | 一种太赫兹图像超分辨率重建方法、系统及相关装置 |
| CN109816612A (zh) * | 2019-02-18 | 2019-05-28 | 京东方科技集团股份有限公司 | 图像增强方法和装置、计算机可读存储介质 |
| US11107194B2 (en) | 2019-02-18 | 2021-08-31 | Boe Technology Group Co., Ltd. | Neural network for enhancing original image, and computer-implemented method for enhancing original image using neural network |
| CN109948627A (zh) * | 2019-03-11 | 2019-06-28 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN109978764B (zh) * | 2019-03-11 | 2021-03-02 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN110047044B (zh) * | 2019-03-21 | 2021-01-29 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN111784570A (zh) * | 2019-04-04 | 2020-10-16 | Tcl集团股份有限公司 | 一种视频图像超分辨率重建方法及设备 |
| CN110264410A (zh) * | 2019-05-07 | 2019-09-20 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110264410B (zh) * | 2019-05-07 | 2021-06-15 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110619605B (zh) * | 2019-09-17 | 2022-12-20 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 并行气象要素降尺度方法、装置、电子设备及存储介质 |
| CN110619605A (zh) * | 2019-09-17 | 2019-12-27 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 并行气象要素降尺度方法、装置、电子设备及存储介质 |
| CN110648282A (zh) * | 2019-09-29 | 2020-01-03 | 燕山大学 | 一种基于宽度神经网络的图像超分辨率重建方法及系统 |
| CN110956671A (zh) * | 2019-12-12 | 2020-04-03 | 电子科技大学 | 一种基于多尺度特征编码的图像压缩方法 |
| CN111223161A (zh) * | 2020-01-02 | 2020-06-02 | 京东数字科技控股有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111223161B (zh) * | 2020-01-02 | 2024-04-12 | 京东科技控股股份有限公司 | 一种图像重建方法、装置及存储介质 |
| CN111505738A (zh) * | 2020-03-17 | 2020-08-07 | 上海眼控科技股份有限公司 | 数值天气预报中气象因素的预测方法及设备 |
| CN111353940A (zh) * | 2020-03-31 | 2020-06-30 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
| CN112070667A (zh) * | 2020-08-14 | 2020-12-11 | 西安理工大学 | 一种多尺度特征融合的视频超分辨率重建的方法 |
| CN112200725A (zh) * | 2020-10-26 | 2021-01-08 | 深圳大学 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
| CN112200725B (zh) * | 2020-10-26 | 2023-11-28 | 深圳大学 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
| CN112580381A (zh) * | 2020-12-23 | 2021-03-30 | 成都数之联科技有限公司 | 一种基于深度学习的二维码超辨率重构增强方法及系统 |
| WO2023159581A1 (zh) * | 2022-02-28 | 2023-08-31 | 京东方科技集团股份有限公司 | 机器学习模型的训练方法、装置和图像的处理方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146788B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| Jiang et al. | Deep distillation recursive network for remote sensing imagery super-resolution | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Zhao et al. | Unsupervised degradation learning for single image super-resolution | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN108475415A (zh) | 用于图像处理的方法和系统 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| CN114581347B (zh) | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 | |
| Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN116091313A (zh) | 一种图像超分辨率网络模型和重建方法 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| Dai et al. | Gated convolutional networks for cloud removal from bi-temporal remote sensing images | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN110634103A (zh) | 基于生成对抗网络的图像去马赛克方法 | |
| CN112419152A (zh) | 一种图像超分辨率方法、装置、终端设备和存储介质 | |
| CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| Pan et al. | FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |