CN109146788B - 基于深度学习的超分辨率图像重建方法和装置 - Google Patents

基于深度学习的超分辨率图像重建方法和装置 Download PDF

Info

Publication number
CN109146788B
CN109146788B CN201810937200.8A CN201810937200A CN109146788B CN 109146788 B CN109146788 B CN 109146788B CN 201810937200 A CN201810937200 A CN 201810937200A CN 109146788 B CN109146788 B CN 109146788B
Authority
CN
China
Prior art keywords
resolution image
image
network
low
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810937200.8A
Other languages
English (en)
Other versions
CN109146788A (zh
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810937200.8A priority Critical patent/CN109146788B/zh
Publication of CN109146788A publication Critical patent/CN109146788A/zh
Application granted granted Critical
Publication of CN109146788B publication Critical patent/CN109146788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习的超分辨率图像重建方法和装置，包括：根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合，使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，能够获得更好的重建效果。

Description

基于深度学习的超分辨率图像重建方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的超分辨率图像重建方法和装置。
背景技术
超分辨率(Super-Resolution)是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率在视频压缩与传输、医学图像辅助诊断，安防监控以及卫星成像等领域有着广泛的应用前景。
超分辨率主要有以下两个评价标准：(1)图像的重建效果，重建的目标是恢复图像的高频信息，提高图像的质量，尽可能地提升重建图像的视觉效果；(2)图像的重建效率，目的就是在保证重建效果的同时，尽可能的提高重建速度。超分辨率重建根据技术原理的不同可以被划分为以下三种类型：基于差值的方法、基于重建的方法、基于学习的方法。其中，基于学习的方法是目前比较热门的方法，基于学习的方法通常是通过一个数据集学习高分辨率图像与低分辨图像之间的映射关系，然后，利用学习到的映射关系重建高分辨率图像。目前常用的学习方法包括SRCNN、ESPCN、VDSR等。
但是，现有的学习方法中，针对不同尺度的图像，超分辨率的增强效果不一致。
发明内容
本发明提供一种基于深度学习的超分辨率图像重建方法和装置，通过获取不同尺度的特征进行超分辨率重建，能够获得更好的重建效果。
本发明第一方面提供一种基于深度学习的超分辨率图像重建方法，包括：
根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
Figure BDA0001768120750000021
其中，
Figure BDA0001768120750000022
为低分辨率图像；
Figure BDA0001768120750000023
为所述低分辨图像
Figure BDA0001768120750000024
对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
Figure BDA0001768120750000025
其中，m和n表示图像的尺寸；
Figure BDA0001768120750000026
为低分辨率图像；
Figure BDA0001768120750000027
为所述低分辨图像
Figure BDA0001768120750000028
对应的高分辨率图像；
Figure BDA0001768120750000029
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，使用训练得到的模型参数和所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本发明第二方面提供一种基于深度学习的超分辨率图像重建装置，包括：
预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
重建模块，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
Figure BDA0001768120750000031
其中，
Figure BDA0001768120750000032
为低分辨率图像；
Figure BDA0001768120750000033
为所述低分辨图像
Figure BDA0001768120750000034
对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
Figure BDA0001768120750000035
其中，m和n表示图像的尺寸；
Figure BDA0001768120750000036
为低分辨率图像；
Figure BDA0001768120750000037
为所述低分辨图像
Figure BDA0001768120750000038
对应的高分辨率图像；
Figure BDA0001768120750000039
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述预处理模块具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，所述重建模块具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本发明第三方面提供一种终端设备，包括：处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如本发明第一方面所述的基于深度学习的超分辨率图像重建方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本发明第一方面所述的基于深度学习的超分辨率图像重建方法。
本发明提供的基于深度学习的超分辨率图像重建方法和装置，根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合，使用训练得到多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络对图像进行特征提取，并进行多特征组合，实现了对图像的多尺度特征提取，使用不同尺度的特征进行超分辨率图像重建，能够获得更好的重建效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例一提供的基于深度学习的超分辨率图像重建方法的流程图；
图2为多尺度网络模型的一种示意图；
图3为图2所示的多尺度网络模型的特征提取网络的一种结构示意图；
图4为图2所示的多尺度网络模型的特征提取网络的又一种结构示意图；
图5为图3所示的残差学习块的一种示意图；
图6为本发明实施例二提供的基于深度学习的超分辨率图像重建装置的结构示意图；
图7为本发明实施例三提供的终端设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。
图1为本发明实施例一提供的基于深度学习的超分辨率图像重建方法的流程图，本实施例可以由具有图像处理功能的终端设备执行，例如，个人电脑、智能手机、平板电脑、个人数字助理(personal digital assistant，PDA)、膝上型计算机、电视等。如图1所示，本实施例的方法包括以下步骤：
步骤S101、根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集。
该图像集可以采用常用的图像集，例如DIV2K数据集、91-images数据集。示例性的，通过以下方式建立高分辨率图像和低分辨率图像对应的训练集：对图像集中的每张高分辨率图像进行高斯滤波；对每张经过高斯滤波后的高分辨率图像进行两次双三次插值(bicubic)，得到低分辨率图像，双三次插值使用的放大倍数为目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
图像集中包括多张高分辨率图，先对所有图像高分辨率图像进行高斯滤波，然后对滤波后的高分辨率图像进行一次bicubic，即对滤波后的高分辨率图像进行下采样，其中，下采样的倍数为多尺度网络模型的目标放大倍数，进一步的，对下采样后的图像再进行一次bicubic，即下采样得到的图像进行上采样，上采样的倍数为该目标放大倍数，通过对高分辨率图像进行两次bicubic得到低分辨率图像。
按照预设的滑动步长，将图像集中的每张高分辨率图像裁剪成多个图像块，构成HR(高分辨率)样本集合。按照相同的滑动步长，将每张低分辨率图像裁剪成多个图像块，构成LR(低分辨率)样本集合。其中，高分辨率样本集合中的图像块与低分辨率样本集合中的图像块一一对应，且对应的两个图像块的尺寸相同，编号相同。其中，高分辨率样本集合可以表示为：label_1～label_n，低分辨率样本集合可以表示为：input_1～input_n。
假设图像集中有800张2K高分辨率图像，裁剪成n＝180000个label图像，2K高分辨率图像对应的低分辨率图像按照相同的方式裁剪成n＝180000个input图像。
步骤S102、根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合。
图2为多尺度网络模型的一种示意图，如图2所示，该多尺度网络模型共分为六层：第一层为一个卷积网络，用于对输入的图像进行卷积；第二层包括N个特征提取网络，N大于或等于2，N个特征提取网络的网络深度不同，每个特征提取网络用于对卷积后的图像进行特性提取；第三层为一个组合网络，用于将多个特征提取网络提取到的多组特征进行组合，例如，将多组特征进行串联；第四层为一个卷积网络，用于对组合后的特征进行卷积，第五层为一个加法模块，用于将第四层的卷积网络得到的结果与第一层的卷积网络得到的结果进行相加，第六层为一个卷积层，用于对加法模块输出的结果进行卷积，得到重建后的高分辨率图像。可选的，上述各卷积网络使用的卷积核的大小可以为3x3。
一种实现方式中，每个特征提取网络用于对图像进行残差处理，相应的，每个特征提取网络包括至少一个残差学习块。图3为图2所示的多尺度网络模型的特征提取网络的一种结构示意图，如图3所示，该特征提取网络包括m个残差学习块，其中，m为大于或等于1的整数，m个残差学习模块串联。通过将残差学习从图像空间转移到特征图空间，不显式的得到残差图像，使得后续的重建效果更好。
另一种实现方式中，每个特征提取网络包括至少一个卷积层。图4为图2所示的多尺度网络模型的特征提取网络的又一种结构示意图，如图4所示，该特征提取网络包括m个卷积层，其中，m为大于或等于1的整数，m个卷积层串联。
一种示例性的方式中，每个残差学习块包括多个卷积层，卷积层之间还包括激活函数(activation function)。图5为图3所示的残差学习块的一种示意图，如图5所示，该残差学习块包括两个卷积层、一个激活函数和一个加法子模块，激活函数设置在两个卷积层之间。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。该激活函数可以是线性整流函数(Rectified LinearUnit，ReLU)，ReLU又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。加法子模块用于对经过卷积层和激活函数处理后的结果以及残差学习块的输入值进行相加。
本实施例中，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，从而能够实现对图像的多尺度特征提取，通过不同尺度的特征进行超分辨率重建，能够获得更好的重建效果。另外，每个特征提取网络可以采用残差学习，通过残差学习可以进一步提升重建效果。
示例性的，多个特征提取网络的网络深度呈阶梯状递增或递减。例如，假设多尺度网络模型共包括N个特征提取网络，每个特征提取网络由残差学习块组成，示例性的，第一个特征提取网络包括一个残差学习块，第二特征提取网络包括两个残差学习块，第三个特征提取网络包括3个残差学习块，以此类推，第N个特征提取网络包括N个残差学习块。
当每个特征提取网络由卷积层组成时，各特征提取网络的卷积层数不同，示例性的，第一个特征提取网络包括一个卷积层，第二个特征提取网络包括两个卷积层，第三个特征提取网络包括三个卷积层，以此类推，第N个特征提取网络包括N个卷积层。
可选的，多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
Figure BDA0001768120750000081
其中，
Figure BDA0001768120750000082
为低分辨率图像；
Figure BDA0001768120750000083
为低分辨图像
Figure BDA0001768120750000084
对应的高分辨率图像；
θ为模型参数。
可选的，多尺度网络模型的损失函数如下：
Figure BDA0001768120750000085
其中，m和n表示图像的尺寸；
Figure BDA0001768120750000086
为低分辨率图像；
Figure BDA0001768120750000087
为低分辨图像
Figure BDA0001768120750000088
对应的高分辨率图像；
Figure BDA0001768120750000089
为低分辨图像和高分辨图像之间的映射函数，θ为模型参数。
通过将训练集中的图像输入到多尺度网络模型中进行训练，得到模型参数θ，后续使用该模型参数进行高分辨图像重建。
步骤S103、使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
示例性的，使用双三次插值将输入的低分辨图像放大目标放大倍数，得到待处理的低分辨图像，然后使用多尺度网络模型对待处理的低分辨率图像进行重建得到高分辨率图像。
本实施例中，根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，根据训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，多尺度网络模型包括多个特征提取网络和一个组合网络，多个特征提取网络的网络深度不同，多个特征提取网络分别用于提取图像的特征，组合网络用于对多个特征提取网络提取到的多组特征进行组合，使用训练得到的多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。通过多个网络深度不同的特征提取网络特征提取网络对图像进行特征提取，并进行多特征组合，实现了对图像的多尺度特征提取，通过不同尺度的特征进行超分辨率图像重建，能够获得更好的重建效果。
图6为本发明实施例二提供的基于深度学习的超分辨率图像重建装置的结构示意图，本实施例的装置可以应用在具有图像处理功能的终端设备中，如图6所示，本实施例提供的装置包括：
预处理模块11，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块12，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；
重建模块13，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
可选的，每个特征提取网络包括至少一个卷积层。
可选的，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
可选的，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
Figure BDA0001768120750000091
其中，
Figure BDA0001768120750000092
为低分辨率图像；
Figure BDA0001768120750000093
为所述低分辨图像
Figure BDA0001768120750000094
对应的高分辨率图像；
θ为所述模型参数。
可选的，所述多尺度网络模型的损失函数如下：
Figure BDA0001768120750000095
其中，m和n表示图像的尺寸；
Figure BDA0001768120750000096
为低分辨率图像；
Figure BDA0001768120750000097
为所述低分辨图像
Figure BDA0001768120750000098
对应的高分辨率图像；
Figure BDA0001768120750000099
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
可选的，所述预处理模块11具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
可选的，所述重建模块13具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
可选的、所述多个特征提取网络的网络深度呈阶梯状递增或递减。
本实施例提供的装置可用于执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。
图7为本发明实施例三提供的终端设备的结构示意图，如图7所示，本实施例提供的终端设备包括：处理器21、存储器22和收发器23，所述存储器22用于存储指令，所述收发器23用于和其他设备通信，所述处理器21用于执行所述存储器22中存储的指令，以使所述终端设备执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。。
本发明实施例四提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行实施例一提供的方法，具体实现方式和技术效果类似，这里不再赘述。。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (18)

1.一种基于深度学习的超分辨率图像重建方法，其特征在于，包括：
根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；其中，所述多尺度网络模型共分为六层：第一层为一个卷积网络，用于对输入的图像进行卷积；第二层包括N个特征提取网络，N大于或等于2，N个特征提取网络的网络深度不同，每个特征提取网络用于对卷积后的图像进行特性提取；第三层为一个组合网络，用于将多个特征提取网络提取到的多组特征进行组合；第四层为一个卷积网络，用于对组合后的特征进行卷积，第五层为一个加法模块，用于将第四层的卷积网络得到的结果与第一层的卷积网络得到的结果进行相加；第六层为一个卷积层，用于对加法模块输出的结果进行卷积，得到重建后的高分辨率图像；
使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个卷积层。
3.根据权利要求1所述的方法，其特征在于，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
5.根据权利要求4所述的方法，其特征在于，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据图像集和图像放大倍数，建立高分辨率图像和低分辨率图像对应的训练集，包括：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
7.根据权利要求1-3任一项所述的方法，其特征在于，使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像，包括：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
9.一种基于深度学习的超分辨率图像重建装置，其特征在于，包括：
预处理模块，用于根据图像集和目标放大倍数，建立高分辨率图像和低分辨率图像对应的训练集；
训练模块，用于根据所述训练集和预先构建的多尺度网络模型，进行网络训练，得到模型参数，其中，所述多尺度网络模型包括多个特征提取网络和一个组合网络，所述多个特征提取网络的网络深度不同，所述多个特征提取网络分别用于提取图像的特征，所述组合网络用于对所述多个特征提取网络提取到的多组特征进行组合；其中，所述多尺度网络模型共分为六层：第一层为一个卷积网络，用于对输入的图像进行卷积；第二层包括N个特征提取网络，N大于或等于2，N个特征提取网络的网络深度不同，每个特征提取网络用于对卷积后的图像进行特性提取；第三层为一个组合网络，用于将多个特征提取网络提取到的多组特征进行组合；第四层为一个卷积网络，用于对组合后的特征进行卷积，第五层为一个加法模块，用于将第四层的卷积网络得到的结果与第一层的卷积网络得到的结果进行相加；第六层为一个卷积层，用于对加法模块输出的结果进行卷积，得到重建后的高分辨率图像；
重建模块，用于使用训练得到的所述多尺度网络模型，对输入的低分辨率图像重建得到高分辨率图像。
10.根据权利要求9所述的装置，其特征在于，每个特征提取网络包括至少一个卷积层。
11.根据权利要求9所述的装置，其特征在于，每个特征提取网络包括至少一个残差学习块，所述残差学习块包括多个卷积层，卷积层之间还包括激活函数。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述多尺度网络模型的低分辨图像和高分辨图像之间的映射函数为：
其中，为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
θ为所述模型参数。
13.根据权利要求12所述的装置，其特征在于，所述多尺度网络模型的损失函数如下：
其中，m和n表示图像的尺寸；
为低分辨率图像；
为所述低分辨图像对应的高分辨率图像；
为低分辨图像和高分辨图像之间的映射函数，θ为所述模型参数。
14.根据权利要求9-11任一项所述的装置，其特征在于，所述预处理模块具体用于：
对所述图像集中的每张高分辨率图像进行高斯滤波；
对每张经过高斯滤波后的所述高分辨率图像进行两次双三次插值，得到低分辨率图像，所述双三次插值使用的放大倍数为所述目标放大倍数，其中，第一次双三次插值为下采样，第二次双三次插值为上采样；
将每张高分辨率图像和低分辨率图像裁剪成多个尺寸相同的图像块。
15.根据权利要求9-11任一项所述的装置，其特征在于，所述重建模块具体用于：
使用双三次插值将所述输入的低分辨图像放大所述目标放大倍数，得到待处理的低分辨图像；
使用训练得到的所述多尺度网络模型对所述待处理的低分辨率图像进行重建得到高分辨率图像。
16.根据权利要求9-11任一项所述的装置，其特征在于，所述多个特征提取网络的网络深度呈阶梯状递增或递减。
17.一种终端设备，其特征在于，包括：处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述终端设备执行如权利要求1-8任一项所述的基于深度学习的超分辨率图像重建方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求1-8任一项所述的基于深度学习的超分辨率图像重建方法。
CN201810937200.8A 2018-08-16 2018-08-16 基于深度学习的超分辨率图像重建方法和装置 Active CN109146788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810937200.8A CN109146788B (zh) 2018-08-16 2018-08-16 基于深度学习的超分辨率图像重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810937200.8A CN109146788B (zh) 2018-08-16 2018-08-16 基于深度学习的超分辨率图像重建方法和装置

Publications (2)

Publication Number Publication Date
CN109146788A CN109146788A (zh) 2019-01-04
CN109146788B true CN109146788B (zh) 2023-04-18

Family

ID=64789920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810937200.8A Active CN109146788B (zh) 2018-08-16 2018-08-16 基于深度学习的超分辨率图像重建方法和装置

Country Status (1)

Country Link
CN (1) CN109146788B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785237B (zh) * 2019-01-25 2022-10-18 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN109816612A (zh) 2019-02-18 2019-05-28 京东方科技集团股份有限公司 图像增强方法和装置、计算机可读存储介质
CN109948627A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109978764B (zh) * 2019-03-11 2021-03-02 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110047044B (zh) * 2019-03-21 2021-01-29 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
CN110264410B (zh) * 2019-05-07 2021-06-15 西安理工大学 一种基于细节特征的图像超分辨率重建方法
CN110619605B (zh) * 2019-09-17 2022-12-20 中国气象局公共气象服务中心(国家预警信息发布中心) 并行气象要素降尺度方法、装置、电子设备及存储介质
CN110648282B (zh) * 2019-09-29 2021-03-23 燕山大学 一种基于宽度神经网络的图像超分辨率重建方法及系统
CN110956671B (zh) * 2019-12-12 2022-08-02 电子科技大学 一种基于多尺度特征编码的图像压缩方法
CN111223161B (zh) * 2020-01-02 2024-04-12 京东科技控股股份有限公司 一种图像重建方法、装置及存储介质
CN111505738A (zh) * 2020-03-17 2020-08-07 上海眼控科技股份有限公司 数值天气预报中气象因素的预测方法及设备
CN111353940B (zh) * 2020-03-31 2021-04-02 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111340711B (zh) * 2020-05-21 2020-09-08 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN112070667A (zh) * 2020-08-14 2020-12-11 西安理工大学 一种多尺度特征融合的视频超分辨率重建的方法
CN112200725B (zh) * 2020-10-26 2023-11-28 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN112580381A (zh) * 2020-12-23 2021-03-30 成都数之联科技有限公司 一种基于深度学习的二维码超辨率重构增强方法及系统
WO2023159581A1 (zh) * 2022-02-28 2023-08-31 京东方科技集团股份有限公司 机器学习模型的训练方法、装置和图像的处理方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106683067B (zh) * 2017-01-20 2020-06-23 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN106991646B (zh) * 2017-03-28 2020-05-26 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN107833183B (zh) * 2017-11-29 2021-05-25 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法

Also Published As

Publication number Publication date
CN109146788A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN108154474B (zh) 一种超分辨率图像重构方法、装置、介质及设备
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN108109109B (zh) 一种超分辨率图像重构方法、装置、介质及计算设备
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN114549308B (zh) 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN111553861B (zh) 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN115439470A (zh) 息肉图像分割方法、计算机可读存储介质及计算机设备
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
CN116563167A (zh) 基于自适应纹理和频域感知的人脸图像重建方法、系统、装置及介质
Albluwi et al. Super-resolution on degraded low-resolution images using convolutional neural networks
Han et al. Two-stage network for single image super-resolution
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
Mun et al. Universal super-resolution for face and non-face regions via a facial feature network
CN110100263B (zh) 图像重建方法及装置
Zhang et al. Recent advances in deep learning for single image super-resolution
CN111724292A (zh) 图像处理方法、装置、设备以及计算机可读介质
CN110807746A (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant