CN115409713A - 一种高效实时的单张图像超分变率重建系统及方法 - Google Patents

一种高效实时的单张图像超分变率重建系统及方法 Download PDF

Info

Publication number
CN115409713A
CN115409713A CN202211201813.8A CN202211201813A CN115409713A CN 115409713 A CN115409713 A CN 115409713A CN 202211201813 A CN202211201813 A CN 202211201813A CN 115409713 A CN115409713 A CN 115409713A
Authority
CN
China
Prior art keywords
resolution
module
picture
super
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211201813.8A
Other languages
English (en)
Inventor
颜成钢
徐文
陈泉
李浩然
王鸿奎
陈楚翘
朱尊杰
高宇涵
孙垚棋
殷海兵
胡冀
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211201813.8A priority Critical patent/CN115409713A/zh
Publication of CN115409713A publication Critical patent/CN115409713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高效实时的单张图像超分变率重建系统及方法，单图像超分辨率重建方法首先进行数据预处理，然后构建高效实时的图像超分辨率重建网络；通过预处理后的数据训练构建好的图像超分辨重建网络，使网络具有图像超分辨重建的效果；最后通过训练好的图像超分辨重建网络完成单图像超分辨率重建。单图像超分辨重建系统，包括数据预处理模块、网络构建模块、训练模块和图像超分辨重建模块。本发明减少网络模型参数量，使得网络模型的计算量减少，资源消耗少；在性能和效率方便达到很好的平衡；能够部署在移动端设备上。

Description

一种高效实时的单张图像超分变率重建系统及方法
技术领域
本发明属于数字图像处理之图像超分领域，涉及基于深度学习的单张图像超分辨率重建方法，注重实时高效的算法处理。
背景技术
图像超分辨率(super-resolution,SR)是指由一幅低分辨率图像(low-resolution,LR)或图像序列恢复出高分辨率图像(high-resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像具有重要的现实意义。
单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。
近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由Dong等人提出的基于卷积神经网络的超分辨率重建(Super-Resolution using ConvolutionalNeural Networks，SRCNN)方法。随后几年中，VDSR，SRDenseNet，EDSR等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是，这一系列基于深度学习的重建算法理论基础是相似的，都是学习图像之间的映射关系，而且，随着模型的发展，模型的体积越来越大，训练成本逐渐增加，处理图片的时间越来越久。
发明内容
由于现存的单张图像超分辨率重建算法的参数量巨多，运算成本高，计算复杂度复杂。本发明提供一种高效实时的单张图像超分变率重建系统及方法。
本发明提供一种更加计算成本低，运算速度块的单张图像超分辨率重建方法。该方法先学习像素的真实分布和高分辨率图像的采样点，再从像素分布中重新采样高分辨率像素点来实现图像超分辨率重建。通过较为简洁的网络模型就可以取得视觉上可观的高分辨率图像。
一种高效实时的单图像超分辨率重建方法，步骤如下：
步骤(1)、数据预处理；
1-1：数据集下载：下载公开数据集DIV2K数据集和Set5数据集。其中选取DIV2K数据集中训练集的800张图片，作为训练数据；Set5数据集包含5张图片，作为验证数据。
1-2：训练数据处理：对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR。然后对高分辨率图片IHR和低分辨率图片ILR进行裁剪，IHR裁剪为大小为192*192，ILR裁剪为指定缩小倍数的大小，以达到数据增强的处理。低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中用于与模型输出图片进行对比的对比图片。
1-3：验证数据处理：对Set5数据集的5张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR。低分辨率图片ILR作为最终验证模型性能的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
步骤(2)、构建高效实时的图像超分辨率重建网络；
该图像超分辨重建网络包含三部分：第一部分是像素分布估计函数的参数估计模块，第二部分是采样坐标估计模块。第三部分是超分辨率图像重建模块。
参数估计模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C。首先经过一个卷积核数量为n1，滤波核尺寸5*5的卷积层；其次再经过一个卷积核数量为n2，滤波核尺寸3*3的卷积层；再次经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n4，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个PReLU非线性激活函数。经过参数估计模块，输入的低分辨率图片ILR的尺寸变为W*H*n4。
采样坐标估计模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C。首先经过一个卷积核数量为n5，滤波核尺寸3*3的卷积层；其次再经过一个卷积核数量为n6，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n7，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个PReLU非线性激活函数。经过采样坐标估计模块，输入的低分辨率图片ILR的尺寸变为W*H*n7。
超分辨率图像重建模块结构如下：包含一层节点数为k1的全连接层，一个卷积核数量为n8，滤波核尺寸为3*3的卷积层和一层倍数为s倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把卷积层的输出结果，按像素进行重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像。其中k1的取值和参数估计模块中输出图片的通道数有关，即n4＝2*k1+1。超分辨率图像重建模块采用的全连接层的参数是由参数估计模块结构的输出的尺寸为W*H*n4的特征得到的，将W*H*n4的特征按照通道数依次加载到超分辨率图像重建模块中全连接层的每一个节点。另外，超分辨率图像重建模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
步骤(3)、通过预处理后的数据训练构建好的图像超分辨重建网络，使网络具有图像超分辨重建的效果。
模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是低分辨率图像ILR中坐标为(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标。用一个W*H的2通道特征图分别表示一个相对坐标的值。将数据预处理中获得的低分辨率图片ILR输入进参数估计模块和采样坐标估计模块中，分别获得超分辨率图像重建模块中的全连接层所需的参数和超分辨图像重建模块的输入，即低分辨率图像ILR中坐标为(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标。最后通过超分辨率图像重建模块得到具有尺寸(W*s)*(H*s)*C的输出图片。该网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得网络输出图片(Iout)和数据预处理中高分辨率图片(IHR)具有近似相同的输出结果。
步骤(4)、通过训练好的图像超分辨重建网络完成单图像超分辨率重建。
一种高效实时的单图像超分辨重建系统，包括数据预处理模块、网络构建模块、训练模块和图像超分辨重建模块；
数据预处理模块：数据预处理模块用于建立网络模型训练所需要的图片数据。
数据预处理模块将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR。再对所获得的高分辨率图片IHR和低分辨率图片ILR进行裁剪，以达到数据增强。数据预处理模块构建的图片数据每2张图片一组，即包含低分辨率图片ILR和高分辨率图片IHR。低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
网络构建模块：网络构建模块用于搭建高效实时的图像超分辨率重建网络；
图像超分辨率重建网络包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块三部分。其中参数估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的权重，采样坐标估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的采样坐标信息。而超分辨率图像重建模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
训练模块：通过数据预处理模块处理完成的数据对网络构建模块搭建的图像超分辨重建网络进行训练，获得最好的网络模型参数，从而使图像超分辨重建网络能够更好的重建出与真实IHR图像相似的超高分辨率图像。
模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标。用一个W*H的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片ILR经过参数估计模块计算得到超分辨率图像重建模块所需要的参数，并将参数估计模块的输出特征分配给超分辨率图像重建模块；通过采样坐标估计模块获得的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入超分辨率图像重建模块，得到具有尺寸(W*s)*(H*s)*C的输出图片。该网络采用L1损失函数进行监督，实现L1(Iout-(IHR()→0,即使得网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
图像超分辨重建模块：用于将待处理的的低分辨率图片输入训练模块训练好的图像超分辨重建网络中完成超分辨重建。
首先，加载由训练模块训练完成的网络模型权重，更新模型中的参数，包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块。其次，输入需要进行超分辨重建的真实低分辨率图片，输入数据依次经过图像超分辨重建网络中的参数估计模块，采样坐标估计模块和超分辨率图像重建模块，得到具有超分辨重建效果的输出图片。
本发明有益效果如下：
1.减少网络模型参数量，使得网络模型的计算量减少，资源消耗少；
2.在性能和效率方便达到很好的平衡；
3.能够部署在移动端设备上。
附图说明
图1为本发明实施例图像超分辨重建系统图；
图2为本发明实施例图像超分辨重建网络模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先进行以下定义及说明：
高分辨率图像IHR：目标图片，未经过插值处理过的高分辨图片。
低分辨率图像ILR：由高分辨率图像IHR经过插值得到低分辨率图片。
输出高分辨图片Iout：低分辨率图像ILR经过算法计算后得到的高分辨率图片。
下采样s倍：高分辨率图像IHR双三次插值的下采样倍数。
符号ni：权重提取模块中，各个卷积层所对应的滤波核数量。
符号k1：像素分布估计模块中，全连接层所对应的结点数。
实施例参数汇总：
符号 含义 参数
n<sub>1</sub> 参数估计模块的第1层卷积核数量 64
n<sub>2</sub> 参数估计模块的第2层卷积核数量 32
n<sub>3</sub> 参数估计模块的第3层卷积核数量 32
n<sub>4</sub> 参数估计模块的第4层卷积核数量 25
n<sub>5</sub> 采样坐标估计模块的第1层卷积核数量 32
n<sub>6</sub> 采样坐标估计模块的第2层卷积核数量 8
n<sub>7</sub> 采样坐标估计模块的第3层卷积核数量 2
k<sub>1</sub> 全连接层第一层节点个数 12
s 下采样倍数 2
如图1所示，一种高效实时的单张图像超分辨率重建方法，其步骤如下：
步骤(1)、数据预处理；
1-1：数据集下载：下载公开数据集DIV2K数据集和Set5数据集。其中选取DIV2K数据集中训练集的800张图片，作为训练数据；Set5数据集包含5张图片，作为验证数据。
1-2：训练数据处理：对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数s＝2下采样的模糊处理，得到低分辨率图片ILR。然后对高分辨率图片IHR和低分辨率图片ILR进行裁剪，IHR裁剪为大小为192*192，ILR裁剪为指定缩小倍数的大小，即96*96，以达到数据增强的处理。低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中用于与模型输出图片进行对比的对比图片。
1-3：验证数据处理：对Set5数据集的5张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数s＝2下采样的模糊处理，得到低分辨率图片ILR。低分辨率图片ILR作为最终验证模型性能的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
步骤(2)、构建高效实时的图像超分辨率重建网络；
2-1：图像超分辨率重建理论。
在现实中，图像信号是连续的，我们所获得的数字图像是相机对连续的信号进行量化获得的。本发明提出的图像超分辨率重建理论，是通过现有的图像离散信号学习出特定一个低分辨率图像像素周围的真实连续像素信号，即像素分布估计函数f(x,y)。再通过学习图像之间的原本的采样关系，获得采样点坐标(ui,vi)。最后利用获得的采样点坐标通过像素分布估计函数获得对应的高分辨率图片IHR的像素点。可以公式化为：
PHR＝f(ui,vi)i＝0,1,....,s2
其中PHR为估计出来的特定低分辨率像素点所对应的高分辨率像素点,s为需要上采样的倍数。
2-2：构建高效实时的图像超分辨重建网络模型。
该图像超分辨重建网络包含三部分：第一部分是像素分布估计函数的参数估计模块，第二部分是采样坐标估计模块。第三部分是超分辨率图像重建模块。
参数估计模块结构如下：输入的低分辨率图片ILR的尺寸为96*96*1。首先经过一个卷积核数量为64，滤波核尺寸5*5的卷积层；其次再经过一个卷积核数量为32，滤波核尺寸3*3的卷积层；再次经过一个卷积核数量为32，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为25，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个PReLU非线性激活函数。经过参数估计模块，输入的低分辨率图片ILR的尺寸变为96*96*25。
采样坐标估计模块结构如下：输入的低分辨率图片ILR的尺寸为96*96*1。首先经过一个卷积核数量为32，滤波核尺寸3*3的卷积层；其次再经过一个卷积核数量为8，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为2，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个PReLU非线性激活函数。经过采样坐标估计模块，输入的低分辨率图片ILR的尺寸变为96*96*2。
超分辨率图像重建模块结构如下：包含一层节点数为12的全连接层，一个卷积核数量为4,滤波核尺寸为3*3的卷积层和一层倍数为2倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把卷积层的输出结果，按像素进行重新排列，生成尺寸为192*192*1的输出图像。
图2为本发明实施例图像超分辨重建网络模型结构示意图。
步骤(3)、通过预处理后的数据训练构建好的图像超分辨重建网络，使网络具有图像超分辨重建的效果。
训练高效实时的图像超分辨重建网络，使网络具有图像超分辨重建的效果。模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标。用一个96*96的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片ILR经过参数估计模块计算得到超分辨率图像重建模块所需要的参数，并将参数估计模块的输出特征分配给超分辨率图像重建模块；通过采样坐标估计模块获得的第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标以96*96的2通道特征图的形式输入超分辨率图像重建模块，得到具有尺寸192*192*1的输出图片。该网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
步骤(4)、通过训练好的图像超分辨重建网络完成单图像超分辨率重建。
一种高效实时的单图像超分辨重建系统，包括数据预处理模块、网络构建模块、训练模块和图像超分辨重建模块；
数据预处理模块：数据预处理模块用于建立网络模型训练所需要的图片数据。数据预处理模块将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数s＝2下采样的模糊处理，得到低分辨率图片ILR。再对所获得的高分辨率图片IHR和低分辨率图片ILR进行裁剪，以达到数据增强。数据预处理模块构建的图片数据每2张图片一组，即包含低分辨率图片ILR和高分辨率图片IHR。低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
网络构建模块：网络构建模块用于搭建并训练高效实时的图像超分辨率重建网络，包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块三部分。其中参数估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的权重，采样坐标估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的采样坐标信息。而超分辨率图像重建模块用于对输入的第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
训练模块：通过数据预处理模块处理完成的数据对网络构建模块搭建的图像超分辨重建网络进行训练，获得最好的网络模型参数，从而使网络能够更好的重建出与真实IHR图像相似的超高分辨率图像。
模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标。用一个96*96的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片ILR经过参数估计模块计算得到超分辨率图像重建模块所需要的参数，并将参数估计模块的输出特征分配给超分辨率图像重建模块；通过采样坐标估计模块获得的第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标以96*96的2通道特征图的形式输入超分辨率图像重建模块，得到具有尺寸192*192*C的输出图片。该网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
图像超分辨重建模块：用于将待处理的低分辨率图片输入训练好的图像超分辨重建网络中完成超分辨重建。首先，加载由训练模块训练完成的网络模型权重，更新模型中的参数，包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块。其次，输入需要进行超分辨重建的真实低分辨率图片，输入数据依次经过图像超分辨重建网络中的参数估计模块，采样坐标估计模块和超分辨率图像重建模块，得到具有超分辨重建效果的输出图片。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (9)

1.一种高效实时的单图像超分辨率重建方法，其特征在于，步骤如下：
步骤(1)、数据预处理；
步骤(2)、构建高效实时的图像超分辨率重建网络；
步骤(3)、通过预处理后的数据训练构建好的图像超分辨重建网络，使网络具有图像超分辨重建的效果；
步骤(4)、通过训练好的图像超分辨重建网络完成单图像超分辨率重建。
2.根据权利要求1所述的一种高效实时的单图像超分辨率重建方法，其特征在于，步骤(1)具体方法如下：
1-1：数据集下载：下载公开数据集DIV2K数据集和Set5数据集；其中选取DIV2K数据集中训练集的800张图片，作为训练数据；Set5数据集包含5张图片，作为验证数据；
1-2：训练数据处理：对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；然后对高分辨率图片IHR和低分辨率图片ILR进行裁剪，IHR裁剪为大小为192*192，ILR裁剪为指定缩小倍数的大小，以达到数据增强的处理；低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中用于与模型输出图片进行对比的对比图片；
1-3：验证数据处理：对Set5数据集的5张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；低分辨率图片ILR作为最终验证模型性能的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
3.根据权利要求2所述的一种高效实时的单图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下：
该图像超分辨重建网络包含三部分：第一部分是像素分布估计函数的参数估计模块，第二部分是采样坐标估计模块；第三部分是超分辨率图像重建模块；
参数估计模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C；首先经过一个卷积核数量为n1，滤波核尺寸5*5的卷积层；其次再经过一个卷积核数量为n2，滤波核尺寸3*3的卷积层；再次经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n4，滤波核尺寸3*3的卷积层；其中每个卷积层后面都连接一个PReLU非线性激活函数；经过参数估计模块，输入的低分辨率图片ILR的尺寸变为W*H*n4；
采样坐标估计模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C；首先经过一个卷积核数量为n5，滤波核尺寸3*3的卷积层；其次再经过一个卷积核数量为n6，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n7，滤波核尺寸3*3的卷积层；其中每个卷积层后面都连接一个PReLU非线性激活函数；经过采样坐标估计模块，输入的低分辨率图片ILR的尺寸变为W*H*n7；
超分辨率图像重建模块结构如下：包含一层节点数为k1的全连接层，一个卷积核数量为n8，滤波核尺寸为3*3的卷积层和一层倍数为s倍的Pixelshuffle层；全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把卷积层的输出结果，按像素进行重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像；其中k1的取值和参数估计模块中输出图片的通道数有关，即n4＝2*k1+1；超分辨率图像重建模块采用的全连接层的参数是由参数估计模块结构的输出的尺寸为W*H*n4的特征得到的，将W*H*n4的特征按照通道数依次加载到超分辨率图像重建模块中全连接层的每一个节点；另外，超分辨率图像重建模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
4.根据权利要求3所述的一种高效实时的单图像超分辨率重建方法，其特征在于，步骤(3)具体方法如下：
模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是低分辨率图像ILR中坐标为(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标；用一个W*H的2通道特征图分别表示一个相对坐标的值；将数据预处理中获得的低分辨率图片ILR输入进参数估计模块和采样坐标估计模块中，分别获得超分辨率图像重建模块中的全连接层所需的参数和超分辨图像重建模块的输入，即低分辨率图像ILR中坐标为(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标；最后通过超分辨率图像重建模块得到具有尺寸(W*s)*(H*s)*C的输出图片；该网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得网络输出图片(Iout)和数据预处理中高分辨率图片(IHR)具有近似相同的输出结果。
5.一种高效实时的单图像超分辨重建系统，其特征在于，包括数据预处理模块、网络构建模块、训练模块和图像超分辨重建模块；
数据预处理模块：数据预处理模块用于建立网络模型训练所需要的图片数据；
网络构建模块：网络构建模块用于搭建高效实时的图像超分辨率重建网络；
训练模块：通过数据预处理模块处理完成的数据对网络构建模块搭建的图像超分辨重建网络进行训练，获得最好的网络模型参数，从而使图像超分辨重建网络能够更好的重建出与真实IHR图像相似的超高分辨率图像；
图像超分辨重建模块：用于将待处理的的低分辨率图片输入训练模块训练好的图像超分辨重建网络中完成超分辨重建。
6.根据权利要求5所述的一种高效实时的单图像超分辨重建系统，其特征在于，数据预处理模块具体实现如下：
数据预处理模块将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；再对所获得的高分辨率图片IHR和低分辨率图片ILR进行裁剪，以达到数据增强；数据预处理模块构建的图片数据每2张图片一组，即包含低分辨率图片ILR和高分辨率图片IHR；低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
7.根据权利要求6所述的一种高效实时的单图像超分辨重建系统，其特征在于，网络构建模块具体实现如下：
图像超分辨率重建网络包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块三部分；其中参数估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的权重，采样坐标估计模块用于从输入的低分辨率图片ILR中计算出超分辨率图像重建模块所需要的采样坐标信息；而超分辨率图像重建模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
8.根据权利要求7所述的一种高效实时的单图像超分辨重建系统，其特征在于，训练模块具体实现如下：
模型输入包含两部分：第一部分是用于参数估计和采样坐标估计的低分辨率图片ILR；第二部分是第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，即估计出来的采样坐标；用一个W*H的2通道特征图分别表示一个相对坐标的值；输入的低分辨率图片ILR经过参数估计模块计算得到超分辨率图像重建模块所需要的参数，并将参数估计模块的输出特征分配给超分辨率图像重建模块；通过采样坐标估计模块获得的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入超分辨率图像重建模块，得到具有尺寸(W*s)*(H*s)*C的输出图片；该网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
9.根据权利要求8所述的一种高效实时的单图像超分辨重建系统，其特征在于，图像超分辨重建模块具体实现如下：
首先，加载由训练模块训练完成的网络模型权重，更新模型中的参数，包含参数估计模块，采样坐标估计模块和超分辨率图像重建模块；其次，输入需要进行超分辨重建的真实低分辨率图片，输入数据依次经过图像超分辨重建网络中的参数估计模块，采样坐标估计模块和超分辨率图像重建模块，得到具有超分辨重建效果的输出图片。
CN202211201813.8A 2022-09-29 2022-09-29 一种高效实时的单张图像超分变率重建系统及方法 Pending CN115409713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211201813.8A CN115409713A (zh) 2022-09-29 2022-09-29 一种高效实时的单张图像超分变率重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211201813.8A CN115409713A (zh) 2022-09-29 2022-09-29 一种高效实时的单张图像超分变率重建系统及方法

Publications (1)

Publication Number Publication Date
CN115409713A true CN115409713A (zh) 2022-11-29

Family

ID=84168646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211201813.8A Pending CN115409713A (zh) 2022-09-29 2022-09-29 一种高效实时的单张图像超分变率重建系统及方法

Country Status (1)

Country Link
CN (1) CN115409713A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128727A (zh) * 2023-02-02 2023-05-16 中国人民解放军国防科技大学 极化雷达图像超分辨方法、系统、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128727A (zh) * 2023-02-02 2023-05-16 中国人民解放军国防科技大学 极化雷达图像超分辨方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN108376387B (zh) 基于聚合膨胀卷积网络的图像去模糊方法
Fokina et al. Microstructure synthesis using style-based generative adversarial networks
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN112419150A (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN113298716A (zh) 基于卷积神经网络的图像超分辨率重建方法
CN112200720A (zh) 一种基于滤波器融合的超分辨率图像重建方法及系统
Hui et al. Two-stage convolutional network for image super-resolution
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN115409713A (zh) 一种高效实时的单张图像超分变率重建系统及方法
CN115222614A (zh) 一种先验引导的多降质特征夜光遥感影像质量提升方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN114897704A (zh) 一种基于反馈机制的单图像超分辨率算法
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN111199237A (zh) 一种基于注意力的卷积神经网络分频特征提取方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN116434039B (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN112991181B (zh) 一种基于反应扩散方程的图像超分辨率重建方法
CN114529482B (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN113538231B (zh) 一种基于像素分布估计的单张图像超分辨重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination