CN113538231B - 一种基于像素分布估计的单张图像超分辨重建系统及方法 - Google Patents

一种基于像素分布估计的单张图像超分辨重建系统及方法 Download PDF

Info

Publication number
CN113538231B
CN113538231B CN202110672302.3A CN202110672302A CN113538231B CN 113538231 B CN113538231 B CN 113538231B CN 202110672302 A CN202110672302 A CN 202110672302A CN 113538231 B CN113538231 B CN 113538231B
Authority
CN
China
Prior art keywords
pixel
picture
distribution estimation
resolution
pixel distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110672302.3A
Other languages
English (en)
Other versions
CN113538231A (zh
Inventor
陈泉
郑博仑
颜成钢
孙垚棋
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110672302.3A priority Critical patent/CN113538231B/zh
Publication of CN113538231A publication Critical patent/CN113538231A/zh
Application granted granted Critical
Publication of CN113538231B publication Critical patent/CN113538231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素分布估计的单张图像超分辨重建系统及方法，首先进行数据预处理获得高分辨率图片IHR和低分辨率图片ILR；然后构建并训练基于像素分布估计的图像超分辨重建网络，包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程。本发明方法从像素分布估计的角度解释并实现了图像超分辨重建，模型结构简单，权重学习模块结构用卷积层就可以很好的学习，运算成本低，且效果好。

Description

一种基于像素分布估计的单张图像超分辨重建系统及方法
技术领域
本发明属于图像处理技术领域，涉及基于深度学习的单张图像超分辨重建方法，尤其涉及基于像素分布估计的图像超分辨重建方法。
背景技术
图像超分辨率(super-resolution,SR)是指由一幅低分辨率图像(low-resolution,LR)或图像序列恢复出高分辨率图像(high-resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像具有重要的现实意义。
单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。
近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由Dong等人提出的基于卷积神经网络的超分辨率重建(Super-Resolution using ConvolutionalNeural Networks，SRCNN)方法。随后几年中，FSRCNN，ESPCN，VDSR等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是，这一系列基于深度学习的重建算法理论基础是相似的，都是学习图像之间的映射关系，而且，随着模型的发展，模型的体积越来越大，训练成本逐渐增加。
发明内容
针对现有的单张图像超分辨重建技术的理论基础相似，运算成本高的问题，本发明提供了一种基于像素分布估计的单张图像超分辨重建系统及方法，该方法从像素分布估计的角度解释并实现了图像超分辨重建，运用简单的模型结构就可以实现不错的重建效果。
一种基于像素分布估计的单图像超分辨重建方法，步骤如下：
步骤(1)、数据预处理；
对数据集图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR。
步骤(2)、构建基于像素分布估计的图像超分辨重建网络；
图像超分辨重建网络包括权重提取模块和像素分布估计模块。权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程。
步骤(3)、训练基于像素分布估计的图像超分辨重建网络。
步骤(4)、通过训练好的图像超分辨重建网络完成图像超分辨重建任务。
步骤(1)具体方法如下；
采用公开数据集B100数据集作为训练数据，B100数据集包含100张图片。
对训练数据进行处理：对训练数据图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR。将训练数据的低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
步骤(2)具体方法如下；
2-1：基于像素分布估计的图像超分辨重建理论。
低分辨率图片由高分辨率图片IHR经过倍数为s倍的双三次插值法下采样得到，即低分辨率图片ILR的宽和高均为高分辨率图片IHR的1/s。则低分辨率图片ILR的一个像素对应高分辨率图片IHR的s2个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片ILR中第(i,j)个像素映射到高分辨率图片IHR中的(i,j)的s2个邻域像素的过程。因此基于像素分布估计的图像超分辨重建过程能够公式化为：
其中表示低分辨率图片ILR中的第(i,j)像素的像素值，P(i,j)表示针对第(i,j)像素的一种像素分布估计函数，其结果等于/>当低分辨率图片ILR需要经过倍数为s倍的超分辨重建，低分辨率图片ILR中第(i,j)像素将对应高分辨率图片IHR中的(i,j)的s2个邻域像素，
其中Ωi,j表示第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，表示为：
表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片IHR的对应位置的像素值，则完成低分辨率图片ILR的超分辨重建。
2-2：构建基于像素分布估计的图像超分辨重建网络模型。
图像超分辨重建网络包括权重提取模块和像素分布估计模块。权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个ReLU非线性激活函数。经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*n3。
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像。在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
步骤(3)具体方法如下。
图像超分辨重建网络的输入包括两部分：第一部分是用于权重提取的低分辨率图片ILR；第二部分是低分辨率图片第(i,j)像素的s2个邻域像素相对于第(i,j)像素的相对坐标，用一个W*H的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片ILR经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(W*s)*(H*s)*C的输出图片。采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得基于像素分布估计的图像超分辨重建网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
步骤(4)具体方法如下。
将需要进行超分辨重建的真实低分辨率图片，输入训练好的图像超分辨重建网络中，依次经过权重提取模块和像素分布估计模块，输入的真实低分辨率图片经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；同时将真实低分辨率图片第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(W*s)*(H*s)*C的输出图片。
一种基于像素分布估计的图像超分辨重建系统，包括权重提取模块和像素分布估计模块；
所述的权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重；
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个ReLU非线性激活函数。经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*n3。
所述的像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像。在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。
本发明有益效果如下：
本发明方法创新的提出了基于像素分布估计的重建算法，不再是传统超分辨重建算法中的端到端的映射理论。本发明方法从像素分布估计的角度解释并实现了图像超分辨重建，运用简单的模型结构就可以实现不错的重建效果。模型结构简单，权重学习模块结构用卷积层就可以很好的学习，运算成本低，且效果好。
附图说明
图1为本发明实施例流程图；
图2为本发明实施例图像超分辨重建网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先进行以下定义及说明：
高分辨率图像LHR：目标图片，未经过插值处理过的高分辨图片。
低分辨率图像LLR：由高分辨率图像LHR经过插值得到低分辨率图片。
输出高分辨图片Lout：低分辨率图像LLR经过算法计算后得到的高分辨率图片。
下采样s倍：高分辨率图像LHR双三次插值的下采样倍数。
符号n1，n2，n3：权重提取模块中，各个卷积层所对应的滤波核数量。
符号k1，k2，k3：像素分布估计模块中，全连接层所对应的结点数。
一种基于深度学习的单张图像的运动估计方法，其步骤如图1所示，包括：
步骤(1)、数据预处理；
采用公开数据集B100数据集作为训练数据，B100数据集包含100张图片；
训练数据处理：对B100数据集的100张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR。对只包含Y通道信息的图片利用双三次插值法进行倍数s＝2下采样的模糊处理，得到低分辨率图片ILR。低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
步骤(2)、构建基于像素分布估计的图像超分辨重建网络；
2-1：基于像素分布估计的图像超分辨重建理论。
低分辨率图片由高分辨率图片IHR经过倍数为2的双三次插值法下采样得到，即低分辨率图片ILR的宽和高均为高分辨率图片IHR的1/2。本发明提出了一种基于像素分布估计的图像超分辨重建理论，提出低分辨率图片ILR的一个像素对应高分辨率图片IHR的4个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片ILR中第(i,j)个像素映射到高分辨率图片IHR中的(i,j)的4个邻域像素的过程。本发明提出的基于像素分布估计的图像超分辨重建过程可以公式化为：
其中表示低分辨率图片ILR中的第(i,j)像素的像素值，P(i,j)表示针对第(i,j)像素的一种像素分布估计函数，其结果等于/>当低分辨率图片ILR需要经过倍数为2的超分辨重建，低分辨率图片ILR中第(i,j)像素将对应高分辨率图片IHR中的(i,j)的4个邻域像素，
其中Ωi,j表示第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，表示为
表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片IHR的对应位置的像素值，则完成低分辨率图片ILR的超分辨重建。
2-2：构建基于像素分布估计的图像超分辨重建网络模型。基于像素分布估计的图像超分辨重建网络包含两部分：第一部分是权重提取模块，第二部分是像素分布估计模块。
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为256*256*3。首先经过一个卷积核数量为n1＝64，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2＝128，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3＝215，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个ReLU非线性激活函数。经过权重提取模块，输入的低分辨率图片ILR的尺寸变为256*256*215。
像素分布估计模块结构如下：包含一层节点数为k1＝10的全连接层，一层节点数k2＝15全连接层，一层节点数k3＝3的全连接层和一层倍数为2倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的4个估计结果重新排列，生成尺寸为(W*2)*(H*2)*C的输出图像。在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3＝215。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为256*256*215的特征得到，将256*256*215的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。另外，像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
图2为本发明实施例图像超分辨重建网络结构图。
步骤(3)、训练基于像素分布估计的图像超分辨重建网络。
图像超分辨重建网络的输入包括两部分：第一部分是用于权重提取的低分辨率图片ILR；第二部分是低分辨率图片第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，用一个256*256的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片ILR经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；输入的第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标以256*256的2通道特征图的形式输入像素分布估计模块，得到具有具有超分辨重建效果的尺寸为512*512*3的输出图片。基于像素分布估计的图像超分辨重建网络采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得基于像素分布估计的图像超分辨重建网络输出图片(Iout)和高分辨率图片(IHR)具有近似相同的输出结果。
步骤(4)、通过训练好的图像超分辨重建网络完成图像超分辨重建任务。
将需要进行超分辨重建的真实低分辨率图片，输入训练好的图像超分辨重建网络中，依次经过权重提取模块和像素分布估计模块，输入的真实低分辨率图片经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；同时将真实低分辨率图片第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以256*256的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为512*512*3的输出图片。
一种基于像素分布估计的图像超分辨重建系统，包括权重提取模块和像素分布估计模块；
所述的权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重；
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个ReLU非线性激活函数。经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*n3。
所述的像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像。在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。

Claims (5)

1.一种基于像素分布估计的单图像超分辨重建方法，其特征在于，步骤如下：
步骤(1)、数据预处理；
对数据集图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；
步骤(2)、构建基于像素分布估计的图像超分辨重建网络；
图像超分辨重建网络包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程；
步骤(3)、训练基于像素分布估计的图像超分辨重建网络；
步骤(4)、通过训练好的图像超分辨重建网络完成图像超分辨重建任务；
步骤(2)具体方法如下；
2-1：基于像素分布估计的图像超分辨重建理论；
低分辨率图片由高分辨率图片IHR经过倍数为s倍的双三次插值法下采样得到，即低分辨率图片ILR的宽和高均为高分辨率图片IHR的1/s；则低分辨率图片ILR的一个像素对应高分辨率图片IHR的s2个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片ILR中第(i,j)个像素映射到高分辨率图片IHR中的(i,j)的s2个邻域像素的过程；因此基于像素分布估计的图像超分辨重建过程能够公式化为：
其中表示低分辨率图片ILR中的第(i,j)像素的像素值，P(i,j)表示针对第(i,j)像素的一种像素分布估计函数，其结果等于/>当低分辨率图片ILR需要经过倍数为s倍的超分辨重建，低分辨率图片ILR中第(i,j)像素将对应高分辨率图片IHR中的(i,j)的s2个邻域像素，
其中Ωi,j表示第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，表示为：
表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片IHR的对应位置的像素值，则完成低分辨率图片ILR的超分辨重建；
2-2：构建基于像素分布估计的图像超分辨重建网络模型；
图像超分辨重建网络包括权重提取模块和像素分布估计模块；权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重，而像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程；
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C；首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层；其中每个卷积层后面都连接一个ReLU非线性激活函数；经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*s3；
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层；全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像；在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数；其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3；像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点；像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
2.根据权利要求1所述的一种基于像素分布估计的单图像超分辨重建方法，其特征在于，步骤(1)具体方法如下；
采用公开数据集B100数据集作为训练数据，B100数据集包含100张图片；
对训练数据进行处理：对训练数据图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片IHR；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ILR；将训练数据的低分辨率图片ILR作为模型训练过程中的输入图片，高分辨率图片IHR作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
3.根据权利要求2所述的一种基于像素分布估计的单图像超分辨重建方法，其特征在于，步骤(3)具体方法如下；
图像超分辨重建网络的输入包括两部分：第一部分是用于权重提取的低分辨率图片ILR；第二部分是第(i,j)像素的s2个邻域像素相对于第(i,j)像素的相对坐标，用一个W*H的2通道特征图分别表示一个相对坐标的值；输入的低分辨率图片ILR经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(W*s)*(H*s)*C的输出图片；采用L1损失函数进行监督，实现L1(Iout-(IHR))→0,即使得基于像素分布估计的图像超分辨重建网络输出图片Iout和高分辨率图片IHR具有近似相同的输出结果。
4.根据权利要求3所述的一种基于像素分布估计的单图像超分辨重建方法，其特征在于，步骤(4)具体方法如下；
将需要进行超分辨重建的真实低分辨率图片，输入训练好的图像超分辨重建网络中，依次经过权重提取模块和像素分布估计模块，输入的真实低分辨率图片经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；同时将真实低分辨率图片第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以W*H的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(W*s)*(H*s)*C的输出图片。
5.一种基于像素分布估计的图像超分辨重建系统，其特征在于，包括权重提取模块和像素分布估计模块；
所述的权重提取模块用于从输入的低分辨率图片ILR中计算出像素分布估计模块所需要的权重；
权重提取模块结构如下：输入的低分辨率图片ILR的尺寸为W*H*C；首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层；其中每个卷积层后面都连接一个ReLU非线性激活函数；经过权重提取模块，输入的低分辨率图片ILR的尺寸变为W*H*n3；
所述的像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程；
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的Pixelshuffle层；全连接层目的是对输入像素进行像素分布估计，Pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(W*s)*(H*s)*C的输出图像；在节点数为k1，k2的全连接层后面分别连接一个ReLU非线性激活函数；其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1+k1*k2+k2*k3；像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为W*H*n3的特征得到的，将W*H*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。
CN202110672302.3A 2021-06-17 2021-06-17 一种基于像素分布估计的单张图像超分辨重建系统及方法 Active CN113538231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672302.3A CN113538231B (zh) 2021-06-17 2021-06-17 一种基于像素分布估计的单张图像超分辨重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672302.3A CN113538231B (zh) 2021-06-17 2021-06-17 一种基于像素分布估计的单张图像超分辨重建系统及方法

Publications (2)

Publication Number Publication Date
CN113538231A CN113538231A (zh) 2021-10-22
CN113538231B true CN113538231B (zh) 2024-04-02

Family

ID=78096257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672302.3A Active CN113538231B (zh) 2021-06-17 2021-06-17 一种基于像素分布估计的单张图像超分辨重建系统及方法

Country Status (1)

Country Link
CN (1) CN113538231B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913075B (zh) * 2022-06-15 2024-07-09 长春理工大学 一种偏振方向全分辨率图像重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
WO2020238558A1 (zh) * 2019-05-24 2020-12-03 鹏城实验室 一种图像超分辨方法和系统
CN112419150A (zh) * 2020-11-06 2021-02-26 中国科学技术大学 一种基于双边上采样网络的任意倍数图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238558A1 (zh) * 2019-05-24 2020-12-03 鹏城实验室 一种图像超分辨方法和系统
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN112419150A (zh) * 2020-11-06 2021-02-26 中国科学技术大学 一种基于双边上采样网络的任意倍数图像超分辨率重建方法

Also Published As

Publication number Publication date
CN113538231A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Yang et al. Coupled dictionary training for image super-resolution
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
Kappeler et al. Video super-resolution with convolutional neural networks
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN104103052B (zh) 一种基于稀疏表示的图像超分辨率重建方法
CN110246094B (zh) 一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN103455988B (zh) 基于结构自相似性与稀疏表示的超分辨率图像重构方法
CN112348743A (zh) 一种融合判别式网络和生成式网络的图像超分辨率方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN110363068A (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN112419150A (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN115222614A (zh) 一种先验引导的多降质特征夜光遥感影像质量提升方法
Chen et al. A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid
CN113538231B (zh) 一种基于像素分布估计的单张图像超分辨重建系统及方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN113793267B (zh) 基于跨维度注意力机制的自监督单遥感图像超分辨率方法
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
Wei et al. Taylor neural network for real-world image super-resolution
CN115409713A (zh) 一种高效实时的单张图像超分变率重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant