CN108492249B - 基于小卷积递归神经网络的单帧超分辨重建方法 - Google Patents
基于小卷积递归神经网络的单帧超分辨重建方法 Download PDFInfo
- Publication number
- CN108492249B CN108492249B CN201810126621.2A CN201810126621A CN108492249B CN 108492249 B CN108492249 B CN 108492249B CN 201810126621 A CN201810126621 A CN 201810126621A CN 108492249 B CN108492249 B CN 108492249B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- neural network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims abstract description 8
- 238000006731 degradation reaction Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 21
- 230000015556 catabolic process Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 3
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于小卷积递归神经网络的单帧超分辨重建方法，包括如下步骤：建立线性激活函数的递归卷积神经网络，其输入为图像某个像素点的一块小邻域，输出为该像素位置的对应临时输出结果；利用建立的递归卷积神经网络，输入一张低分辨图像，经过一定次数的迭代，输出最终的超分辨成像结果。本发明相比较现有的基于统计学习的图像超分辨方法，具有几乎可以忽略不计的模型复杂度和计算量，同时内部的参数有着更加明确的物理意义。又因为引入了外部数据辅助对相应的模型参数进行学习，本发明可以取得较好的超分辨重建效果。
Description
技术领域
本发明涉及卷积递归神经网络和计算机图像处理计算，尤其涉及一种基于小卷积递归神经网络的单帧超分辨重建方法。
背景技术
随着信息技术的发展和智能设备的推广，用户对于图像质量的要求也越来越高。然而由于光学成像系统的像差、图像采集设备本身的带宽限制以及传输过程中的带宽限制，图像的像质不可能无限制的提高。因此如何采用合适的超分辨算法，提升图像质量，克服上面提到的种种问题，就成为一个很热门的研究课题。硬件实现超分辨常常精度较高性能较好，但是常常应用较为局限，且成本很高，也无法应用于其它的成像环境。
而现有的软件实现超分辨算法有两种，第一种是基于多帧的超分辨重建，从图像退化模型出发，对多张低分辨图像进行亚像素级配准，并利用配准信息重建出原始的高分辨图像，然而，该方法要求多张低分辨图像之间的曝光等因素完全相同，并且对配准的精度要求极高，大大限制了该方法的应用，而单帧的超分辨算法往往存在模型复杂，依赖外界训练样本数量大，计算复杂度极高的问题。因此研究的重点就是如何控制模型的复杂度，充分利用有限的训练样本数量，以较低的运算开销实现单帧图像的超分辨成像技术。
发明内容
本发明要主要解决的问题是提供一种基于小卷积递归神经网络的单帧超分辨重建方法，针对一张低分辨图片，生成对应的高分辨图像。
为解决上述技术问题，本发明采用的技术方案为：一种基于小卷积递归神经网络的单帧超分辨重建方法，该方法包括以下步骤：
(1)建立线性激活函数的递归卷积神经网络，其输入为图像某个像素点的一块邻域，输出为该像素位置的对应临时超分辨输出结果；该递归卷积神经网络的数学定义如下：
oj(x,y)＝cj(x,y) (3)
其中，ij(x,y)为第j次迭代的坐标为(x,y)的网络像素输入，cj(x,y)为第j次迭代的坐标为(x,y)的网络内存,oj(x,y)为第j次迭代的坐标为(x,y) 的网络输出；卷积核的大小为(2S+1)×(2S+1)，W(m,n)为卷积核在 (m,n)位置的数值，X0(x,y)为初始高分辨图像X0坐标为(x,y)位置的像素值，f(A)为对输入A进行重采样的固定操作；ij(m,n；x,y)表示输入矩阵 ij(x,y)在(m,n)的数值；
(2)在训练阶段，利用步骤(1)建立的递归卷积神经网络，输入一张低分辨图像，经过若干次迭代输出最终的超分辨成像结果，与样本图像的计算残差利用反向传递算法对网络完成训练；在测试阶段，利用步骤(1) 建立的递归卷积神经网络，输入一张低分辨图像，经过若干次迭代输出最终的超分辨成像结果。
进一步地，所述步骤1具体为：
(1.1)在第j次迭代中，如果需要对坐标为(x,y)的位置的像素重建，那么选取以该位置为中心，大小为(2S+1)×(2S+1)的矩形区域作为输入ij(x,y)；
(1.2)ij(x,y)与卷积核做内积后加上原先该位置内存中的数据 cj-1(x,y)，即得到该点的新的内存cj(x,y)，因为采用线性激活函数，所以重建像素值oj(x,y)＝cj(x,y)；
(1.3)完成整张图像所有位置像素值的重建以后，这些像素值被存储在内存中，即完成了一轮迭代；
(1.4)该轮迭代的输出图像逐像素经过f(A)的固定操作，即经过退化模型，并且计算与实际观测低分辨图像的残差，对残差进行上采样后，作为下一轮迭代的输入。
进一步地，所述步骤1中，f(A)的固定操作具体如下：
假设图像退化算子为D，未知的原始高分辨图像为x，在经过成像系统后，得到的低分辨图像b可以表示为：
b＝Dx (4)
因为无法准确估计下采样算子D，因此近似利用下采样算子
来大致估算出退化前的图像x，将推算出的结果记为
那么需要保证估算的高分辨图像
在经过对应的图像退化模型后，可以得到和获得的低分辨图像b一致的结果，这个求解高分辨图像的过程可以表示为：
对公式(5)的求解可以表示成如下形式：
其中
为第j步得到的近似高分辨图像，
为第j+1步迭代得到的近似高分辨图像，λ为迭代步长，
为近似下采样算子，
为近似的下采样算子逆运算；
实际上是一个上采样操作，将
拆分成两个操作，一个是可训练卷积操作W，一个是插值上采样操作U，令
则：
那么f(A)的输入即为第j步得到的近似高分辨图像
的每个像素，对整个输入图像A而言：
其中U和
均采用双三次插值算子，b为获得的低分辨图像。
进一步地，所述步骤1中，可训练卷积操作W具体如下：
假定图像退化过程具有各向同性，即近似下采样算子
对应的卷积核为中心对称，那么必然该下采样算子对应的逆变换也是各向同性的运算，即
对应的卷积核也为中心对称；因U使用双三次插值作为上采样运算，具有中心对称的特性，那么如果W对应的卷积核中心对称，就可以保证
中心对称；如果W∈R(2S+1)×(2S+1)，即W为一个大小为(2S+1)×(2S+1)的矩阵，那么：
W＝X·YT (9)
其中X和Y都是长度为(2S+1)的列向量，即X,Y∈R(2S+1)×1。这样就使用两个可训练的列向量代替原来的一个可训练矩阵，并且保留了原矩阵的特性。两个可训练的列向量实际需要训练的参数数量变为原来的可训练矩阵的
训练出X和Y后，通过公式(9)计算W。
进一步地，所述步骤1中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：
在测试过程中：如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值从原先的取值范围(例如0-255等)归一化到0-1之间，采用双三次插值上采样得到初始高分辨图像X0；
如果输入为多通道图，不仅包含图像的亮度信息，同时包含有图像的颜色信息，那么将图像从原来的颜色空间(RGB等)先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化，采用双三次插值上采样得到初始高分辨图像X0；而Cb和Cr通道也进行归一化，然后采用一次双三次插值来保证与最终生成的超分辨图像大小一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像；
在训练过程中，采用和测试过程相同的方法，只针对亮度通道的信息进行训练。
本发明的有益效果是：首先，由于采用了基于图像退化模型的递归卷积神经网络结构，所以相比较现有的基于统计学习的图像超分辨方法，具有几乎可以忽略不计的运算复杂度，通常参数数量不及一些较为复杂的超分辨算法的千分之一，而运算时间常常不及它们的十分之一。其次，由于采用了卷积的操作，所以存在进一步将算法并行化的可能，从而进一步提升算法的运行效率。另外，由于对可训练卷积核采用了Tucker分解，进一步将需要优化的卷积核参数减少为原来的
最后，由于相比较传统迭代反投影算法，本方法借鉴基于统计学习的算法，引入了可优化卷积核，所以本方法进行超分辨重建的图片，相比较于简单的双三次插值得到的图片，常常可以将PSNR提升1dB以上(以超分辨倍率为3为例)。
附图说明
图1为输入低分辨图像(超分辨倍率为3)；
图2为输入低分辨图像的高分辨初始估计(超分辨倍率为3)；
图3为基于递归卷积网络模型的超分辨模型；
图4为输出超分辨图像(超分辨倍率为3)。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明要主要解决的问题是提供一种基于小卷积递归神经网络的单帧超分辨重建方法，针对一张低分辨图片，生成对应的高分辨图像。为解决上述技术问题，本发明采用的技术方案为：建立线性激活函数的递归卷积神经网络，其输入为图像某个像素点的一块小邻域，输出为该像素位置的对应临时输出结果；利用上一步骤建立的递归卷积神经网络，输入一张低分辨图像，经过一定次数的迭代，输出最终的超分辨成像结果。具体包括以下步骤：
步骤1：建立线性激活函数的递归卷积神经网络。
本发明设计了以下线性激活函数的递归卷积神经网络模型来实现超分辨成像。为了方便，令卷积核的大小为(2S+1)×(2S+1)，那么在j时刻，如果需要对复原图像坐标为(x,y)的位置的像素需要重建，那么选取以该位置为中心，大小为(2S+1)×(2S+1)的矩形区域作为输入，与卷积核做内积后加上原先该位置内存中的数据，即得到该点的新重建像素值。完成整张图像所有位置像素值的重建以后，这些像素值被存储在内存中，即完成了一轮迭代。由于采用线性激活函数，所以输出值即为内存中的数据。输出图像经过对应的退化模型、计算与实际观测低分辨图像的残差和上采样后，被作为下一轮迭代的输入。在j时刻，令神经网络在图像坐标(x,y)位置的输入为ij(x,y)，神经元内存为cj(x,y)，输出为oj(x,y)。那么该网络的数学定义如下：
oj(x,y)＝cj(x,y) (10)
图1为待重建高分辨图像，它双线性插值得到的结果(图2)为初始高分辨图像估计，ij(m,n；x,y)表示输入矩阵ij(x,y)∈R(2S+1)×(2S+1)在(m,n)的数值。f(x)为重采样的固定操作。如果是在测试阶段，在完成一定次数迭代后，模型将输出最终的重建结果，如果是在训练阶段，该结果与实际高分辨图像之间的均方差将被用于计算开销函数和反向传递更新网络参数。
步骤2：迭代计算最终的超分辨图像。
直接将成像过程中的图像退化模型作为提出模型中的约束，本发明首先讨论成像过程中的图像退化模型，在获取图像的过程中，由于探测器噪声、较低的采样频率、光学系统的像差等因素的存在，必然导致图像退化，假设图像退化算子为D，在实验中选取双线性插值近似作为D的算子。未知的原始高分辨图像为x，在经过成像系统后，得到的低分辨图像为b可以表示为：
b＝Dx (11)
其中：假设原始的高分辨图像，其采样倍率为低分辨图像的k倍，列向量化后的低分辨图像b∈RM×1，那么可得x∈RkM×1，D∈RM×kM。在成像的过程中，真实的高分辨图像x已经无法获得，只能得到退化后的低分辨图像b，与此同时，往往也无法准确估计下采样算子D，因此只能利用近似的下采样算子
来大致估算出退化前的图像x，将推算出的结果记为
那么需要保证估算的高分辨图像
在经过对应的图像退化模型后，可以得到和获得的低分辨图像b一致的结果，这个求解高分辨图像的过程可以表示为：
根据梯度下降法，对的求解可以表示成如下形式：
其中
为第j步得到的近似高分辨图像，
为第j+1步迭代得到的近似高分辨图像，λ为迭代步长，
为重建的高分辨图像
经过图像退化后获得的低分辨图像与实际获得的低分辨图像之间的残差。该式可以进一步化简得到：
上式即为实现单帧图像超分辨的迭代模型。其中
的变化
由两部分组成：第一部分是
即重建的高分辨图像
经过图像退化后获得的低分辨图像与实际获得的低分辨图像的残差；第二部分为
即将该残差由对应的上采样算子上采样所得到的残差图像。所以
相当于步骤(1)中的卷积操作，
相当于步骤(1)中的迭代运算，在迭代一定次数后，将输出最终的超分辨结果 (图4)，这个过程可以用图3来表示。
相比较现有的基于统计学习的图像超分辨算法，本发明方法的模型复杂度和计算量几乎可以忽略不计，同时内部的参数也有着更加明确的物理意义。又因为引入了外部数据辅助对相应的模型参数进行学习，所以本发明方法取得比迭代反投影算法更好的超分辨重建效果。
Claims (3)
1.一种基于小卷积递归神经网络的单帧超分辨重建方法，其特征在于，该方法包括以下步骤：
(1)建立线性激活函数的递归卷积神经网络，其输入为图像某个像素点的一块邻域，输出为该像素位置的对应临时超分辨输出结果；该递归卷积神经网络的数学定义如下：
oj(x，y)＝cj(x，y) (3)
其中，ij(x，y)为第j次迭代的坐标为(x，y)的网络像素输入，cj(x，y)为第j次迭代的坐标为(x，y)的网络内存，oj(x，y)为第j次迭代的坐标为(x，y)的网络输出；卷积核的大小为(2S+1)×(2S+1)，W(m，n)为卷积核在(m，n)位置的数值，X0(x，y)为初始高分辨图像X0坐标为(x，y)位置的像素值，f(A)为对输入A进行重采样的固定操作；ij(m，n；x，y)表示输入矩阵ij(x，y)在(m，n)的数值；
具体步骤如下：
(1.1)在第j次迭代中，如果需要对坐标为(x，y)的位置的像素重建，那么选取以该位置为中心，大小为(2S+1)×(2S+1)的矩形区域作为输入ij(x，y)；
(1.2)ij(x，y)与卷积核做内积后加上原先该位置内存中的数据cj-1(x，y)，即得到该点的新的内存cj(x，y)，重建像素值oj(x，y)＝cj(x，y)；
(1.3)完成整张图像所有位置像素值的重建以后，这些像素值被存储在内存中，即完成了一轮迭代；
(1.4)该轮迭代的输出图像逐像素经过f(A)的固定操作，即经过退化模型，并且计算与实际观测低分辨图像的残差，对残差进行上采样后，作为下一轮迭代的输入；
所述f(A)的固定操作具体如下：
假设图像退化算子为D，未知的原始高分辨图像为x，在经过成像系统后，得到的低分辨图像b可以表示为：
b＝Dx (4)
因为无法准确估计下采样算子D，因此近似利用下采样算子
来大致估算出退化前的图像x，将推算出的结果记为
那么需要保证估算的高分辨图像
在经过对应的图像退化模型后，可以得到和获得的低分辨图像b一致的结果，这个求解高分辨图像的过程可以表示为：
对公式(5)的求解可以表示成如下形式：
其中
为第j步得到的近似高分辨图像，
为第j+1步迭代得到的近似高分辨图像，λ为迭代步长，
为近似下采样算子，
为近似的下采样算子逆运算；
实际上是一个上采样操作，将
拆分成两个操作，一个是可训练卷积操作W，一个是插值上采样操作U，令
则：
那么f(A)的输入即为第j步得到的近似高分辨图像
的每个像素，对整个输入图像A而言：
其中U和
均采用双三次插值算子，b为获得的低分辨图像；
(2)在训练阶段，利用步骤(1)建立的递归卷积神经网络，输入一张低分辨图像，经过若干次迭代输出最终的超分辨成像结果，与样本图像的计算残差利用反向传递算法对网络完成训练；在测试阶段，利用步骤(1)建立的递归卷积神经网络，输入一张低分辨图像，经过若干次迭代输出最终的超分辨成像结果。
2.如权利要求1所述的一种基于小卷积递归神经网络的单帧超分辨重建方法，其特征在于，所述步骤1中，可训练卷积操作W具体如下：
假定图像退化过程具有各向同性，即近似下采样算子
对应的卷积核为中心对称，那么必然该下采样算子对应的逆变换也是各向同性的运算，即
对应的卷积核也为中心对称；因U使用双三次插值作为上采样运算，具有中心对称的特性，那么如果W对应的卷积核中心对称，就可以保证
中心对称；如果W∈R(2S+1)×(2S+1)，即W为一个大小为(2S+1)×(2S+1)的矩阵，那么：
W＝X·YT (9)
其中X和Y都是长度为(2S+1)的列向量，即X，Y∈R(2S+1)×1；这样就使用两个可训练的列向量代替原来的一个可训练矩阵，并且保留了原矩阵的特性；两个可训练的列向量实际需要训练的参数数量变为原来的可训练矩阵的
训练出X和Y后，通过公式(9)计算W。
3.如权利要求1所述的一种基于小卷积递归神经网络的单帧超分辨重建方法，其特征在于，所述步骤1中，针对不同颜色信息的图像采用不同的预处理方法，具体如下：
在测试过程中：如果输入为单通道灰度图，只包含图像的亮度信息，那么将图像的像素值归一化到0-1之间，采用双三次插值上采样得到初始高分辨图像X0；
如果输入为多通道图，不仅包含图像的亮度信息，同时包含有图像的颜色信息，那么将图像从原来的颜色空间先转换到YCbCr颜色空间中，将Y通道的信息作为图像的亮度信息，并进行归一化，采用双三次插值上采样得到初始高分辨图像X0；而Cb和Cr通道也进行归一化，然后采用一次双三次插值来保证与最终生成的超分辨图像大小一致，与超分辨处理后的图像亮度信息合并，并且转换到原来的颜色空间中，作为最终输出图像；
在训练过程中，采用和测试过程相同的方法，只针对亮度通道的信息进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810126621.2A CN108492249B (zh) | 2018-02-08 | 2018-02-08 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810126621.2A CN108492249B (zh) | 2018-02-08 | 2018-02-08 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108492249A CN108492249A (zh) | 2018-09-04 |
| CN108492249B true CN108492249B (zh) | 2020-05-12 |
Family
ID=63339926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810126621.2A Expired - Fee Related CN108492249B (zh) | 2018-02-08 | 2018-02-08 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492249B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636733B (zh) * | 2018-10-26 | 2020-07-24 | 华中科技大学 | 基于深度神经网络的荧光图像解卷积方法及系统 |
| CN109785401B (zh) * | 2018-12-12 | 2021-02-26 | 南京航空航天大学 | 一种用于pet图像的快速重建方法 |
| CN111582432B (zh) * | 2019-02-19 | 2023-09-12 | 嘉楠明芯(北京)科技有限公司 | 一种网络参数处理方法及装置 |
| RU2764395C1 (ru) | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| CN112767252B (zh) * | 2021-01-26 | 2022-08-02 | 电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN113177882B (zh) * | 2021-04-29 | 2022-08-05 | 浙江大学 | 一种基于扩散模型的单帧图像超分辨处理方法 |
| CN115409715B (zh) * | 2022-11-01 | 2023-03-14 | 北京科技大学 | 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106960415A (zh) * | 2017-03-17 | 2017-07-18 | 深圳市唯特视科技有限公司 | 一种基于像素递归超分辨率模型恢复图像的方法 |
-
2018
- 2018-02-08 CN CN201810126621.2A patent/CN108492249B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106960415A (zh) * | 2017-03-17 | 2017-07-18 | 深圳市唯特视科技有限公司 | 一种基于像素递归超分辨率模型恢复图像的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Video super-resolution via bidirectional recurrent convolutional networks;Yan Huang等;《IEEE transactions on pattern analysis and machine intelligence》;20170504;第40卷(第4期);第1015-1028页 * |
| 基于卷积神经网络的单帧毫米波图像超分辨算法;高昭昭等;《电子信息对抗技术》;20171115;第32卷(第6期);第54-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108492249A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492249B (zh) | 基于小卷积递归神经网络的单帧超分辨重建方法 | |
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| Belekos et al. | Maximum a posteriori video super-resolution using a new multichannel image prior | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| He et al. | A soft MAP framework for blind super-resolution image reconstruction | |
| WO2022105638A1 (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| Zuo et al. | Convolutional neural networks for image denoising and restoration | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN108921801B (zh) | 用于生成图像的方法和装置 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN113902620A (zh) | 一种基于可变形卷积网络的视频超分辨率系统及方法 | |
| CN111640067B (zh) | 基于三通道卷积神经网络的单幅图像超分辨率重建方法 | |
| Wang et al. | Image super-resolution using only low-resolution images | |
| CN117196959B (zh) | 基于自注意力的红外图像超分辨率方法、装置及可读介质 | |
| CN108401104B (zh) | 基于频带修复和超分辨的双焦相机数字变焦方法 | |
| Wang et al. | Deep arbitrary-scale image super-resolution via scale-equivariance pursuit | |
| Sahito et al. | Transpose convolution based model for super-resolution image reconstruction | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| Zhao et al. | Learning-based compressed sensing for infrared image super resolution | |
| Huan et al. | Remote sensing image reconstruction using an asymmetric multi-scale super-resolution network | |
| CN114022363A (zh) | 图像超分辨率重建方法、装置以及计算机可读存储介质 | |
| Zhang et al. | A unified framework of deep unfolding for compressed color imaging | |
| Pan et al. | LPSRGAN: Generative adversarial networks for super-resolution of license plate image | |
| Li et al. | Multi-scale cross-fusion for arbitrary scale image super resolution | |
| Yang et al. | ULSR-UV: an ultra-lightweight super-resolution networks for UAV video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200512 Termination date: 20210208 |