CN106952228A - 基于图像非局部自相似性的单幅图像的超分辨率重建方法 - Google Patents
基于图像非局部自相似性的单幅图像的超分辨率重建方法 Download PDFInfo
- Publication number
- CN106952228A CN106952228A CN201710142438.7A CN201710142438A CN106952228A CN 106952228 A CN106952228 A CN 106952228A CN 201710142438 A CN201710142438 A CN 201710142438A CN 106952228 A CN106952228 A CN 106952228A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- low
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 230000007935 neutral effect Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282330 Procyon lotor Species 0.000 description 1
- 241000287530 Psittaciformes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于图像非局部自相似性的单幅图像的超分辨率重建方法,通过图像自身的非局部自相似性合成图像的纹理,以及填补图像空洞信息;根据反卷积神经网络完备的理论,实现图像重建。这种基于图像非局部自相似性卷积稀疏表示的超分辨率重建方法,能更好的增强超分辨率图像的细节信息、降低块效应,从而提高了超分辨图像重建质量。
Description
技术领域
本发明属于稀疏表示的超分辨率领域,尤其涉及一种基于图像非局部自相似性的单幅图像的超分辨率重建方法,主要是应用反卷积稀疏编码表示于单幅图像的超分辨率重建。
背景技术
图像的超分辨率重建技术是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化,形成空间分辨率更高的清晰图像。
在计算机视觉领域,图像超分辨率重建是一个非常经典的问题,是许多计算机视觉应用的基础,比如人脸识别、目标跟踪、车牌识别等等。根据输入低分辨图像多少的不同,可以分成单幅图像超分辨率重建和多幅图像超分辨率重建。单幅图像超分辨率重建就是从一幅低分辨率国像中估计一幅高分辨率图像,多幅重建算法是从多幅低分辨率图像中估计一幅高分辨率图像。现有的图像超分辨率重建算法可大致归结成三类:1.基于插值的算法,主要是基于图像平滑性假设,利用临近位置的像素观测值,对未知像素进行插值估计的一种算法。经典的插值算法包括最近邻插值、双线性插值和双立方插值。2.基于重建模型的算法,主要是对图像的成像过程进行数学建模,同时结合其他图像先验信息作为约束,重建出高分辨率图像的一种方法,主要包括凸集投影法、迭代反投影法和概率分析法。3.基于学习的算法,首先需要构建高低分辨率图像的训练样本库,然后通过学习训练样本,对高低分辨率样本图像之间的关系进行编码(encoding),最后对于低分辨率测试图像,利用上述学习到的编码关系指导超分辨率重建过程。
然而,传统的基于自然图像块的稀疏表示通常面临两个问题。一是在字典学习的过程中需要求解一个具有非常高计算复杂度的大规模优化问题;二是在稀疏编码和字典的学习过程中,每一个图像块都是独立考虑,忽略了块与块之间的相关性,从而导致了稀疏编码系数不够准确。
发明内容
目前常用的图像超分辨率重建方法,基本上是基于图像块的稀疏表示方法,这种方法忽略了块与块之间的联系,导致了在图像重建过程中稀疏编码系数的不精准。为解决这一问题,本发明提出了基于整幅图像的超分辨率重建方法。通过图像自身的非局部自相似性合成图像的纹理,以及填补图像空洞信息;根据反卷积神经网络完备的理论,实现图像重建。这种基于图像非局部自相似性卷积稀疏表示的超分辨率重建方法,能更好的增强超分辨率图像的细节信息、降低块效应,从而提高了超分辨图像重建质量。
为实现上述目的,本发明采用如下的技术方案:
一种基于图像非局部自相似性的单幅图像的超分辨率重建方法,其特征在于,包括以下步骤:
步骤1、建立训练高分辨率滤波器
根据卷积稀疏编码快速求解方法,通过求解(8)式,得到相应的高分辨率滤波器,即高分辨率图像滤波器fhi训练过程如下:
其中,训练图像集为首先将训练图像集进行预处理,提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集,得到对应的滤波器
步骤2、基于非局部自相似性卷积稀疏编码的图像超分辨率重建
首先对待重建的低分辨率图像y进行空间转换,得到其YCbCr空间图像,通过图像高低频信息分离算法,提取Y分量图像的高频信息,做为待重建的低分辨率图像yl;而其它的两个分量Cb、Cr以及Y分量的低频信息,采用插值算法进行超分辨率重建,其中,我们首先对yl进行双线性3倍上采样插值,得到对应的初始化高分辨率图像x(1),根据卷积公式zi=fhi*x(1),初始化具体包括:
3.1、特征图Z相似块位置的确定
根据当前得到的高分辨率图像x(1),以及NLM算法,将图像分成6*6非重叠的图像块集其中,r为图像块数;通过计算当前块与其它块之间的欧氏距离,来寻找与当前块最相似的12个块,记下这12个块的位置信息,即Ωi;
3.2特征图Z相似块值的确定
根据卷积神经网络的特性,可知卷积滤波器提取的是基于整幅图像的全局特征,因此,可认为特征图中的信息与图像中的信息具有一致对应关系;根据以上特征,得到每一个特征图对应的图像块集其中r为图像块数;根据上一步求得的图像相似块位置信息集Ωi,可计算出添加了非局部相似信息后的特征图Z
其中,h=75。
3.3特征图Z当前更新值的确定
在当前迭代过程中,固定可求解以下L1正则化最小值问题,即
采用稀疏约束线性逆问题的迭代阈值算法求解(12)式,在第t+1次迭代中,所求得的收缩算子为
其中,n,m分别为zi的行数与列数,z′ij与分别为zi与中的元素值。Sτ(.)是软阀值操作,其中Fi=fliplr(flipud(fhi));τ=λi/c,c是保证函数凸性的辅助参数。根据所求得的可以得到当前迭代下的高分辨率图像
不断重复3.1~3.3步骤,直到达到迭代终止条件,停止迭代,得到最终的高分辨率图像
作为优选,还包括图像预处理,具体过程如下:
首先对原始彩色图像,利用图像空间的变化,将其变换到YCbCr空间中,仅对Y分量的高频信息做基于稀疏表示的超分辨率重建,而其他的两个分量Cb、Cr以及Y分量的低频信息,采用插值算法进行超分辨率重建,提取图像Y分量的高频信息过程如下:
其中,是图像y的低频特征图;fs是一个3*3的低通滤波器,其值为1/9;fdh和fdv分别是水平方向和垂直方向的梯度算子,其值为[1,-1]和[1;-1];
为了求解(9)式,将其转换到傅里叶域中进行求解,求解形式如下:
其中,和是傅里叶变换(FFT)与逆傅里叶变换;以及是fs、fdh和fdv的傅里叶变换;符号“^”表示复共轭,“o”表示分量相乘;
根据所求的可得y的高频信息Y,即
附图说明
图1为本发明的图像超分辨率重建流程图。
具体实施方式
本发明提供一种单幅图像的超分辨率重建方法,其为基于非局部相似的反卷积网络的图像特征提取与图像恢复方法。反卷积网络基于整幅图像进行重构,从而避免了块效应对重构图像效果的影响;添加图像的非局部信息,在对图像结构进行稀疏表示的过程中能够显式地在一个统一的框架下同时刻画自然图像固有的局部稀疏性和非局部自相似性,能较好的保持图像的纹理细节特征;其包括以下特征:
1.基于重建算法的图像超分辨率重建模型
图像分辨率增强问题指的是给定一幅输入的低分辨率图像,复原重建出相应的高分辨率图像。考虑到具体的获得低分辨率图像的退化过程,如在退化过程中既受到模糊和噪声影响,同时又存在分辨率下降的复合退化过程,此时图像分辨率增强问题成分为图像超分辨复原重建问题:
y=DHx+n (1)
其中x表示原始的高分辨图像,B代表图像下采样算子;H代表图像模糊算子;n表示符合均值为零方差为σ^2的高斯噪声;y表示低分辨率下采样图像。
基于重建的超分辨率方法基本思路就是从低分辨率图像y反演出高分辨率图像x,这个思路与图像融合方法类似,不同之处在于此方法在增强图像可视化效果的同时,还提高图像的分辨率。这种过程主要包含三个步骤:运动估计(或配准)、插值和恢复。
2.图像非局部自相似模型
非局部均值(NLM)算法是利用图像各像素点的加权平均来对图像进行恢复的,给定一幅离散降质的图像v={v(i)|i∈I},对其任何一个图像块的估计值均可以通过以下式子估计:
NL[v](i)=∑j∈Iω(i,j)v(j) (2)
其中NL[v](i)为图像块i的估计值,ω(i,j)表征图像块i和图像块j之间的相似度,且满足0≤ω(i,j)≤1和∑jω(i,j)=1。
图像块i和图像块j的相似度依赖于图像块i和图像块j的领域像素的灰度值向量v(Ni)和v(Nj),且与二者之间的欧式距离成反比关系。
其中z(i)为归一化系数
NLM使用全局图像中的多个相似图像块来估计当前图像块,能较好的保持图像的纹理细节特征。
3.反卷积稀疏编码
在Zeiler提出反卷积神经网络模型中对于一幅图像y,可以将它表示成K个特征图Zk与滤波器Fk卷积后的线性和,如下式
其中K表示滤波器的总数,Fk表示第k个滤波器,Zk表示第k个特征图,对于大小为w×h的图像y,Fk的大小为s×s,Zk的大小为(w+s-1)×(h+s-1)。滤波器集合也称为卷积字典。为了用公式(5-5)实现图像的反卷积表述,需要知道F和则构造如(5-6)代价函数模型。
模型(6)即反卷积稀疏编码模型,目前的求解方法CMP(卷积匹配追踪算法),坐标下降法(ConvCoD),迭代收缩阈值算法(ConvISTA),快速迭代收缩阈值算法(ConvFISTA),增广拉格朗日乘子法(ADMMs)。
本发明建立在以上三个模型中,结合以上思想以及Weisheng Dong提出的基于非局部自相似稀疏编码的图像重建方法,本发明提出了一种新的超分辨率重建模型,即通过图像非局部自相似性,建立反卷积稀疏编码模型,实现图像超分辨率重建。图像超分辨率重建模型如下:
其中,yl是低分辨率图像,由清晰图像经过x降质(yl=DHx)所得到的,fhi是离线训练的,以与待重构图像无关的多幅高分辨率图像做为训练样本集,根据已有的滤波器训练方法进行训练,获得高分辨率滤波器;是添加非局部信息后的特征图。当求得最优解z*后,相应的就求得了对应的高分辨率图像
其中fhi(高分辨率图像滤波器)训练过程如下:
其中,训练图像集为
本发明对原始低分辨率图像进行三倍上采样得到其相应的超分辨率重建图像。如图1所示,本发明的主要步骤如下:
1.图像预处理
本发明中首先对原始彩色图像,利用图像空间的变化,将其变换到YCbCr空间中,由于人眼对色度分量更加关心,以及2014年Elad等曾提出高低分辨率图像的差别主要是高频信息的不同,所以我们仅对Y分量的高频信息做基于稀疏表示的超分辨率重建,而其他的两个分量Cb、Cr以及Y分量的低频信息,我们采用一般的插值算法进行超分辨率重建。为了提取图像y(Y分量)的高频信息,我们首先要解决以下问题:
其中,是图像y的低频特征图;fs是一个3*3的低通滤波器,其值为1/9;fdh和fdv分别是水平方向和垂直方向的梯度算子,其值为[1,-1]和[1;-1]。为了求解(9)式,我们将其转换到傅里叶域中进行求解,求解形式如下:
其中,和是傅里叶变换(FFT)与逆傅里叶变换;以及是fs、fdh和fdv的傅里叶变换;符号“^”表示复共轭,“ο”表示分量相乘。根据所求的可得y的高频信息Y,即
2.训练高分辨率滤波器
本发明根据Felix Heide等2015年提出的一种卷积稀疏编码快速求解方法,通过求解(8)式,得到相应的高分辨率滤波器。在此求解过程中,我们用到的高分辨率图像集为10幅fruit图像,图像尺寸为100*100,即训练数据集的尺寸为100*100*10;训练的滤波器尺寸为11*11,滤波器个数为100,即滤波器尺寸为11*11*100。首先将训练图像集进行预处理,提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集,得到对应的滤波器
3.基于非局部自相似性卷积稀疏编码的图像超分辨率重建
首先对待重建的低分辨率图像y进行空间转换,得到其YCbCr空间图像,通过上文描述的图像高低频信息分离算法,提取Y分量图像的高频信息,做为待重建的低分辨率图像yl。而其它的两个分量Cb、Cr以及Y分量的低频信息,我们采用一般的插值算法进行超分辨率重建。在本发明中,我们首先对yl进行双线性3倍上采样插值,得到对应的初始化高分辨率图像x(1),根据卷积公式zi=fhi*x(1),初始化
3.1特征图Z相似块位置的确定
根据当前得到的高分辨率图像x(1),以及NLM算法,我们将图像分成6*6非重叠的图像块集其中r为图像块数;通过计算当前块与其它块之间的欧氏距离,来寻找与当前块最相似的12个块,记下这12个块的位置信息,即Ωi。
3.2特征图Z相似块值的确定
根据卷积神经网络的特性,可知卷积滤波器提取的是基于整幅图像的全局特征,因此,可认为特征图中的信息与图像中的信息具有一致对应关系。于是我们用同样的分块方式,得到每一个特征图对应的图像块集其中r为图像块数。根据上一步求得的图像相似块位置信息集Ωi,可计算出添加了非局部相似信息后的特征图Z
其中,h=75。
3.3特征图Z当前更新值的确定
在当前迭代过程中,固定我们可求解以下L1正则化最小值问题,即
此问题是一个凸优化问题,可以进行精确求解。在本发明中,我们采用I.Daubechies等人2004年提出的一种稀疏约束线性逆问题的迭代阈值算法求解(12)式,在第t+1次迭代中,所求得的收缩算子为
其中,n,m分别为zi的行数与列数,z′ij与分别为zi与中的元素值。Sτ(.)是一种软阀值操作,其中Fi=fliplr(flipud(fhi));τ=λi/c,c是一个保证函数凸性的辅助参数。根据所求得的我们可以得到当前迭代下的高分辨率图像
不断重复3.1~3.3步骤,直到达到迭代终止条件,停止迭代,得到最终的高分辨率图像
为了验证上述所提出的超分辨率重建方案的有效性,我们对比了重构图像的客观质量。主要包括两个方面:1.峰值信噪比(Peak Signal to Noise Ratio,PSNR);2.结构相似度量(SSIM)。
1.峰值信噪比
峰值信噪比(Peak Signal to Noise Ratio,PSNR)是最普遍,最广泛使用的评鉴画质的客观量测法,单位为分贝(dB)。其计算公式如下:
两幅大小为m*n的图像的均方误差MSE的定义如下:
其中I,J分别表示原始高分辨率图像和超分辨率重建图像,而I(x,y),J(x,y)为对应于位置(x,y)处的像素值。均方误差越小,psnr值越高,图像超分辨率的重建效果越好。
2.结构相似性
它是一种基于结构失真图像质量的评价方法,该方法将亮度和对比度从图像结构信息中分离,并结合结构信息对图像质量进行评价.定义了SSIM:
SSIM(i,j)=[L(i,j)]α·[C(i,j)]β·[S(i,j)]γ
其中:
其中L表示亮度(Lightness),用均值(μi,μj)进行估计,C表示对比度(Contrast),用标准差(σi,σj)来估计,相应的协方差σij作为结构相似程度的度量。α,β,γ是用来调整亮度、对比度和结构信息的权重,为了防止分母出现零或接近0,产生不稳定现象,因此引入了λ1,λ2,λ3。当α=β=γ=1,λ3=λ2/2时,公式简化为
由于SSIM较好的特性:对称性,有界性,唯一性,使得它能很好的反映了图像的客观质量。由于观察值在某一瞬间更关注某个局部区域的细节信息,所以图像的整体统计特征不能反映图像的特点,因此SSIM与PSNR相结合能更好的反映图像重建质量。一般PSNR较大时SSIM的区分度较小,即PSNR高,SSIM也高,而在PSNR较小时,SSIM就具有较好的区分度。因此这里主要是通过PSNR和SSIM来评价超分辨图像的结果。
为了更好的比较超分辨率重建的质量,这里仅给出重建的灰度图像的PSNR比较结果:
表1插值算法、SRCNN及本发明(NCDSC)算法的PSNR数据比较结果
测试图像 | Bi-cubic方法 | SRCNN方法 | NCDSC方法 |
Baby | 0.9899 | 0.9963 | 0.9970 |
Plants | 0.9548 | 0.9835 | 0.9841 |
Girl | 0.9869 | 0.9932 | 0.9940 |
Hat | 0.9610 | 0.9800 | 0.9808 |
Raccoon | 0.9608 | 0.9773 | 0.9791 |
Lena | 0.9482 | 0.9790 | 0.9816 |
Parthenon | 0.9201 | 0.9534 | 0.9562 |
Parrots | 0.9615 | 0.9805 | 0.9806 |
表2插值算法、SRCNN及本发明(NCDSC)算法的SSIM数据比较结果
以上PSNR和SSIM的数据反映了基于非局部自相似反卷积稀疏编码的图像超分辨率重建的客观质量较传统的方法有了明显提升。说明基于非局部自相似反卷积稀疏编码的图像超分辨率重建模型,对于重建高分辨率图像有很重要的意义。基于整幅图像进行重建,避免了块效应对重建图像质量的影响;添加非局部信息,很好的保持了图像的纹理信息及高频信息,从而有效地提高了图像的重建质量。
Claims (2)
1.一种基于图像非局部自相似性的单幅图像的超分辨率重建方法,其特征在于,包括以下步骤:
步骤1、建立训练高分辨率滤波器
根据卷积稀疏编码快速求解方法,通过求解(8)式,得到相应的高分辨率滤波器,即高分辨率图像滤波器fhi训练过程如下:
其中,训练图像集为首先将训练图像集进行预处理,提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集,得到对应的滤波器
步骤2、基于非局部自相似性卷积稀疏编码的图像超分辨率重建
首先对待重建的低分辨率图像y进行空间转换,得到其YCbCr空间图像,通过图像高低频信息分离算法,提取Y分量图像的高频信息,做为待重建的低分辨率图像yl;而其它的两个分量Cb、Cr以及Y分量的低频信息,采用插值算法进行超分辨率重建,其中,我们首先对yl进行双线性3倍上采样插值,得到对应的初始化高分辨率图像x(1),根据卷积公式zi=fhi*x(1),初始化具体包括:
3.1、特征图Z相似块位置的确定
根据当前得到的高分辨率图像x(1),以及NLM算法,将图像分成6*6非重叠的图像块集其中,r为图像块数;通过计算当前块与其它块之间的欧氏距离,来寻找与当前块最相似的12个块,记下这12个块的位置信息,即Ωi;
3.2特征图Z相似块值的确定
根据卷积神经网络的特性,可知卷积滤波器提取的是基于整幅图像的全局特征,因此,可认为特征图中的信息与图像中的信息具有一致对应关系;根据以上特征,得到每一个特征图对应的图像块集其中r为图像块数;根据上一步求得的图像相似块位置信息集Ωi,可计算出添加了非局部相似信息后的特征图Z
其中,h=75。
3.3特征图Z当前更新值的确定
在当前迭代过程中,固定可求解以下L1正则化最小值问题,即
采用稀疏约束线性逆问题的迭代阈值算法求解(12)式,在第t+1次迭代中,所求得的收缩算子为
其中,n,m分别为zi的行数与列数,z′ij与分别为zi与中的元素值。Sτ(.)是软阀值操作,其中Fi=fliplr(flipud(fhi));τ=λi/c,c是保证函数凸性的辅助参数。根据所求得的可以得到当前迭代下的高分辨率图像
不断重复3.1~3.3步骤,直到达到迭代终止条件,停止迭代,得到最终的高分辨率图像
2.如权利要求1所述的基于图像非局部自相似性的单幅图像的超分辨率重建方法,其特征在于,还包括图像预处理,具体过程如下:
首先对原始彩色图像,利用图像空间的变化,将其变换到YCbCr空间中,仅对Y分量的高频信息做基于稀疏表示的超分辨率重建,而其他的两个分量Cb、Cr以及Y分量的低频信息,采用插值算法进行超分辨率重建,提取图像Y分量的高频信息过程如下:
其中,是图像y的低频特征图;fs是一个3*3的低通滤波器,其值为1/9;fdh和fdv分别是水平方向和垂直方向的梯度算子,其值为[1,-1]和[1;-1];
为了求解(9)式,将其转换到傅里叶域中进行求解,求解形式如下:
其中,和是傅里叶变换(FFT)与逆傅里叶变换;以及是fs、fdh和fdv的傅里叶变换;符号“^”表示复共轭,表示分量相乘;
根据所求的可得y的高频信息Y,即
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142438.7A CN106952228B (zh) | 2017-03-10 | 2017-03-10 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710142438.7A CN106952228B (zh) | 2017-03-10 | 2017-03-10 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106952228A true CN106952228A (zh) | 2017-07-14 |
CN106952228B CN106952228B (zh) | 2020-05-22 |
Family
ID=59466795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710142438.7A Expired - Fee Related CN106952228B (zh) | 2017-03-10 | 2017-03-10 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106952228B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN108717717A (zh) * | 2018-04-23 | 2018-10-30 | 东南大学 | 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法 |
CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
CN108921783A (zh) * | 2018-06-01 | 2018-11-30 | 武汉大学 | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 |
CN109171792A (zh) * | 2018-09-29 | 2019-01-11 | 江苏影医疗设备有限公司 | 成像方法及使用该成像方法的ct成像系统 |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109523470A (zh) * | 2018-11-21 | 2019-03-26 | 四川长虹电器股份有限公司 | 一种深度图像超分辨率重建方法及系统 |
CN109741263A (zh) * | 2019-01-11 | 2019-05-10 | 四川大学 | 基于自适应联合约束的遥感图像超分辨率重建算法 |
CN110503078A (zh) * | 2019-08-29 | 2019-11-26 | 的卢技术有限公司 | 一种基于深度学习的远距离人脸识别方法和系统 |
CN111194555A (zh) * | 2017-08-28 | 2020-05-22 | 交互数字Vc控股公司 | 用模式感知深度学习进行滤波的方法和装置 |
CN111489435A (zh) * | 2020-03-31 | 2020-08-04 | 天津大学 | 基于单图像的自适应三维人脸重建方法 |
CN111899209A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于卷积匹配追踪字典学习的可见光红外图像融合方法 |
CN111899207A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于局部处理卷积字典学习的可见光与红外图像融合方法 |
CN112598575A (zh) * | 2020-12-22 | 2021-04-02 | 电子科技大学 | 一种基于特征处理的图像信息融合及超分辨率重建方法 |
CN113191947A (zh) * | 2021-03-23 | 2021-07-30 | 西安电子科技大学 | 一种图像超分辨率的方法及系统 |
CN113256685A (zh) * | 2021-06-25 | 2021-08-13 | 南昌工程学院 | 基于卷积神经网络字典对学习的目标跟踪方法与系统 |
CN113592965A (zh) * | 2021-07-28 | 2021-11-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN114004872A (zh) * | 2021-11-01 | 2022-02-01 | 燕山大学 | 图像的卡通纹理分离方法、装置、电子设备及存储介质 |
CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统 |
CN116452425A (zh) * | 2023-06-08 | 2023-07-18 | 常州星宇车灯股份有限公司 | 图像超分辨率重建方法、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN104574336A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建系统 |
WO2016028819A1 (en) * | 2014-08-18 | 2016-02-25 | Entropix, Inc. | Photographic image acquisition device and method |
CN106157240A (zh) * | 2015-04-22 | 2016-11-23 | 南京理工大学 | 基于字典学习的遥感图像超分辨率方法 |
EP3105736A1 (en) * | 2014-02-13 | 2016-12-21 | Thomson Licensing | Method for performing super-resolution on single images and apparatus for performing super-resolution on single images |
-
2017
- 2017-03-10 CN CN201710142438.7A patent/CN106952228B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
EP3105736A1 (en) * | 2014-02-13 | 2016-12-21 | Thomson Licensing | Method for performing super-resolution on single images and apparatus for performing super-resolution on single images |
WO2016028819A1 (en) * | 2014-08-18 | 2016-02-25 | Entropix, Inc. | Photographic image acquisition device and method |
CN104574336A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建系统 |
CN106157240A (zh) * | 2015-04-22 | 2016-11-23 | 南京理工大学 | 基于字典学习的遥感图像超分辨率方法 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
CN107610049B (zh) * | 2017-08-21 | 2021-01-05 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
CN111194555A (zh) * | 2017-08-28 | 2020-05-22 | 交互数字Vc控股公司 | 用模式感知深度学习进行滤波的方法和装置 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN108109109A (zh) * | 2017-12-22 | 2018-06-01 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN108109109B (zh) * | 2017-12-22 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
CN108717717A (zh) * | 2018-04-23 | 2018-10-30 | 东南大学 | 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法 |
CN108717717B (zh) * | 2018-04-23 | 2022-03-08 | 东南大学 | 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法 |
CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
CN108734675B (zh) * | 2018-05-17 | 2021-09-28 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
CN108921783A (zh) * | 2018-06-01 | 2018-11-30 | 武汉大学 | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 |
CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109171792A (zh) * | 2018-09-29 | 2019-01-11 | 江苏影医疗设备有限公司 | 成像方法及使用该成像方法的ct成像系统 |
CN109523470A (zh) * | 2018-11-21 | 2019-03-26 | 四川长虹电器股份有限公司 | 一种深度图像超分辨率重建方法及系统 |
CN109741263B (zh) * | 2019-01-11 | 2019-10-11 | 四川大学 | 基于自适应联合约束的遥感图像超分辨率重建方法 |
CN109741263A (zh) * | 2019-01-11 | 2019-05-10 | 四川大学 | 基于自适应联合约束的遥感图像超分辨率重建算法 |
CN110503078A (zh) * | 2019-08-29 | 2019-11-26 | 的卢技术有限公司 | 一种基于深度学习的远距离人脸识别方法和系统 |
CN111489435B (zh) * | 2020-03-31 | 2022-12-27 | 天津大学 | 基于单图像的自适应三维人脸重建方法 |
CN111489435A (zh) * | 2020-03-31 | 2020-08-04 | 天津大学 | 基于单图像的自适应三维人脸重建方法 |
CN111899209A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于卷积匹配追踪字典学习的可见光红外图像融合方法 |
CN111899207A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于局部处理卷积字典学习的可见光与红外图像融合方法 |
CN111899209B (zh) * | 2020-08-11 | 2023-09-26 | 四川警察学院 | 基于卷积匹配追踪字典学习的可见光红外图像融合方法 |
CN112598575A (zh) * | 2020-12-22 | 2021-04-02 | 电子科技大学 | 一种基于特征处理的图像信息融合及超分辨率重建方法 |
CN112598575B (zh) * | 2020-12-22 | 2022-05-03 | 电子科技大学 | 一种基于特征处理的图像信息融合及超分辨率重建方法 |
CN113191947B (zh) * | 2021-03-23 | 2024-05-14 | 西安电子科技大学 | 一种图像超分辨率的方法及系统 |
CN113191947A (zh) * | 2021-03-23 | 2021-07-30 | 西安电子科技大学 | 一种图像超分辨率的方法及系统 |
CN113256685B (zh) * | 2021-06-25 | 2021-09-24 | 南昌工程学院 | 基于卷积神经网络字典对学习的目标跟踪方法与系统 |
CN113256685A (zh) * | 2021-06-25 | 2021-08-13 | 南昌工程学院 | 基于卷积神经网络字典对学习的目标跟踪方法与系统 |
CN113592965A (zh) * | 2021-07-28 | 2021-11-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN113592965B (zh) * | 2021-07-28 | 2024-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN114004872A (zh) * | 2021-11-01 | 2022-02-01 | 燕山大学 | 图像的卡通纹理分离方法、装置、电子设备及存储介质 |
CN114549323A (zh) * | 2022-02-28 | 2022-05-27 | 福建师范大学 | 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统 |
CN116452425A (zh) * | 2023-06-08 | 2023-07-18 | 常州星宇车灯股份有限公司 | 图像超分辨率重建方法、设备及介质 |
CN116452425B (zh) * | 2023-06-08 | 2023-09-22 | 常州星宇车灯股份有限公司 | 图像超分辨率重建方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106952228B (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
Kappeler et al. | Video super-resolution with convolutional neural networks | |
Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
CN107993194B (zh) | 一种基于平稳小波变换的超分辨率重建方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN103020898B (zh) | 序列虹膜图像超分辨率重建方法 | |
CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN111640059B (zh) | 基于高斯混合模型的多字典图像超分辨方法 | |
CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
Liu et al. | True wide convolutional neural network for image denoising | |
CN106600533B (zh) | 单图像超分辨率重建方法 | |
CN114494015B (zh) | 基于盲超分辨率网络的图像重建方法 | |
CN110599402A (zh) | 一种基于多特征稀疏表示的图像超分辨率重建方法 | |
Chen et al. | Image denoising via deep network based on edge enhancement | |
CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200522 |
|
CF01 | Termination of patent right due to non-payment of annual fee |