CN108830791A - 基于自身样例和稀疏表示的图像超分辨率方法 - Google Patents
基于自身样例和稀疏表示的图像超分辨率方法 Download PDFInfo
- Publication number
- CN108830791A CN108830791A CN201810478698.6A CN201810478698A CN108830791A CN 108830791 A CN108830791 A CN 108830791A CN 201810478698 A CN201810478698 A CN 201810478698A CN 108830791 A CN108830791 A CN 108830791A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- matrix
- block
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 55
- RKMGAJGJIURJSJ-UHFFFAOYSA-N 2,2,6,6-Tetramethylpiperidine Substances CC1(C)CCCC(C)(C)N1 RKMGAJGJIURJSJ-UHFFFAOYSA-N 0.000 claims description 26
- 230000003321 amplification Effects 0.000 claims description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- RINRSJBJOGCGBE-UHFFFAOYSA-N 3,3,5,6-tetramethyl-2h-pyrazine Chemical compound CC1=NCC(C)(C)N=C1C RINRSJBJOGCGBE-UHFFFAOYSA-N 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 241001504519 Papio ursinus Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
单幅图像超分辨率处理方法的目标是仅从一幅低分辨率的图像，重建出一幅高分辨率且清晰的图像。本发明提出了一种利用内部样例和外部字典训练相结合的重建图像高频信息的方法。在训练阶段，该方法首先利用内部样例训练的方法重建出图像中的主要高频特征，然后再利用外部字典训练的方法训练稀疏字典对。在图像重建阶段，首先利用和离线过程中同样的方法重建出主要高频特征，然后再利用稀疏表示的方法重建出残差高频特征。实验表明，该算法可以重建出比较好的图像中的高频信息，所提出的方法的性能指标好于现有的超分辨率方法。
Description
技术领域
本发明涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的技术领域。即， 仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像 与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。
背景技术
仅从一幅低分辨图像中重建出一幅高分辨图像的过程称为单幅图像的超分辨率技术 (single image super-resolution)。在最近一些年，单幅图像的超分辨率技术在实际生活中有着 广泛的应用，例如：在遥感图像，医学图像，监控图像，图像视频压缩和计算机视觉等领域， 此技术用来提高图像的清晰度。
目前，图像的超分辨的方法可以分为如下几类：(1)基于插值的方法。其利用图像的已 知低分辨率像素值来进行插值获得高分辨率像素值。这类方法的特点是速度快，然而其重构 的图像的质量不高，尤其是对于图像的边缘部分，会产生边缘模糊的效应。(2)基于样例的 方法。在这类方法的基于外部样例法中，利用外部大量的训练图像来得到含有低分辨率图像 块和所对应的高分辨率图像块的集合。然后，对待放大的图像块，在训练集合中寻找其最相 似的几个低分辨率的图像块，通过这些图像块在训练集合中所对应的高分辨率图像块的优化 的组合来得到高分辨率的图像块。在这类方法的基于内部样例法中，通过对输入的低分辨率 图像进行模拟的退化过程，得到分辨率更低的图像块，并不断迭代重复这一过程直到获得足 够多的在不同分辨率上的图像块，以在这些图像中，提取低分辨率的图像块和所对应的高分 辨率的图像块放入训练集合。这类方法的特点是训练时间长，需要很大的存储空间来存储训 练集合。同时，其找到相似块的计算部分很费时。其重构的高分辨率的图像的质量一般来说 要好于基于插值的方法，但是在图像中会产生块效应，影响其输出图像的视觉效果。(3)基 于神经网络进行深度学习的方法。在这类方法中利用多层的卷积神经网络(CNN)来学习低 分辨率图像到高分辨率图像的映射，在学习完之后，利用学习好的模型来产生高分辨率的图 像。在这里，需要大量的训练图像来产生较好的卷积神经网络的模型。一般来说，这类方法 的效果也要好于基于插值的方法。同时，如果输入的低分辨率图像和训练集中的图像的差异 较大时，会降低其输出图像的质量。(4)基于稀疏表示的方法。在这类方法中，利用大量的 训练图像来产生可以稀疏表示图像的字典，包括低分辨率图像的字典和高分辨率图像的字典。 对于要放大图像上的图像块，首先利用低分辨率字典来稀疏表示，然后利用同样的稀疏表示 的系数和高分辨率的字典来产生高分辨率的图像块。这类方法在训练之后，仅需要存储低分 辨率块的字典和高分辨率块的字典，其需要的存储空间大大小于基于样例的方法。一般情况 下，其获得的输出的图像的质量和以上所介绍的基于神经网络进行深度学习方法所输出的图 像的质量差不多。同时，其泛化能力强，即使要放大的图像和训练集合中的图像相差较大， 也能获得较好的输出的高分辨率的图像。
通过以上介绍，可以看出基于稀疏表示的方法具有较好的性能，本发明将对原有的基于 稀疏表示的方法进行改进，以提高输出的高分辨率图像的质量和视觉效果，得到更清晰的图 像。
发明内容
本发明的主要创新点包括以下几个个方面：1)字典训练阶段和图像合成阶段只使用一个 稀疏字典对，即，低分辨率的残差字典(low-resolution dictionary，LRD)和高分辨率的残差字 典(high-resolution dictionary HRD)；2)在字典训练阶段和图像合成阶段都是利用内部样例重 建出主要高频特征(main high-frequency features，MHF)，而没有使用外部图像的信息重建出 主要的高频特征(MHF)；3)使用内部样例重建出主要高频特征(MHF)时只使用自身的一 幅低分辨(low-resolution，LR)图像训练投影矩阵pk，没有像以前的方法那样使用很大的训练 样例集，因此运行时间比较短。同时，利用本文所提出的方法，字典训练阶段和图像重建阶 段是可以分离的，大大减少了在线的对图像进行超分辨率放大的时间。4)训练集和测试集是 分离的，训练集中高分辨率临时图像HTMP与测试集中高分辨率临时图像HTMP是不同的图像。 这样大大缩短了运行时间，并且训练阶段和测试阶段可以脱机处理。
本发明所提出的方法包括两个阶段：字典的离线训练阶段和图像的在线重建阶段。
1)字典的离线训练阶段
所提出的方法在字典训练阶段，首先高分辨率的原始图像HORG经过点扩展算子的卷积 和下采样操作后得到低分辨率的图像I0。然后，把图像I0看作为高分辨率的训练图像IH，对 IH进行点扩展算子的卷积和下采样后得到低分辨率的训练图像IL。接下来，使用双三次插值 (bi-cubic interpolation)方法放大图像IL，并对放大得到的图像使用迭代反投影(iterative back propagation，IBP)的方法进行修正得到图像ILF，IH减去ILF得到图像IHF。投影矩阵Pk的训练 集其中，N1是图像块的个数，是由图像IHF直接分块 得到的图像块的集合，是使用下面的式(1-4)中的四个高通滤波器分别滤波处理 图像ILF，在每个像素点上得到4个分量，并使用主成分分析的方法(principle component analysis，PCA)降维后只剩1个分量所得到的图像块集合。
G＝[1，0，-1]； (1)
L＝[1/2，0，-1，0，1/2]； (2)
GT＝[1，0，-1]T (3)
LT＝[1/2，0，-1，0，1/2]T (4)
在低分辨率的训练集中采用K-均值(K-means)分类的方法，对其空间分为K 个类，每个类的中心点为锚点每个锚点都对应一个邻域矩阵其中，每个邻域矩阵 由有nc个和锚点最相近的原子(atom)组成。这nc个最相近的原子是通过计算训练样 例集合中的每个原子与锚点的相关性，选择相关性最大的原子得到的。同时，和这些原子相对应的高分辨率的图像块组成高分辨率上的邻域矩阵然后利用如下公式(5)，可以 得到和锚点相对应的投影矩阵PJ。
其中，矩阵I是单位矩阵，λ是平衡因子，需要在实验中对其进行优化的设置，矩阵XT是矩 阵X的转置矩阵。对低分辨率图像I0使用双三次插值放大可以得到初始插值图像Ibic，然后对 Ibic中的每一个图像块找到和其相关性最大的锚点利用训练好的投影矩阵Pj0，和以 下公式(6)估计出高分辨率图像中的图像块
主要高频图像HMHF可以通过合并以上所有估计出的高分辨率图像块以及对块与块之间的重 叠区域取平均值求出来。图像Iibp加上得到的主要高频图像HMHF可以得到高分辨率临时图像 HTMP。图像HORG减去图像HTMP可以得到残差高频图像HRHF。用和处理图像IHF和ILF一样的方 法处理图像HTMP和HRHF，可以得到外部训练集其中是图像HTMP上提取的图像块，N2是其中的图像块的个数，是图像HRHF经过滤波和主成分分析后在相 同位置处提取的图像块。使用稀疏表示中K-SVD字典训练的方法处理产生低 分辨冗余字典LRD和稀疏表示向量利用外部训练集中的所有高分辨率块 可以构成矩阵Q，其中是矩阵Q的第m列。利用稀疏表示向量可以构成矩阵R，其中是矩阵R的第m列。对于所求的高分辨率字典 HRD，希望其能最小化如下的函数。
对式(7)的求解，可以得到高分辨率的字典
HRD＝Q*RH*(R*RH)-1 (8)
这样，就完成了离线的训练过程，得到了过完备的低分辨率的字典LRD和高分辨率字典 HRD，以供在线过程使用。
2)在线的放大过程
首先，对输入的一幅低分辨率的图像LINPUT，按照上面离线过程中的处理方法，可以生成 图像ILF，然后对ILF图像中的每一个图像块，以及训练好的投影矩阵根据前面的公式(6)， 生成主要高频特征图像HMHF，图像Iibp加上主要高频图像HMHF得到高分辨率临时图像HTMP。 生成HR临时图像HTMP以后，先使用上面的(1-4)式中的四个高通滤波器分别滤波处理HTMP， 并使用PCA降维以后可以得到图像块再使用优化的匹配跟踪(optimal matchingpursuit， OMP)算法处理和低分辨冗余字典LRD，可以得到图像块在低分辨率字典上的表示系数 矢量这样，重建的高分辨率图像块可以表示为按照这个方法对图像中所 有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采用取平均值的方法，就可 以得到高分辨率的残差高频图像HRHF。最后，高分辨率的残差高频图像HRHF加上高分辨率的 临时图像HTMP便得到最终的输出的高分辨图像HEST。
附图说明
1.图1是所提出的方法的流程图；
2.图2是所提出方法的字典离线训练阶段的流程图；
3.图3是所提出方法的图像在线合成放大阶段的流程图；
4.图4是本发明所采用的训练图像；
5.图5是各种算法对Lena图像的超分辨率重建结果图；图5(a)是高分辨率图像的原图，图 5(b)是双三次插值方法的结果图，图5(c)是Zeyde方法的结果图，图5(d)是Zhang的方法的结 果图，图5(e)是所提出的方法的结果图；
6.图6是各种算法对Butterfly图像的超分辨率重建结果图；图6(a)是高分辨率图像的原图， 图6(b)是双三次插值方法的结果图，图6(c)是Zeyde方法的结果图，图6(d)是Zhang的方法 的结果图，图6(e)是所提出的方法的结果图。
具体实施方式
以下结合说明书的附图，具体介绍本发明的实施方式。
本发明所采用的训练图像只有如附图4所示的图像。由于只有一幅训练图像，其训练阶 段的计算复杂度低，运行的时间快。其离线训练阶段的目的是产生用于稀疏表示的高分辨率 的字典和低分辨率的字典。在离线训练阶段，输入的高分辨率的原始图像HORG经过点扩展算 子的卷积和下采样操作后得到低分辨率的图像I0。然后，把图像I0看作为高分辨率的训练图 像Ih，对Ih进行点扩展算子的卷积和下采样后得到低分辨率的训练图像IL。接下来，使用双 三次插值方法放大图像IL，并对放大得到的图像使用迭代反投影(iterativeback propagation， IBP)的方法进行修正得到图像ILF，IH减去ILF得到图像IHF。投影矩阵Pk的训练集 其中，N1是图像块的个数，是由图像IHF直接分块得 到的图像块的集合，是使用下面的式(9-12)中的四个高通滤波器分别滤波处理 图像ILF，在每个像素点上得到4个分量，并使用主成分分析的方法(principlecomponent analysis，PCA)降维后只剩1个分量所得到的图像块集合。
G＝[1，0，-1]； (9)
L＝[1/2，0，-1，0，1/2]； (10)
GT＝[1，0，-1]T (11)
LT＝[1/2，0，-1，0，1/2]T (12)
在低分辨率的训练集中采用K-均值(K-means)分类的方法，对其空间分为K 个类，每个类的中心点为锚点每个锚点都对应一个邻域矩阵其中，每个邻域矩阵 由有nc个和锚点最相近的原子(atom)组成，为矩阵的第m列。这nc个最相近 的原子是通过计算训练样例集合中的每个原子与锚点的相关性，选择相关性最大的原子得到的。同时，和这些原子相对应的高分辨率的图像块组成高分辨率上的邻域矩阵然后利用如下公式(13)，可以得到和锚点相对应的投影矩阵Pj。
其中，矩阵I是单位矩阵，λ是平衡因子，矩阵XT是矩阵X的转置矩阵。对低分辨率图像I0使用双三次插值放大可以得到初始插值图像Ibic，然后对Ibic中的每一个图像块找到和其 相关性最大的锚点利用训练好的投影矩阵Pj0，和以下公式(14)估计出高分辨率图像中的 图像块
主要高频图像HMHF可以通过合并以上所有估计出的高分辨率图像块，以及对块与块之间的重 叠区域取平均值求出来。图像Iibp加上得到的主要高频图像HMHF可以得到高分辨率临时图像HTMP。图像HORg减去图像HTMP可以得到残差高频图像HRHF。用和处理图像IHF、ILF一样的方 法处理图像HTMP和HRHF，可以得到外部训练集其中是图像HTMP上提取的图像块，N2是其中的图像块的个数，是图像HRHF经过滤波和主成分分析后在相 同位置处提取的图像块。使用稀疏表示中K-SVD字典训练的方法处理可以 得到低分辨冗余字典LRD和稀疏表示向量利用外部训练集中的所有高分辨 率块可以构成矩阵Q，其中是矩阵Q的第m列。利用稀疏表示向量可以构成矩阵R，其中是矩阵R的第m列。然后，利用以下公式(15)可 以得到高分辨率的字典
HRD＝Q*RH*(R*RH)-1 (15)
这样，就完成了离线的训练过程，得到了过完备的低分辨率的字典LRD和高分辨率字典 HRD，以供在线过程使用。
在本发明的在线放大过程中，对输入的一幅低分辨率的图像LINPUT，按照上面离线过程中 的处理方法，可以生成图像ILF，然后对ILF图像中的每一个图像块，以及训练好的投影矩阵 根据前面的公式(14)，生成主要高频特征图像HMHF，图像Iibp加上主要高频图像HMHF得 到高分辨率临时图像HTMP。生成HR临时图像HTMP以后，先使用上面的(9-12)式中的四个高通 滤波器分别滤波处理HTMP，并使用PCA降维以后可以得到图像块再使用优化的匹配跟 踪(optimal matching pursuit，OMP)算法处理和低分辨冗余字典LRD，可以得到图像块在 低分辨率字典上的表示系数矢量这样，重建的高分辨率图像块可以表示为按照这个方法对图像中所有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采 用取平均值的方法，就可以得到高分辨率的残差高频图像HRHF。最后，高分辨率的残差高频 图像HRHF加上高分辨率的临时图像HTMP便得到最终的输出的高分辨图像HEST。
在本发明的实验中对低分辨图像的放大倍数是2倍。在本发明的实施过程中，对发明中 所涉及到的参数的设置如下：1)在训练过程中输入的低分辨率图像是通过窗口大小为5×5， 标准差为1的高斯滤波获得的。在实验中，训练阶段和重建阶段的图像块的大小设置为9×9。 2)由于需要把所提出的方法和Zhang所提出的方法和Zeyde所提出的方法进行对比，实验中 的主要字典和残差字典的字典原子的个数K都设置为500，因此在实验中残差字典原子的个 数也设置为500，锚点个数为K＝500。每个锚点所对应的邻域矩阵中有nc个最相近的原子， 设置nc＝256，正则化参数λ＝0.01。3)和Zhang所提出方法中的训练图像一样，本发明也采 用附图4作为训练图像。因此，本发明的实验中对所提出的方法和Zeyde的方法、Zhang的 方法一样，使用附图4作为训练图像。
本发明通过实验，对比了所提出的方法、Zeyde的方法、Zhang的方法的性能。所对比的 性能指标为常用的性能指标PSNR(峰值信噪比)和SSIM(结构相似度)上进行比较，实验 结果如以下表1所示。
表1.各种超分辨率重建方法的PSNR(dB)和SSIM(×2)
由表1的对各种算法的PSNR、SSIM对比结果可知，本发明所提出的方法的PSNR比Zeyde的方法、Zhang的方法的PSNR分别高了1.5dB、和1.19dB。本发明所提出的方法的 SSIM比Zeyde的方法、Zhang的方法的SSIM分别高了0.017、和0.0136。下面再从各个方 法的运行时间上进行比较，实验结果如以下表2所示。由于，在训练过程中产生的数据可以 保存起来，一次训练，多次地使用，本发明对比的所有方法的运行时间各指的是各个方法所 需的在线对图像进行超分辨率放大处理的时间。本发明的实验运行的环境为：Windows 10的 64位操作系统，Matlab的仿真软件，计算机的CPU为Intel的Xeon(R)的E5-2650处理器， 内存为64GB。
表2.Zeyde、Zhang、与本发明所提出的方法的在线运行时间(单位：秒)
| 图像 | Zeyde的方法 | Zhang的方法 | 所提出的方法 |
| Baby | 2.95 | 4.18 | 3.68 |
| Bird | 0.91 | 1.35 | 1.12 |
| Butterfly | 0.74 | 1.05 | 0.97 |
| Head | 0.93 | 1.23 | 1.08 |
| Woman | 0.92 | 1.31 | 1.09 |
| Baboon | 2.62 | 3.74 | 3.15 |
| Coastguard | 1.19 | 1.66 | 1.3 |
| Foreman | 1.12 | 1.59 | 1.34 |
| Lenna | 2.93 | 4.36 | 3.44 |
| Pepper | 2.95 | 4.15 | 3.48 |
| Zebra | 2.54 | 3.68 | 3.0 |
| 平均 | 1.8 | 2.57 | 2.15 |
由表2各个方法的运行时间可知，本发明所提出的方法的运行时间和Zeyde的方法、Zhang 的方法的运行时间都差不多在1秒到3秒之间，性能都差不多。再结合表1的PSNR和SSIM 的实验结果可以看出，本发明所提出的方法在性能指标上比已有的Zeyde的方法和Zhang的 方法在客观的图像质量的评价指标上要好，而且运行时间和已有的这两个方法差不多。
在附图5和附图6中，给出了采用不同方法进行超分辨率放大所重构图像的视觉效果图。 由附图5和附图6可以看出，双三次插值的方法的放大产生的图像比较模糊和平滑，视觉效 果最差。Zeyde的方法相对于双三次插值，视觉效果提高了很多，但局部纹理和边缘部分不 够清晰，Zhang的方法相对于Zeyde的方法有了较大程度的提高，但在图像细节信息的恢复 上仍然有缺陷，存在一定的锯齿和伪影的现象。而本发明所提出的方法的效果优于前三种方 法，更好地保持了图像的局部细节信息，而且减少了块效应和伪影效应。
Claims (3)
1.一种基于自身样例和稀疏表示的图像超分辨率方法，包括离线的获得投影矩阵、利用投影矩阵产生高频特征、利用外部训练法产生低分辨率字典、和高分辨率字典的离线的训练阶段；和在线的利用训练好的投影矩阵产生主要高频特征、利用低分辨率字典和最优匹配跟踪方法产生稀疏表示的系数、利用系数表示的系数和高分辨率的字典产生高频残差特征、重构高分辨率图像的在线的放大阶段。
2.如权利要求1所述的一种基于自身样例和稀疏表示的图像超分辨率方法，其中的离线的训练阶段的特征在于，包括以下步骤：
步骤1)获得投影矩阵的方法，对于输入的高分辨率的原始图像HORG经过点扩展算子的卷积和下采样操作后得到低分辨率的图像I0，然后，把图像I0看作为高分辨率的训练图像IH，对IH进行点扩展算子的卷积和下采样后得到低分辨率的训练图像IL，接下来，使用双三次插值方法放大图像IL，并对放大得到的图像使用迭代反投影(iterative backpropagation，IBP)的方法进行修正得到图像ILF，图像IH减去图像ILF得到图像IHF，投影矩阵Pk的训练集其中，N1是图像块的个数，是由图像IHF直接分块得到的图像块的集合，是使用下面的式(1-4)中的四个高通滤波器分别滤波处理图像ILF，在每个像素点上得到4个分量，并使用主成分分析的方法(principlecomponent analysis，PCA)降维后只剩1个分量所得到的图像块集合，
G＝[1，0，-1]； (1)
L＝[1/2，0，-1，0，1/2]； (2)
GT＝[1，0，-1]T (3)
LT＝[1/2，0，-1，0，1/2]T (4)
在低分辨率的训练集中采用K-均值(K-means)分类的方法，对其空间分为K个类，每个类的中心点为锚点每个锚点都对应一个邻域矩阵其中，每个邻域矩阵由有nc个和锚点最相近的原子(atom)组成，为矩阵的第m列，这nc个最相近的原子是通过计算训练样例集合中的每个原子与锚点的相关性，选择相关性最大的原子得到的，同时，和这些原子相对应的高分辨率的图像块组成高分辨率上的邻域矩阵然后利用如下公式(5)，可以得到和锚点相对应的投影矩阵Pj，
其中，矩阵I是单位矩阵，λ是平衡因子，矩阵XT是矩阵X的转置矩阵；
步骤2)重建出主要高频特征的方法，对低分辨率图像I0使用双三次插值放大可以得到初始插值图像Ibic，然后对Ibic中的每一个图像块找到和其相关性最大的锚点利用训练好的投影矩阵和以下公式(6)估计出高分辨率图像中的图像块
主要高频图像HMHF可以通过合并以上所有估计出的高分辨率图像块，以及对块与块之间的重叠区域取平均值求出来；
步骤3)利用外部训练法产生稀疏字典的方法，图像Iibp加上得到的主要高频图像HMHF可以得到高分辨率临时图像HTMP，图像HORG减去图像HTMP可以得到残差高频图像HRHF，用和处理IHF、ILF一样的方法处理图像HTMP和HRHF，可以得到外部训练集其中是图像HTMP上提取的图像块，N2是其中的图像块的个数，是图像HRHF经过和在以上步骤1)中相同的滤波和主成分分析后在相同位置处提取的图像块，使用稀疏表示中K-SVD字典训练的方法处理可以得到低分辨冗余字典LRD和稀疏表示向量利用外部训练集中的所有高分辨率块可以构成矩阵Q，其由是矩阵Q的第m列，利用稀疏表示向量可以构成矩阵R，其中是矩阵R的第m列，然后，利用以下公式(7)可以得到高分辨率的字典
HRD＝Q*RH*(R*RH)-1 (7)
这样，就完成了离线的训练过程，得到了投影矩阵Pj、过完备的低分辨率的字典LRD、和高分辨率字典HRD，以供在线过程使用。
3.如权利要求1所述的一种基于自身样例和稀疏表示的图像超分辨率方法，其中的在线的放大阶段的特征在于，包括以下步骤：
步骤1)利用训练好的投影矩阵产生主要高频特征的方法，对输入的一幅低分辨率的图像LINPUT，以图像LINPUT作为以上离线过程中的输入图像HORG，按照上面离线过程中步骤1)中的处理方法，可以生成图像ILF，然后对ILF图像中的每一个图像块，以及训练好的投影矩阵根据前面的公式(6)，生成主要高频特征图像HMHF；
步骤2)利用字典LRD和最优匹配跟踪方法产生低分辨率块的稀疏表示的系数的方法，图像Iibp加上主要高频图像HMHF得到高分辨率临时图像HTMP，生成HR临时图像HTMP以后，先使用上面的(1-4)式中的四个高通滤波器分别滤波处理HTMP，并使用PCA降维以后可以得到一图像，然后从此图像中提取图像块再使用优化的匹配跟踪(optimal matchingpursuit，OMP)算法处理和低分辨冗余字典LRD，可以得到图像块在低分辨率字典上的稀疏表示系数矢量
步骤3)利用字典HRD和稀疏表示的系数重建残差高频特征的方法，重建的高分辨率图像块可以表示为按照这个方法对在线过程步骤2)最后得到的图像中所有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采用取平均值的方法，就可以得到高分辨率的残差高频图像HRHF；
步骤4)输出高分辨率的重构的图像的方法，最后，高分辨率的残差高频图像HRHF加上高分辨率的临时图像HTMP便得到最终的输出的高分辨图像HEST。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810478698.6A CN108830791B (zh) | 2018-05-09 | 2018-05-09 | 基于自身样例和稀疏表示的图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810478698.6A CN108830791B (zh) | 2018-05-09 | 2018-05-09 | 基于自身样例和稀疏表示的图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830791A true CN108830791A (zh) | 2018-11-16 |
| CN108830791B CN108830791B (zh) | 2022-05-06 |
Family
ID=64148960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810478698.6A Active CN108830791B (zh) | 2018-05-09 | 2018-05-09 | 基于自身样例和稀疏表示的图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830791B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097503A (zh) * | 2019-04-12 | 2019-08-06 | 浙江师范大学 | 基于邻域回归的超分辨率方法 |
| CN110111252A (zh) * | 2019-04-12 | 2019-08-09 | 浙江师范大学 | 基于投影矩阵的单幅图像超分辨率方法 |
| CN111402141A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
| CN111696042A (zh) * | 2020-06-04 | 2020-09-22 | 四川轻化工大学 | 基于样本学习的图像超分辨重建方法 |
| CN111951167A (zh) * | 2020-08-25 | 2020-11-17 | 深圳思谋信息科技有限公司 | 超分辨率图像重建方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680502A (zh) * | 2015-03-19 | 2015-06-03 | 四川大学 | 基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN105023240A (zh) * | 2015-07-08 | 2015-11-04 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率系统及方法 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN107993194A (zh) * | 2017-11-30 | 2018-05-04 | 天津大学 | 一种基于平稳小波变换的超分辨率重建方法 |
-
2018
- 2018-05-09 CN CN201810478698.6A patent/CN108830791B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680502A (zh) * | 2015-03-19 | 2015-06-03 | 四川大学 | 基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法 |
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN105023240A (zh) * | 2015-07-08 | 2015-11-04 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率系统及方法 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN107993194A (zh) * | 2017-11-30 | 2018-05-04 | 天津大学 | 一种基于平稳小波变换的超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| HANG CHEN等: ""Robust superresolution of multiangle-multispectral remote sensing images based on rank minimization"", 《2016 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 * |
| 卢焕卿等: ""基于自身样例和稀疏表示的单一图像超分辨率技术研究"", 《山东师范大学学报（自然科学版）》 * |
| 胡伦庭: ""基于稀疏表示和局部秩的单幅图像超分辨率重建方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097503A (zh) * | 2019-04-12 | 2019-08-06 | 浙江师范大学 | 基于邻域回归的超分辨率方法 |
| CN110111252A (zh) * | 2019-04-12 | 2019-08-09 | 浙江师范大学 | 基于投影矩阵的单幅图像超分辨率方法 |
| CN110097503B (zh) * | 2019-04-12 | 2024-01-19 | 浙江师范大学 | 基于邻域回归的超分辨率方法 |
| CN110111252B (zh) * | 2019-04-12 | 2024-01-23 | 浙江师范大学 | 基于投影矩阵的单幅图像超分辨率方法 |
| CN111402141A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
| CN111402141B (zh) * | 2020-03-25 | 2024-02-09 | 中国计量大学 | 串联式单图像超分辨率重建方法 |
| CN111696042A (zh) * | 2020-06-04 | 2020-09-22 | 四川轻化工大学 | 基于样本学习的图像超分辨重建方法 |
| CN111696042B (zh) * | 2020-06-04 | 2023-06-27 | 四川轻化工大学 | 基于样本学习的图像超分辨重建方法 |
| CN111951167A (zh) * | 2020-08-25 | 2020-11-17 | 深圳思谋信息科技有限公司 | 超分辨率图像重建方法、装置、计算机设备和存储介质 |
| CN111951167B (zh) * | 2020-08-25 | 2021-05-18 | 深圳思谋信息科技有限公司 | 超分辨率图像重建方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830791B (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Deep spatial–spectral representation learning for hyperspectral image denoising | |
| Cai et al. | Mask-guided spectral-wise transformer for efficient hyperspectral image reconstruction | |
| Chen et al. | Progressive semantic-aware style transformation for blind face restoration | |
| Zhang et al. | Learning deep CNN denoiser prior for image restoration | |
| CN108830791A (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
| Fang et al. | Blind visual quality assessment for image super-resolution by convolutional neural network | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| Li et al. | FilterNet: Adaptive information filtering network for accurate and fast image super-resolution | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN106934766A (zh) | 一种基于稀疏表示的红外图像超分辨率重建方法 | |
| Mansour et al. | Zero-shot noise2noise: Efficient image denoising without any data | |
| CN106097253B (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| Fanaee et al. | Face image super-resolution via sparse representation and wavelet transform | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| Ren et al. | Remote sensing image recovery via enhanced residual learning and dual-luminance scheme | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| CN107133915A (zh) | 一种基于学习的图像超分辨率重构方法 | |
| Ravirathinam et al. | C-LIENet: a multi-context low-light image enhancement network | |
| CN113284045A (zh) | 基于迁移学习和光谱恢复的hsi超分辨重建方法及相关设备 | |
| Su et al. | Graph neural net using analytical graph filters and topology optimization for image denoising | |
| Sharma et al. | Deep learning based frameworks for image super-resolution and noise-resilient super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |