CN108846797A - 基于两种训练集合的图像超分辨率方法 - Google Patents

基于两种训练集合的图像超分辨率方法 Download PDF

Info

Publication number
CN108846797A
CN108846797A CN201810478697.1A CN201810478697A CN108846797A CN 108846797 A CN108846797 A CN 108846797A CN 201810478697 A CN201810478697 A CN 201810478697A CN 108846797 A CN108846797 A CN 108846797A
Authority
CN
China
Prior art keywords
image
resolution
block
training set
definition picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810478697.1A
Other languages
English (en)
Other versions
CN108846797B (zh
Inventor
端木春江
左德遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201810478697.1A priority Critical patent/CN108846797B/zh
Publication of CN108846797A publication Critical patent/CN108846797A/zh
Application granted granted Critical
Publication of CN108846797B publication Critical patent/CN108846797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了利用两种训练集合的单幅图像超分辨率的方法。在已有的方法中，只利用了一个训练集，并往往由于高分辨率块和低分辨率块所在的流形不一致问题导致性能的下降。在所提出的方法中，利用两种训练集来克服这一问题。其中，第一个训练集是由对图像提取特征，并使用投影矩阵而得到的，第二个训练集的构建采用的是传统的方法。然后，对在线的放大过程，首先利用第一个训练集和得到的邻域矩阵重构第一个高分辨率图像，利用第二个训练集和最优权平均的方法重构第二个高分辨率图像。然后，优化地融合这两个图像，并使用迭代反投影的方法修正，得到最终的高分辨率图像。实验表明，所提出的方法的性能和重建图像的视觉效果好于原有的方法。

Description

基于两种训练集合的图像超分辨率方法
技术领域
本发明涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的技术领域。即，仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。
背景技术
图像超分辨率(super-resolution)目标是从一幅或一系列低分辨率的图像中估计出一幅高分辨率的图像。特别地，仅从一幅低分辨率的图像中重建一幅高分辨率的图像的过程称为单幅图像的超分辨率(single image super-resolution)。近年来，单幅图像的超分辨率技术在实际生活中有着广泛的应用。特别地，在遥感图像、医学图像，图像视频压缩和计算机视觉等领域都有着许多实际的应用。由于一幅低分辨率的图像可以对应到许多高分辨率的图像，即，存在许多幅高分辨率的图像对应到同一幅低分辨率的图像的情况。因此，单幅图像的超分辨处理是一个严重的病态问题，其输出有可能有很多解。为了处理这个问题，通常在图像的超分辨率处理的过程中添加图像本身固有的先验信息。
基于邻域嵌入的图像超分辨率算法最早在2004年提出，其主要想法来自流形学习中局部线性嵌入(LLE)的思想。具体来说，其假设低分辨率图像和高分辨率图像中的图像块在不同的特征空间中具有相似的几何结构，即具有相似的流形(manifold)。然后，在离线的过程中，采集大量的原始图像，并对原始图像进行模拟的卷积和下采样处理，以模拟图像分辨率降低的过程，得到由大量的高分辨率图像块和所对应的低分辨率的图像块所组成的训练集合。对于图像的在线处理过程，首先把低分辨率图像进行分块，得到低分辨率图像块，然后在训练集合中找到和其相似的低分辨率块。然后，由这些块在训练集合中对应的高分辨率块的线性组合来得到所需要的高分辨率图像上的图像块。对于高分辨率图像上，高分辨率图像块的重叠部分，往往利用取平均的方法来进行处理。这个方法被称为基于外部样例的图像超分辨率方法。
随后，有人提出了仅利用要放大的图像来构造训练集的方法。在这个方法中，逐步把原始图像进行缩小。以得到不同尺度下的高分辨率的图像和低分辨率图像。然后，把这些图像分块，构造由低分辨率块和所对应的高分辨率块所组成的训练集合。这个方法被称为基于自身样例的图像超分辨率方法。
由于在实际过程中，低分辨率图像块的流形和高分辨率图像块的流形在结构上存在差异，因此降低了以上方法的效果，使高分辨率的图像在细节或图像边缘上存在模糊的现象。为了提高超分辨率处理后的图像的质量，本发明提出了利用两个训练集的方法，首先利用一个训练集把低分辨率块映射到高分辨率块，再利用高分辨率块的训练好的字典集寻找相似块进行搜索寻找相似块，并利用迭代反投影技术对结果进行修正，以获得更清晰的高分辨率图像。
发明内容
所提出的方法包括训练阶段和重建阶段：训练阶段包括两个训练集，第一个训练集是使用岭回归的方法训练高低训练集，得到K个投影矩阵Pk(k＝1，...，K)，利用投影矩阵Pk重建初始的高分辨率图像IOR；对初始的高分辨率图像IOR中的每一个图像块在第二个训练集中找到与之相似的高分辨率图像块，利用找到的高分辨率图像块之间的几何对偶性重建高分辨图像 ImidSR；最后使用迭代反投影加强高分辨率图像IOR和高分辨率图像ImidSR图像的相关性，得到最终的高分辨率图像ISR。下面分别从重建高分辨图像IOR和ImidSR，以及得到最终的高分辨率图像ISR这样的流程来详细介绍本文所提的方法。
使用第一个训练集的目的是为了得到投影矩阵Pk，利用投影矩阵Pk重建出高分辨率图像 IOR，下面介绍投影矩阵Pk的训练过程以及重建初始高分辨率图像IOR的过程。
1)构造第一个训练集合和投影矩阵
在训练阶段，对训练集中的高分辨率图像使用模糊和下采样操作得到低分辨率图像，对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic，对双三次插值图像Ibic先使用如下的公式(1)中的四个高通滤波器的模板进行处理，使得每个像素点上有四个特征值。
在此说明书中，表示一个矢量。然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量。接着，使用主成分分析法(PCA)降维，使得每个像素点上只有一个特征值。由此，得到特征图像ILF，并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF。然后对每个训练图像，得到特征图像ILF和IHF分块所组成的图像块的集合中的元素。当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中是从ILF中提取的图像块，是从IHF中和ILF同一幅图像和同样的位置提取出的同样大小的图像块，并且Nt表示训练集中图像块组的数目。在本发明的离线阶段，将使用上面的方法得到第一个训练集，并存储起来供在线的放大过程使用。然后，将使用k-means(k-均值)方法对这个集合进行分类，每个类的中心即为此类的锚点，并用来表示。在得到第一个训练集之后，将使用存储的第一个训练集，求解如下目标函数的最小化问题，即，
其中，指的是向量的二范数，即 是矢量的转置，同时，将在训练集中优化地选择锚点选择的是和在距离上最近的锚点，并且每个锚点和对应一个邻域矩阵Nk。其中，邻域矩阵Nk由nc个与最相近的原子组成。是的表达系数，λ是规则化参数。对式(2)进行求解最小值优化，可以解得：
其中，I是单位矩阵，是Nk的转置矩阵。这样，高分辨率特征图像块可以使用相同的系数和高分辨率邻域矩阵Nh估计出来。
组合(3)和(4)，可以得到：
即，
这个投影矩阵Pk可以直接匹配低分辨率空间到相关的高分辨率空间。
2)重建初始的高分辨率图像
在图像超分辨率重建阶段，对于双三次插值过的低分辨率图像Ibic，首先使用式(1)中的滤波器进行处理以及使用PCA降维以后得到高分辨率图像的特征ILF，对特征中的每一个特征图像块找到与之对应的锚点以及所对应投影矩阵Pk，就可以得到高分辨率图像中高频特征IHF中的特征图像块，即
最后，初始高分辨率图像的高频特征IHF通过合并所有估计出的高分辨率特征图像块以及在相邻的重叠块之间取平均求出来。初始高分辨率图像的高频特征IHF加上双三次插值图像 Ibic就可以得到输出的高分辨率图像IOR。
得到初始的高分辨图像IOR以后，再使用第二个训练集重建出高分辨率图像ImidSR。
3)构建第二个训练集
在此，首先对训练集中的高分辨率图像使用模糊和下采样的操作得到低分辨率的图像。然后对高分辨率图像和低分辨率图像进行分块操作就得到由低分辨率图像块和所对应的高分辨率图像块所组成的训练集。此训练集可表示为N2表示训练集合中的图像块组的数目。表示低分辨率图像上提取的图像块，表示高分辨率图像上和相对应位置上提取的图像块。由于图像块比较多，本文对此训练集使用K-均值(K-means)分类的方法，把训练集分成256类。
4)重建第二个高分辨率图像ImidSR
对高分辨率图像IOR分块后的每一个图像块先在高分辨率训练集中找到和其最相似的类，再从找到的那一类中找到最相似的高分辨率图像块。并找到高分辨率图像块在训练集中所对应的低分辨率图像块，利用低分辨率图像块之间的关系，以及和找到的相似高分辨率图像块之间的距离，可以用以下目标函数的最小化得到权重系数
其中，′·′表示矢量间的点乘，表示的是低分辨率训练集中与原始输入低分辨率图像中相同位置处图像块最相似的第k个图像块，集合是这些图像块在第二个训练集中的位置索引所组成的集合，为与这些相似块的欧式距离按从小到大的顺序所组成的向量。块与第二个训练集中高分辨率图像块的距离可用以下公式(9)来计算，即，
为了最小化(8)，首先定义矩阵
其中，矩阵的每列为中的第i项。同时，定义矩阵
其中，矩阵D为对角矩阵，除对角线的元素外，所有元素为0，同时其第i行和第i列的元素为矢量中的第i个元素，即以及矩阵
其中，此矩阵的所有的元素为1，共有m个元素。
可以得到矩阵
并且，式(8)最优化的满足条件
由(14)，可以求解得到式(8)最优化的解即
对求解出的权值向量进行归一化，得到
所得到的最优的权重系数可以用来重建相关的高分辨率图像块
得到高分辨率图像块以后，用替代前面的高分辨率图像块继续在高分辨率训练集中查找相似的高分辨率图像块，使用前面的公式(10)-(17)重建相关的高分辨率图像块按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块，组合所有的高分辨率图像块，并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。
5)输出最终的高分辨率图像
利用前面的方法可以分别得到两幅高分辨率图像IOR和ImidSR。对得到的两幅高分辨率图像来说，在重建高分辨率图像IOR时，利用了高通滤波器进行处理得到图像的特征，然后进行相似块的查找。可是重建高分辨率图像ImidSR时，只是对高分辨率图像简单分块以后就在训练集中查找相似高分辨率图像块，这个找到的高分辨率图像块只是在像素值上和低分辨率的图像相似，而不是在特征上相似。如果训练集与重建的高分辨率图像差别比较大的话，利用查找相似块的方法不一定有查找相似特征找到的图像块更准确，而且使用第一个训练集得到的高分辨率图像的效果已经比较好，所以为了保证输出的高分辨率图像具有更稳定的输出结果，本发明简单地对这两幅图像利用以下的式(18)进行融合得到所求的高分辨率图像Yt。
Yt＝0.6*IOR+0.4*ImidSR (18)
这样得到的高分辨率图像Yt集合了两者的优势，既和低分辨率图像在像素值上相似，也在特征上相似。最后，对所求得的高分辨率图像Yt用传统的迭代反投影(backprojection)的方法进行加强，得到最终的高分辨率图像ISR。
附图说明
1.图1是本发明步骤的流程图；
2.图2是本发明在线阶段的流程图；
3.图3是第一个训练集的字典训练阶段的流程图；
4.图4是利用第一个训练集的图像合成阶段的流程图；
5.图5是Pepper图像下的不同的图像超分辨方法的视觉效果的对比图；图5(a)是原始图像的图，图5(b)是双三次方法的实验结果图(PSNR＝32.39dB)，图5(c)是Zeyde所提出的方法的实验结果图(PSNR＝34.07dB)，图5(d)是ANR方法的实验结果图(PSNR＝33.82dB)，图5(e)是 SRCNN方法的实验结果图(PSNR＝34.35dB)，图5(f)是本发明所提出的方法的结果图 (PSNR＝34.55dB)；
6.图6是Bird图像下的不同的图像超分辨率方法的视觉效果的对比图；图6(a)是原始图像的图，图6(b)是双三次插值的方法的实验结果图(PSNR＝32.58dB)，图6(c)是Zeyde所提出的方法的实验结果图(34.57dB)，图6(d)是ANR方法的实验结果图(PSNR＝34.60dB)，图6(e)是 SRCNN方法的实验结果图(PSNR＝34.91dB)，图6(f)是本发明所提出的方法的实验结果图 (PSNR＝35.39dB)。
具体实施方式
本发明利用了两种方式来进行图像的超分辨率处理。在第一种方法中，利用了图像的特征来重构和低分辨率图像在特征上相一致的高分辨率的图像，在第二种方法中，利用了图像的像素值来重构和低分辨率图像相一致的高分辨率的图像。然后，利用融合的方法，把这两幅图像进行融合。最后，利用迭代反投影的方法对得到的高分辨率图像进行修正。
下面，结合说明书的附图，对所提出的方法具体的实施方式进行说明。
本发明的流程图如附图1所示，在本发明的离线训练阶段，通过大量的训练图像产生两个不同的训练集合。在本发明的在线阶段，通过第一个训练集合和输入的低分辨率图像，构造第一个高分辨率图像，然后通过第二个训练集合和输入的低分辨率图像，构造第二个高分辨率图像。接下来把这两个高分辨率图像进行融合，产生一个高分辨率图像。最后，对这个高分辨率图像进行迭代反投影操作进行修正得到最终的输出的高分辨率图像。
本发明的在线阶段的详细的流程图如附图2所示。从图中可以看出，本发明利用了第一个训练集合产生投影矩阵来重构第一个高分辨率的图像，并利用第二个训练集合，产生优化的权值，并利用这些权值对相近的图像块进行线性组合来重构第二个高分辨率的图像。然后，对以上产生的这两个图像进行融合产生一个融合后的高分辨率的图像，并对此图像进行迭代反投影的修正，得到最终的超分辨率重构的图像。
下面详细地说明流程图中的每一个步骤。并对实施过程中参数的优化取值进行讨论和说明，同时给出所提出的方法和其他目前效果最好的超分辨率方法的对比的实验结果。
1)构造第一个训练集合和投影矩阵
从说明书附图3中可以看出，在构造第一个训练集的训练阶段，对训练集中的高分辨率图像先使用模糊和下采样操作得到低分辨率图像，对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic，对双三次插值图像Ibic先使用如下的公式(19)中的四个高通滤波器的模板进行处理，使得每个像素点上有四个特征值。
然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量。接着，使用主成分分析法(PCA)降维，使得每个像素点上只有一个特征值。由此，得到特征图像ILF，并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF。然后对每个训练图像，得到特征图像ILF和IHF分块所组成的图像块的集合中的元素。当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中是从ILF中提取的图像块，是从IHF中和ILF在同一幅图像和同样的位置提取出的同样大小的图像块，并且Nt表示训练集中图像块组的数目。在本发明的离线阶段，将使用上面的方法得到第一个训练集，并存储起来供在线的放大过程使用。然后，将使用k-means(k-均值)方法对这个集合进行分类，每个类的中心即为此类的锚点，并用来表示。在得到第一个训练集之后，将使用存储的第一个训练集，得到
其中，k的选择是基于此类的锚点和在距离上最近，并且每个锚点和对应一个邻域矩阵Nk。这个邻域矩阵Nk由nc个与最相近的原子组成。λ是规则化参数，I是单位矩阵。这样，高分辨率特征图像块可以使用相同的系数和高分辨率邻域矩阵Nh估计出来，即
这个投影矩阵Pk可以直接匹配低分辨率空间的图像块到相关的高分辨率空间的图像块
2)构建第二个训练集
在此，首先对训练集中的高分辨率图像使用模糊和下采样的操作得到低分辨率的图像。然后对高分辨率图像和低分辨率图像进行分块操作就得到由低分辨率图像块和所对应的高分辨率图像块所组成的训练集。此训练集可表示为N2表示训练集合中的图像块组的数目。表示低分辨率图像上提取的图像块，表示高分辨率图像上和相对应位置上提取的图像块。由于图像块比较多，本文对此训练集使用K-均值(K-means)分类的方法，把训练集分成256类。本发明中采取第二训练集中的低分辨率图像块的大小是3×3，块与块之间重叠2个像素，第二个训练集中有56万个图像块组。
3)重建初始的高分辨率图像
从说明书附图3中可以看出，在图像超分辨率重建阶段，对于双三次插值过的低分辨率图像Ibic，首先使用式(19)中的滤波器进行处理以及使用PCA降维以后得到高分辨率图像的特征ILF，对特征中的每一个特征图像块找到与之对应的锚点以及所对应投影矩阵Pk，就可以得到高分辨率图像中高频特征IHF中的特征图像块，即
最后，初始高分辨率图像的高频特征IHF通过合并所有估计出的高分辨率特征图像块以及在相邻的重叠块之间取平均求出来。初始高分辨率图像的高频特征IHF加上双三次插值图像 Ibic就可以得到输出的高分辨率图像IOR。
得到初始的高分辨图像IOR以后，再使用以下所述的第二个训练集重建出高分辨率图像 ImidSR。
4)重建第二个高分辨率图像ImidSR
对高分辨率图像IOR分块后的每一个图像块先在高分辨率训练集中找到和其最相似的类，再从找到的那一类中找到最相似的高分辨率图像块。并找到高分辨率图像块在训练集中所对应的低分辨率图像块，利用低分辨率图像块之间的关系，以及和找到的相似高分辨率图像块之间的距离，得到权重系数
在此，用表示输入的原始的低分辨率图像上和相同位置处的图像块，表示低分辨率训练集中与最相似的第k个图像块，集合是这些图像块在第二个训练集中的位置索引所组成的集合，为与这些相似块的欧式距离按从小到大的顺序所组成的向量。块与第二个训练集中高分辨率图像块的距离可用以下公式来计算，即，
然后定义矩阵
其中，矩阵的每列为中的第i项。同时，定义矩阵
其中，矩阵D为对角矩阵，除对角线的元素外，所有元素为0，同时其第i行和第i列的元素为矢量中的第i个元素，即以及矩阵
其中，此矩阵的所有的元素为1，共有m个元素。
通过矩阵运算，可以得到如下矩阵
并且可以求解得到优化的权值向量即
对此权值向量进行归一化，得到
所得到的最优的权重系数可以用来重建相关的高分辨率图像块
得到高分辨率图像块以后，用替代前面的高分辨率图像块继续在高分辨率训练集中查找相似的高分辨率图像块，使用前面的公式(23)-(30)重建相关的高分辨率图像块按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块，组合所有的高分辨率图像块，并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。
5)输出最终的高分辨率图像
利用前面的方法可以分别得到两幅高分辨率图像IOR和ImidSR。本发明对这两幅图像利用以下的式(31)进行融合得到所求的高分辨率图像Yt。
Yt＝0.6*IOR+0.4*ImidSR (31)
这样得到的高分辨率图像Yt集合了两者的优势，既和低分辨率图像在像素值上相似，也在特征上相似。最后，对所求得的高分辨率图像Yt用传统的迭代反投影(backprojection)的方法进行加强，得到最终的输出高分辨率图像ISR。
6)所提出的方法中的参数的设置
首先，在本文的实验中对低分辨率图像的放大倍数是3倍，输入的低分辨率图像是高分辨率图像直接使用双三次插值下采样3倍得到的。在实验中，使用Yang的文章(作者：J.Yang， J.Wright，T.S.Huang，and Y.Ma，文章名：Image super-resolution via sparserepresentation，期刊名：IEEE Transactions on Image Processing，19卷11期，页码：2861-2873，2010年11月出版)中提供的91幅图像作为训练图像。
在重建初始高分辨率图像IOR的过程中参数的优化设置如下：由于Zeyde方法和ANR方法中字典原子的个数是1024，以及本发明的训练集中的图像块的个数和Zeyde方法、ANR方法的图像块的个数是一样多的，因此本发明的锚点个数设置为K＝1024。本发明没有使用稀疏的方法进行字典训练，因此通过本发明的大量的实验，选择了如下的参数的优化设置：每个锚点所对应的邻域矩阵中有nc个最相近的原子，nc＝512，正则化参数λ＝0.01。训练阶段和图像重建阶段图像块的大小设置为9×9，训练阶段的块与块之间重叠3个像素，图像重建阶段的块与块之间重叠6个像素。训练阶段的块与块之间重叠像素设为3是为了减少收集训练块的时间，从而减少生成初始高分辨率图像IOR的时间。
在重建高分辨率图像ImidSR的过程中参数的优化设置如下：在训练阶段，低分辨率图像块的大小是3×3，块与块之间重叠2个像素，在图像重建阶段，高分辨率图像块的大小是9×9，块与块之间重叠6个像素。对高分辨率训练集使用K-means聚类256类后再进行相似块查找，其中局部正则化项1*e-5，在第二个训练集中查找相似的高分辨图像块的个数K＝150。
7)所提出方法的实验结果
本发明虽然使用了两个训练集，可是训练两个训练集的平均时间只有471.92s，时间也不长。下表1 给出了对国际上通用的检查超分辨率处理性能的图像测试集合图像集set5和图像集set14下的测试图像的运行时间。比较Jiang的方法和本文的方法，所使用的训练集都是使用K-means聚类以后的训练集。从上表1中可以看出，使用Jiang的方法生成一幅图像的时间大约需要1044.78秒，使用本文的方法生成一幅图像的时间大约需要262.4秒，因此Jiang的方法和本文的方法的所需要的时间基本上都是迭代多次所带来的时间。从速度上可以看出，迭代4次的话，本文的方法要比Jiang的方法快3倍。
表1.Jiang的方法和本发明方法的测试图像的平均运行时间(单位：秒)
测试图像使用的是国际上通用的Set5(包括Baby、Bird、Butterfly、Head、和Woman图像)和Set14 (包括Baboon、Barbara、Bridge、Coastguard、Comic、Face、Flowers、Foreman、Lenna、Man、Monarch、 Pepper、PPT3、和Zebra图像)中的图像，共19幅图像作为测试图像，使用PSNR(峰值信噪比)和SSIM (结构相似度)作为图像质量的客观评价标准，测试结果如表2和表3所示。
表2.不同方法的图像超分辨率的PSNR对比结果(上采样3倍)
表3.不同方法的图像超分辨的SSIM对比结果(上采样3倍)
从表2和表3中可以看出，本文的方法无论在PSNR和SSIM上都比Zeyde和ANR的方法好，并且本文在Set5上的PSNR和SSIM的分别为32.51dB和0.9179，比SRCNN方法在指标上分别提高了0.12dB 和0.0038，本文在Set14上的PSNR和SSIM分别为29.07dB和0.8942，比SRCNN方法在指标上分别提高了0.07dB和0.0032。
下面再比较Jiang的方法和本文的方法在PSNR和SSIM指标上的区别，Jiang的方法的迭代次数设置为4次，本文的迭代次数设置为1，实验结果如下表4所示。
表4.Jiang的方法和本发明方法的PSNR(dB)和SSIM指标的对比结果
从表4中可以看出，使用本发明的两个训练集得出的结果，无论在PSNR指标，还是在SSIM指标上，所提出的方法都比Jiang的方法的效果要好。
除了从PSNR和SSIM上对不同超分辨率的方法进行对比外，下面从视觉上对实验所得到的图像的结果进行了对比。实际效果图如说明书附图5和附图6所示。
由附图5和附图6可知，双三次的方法得到的图像比较模糊，有较重的锯齿效应。Zeyde的方法和ANR 的方法得到的图像效果较好，图像更清晰，SRCNN方法得到的效果更好，图像边缘细节部分更丰富。本发明所提出的方法相比双三次方法，Zeyde的方法，ANR的方法，和SRCNN方法来说，图像在视觉效果上会有更少的锯齿效应，更尖锐的图像边缘和更好的纹理细节效果。

Claims (5)

1.本发明提出了一种图像超分辨率方法，其特征在于：包括以下步骤，
离线的训练阶段的步骤1：首先对输入的大量的训练图像进行分块，在本发明的离线阶段通过提取特征的方法构建训练集合1；
离线的训练阶段的步骤2：通过和传统基于样例的方法中提取高分辨率块和低分辨率块同样的方法构建训练集合2；此训练集可表示为其中表示一个矢量，N2表示训练集合中的图像块组的数目，表示低分辨率图像上提取的第i个图像块，提取时的扫描顺序是从上到下，从左到右，先提取的像素值放在列向量的前面，表示高分辨率图像上和相对应位置上提取的图像块，由于图像块比较多，本文对此训练集使用K-均值(K-means)分类的方法，对训练集进行分类；
在线阶段的步骤1：通过对要放大的图像分块，得到低分辨率要放大的图像块，对每一个要放大的图像块，通过离线阶段步骤1得到的训练集合1选择和此图像块对应的锚点和领域矩阵，再通过投影矩阵把低分辨率的图像块投影成高分辨率的图像块；然后根据这些高分辨率的图像块得到所要的高分辨率的图像IOR；
在线阶段的步骤2：然后对在线阶段步骤1中的同样的低分辨率的要放大的图像块，通过离线阶段步骤2得到的训练集合2选择和此图像块对应的在流形(manifold)上相近的图像块，再通过求解最优权值的方法得到这些相近块的权值，并使用这些权值对这些相近的图像块进行线性组合得到高分辨率的图像块；然后根据这些图像块得到所要的高分辨率的图像ImidSR；
在线阶段的步骤3：接着把以上得到的高分辨率的图像IOR和高分辨率的图像ImidSR进行融合，得到高分辨率的图像；
在线阶段的步骤4：用迭代反投影法对以上在线过程步骤3得到的高分辨的图像进行修正，得到所求的高分辨率的图像，完成超分辨率处理的过程。
2.如权利要求1中所述的一种图像超分辨率方法，其中的离线的训练阶段的步骤1的特征在于：
在训练阶段，对训练集中的高分辨率图像使用模糊和下采样操作得到低分辨率图像，对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic，对双三次插值图像Ibic先使用如下的公式中的四个高通滤波器的模板矢量进行处理，
其中表示矢量的转置，使得每个像素点上有四个特征值；
然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量；接着，使用主成分分析法(principle component analysis，PCA)降维，使得每个像素点上只有一个特征值；由此，得到特征图像ILF，并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF；然后对每个训练图像，得到特征图像ILF和IHF分块所组成的图像块的集合中的元素；当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中是从ILF中提取的图像块，是从IHF中和ILF同一幅图像和同样的位置提取出的同样大小的图像块，并且Nt表示训练集中图像块组的数目；然后，将使用K-means(K-均值)方法对这个集合进行分类，每个类的中心即为此类的锚点，并用来表示。
3.如权利要求1中所述的一种图像超分辨率方法，其中的在线阶段的步骤1的特征在于：
对于输入的要放大的低分辨率图像I′L，使用权利要求2中的操作，即先双三次放大得到图像I′bc，然后用下式中的四个高通滤波器的模板矢量进行处理，
使得每个像素点上有四个特征值；然后把这些特征值进行叠加，在每个像素点上得到一个四维的矢量；接着，使用主成分分析法(principle component analysis，PCA)降维，使得每个像素点上只有一个特征值；由此，得到特征图像I′LF；再把图像I′LF分块操作；
对于由I′LF图像分块得到的图像块先选择第一个训练集合中和其距离最近的锚点并确定此图像块的邻域矩阵Nl和Nh，其中，邻域矩阵Nl由在训练集合1中与距离最相近的nc个块组成，邻域矩阵Nh由这nc个块在训练集合中所对应的块组成，即若为矩阵Nl中的第k列，则为矩阵Nh中的第k列，接着利用式
计算出高分辨率的图像上的块
如果对图像I′LF上的所有的块都计算完所对应的高分辨率图像上的块，则获得了一个高分辨率的图像I′HF，该图像上的块与块重叠的部分用取平均值来确定其像素值。高分辨率图像I′HF加上以上所述的双三次插值图像I′bic就可以得到输出的高分辨率图像IOR。
4.如权利要求1中所述的一种图像超分辨率方法，其中的在线阶段的步骤2的特征在于：
对高分辨率图像IOR分块后的每一个图像块在其对应的位置可以找到要放大的输入低分辨率图像上的图像块先在高分辨率训练集中找到和最相似的类，再从找到的那一类中找到和最相似的高分辨率图像块。并找到这些高分辨率图像块在训练集2中所对应的低分辨率图像块，并使用最优的权重系数来重建相关的高分辨率图像块即有
其中，即，对权值向量进行归一化可以得到其中此向量的所有元素为1，共有m个元素，m为矢量的维数，利用符号表示低分辨率训练集中与低分辨率图像块最相似的第k个图像块，为与其相似块的欧式距离按从小到大的顺序所组成的向量，矩阵为对角矩阵，除对角线的元素外，所有元素为0，同时其第i行和第i列的元素为矢量中第i个元素，即D(i，i)＝d(i)，集合表示这些图像块在第二个训练集中的位置索引所组成的集合，以上的权值向量可以用如下公式求得
其中τ为一平衡因子，同时矩阵矩阵C的每列为以上所有矢量中的第i项；
得到高分辨率图像块以后，用替代前面的高分辨率图像块继续在高分辨率训练集中查找相似的高分辨率图像块，使用前面的公式重建相关的高分辨率图像块按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块，组合所有的高分辨率图像块，并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。
5.如权利要求1中所述的一种图像超分辨率方法，其中的在线阶段的步骤3的特征在于：
把以上得到的高分辨率的图像1和高分辨率的图像2进行融合，得到高分辨率的图像；利用前面的在线的步骤1和步骤2可以分别得到两幅高分辨率图像IOR和ImidSR。本发明对这两幅图像利用以下的公式
Yt＝0.6*IOR+0.4*ImidSR
进行融合得到一个高分辨率图像Yt。
CN201810478697.1A 2018-05-09 2018-05-09 基于两种训练集合的图像超分辨率方法 Active CN108846797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810478697.1A CN108846797B (zh) 2018-05-09 2018-05-09 基于两种训练集合的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810478697.1A CN108846797B (zh) 2018-05-09 2018-05-09 基于两种训练集合的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN108846797A true CN108846797A (zh) 2018-11-20
CN108846797B CN108846797B (zh) 2022-03-11

Family

ID=64213091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810478697.1A Active CN108846797B (zh) 2018-05-09 2018-05-09 基于两种训练集合的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN108846797B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724303A (zh) * 2020-05-12 2020-09-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种具有图像类型适应性的超分辨率图像处理方法与系统
CN113706376A (zh) * 2020-09-25 2021-11-26 天翼智慧家庭科技有限公司 一种图像超分辨率重建方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708556A (zh) * 2012-05-10 2012-10-03 武汉大学 一种基于反向图保持的单张图像超分辨率方法
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN103413285A (zh) * 2013-08-02 2013-11-27 北京工业大学 基于样本预测的hdr和hr图像重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN106780331A (zh) * 2016-11-11 2017-05-31 浙江师范大学 一种新的基于邻域嵌入的超分辨率方法
CN107341776A (zh) * 2017-06-21 2017-11-10 北京工业大学 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708556A (zh) * 2012-05-10 2012-10-03 武汉大学 一种基于反向图保持的单张图像超分辨率方法
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN103413285A (zh) * 2013-08-02 2013-11-27 北京工业大学 基于样本预测的hdr和hr图像重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN106780331A (zh) * 2016-11-11 2017-05-31 浙江师范大学 一种新的基于邻域嵌入的超分辨率方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107341776A (zh) * 2017-06-21 2017-11-10 北京工业大学 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李家德等: "《采用非局部均值的超分辨率重构》", 《光学精密工程》 *
贾春梅: ""图像超分辨率融合算法研究"", 《中国优秀硕士学位论文去全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724303A (zh) * 2020-05-12 2020-09-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种具有图像类型适应性的超分辨率图像处理方法与系统
CN113706376A (zh) * 2020-09-25 2021-11-26 天翼智慧家庭科技有限公司 一种图像超分辨率重建方法和系统

Also Published As

Publication number Publication date
CN108846797B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
Anwar et al. Image colorization: A survey and dataset
Song et al. Region-based quality estimation network for large-scale person re-identification
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN104899830B (zh) 一种图像超分辨方法
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN106204449A (zh) 一种基于对称深度网络的单幅图像超分辨率重建方法
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN106097253B (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN102902961A (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN113837366A (zh) 一种多风格字体生成方法
CN110533591A (zh) 基于编解码器结构的超分辨图像重建方法
Dai et al. Data augmentation for thermal infrared object detection with cascade pyramid generative adversarial network
CN113469906A (zh) 一种用于图像修复的跨层全局和局部感知网络的方法
CN116645328A (zh) 一种高精度轴承套圈表面缺陷智能检测方法
CN104992407B (zh) 一种图像超分辨方法
CN108846797A (zh) 基于两种训练集合的图像超分辨率方法
Zeng et al. Self-attention learning network for face super-resolution
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及系统
CN108090873A (zh) 基于回归模型的金字塔人脸图像超分辨率重建方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN104867107B (zh) 一种图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant