CN110084750A - 基于多层岭回归的单幅图像超分辨率方法 - Google Patents

基于多层岭回归的单幅图像超分辨率方法 Download PDF

Info

Publication number
CN110084750A
CN110084750A CN201910332694.1A CN201910332694A CN110084750A CN 110084750 A CN110084750 A CN 110084750A CN 201910332694 A CN201910332694 A CN 201910332694A CN 110084750 A CN110084750 A CN 110084750A
Authority
CN
China
Prior art keywords
image
matrix
layer
vector
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910332694.1A
Other languages
English (en)
Other versions
CN110084750B (zh
Inventor
端木春江
俞泓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201910332694.1A priority Critical patent/CN110084750B/zh
Publication of CN110084750A publication Critical patent/CN110084750A/zh
Application granted granted Critical
Publication of CN110084750B publication Critical patent/CN110084750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于多层岭回归的单幅图像超分辨率方法。此方法的训练阶段分为两层映射训练过程，并使用第一层训练得到的高分辨率图像作为第二层的初始低分辨率图像进行第二层的映射矩阵训练。在重建阶段，对输入的低分辨率图像先通过第一层训练的映射矩阵重建出一幅高分辨率图像，再将其通过第二层训练的映射矩阵重建出第二层的高分辨率图像，最后利用迭代反投影的方法对图像的效果进行加强。该方法能利用多层映射有效克服一层线性映射带来的缺陷，得到了更清晰的重建图像的高频信息。实验表明，该方法在重建图像质量上优于现有的其它主流方法。

Description

基于多层岭回归的单幅图像超分辨率方法
技术领域
本发明提出了一种数字图像处理技术领域中的基于单幅图像的图像超分辨率方法，使用该方法，可以依靠训练阶段得到的字典，对输入的一幅低分辨率的图像获得一幅高分辨率的图像。该方法可以被广泛应用在视频监控、卫星遥感、医学图像、生物特征识别等领域。
背景技术
经典的图像超分辨率方法可以分为以下几类：1.基于插值的方法、2.基于重建的方法、和3.基于学习的方法。在第一种方法中，利用未知像素值周围的已知像素值来估计和预测此未知像素值的大小，其被称为插值的方法。在第二类方法中，利用大量的训练图像，在训练阶段对高分辨率的原始图像进行滤波和下采样处理，得到对应的低分辨率图像。然后，对训练阶段的高分辨率图像和低分辨率的图像进行分块，获得高分辨率的图像块和低分辨率的图像块，并存储每一对高分辨率图像块和低分辨率图像块。对于要进行超分辨率放大的图像块，首先对其进行分块，获得低分辨率的图像块，然后在训练过程获得的低分辨率图像块中寻找和其最接近的几个图像块。然后，利用训练阶段获得的和这些低分辨率块所对应的高分辨率块的加权平均来获得放大后的高分辨率块。对要放大的图像上的每个低分辨率图像块都进行以上这些操作之后，可以获得很多高分辨率的图像块。对在这些高分辨率的图像块的重叠区域使用平均的方法可以获得一幅高分辨率的图像。这种方法被称为基于样例的方法。在第三类方法中，利用训练阶段的高分辨率图像，通过滤波和下采样处理获得对应的低分辨率的图像。然后，利用稀疏表示的方法获得表示低分辨率图像块的稀疏字典和表示高分辨率图像块的稀疏字典。对于在线的图像放大阶段和低分辨率图像上提取的图像块，首先利用训练好的低分辨率的字典，来获得其稀疏表示的系数。然后，根据高分辨率图像块和低分辨率图像块在同一个流型上的假设，利用高分辨率的字典和稀疏表示的系数相乘，获得高分辨率的图像块。对低分辨率图像中所有的图像块，都进行了以上处理后，可以通过获得的高分辨率的图像块重建出一幅高分辨率的图像。这类方法被称为稀疏表示的方法。在第四类方法中，首先通过训练图像集合中的高分辨率图像块和所对应的低分辨率的图像块来训练卷积神经网络。当训练好这个网络之后，对于要放大的图像块，利用这个网络可以得到高分辨率的图像块。对低分辨率图像中的所有低分辨率图像块都进行了此操作后，可以得到对应的所有的高分辨率的图像块。然后，利用图像块重叠区域平均的方法，可以得到一幅高分辨率图像。这类方法被称为基于深度学习的方法。
发明内容
本发明提出了基于多层岭回归的单幅图像超分辨率方法。其创新点在于以岭回归方法为基本框架，采用多层训练形式。以层数为参数，所提出的方法对不同层数下的重构图像的效果进行了实验对比，发现在2层的情况下，其效果最优。在其训练阶段的第一层中，通过岭回归方法进行映射关系的训练并获得高分辨率图像后，将获得的高分辨率图像作为第二层的初始图像再与原始高分辨率图像一起进行第二层的映射关系训练。在其重建阶段对低分辨率图像块，先寻找与之最接近的第一层训练的映射关系进行映射得到的初始高分辨率图像并对此图像分块，再对每一个图像块寻找与之优化的第二层训练的映射关系进行映射，将所有得到的块重组后即得到第二层的高分辨率图像。由于经过每一层映射后的图像在图像大小上并无改变，可以使通过这样若干次逐层映射得到图像的高频信息。最后再通过迭代反投影方法加强重建图像与低分辨率图像之间的约束关系。
以下将详细介绍所提出的方法中所用到的技术。
1.岭回归映射矩阵的计算
在计算第K类的高分辨率块和低分辨率块的关系时，可根据如下(1)式估计出每类的由低分辨率块组成的矩阵与高分辨率块组成的矩阵所对应的岭回归映射矩阵Fk，
在本发明的方法中，先通过求解如下(2)式的最小化问题，可找到优化的矩阵Fk使得和之间的误差尽可能小。
式(2)的解为
其中I为单位矩阵，λ为平衡因子，XT为矩阵X的转置。
2.低分辨率图像块的特征提取方法
所提出的方法中低分辨率块特征是采用如下式(6-9)中的四个高通滤波器模板对同一个低分辨率块逐个滤波处理提取得到的。
G＝[1，0，-1] (4)
L＝(1，0，-2，0，1) (5)
GT＝[1，0，-1]T (6)
LT＝(1，0，-2，0，1)T (7)
3.所提出的方法的训练阶段
所提出的方法的训练阶段可以如下描述。
输入A：大量的高分辨率的图像，图像放大的倍数sf×sf。
输出A：第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)。
步骤A1)在第一层训练阶段中，将原始高分辨率图像IH进行滤波和下采样处理得到对应的低分辨率图像IL，通过对IL进行双三次插值得到初始的高分辨率图像Ibic。将IH与Ibic相减，并对相减之后得到的图像进行分块，得到图像块plm，对图像块plm进行矩阵化，得到矩阵ibm，其中m表示得到的第m个这样的矩阵，在本发明中对图像块p1进行矩阵化得到的矩阵M1，其中M1和p1存在如下的关系：p1中的(i，j)位置处的值为矩阵M1中(i，j)位置处的值。然后，对此矩阵ibm进行按行矢量化操作得到列矢量ivm。在本发明中对矩阵MA进行按行矢量化后可以得到矢量VE，其中矩阵MA中第i行第j列的元素为矢量VE中的第i*Nh+j个元素，其中Nh为矩阵MA每行中元素的个数。对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm，其中m表示第m个这样的矢量，所有的列矢量ichm可以组成图像块列矢量集合并以此作为高分辨率特征集。
步骤A2)然后，将图像Ibic进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm，其中为矢量的转置，1≤i≤4。
步骤A3)在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl1，并且对所有的矢量icm利用主成分分析法降维处理后得到矢量icdm，所有的矢量icdm组成的集合为特征集
步骤A4)然后，利用K-均值(K-means)方法对以上得到的矢量ichm和icdm配对得到的矢量对(ichm，icdm)进行聚类，得到K个类的一一对应的矩阵对与(1≤K1≤K)，其中中第K1类里的每个矢量ichm形成相对应的矩阵的一列，中第K1类的每个矢量icdm形成相对应的矩阵的一列。接着，对第K1类，可以确定其和相对应的类中心，即其中为矩阵的第i列，Nk1为矩阵中列的个数。然后，通过公式(3)，并在此公式中令k＝K1，可以得到第一层训练阶段所得到的K个映射矩阵FK1(1≤K1≤K)，即
步骤A5)在第二层训练中，对第一层训练时每一幅图像中的矢量icdm，找到距离其最近的类中心xcK1(m)，然后对矢量icdm与对应的类映射矩阵FK1(m)相乘得到矢量icdvm，即icdvm＝FK1(m)·icdm，从矢量icdvm可以得到对应的图像块Bl(m)。当对这幅图像上提取的所有矢量icdm都经过了如上的操作后，可以把所有的对应的Bl(m)按其在图像中的位置组合起来构成一幅图像Il2，其中块与块之间重叠的区域使用取平均值的方法获得其像素值。将图像Il2与对应的图像Ibic作和后的图像ITrained1作为第二层的训练的低分辨率图像。这样，通过以上操作，可以得到和第一层训练中数目相同的训练图像。将图像ITrained1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm(2)，在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm(2)进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl2，并且对所有的icm(2)利用主成分分析法降维处理后得到矢量icdm(2)，所有的矢量icdm(2)组成的集合为特征集
将ITrained1与输入的原始的高分辨率图像IH作差，并对相减之后得到的图像进行分块，得到图像块plm(2)，对图像块plm(2)进行矩阵化，得到矩阵ibm(2)，其中m表示得到的第m个这样的矩阵，然后，对此矩阵进行按行矢量化操作得到列矢量ivm(2)。对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm(2)，其中m表示第m个这样的矢量，所有的列矢量ichm(2)可以组成图像块列矢量集合并以此作为高分辨率特征集。
步骤A6)然后，利用K-均值(K-means)方法对与中的图像特征块矢量对(ichm(2)，icdm(2))进行聚类，得到K2个类的一一对应的矩阵对与(1≤K2≤K)，其中中第K2类里的每个矢量形成相对应的矩阵的一列，中第K2类的每个矢量形成相对应的矩阵的一列。接着，对第K2类，可以确定其和相对应的类中心，即其中为矩阵的第i列，NK2为矩阵中列的个数。
步骤AT)根据式(3)，并在其中令k＝K2，得到第二层训练阶段的映射矩阵FK2(1≤K2≤K)，即
最后将各层的PCA变换矩阵、各类的聚类中心、以及各类的映射矩阵、保存以参与后续的重建阶段的计算，至此训练阶段结束。
4所提出方法的在线重建阶段
所提出的方法的在线重建阶段如下所述。
输入B：要超分辨率放大的低分辨率图像IINPUT，放大因子sf×sf，第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)。
输出B：一幅放大sf×sf倍的高分辨率的图像Ifinal。
步骤B1)在第一层中，对于输入的低分辨率图像IINPUT先进行双三次插值得到IMIDDLE，对得到的图像IMIDDLE进行分块，得到图像块oplm，对得到的每一图像块oplm，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块。然后把这四个图像块矩阵按行进行矢量化得到列矢量 和对这四个列矢量堆叠得到图像块特征列矢量oicm，对图像块特征列矢量oicm用主成分分析(principle component analysis，PCA)方法和训练阶段得到的变换矩阵Tl1进行降维，降维处理后得到矢量oicdm。
步骤B2)寻找和oicdm距离最近的类中心xcK1(m)，并用此类K1(m)的映射矩阵FK1(m)作映射得到图像块矢量从图像块矢量可以获得图像块其中，的第(i，j)个元素为矢量中的第(i*No+j)个元素，No为图像块中每行的元素的个数。对图像IMIDDLE中所有的图像块都进行了此操作后，把所有的图像块按其在图像中的位置组合在一起，可以得到一幅图像I1，其中图像块与块之间的重叠区域用求平均值来求解。将得到的图像I1与图像IMIDDLE作和得到第一层重建的高分辨率图像ILayer1。
步骤B3)在第二层重建过程中，首先将第一层重建得到的高分辨率图像ILayer1作为输入的初始低分辨率图像，将图像ILayer1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量oicm(2)，对图像块特征列矢量oicm(2)利用训练阶段得到的变换矩阵Tl2进行主成分分析中的降维处理后低分辨率块矢量同样地，对每一个块根据离其最近的类中心xcK2(m)(2)，找到距离其最近的类K2(m)，从第二层训练中保存的映射矩阵中确定最佳映射矩阵FK2(m)(2)，对图像块矢量作映射得到对应的高分辨率块矢量从图像块矢量可以得到图像块其中，的第(i，j)个元素为矢量中的第(i*Ni+j)个元素，Ni为图像块中每行的元素的个数。再将所有高分辨率的块按其位置进行拼接，块与块重叠部分作平均处理，可以得到图像与第一层处理得到的图像ILayer1作和可以得到第二层重建的高分辨率图像ILayer2。
步骤B4)最后根据以下(11)式对图像ILayer2进行迭代反投影操作，以加强高分辨率和低分辨率图像间一致性，得到最终重建的高分辨率图像IFinal。
其中，Iinput表示输入的低分辨率的图像，H表示高分辨率图像上的滤波操作，S为下采样矩阵，Xt表示经过t次迭代后得到的高分辨率图像，对图像ILayer2进行矩阵化可以得到矩阵X0，↑(sf×sf)表示对图像进行上采样sf×sf倍，p表示高斯滤波器中的系数矩阵，符号表示卷积操作。本发明中，把经过Im次迭代后的结果作为最终的输出的高分辨率图像Ifinal。
附图说明
1.图1为本发明所提出方法的训练阶段的流程图。
2.图2为本发明所提出方法的在线阶段的流程图。
3.图3为所提出方法在不同层数时在Set5重建图像上的PSNR的平均值。
4.图4为Butterfly图像下的不同超分辨率方法重建效果的视觉比较图，其中(a)为原始图像，(b)为双三次方法重建的图像，(c)为Yang的方法重建的图像，(d)为ANR方法重建的图像，(e)为本发明所提出的方法。
5.图5为Foreman图像下的不同超分辨率方法重建图像的局部效果图的视觉效果的比较图，其中(a)为原始图像局部效果图，(b)为双三次插值方法的图像局部效果图，(c)为Yang的方法的图像局部效果图，(d)为ANR方法的图像局部效果图，(e)为本发明所提出方法的图像局部效果图。
具体实施方式
以下将结合附图来说明本发明的具体实施方式。如图1所示，所提出的方法的离线的训练阶段包括如下步骤。
输入A：大量的高分辨率的图像，图像放大的倍数sf×sf。
输出A：第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)。
步骤A1)在第一层训练阶段中，将原始高分辨率图像IH进行滤波和下采样处理得到对应的低分辨率图像IL，通过对IL进行双三次插值得到初始的高分辨率图像Ibic。将IH与Ibic相减，并对相减之后得到的图像进行分块，得到图像块plm，对图像块plm进行矩阵化，得到矩阵ibm，其中m表示得到的第m个这样的矩阵，在本发明中对图像块p1进行矩阵化得到的矩阵M1，其中M1和p1存在如下的关系：p1中的(i，j)位置处的值为矩阵M1中(i，j)位置处的值。然后，对此矩阵ibm进行按行矢量化操作得到列矢量ivm。在本发明中对矩阵MA进行按行矢量化后可以得到矢量VE，其中矩阵MA中第i行第j列的元素为矢量VE中的第i*Nh+j个元素，其中Nh为矩阵MA每行中元素的个数。对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm，其中m表示第m个这样的矢量，所有的列矢量ichm可以组成图像块列矢量集合并以此作为高分辨率特征集。
步骤A2)然后，将图像Ibic进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm，其中为矢量的转置，1≤i≤4。
步骤A3)在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl1，并且对所有的矢量icm利用主成分分析法降维处理后得到矢量icdm，所有的矢量icdm组成的集合为特征集
步骤A4)然后，利用K-均值(K-means)方法对以上得到的矢量ichm和icdm配对得到的矢量对(ichm，icdm)进行聚类，得到K个类的一一对应的矩阵对与(1≤K1≤K)，其中中第K1类里的每个矢量ichm形成相对应的矩阵的一列，中第K1类的每个矢量icdm形成相对应的矩阵的一列。接着，对第K1类，可以确定其和相对应的类中心，即其中为矩阵的第i列，NK1为矩阵中列的个数。然后，通过公式(3)，并在此公式中令k＝K1，可以得到第一层训练阶段所得到的K个映射矩阵FK1(1≤K1≤K)，即
步骤A5)在第二层训练中，对第一层训练时每一幅图像中的矢量icdm，找到距离其最近的类中心xcK1(m)，然后对矢量icdm与对应的类映射矩阵FK1(m)相乘得到矢量icdvm，即icdvm＝FK1(m)·icdm，从矢量icdvm可以得到对应的图像块Bl(m)。当对这幅图像上提取的所有矢量icdm都经过了如上的操作后，可以把所有的对应的Bl(m)按其在图像中的位置组合起来构成一幅图像Il2，其中块与块之间重叠的区域使用取平均值的方法获得其像素值。将图像Il2与对应的图像Ibic作和后的图像ITrained1作为第二层的训练的低分辨率图像。这样，通过以上操作，可以得到和第一层训练中数目相同的训练图像。将图像ITrained1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm(2)，在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm(2)进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl2，并且对所有的icm(2)利用主成分分析法降维处理后得到矢量icdm(2)，所有的矢量icdm(2)组成的集合为特征集
将ITrained1与输入的原始的高分辨率图像IH作差，并对相减之后得到的图像进行分块，得到图像块plm(2)，对图像块plm(2)进行矩阵化，得到矩阵ibm(2)，其中m表示得到的第m个这样的矩阵，然后，对此矩阵进行按行矢量化操作得到列矢量ivm(2)。对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm(2)，其中m表示第m个这样的矢量，所有的列矢量ichm(2)可以组成图像块列矢量集合并以此作为高分辨率特征集。
步骤A6)然后，利用K-均值(K-means)方法对与中的图像特征块矢量对(ichm(2)，icdm(2))进行聚类，得到K2个类的一一对应的矩阵对与(1≤K2≤K)，其中中第K2类里的每个矢量形成相对应的矩阵的一列，中第K2类的每个矢量形成相对应的矩阵的一列。接着，对第K2类，可以确定其和相对应的类中心，即其中为矩阵的第i列，NK2为矩阵中列的个数。
步骤A7)根据式(3)，并在其中令k＝K2，得到第二层训练阶段的映射矩阵FK2(1≤K2≤K)，即
最后将各层的PCA变换矩阵、各类的聚类中心、以及各类的映射矩阵、保存以参与后续的重建阶段的计算，至此训练阶段结束。
如图2所示，所提出方法的重建阶段可以如下描述。
输入B：要超分辨率放大的低分辨率图像IINPUT，放大因子sf×sf，第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)。
输出B：一幅放大sf×sf倍的高分辨率的图像Ifinal。
步骤B1)在第一层中，对于输入的低分辨率图像IINPUT先进行双三次插值得到IMIDDLE，对得到的图像IMIDDLE进行分块，得到图像块oplm，对得到的每一图像块oplm，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块。然后把这四个图像块矩阵按行进行矢量化得到列矢量 和对这四个列矢量堆叠得到图像块特征列矢量oicm，对图像块特征列矢量oicm用主成分分析(principle component analysis，PCA)方法和训练阶段得到的变换矩阵Tl1进行降维，降维处理后得到矢量oicdm。
步骤B2)寻找和oicdm距离最近的类中心xcK1(m)，并用此类K1(m)的映射矩阵FK1(m)作映射得到图像块矢量从图像块矢量可以获得图像块其中，的第(i，j)个元素为矢量中的第(i*No+j)个元素，No为图像块中每行的元素的个数。对图像IMIDDLE中所有的图像块都进行了此操作后，把所有的图像块按其在图像中的位置组合在一起，可以得到一幅图像I1，其中图像块与块之间的重叠区域用求平均值来求解。将得到的图像I1与图像IMIDDLE作和得到第一层重建的高分辨率图像ILayer1。
步骤B3)在第二层重建过程中，首先将第一层重建得到的高分辨率图像ILayer1作为输入的初始低分辨率图像，将图像ILayer1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次。然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量oicm(2)，对图像块特征列矢量oicm(2)利用训练阶段得到的变换矩阵Tl2进行主成分分析中的降维处理后低分辨率块矢量同样地，对每一个块根据离其最近的类中心xcK2(m)(2)，找到距离其最近的类K2(m)，从第二层训练中保存的映射矩阵中确定最佳映射矩阵FK2(m)(2)，对图像块矢量作映射得到对应的高分辨率块矢量从图像块矢量可以得到图像块其中，的第(i，j)个元素为矢量中的第(i*Ni+j)个元素，Ni为图像块中每行的元素的个数。再将所有高分辨率的块按其位置进行拼接，块与块重叠部分作平均处理，可以得到图像与第一层处理得到的图像ILayer1作和可以得到第二层重建的高分辨率图像ILayer2。
步骤B4)最后根据以下(11)式对图像ILayer2进行迭代反投影操作，以加强高分辨率和低分辨率图像间一致性，得到最终重建的高分辨率图像IFinal。
其中，Iinput表示输入的低分辨率的图像，H表示高分辨率图像上的滤波操作，S为下采样矩阵，Xt表示经过t次迭代后得到的高分辨率图像，对图像ILayer2进行矩阵化可以得到矩阵X0，↑(sf×sf)表示对图像进行上采样sf×sf倍，p表示高斯滤波器中的系数矩阵，符号表示卷积操作。本发明中，把经过Im次迭代后的结果作为最终的输出的高分辨率图像Ifinal。
本发明所有方法的运行环境皆为Windows10下64位的操作系统，Matlab的编程仿真软件，计算机CPU为Intel的CORE i5，内存为16GB。其中训练图像为通常超分辨率方法所采用的91幅图像集，测试图像集合为Set5中的5幅图像与Set14中的14幅图像。实验中所有的超分辨率图像的放大因子皆为3×3。实验中所有提取的图像块的大小均为9×9，相邻两个图像块之间的重叠像素为6个像素点。第一层训练时的聚类类别数与第二层训练阶段聚类时的类别数K相同，均为1024，公式(8)和(9)中的平衡因子λ＝0.2。
由于在所提出的方法中，也可以增加离线训练和在线阶段的层级，得到重建的高分辨率图像。通过实验，研究了所提出的方法在不同层级情况下的性能。其在Set5图像集上不同训练层数的重建图像的峰值信噪比(PSNR)的平均值如图3所示。由图3可见，层数为2层时，重建效果最佳，而当层数为3时只比一层的效果平均提升0.06dB。层数为4层时，其效果甚至低于1层时的效果。故本发明在层数选择上确定为2层。当层数增加时，其重构图像的效果会由于误差累积而下滑。
对于在线的重建放大阶段，所提出的方法由于用到了两层的放大技术，所用的运行时间大约是Yang的方法或ANR的方法的2倍左右。由于Yang的方法或ANR的方法的在线运行时间较短，平均放大一幅CIF(352×288像素)格式大小的图像用时为0.5秒左右，所提出的方法平均放大一幅CIF格式大小的图像的时间为1秒左右，这是可以接受的。
表1. 4种超分辨率方法的PSNR(dB)对比结果(放大倍数为3×3)
实验中将本发明的方法与双三次插值方法、Yang所提出的方法以及ANR方法进行了比较，分别从客观与主观两个方面对上述几种方法进行了比较。在客观评价方法的选择上，本发明采用PSNR(峰值信噪比)和SSIM(结构相似度)作为评价标准。上述四种方法在Set5与Set14上的测试结果如表1与表2所示。
表2. 4种超分辨率方法的SSIM指标上的对比结果(放大倍数为3×3)
上述两表中加粗的数据是同一幅测试图像各种方法的放大结果中的最优值。由表1可以看出，Set5的PSNR的实验结果中，本发明所提出的方法均高于所比较的另外三种方法。平均比Yang的方法高出1.35dB，比ANR的方法高出0.33dB。而在Set14上，除了在两幅图像上略微低于ANR方法，在其余图像的测试结果中，本发明所提出的方法的效果在PSNR指标上均优于其他方法。在PSNR上，所提出的方法平均比ANR方法高出0.24dB。由表2的SSIM测试结果中可见，在Set5上所提出的方法平均比ANR方法高出0.0015，在Set14上则平均高出0.0016。综合来看，所提出的方法的超分辨率结果较双三次插值方法、Yang的方法、以及ANR方法均有了较明显的提高。
主观上选取了Set5的Butterfly图像的实验结果和Set14的Foreman图像的局部实验结果进行主观肉眼上的比较。结果如图4和图5所示。由图4和图5可明显看出，利用双三次插值方法得到的图像视觉效果是四种方法中最差的，得到的图像比较平滑与模糊，图像细节不突出。而Yang的方法较双三次方法有所提高，但整体仍然较为模糊。相比前两种方法，ANR方法得到的效果较好，边缘部分也更为丰富。在所提出的方法与ANR方法的比较上，以图5为例，所提出方法得到的人物脸部的轮廓更为清晰，图像的细节特征更明显，锯齿效应也有所减少，边缘和纹理效果更佳。

Claims (2)

1.本发明提出了一种单幅图像超分辨率方法，其特征在于包括离线的训练阶段和在线的放大阶段，其中的离线的训练阶段包括如下步骤：
输入A：大量的高分辨率的图像，图像放大的倍数sf×sf，
输出A：第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)，
步骤A1)在第一层训练阶段中，将原始高分辨率图像IH进行滤波和下采样处理得到对应的低分辨率图像IL，通过对IL进行双三次插值得到初始的高分辨率图像Ibic，将IH与Ibic相减，并对相减之后得到的图像进行分块，得到图像块plm，对图像块plm进行矩阵化，得到矩阵ibm，其中m表示得到的第m个这样的矩阵，在本发明中对图像块p1进行矩阵化得到的矩阵M1，其中M1和p1存在如下的关系：p1中的(i，j)位置处的值为矩阵M1中(i，j)位置处的值，然后，对此矩阵ibm进行按行矢量化操作得到列矢量ivm，在本发明中对矩阵MA进行按行矢量化后可以得到矢量VE，其中矩阵MA中第i行第j列的元素为矢量VE中的第i*Nh+j个元素，其中Nh为矩阵MA每行中元素的个数，对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm，其中m表示第m个这样的矢量，所有的列矢量ichm可以组成图像块列矢量集合并以此作为高分辨率特征集，
步骤A2)然后，将图像Ibic进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm，其中为矢量的转置，1≤i≤4，
步骤A3)在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl1，并且对所有的矢量icm利用主成分分析法降维处理后得到矢量icdm，所有的矢量icdm组成的集合为特征集
步骤A4)然后，利用K-均值(K-means)方法对以上得到的矢量ichm和icdm配对得到的矢量对(ichm，icdm)进行聚类，得到K个类的一一对应的矩阵对与(1≤K1≤K)，其中中第K1类里的每个矢量ichm形成相对应的矩阵的一列，中第K1类的每个矢量icdm形成相对应的矩阵的一列，接着，对第K1类，可以确定其和相对应的类中心，即其中为矩阵的第i列，NK1为矩阵中列的个数，然后，通过公式(3)，并在此公式中令k＝K1，可以得到第一层训练阶段所得到的K个映射矩阵FK1(1≤K1≤K)，即
步骤A5)在第二层训练中，对第一层训练时每一幅图像中的矢量icdm，找到距离其最近的类中心xcK1(m)，然后对矢量icdm与对应的类映射矩阵FK1(m)相乘得到矢量icdvm，即icdvm＝FK1(m)·icdm，从矢量icdvm可以得到对应的图像块Bl(m)，当对这幅图像上提取的所有矢量icdm都经过了如上的操作后，可以把所有的对应的Bl(m)按其在图像中的位置组合起来构成一幅图像Il2，其中块与块之间重叠的区域使用取平均值的方法获得其像素值，将图像Il2与对应的图像Ibic作和后的图像ITrained1作为第二层的训练的低分辨率图像，这样，通过以上操作，可以得到和第一层训练中数目相同的训练图像，将图像ITrained1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次，然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量icm(2)，在对所有图像都进行了以上处理之后，对所有的图像块特征列矢量icm(2)进行主成分分析(principle component analysis，PCA)，得到变换矩阵Tl2，并且对所有的icm(2)利用主成分分析法降维处理后得到矢量icdm(2)，所有的矢量icdm(2)组成的集合为特征集
将ITrained1与输入的原始的高分辨率图像IH作差，并对相减之后得到的图像进行分块，得到图像块plm(2)，对图像块plm(2)进行矩阵化，得到矩阵ibm(2)，其中m表示得到的第m个这样的矩阵，然后，对此矩阵进行按行矢量化操作得到列矢量ivm(2)，对所有的输入的高分辨率图像都进行了以上处理，得到对应的大量的图像块列矢量ichm(2)，其中m表示第m个这样的矢量，所有的列矢量ichm(2)可以组成图像块列矢量集合并以此作为高分辨率特征集，
步骤A6)然后，利用K-均值(K-means)方法对与中的图像特征块矢量对(ichm(2)，icdm(2))进行聚类，得到K2个类的一一对应的矩阵对与(1≤K2≤K)，其中中第K2类里的每个矢量形成相对应的矩阵的一列，中第K2类的每个矢量形成相对应的矩阵的一列，接着，对第K2类，可以确定其和相对应的类中心，即其中为矩阵的第i列，NK2为矩阵中列的个数，
步骤A7)根据式(3)，并在其中令k＝K2，得到第二层训练阶段的映射矩阵FK2(1≤K2≤K)，即
最后将各层的PCA变换矩阵、各类的聚类中心、以及各类的映射矩阵、保存以参与后续的重建阶段的计算，至此训练阶段结束，
其中的在线放大的阶段包括如下步骤：
输入B：要超分辨率放大的低分辨率图像IINPUT，放大因子sf×sf，第一层的主成分分析方法的变换矩阵Tl1，第二层的主成分分析法的变换矩阵Tl2，第1层训练得到的各类中心xcK1，第1层各类的投影矩阵FK1，第2层训练得到的各类中心xcK2(2)，第2层训练得到的各类的投影矩阵FK2(2)，
输出B：一幅放大sf×sf倍的高分辨率的图像Ifinal，
步骤B1)在第一层中，对于输入的低分辨率图像IINPUT先进行双三次插值得到IMIDDLE，对得到的图像IMIDDLE进行分块，得到图像块oplm，对得到的每一图像块oplm，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，然后把这四个图像块矩阵按行进行矢量化得到列矢量 和对这四个列矢量堆叠得到图像块特征列矢量oicm，对图像块特征列矢量oicm用主成分分析(principle component analysis，PCA)方法和训练阶段得到的变换矩阵Tl1进行降维，降维处理后得到矢量oicdm，
步骤B2)寻找和oicdm距离最近的类中心xcK1(m)，并用此类K1(m)的映射矩阵FK1(m)作映射得到图像块矢量从图像块矢量可以获得图像块其中，的第(i，j)个元素为矢量中的第(i*No+j)个元素，No为图像块中每行的元素的个数，对图像IMIDDLE中所有的图像块都进行了此操作后，把所有的图像块按其在图像中的位置组合在一起，可以得到一幅图像I1，其中图像块与块之间的重叠区域用求平均值来求解，将得到的图像I1与图像IMIDDLE作和得到第一层重建的高分辨率图像ILayer1，
步骤B3)在第二层重建过程中，首先将第一层重建得到的高分辨率图像ILayer1作为输入的初始低分辨率图像，将图像ILayer1进行分块，并对得到的每一图像块，利用四个模板G＝[1，0，-1]、L＝(1，0，-2，0，1)、GT＝[1，0，-1]T、LT＝(1，0，-2，0，1)T，逐个对其进行滤波处理，可以得到滤波后的四个图像块，对这四个图像块矩阵化之后得到矩阵和其中m表示第m个图像块，2表示第2个层次，然后把这四个图像块矩阵按行进行矢量化得到列矢量和对这四个列矢量堆叠得到图像块特征列矢量oicm(2)，对图像块特征列矢量oicm(2)利用训练阶段得到的变换矩阵Tl2进行主成分分析中的降维处理后低分辨率块矢量同样地，对每一个块根据离其最近的类中心xcK2(m)(2)，找到距离其最近的类K2(m)，从第二层训练中保存的映射矩阵中确定最佳映射矩阵FK2(m)(2)，对图像块矢量作映射得到对应的高分辨率块矢量从图像块矢量可以得到图像块其中，的第(i，j)个元素为矢量中的第(i*Ni+j)个元素，Ni为图像块中每行的元素的个数，再将所有高分辨率的块按其位置进行拼接，块与块重叠部分作平均处理，可以得到图像与第一层处理得到的图像ILayer1作和可以得到第二层重建的高分辨率图像ILayer2，
步骤B4)最后根据以下(11)式对图像ILayer2进行迭代反投影操作，以加强高分辨率和低分辨率图像间一致性，得到最终重建的高分辨率图像IFinal，
其中，Iinput表示输入的低分辨率的图像，H表示高分辨率图像上的滤波操作，S为下采样矩阵，Xt表示经过t次迭代后得到的高分辨率图像，对图像ILayer2进行矩阵化可以得到矩阵X0，↑(sf×sf)表示对图像进行上采样sf×sf倍，p表示高斯滤波器中的系数矩阵，符号表示卷积操作，本发明中，把经过Im次迭代后的结果作为最终的输出的高分辨率图像Ifinal。
2.如权利要求1所述的一种单幅图像超分辨率方法，其特征在于，其中的参数通过大量的实验进行如下的优化的设置：提取的图像块对的个数M＝5000000，实验中所有的超分辨率图像的放大因子皆为3×3，实验中所有提取的图像块的大小均为9×9，相邻两个图像块之间的重叠像素为6个像素点，第一层训练时的聚类类别数与第二层训练阶段聚类时的类别数K相同，均为1024，公式(8)和(9)中的平衡因子设置为λ＝0.2，在第一层训练和第二层训练中通过主成分分析法降低的维数为其中nL为图像特征块矢量的维数。
CN201910332694.1A 2019-04-12 2019-04-12 基于多层岭回归的单幅图像超分辨率方法 Active CN110084750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910332694.1A CN110084750B (zh) 2019-04-12 2019-04-12 基于多层岭回归的单幅图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910332694.1A CN110084750B (zh) 2019-04-12 2019-04-12 基于多层岭回归的单幅图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN110084750A true CN110084750A (zh) 2019-08-02
CN110084750B CN110084750B (zh) 2023-06-02

Family

ID=67416435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910332694.1A Active CN110084750B (zh) 2019-04-12 2019-04-12 基于多层岭回归的单幅图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN110084750B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619603A (zh) * 2019-08-29 2019-12-27 浙江师范大学 一种优化稀疏系数的单幅图像超分辨率方法
CN110674862A (zh) * 2019-09-12 2020-01-10 浙江师范大学 基于内部样例的邻域回归的超分辨率方法
CN112488187A (zh) * 2020-11-30 2021-03-12 青岛大学 一种基于核二维岭回归子空间聚类的图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130064472A1 (en) * 2011-09-14 2013-03-14 Mediatek Singapore Pte. Ltd. Method and Apparatus of High-Resolution Image Reconstruction Based on Multi-Frame Low-Resolution Images
CN105931184A (zh) * 2016-04-18 2016-09-07 西安电子科技大学 基于联合优化的sar图像超分辨率方法
CN106340038A (zh) * 2015-07-07 2017-01-18 北京雷动云合智能技术有限公司 一种基于单目图像中物体的深度次序推理方法
CN108416736A (zh) * 2018-03-21 2018-08-17 西安邮电大学 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN108765287A (zh) * 2018-05-09 2018-11-06 浙江师范大学 一种基于非局部均值的图像超分辨率方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130064472A1 (en) * 2011-09-14 2013-03-14 Mediatek Singapore Pte. Ltd. Method and Apparatus of High-Resolution Image Reconstruction Based on Multi-Frame Low-Resolution Images
CN106340038A (zh) * 2015-07-07 2017-01-18 北京雷动云合智能技术有限公司 一种基于单目图像中物体的深度次序推理方法
CN105931184A (zh) * 2016-04-18 2016-09-07 西安电子科技大学 基于联合优化的sar图像超分辨率方法
CN108416736A (zh) * 2018-03-21 2018-08-17 西安邮电大学 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN108765287A (zh) * 2018-05-09 2018-11-06 浙江师范大学 一种基于非局部均值的图像超分辨率方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619603A (zh) * 2019-08-29 2019-12-27 浙江师范大学 一种优化稀疏系数的单幅图像超分辨率方法
CN110619603B (zh) * 2019-08-29 2023-11-10 浙江师范大学 一种优化稀疏系数的单幅图像超分辨率方法
CN110674862A (zh) * 2019-09-12 2020-01-10 浙江师范大学 基于内部样例的邻域回归的超分辨率方法
CN110674862B (zh) * 2019-09-12 2023-05-26 浙江师范大学 基于内部样例的邻域回归的超分辨率方法
CN112488187A (zh) * 2020-11-30 2021-03-12 青岛大学 一种基于核二维岭回归子空间聚类的图像处理方法
CN112488187B (zh) * 2020-11-30 2022-03-01 青岛大学 一种基于核二维岭回归子空间聚类的图像处理方法

Also Published As

Publication number Publication date
CN110084750B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Islam et al. Mixed Gaussian-impulse noise reduction from images using convolutional neural network
CN111681252A (zh) 一种基于多路径注意力融合的医学图像自动分割方法
Tassano et al. An analysis and implementation of the ffdnet image denoising method
Bijaoui et al. A multiscale vision model adapted to the astronomical images
JP7359395B2 (ja) 画像処理装置及びその画像処理方法、並びに画像処理システム及びそのトレーニング方法
CN110084750A (zh) 基于多层岭回归的单幅图像超分辨率方法
CN110097503B (zh) 基于邻域回归的超分辨率方法
CN111260585A (zh) 基于类凸集投影算法的图像恢复方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN108765287B (zh) 一种基于非局部均值的图像超分辨率方法
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering
CN106033594B (zh) 基于卷积神经网络所获得特征的空间信息恢复方法及装置
CN110674862B (zh) 基于内部样例的邻域回归的超分辨率方法
CN112734635A (zh) 一种带约束条件的图像超分辨率的方法
Rehman et al. CN-BSRIQA: Cascaded network-blind super-resolution image quality assessment
WO2022133874A1 (zh) 图像处理方法及设备、计算机可读存储介质
CN109447900A (zh) 一种图像超分辨率重建方法及装置
Zafeirouli et al. Efficient, lightweight, coordinate-based network for image super resolution
Nasonov et al. CNN based retinal image upscaling using zero component analysis
Ahn et al. Multi-branch neural architecture search for lightweight image super-resolution
Feng et al. SRUNet: stacked reversed U-shape network for lightweight single image super-resolution
Muhammad et al. SDCN: Synchronized depthwise separable convolutional neural network for single image super-resolution
Huang et al. MESR: Multistage enhancement network for image super-resolution
CN110619603B (zh) 一种优化稀疏系数的单幅图像超分辨率方法
Durand et al. Shallow multi-scale network for stylized super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant