CN108764368B - 一种基于矩阵映射的图像超分辨率重建方法 - Google Patents

一种基于矩阵映射的图像超分辨率重建方法 Download PDF

Info

Publication number
CN108764368B
CN108764368B CN201810582440.0A CN201810582440A CN108764368B CN 108764368 B CN108764368 B CN 108764368B CN 201810582440 A CN201810582440 A CN 201810582440A CN 108764368 B CN108764368 B CN 108764368B
Authority
CN
China
Prior art keywords
resolution
image
low
mapping
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810582440.0A
Other languages
English (en)
Other versions
CN108764368A (zh
Inventor
徐健
王春玉
范九伦
赵小强
常志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201810582440.0A priority Critical patent/CN108764368B/zh
Publication of CN108764368A publication Critical patent/CN108764368A/zh
Application granted granted Critical
Publication of CN108764368B publication Critical patent/CN108764368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于矩阵映射的图像超分辨率重建方法，包括：通过聚类的方法对训练样本图像进行分类；将训练样本图像归类，获得每个类别的映射矩阵；提取图像的低分辨率特征图像块；找到各低分辨率特征图像块对应类别的映射矩阵，将对应的各低分辨率特征图像块映射为高分辨率图像块；获取各高分辨率图像块对应的类别的映射矩阵，完成映射矩阵的二次选择；进行二次映射获得各低分辨率特征图像块的二次映射高分辨率图像块；将各低分辨率特征图像块与对应的高分辨率图像块组合重构，获得最终的超分辨率重建后的图像。本发明既能有效保持高频细节，又能较好的避免因模糊产生的图像重建质量的降低。

Description

一种基于矩阵映射的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，特别涉及一种基于矩阵映射的图像超分辨率重建方法。
背景技术
当今时代是一个充满信息的时代，图像作为人们从外界获取信息的重要途径，越来越多的被人们关注。在大量的电子图像应用领域，人们经常期望得到高分辨率图像。图像的超分辨率是指由一幅低分辨率图像或者图像序列恢复出高分辨率图像的过程，这一直以来都是图像处理界探究的重要课题。
一般来说，现有的图像超分辨率方法可以大致分为三类：基于插值得到超分辨率方法，基于重建的多图像超分辨率方法和基于样本学习的单一图像超分辨率方法。基于插值的超分辨率方法利用基函数或者内插核来估计高分辨率网格中的未知像素。这种方法非常简单和快速，但它们容易模糊高频细节，可能导致图像超分辨率获得的高分辨率图像中明显的模糊边缘和不清晰的纹理。基于重建的方法将包含在多个低分辨率图像中的非冗余信息组合以产生一个高分辨率图像。这种方法能产生清晰的边缘，但是重构高分辨率图像具有挑战性,并且具有严重的不适定的问题；且在高放大倍数的情况下，提供的有用信息较少。基于样本学习的单一图像超分辨率假设可以从训练的高低分辨率图像对中得到输入低分辨率图像中丢失的高频细节。这种方法优于重建的方法，但是在重建中会产生模糊效应，降低图像重建效果。
综上所述，现有的能够获得高分辨率图像的图像超分辨率方法普遍存在的问题为：不能在恢复有效的高频细节的同时避免因模糊产生的图像质量的降低，亟需要一种新的超分辨率重建方法。
发明内容
本发明的目的在于提供一种基于矩阵映射的图像超分辨率重建方法，以解决上述存在的技术问题。本发明的基于矩阵映射的超分辨率重建方法既能有效保持高频细节和必要图像内容，又能较好的恢复因采样导致的图像细节缺失部分的图像，能避免因模糊产生的图像重建质量的降低；可以获得一个峰值信噪比更高，视觉效果更好的高分辨率图像。
为达到上述目的，本发明采用以下技术方案：
一种基于矩阵映射的图像超分辨率重建方法，具体步骤包括：
步骤1，选取一定量的训练样本图像组成训练样本图像集合，通过聚类的方法对训练样本图像进行分类，并做好类别标记；将所述训练样本图像集合中的训练样本图像分别归到各自对应的类别标记下，并获得每个类别的映射矩阵；
步骤2，提取待超分辨率重建图像的低分辨率特征图像块；
步骤3，根据步骤2获得的低分辨率特征图像块，在步骤1获得的各个类别的映射矩阵中找到各低分辨率特征图像块对应类别的映射矩阵，通过找到的映射矩阵将对应的各低分辨率特征图像块映射为高分辨率图像块；
步骤4，根据步骤3获得的高分辨率图像块，在步骤1获得的映射矩阵中找到各高分辨率图像块对应类别的映射矩阵，完成映射矩阵的二次选择；通过二次选择的映射矩阵将所述待超分辨率重建的图像中对应的各低分辨率特征图像块进行二次映射，获得各低分辨率特征图像块的二次映射高分辨率图像块；
步骤5，将所述待超分辨率重建的图像的各低分辨率特征图像块与步骤4获得的各个低分辨率特征图像块对应的高分辨率图像块组合重构，获得最终的超分辨率重建后的图像。
进一步的，步骤1的具体步骤包括：
步骤1.1，选取一定量的高分辨率的训练样本图像，对每一幅训练样本图像按放大倍数S进行裁剪，获得高分辨率图像PH，其中0<S<1；
步骤1.2，对步骤1.1获得的高分辨率图像PH按比例S进行下采样，获得低分辨率图像PL；将低分辨率图像PL按放大因子F进行放大，获得低分辨率图像PM，其中F＝1/S；
步骤1.3，计算步骤1.2获得的低分辨率图像PM梯度；用g1＝[1,0,-1]对PM做卷积，得到PM的一阶水平梯度图像
Figure BDA0001688869500000031
再用
Figure BDA0001688869500000032
对PM做卷积，其中T表示转置；得到PM的一阶垂直梯度图像
Figure BDA0001688869500000033
用g2＝[1,0,-2,0,1]/2对PM做卷积得到PM的二阶水平导数
Figure BDA0001688869500000034
再用
Figure BDA0001688869500000035
对PM做卷积得到二阶垂直导数
Figure BDA0001688869500000036
将
Figure BDA0001688869500000037
分别分成N块，N为训练样本数，得到
Figure BDA0001688869500000038
其中，
Figure BDA0001688869500000039
为低分辨率图像PM的一阶水平梯度图像
Figure BDA00016888695000000310
分块后的第i个图像块；每一块对应位置形成一组列向量，将每一对应位置的所述一组列向量的四个列向量按顺序连成一列，形成一组新的列向量
Figure BDA00016888695000000311
i＝1,2,…N，获得低分辨率训练样本集
Figure BDA00016888695000000312
对训练样本进行聚类，分成q类，得到聚类中心c，其中c＝{c1,c2,c3,...cq}，将聚类中心c作为低分辨率训练样本的类别标记；
步骤1.4，获取高频图像；用高分辨率图像PH减去低分辨率图像PM得到具有高频特征的差值图像PC，计算式为PC＝PH-PM；将差值图像PC切为N块
Figure BDA00016888695000000313
令
Figure BDA00016888695000000314
其中i＝1,2,...N，获得高分辨率训练样本集
Figure BDA00016888695000000315
高分辨率训练样本集
Figure BDA00016888695000000316
与步骤1.3获得的低分辨率样本集
Figure BDA00016888695000000317
构成样本集对
Figure BDA00016888695000000318
将每一类低分辨率图像对应的差值图像PC分块求均值作为高分辨率图像块的类别标记w，其中w＝{w1,w2,w3,...wq}；
步骤1.5，将类别标记和训练样本分别按照顺序进行依次编号，并记录编号；
步骤1.6，获取每个类别标记的相似样本；求所有低分辨率训练样本与第i个类别标记之间的欧氏距离
Figure BDA00016888695000000319
其中a＝1,2,…N,i＝1,2,…q，N为样本数量，i表示从q个类别标记中选取的第i个类别标记，a表示第a个样本，
Figure BDA0001688869500000041
表示第a个样本和第i个类别标记之间的欧氏距离；按距离从小到大的顺序，将N个样本归到第i个类别标记下面，按此顺序排序并记录样本编号i1,i2,...iN；该类别标记下低分辨率样本集记为
Figure BDA0001688869500000042
对应的样本对集为
Figure BDA0001688869500000043
对
Figure BDA0001688869500000044
和
Figure BDA0001688869500000045
分别求均值得到最终训练样本对集记为(Dl,Dh)；
步骤1.7，重复步骤1.6直至为每个类别标记都分配到相似样本；将训练的类别标记和每个类别标记下对应的相似样本存储在参数库中；第i个类别标记的映射矩阵pi的计算公式为：
Figure BDA0001688869500000046
其中，λ为是拉格朗日参数，I为单位阵，pi为低分辨率空间到高分辨率空间的映射矩阵，将训练获得的映射矩阵保存在创建的参数库中。
进一步的，应用双三次插值方法对步骤1.1获得的高分辨率图像PH按比例S进行下采样。
进一步的，步骤1.3的聚类采用K-均值聚类算法，具体步骤包括：
(1)在低分辨率样本集中随机选取q个样本作为初始聚类中心；
(2)计算样本集中每一个低分辨率样本与每一个聚类中心的欧氏距离，将每个低分辨率样本归类到欧氏距离最小的类别标记下；
(3)步骤(2)处理后，每一聚类中心下都聚集了一部分低分辨率样本，根据每一类别样本集合间的距离计算出新的聚类中心；
(4)步骤(3)获得的新的聚类中心和上一次的聚类中心之间收敛，聚类已经达到期望的结果，算法终止；步骤(3)获得的新的聚类中心和上一次的聚类中心之间未收敛，则跳转至步骤(2)。
进一步的，步骤(4)具体为：步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以下，聚类已经达到期望的结果，算法终止；步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以上，则跳转至步骤(2)。
进一步的，步骤2的具体步骤包括：
步骤2.1，输入低分辨率图像Y；
步骤2.2，对步骤2.1获得的低分辨率图像Y进行放大，获得低分辨率图像
Figure BDA0001688869500000051
步骤2.3，对图像
Figure BDA0001688869500000052
进行梯度分解；用g1＝[1,0,-1]对低分辨率图像
Figure BDA0001688869500000053
做卷积，得到低分辨率图像
Figure BDA0001688869500000054
的一阶水平梯度图像Y1，再用
Figure BDA00016888695000000518
对
Figure BDA0001688869500000055
做卷积，得到
Figure BDA0001688869500000056
的一阶垂直梯度图像Y2；用g2＝[1,0,-2,0,1]/2对低分辨率图像
Figure BDA0001688869500000057
做卷积，得到
Figure BDA0001688869500000058
的二阶水平导数Y3，用
Figure BDA00016888695000000514
对图像
Figure BDA0001688869500000059
做卷积得到二阶垂直导数Y4；将Y1,Y2,Y3,Y4分别分成R块，其中R为测试样本数，得到{y1,1,y1,2,...y1,R},{y2,1,y2,2,...y2,R},{y3,1,y3,2,...y3,R},{y4,1,y4,2,...y4,R}，每一块对应位置形成一组列向量，将每一对应位置所述一组向量的四个列向量连成一列，形成一组新的列向量
Figure BDA00016888695000000517
记为特征向量
Figure BDA00016888695000000510
获得待超分辨率重建的图像的特征块样本；其中，n为选取的第n块测试样本，n∈{1,2,...,R}；
Figure BDA00016888695000000511
为待重建的R块低分辨率块中选取的第n块低分辨率样本块。
进一步的，步骤2.2中用双三次插值的方法对步骤2.1获得的低分辨率图像Y进行放大。
进一步的，步骤3的具体步骤包括：
步骤3.1，计算每个
Figure BDA00016888695000000516
与所有低分辨率类别标记间的欧氏距离，选择欧氏距离最小的类别标记作为
Figure BDA00016888695000000515
最相似的类别标记cj；
步骤3.2，根据步骤3.1获得的类别标记cj，选择映射矩阵pj；
步骤3.3，应用步骤3.2选择的映射矩阵pj，将低分辨率特征块
Figure BDA00016888695000000512
映射为高分辨率特征块xn；映射公式为：
Figure BDA00016888695000000513
步骤3.4，重复步骤3.1-3.3，直至待超分辨率重建的所有特征块全部映射为高分辨率特征块。
进一步的，步骤4具体包括：
步骤4.1，计算每个高分辨率特征块xn与高分辨率类别标记之间的欧氏距离，选择欧氏距离最小的类别标记作为相似类别标记wr；
步骤4.2，根据步骤4.1选择的类别标记wr，二次选择映射矩阵pr；
步骤4.3，应用步骤4.3二次选择的映射矩阵pr，对待重建图像中的低分辨率特征块
Figure BDA0001688869500000066
进行二次映射，获得二次映射高分辨率特征块
Figure BDA0001688869500000061
二次映射公式为：
Figure BDA0001688869500000062
步骤4.4，重复步骤4.1-4.3，直至待超分辨率重建的所有特征块全部二次映射为二次映射高分辨率特征块。
进一步的，步骤5具体包括：将各低分辨率特征图像块进行二次映射操作得到的对应高分辨率特征块
Figure BDA0001688869500000063
和待超分辨率重建的低分辨率图像
Figure BDA0001688869500000064
分块得到的各低分辨率图像块
Figure BDA0001688869500000065
放置在对应位置，将重叠区域取均值重构获得最终高分辨率图像。
与现有技术相比，本发明具有以下优点：
本发明的基于矩阵映射的超分辨率重建方法，训练过程通过聚类方法，得到类别标记，并且根据类别标记对训练样本进行归类，并由此求得训练映射矩阵，获得的结果更加稳定可靠；通过对高低分辨率类别标记的分别训练，能得到更多的高低分辨率细节，恢复出更多的高频细节，避免图像细节的丢失；重建过程中先对低分辨率类别标记进行选择，而后再用第一次重建的高分辨率块选择高分辨率类别标记进行映射，通过多次选择类别标记，能使结果查找能加准确，并且，我们的目标是得到更多的高分辨率细节，通过第一次重建的高分辨率图像块进行高分辨率类别标记进行选择，能得到重建效果更佳的结果。通过上述操作的结合，能得到峰值信噪比更高，视觉效果更好的高分辨率图像。
本方法能够恢复出视觉效果较好的高分辨率图像，高分辨率图像在工作和生活中的应用十分广泛。例如，在医疗方面，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；在卫星遥感方面，使用高分辨率卫星图像就很容易从相似物中区别相似的对象；在计算机视觉方面，如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高；另外在刑侦领域，获得犯罪嫌疑人的清晰图像对于案件的破获也是尤为重要。综上，本发明的方法应用范围较广，意义重大。
附图说明
下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明的一种基于映射矩阵的超分辨率重建方法的训练过程流程示意图；
图2是本发明的一种基于映射矩阵的超分辨率重建方法的测试重建过程流程示意图；
图3是本发明的训练样本对的构建流程图；
图4是本发明的映射矩阵的构建流程图；
图5是待重建的图像的低分辨率特征块的提取流程图；
图6是本发明的重建过程中高分辨率图像的二次映射过程的流程图；
图7是本发明对实施例图像Baby的超分结果对比图；
图8是本发明对实施例图像Bird的超分结果对比图；
图9是本发明对实施例图像Lenna的超分结果对比图；
图10是本发明对实施例图像Pepper的超分结果对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的解释说明。
参考图1至图10，本发明的一种基于矩阵映射的图像超分辨率重建方法，具体步骤包括：
参考图1至图4，步骤1，选取一定量的训练样本图像组成训练样本图像集合，通过聚类的方法对训练样本图像进行分类，并做好类别标记；将所述训练样本图像集合中的训练样本图像分别归到各自对应的类别标记下，并获得每个类别的映射矩阵。
其中，步骤1的具体步骤包括：
步骤1.1，选取一定量的高分辨率的训练样本图像，对每一幅训练样本图像按放大倍数S进行裁剪，获得高分辨率图像PH，其中0<S<1；
步骤1.2，应用双三次插值方法对步骤1.1获得的高分辨率图像PH按比例S进行下采样，获得低分辨率图像PL；将低分辨率图像PL按放大因子F进行放大，获得低分辨率图像PM，其中F＝1/S；
步骤1.3，计算步骤1.2获得的低分辨率图像PM梯度；用g1＝[1,0,-1]对PM做卷积，得到PM的一阶水平梯度图像
Figure BDA0001688869500000081
再用
Figure BDA0001688869500000082
对PM做卷积，其中T表示转置；得到PM的一阶垂直梯度图像
Figure BDA0001688869500000083
用g2＝[1,0,-2,0,1]/2对PM做卷积得到PM的二阶水平导数
Figure BDA0001688869500000084
再用
Figure BDA0001688869500000085
对PM做卷积得到二阶垂直导数
Figure BDA0001688869500000086
将
Figure BDA0001688869500000087
分别分成N块，N为训练样本数，
Figure BDA0001688869500000088
其中，
Figure BDA0001688869500000089
为低分辨率图像PM的一阶水平梯度图像
Figure BDA00016888695000000810
分块后的第i个图像块。每一块对应位置形成一组列向量，将每一对应位置的所述一组列向量的四个列向量按顺序连成一列，形成一组新的列向量
Figure BDA00016888695000000811
i＝1,2,…N。获得低分辨率训练样本集
Figure BDA00016888695000000812
对训练样本进行聚类，分成q类，得到聚类中心c，其中c＝{c1,c2,c3,...cq}，将聚类中心c作为低分辨率训练样本的类别标记；
K-均值聚类方法的一般步骤如下：
(1)随机选取k个中心点
(2)遍历所有数据，将每个数据划分到最近的中心点中
(3)计算每个聚类的平均值，并作为新的中心点
(4)重复(2)和(3)，直到这k个中心点不再变化即收敛了，或执行了足够多的迭代；本发明中中心点的数量为预先设定好的量，可设中心点数量为q。
本发明中步骤1.3的聚类采用K-均值聚类算法，具体步骤包括：
(1)在低分辨率样本集中随机选取q个样本作为初始聚类中心，即我们希望将样本经过聚类得到q个类别分组；
(2)计算样本集中每一个低分辨率样本与每一个聚类中心的欧氏距离，将每个低分辨率样本归类到欧氏距离最小的类别标记下；即对集合中每一个低分辨率样本，计算与每一个聚类中心的距离，离哪个聚类中心近，就将其归到哪一类别标记下。
(3)步骤(2)处理后，每一聚类中心下都聚集了一部分低分辨率样本，根据每一类别样本集合间的距离计算出新的聚类中心；
(4)步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以下，聚类已经达到期望的结果，算法终止；步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以上，则跳转至步骤(2)。
步骤1.4，获取高频图像；用高分辨率图像PH减去低分辨率图像PM得到具有高频特征的差值图像PC，计算式为PC＝PH-PM；将差值图像PC切为N块
Figure BDA0001688869500000091
令
Figure BDA0001688869500000092
其中i＝1,2,…N。获得高分辨率训练样本集
Figure BDA0001688869500000093
高分辨率训练样本集
Figure BDA0001688869500000094
与步骤1.3获得的低分辨率样本集
Figure BDA0001688869500000095
构成样本集对
Figure BDA0001688869500000096
将每一类低分辨率图像对应的差值图像PC分块求均值作为高分辨率图像块的类别标记w，其中w＝{w1,w2,w3,...wq}；
步骤1.5，将类别标记和训练样本分别按照顺序进行依次编号，并记录编号；
步骤1.6，获取每个类别标记的相似样本；求所有低分辨率训练样本与第i个类别标记之间的欧氏距离
Figure BDA0001688869500000097
其中a＝1,2,…N,i＝1,2,…q，N为样本数量，i表示从q个类别标记中选取的第i个类别标记，a表示第a个样本，
Figure BDA0001688869500000101
表示第a个样本和第i个类别标记之间的欧氏距离；按距离从小到大的顺序，将N个样本归到第i个类别标记下面，按此顺序排序并记录样本编号i1,i2,...iN；该类别标记下低分辨率样本集记为
Figure BDA0001688869500000102
对应的低分辨率和高分辨率样本对集为
Figure BDA0001688869500000103
对
Figure BDA0001688869500000104
和
Figure BDA0001688869500000105
分别求均值得到最终训练样本对集记为(Dl,Dh)；
步骤1.7，重复步骤1.6直至为每个类别标记都分配到相似样本；将训练的类别标记和每个类别标记下对应的相似样本存储在参数库中；第i个类别标记的映射矩阵pi的计算公式为：
Figure BDA0001688869500000106
其中，λ为是拉格朗日参数，I为单位阵，pi为低分辨率空间到高分辨率空间的映射矩阵，将训练获得的映射矩阵保存在创建的参数库中。
步骤1中，重建高分辨率图像选择的字典和映射矩阵都是通过训练样本图像训练出来的，其对待重建图像的选取并没有影响，待重建的图像需要在训练的图像库中找到与其相近的低分辨率块重建高分辨率块，由这些高分辨率块重构高分辨率图像。因此，我们选取的训练样本数量要足够多，保证待重构的低分辨率图像块能够找到与其最相近的低分辨率样本块，从而恢复出尽可能多的高分辨率细节。在一个区域内，分辨率越高的图像像素点越多。反映在数值上就是峰值信噪比，峰值信噪比越大，图像越清晰。对于这些训练高分辨率图像的获取，图像领域有一部分通用的高分辨率图像或者图像库,供此领域的人共同使用；也可以自己用摄像机采集自己所需要的高分辨率图像。本发明的方法是从网络上获取的一些通用的训练库。
参考图5，步骤2，提取待超分辨率重建的图像的低分辨率特征图像块；
步骤2的具体步骤包括：
步骤2.1，输入低分辨率图像Y；
步骤2.2，用双三次插值的方法对步骤2.1获得的低分辨率图像Y进行放大，获得低分辨率图像
Figure BDA0001688869500000107
步骤2.3，对图像
Figure BDA0001688869500000111
进行梯度分解；用g1＝[1,0,-1]对低分辨率图像
Figure BDA0001688869500000112
做卷积，得到低分辨率图像
Figure BDA0001688869500000113
的一阶水平梯度图像Y1，再用
Figure BDA00016888695000001114
对
Figure BDA0001688869500000114
做卷积，得到
Figure BDA0001688869500000115
的一阶垂直梯度图像Y2；用g2＝[1,0,-2,0,1]/2对低分辨率图像
Figure BDA0001688869500000116
做卷积，得到
Figure BDA0001688869500000117
的二阶水平导数Y3，用
Figure BDA00016888695000001115
对图像
Figure BDA0001688869500000118
做卷积得到二阶垂直导数Y4；将Y1,Y2,Y3,Y4分别分成R块，其中R为测试样本数，得到{y1 ,1,y1,2,...y1,R},{y2,1,y2,2,...y2,R},{y3,1,y3,2,...y3,R},{y4,1,y4,2,...y4,R}，每一块对应位置形成一组列向量，将每一对应位置所述一组向量的四个列向量连成一列，形成一组新的列向量
Figure BDA00016888695000001117
记为特征向量
Figure BDA00016888695000001116
获得待超分辨率重建的图像的特征块样本；其中，n为选取的第n块测试样本，n∈{1,2,...,R}；
Figure BDA0001688869500000119
为待重建的R块低分辨率块中选取的第n块低分辨率样本块。
步骤3，根据步骤2获得的低分辨率特征图像块，在步骤1获得的各个类别的映射矩阵中找到各低分辨率特征图像块对应类别的映射矩阵，通过找到的映射矩阵将对应的各低分辨率特征图像块映射为高分辨率图像块；
步骤3的具体步骤包括：
步骤3.1，计算每个
Figure BDA00016888695000001110
与所有低分辨率类别标记间的欧氏距离，选择欧氏距离最小的类别标记作为
Figure BDA00016888695000001111
最相似的类别标记cj；
步骤3.2，根据步骤3.1获得的类别标记cj，选择映射矩阵pj；
步骤3.3，应用步骤3.2选择的映射矩阵pj，将低分辨率特征块
Figure BDA00016888695000001112
映射为高分辨率特征块xn；映射公式为：
Figure BDA00016888695000001113
步骤3.4，重复步骤3.1-3.3，直至待超分辨率重建的所有特征块全部映射为高分辨率特征块。
参考图6，步骤4，根据步骤3获得的高分辨率图像块，在步骤1获得的映射矩阵中找到各高分辨率图像块对应类别的映射矩阵，完成映射矩阵的二次选择；通过二次选择的映射矩阵将所述待超分辨率重建的图像中对应的各低分辨率特征图像块进行二次映射，获得各低分辨率特征图像块的二次映射高分辨率图像块；
步骤4具体包括：
步骤4.1，计算每个高分辨率特征块xn与高分辨率类别标记之间的欧氏距离，选择欧氏距离最小的类别作为相似类别标记wr；
步骤4.2，根据步骤4.1选择的类别标记wr，二次选择映射矩阵pr；
步骤4.3，应用步骤4.3二次选择的映射矩阵pr，对待重建图像中的低分辨率特征块
Figure BDA0001688869500000121
进行二次映射，获得二次映射高分辨率特征块
Figure BDA0001688869500000122
二次映射公式为：
Figure BDA0001688869500000123
步骤4.4，重复步骤4.1-4.3，直至待超分辨率重建的所有特征块全部二次映射为二次映射高分辨率特征块。
步骤5，将所述待超分辨率重建的图像的各低分辨率特征图像块与步骤4获得的各个低分辨率特征图像块对应的高分辨率图像块组合重构，获得最终的超分辨率重建后的图像。
步骤5具体包括：将各低分辨率特征图像块进行二次映射操作得到的对应高分辨率特征块
Figure BDA0001688869500000125
和待超分辨率重建的低分辨率图像
Figure BDA0001688869500000126
分块得到的各低分辨率图像块
Figure BDA0001688869500000127
放置在对应位置，将重叠区域取均值重构获得最终高分辨率图像。
本发明的工作原理：
本发明基于双三次插值方法的基础上，在样本的训练过程中，对收集的高分辨率图像PH进行下采样处理获得低分辨率图像PL，然后将低分辨率图像PL用双三次插值的方法进行放大，得到新的低分辨率图像PM，然后对PM提取梯度特征，分块得到具有低分辨率信息的低分辨率特征样本集
Figure BDA0001688869500000124
具有高分辨率信息的差值图像PC则由收集的高分辨率图像PH减去低分辨率图像PM得到，将差值图像PC分块得到高分辨率特征样本集
Figure BDA0001688869500000131
此时，就有了对应的高分辨率和低分辨率训练样本对
Figure BDA0001688869500000132
接下来按类别标记给样本归类：计算样本与类别标记间的欧氏距离，按照距离从小到大的顺序，将样本归到对应类别下面。然后根据距离类别标记最近的样本对间的对应关系完成映射矩阵的训练。本方法在双三次插值方法的基础上做了改进，既能有效保持高频细节和必要图像内容，又能较好的恢复因采样导致的图像细节缺失部分的图像，能避免因模糊产生的图像重建质量的降低；可以获得一个峰值信噪比更高，视觉效果更好的高分辨率图像。
本发明的方法包括训练过程和测试过程。训练过程针对不同种类的图像块，训练得到不同的映射矩阵。训练过程包括两步：第一，将低分辨率训练样本块进行聚类，将聚类中心作为图像块的低分辨率类别标记。每一类低分辨率块对应的高分辨率块求均值作为高分辨率块的类别标记。第二，将不同类别的训练样本归到各自的类别标记下，生成每个类别映射矩阵。测试过程包括五步：第一，提取测试低分辨率图像块的特征。第二，利用低分辨率图像块的特征选择合适的映射类别，将低分辨率图像块映射为高分辨率图像块。第三，利用高分辨率图像块选择高分辨率类别标记，选择新的映射类别。第四，利用新的映射矩阵将低分辨率图像块进行二次映射得到新的高分辨率图像块。第五，将新的高分辨率图像块和低分辨率图像组合为高分辨率图像。
本发明的方法的实验对比分析：通过计算峰值信噪比(PSNR)来衡量超分辨率图像重建的效果。
均方误差(MSE)反映原始图像与重建图像之间的差异，公式如下：
Figure BDA0001688869500000133
其中，
Figure BDA0001688869500000134
ξ为图像数据的行、列数，Xi,j为原始图像第i行第j列的像素值，Yi,j为重建图像第i行第j列的像素值。
峰值信噪比(PSNR)反映了重建图像的逼真程度，公式如下：
Figure BDA0001688869500000141
L表示像素点的动态变化范围。
参考图7至图10，数据结果比较如表1所示。
表1：峰值信噪比的比较结果
PSNR Bicubic Yang等人 Our
Baby 33.9101 34.2871 35.0011
Bird 32.5723 34.0949 34.3920
lenna 31.6776 32.6381 32.7640
pepper 32.3804 33.3149 33.5644
分析表1的结果可知，本发明的方法相比于Bicubic和Yang等人的算法，本方法能够得到峰值信噪比更高即视觉效果更好的高分辨率图像，适用范围更高广泛。

Claims (9)

1.一种基于矩阵映射的图像超分辨率重建方法，其特征在于，具体步骤包括：
步骤1，选取一定量的训练样本图像组成训练样本图像集合，通过聚类的方法对训练样本图像进行分类，并做好类别标记；将所述训练样本图像集合中的训练样本图像分别归到各自对应的类别标记下，并获得每个类别的映射矩阵；
步骤2，提取待超分辨率重建图像的低分辨率特征图像块；
步骤3，根据步骤2获得的低分辨率特征图像块，在步骤1获得的各个类别的映射矩阵中找到各低分辨率特征图像块对应类别的映射矩阵，通过找到的映射矩阵将对应的各低分辨率特征图像块映射为高分辨率图像块；
步骤4，根据步骤3获得的高分辨率图像块，在步骤1获得的映射矩阵中找到各高分辨率图像块对应类别的映射矩阵，完成映射矩阵的二次选择；通过二次选择的映射矩阵将所述待超分辨率重建的图像中对应的各低分辨率特征图像块进行二次映射，获得各低分辨率特征图像块的二次映射高分辨率图像块；
步骤5，将所述待超分辨率重建的图像的各低分辨率特征图像块与步骤4获得的各个低分辨率特征图像块对应的高分辨率图像块组合重构，获得最终的超分辨率重建后的图像；
步骤1的具体步骤包括：
步骤1.1，选取一定量的高分辨率的训练样本图像，对每一幅训练样本图像按放大倍数S进行裁剪，获得高分辨率图像PH，其中0＜S＜1；
步骤1.2，对步骤1.1获得的高分辨率图像PH按比例S进行下采样，获得低分辨率图像PL；将低分辨率图像PL按放大因子F进行放大，获得低分辨率图像PM，其中F＝1/S；
步骤1.3，计算步骤1.2获得的低分辨率图像PM梯度；用g1＝[1,0,-1]对PM做卷积，得到PM的一阶水平梯度图像
Figure FDA0003148827220000011
再用
Figure FDA0003148827220000012
对PM做卷积，其中T表示转置；得到PM的一阶垂直梯度图像
Figure FDA0003148827220000013
用g2＝[1,0,-2,0,1]/2对PM做卷积得到PM的二阶水平导数
Figure FDA0003148827220000014
再用
Figure FDA0003148827220000015
对PM做卷积得到二阶垂直导数
Figure FDA0003148827220000021
将
Figure FDA0003148827220000022
分别分成N块，N为训练样本数，得到
Figure FDA0003148827220000023
其中，
Figure FDA0003148827220000024
为低分辨率图像PM的一阶水平梯度图像
Figure FDA0003148827220000025
分块后的第i个图像块，每一块对应位置形成一组列向量，将每一对应位置的所述一组列向量的四个列向量按顺序连成一列，形成一组新的列向量
Figure FDA0003148827220000026
获得低分辨率训练样本集
Figure FDA0003148827220000027
对训练样本进行聚类，分成q类，得到聚类中心集合c，其中c＝{c1,c2,c3,...cq}，将聚类中心c作为低分辨率训练样本的类别标记；
步骤1.4，获取高频图像；用高分辨率图像PH减去低分辨率图像PM得到具有高频特征的差值图像PC，计算式为PC＝PH-PM；将差值图像PC切为N块
Figure FDA0003148827220000028
令
Figure FDA0003148827220000029
其中i＝1,2,...N，获得高分辨率训练样本集
Figure FDA00031488272200000210
高分辨率训练样本集
Figure FDA00031488272200000211
与步骤1.3获得的低分辨率样本集
Figure FDA00031488272200000212
构成样本集对
Figure FDA00031488272200000213
将每一类低分辨率图像对应的差值图像PC分块求均值作为高分辨率图像块的类别标记w，其中w＝{w1,w2,w3,...wq}；
步骤1.5，将类别标记和训练样本分别按照顺序进行依次编号，并记录编号；
步骤1.6，获取每个类别标记的相似样本；求所有低分辨率训练样本与第i个类别标记之间的欧氏距离
Figure FDA00031488272200000214
其中a＝1,2,...N，i＝1,2,...q，N为样本数量，i表示从q个类别标记中选取的第i个类别标记，a表示第a个样本，
Figure FDA00031488272200000215
表示第a个样本和第i个类别标记之间的欧氏距离；按距离从小到大的顺序，将N个样本归到第i个类别标记下面，按此顺序排序并记录样本编号i1,i2,...iN；该类别标记下低分辨率样本集记为
Figure FDA00031488272200000216
对应的样本对集为
Figure FDA00031488272200000217
对
Figure FDA00031488272200000218
和
Figure FDA00031488272200000219
分别求均值得到最终训练样本对集记为(Dl,Dh)；
步骤1.7，重复步骤1.6直至为每个类别标记都分配到相似样本；将训练的类别标记和每个类别标记下对应的相似样本存储在参数库中；第i个类别标记的映射矩阵pi的计算公式为：
Figure FDA00031488272200000220
其中，λ为是拉格朗日参数，I为单位阵，pi为低分辨率空间到高分辨率空间的映射矩阵，将训练获得的映射矩阵保存在创建的参数库中。
2.根据权利要求1所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤1.2中应用双三次插值方法对步骤1.1获得的高分辨率图像PH按比例S进行下采样。
3.根据权利要求1所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤1.3的聚类采用K-均值聚类算法，具体步骤包括：
(1)在低分辨率样本集中随机选取q个样本作为初始聚类中心；
(2)计算样本集中每一个低分辨率样本与每一个聚类中心的欧氏距离，将每个低分辨率样本归类到欧氏距离最小的类别标记下；
(3)步骤(2)处理后，每一聚类中心下都聚集了一部分低分辨率样本，根据每一类别样本集合间的距离计算出新的聚类中心；
(4)步骤(3)获得的新的聚类中心和上一次的聚类中心之间收敛，聚类已经达到期望的结果，算法终止；步骤(3)获得的新的聚类中心和上一次的聚类中心之间未收敛，则跳转至步骤(2)。
4.根据权利要求3所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤(4)具体为：步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以下，聚类已经达到期望的结果，算法终止；步骤(3)获得的新的聚类中心和上一次的聚类中心之间的位置距离为0.01以上时，则跳转至步骤(2)。
5.根据权利要求1所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤2的具体步骤包括：
步骤2.1，输入低分辨率图像Y；
步骤2.2，对步骤2.1获得的低分辨率图像Y进行放大，获得低分辨率图像
Figure FDA0003148827220000031
步骤2.3，对图像
Figure FDA0003148827220000041
进行梯度分解；用g1＝[1,0,-1]对低分辨率图像
Figure FDA0003148827220000042
做卷积，得到低分辨率图像
Figure FDA0003148827220000043
的一阶水平梯度图像Y1，再用
Figure FDA0003148827220000044
对
Figure FDA0003148827220000045
做卷积，得到
Figure FDA0003148827220000046
的一阶垂直梯度图像Y2；用g2＝[1,0,-2,0,1]/2对低分辨率图像
Figure FDA0003148827220000047
做卷积，得到
Figure FDA0003148827220000048
的二阶水平导数Y3，用
Figure FDA0003148827220000049
对图像
Figure FDA00031488272200000410
做卷积得到二阶垂直导数Y4；将Y1,Y2,Y3,Y4分别分成R块，其中R为测试样本数，得到{y1,1,y1 ,2,...,y1,R},{y2,1,y2,2,...,y2,R},{y3,1,y3,2,...,y3,R},{y4,1,y4,2,...,y4,R}，每一块对应位置形成一组列向量，将每一对应位置所述一组列向量的四个列向量连成一列，形成一组新的列向量
Figure FDA00031488272200000417
记为特征向量
Figure FDA00031488272200000411
获得待超分辨率重建的图像的特征块样本；其中，n为选取的第n块测试样本，n∈{1,2,...,R}；
Figure FDA00031488272200000412
为待重建的R块低分辨率块中选取的第n块低分辨率样本块。
6.根据权利要求5所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤2.2中用双三次插值的方法对步骤2.1获得的低分辨率图像Y进行放大。
7.根据权利要求1或5所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤3的具体步骤包括：
步骤3.1，计算每个
Figure FDA00031488272200000413
与所有低分辨率类别标记间的欧氏距离，选择欧氏距离最小的类别标记作为
Figure FDA00031488272200000414
最相似的类别标记cj；
步骤3.2，根据步骤3.1获得的类别标记cj，选择映射矩阵pj；
步骤3.3，应用步骤3.2选择的映射矩阵pj，将低分辨率特征块
Figure FDA00031488272200000415
映射为高分辨率特征块xn；映射公式为：
Figure FDA00031488272200000416
步骤3.4，重复步骤3.1-3.3，直至待超分辨率重建的所有特征块全部映射为高分辨率特征块。
8.根据权利要求7所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤4具体包括：
步骤4.1，计算每个高分辨率特征块xn与高分辨率类别标记之间的欧氏距离，选择欧氏距离最小的类别作为相似类别标记wr；
步骤4.2，根据步骤4.1选择的类别标记wr，二次选择映射矩阵pr；
步骤4.3，应用步骤4.3二次选择的映射矩阵pr，对待重建图像中的低分辨率特征块
Figure FDA0003148827220000051
进行二次映射，获得二次映射高分辨率特征块
Figure FDA0003148827220000052
二次映射公式为：
Figure FDA0003148827220000053
步骤4.4，重复步骤4.1-4.3，直至待超分辨率重建的所有特征块全部二次映射为二次映射高分辨率特征块。
9.根据权利要求8所述的一种基于矩阵映射的图像超分辨率重建方法，其特征在于，步骤5具体包括：将各低分辨率特征图像块进行二次映射操作得到的对应高分辨率特征块
Figure FDA0003148827220000054
和待超分辨率重建的低分辨率图像
Figure FDA0003148827220000055
分块得到的各低分辨率图像块
Figure FDA0003148827220000056
放置在对应位置，将重叠区域取均值重构获得最终高分辨率图像。
CN201810582440.0A 2018-06-07 2018-06-07 一种基于矩阵映射的图像超分辨率重建方法 Active CN108764368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810582440.0A CN108764368B (zh) 2018-06-07 2018-06-07 一种基于矩阵映射的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810582440.0A CN108764368B (zh) 2018-06-07 2018-06-07 一种基于矩阵映射的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN108764368A CN108764368A (zh) 2018-11-06
CN108764368B true CN108764368B (zh) 2021-11-30

Family

ID=64000587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810582440.0A Active CN108764368B (zh) 2018-06-07 2018-06-07 一种基于矩阵映射的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108764368B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020986B (zh) * 2019-02-18 2022-12-30 西安电子科技大学 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN110084752B (zh) * 2019-05-06 2023-04-21 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
CN110766608B (zh) * 2019-08-28 2023-09-15 西安理工大学 一种纹理分类的图像超分辨率重建的方法
CN110674862B (zh) * 2019-09-12 2023-05-26 浙江师范大学 基于内部样例的邻域回归的超分辨率方法
CN113538649B (zh) * 2021-07-14 2022-09-16 深圳信息职业技术学院 一种超分辨率的三维纹理重建方法、装置及其设备
CN114723604B (zh) * 2022-02-21 2023-02-10 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710386A (zh) * 2009-12-25 2010-05-19 西安交通大学 一种基于相关特征和非线性映射的超分辨率人脸识别方法
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN106096547A (zh) * 2016-06-11 2016-11-09 北京工业大学 一种面向识别的低分辨率人脸图像特征超分辨率重建方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107845065A (zh) * 2017-09-15 2018-03-27 西北大学 超分辨率图像重建方法和装置
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710386A (zh) * 2009-12-25 2010-05-19 西安交通大学 一种基于相关特征和非线性映射的超分辨率人脸识别方法
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN102722876A (zh) * 2012-05-29 2012-10-10 杭州电子科技大学 一种基于残差的图像超分辨率重建方法
CN106096547A (zh) * 2016-06-11 2016-11-09 北京工业大学 一种面向识别的低分辨率人脸图像特征超分辨率重建方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107845065A (zh) * 2017-09-15 2018-03-27 西北大学 超分辨率图像重建方法和装置
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Super-resolution image reconstruction algorithm based on double sparse representation;Huan Wang等;《IET International Radar Conference 2013》;20131010;第1-5页 *
基于聚类和协同表示的超分辨率重建;汪荣贵等;《光电工程》;20180415;第14-23页 *

Also Published As

Publication number Publication date
CN108764368A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764368B (zh) 一种基于矩阵映射的图像超分辨率重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN107341765B (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
An et al. Image super-resolution by extreme learning machine
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机系统
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN108961180B (zh) 红外图像增强方法及系统
CN112561909B (zh) 一种基于融合变异的图像对抗样本生成方法
CN111553422A (zh) 手术器械自动识别回收方法及系统
CN113689374A (zh) 一种植物叶片表面粗糙度确定方法及系统
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN111611962A (zh) 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法
EP3937120B1 (en) Computer-implemented method, computer program product and system for processing images
Yang et al. A novel regularized K-SVD dictionary learning based medical image super-resolution algorithm
CN109977769B (zh) 一种低分辨率环境下微表情识别的方法
CN112558022A (zh) 一种雷达回波图像处理方法、系统、装置和存储介质
CN108846797B (zh) 基于两种训练集合的图像超分辨率方法
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN113191949B (zh) 多尺度超分辨率病理图像数字化方法、系统及存储介质
CN114519832A (zh) 基于仿射逆变换模型的视频全局运动补偿方法
CN109035306A (zh) 动目标自动检测方法及装置
CN112884748A (zh) 基于多核支持向量机的无纺布表面小缺陷检测方法
Yue et al. Sift-based image super-resolution
Liang et al. Image super-resolution by textural context constrained visual vocabulary
Tang et al. Coupled dictionary learning on common feature space for medical image super resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant