CN108257093B - 基于可控核与高斯过程回归的单帧图像超分辨方法 - Google Patents

基于可控核与高斯过程回归的单帧图像超分辨方法 Download PDF

Info

Publication number
CN108257093B
CN108257093B CN201810050021.2A CN201810050021A CN108257093B CN 108257093 B CN108257093 B CN 108257093B CN 201810050021 A CN201810050021 A CN 201810050021A CN 108257093 B CN108257093 B CN 108257093B
Authority
CN
China
Prior art keywords
image
kernel
image block
resolution
controllable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810050021.2A
Other languages
English (en)
Other versions
CN108257093A (zh
Inventor
聂雅琳
王海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Kaixun Electronic Technology Co.,Ltd.
Original Assignee
Luoyang Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Science and Technology filed Critical Luoyang Institute of Science and Technology
Priority to CN201810050021.2A priority Critical patent/CN108257093B/zh
Publication of CN108257093A publication Critical patent/CN108257093A/zh
Application granted granted Critical
Publication of CN108257093B publication Critical patent/CN108257093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于可控核与高斯过程回归的单帧图像超分辨方法。首先基于训练图像随机获取插值图像块与高频图像块对；引入归一化可控核系数表征插值图像块，提取高频图像块中心像素，构造训练集；对训练集聚类，每个聚类通过高斯过程回归学习插值图像块到高频图像块中心像素间的映射关系；对于测试图像，通过归一化可控核系数表征每个测试图像块并寻找与之最近聚类的回归模型，从而预测缺失的高频图像块中心像素，最终将预测的高频图像与插值图像叠加得到超分辨重建图像。本发明在高斯过程回归模型中引入归一化可控核系数特征和各向异性的自动相关确认核函数提高模型适应性；结果表明，本发明具有较好的主观和客观重建质量。

Description

基于可控核与高斯过程回归的单帧图像超分辨方法
技术领域
本发明涉及图像处理领域，具体是一种基于可控核与高斯过程回归的单帧图像超分辨方法。
背景技术
单帧图像超分辨是图像处理领域的一个基本问题，对于图像的后续处理具有重要意义，并已广泛应用于娱乐、视频监控、遥感、医学等领域。图像超分辨技术从一幅或者多幅低分辨图像中恢复出隐含的高分辨图像，由于提供了更丰富的细节信息，因此对于后续的处理具有重要的理论与实际价值。基于低分辨图像的个数，超分辨技术可以分为单帧与多帧超分辨。由于多帧超分辨技术要求多幅低分辨图像对应同一场景且相互之间须具有亚像素位移，相对限制较少的单帧图像超分辨逐渐成为超分辨研究中的主流。
基于超分辨的原理差异，超分辨技术可以大致分为基于插值的方法、基于重建的方法和基于学习的方法。
基于插值的方法采用不同的核函数度量高分辨图像网格上未知像素与已知像素之间的相似性，从而基于已知像素估计出未知像素。典型的插值方法有最近邻、双线性、双立方插值等。然而，上述插值方法所采用的插值核是各项同性的，难以对千变万化的图像结构进行自适应调整。基于此，研究人员提出了多种各向异性的插值核，从而可以根据图像结构自适应度量相似性，代表性的工作有边缘导向插值、可控核回归、位移场插值等。此种方法的优势是快速且易于实现，但却易于使图像产生模糊等失真。
基于重建的方法基于优化框架，在重建约束的基础上添加各种对超分辨图像的先验知识构造正则项，从而使求解出的结果具有某种倾向性。典型的正则项例如，可对噪声压制的总变分、双边总变分先验，可对边缘增强的梯度先验、边缘先验，可强化图像块相似性的非局部均值先验等等。此种方法可以等价地理解为最大后验框架，然而其结果会引入意外的内容，且会产生类似水彩的失真。
基于学习的方法使用机器学习方法，从训练集中学习低分辨与高分辨空间上的共生关系，从而重建出高分辨图像。此类方法按照学习方向的不同，可以进一步细分为基于编码的方法和基于回归的方法。基于编码的方法基于流形假设，认为低分辨空间上的编码关系与对应高分辨空间上的编码关系是近似的，首先得到低分辨空间上的编码系数，并借助它们重建出高分辨图像。典型的基于编码的方法有基于局部线性嵌入的方法、基于字典学习的方法等。基于回归的方法则直接学习训练集上低分辨到高分辨的映射关系，并通过低分辨输入图像重建出对应高分辨图像。典型的基于回归的方法有马尔科夫随机场(MRF)、高斯过程回归、神经网络、线性回归、Beta过程、岭回归、支撑向量回归等方法。
高斯过程回归作为一种核方法，可以有效地对数据中隐藏的非线性关系进行建模，且已应用在超分辨领域并取得了不错的性能。例如，何河等通过高斯过程回归构建超分辨两阶段框架，对输入图像先进行上采样，再进行去模糊从而得到边缘增强的超分辨图像。曲延云等基于聚类技术将原始的大规模训练样本集分割成多个子集，并在每个子集上利用高斯过程回归模型学习映射关系。然而，这些方法在进行高斯过程回归建模时为了便于计算和推理，采用了各向同性的径向基函数核，而自然图像中存在的结构复杂多样，径向基函数核难以精确度量不同图像块之间的相似性。
高斯过程回归作为一种核方法，可有效拟合模型中存在的映射关系。传统的高斯核是各向同性，无法反映复杂的图像结构。因此本发明基于可控核函数(Steering KernelFunction)表征图像块结构并对其进行聚类，以各向异性的自动相关确认(AutomaticRelevance Determination)核函数替代高斯核函数，获取相似结构图像块的共同结构信息，从而提出一种新的基于可控核与高斯过程回归(简记为SKGPR)的单帧图像超分辨重建方法。
发明内容
针对传统的高斯核各向同性，无法反映复杂图像结构的问题，本发明提供一种基于可控核与高斯过程回归的单帧图像超分辨方法，基于可控核函数表征图像块结构并对其进行聚类，以各向异性的自动相关确认核函数替代高斯核函数，获取相似结构图像块的共同结构信息，提高了聚类效率，使得高斯过程回归模型更贴合数据，从而提高了模型的适应性。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种基于可控核与高斯过程回归的单帧图像超分辨方法，包括训练阶段和测试阶段：
(1)训练阶段
(1.a)在训练阶段，首先获取低分辨和高分辨训练图像对
Figure BDA0001552091330000031
之后基于低分辨训练图像Li得到与高分辨图像Hi同尺寸的插值图像Ii，然后高分辨图像Hi与插值图像Ii相减得到对应的高频图像Fi，获得插值图像与高频图像对集合
Figure BDA0001552091330000032
其中Fi＝Hi-Ii；
(1.b)在插值图像与高频图像对
Figure BDA0001552091330000033
上随机提取尺寸为d×d的训练图像块对
Figure BDA0001552091330000034
其中，d为奇数；
(1.c)对每一个图像块
Figure BDA0001552091330000035
提取其中心像素
Figure BDA0001552091330000036
对于
Figure BDA0001552091330000037
得到其归一化可控核系数矩阵拉成的列向量xj，并使用xj表征
Figure BDA0001552091330000038
从而构造训练集
Figure BDA0001552091330000039
其中xj为第j个样本的输入特征，yj为第j个样本的目标值；
(1.d)基于K-Means算法对D进行聚类，将训练集D划分为c个聚类，即
Figure BDA00015520913300000310
且Di∩Dj＝φ，i≠j；这里
Figure BDA00015520913300000311
Figure BDA00015520913300000312
nk为第k个聚类Dk中的样本个数，且
Figure BDA00015520913300000313
(1.e)设定高斯过程回归模型中的核函数k(x，x′)，其中x，x′为两个样本的输入特征；
(1.f)针对每个聚类Dk，对该聚类下的高斯过程回归模型超参数θ(k)进行初始化；
(1.g)在每个聚类Dk上训练出对应的高斯过程回归模型Mk；
针对每个模型核函数中待定的超参数通过最大化边缘似然p(y(k)|X(k)，θ(k))从而获得最优超参数θ(k)*，即
Figure BDA00015520913300000314
其中
Figure BDA00015520913300000315
将超参数初始化后，采用常用的梯度下降法经迭代方式解得最优解θ(k)*，完成模型Mk训练；
(2)测试阶段
(2.a)在测试阶段，首先对低分辨测试图像I插值到指定尺寸SI，初始化超分辨结果图像：SH＝SI；
(2.b)从SI提取所有的测试图像块集合
Figure BDA0001552091330000041
使用归一化可控核系数
Figure BDA0001552091330000042
表征每个测试图像块
Figure BDA0001552091330000043
得到测试集
Figure BDA0001552091330000044
(2.c)对每个测试图像块
Figure BDA0001552091330000045
基于
Figure BDA0001552091330000046
寻找与之最接近的聚类，随后应用与该聚类对应的GPR模型Mk预测对应高频图像块中心像素；将预测出的高频图像SH与插值图像叠加得到超分辨重建图像S。
(2.c.1)依据式
Figure BDA0001552091330000047
预测
Figure BDA0001552091330000048
对应的
Figure BDA0001552091330000049
其中矩阵
Figure BDA00015520913300000410
中的第i行第j列元素
Figure BDA00015520913300000411
此外
Figure BDA00015520913300000412
Figure BDA00015520913300000413
Figure BDA00015520913300000414
(2.c.2)
Figure BDA00015520913300000415
其中cen()返回输入图像块的中心像素；
(2.c.3)将SH中对应的像素替换为
Figure BDA00015520913300000416
(2.d)令S＝SH，即为最终超分辨重建图像。
本发明的目的及解决其技术问题还可采用以下技术方案进一步实现。
前述的基于可控核与高斯过程回归的单帧图像超分辨方法，其中，步骤(1.c)中归一化可控核系数向量xj的获取方式如下：
(1.c.1)假设某个图像块
Figure BDA00015520913300000417
中心像素
Figure BDA00015520913300000418
位于图像块的第z1行第z2列，
Figure BDA00015520913300000419
对应的协方差矩阵为
Figure BDA00015520913300000420
基于该协方差矩阵可定义该图像块的可控核系数矩阵
Figure BDA00015520913300000421
该矩阵中的第m行第n列元素定义为
Figure BDA00015520913300000422
其中，det()函数返回输入方阵的行列式，h＝1.6；
(1.c.2)由于具有相似结构的图像块具有相似的映射信息，因此有必要将
Figure BDA00015520913300000423
归一化为
Figure BDA0001552091330000051
后拉成的列向量xj来表征图像块
Figure BDA0001552091330000052
从而便于进行相似结构信息图像块的聚类处理，即
Figure BDA0001552091330000053
其中vec()将输入矩阵转换成列向量，norm()将输入矩阵进行归一化。
前述的基于可控核与高斯过程回归的单帧图像超分辨方法，其中，步骤(1.e)中所述的高斯过程回归模型应用的核函数为：
Figure BDA0001552091330000054
其中，
Figure BDA0001552091330000055
σ2为噪声方差，σf是信号标准差，l为尺度系数，δ为Kronecker函数，该核函数的待定超参数为θ＝{λ1，…，λd，σf，l，σ}；具体到每个聚类
Figure BDA0001552091330000056
所学习出的高斯过程回归模型Mk，其对应的超参数改写成
Figure BDA0001552091330000057
前述的基于可控核与高斯过程回归的单帧图像超分辨方法，其中，在训练阶段，步骤(1.f)中对每个聚类
Figure BDA0001552091330000058
下的高斯过程回归模型超参数
Figure BDA0001552091330000059
进行初始化的具体过程为：
(1.f.1)针对每个聚类
Figure BDA00015520913300000510
可得其聚类中心为
Figure BDA00015520913300000511
将
Figure BDA00015520913300000512
还原成对应尺寸为d×d的归一化可控核系数矩
Figure BDA00015520913300000513
使用该矩阵上对角线元素的倒数来初始化ARD核函数的超参数，即
Figure BDA00015520913300000514
其中
Figure BDA00015520913300000515
为
Figure BDA00015520913300000516
对角线上第v行第v列元素；
(1.f.2)
Figure BDA00015520913300000517
表示的是信号标准差，其初始化方程为
Figure BDA00015520913300000518
其中std()返回输入参数的标准差；
(1.f.3)σ(k)为噪声标准差，使用训练集中目标值的标准差对其进行初始化，即
Figure BDA0001552091330000061
(1.f.4)l(k)为尺度系数，将其初始化为1。
本发明的贡献有两点：(1)引入可控核函数，以可控核函数的权重作为图像块的结构特征，并据此进行聚类，提高了聚类效率。(2)采用自动相关确认核函数提高图像块间的相似性度量，使得高斯过程回归模型更贴合数据。
本发明在常用的像素特征之外引入归一化可控核系数特征来更好地表示图像块的结构特征，并进一步采用各向异性的自动相关确认核函数来替代各向同性的径向基核函数，从而提高模型适应性。实验结果表明，本发明所提出的方法无论在主观还是客观质量上均优于其它对比方法。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
图1是本发明方法的流程图；
图2是本发明与其它方法三倍超分辨结果的主观对比图像(hat图像)；
图3是本发明与其它方法三倍超分辨结果主观对比图像(bike图像)；
图4是本发明与其它方法三倍超分辨结果主观对比图像(parthenon图像)。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合较佳实施例，对依据本发明提出的一种基于可控核与高斯过程回归的单帧图像超分辨方法，其具体实施方式、特征及其功效，详细说明如后。
本发明包括以下两个阶段：
(1)训练阶段
(1.a)在训练阶段，首先获取低分辨和高分辨训练图像对
Figure BDA0001552091330000062
之后基于低分辨训练图像Li得到与高分辨图像Hi同尺寸的插值图像Ii，然后高分辨图像Hi与插值图像Ii相减得到对应的高频图像Fi，获得插值图像与高频图像对集合
Figure BDA0001552091330000063
其中Fi＝Hi-Ii；
(1.b)在插值图像与高频图像对
Figure BDA0001552091330000064
上随机提取尺寸为d×d(d为奇数)的训练图像块对
Figure BDA0001552091330000071
(1.c)对每一个图像块
Figure BDA0001552091330000072
提取其中心像素
Figure BDA0001552091330000073
对于
Figure BDA0001552091330000074
得到其归一化可控核系数矩阵拉成的列向量xj，并使用xj表征
Figure BDA0001552091330000075
从而构造训练集
Figure BDA0001552091330000076
其中xj为第j个样本的输入特征，yj为第j个样本的目标值；其中xj的获取步骤如下：
(1.c.1)假设某个图像块
Figure BDA0001552091330000077
中心像素
Figure BDA0001552091330000078
位于图像块的第z1行第z2列，
Figure BDA0001552091330000079
对应的协方差矩阵为
Figure BDA00015520913300000710
基于该协方差矩阵可定义该图像块的可控核系数矩阵
Figure BDA00015520913300000711
该矩阵中的第m行第n列元素定义为
Figure BDA00015520913300000712
其中，det()函数返回输入方阵的行列式，h＝1.6；
(1.c.2)由于具有相似结构的图像块具有相似的映射信息，因此有必要将
Figure BDA00015520913300000713
归一化为
Figure BDA00015520913300000714
后拉成的列向量xj来表征图像块
Figure BDA00015520913300000715
从而便于进行相似结构信息图像块的聚类处理，即
Figure BDA00015520913300000716
其中vec()将输入矩阵转换成列向量，norm()将输入矩阵进行归一化。
(1.d)基于K-Means算法对D进行聚类，将训练集D划分为c个聚类，即
Figure BDA00015520913300000717
且Di∩Dj＝φ，i≠j；这里
Figure BDA00015520913300000718
Figure BDA00015520913300000719
nk为第k个聚类Dk中的样本个数，且
Figure BDA00015520913300000720
(1.e)设定高斯过程回归模型中的核函数k(x，x′)，其中x，x′为两个样本的输入特征；本方法所应用的核函数为：
Figure BDA00015520913300000721
其中
Figure BDA00015520913300000722
σ2为噪声方差，σf是信号标准差，l为尺度系数，δ为Kronecker函数，该核函数的待定超参数为θ＝{λ1，…，λd，σf，l，σ}。具体到每个聚类
Figure BDA00015520913300000723
所学习出的高斯过程回归模型Mk，其对应的超参数改写成
Figure BDA00015520913300000724
(1.f)针对每个聚类Dk，对该聚类下的高斯过程回归模型超参数θ(k)进行初始化；具体步骤为：
(1.f.1)针对每个聚类
Figure BDA0001552091330000081
可得其聚类中心为
Figure BDA0001552091330000082
将
Figure BDA0001552091330000083
还原成对应尺寸为d×d的归一化可控核系数矩
Figure BDA0001552091330000084
使用该矩阵上对角线元素的倒数来初始化ARD核函数的超参数，即
Figure BDA0001552091330000085
其中
Figure BDA0001552091330000086
为
Figure BDA0001552091330000087
对角线上第v行第v列元素；
(1.f.2)
Figure BDA0001552091330000088
表示的是信号标准差，其初始化方程为
Figure BDA0001552091330000089
其中std()返回输入参数的标准差；
(1.f.3)σ(k)为噪声标准差，使用训练集中目标值的标准差对其进行初始化，即
Figure BDA00015520913300000810
(1.f.4)l(k)为尺度系数，将其初始化为1。
(1.g)在每个聚类Dk上训练出对应的高斯过程回归模型Mk；
针对每个模型核函数中待定的超参数通过最大化边缘似然p(y(k)|X(k)，θ(k))从而获得最优超参数θ(k)*，即
Figure BDA00015520913300000811
其中
Figure BDA00015520913300000812
将超参数初始化后，采用常用的梯度下降法经迭代方式解得最优解θ(k)*，完成模型Mk训练；
(2)测试阶段
(2.a)在测试阶段，首先对低分辨测试图像I插值到指定尺寸SI，初始化超分辨结果图像：SH＝SI；
(2.b)从SI提取所有的测试图像块集合
Figure BDA00015520913300000813
使用归一化可控核系数
Figure BDA00015520913300000814
表征每个测试图像块
Figure BDA00015520913300000815
得到测试集
Figure BDA00015520913300000816
(2.c)对每个测试图像块
Figure BDA0001552091330000091
基于
Figure BDA0001552091330000092
寻找与之最接近的聚类，随后应用与该聚类对应的GPR模型Mk预测对应高频图像块中心像素；将预测出的高频图像SH与插值图像叠加得到超分辨重建图像S。
(2.c.1)依据式
Figure BDA0001552091330000093
预测
Figure BDA0001552091330000094
对应的
Figure BDA0001552091330000095
其中矩阵
Figure BDA0001552091330000096
中的第i行第j列元素
Figure BDA0001552091330000097
此外
Figure BDA0001552091330000098
Figure BDA0001552091330000099
Figure BDA00015520913300000910
(2.c.2)
Figure BDA00015520913300000911
其中cen()返回输入图像块的中心像素；
(2.c.3)将SH中对应的像素替换为
Figure BDA00015520913300000912
(2.d)令S＝SH，即为最终超分辨重建图像。
仿真实验中，将本发明方法与现有的BPJDL，SpReg，NARM，SCSR，UDF，SRGPR等方法进行对比分析；其中，
BPJDL对应参考文献为“L.He,H.Qi,and R.Zaretzki,“Beta process jointdictionary learning for coupled feature spaces with application to singleimage super-resolution,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2013,pp.345-352.”；
SpReg对应参考文献为“I.K.Kwang and K.Younghee,“Single-image super-resolution using sparse regression and natural image prior,”IEEETrans.Pattern Anal.Mach.Intell.,vol.32,no.6,pp.1127-1133,Jun.2010.”；
NARM对应参考文献为“W.Dong,L.Zhang,R.Lukac,and G.Shi,“Sparserepresentation based image interpolation with nonlocal autoregressivemodeling,”IEEE Trans.Image Process.,vol.22,no.4,pp.1382-1394,Apr.2013.”；
SCSR对应参考文献为“J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873,Nov.2010.”；
UDF对应参考文献为“L.Wang,H.Wu,and C.Pan,“Fast image upsampling viathe displacement field,”IEEE Trans.Image Process.,vol.23,no.12,pp.5123-5135,Dec.2014.”；
SRGPR对应参考文献为“H.He and W.-C.Siu,“Single image super-resolutionusing Gaussian process regression,”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2011,pp.449-456.”。
为了保证对比的公平，上述对比方法均源自于对应作者发布的版本。为了模拟低分辨测试图像，本发明首先对高分辨图像使用大小为7×7，方差为1.1的高斯核进行模糊化，然后再基于下采样而获得。训练图像采用与SCSR一样的69图图像，从中随机提取20000个图像块对作为训练样本集，聚类参数为150。实验在常用的10幅测试图像上进行3×超分辨，并使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似度(StructuralSimilarity Index,SSIM)和特征相似度(Feature Similarity Index,FSIM)三种指标来度量超分辨重建图像的质量。仿真实验均在一台配置了XEON E3-1231 CPU、16G RAM的计算机上进行。
1.客观质量对比
为了验证本发明所提方法的有效性，表1列出了不同方法在测试集上的重建质量，其中每幅图像对应三行，从上到下分别为PSNR、SSIM和FSIM三种质量评价指标。从表1可以看出，本发明所提出的SKGPR方法在三种指标上均优于其它对比方法。
2.主观质量对比
除了客观质量上的优越性，本发明所提出的SKGPR方法在主观质量上也优于其它对比方法，具体如图2-4所示。
图2是SKGPR与其它方法三倍超分辨结果的主观对比图像(hat图像)：
(a)为BPJDL方法，其中PSNR:27.96,SSIM:0.818,FSIM:0.865；
(b)为SpReg方法，其中PSNR:27.64,SSIM:0.809,FSIM:0.850；
(c)为NARM方法，其中PSNR:29.18,SSIM:0.821,FSIM:0.844；
(d)为SCSR方法，其中PSNR:29.21,SSIM:0.830,FSIM:0.877；
(e)为UDF方法，其中PSNR:27.75,SSIM:0.809,FSIM:0.825；
(f)为SRGPR方法，其中PSNR:25.99,SSIM:0.790,FSIM:0.834；
(g)为SKGPR方法，其中PSNR:29.32,SSIM:0.837,FSIM:0.877；
(h)为Ground Truth原图像。
图3是SKGPR与其它方法三倍超分辨结果主观对比图像(bike图像)：
(a)为BPJDL方法，其中PSNR:21.39,SSIM:0.660,FSIM:0.795；
(b)为SpReg方法，其中PSNR:21.14,SSIM:0.646,FSIM:0.773；
(c)为NARM方法，其中PSNR:22.60,SSIM:0.669,FSIM:0.776；
(d)为SCSR方法，其中PSNR:22.73,SSIM:0.711,FSIM:0.812；
(e)为UDF方法，其中PSNR:20.83,SSIM:0.618,FSIM:0.725；
(f)为SRGPR方法，其中PSNR:19.39,SSIM:0.588,FSIM:0.753；
(g)为SKGPR方法，其中PSNR:22.79,SSIM:0.722,FSIM:0.814；
(h)为Ground Truth原图像。
图4SKGPR与其它方法三倍超分辨结果主观对比图像(parthenon图像)：
(a)为BPJDL方法，其中PSNR:24.75,SSIM:0.686,FSIM:0.782)；
(b)为SpReg方法，其中PSNR:24.48,SSIM:0.672,FSIM:0.764)；
(c)为NARM方法，其中PSNR:25.91,SSIM:0.691,FSIM:0.749)；
(d)为SCSR方法，其中PSNR:25.87,SSIM:0.717,FSIM:0.797)；
(e)为UDF方法，其中PSNR:24.43,SSIM:0.666,FSIM:0.715)；
(f)为SRGPR方法，其中PSNR:23.67,SSIM:0.659,FSIM:0.764)；
(g)为SKGPR方法，其中PSNR:26.01,SSIM:0.723,FSIM:0.802)；
(h)为Ground Truth原图像。
从图2-4中可以看出，本发明所提方法相比其它方法在边缘纹理上有更好的重建效果。
3.可控核有效性
为了说明采用可控核初始化超参数的有效性，表2列出了可控核初始化方法与一般的随机初始化两者之间的性能对比。由表2可见，采用归一化可控核系数(SKR)特征之后，超分辨重建质量在测试图像上均有提高，说明了归一化可控核系数特征的有效性。
表1 不同超分辨方法的客观质量对比结果
Figure BDA0001552091330000111
Figure BDA0001552091330000121
表2 SKR特征对超分辨重建结果的影响
Figure BDA0001552091330000122
Figure BDA0001552091330000131
本发明在常用的像素特征之外引入可控核系数特征来更好地表示图像块的结构特征，并进一步采用各向异性的自动相关确认核函数来替代各向同性的RBF核函数，从而提高模型适应性。实验结果表明，本发明所提出的方法无论在主观还是客观质量上均优于其它对比方法。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种基于可控核与高斯过程回归的单帧图像超分辨方法，其特征在于包括以下两个阶段：
(1)训练阶段
(1.a)在训练阶段，首先获取低分辨和高分辨训练图像对
Figure FDA00030057333400000118
之后基于低分辨训练图像Li得到与高分辨图像Hi同尺寸的插值图像Ii，然后高分辨图像Hi与插值图像Ii相减得到对应的高频图像Fi，获得插值图像与高频图像对集合
Figure FDA0003005733340000011
其中Fi＝Hi-Ii；
(1.b)在插值图像与高频图像对
Figure FDA0003005733340000012
上随机提取尺寸为d×d的训练图像块对
Figure FDA0003005733340000013
其中，d为奇数；
(1.c)对每一个图像块
Figure FDA0003005733340000014
提取其中心像素
Figure FDA0003005733340000015
对于
Figure FDA0003005733340000016
得到其归一化可控核系数矩阵拉成的列向量xj，并使用xj表征
Figure FDA0003005733340000017
从而构造训练集
Figure FDA0003005733340000018
其中xj为第j个样本的输入特征，yj为第j个样本的目标值；
(1.d)基于K-Means算法对D进行聚类，将训练集D划分为c个聚类，即
Figure FDA0003005733340000019
且Di∩Dj＝φ，i≠j；这里
Figure FDA00030057333400000110
Figure FDA00030057333400000111
nk为第k个聚类Dk中的样本个数，且
Figure FDA00030057333400000112
(1.e)设定高斯过程回归模型中的核函数k(x，x′)，其中x，x′为两个样本的输入特征；高斯过程回归模型中的核函数为：
Figure FDA00030057333400000113
其中，
Figure FDA00030057333400000114
σ2为噪声方差，σf是信号标准差，l为尺度系数，δ为Kronecker函数，该核函数的待定超参数为θ＝{λ1，…，λd，σf，l，σ}；具体到每个聚类
Figure FDA00030057333400000115
所学习出的高斯过程回归模型Mk，其对应的超参数改写成
Figure FDA00030057333400000116
(1.f)针对每个聚类Dk，对该聚类下的高斯过程回归模型超参数θ(k)进行初始化；初始化的具体过程为：
(1.f.1)针对每个聚类
Figure FDA00030057333400000117
可得其聚类中心为
Figure FDA0003005733340000021
将
Figure FDA0003005733340000022
还原成对应尺寸为d×d的归一化可控核系数矩
Figure FDA0003005733340000023
使用该矩阵上对角线元素的倒数来初始化ARD核函数的超参数，即
Figure FDA0003005733340000024
其中
Figure FDA0003005733340000025
为
Figure FDA0003005733340000026
对角线上第v行第v列元素；
(1.f.2)
Figure FDA0003005733340000027
表示的是信号标准差，其初始化方程为
Figure FDA0003005733340000028
其中std()返回输入参数的标准差；
(1.f.3)σ(k)为噪声标准差，使用训练集中目标值的标准差对其进行初始化，即
Figure FDA0003005733340000029
(1.f.4)l(k)为尺度系数，将其初始化为1；
(1.g)在每个聚类Dk上训练出对应的高斯过程回归模型Mk；
针对每个模型核函数中待定的超参数通过最大化边缘似然p(y(k)|X(k)，θ(k))从而获得最优超参数θ(k)*，即
Figure FDA00030057333400000210
其中
Figure FDA00030057333400000211
将超参数初始化后，采用常用的梯度下降法经迭代方式解得最优解θ(k)*，完成模型Mk训练；
(2)测试阶段
(2.a)在测试阶段，首先对低分辨测试图像I插值到指定尺寸SI，初始化超分辨结果图像：SH＝SI；
(2.b)从SI提取所有的测试图像块集合
Figure FDA00030057333400000212
使用归一化可控核系数
Figure FDA00030057333400000213
表征每个测试图像块
Figure FDA00030057333400000214
得到测试集
Figure FDA00030057333400000215
(2.c)对每个测试图像块
Figure FDA00030057333400000216
基于
Figure FDA00030057333400000217
寻找与之最接近的聚类，随后应用与该聚类对应的GPR模型Mk预测对应高频图像块中心像素；将预测出的高频图像SH与插值图像叠加得到超分辨重建图像S；
(2.c.1)依据式
Figure FDA0003005733340000031
预测
Figure FDA0003005733340000032
对应的
Figure FDA0003005733340000033
其中矩阵
Figure FDA0003005733340000034
中的第i行第j列元素
Figure FDA0003005733340000035
此外
Figure FDA0003005733340000036
Figure FDA0003005733340000037
Figure FDA0003005733340000038
(2.c.2)
Figure FDA0003005733340000039
其中cen()返回输入图像块的中心像素；
(2.c.3)将SH中对应的像素替换为
Figure FDA00030057333400000310
(2.d)令S＝SH，即为最终超分辨重建图像。
2.如权利要求1所述的基于可控核与高斯过程回归的单帧图像超分辨方法，其特征在于步骤(1.c)中归一化可控核系数向量xj的获取方式如下：
(1.c.1)假设某个图像块
Figure FDA00030057333400000311
中心像素
Figure FDA00030057333400000312
立于图像块的第z1行第z2列，
Figure FDA00030057333400000313
对应的协方差矩阵为
Figure FDA00030057333400000314
基于该协方差矩阵可定义该图像块的可控核系数矩阵
Figure FDA00030057333400000315
该矩阵中的第m行第n列元素定义为
Figure FDA00030057333400000316
其中，det()函数返回输入方阵的行列式，h＝1.6；
(1.c.2)由于具有相似结构的图像块具有相似的映射信息，因此有必要将
Figure FDA00030057333400000317
归一化为
Figure FDA00030057333400000318
后拉成的列向量xj来表征图像块
Figure FDA00030057333400000319
从而便于进行相似结构信息图像块的聚类处理，即
Figure FDA00030057333400000320
其中vec()将输入矩阵转换成列向量，norm()将输入矩阵进行归一化。
CN201810050021.2A 2018-01-18 2018-01-18 基于可控核与高斯过程回归的单帧图像超分辨方法 Active CN108257093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810050021.2A CN108257093B (zh) 2018-01-18 2018-01-18 基于可控核与高斯过程回归的单帧图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810050021.2A CN108257093B (zh) 2018-01-18 2018-01-18 基于可控核与高斯过程回归的单帧图像超分辨方法

Publications (2)

Publication Number Publication Date
CN108257093A CN108257093A (zh) 2018-07-06
CN108257093B true CN108257093B (zh) 2021-08-06

Family

ID=62741537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810050021.2A Active CN108257093B (zh) 2018-01-18 2018-01-18 基于可控核与高斯过程回归的单帧图像超分辨方法

Country Status (1)

Country Link
CN (1) CN108257093B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097499B (zh) * 2019-03-14 2023-05-05 西安电子科技大学 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
CN110085255B (zh) * 2019-03-27 2021-05-28 河海大学常州校区 语音转换基于深度内核学习高斯过程回归建模方法
CN110322021B (zh) * 2019-06-14 2021-03-30 清华大学 大规模网络表征学习的超参数优化方法和装置
CN112581626B (zh) * 2021-02-23 2021-06-08 之江实验室 一种基于非参数化和多注意力机制的复杂曲面测量系统
CN113532308B (zh) * 2021-09-13 2021-12-21 南京航空航天大学 数字图像相关中带初值的岭回归应变测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854268A (zh) * 2014-03-26 2014-06-11 西安电子科技大学 基于多核高斯过程回归的图像超分辨重建方法
CN104021525A (zh) * 2014-05-30 2014-09-03 西安交通大学 一种道路场景视频图像序列的背景修复方法
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN105550989A (zh) * 2015-12-09 2016-05-04 西安电子科技大学 基于非局部高斯过程回归的图像超分辨方法
CN106996625A (zh) * 2017-05-16 2017-08-01 洛阳理工学院 一种基于无线传感器网络的办公室空调半智能调控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854268A (zh) * 2014-03-26 2014-06-11 西安电子科技大学 基于多核高斯过程回归的图像超分辨重建方法
CN104021525A (zh) * 2014-05-30 2014-09-03 西安交通大学 一种道路场景视频图像序列的背景修复方法
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN105550989A (zh) * 2015-12-09 2016-05-04 西安电子科技大学 基于非局部高斯过程回归的图像超分辨方法
CN106996625A (zh) * 2017-05-16 2017-08-01 洛阳理工学院 一种基于无线传感器网络的办公室空调半智能调控系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Feature selection for SVM via optimization of kernel polarization with Gaussian ARD kernels";Tinghua Wang 等;《Expert Systems with Applications》;20100930;第37卷(第9期);第6663-6668页 *
Fast single image super-resolution using sparse Gaussian process regression;Haijun Wang 等;《Signal Processing》;20170531;第134卷;第52-62页 *
基于局部与非局部先验的影像超分辨重建算法研究;沐广武;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415;第21-26页，第33-38页 *

Also Published As

Publication number Publication date
CN108257093A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108257093B (zh) 基于可控核与高斯过程回归的单帧图像超分辨方法
Cai et al. Coarse-to-fine sparse transformer for hyperspectral image reconstruction
Hao et al. A deep network architecture for super-resolution-aided hyperspectral image classification with classwise loss
Fu et al. Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
CN107993194B (zh) 一种基于平稳小波变换的超分辨率重建方法
CN107341776B (zh) 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107067367A (zh) 一种图像超分辨重建处理方法
CN108520495B (zh) 基于聚类流形先验的高光谱图像超分辨重建方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
CN111754598B (zh) 基于变换学习的局部空间邻域并行磁共振成像重构方法
CN112991483A (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
Xu et al. Factorized tensor dictionary learning for visual tensor data completion
Li et al. Combining synthesis sparse with analysis sparse for single image super-resolution
Zhang et al. Learning stacking regressors for single image super-resolution
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
Li et al. Adaptive lq-norm constrained general nonlocal self-similarity regularizer based sparse representation for single image super-resolution
Xiong et al. Gradient boosting for single image super-resolution
Liu et al. GJTD-LR: A trainable grouped joint tensor dictionary with low-rank prior for single hyperspectral image super-resolution
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
CN108765287B (zh) 一种基于非局部均值的图像超分辨率方法
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Li et al. Single image super-resolution via adaptive sparse representation and low-rank constraint
Yang et al. MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211228

Address after: 471000 room 1003, 10th floor, Ruize building, No. 215 Heluo Road, high tech Development Zone, Luoyang area, China (Henan) pilot Free Trade Zone, Luoyang City, Henan Province

Patentee after: Luoyang Kaixun Electronic Technology Co.,Ltd.

Address before: 471003 No.8, Fenghua Road, high tech Zone, Luoyang City, Henan Province

Patentee before: LUOYANG INSTITUTE OF SCIENCE AND TECHNOLOGY