CN109712073A - 一种基于高斯过程回归的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于高斯过程回归的图像超分辨率重建方法，具体实现步骤为：1.获取样本训练集，并将样本训练集进行模糊分类；2基于分类结果分别对每类样本训练高斯过程回归模型；3.输入测试图像样本集，并选择相应的回归关系；4.利用学习到的回归关系预测测试样本集对应的输出，即低分辨率图像中缺失的像素值；5.重建出高分辨率图像。本发明能够很好的处理目前图像超分辨率重建出高分辨率图像纹理细节不清晰，边缘锯齿问题，可以广泛的应用于社会生活与社会生产当中。

Description

一种基于高斯过程回归的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，特别涉及高斯过程回归的图像超分辨率方法和改进模糊C均值聚类方法以及两种方法的结合。

背景技术

图像超分辨率重建简单的来说就是由一幅或多幅低分辨率图像经过一系列处理之后生成高分辨率图像的过程。图像超分辨率技术目前已经广泛的应用于社会生活生产的众多领域，例如医学成像、遥感雷达成像、车辆监控、刑事侦查以及高清数字电视等。

目前图像超分辨率技术可以大致分为三类：基于插值的方法、基于重建的方法、基于学习的方法。基于插值的方法能够简单快速的重建出高分辨率图像，但是由于该方法重建过程细节信息丢失严重，所以重建出的图像质量有限。基于重建的方法相较基于插值的方法重建的图像质量有一定的提高，但是图像重建工作量大难，重建图像高频信息不完整。基于学习的方法能够利用先验知识详细描述高分辨率图像与低分辨图像间的映射关系，可以重建出质量较高、细节信息完整高分辨图像。

高斯过程作为一种强大的统计学习工具常用解决非线性问题。近年来，研究人员发高斯过程回归在解决超分辨率问题上有非常良好的应用。何河等人在文献He,Siu.Single image super-resolution using Gaussian process regression[C]//Proceedings of the IEEE Conference on Computer Vision&PatternRecognition.IEEE,2011:499-456.中利用图像自身特点，提出一种自学习框架，来学习图像内部关系，进而重建出高分辨率图像。王建军等人在文献Wang H,Gao X,Zhang K,etal.Image super-resolution using non-local Gaussian process regression[J].Neurocomputing,2016,194:95-106.提出借用网格采样的方法学习图像块上的非局部相似性的高斯过程回归方法，处理高分辨率重建问题。曲延云等人在文献Qu Y Y,Liao M J,Zhou Y W,et al.Image Super-Resolution Based on Data-Driven Gaussian ProcessRegression[C]//International Conference on Intelligent Science&Big DataEngineering.2013:513-520.中提出了基于锚点的高斯过程回归超分辨方法。

上述这些方法虽然说能恢复出低分辨率图像缺失的细节信息，但由没有考虑图像特征块的相似性，以至于构建出高斯过程回归模型预测的准确性不高，进而导致最终超分辨重建图像质量不佳。

发明内容

本发明的目的在于解决超分辨率重建技术目前存在的问题。提出一种结合高斯过程回归和改进模糊C均值聚类的图像超分辨率重建方法，该方法能够有效提高图像重建质量。

一种基于高斯过程回归的图像超分辨率重建方法，其特征在于：包括训练阶段和测试阶段两部分，其中所述训练阶段的步骤为：

S1、将高分辨率样本图像集H＝(h₁,h₂,...,h_n)进行处理得到高频低分辨率图像集其中h_i表示第i个高分辨率样本图像，表示第i个高频低分辨率图像；具体为，将高分辨率样本图像集H＝(h₁,h₂,...,h_n)利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理，然后进行3倍下采样处理，得到低分辨率图像集L＝(l₁,l₂,...,l_n)，其中l_i表示第i个低分辨率图像，对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小，得到高频低分辨率图像集

S2、分别对步骤S1中的高分辨率图像集H、高频低分辨率图像集L_F进行分块操作，得到样本训练集其中P_l ^H表示高分辨率图像块，表示低分辨率图像块，m表示图像块的个数；

S3、将步骤s2得到的样本训练集聚类为c个簇类，用M＝{m₁,m₂,...,m_c}表示，其中m_i表示一个簇集合；

(S3a)设置加权指数n，终止阈值ε，最大迭代次数r_max，当前迭代次数r＝1；

(S3b)设置类簇个数c，以及初始聚类中心V⁽⁰⁾；

(S3c)设置D_i＝1,i＝1,2,...,c，D_i表示第i个类簇的分散度值；

(S3d)计算隶属度矩阵其中x_k表示第k个样本，v_t表示第t个聚类中心；

(S3e)计算各类的分散度值其中C_i表示第i个类簇，v_i表示第i个聚类中心，N表示样本的数量；

(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值；

(S3g)若||v_i-v_(i-1)||＜ε或r＞r_max，则停止迭代，输出聚类结果；否则r＝r+1，返回步骤(S3d)。

S4、基于聚类集合M中的每个子集合分别训练高斯过程回归模型G；

(S4a)对于输入样本x与测试样本x^*，定义的核函数k(x,x^*)为：

其中，||·||表示约束范式，σ_n表示高斯核的标准差；

(S4b)σ_n由下式自适应确定，即：

其中，ρ为比例系数；

(S4c)假设训练样本集D＝{x_i,y_i|i＝[1,n]}得到观察值列向量Y＝{y₁,y₂,...y_n}，那么可以计算k(x,x^*)的协方差矩阵：

其中x_i、y_i分别表示第i个低分辨率样本和第i个高分辨率样本；

(S4d)高斯过程回归模型采用的似然函数定义如下：

其中y、y^T分别表示输入样本和y的转置；

(S4d)极小化L是一个非凸的优化问题，利用共轭梯度法优化算法，求得超参数最优解。

所述测试阶段的步骤为：

S5、将待测试低分辨率图像I_t插值放大至需要大小，记为低分辨率插值图像I_h；

S6、将低分辨率插值图像I_h进行分块X＝{x₁,x₂,...,x_n}，将每个图像块x_i作为输入，利用高斯过程回归模型预测x_i中丢失的像素值y^*；

S7、将y^*插入图像块x_i；

S8、根据图像块对应的位置将各个块组合起来重建出高分辨率图像。

本发明与现有的超分辨技术相比,本发明具有以下显著优点：

第一，本发明分析样本数据间的相似性与差异性，通过将相似度高的数据分为一类进行高斯过程回归模型训练,提升了高斯过程回归模型预测的精度。

第二，本发明与现有的其它图像超分辨方法相比,实现了在视觉体验上更接近原始高分辨图像，呈现出了非常优质的超分辨率重建效果。

第三，通过模糊C均值聚类将事先准备的训练样本按照图像块之间结构相似关系分为C类，使得类内的样本具有较高的相似性，类与类之间的样本具有较高的差异性。通过提高训练样本的紧密关系进而提高构建的高斯过程回归模型预测值的精确度，使得重建出的图像质量更好、更符合人们的视觉体验。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明提供实施方法的流程图；

图2为本发明利用baby图像进行超分辨率重建和其他算法进行超分辨率重建的对比图；

图3为本发明利用bird图像进行超分辨率重建和其他算法进行超分辨率重建的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例，仅仅是本发明的一部分实施例。

本发明的具体方法参见图1，

本发明的训练阶段具体方法步骤如下所示：

S1、将高分辨率样本图像集H＝(h₁,h₂,...,h_n)，h_i表示第i个高分辨率样本图像利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理，然后进行3倍下采样处理，得到低分辨率图像集L＝(l₁,l₂,...,l_n)，l_i表示第i个低分辨率样本图像，对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小，得到高频低分辨率图像集 表示第i个高频低分辨率样本图像；

S2、分别对步骤s1中得到的高分辨率图像集H、高频低分辨率图像集L_F集进行分块操作，得到样本训练集其中m分别表示高分辨率图像块、低分辨率图像块以及图像块的个数；；

S3、将步骤s2得到的样本训练集聚类为c个簇类用M＝{m₁,m₂,...,m_c}表示，其中m_i表示一个簇集合；

(S3a)设置加权指数n，终止阈值ε，最大迭代次数r_max，当前迭代次数r＝1；

(S3b)设置类簇个数c，以及初始聚类中心V⁽⁰⁾；

(S3c)设置D_i＝1,i＝1,2,...,c，D_i表示第i个类簇的分散度值；

(S3d)计算隶属度矩阵其中x_k、v_t分别表示第k个样本、第t个聚类中心；；

(S3e)计算各类的分散度值其中C_i表示第i个类簇，v_i表示第i个聚类中心，N表示样本的数量；；

(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值；；

(S3g)如果||v_i-v_(i-1)||＜ε或r＞r_max，则停止迭代，输出聚类结果；否则r＝r+1，返回步骤(S3d)；

S4、基于M聚类集合中的每个子集合训练高斯过程回归模型G。

(S4a)对于输入样本x与测试样本x^*，所定义的核函数k(x,x^*)为：

其中，||·||表示约束范式，σ_n表示高斯核的标准差；

(S4b)σ_n由下式自适应确定，即：

其中，ρ为比例系数；

(S4c)假设训练样本集D＝{x_i,y_i|i＝[1,n]}得到观察值列向量Y＝{y₁,y₂,...y_n}，那么可以计算k(x,x^*)的协方差矩阵：

其中x_i、y_i分别表示第i个低分辨率样本和第i个高分辨率样本；

(S4d)高斯过程回归模型采用的似然函数定义如下：

其中y、y^T分别表示输入样本和y的转置；

(S4d)极小化L是一个非凸的优化问题，利用共轭梯度法优化算法，求得超参数最优解。

本发明的测试阶段具体方法步骤如下所示：

S5、将待测试低分辨率图像I_t使用双三次插值算法插值放大至需要大小，记为低分辨率插值图像I_h；

S6、将低分辨率插值图像I_h进行分块X＝{x₁,x₂,...,x_n}，其中x_i表示第i个图像块；

S7、根据测试阶段的步骤S3计算每个图像块x_i隶属于m_i，测试阶段s4步骤学习到的该类样本高斯过程回归模型预测x_i中丢失的像素值y^*；

S8、将y^*插入图像x_i；

S9、根据图像块的位置将其组合起来重建出高分辨率图像。

为了评估本算法的有效性，本发明通过采用自然图像bird、人物图像baby两幅不同种类的图像进行超分辨率重建。本发明通过与Bicubic算法、SRGPR算法、SCSR算法进行仿真测试结果的对比。

实验一，用本发明和上述现有的3种方法对人物图像baby，进行实验仿真测试，图2是实验结果。其中图2(a)是Bicubic算法重建出的图像，图2(b)是SRGPR算法重建出的图像，图2(c)是SCSR算法重建出的图像，图2(d)是本发明算法重建出的图像，图2(e)是原始高分辨率图像。通过分析个算法重建结果图发现本发明处理baby图像上边缘细节丰富的眼部区域有着非常好的效果，相比其它算法更能接近原始高分辨率图像。

实验二，用本发明和上述现有的3种方法对人物图像baby，进行实验仿真测试，图3是实验结果。其中图3(a)是Bicubic算法重建出的图像，图3(b)是SRGPR算法重建出的图像，图2(c)是SCSR算法重建出的图像，图3(d)是本发明算法重建出的图像，图3(e)是原始高分辨率图像。可以看出对比其它算法本发明重建出的图像质量更好

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于高斯过程回归的图像超分辨率重建方法，其特征在于：包括训练阶段和测试阶段两部分，其中所述训练阶段的步骤为：

S1、将高分辨率样本图像集H＝(h₁,h₂,...,h_n)进行处理得到高频低分辨率图像集其中h_i表示第i个高分辨率样本图像，表示第i个高频低分辨率图像；

S2、分别对步骤S1中的高分辨率图像集H、高频低分辨率图像集L_F进行分块操作，得到样本训练集P_l ^H表示第i个高分辨率图像块，P_l ^LF表示第i个低分辨率图像块，m表示图像块的个数；

S3、将步骤s2得到的样本训练集聚类为c个簇类，用M＝{m₁,m₂,...,m_c}表示，其中m_i表示一个簇集合；

S4、基于聚类集合M中的每个子集合分别训练高斯过程回归模型G；

所述测试阶段的步骤为：

S5、将待测试低分辨率图像I_t插值放大至需要大小，记为低分辨率插值图像I_h；

S6、将低分辨率插值图像I_h进行分块X＝{x₁,x₂,...,x_n}，将每个图像块x_i作为输入，利用高斯过程回归模型预测x_i中丢失的像素值y*；

S7、将y*插入图像块x_i；

S8、根据图像块对应的位置将各个块组合起来重建出高分辨率图像。

2.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法，其特征在于：所述高频低分辨率图像集L_F是通过以下步骤得到的，将高分辨率样本图像集H＝(h₁,h₂,...,h_n)利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理，然后进行3倍下采样处理，得到低分辨率图像集L＝(l₁,l₂,...,l_n)，l_i表示第i个低分辨率图像，对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小，得到高频低分辨率图像集

3.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法，其特征在于：所述聚类的步骤如下：

(S3a)设置加权指数n，终止阈值ε，最大迭代次数r_max，当前迭代次数r＝1；

(S3b)利设置类簇个数c，以及初始聚类中心V⁽⁰⁾；

(S3c)设置D_i＝1,i＝1,2,...,c，D_i表示第i个类簇的分散度值；

(S3d)计算隶属度矩阵其中x_k表示第k个样本，v_t表示第t个聚类中心；

(S3e)计算各类的分散度值，其中C_i表示第i个类簇，v_i表示第i个聚类中心，N表示样本的数量；

(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值；

(S3g)若||v_i-v_(i-1)||＜ε或r＞r_max，则停止迭代，输出聚类结果；否则r＝r+1，返回步骤(S3d)。

4.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法，其特征在于：所述步骤S4具体包括：

(S4a)对于输入样本x与测试样本x^*，定义的核函数k(x,x^*)为：

其中，||·||表示约束范式，σ_n表示高斯核的标准差；

(S4b)σ_n由下式自适应确定，即：

其中，ρ为比例系数；

(S4c)假设训练样本集D＝{x_i,y_i|i＝[1,n]}得到观察值列向量Y＝{y₁,y₂,...y_n}，那么可以计算k(x,x^*)的协方差矩阵：

其中x_i表示第i个低分辨率样本，y_i表示第i个高分辨率样本；

(S4d)高斯过程回归模型采用的似然函数定义如下：

其中y、y^T分别表示输入样本和y的转置；

(S4d)极小化L是一个非凸的优化问题，利用共轭梯度法优化算法，求得超参数最优解。