CN109712073A - 一种基于高斯过程回归的图像超分辨率重建方法 - Google Patents
一种基于高斯过程回归的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109712073A CN109712073A CN201811555243.6A CN201811555243A CN109712073A CN 109712073 A CN109712073 A CN 109712073A CN 201811555243 A CN201811555243 A CN 201811555243A CN 109712073 A CN109712073 A CN 109712073A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- indicate
- sample
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008569 process Effects 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 239000006185 dispersion Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000039 congener Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于高斯过程回归的图像超分辨率重建方法,具体实现步骤为:1.获取样本训练集,并将样本训练集进行模糊分类;2基于分类结果分别对每类样本训练高斯过程回归模型;3.输入测试图像样本集,并选择相应的回归关系;4.利用学习到的回归关系预测测试样本集对应的输出,即低分辨率图像中缺失的像素值;5.重建出高分辨率图像。本发明能够很好的处理目前图像超分辨率重建出高分辨率图像纹理细节不清晰,边缘锯齿问题,可以广泛的应用于社会生活与社会生产当中。
Description
技术领域
本发明属于图像处理技术领域,特别涉及高斯过程回归的图像超分辨率方法和改进模糊C均值聚类方法以及两种方法的结合。
背景技术
图像超分辨率重建简单的来说就是由一幅或多幅低分辨率图像经过一系列处理之后生成高分辨率图像的过程。图像超分辨率技术目前已经广泛的应用于社会生活生产的众多领域,例如医学成像、遥感雷达成像、车辆监控、刑事侦查以及高清数字电视等。
目前图像超分辨率技术可以大致分为三类:基于插值的方法、基于重建的方法、基于学习的方法。基于插值的方法能够简单快速的重建出高分辨率图像,但是由于该方法重建过程细节信息丢失严重,所以重建出的图像质量有限。基于重建的方法相较基于插值的方法重建的图像质量有一定的提高,但是图像重建工作量大难,重建图像高频信息不完整。基于学习的方法能够利用先验知识详细描述高分辨率图像与低分辨图像间的映射关系,可以重建出质量较高、细节信息完整高分辨图像。
高斯过程作为一种强大的统计学习工具常用解决非线性问题。近年来,研究人员发高斯过程回归在解决超分辨率问题上有非常良好的应用。何河等人在文献He,Siu.Single image super-resolution using Gaussian process regression[C]//Proceedings of the IEEE Conference on Computer Vision&PatternRecognition.IEEE,2011:499-456.中利用图像自身特点,提出一种自学习框架,来学习图像内部关系,进而重建出高分辨率图像。王建军等人在文献Wang H,Gao X,Zhang K,etal.Image super-resolution using non-local Gaussian process regression[J].Neurocomputing,2016,194:95-106.提出借用网格采样的方法学习图像块上的非局部相似性的高斯过程回归方法,处理高分辨率重建问题。曲延云等人在文献Qu Y Y,Liao M J,Zhou Y W,et al.Image Super-Resolution Based on Data-Driven Gaussian ProcessRegression[C]//International Conference on Intelligent Science&Big DataEngineering.2013:513-520.中提出了基于锚点的高斯过程回归超分辨方法。
上述这些方法虽然说能恢复出低分辨率图像缺失的细节信息,但由没有考虑图像特征块的相似性,以至于构建出高斯过程回归模型预测的准确性不高,进而导致最终超分辨重建图像质量不佳。
发明内容
本发明的目的在于解决超分辨率重建技术目前存在的问题。提出一种结合高斯过程回归和改进模糊C均值聚类的图像超分辨率重建方法,该方法能够有效提高图像重建质量。
一种基于高斯过程回归的图像超分辨率重建方法,其特征在于:包括训练阶段和测试阶段两部分,其中所述训练阶段的步骤为:
S1、将高分辨率样本图像集H=(h1,h2,...,hn)进行处理得到高频低分辨率图像集其中hi表示第i个高分辨率样本图像,表示第i个高频低分辨率图像;具体为,将高分辨率样本图像集H=(h1,h2,...,hn)利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理,然后进行3倍下采样处理,得到低分辨率图像集L=(l1,l2,...,ln),其中li表示第i个低分辨率图像,对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小,得到高频低分辨率图像集
S2、分别对步骤S1中的高分辨率图像集H、高频低分辨率图像集LF进行分块操作,得到样本训练集其中Pl H表示高分辨率图像块,表示低分辨率图像块,m表示图像块的个数;
S3、将步骤s2得到的样本训练集聚类为c个簇类,用M={m1,m2,...,mc}表示,其中mi表示一个簇集合;
(S3a)设置加权指数n,终止阈值ε,最大迭代次数rmax,当前迭代次数r=1;
(S3b)设置类簇个数c,以及初始聚类中心V(0);
(S3c)设置Di=1,i=1,2,...,c,Di表示第i个类簇的分散度值;
(S3d)计算隶属度矩阵其中xk表示第k个样本,vt表示第t个聚类中心;
(S3e)计算各类的分散度值其中Ci表示第i个类簇,vi表示第i个聚类中心,N表示样本的数量;
(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值;
(S3g)若||vi-v(i-1)||<ε或r>rmax,则停止迭代,输出聚类结果;否则r=r+1,返回步骤(S3d)。
S4、基于聚类集合M中的每个子集合分别训练高斯过程回归模型G;
(S4a)对于输入样本x与测试样本x*,定义的核函数k(x,x*)为:
其中,||·||表示约束范式,σn表示高斯核的标准差;
(S4b)σn由下式自适应确定,即:
其中,ρ为比例系数;
(S4c)假设训练样本集D={xi,yi|i=[1,n]}得到观察值列向量Y={y1,y2,...yn},那么可以计算k(x,x*)的协方差矩阵:
其中xi、yi分别表示第i个低分辨率样本和第i个高分辨率样本;
(S4d)高斯过程回归模型采用的似然函数定义如下:
其中y、yT分别表示输入样本和y的转置;
(S4d)极小化L是一个非凸的优化问题,利用共轭梯度法优化算法,求得超参数最优解。
所述测试阶段的步骤为:
S5、将待测试低分辨率图像It插值放大至需要大小,记为低分辨率插值图像Ih;
S6、将低分辨率插值图像Ih进行分块X={x1,x2,...,xn},将每个图像块xi作为输入,利用高斯过程回归模型预测xi中丢失的像素值y*;
S7、将y*插入图像块xi;
S8、根据图像块对应的位置将各个块组合起来重建出高分辨率图像。
本发明与现有的超分辨技术相比,本发明具有以下显著优点:
第一,本发明分析样本数据间的相似性与差异性,通过将相似度高的数据分为一类进行高斯过程回归模型训练,提升了高斯过程回归模型预测的精度。
第二,本发明与现有的其它图像超分辨方法相比,实现了在视觉体验上更接近原始高分辨图像,呈现出了非常优质的超分辨率重建效果。
第三,通过模糊C均值聚类将事先准备的训练样本按照图像块之间结构相似关系分为C类,使得类内的样本具有较高的相似性,类与类之间的样本具有较高的差异性。通过提高训练样本的紧密关系进而提高构建的高斯过程回归模型预测值的精确度,使得重建出的图像质量更好、更符合人们的视觉体验。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明提供实施方法的流程图;
图2为本发明利用baby图像进行超分辨率重建和其他算法进行超分辨率重建的对比图;
图3为本发明利用bird图像进行超分辨率重建和其他算法进行超分辨率重建的对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例,仅仅是本发明的一部分实施例。
本发明的具体方法参见图1,
本发明的训练阶段具体方法步骤如下所示:
S1、将高分辨率样本图像集H=(h1,h2,...,hn),hi表示第i个高分辨率样本图像利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理,然后进行3倍下采样处理,得到低分辨率图像集L=(l1,l2,...,ln),li表示第i个低分辨率样本图像,对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小,得到高频低分辨率图像集 表示第i个高频低分辨率样本图像;
S2、分别对步骤s1中得到的高分辨率图像集H、高频低分辨率图像集LF集进行分块操作,得到样本训练集其中m分别表示高分辨率图像块、低分辨率图像块以及图像块的个数;;
S3、将步骤s2得到的样本训练集聚类为c个簇类用M={m1,m2,...,mc}表示,其中mi表示一个簇集合;
(S3a)设置加权指数n,终止阈值ε,最大迭代次数rmax,当前迭代次数r=1;
(S3b)设置类簇个数c,以及初始聚类中心V(0);
(S3c)设置Di=1,i=1,2,...,c,Di表示第i个类簇的分散度值;
(S3d)计算隶属度矩阵其中xk、vt分别表示第k个样本、第t个聚类中心;;
(S3e)计算各类的分散度值其中Ci表示第i个类簇,vi表示第i个聚类中心,N表示样本的数量;;
(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值;;
(S3g)如果||vi-v(i-1)||<ε或r>rmax,则停止迭代,输出聚类结果;否则r=r+1,返回步骤(S3d);
S4、基于M聚类集合中的每个子集合训练高斯过程回归模型G。
(S4a)对于输入样本x与测试样本x*,所定义的核函数k(x,x*)为:
其中,||·||表示约束范式,σn表示高斯核的标准差;
(S4b)σn由下式自适应确定,即:
其中,ρ为比例系数;
(S4c)假设训练样本集D={xi,yi|i=[1,n]}得到观察值列向量Y={y1,y2,...yn},那么可以计算k(x,x*)的协方差矩阵:
其中xi、yi分别表示第i个低分辨率样本和第i个高分辨率样本;
(S4d)高斯过程回归模型采用的似然函数定义如下:
其中y、yT分别表示输入样本和y的转置;
(S4d)极小化L是一个非凸的优化问题,利用共轭梯度法优化算法,求得超参数最优解。
本发明的测试阶段具体方法步骤如下所示:
S5、将待测试低分辨率图像It使用双三次插值算法插值放大至需要大小,记为低分辨率插值图像Ih;
S6、将低分辨率插值图像Ih进行分块X={x1,x2,...,xn},其中xi表示第i个图像块;
S7、根据测试阶段的步骤S3计算每个图像块xi隶属于mi,测试阶段s4步骤学习到的该类样本高斯过程回归模型预测xi中丢失的像素值y*;
S8、将y*插入图像xi;
S9、根据图像块的位置将其组合起来重建出高分辨率图像。
为了评估本算法的有效性,本发明通过采用自然图像bird、人物图像baby两幅不同种类的图像进行超分辨率重建。本发明通过与Bicubic算法、SRGPR算法、SCSR算法进行仿真测试结果的对比。
实验一,用本发明和上述现有的3种方法对人物图像baby,进行实验仿真测试,图2是实验结果。其中图2(a)是Bicubic算法重建出的图像,图2(b)是SRGPR算法重建出的图像,图2(c)是SCSR算法重建出的图像,图2(d)是本发明算法重建出的图像,图2(e)是原始高分辨率图像。通过分析个算法重建结果图发现本发明处理baby图像上边缘细节丰富的眼部区域有着非常好的效果,相比其它算法更能接近原始高分辨率图像。
实验二,用本发明和上述现有的3种方法对人物图像baby,进行实验仿真测试,图3是实验结果。其中图3(a)是Bicubic算法重建出的图像,图3(b)是SRGPR算法重建出的图像,图2(c)是SCSR算法重建出的图像,图3(d)是本发明算法重建出的图像,图3(e)是原始高分辨率图像。可以看出对比其它算法本发明重建出的图像质量更好
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (4)
1.一种基于高斯过程回归的图像超分辨率重建方法,其特征在于:包括训练阶段和测试阶段两部分,其中所述训练阶段的步骤为:
S1、将高分辨率样本图像集H=(h1,h2,...,hn)进行处理得到高频低分辨率图像集其中hi表示第i个高分辨率样本图像,表示第i个高频低分辨率图像;
S2、分别对步骤S1中的高分辨率图像集H、高频低分辨率图像集LF进行分块操作,得到样本训练集Pl H表示第i个高分辨率图像块,Pl LF表示第i个低分辨率图像块,m表示图像块的个数;
S3、将步骤s2得到的样本训练集聚类为c个簇类,用M={m1,m2,...,mc}表示,其中mi表示一个簇集合;
S4、基于聚类集合M中的每个子集合分别训练高斯过程回归模型G;
所述测试阶段的步骤为:
S5、将待测试低分辨率图像It插值放大至需要大小,记为低分辨率插值图像Ih;
S6、将低分辨率插值图像Ih进行分块X={x1,x2,...,xn},将每个图像块xi作为输入,利用高斯过程回归模型预测xi中丢失的像素值y*;
S7、将y*插入图像块xi;
S8、根据图像块对应的位置将各个块组合起来重建出高分辨率图像。
2.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法,其特征在于:所述高频低分辨率图像集LF是通过以下步骤得到的,将高分辨率样本图像集H=(h1,h2,...,hn)利用模糊核大小为7×7、标准方差为1.1的高斯模糊核函数进行处理,然后进行3倍下采样处理,得到低分辨率图像集L=(l1,l2,...,ln),li表示第i个低分辨率图像,对低分辨图像集进行双三次插值算法放大处理至高分辨率图像大小,得到高频低分辨率图像集
3.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法,其特征在于:所述聚类的步骤如下:
(S3a)设置加权指数n,终止阈值ε,最大迭代次数rmax,当前迭代次数r=1;
(S3b)利设置类簇个数c,以及初始聚类中心V(0);
(S3c)设置Di=1,i=1,2,...,c,Di表示第i个类簇的分散度值;
(S3d)计算隶属度矩阵其中xk表示第k个样本,vt表示第t个聚类中心;
(S3e)计算各类的分散度值,其中Ci表示第i个类簇,vi表示第i个聚类中心,N表示样本的数量;
(S3f)计算各类簇的聚类中心其中表示第k个样本到t个聚类中心的隶属度值;
(S3g)若||vi-v(i-1)||<ε或r>rmax,则停止迭代,输出聚类结果;否则r=r+1,返回步骤(S3d)。
4.根据权利要求1所述一种基于高斯过程回归的图像超分辨率重建方法,其特征在于:所述步骤S4具体包括:
(S4a)对于输入样本x与测试样本x*,定义的核函数k(x,x*)为:
其中,||·||表示约束范式,σn表示高斯核的标准差;
(S4b)σn由下式自适应确定,即:
其中,ρ为比例系数;
(S4c)假设训练样本集D={xi,yi|i=[1,n]}得到观察值列向量Y={y1,y2,...yn},那么可以计算k(x,x*)的协方差矩阵:
其中xi表示第i个低分辨率样本,yi表示第i个高分辨率样本;
(S4d)高斯过程回归模型采用的似然函数定义如下:
其中y、yT分别表示输入样本和y的转置;
(S4d)极小化L是一个非凸的优化问题,利用共轭梯度法优化算法,求得超参数最优解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811555243.6A CN109712073A (zh) | 2018-12-19 | 2018-12-19 | 一种基于高斯过程回归的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811555243.6A CN109712073A (zh) | 2018-12-19 | 2018-12-19 | 一种基于高斯过程回归的图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109712073A true CN109712073A (zh) | 2019-05-03 |
Family
ID=66256849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811555243.6A Pending CN109712073A (zh) | 2018-12-19 | 2018-12-19 | 一种基于高斯过程回归的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109712073A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111640059A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于高斯混合模型的多字典图像超分辨方法 |
CN112581367A (zh) * | 2020-12-01 | 2021-03-30 | 南京理工大学 | 基于随机样本分类增扩的gpr图像超分辨率重建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550989A (zh) * | 2015-12-09 | 2016-05-04 | 西安电子科技大学 | 基于非局部高斯过程回归的图像超分辨方法 |
CN106934837A (zh) * | 2017-01-16 | 2017-07-07 | 鲁东大学 | 图像重构方法及装置 |
-
2018
- 2018-12-19 CN CN201811555243.6A patent/CN109712073A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550989A (zh) * | 2015-12-09 | 2016-05-04 | 西安电子科技大学 | 基于非局部高斯过程回归的图像超分辨方法 |
CN106934837A (zh) * | 2017-01-16 | 2017-07-07 | 鲁东大学 | 图像重构方法及装置 |
Non-Patent Citations (3)
Title |
---|
HAIJUN WANG .ET AL: "Single Image Super-Resolution Using Gaussian Process Regression With Dictionary-Based Sampling and Student-t Likelihood", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
刘宏伟: "基于样本加权及分散度的不完备数据聚类研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
庾吉飞: "基于学习—重构框架的单帧图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111640059A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于高斯混合模型的多字典图像超分辨方法 |
CN111640059B (zh) * | 2020-04-30 | 2024-01-16 | 南京理工大学 | 基于高斯混合模型的多字典图像超分辨方法 |
CN112581367A (zh) * | 2020-12-01 | 2021-03-30 | 南京理工大学 | 基于随机样本分类增扩的gpr图像超分辨率重建方法 |
CN112581367B (zh) * | 2020-12-01 | 2023-06-30 | 南京理工大学 | 基于随机样本分类增扩的gpr图像超分辨率重建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN106204449B (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
CN109615582A (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
Ma et al. | PathSRGAN: multi-supervised super-resolution for cytopathological images using generative adversarial network | |
CN109344759A (zh) | 一种基于角度损失神经网络的亲属识别方法 | |
CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
Zhang et al. | A high-quality rice leaf disease image data augmentation method based on a dual GAN | |
CN104408697B (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN103268484A (zh) | 用于高精度人脸识别的分类器设计方法 | |
CN106169174A (zh) | 一种图像放大方法 | |
Ma et al. | Preciplstm: A meteorological spatiotemporal lstm for precipitation nowcasting | |
CN109712073A (zh) | 一种基于高斯过程回归的图像超分辨率重建方法 | |
CN110097499B (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
Li et al. | A multi-cooperative deep convolutional neural network for spatiotemporal satellite image fusion | |
Wang et al. | Image super-resolution using multi-granularity perception and pyramid attention networks | |
CN106980823A (zh) | 一种基于帧间自相似的动作识别方法 | |
CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
CN111681168A (zh) | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 | |
Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
Huang et al. | CLSR: cross-layer interaction pyramid super-resolution network | |
CN107506726B (zh) | 基于二次型基元多层网络的sar图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
RJ01 | Rejection of invention patent application after publication |