CN105550989A - 基于非局部高斯过程回归的图像超分辨方法 - Google Patents
基于非局部高斯过程回归的图像超分辨方法 Download PDFInfo
- Publication number
- CN105550989A CN105550989A CN201510902416.7A CN201510902416A CN105550989A CN 105550989 A CN105550989 A CN 105550989A CN 201510902416 A CN201510902416 A CN 201510902416A CN 105550989 A CN105550989 A CN 105550989A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- interpolation
- super
- high frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于非局部高斯过程回归的图像超分辨方法,主要解决现有技术在纹理区域上超分辨效果不佳的问题。其实现步骤为:1.对输入图像进行非局部图像块网格采样,构造训练样本集;2.基于训练样本集学习高斯过程回归模型;3.对测试图像预处理并生成测试样本集;4.在测试样本集上应用学习好的高斯过程回归模型,预测并输出超分辨图像。本发明充分利用输入图像本身存在的图像块自相似性,通过非局部采样获取更多的非局部相似性信息,使得高斯过程回归模型的训练更为高效。仿真实验表明,本发明具有较好的超分辨能力,重建的图像能恢复更多的细节信息,更接近真实的高分辨图像,可广泛应用于图像压缩、刑事侦查、高清娱乐等领域。
Description
技术领域
本发明属于图像处理领域,特别是涉及以单帧图像为输入的、基于机器学习的图像超分辨方法,可应用于医学成像、视频监控、高清电视成像,也可用于视频或图像压缩。
背景技术
图像保存着人类对世界最重要的视觉感知,是现代社会最重要的信息来源。图像超分辨算法尝试从同一场景的一帧或者多帧低分辨图像中恢复出高分辨图像,更好地呈现图像细节,具有重要的理论与应用价值。
图像超分辨算法基于处理方法的不同可分为三类:基于插值的方法、基于重建的方法和基于学习的方法。
基于插值的方法假设图像局部平滑,使用不同的插值核得到高分辨图像;例如双线性插值、双立方插值、最近邻插值法等。此类方法的优点在于方法简单易于实现且运行速度快,缺点在于当放大因子较大时,会产生模糊现象。
基于重建的方法基于图像降质模型,在重建约束的基础上添加各种先验或正则项,从而使逆问题的求解更加鲁棒。基于重建的超分辨方法尽管性能较插值方法有一定提升,但当放大因子较大或低分辨输入图像数量不足时,性能下降很快。
基于学习的方法则利用各种机器学习方法,从训练样本中学习出高分辨图像。其中,Yang等人在文献J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper-resolutionviasparserepresentation,”IEEETrans.ImageProcess.,vol.19,no.11,pp.2861-2873中基于稀疏表示理论通过联合优化框架学习出对偶字典,从而重建出高分辨图像。Dong等人在文献W.Dong,L.Zhang,R.Lukac,andG.Shi,“Sparserepresentationbasedimageinterpolationwithnonlocalautoregressivemodeling,”IEEETrans.ImageProcess.,vol.22,no.4,pp.1382-1394中借助稀疏与非局部相似性约束,利用多个局部主成分分析字典来自适应地重建高分辨图像块。Kwang等人在I.K.KwangandK.Younghee,“Single-imagesuper-resolutionusingsparseregressionandnaturalimageprior,”IEEETrans.PatternAnal.Mach.Intell.,vol.32,no.6,pp.1127-1133一文中结合匹配追踪算法和梯度下降方法来稀疏化核岭回归框架,从而学习出低分辨图像块与对应高分辨图像块之间的映射。He等人在文献H.HeandW.-C.Siu,“Singleimagesuper-resolutionusingGaussianprocessregression,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2011,pp.449-456中利用图像块的自相似性提出一个自学习方法,该方法在每个局部区域内利用高斯过程回归学习一个从块到对应中心像素之间的映射。Wang等人在L.Wang,H.Wu,andC.Pan,“Fastimageupsamplingviathedisplacementfield,”IEEETrans.ImageProcess.,vol.23,no.12,pp.5123-5135一文中联合位移场插值与重建方法提出一个双尺度的图像超分辨算法来保持超分辨图像边缘的锐利性。He等人在文献L.He,H.Qi,andR.Zaretzki,“Betaprocessjointdictionarylearningforcoupledfeaturespaceswithapplicationtosingleimagesuper-resolution,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2013,pp.345-352中使用Beta过程来学习对偶空间字典,从而重建出高分辨图像块。
上述基于学习的方法尽管具有较好的超分辨效果,但在细节与纹理的重建上仍然存在失真现象,主观效果仍然不尽人意,还有进一步提高和改进的空间。
发明内容
本发明针对现有基于学习的图像超分辨算法存在的不足,提出一种基于非局部高斯过程回归的图像超分辨方法,以减小现有方法产生的失真现象,提高纹理区域的重建质量。
本发明的技术方案是通过输入图像自身提取训练样本集,寻找图像内部存在的非局部相似性,对高斯过程回归模型进行自学习,预测出丢失的高频细节信息,得到最终的超分辨图像,并实现比现有方法更好的超分辨重建效果。实现步骤包括如下:
(1)输入一幅尺寸为IR×IC的低分辨彩色图像I,将其由红、绿、蓝RGB颜色空间转换为亮度图像IY、蓝色色度图像ICb、红色色度图像ICr构成的YCbCr颜色空间;
(2)从亮度图像IY生成规模为n的非局部训练样本集D:
(2a)根据亮度图像IY得到辅助插值高频图像II′和高频图像IY′;
(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像II′网格采样出尺寸为p×p的初始图像块集合其中λ为正整数,取值范围介于[1,10];
(2c)剔除掉初始图像块集合P1中块标准差小于设定阈值θ的图像块,得到规模为n的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数;
(2d)在高频图像IY′中提取与修剪图像块集合P对应的图像块,并得到这些图像块的中心像素集合
(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<xi,yi>表示xi与yi构成的二元组;
(2f)对训练样本集合中每个样本<xi,yi>用xi和yi分别除以xi的2范数‖xi‖进行标准化,即<xi,yi>←<xi/‖xi‖,yi/‖xi‖>,其中n为训练样本的总个数;
(3)基于训练样本集D学习出高斯过程回归模型M,得到从图像块xi到对应高分辨图像块中心像素丢失的高频分量yl之间的映射;
(4)根据亮度图像IY得到插值均值图像SM和高斯过程回归模型的测试集Q;
(5)对蓝色色度图像ICb、红色色度图像ICr进行双立方Bicubic插值,得到尺寸为(F×IR)×(F×IC)的插值红色色度空间SCb和插值蓝色色度空间SCr,其中F为超分辨放大倍数;
(6)基于回归模型的测试集Q,应用步骤(3)中学习好的高斯过程回归模型M,回归出超分辨高频图像SY′;
(7)将超分辨高频图像SY′与插值均值图像SM相加,得到初始超分辨亮度图像SY;
(8)对初始超分辨亮度图像SY应用反向投影迭代,得到最终超分辨亮度图像SF;
(9)将最终超分辨亮度图像SF与插值蓝色色度空间SCb、插值红色色度空间SCr进行合并,得到YCbCr颜色空间下的超分辨图像,并将其转换到RGB颜色空间下,输出最终的超分辨图像。
本发明与现有的超分辨技术相比,具有以下优点:
第一,本发明构建了基于非局部网格采样的图像超分辨框架,在图像的局部相似性之外可获得更多的非局部相似性,为更好的进行超分辨重建提供了更多的共生信息,使得后续高斯过程回归模型的训练更为高效;
第二,本发明与现有的其它图像超分辨方法相比,在纹理区域上有更丰富的重建细节信息,在视觉感知上更接近原始高分辨图像。
附图说明
图1为本发明的实现流程图。
图2为用本发明和现有6种超分辨方法对自然图像barbara进行三倍超分辨的对比图。
图3为用本发明和现有6种超分辨方法对自然图像lena进行三倍超分辨的对比图。
图4为用本发明和现有6种超分辨方法对自然图像bird进行三倍超分辨的对比图。
具体实施方式
以下结合附图对本发明的实施例及效果做详细描述。
参照图1,本发明的实施步骤如下:
步骤1,输入一幅尺寸为IR×IC的低分辨彩色图像I,将其由红、绿、蓝RGB颜色空间转换为亮度图像IY、蓝色色度图像ICb、红色色度图像ICr构成的YCbCr颜色空间。
由于人眼视觉对色彩不敏感,现有方法只在亮度空间上进行超分辨,而对色彩空间直接进行简单的插值处理,本发明采用同样的策略。
步骤2,从亮度图像IY生成规模为n的非局部训练样本集D。
现有的图像超分辨方法的训练样本通常是来自于独立的外部图像,或者来自于输入图像自身。基于输入图像自身提取训练样本进行超分辨模型学习的方法称为自学习型方法。对于自学习型方法,现有的训练样本采样策略有随机采样、边缘算子采样和网格采样等;本发明在整幅输入图像上采用网格采样策略生成非局部训练样本集D,具体过程为:
(2a)根据亮度图像IY得到辅助插值高频图像II′和高频图像IY′;
(2a1)对亮度图像IY进行F倍下采样得到下采样图像ID,其中F为超分辨放大倍数;
(2a2)对下采样图像ID进行F倍双立方插值得到尺寸与亮度图像IY相同的辅助插值图像II;
(2a3)对辅助插值图像II进行均值滤波得到同尺寸的辅助均值图像IM;
(2a4)用辅助插值图像II减去辅助均值图像IM得到辅助插值高频图像II′,
(2a5)用亮度图像IY减去辅助均值图像IM得到高频图像IY′;
(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像II′网格采样出尺寸为p×p的初始图像块集合其中λ为正整数,取值范围介于[1,10];
(2c)剔除掉初始图像块集合P1中块标准差小于设定阈值θ的图像块,得到规模为n的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数;
(2d)在高频图像IY′中提取与修剪图像块集合P对应的图像块,并得到这些图像块的中心像素集合
(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<xi,yi>表示xi与yi构成的二元组;
(2f)对训练样本集合中每个样本<xi,yi>用xi和yi分别除以xi的2范数‖xi‖进行标准化,即<xi,yi>←<xi/‖xi‖,yi/‖xi‖>,其中n为训练样本的总个数。
步骤3,基于训练样本集D学习出高斯过程回归模型M,得到从图像块xi到对应高分辨图像块中心像素丢失的高频分量yl之间的映射。
高斯过程回归模型是通过最大化训练样本集D的似然度来训练获得,本发明遵循相同的思路,训练得到从图像块xi到对应高分辨图像块中心像素丢失的高频分量yi之间的映射,具体过程为:
(3a)对于任意两个样本的输入x和x′,定义核函数k(x,x′)为:
其中xT为x的转置,δ为Kroneckerdelta函数,即σf、l、c和σn为核函数中4个不同的超参数,且σf为信号标准差,l为信号带宽,c为尺度调节系数,σn为噪声标准差;
(3b)初始化超参数中的信号标准差σf,信号带宽l,尺度调节系数c和噪声标准差σn:
c=0.2×σf
其中RLR、CLR分别为高频图像IY′的行与列尺寸,IY′(i)是高频图像IY′中第i个像素,II′(i)是辅助插值高频图像II′中第i个像素,是高频图像IY′所有像素值的平均,是辅助插值高频图像II′所有像素值的平均,P(i)是辅助插值高频图像II′中的第i个图像块;
(3c)根据训练样本集合得到观察值列向量y=[y1,y2,…,yn]T,并根据核函数k(x,x′)计算协方差矩阵:
(3d)根据观察值列向量y和协方差矩阵Ky定义训练样本集合D的对数似然度:
(3e)根据初始化超参数,利用共轭梯度法最大化训练样本集合D的对数似然度logp(y|D)得到最优超参数,用这些最优超参数确定出高斯过程回归模型M。
步骤4,建立插值均值图像SM和高斯过程回归模型测试集Q。
本步骤为后续高斯过程回归模型提供预测所需的输入,即模型测试集Q,并为合成初始超分辨亮度图像提供所需的插值均值图像SM,具体过程如下:
(4a)对亮度图像IY进行双立方插值得到尺寸为(F×IR)×(F×IC)的插值图像SI;
(4b)对插值图像SI进行均值滤波得到同尺寸的插值均值图像SM;
(4c)用插值图像SI减去插值均值图像SM得到插值高频图像SI′;
(4d)按照光栅扫描顺序采样插值高频图像SI′中所有的图像块,得到图像块集合
步骤5,对蓝色色度图像ICb、红色色度图像ICr进行双立方Bicubic插值,得到尺寸为(F×IR)×(F×IC)的插值红色色度空间SCb和插值蓝色色度空间SCr,其中F为超分辨放大倍数。
步骤6,基于回归模型的测试集Q,应用步骤(3)中学习好的高斯过程回归模型M,回归出超分辨高频图像SY′。
本发明使用测试集Q作为输入,通过高斯过程回归模型M来预测插值均值图像SM上丢失的高频信息,具体过程为:
(6a)初始化超分辨重建图像SY′=SI′;
(6b)对于Q中的每个测试图像块q,做如下操作:
(6b1)计算测试图像块q的2范数Nq,然后对测试图像块q进行标准化使其范数为1;
(6b2)将标准化后的测试图像块q输入高斯过程回归模型M回归出r;
(6b3)令超分辨高频图像SY′中与测试图像块q对应的图像块为p′Y,将测试图像块q的2范数Nq与回归结果r相乘,并用相乘的结果替换图像块p′Y的中心像素。
步骤7,将超分辨高频图像SY′与插值均值图像SM相加,得到初始超分辨亮度图像SY。
步骤8,对初始超分辨亮度图像SY应用反向投影迭代,得到最终超分辨亮度图像SF。
反向投影迭代是图像超分辨领域常用的后处理方法,它通过梯度下降法不断迭代使得超分辨亮度图像SY经过相同降质处理之后与输入亮度图像IY更趋一致,具体过程如下:
(8a)初始化迭代图像
(8b)根据测试图像的亮度空间IY,执行η次迭代其中t=0,1,…,η,η为反向投影迭代的总次数,η=100,τ为梯度下降法每次更新迭代图像的步长,本实例取τ=0.1,↑为上采样算子,↓为下采样算子,B为模糊核,p为反向投影滤波器,*为卷积操作;
(8c)将最终的迭代结果赋值给SF。
步骤9,将最终超分辨亮度图像SF与插值蓝色色度空间SCb、插值红色色度空间SCr进行合并,得到YCbCr颜色空间下的超分辨图像,并将其转换到RGB颜色空间下,输出最终的超分辨图像。
本发明的效果可通过以下仿真实验进一步说明。
(1)仿真条件
本发明的实验是在CPU为Inteli3-32203.30GHz,内存为8G,操作系统为Linux,仿真平台为Matlab2012上进行。
仿真实验中,将本发明方法与现有的BPJDL,SpReg,NARM,SCSR,UDF,SRGPR等方法进行对比分析;其中
BPJDL对应参考文献为“L.He,H.Qi,andR.Zaretzki,“Betaprocessjointdictionarylearningforcoupledfeaturespaceswithapplicationtosingleimagesuper-resolution,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2013,pp.345-352.”;
SpReg对应参考文献为“I.K.KwangandK.Younghee,“Single-imagesuper-resolutionusingsparseregressionandnaturalimageprior,”IEEETrans.PatternAnal.Mach.Intell.,vol.32,no.6,pp.1127-1133,Jun.2010.”;
NARM对应参考文献为“W.Dong,L.Zhang,R.Lukac,andG.Shi,“Sparserepresentationbasedimageinterpolationwithnonlocalautoregressivemodeling,”IEEETrans.ImageProcess.,vol.22,no.4,pp.1382-1394,Apr.2013.”;
SCSR对应参考文献为“J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper-resolutionviasparserepresentation,”IEEETrans.ImageProcess.,vol.19,no.11,pp.2861-2873,Nov.2010.”;
UDF对应参考文献为“L.Wang,H.Wu,andC.Pan,“Fastimageupsamplingviathedisplacementfield,”IEEETrans.ImageProcess.,vol.23,no.12,pp.5123-5135,Dec.2014.”;
SRGPR对应参考文献为“H.HeandW.-C.Siu,“Singleimagesuper-resolutionusingGaussianprocessregression,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,2011,pp.449-456.”。
(2)仿真内容
实验一,用本发明和上述现有的6种方法对barbara图像进行仿真测试,结果如图2。其中,图2(a)是UDF超分辨重建的结果;图2(b)是SCSR超分辨重建的结果;图2(c)是NARM超分辨重建的结果;图2(d)是SpReg超分辨重建的结果;图2(e)是SRGPR超分辨重建的结果;图2(f)是BPJDL超分辨重建的结果;图2(g)是本发明超分辨重建的结果,图2(h)是真实的高分辨率图像。
图2的仿真结果表明:其它方法在一定程度上能恢复高分辨图像中缺失的像素,丰富图像的纹理细节,但这些方法均不能恢复出图像中桌布的细致纹理,而2(g)则相对有更好的恢复效果。对比可知,本发明的超分辨结果不仅边缘清晰,而且细节保持更好,与真实的高分辨率图像更为接近。
实验二,用本发明和上述现有的6种方法对lena图像进行仿真测试,结果如图3。其中,图2(a)是UDF超分辨重建的结果;图2(b)是SCSR超分辨重建的结果;图2(c)是NARM超分辨重建的结果;图2(d)是SpReg超分辨重建的结果;图2(e)是SRGPR超分辨重建的结果;图2(f)是BPJDL超分辨重建的结果;图2(g)是本发明超分辨重建的结果,图2(h)是真实的高分辨率图像。
图3的仿真结果表明,其它方法对lena图像中帽子上的条纹均有一定的失真现象,本发明对lena图像中帽子上的条纹相比其他方法有更好的重建效果,与真实的高分辨率图像更为接近。
实验三,用本发明和上述现有的6种方法对bird图像进行仿真测试,结果如图4。其中,图2(a)是UDF超分辨重建的结果;图2(b)是SCSR超分辨重建的结果;图2(c)是NARM超分辨重建的结果;图2(d)是SpReg超分辨重建的结果;图2(e)是SRGPR超分辨重建的结果;图2(f)是BPJDL超分辨重建的结果;图2(g)是本发明超分辨重建的结果,图2(h)是真实的高分辨率图像。
图4的仿真结果表明,其它方法在bird图像中鸟嘴附近区域的边缘和纹理有更明显的失真现象,本发明对鸟嘴附近的边缘和纹理相比其他方法有更好的重建效果,与真实的高分辨率图像更为接近。
Claims (6)
1.一种基于非局部高斯过程回归的图像超分辨方法,包括以下步骤:
(1)输入一幅尺寸为IR×IC的低分辨彩色图像I,将其由红、绿、蓝RGB颜色空间转换为亮度图像IY、蓝色色度图像ICb、红色色度图像ICr构成的YCbCr颜色空间;
(2)从亮度图像IY生成规模为n的非局部训练样本集D:
(2a)根据亮度图像IY得到辅助插值高频图像I′I和高频图像I′Y;
(2b)按照光栅扫描顺序基于间隔λ从辅助插值高频图像I′I网格采样出尺寸为p×p的初始图像块集合其中λ为正整数,取值范围介于[1,10];
(2c)剔除掉初始图像块集合P1中块标准差小于设定阈值θ的图像块,得到规模为n的修剪图像块集合其中θ为取值范围介于[0,3]之间的实数;
(2d)在高频图像I′Y中提取与修剪图像块集合P对应的图像块,并得到这些图像块的中心像素集合
(2e)根据(2c)和(2d)构成规模为n的训练样本集合其中<xi,yi>表示xi与yi构成的二元组;
(2f)对训练样本集合中每个样本<xi,yi>用xi和yi分别除以xi的2范数‖xi‖进行标准化,即<xi,yi>←<xi/‖xi‖,yi/‖xi‖>,其中n为训练样本的总个数;
(3)基于训练样本集D学习出高斯过程回归模型M,得到从图像块xi到对应高分辨图像块中心像素丢失的高频分量yl之间的映射;
(4)根据亮度图像IY得到插值均值图像SM和高斯过程回归模型的测试集Q;
(5)对蓝色色度图像ICb、红色色度图像ICr进行双立方Bicubic插值,得到尺寸为(F×IR)×(F×IC)的插值红色色度空间SCb和插值蓝色色度空间SCr,其中F为超分辨放大倍数;
(6)基于回归模型的测试集Q,应用步骤(3)中学习好的高斯过程回归模型M,回归出超分辨高频图像S′Y;
(7)将超分辨高频图像S′Y与插值均值图像SM相加,得到初始超分辨亮度图像SY;
(8)对初始超分辨亮度图像SY应用反向投影迭代,得到最终超分辨亮度图像SF;
(9)将最终超分辨亮度图像SF与插值蓝色色度空间SCb、插值红色色度空间SCr进行合并,得到YCbCr颜色空间下的超分辨图像,并将其转换到RGB颜色空间下,输出最终的超分辨图像。
2.根据权利要求1所述的基于非局部高斯过程回归的自适应图像超分辨方法,其特征在于:步骤(2a)根据亮度图像IY得到辅助插值高频图像I′I和高频图像I′Y,按如下步骤进行:
(2a1)对亮度图像IY进行F倍下采样得到下采样图像ID,其中F为超分辨放大倍数;
(2a2)对下采样图像ID进行F倍双立方插值得到尺寸与亮度图像IY相同的辅助插值图像II;
(2a3)对辅助插值图像II进行均值滤波得到同尺寸的辅助均值图像IM;
(2a4)用辅助插值图像II减去辅助均值图像IM得到辅助插值高频图像I′I,
(2a5)用亮度图像IY减去辅助均值图像IM得到高频图像I′Y。
3.根据权利要求1所述的基于非局部高斯过程回归的自适应图像超分辨方法,其特征在于:所述步骤(3)基于训练样本集D学习出高斯过程回归模型M,按如下步骤进行:
(3a)对于任意两个样本的输入x和x′,定义核函数k(x,x′)为:
其中xT为x的转置,δ为Kroneckerdelta函数,即σf、l、c和σn为核函数中4个不同的超参数,且σf为信号标准差,l为信号带宽,c为尺度调节系数,σn为噪声标准差;
(3b)初始化超参数中的信号标准差σf,信号带宽l,尺度调节系数c和噪声标准差σn:
c=0.2×σf
其中RLR、CLR分别为高频图像I′Y的行与列尺寸,I′Y(i)是高频图像I′Y中第i个像素,I′I(i)是辅助插值高频图像I′I中第i个像素,I′Y是高频图像I′Y所有像素值的平均,I′I是辅助插值高频图像I′I所有像素值的平均,P(i)是辅助插值高频图像I′I中的第i个图像块。
(3c)根据训练样本集合得到观察值列向量y=[y1,y2,...,yn]T,并根据核函数k(x,x′)计算协方差矩阵:
(3d)根据观察值列向量y和协方差矩阵Ky定义训练样本集合D的对数似然度:
(3e)根据初始化超参数,利用共轭梯度法最大化训练样本集合D的对数似然度logp(y|D)得到最优超参数,用这些最优超参数确定出高斯过程回归模型M。
4.根据权利要求1所述的基于非局部高斯过程回归的自适应图像超分辨方法,其特征在于:步骤(4)建立插值均值图像SM和高斯过程回归模型测试集Q,按如下步骤进行:
(4a)对亮度图像IY进行双立方插值得到尺寸为(F×IR)×(F×IC)的插值图像SI;
(4b)对插值图像SI进行均值滤波得到同尺寸的插值均值图像SM;
(4c)用插值图像SI减去插值均值图像SM得到插值高频图像S′I;
(4d)按照光栅扫描顺序采样插值高频图像S′I中所有的图像块,得到图像块集合
5.根据权利要求1所述的基于非局部高斯过程回归的自适应图像超分辨方法,其特征在于:步骤(6)中基于模型测试集Q,应用学习好的高斯过程回归模型M,回归出超分辨高频图像S′Y,按如下步骤进行:
(6a)初始化超分辨重建图像S′Y=S′I;
(6b)对于Q中的每个测试图像块q,做如下操作:
(6b1)计算测试图像块q的2范数Nq,然后对测试图像块q进行标准化使其范数为1;
(6b2)将标准化后的测试图像块q输入高斯过程回归模型M回归出r;
(6b3)令超分辨高频图像S′Y中与测试图像块q对应的图像块为p′Y,将测试图像块q的2范数Nq与回归结果r相乘,并用相乘的结果替换图像块p′Y的中心像素。
6.根据权利要求1所述的基于非局部高斯过程回归的自适应图像超分辨方法,其特征在于:步骤(8)对初始超分辨亮度图像SY应用反向投影迭代得到最终超分辨亮度图像SF,按如下步骤进行:
(8a)初始化迭代图像
(8b)根据测试图像的亮度空间IY,执行η次迭代其中t=0,1,...,η,η为反向投影迭代的总次数,η=100,τ为步长,↑为上采样算子,↓为下采样算子,B为模糊核,p为反向投影滤波器,*为卷积操作;
(8c)将最终的迭代结果赋值给SF。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510902416.7A CN105550989B (zh) | 2015-12-09 | 2015-12-09 | 基于非局部高斯过程回归的图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510902416.7A CN105550989B (zh) | 2015-12-09 | 2015-12-09 | 基于非局部高斯过程回归的图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105550989A true CN105550989A (zh) | 2016-05-04 |
CN105550989B CN105550989B (zh) | 2018-11-30 |
Family
ID=55830165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510902416.7A Active CN105550989B (zh) | 2015-12-09 | 2015-12-09 | 基于非局部高斯过程回归的图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105550989B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504217A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN107895167A (zh) * | 2017-10-12 | 2018-04-10 | 温州大学 | 一种基于稀疏表示的红外光谱数据分类识别方法 |
CN108257093A (zh) * | 2018-01-18 | 2018-07-06 | 洛阳理工学院 | 基于可控核与高斯过程回归的单帧图像超分辨方法 |
CN108881983A (zh) * | 2017-11-17 | 2018-11-23 | 陈丽专 | 电视机监控平台 |
CN109655751A (zh) * | 2019-02-28 | 2019-04-19 | 哈尔滨理工大学 | 一种使用高斯过程回归估计电池充电状态的方法和系统 |
CN109712073A (zh) * | 2018-12-19 | 2019-05-03 | 重庆邮电大学 | 一种基于高斯过程回归的图像超分辨率重建方法 |
CN109767389A (zh) * | 2019-01-15 | 2019-05-17 | 四川大学 | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 |
CN116070924A (zh) * | 2023-03-07 | 2023-05-05 | 西南交通大学 | 基于高斯过程回归的隧道支护方案决策方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090164405A1 (en) * | 2007-12-21 | 2009-06-25 | Honda Motor Co., Ltd. | Online Sparse Matrix Gaussian Process Regression And Visual Applications |
CN101950365A (zh) * | 2010-08-30 | 2011-01-19 | 西安电子科技大学 | 基于ksvd字典学习的多任务超分辨率图像重构方法 |
CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN102722863A (zh) * | 2012-04-16 | 2012-10-10 | 天津大学 | 采用自回归模型对深度图进行超分辨率重建的方法 |
CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
-
2015
- 2015-12-09 CN CN201510902416.7A patent/CN105550989B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090164405A1 (en) * | 2007-12-21 | 2009-06-25 | Honda Motor Co., Ltd. | Online Sparse Matrix Gaussian Process Regression And Visual Applications |
CN101950365A (zh) * | 2010-08-30 | 2011-01-19 | 西安电子科技大学 | 基于ksvd字典学习的多任务超分辨率图像重构方法 |
CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN102722863A (zh) * | 2012-04-16 | 2012-10-10 | 天津大学 | 采用自回归模型对深度图进行超分辨率重建的方法 |
CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
Non-Patent Citations (1)
Title |
---|
AIMAN M.MOUSA .ETAL: "Single Image Super-resolution Reconstruction with Neural Network and Gaussian Process Regression", 《ICIMCS’14》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504217A (zh) * | 2016-11-29 | 2017-03-15 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN106504217B (zh) * | 2016-11-29 | 2019-03-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN107895167A (zh) * | 2017-10-12 | 2018-04-10 | 温州大学 | 一种基于稀疏表示的红外光谱数据分类识别方法 |
CN108881983A (zh) * | 2017-11-17 | 2018-11-23 | 陈丽专 | 电视机监控平台 |
CN108881983B (zh) * | 2017-11-17 | 2020-12-25 | 深圳康荣电子有限公司 | 电视机监控平台 |
CN108257093A (zh) * | 2018-01-18 | 2018-07-06 | 洛阳理工学院 | 基于可控核与高斯过程回归的单帧图像超分辨方法 |
CN108257093B (zh) * | 2018-01-18 | 2021-08-06 | 洛阳理工学院 | 基于可控核与高斯过程回归的单帧图像超分辨方法 |
CN109712073A (zh) * | 2018-12-19 | 2019-05-03 | 重庆邮电大学 | 一种基于高斯过程回归的图像超分辨率重建方法 |
CN109767389A (zh) * | 2019-01-15 | 2019-05-17 | 四川大学 | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 |
CN109655751A (zh) * | 2019-02-28 | 2019-04-19 | 哈尔滨理工大学 | 一种使用高斯过程回归估计电池充电状态的方法和系统 |
CN116070924A (zh) * | 2023-03-07 | 2023-05-05 | 西南交通大学 | 基于高斯过程回归的隧道支护方案决策方法及系统 |
CN116070924B (zh) * | 2023-03-07 | 2023-06-02 | 西南交通大学 | 基于高斯过程回归的隧道支护方案决策方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105550989B (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
CN105550989A (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
CN105069825B (zh) | 基于深度置信网络的图像超分辨率重建方法 | |
CN105447840B (zh) | 基于主动采样与高斯过程回归的图像超分辨方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
CN107220957B (zh) | 一种利用滚动导向滤波的遥感图像融合方法 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
CN104123705B (zh) | 一种超分辨率重建图像质量Contourlet域评价方法 | |
CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
CN106251320A (zh) | 基于联合稀疏与结构字典的遥感图像融合方法 | |
CN103150713A (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |