CN105447840B - 基于主动采样与高斯过程回归的图像超分辨方法 - Google Patents
基于主动采样与高斯过程回归的图像超分辨方法 Download PDFInfo
- Publication number
- CN105447840B CN105447840B CN201510902499.XA CN201510902499A CN105447840B CN 105447840 B CN105447840 B CN 105447840B CN 201510902499 A CN201510902499 A CN 201510902499A CN 105447840 B CN105447840 B CN 105447840B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000005070 sampling Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 239000000203 mixture Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 101100518501 Mus musculus Spp1 gene Proteins 0.000 claims description 2
- 238000002939 conjugate gradient method Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 2
- 238000007906 compression Methods 0.000 abstract description 2
- 238000011840 criminal investigation Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 241000282376 Panthera tigris Species 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 241000282330 Procyon lotor Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于主动采样与高斯过程回归的图像超分辨方法，主要解决现有技术在纹理区域上超分辨效果不佳这一问题。其充分利用现有的大量外部自然图像构造训练集，以表征性和多样性为指标来度量样本信息量，从而提取出精简的训练子集，使得高斯过程回归模型的训练更为高效。实现步骤为：1.生成外部训练样本集，并对其进行主动采样得到训练子集；2.基于该训练子集学习出高斯过程回归模型；3.对测试图像预处理并生成测试样本集；5.在测试样本集上应用学习好的高斯过程回归模型，预测并输出超分辨图像。本发明具有较强的超分辨能力，在纹理等区域能恢复更多的细节信息，可用于视频监控、刑事侦查、航空航天、高清娱乐、视频或图像压缩。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种图像超分辨方法，可应用于视频监控、刑事侦查、航空航天、高清娱乐、视频或图像压缩。
背景技术
图像超分辨技术旨在从同一场景的一幅或者多幅低分辨图像中估计出对应的隐藏高分辨图像，该技术可恢复出更多的图像细节，提高辨识度，因此具有十分重要的使用价值。
一般来说，图像超分辨方法可大致归为三类：基于插值的方法，基于重建的方法，以及基于实例学习的方法。
基于插值的方法使用不同的核函数，利用已知像素值来估计高分辨图像网格上的未知像素。典型的插值方法有双立方插值，双线性插值，以及最近邻插值等。此类方法的优点在于简单快速，但易在纹理区域产生模糊或在边缘区域产生锯齿效应。
基于重建的方法从图像降质模型出发将超分辨理解为图像降质的逆问题。由于逆问题解的不唯一性，此类方法往往在保真项的基础上，引入各种先验来约束求解。这些先验包括总变分、双边总变分、梯度先验、边缘先验、非局部先验等。此类方法往往有利于产生锋利的边缘并能有效抑制混叠伪影，然而其同时也会引入异常的图像内容从而导致超分辨结果产生类水彩痕迹。
基于学习的方法则假设LR特征空间与对应的HR特征空间存在共生先验，从而为在不同的空间上应用相同或相似的映射模型提供了理论基础。其中，Yang等人在文献J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873中基于稀疏表示理论通过联合优化框架学习出对偶字典，从而重建出高分辨图像。Dong等人在文献W.Dong,L.Zhang,R.Lukac,and G.Shi,“Sparse representation based image interpolation withnonlocal autoregressive modeling,”IEEE Trans.Image Process.,vol.22,no.4,pp.1382-1394中借助稀疏与非局部相似性约束，利用多个局部主成分分析字典来自适应地重建高分辨图像块。Kwang等人在I.K.Kwang and K.Younghee,“Single-image super-resolution using sparse regression and natural image prior,”IEEETrans.Pattern Anal.Mach.Intell.,vol.32,no.6,pp.1127-1133一文中结合匹配追踪算法和梯度下降方法来稀疏化核岭回归框架，从而学习出低分辨图像块与对应高分辨图像块之间的映射。He等人在文献H.He and W.-C.Siu,“Single image super-resolution usingGaussian process regression,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2011,pp.449-456中利用图像块的自相似性提出一个自学习方法，该方法在每个局部区域内利用高斯过程回归学习一个从块到对应中心像素之间的映射。Wang等人在L.Wang,H.Wu,and C.Pan,“Fast image upsampling via the displacement field,”IEEE Trans.ImageProcess.,vol.23,no.12,pp.5123-5135一文中联合位移场插值与重建方法提出一个双尺度的图像超分辨算法来保持超分辨图像边缘的锐利性。He等人在文献L.He,H.Qi,andR.Zaretzki,“Beta process joint dictionary learning for coupled feature spaceswith application to single image super-resolution,”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.,2013,pp.345-352中使用Beta过程来学习对偶空间字典，从而重建出高分辨图像块。
上述这些基于学习的方法虽说能恢复出更细致的纹理，但由于不相容的特征匹配会产生振铃或者噪声伪迹，从而影响最终超分辨重建图像细节的辨识度，降低重建质量。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于主动采样与高斯过程回归的图像超分辨方法，以减小振铃或者噪声伪迹，提高重建图像质量。
本发明的技术方案是通过表征性和多样性这些指标对初始训练样本集进行主动采样，自适应初始化模型超参数，学习出高斯过程回归模型进行超分辨，进而实现比现有方法更好的重建效果，具体步骤包括如下：
(1)模型训练阶段：
(1a)随机生成规模为n的初始训练样本集
(1b)对初始训练样本集T进行主动采样，得到一个规模为r的训练子集T′：
(1b1)初始化已选择的样本集合设候选样本集合
(1b2)计算初始训练样本集T中每个样本si的表征性R(si)：
其中为xi的邻域，为向量2范数的平方，σR为高斯距离函数带宽，其取值通过公式自适应确定,ρ∈[0,1]为尺度系数，median()函数返回输入集合的中位数；
(1b3)计算候选样本集合中每个样本si＝＜xi,yi＞的多样性D(si)：
其中为已经选择的样本集合；
(1b4)根据已选择的样本集合是否为空集按照下述准则从候选样本集合中挑选出当前最有信息量的样本
如果为空集则直接从每个样本si的表征性R(si)中选取具有最大表征性的样本即
否则，根据表征性R(si)和多样性D(si)的凸组合来度量样本信息量，进而选取出即其中λ∈[0,1]为组合系数；
(1b5)从候选样本集合排除出当前最有信息量的样本并将添加进入已选择的样本集合
(1b6)返回步骤(1b3)，直到中样本的个数达到规模值r，即且这里r远小于n；
(1b7)令执行(1c)；
(1c)基于训练子集T’训练出高斯过程回归模型M，得到从插值图像块到对应高分辨图像块中心像素丢失的高频分量之间的映射；
(2)超分辨重建阶段：
(2a)输入一幅尺寸为IR×IC的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换为亮度IY、蓝色色度ICb、红色色度ICr构成的YCbCr颜色空间；并对蓝色色度ICb、红色色度ICr进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值色度空间SCb、SCr，其中F为超分辨放大倍数；
(2b)建立高斯过程回归模型测试集Q；
(2b1)对IY进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值亮度图像SI；
(2b2)按照光栅扫描顺序以1为间隔采样SI中所有的p×p图像块，得到v个图像块集合
(2c)初始化超分辨重建图像SH为插值亮度图像SI；
(2d)回归预测；
(2d1)以Q中每一个图像块为输入，通过训练出的高斯过程回归模型M回归出对应高分辨图像块中心像素丢失的高频分量
(2d2)令并用替换初始超分辨重建图像SH中与对应的图像块中心像素，其中函数cen()的输入为图像块，输出为该图像块的中心像素；
(2e)对初始超分辨重建图像SH应用反向投影迭代得到最终超分辨重建亮度图像SF；
(2f)将最终超分辨重建亮度图像SF与蓝色插值色度空间SCb、红色插值色度空间SCr合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分辨彩色图像。
与现有的超分辨技术相比，本发明具有以下优点：
第一，本发明通过表征性和多样性度量样本的信息量，从大规模的初始训练集中启发式地挑选出一个小规模且由最有信息量的样本构成的训练子集，使得后续模型的训练更为高效。
第二，本发明与现有的其它图像超分辨方法相比，在纹理区域上有更丰富的重建细节信息，在视觉感知上更接近原始高分辨图像。
附图说明
图1为本发明实现流程图。
图2为用本发明和现有6种超分辨方法对自然图像barbara进行三倍超分辨的对比图。
图3为用本发明和现有6种超分辨方法对自然图像tiger进行三倍超分辨的对比图。
图4为用本发明和现有6种超分辨方法对自然图像raccoon进行三倍超分辨的对比图。
具体实施方式
以下结合附图对本发明的实施例及效果做详细描述。
参照图1，本发明的实施步骤如下：
步骤1，构建初始训练样本集T。
现有的超分辨方法其训练样本集来自超分辨输入图像自身或外部训练图像。本发明使用外部训练图像构造训练样本集，具体过程为：
(1a)构造插值图像Iq与高分辨图像Hq组成的外部训练图像对{Iq,Hq}，其中Iq为双立方Bicubic插值图像，Hq为对应的高分辨HR图像,q＝1,2,…,m，m为训练图像对的个数；
(1b)从m个训练图像对中随机选取n个p×p训练图像块对
(1c)提取每个训练块中高分辨HR图像块的中心像素，并以插值图像块的中心像素为均值进行减均值操作，得到训练集T：
其中函数cen()表示返回图像块的中心像素，＜xi,yi＞表示xi与yi构成的二元组。
步骤2，对步骤1中的初始训练集T进行主动采样，得到一个规模为r的训练子集T′。
(2a)初始化已选择的样本集合设候选样本集合
(2b)计算初始训练样本集T中每个样本si的表征性R(si)：
其中为xi的邻域，为向量2范数的平方，σR为高斯距离函数带宽，其取值通过公式自适应确定,ρ∈[0,1]为尺度系数，median()函数返回输入集合的中位数；
(2c)计算候选样本集合中每个样本si＝＜xi,yi＞的多样性D(si)：
其中为已经选择的样本集合；
(2d)根据已选择的样本集合是否为空集按照下述准则从候选样本集合中挑选出当前最有信息量的样本
如果为空集则直接从每个样本si的表征性R(si)中选取具有最大表征性的样本即
否则，根据表征性R(si)和多样性D(si)的凸组合来度量样本信息量，进而选取出即其中λ∈[0,1]为组合系数；
(2e)从候选样本集合排除出当前最有信息量的样本并将添加进入已选择的样本集合
(2f)返回步骤(2c)，直到中样本的个数达到规模值r，即且这里r远小于n；
(2g)令赋值给T′，执行步骤3。
步骤3，基于训练子集T’训练出高斯过程回归模型M。
高斯过程回归模型是通过最大化训练子集T’的似然度来训练获得，本发明遵循相同的思路，训练得到从插值图像块到对应高分辨图像块中心像素丢失的高频分量之间的映射，具体过程为：
(3a)对于T’中任意两个样本的输入x和x′，定义核函数k(x,x′)为：
其中xT为x的转置，δ为Kronecker delta函数，即c和σn为核函数中的两个不同的超参数，且c为尺度调节系数，σn为噪声标准差；
(3b)假设得到的训练子集为初始化超参数中的尺度调节系数c和噪声标准差σn：
(3c)由训练子集得到观察值列向量并根据核函数k(x,x′)计算协方差矩阵：
(3d)根据观察值列向量y°和协方差矩阵定义训练子集T′的对数似然度：
(1c5)从初始化超参数出发，利用共轭梯度法最大化训练子集T′的对数似然度logp(y°|T′)得到最优超参数，确定出高斯过程回归模型M。
步骤4，对输入彩色低分辨图像进行预处理并提取测试集Q。
由于人眼视觉对色彩不敏感，现有方法只在亮度空间上进行超分辨，而对色彩空间直接进行简单的插值处理，本发明采用同样的策略，具体过程为：
(4a)输入一幅尺寸为IR×IC的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换为亮度IY、蓝色色度ICb、红色色度ICr构成的YCbCr颜色空间；并对蓝色色度ICb、红色色度ICr进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值色度空间SCb、SCr，其中F为超分辨放大倍数；
(4b)对亮度IY进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值亮度图像SI；
(4c)按照光栅扫描顺序以1为间隔采样SI中所有的p×p图像块，得到v个图像块集合
所述双立方Bicubic插值，是利用三次样条函数基于低分辨图像中的已知像素对高分辨图像网格中的缺失像素进行预测的一种通用图像处理方法。
步骤5，利用训练好的高斯过程回归模型M预测超分辨重建图像SH。
本发明利用步骤3中训练好的高斯过程回归模型M，基于测试集Q预测出超分辨重建图像SH中的每个像素，具体过程为：
(5a)初始化超分辨重建图像SH为插值亮度图像SI；
(5b)以测试集Q中每一个图像块为输入，通过训练出的高斯过程回归模型M回归出对应高分辨图像块中心像素丢失的高频分量
(5c)令并用替换初始超分辨重建图像SH中与对应的图像块中心像素，其中函数cen()的输入为图像块，输出为该图像块的中心像素。
步骤6，对初始超分辨重建图像SH应用反向投影迭代，得到最终超分辨重建亮度图像SF。
反向投影迭代是图像超分辨领域常用的后处理方法，它通过梯度下降法不断迭代使得超分辨重建图像经过相同降质处理之后与输入亮度图像IY更趋一致，具体过程如下：
(6a)初始化迭代图像
(6b)根据输入亮度图像IY，执行η次迭代其中t＝0,1,…,η-1,η为反向投影迭代的总次数，τ为步长，↑为上采样算子，↓为下采样算子，B为模糊核，p为反向投影滤波器，*为卷积操作；
(6c)将最终的迭代结果赋值给最终超分辨重建亮度图像SF。
步骤7，将最终超分辨重建亮度图像SF与蓝色插值色度空间SCb、红色插值色度空间SCr合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分辨彩色图像。
本发明的效果可通过以下仿真实验进一步说明。
(1)仿真条件
本发明的实验是在CPU为Intel i3-3220 3.30GHz,内存为8G，操作系统为Linux，仿真平台为Matlab 2012上进行。
仿真实验中，将本发明方法与现有的BPJDL，SpReg，NARM，SCSR，UDF，SRGPR等方法进行对比分析；其中
BPJDL对应参考文献为“L.He,H.Qi,and R.Zaretzki,“Beta process jointdictionary learning for coupled feature spaces with application to singleimage super-resolution,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2013,pp.345-352.”；
SpReg对应参考文献为“I.K.Kwang and K.Younghee,“Single-image super-resolution using sparse regression and natural image prior,”IEEETrans.Pattern Anal.Mach.Intell.,vol.32,no.6,pp.1127-1133,Jun.2010.”；
NARM对应参考文献为“W.Dong,L.Zhang,R.Lukac,and G.Shi,“Sparserepresentation based image interpolation with nonlocal autoregressivemodeling,”IEEE Trans.Image Process.,vol.22,no.4,pp.1382-1394,Apr.2013.”；
SCSR对应参考文献为“J.Yang,J.Wright,T.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873,Nov.2010.”；
UDF对应参考文献为“L.Wang,H.Wu,and C.Pan,“Fast image upsampling viathe displacement field,”IEEE Trans.Image Process.,vol.23,no.12,pp.5123-5135,Dec.2014.”；
SRGPR对应参考文献为“H.He and W.-C.Siu,“Single image super-resolutionusing Gaussian process regression,”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2011,pp.449-456.”。
(2)仿真内容
实验一，用本发明和上述现有的6种方法对barbara图像进行仿真测试，结果如图2。其中，图2(a)是BPJDL超分辨重建的结果；图2(b)是SpReg超分辨重建的结果；图2(c)是NARM超分辨重建的结果；图2(d)是SCSR超分辨重建的结果；图2(e)是UDF超分辨重建的结果；图2(f)是SRGPR超分辨重建的结果；图2(g)是本发明超分辨重建的结果，图2(h)是真实的高分辨率图像。
图2的仿真结果说明其它方法在一定程度上能恢复高分辨图像中缺失的像素，丰富图像的纹理细节，但这些方法均不能恢复出图像中桌布的细致纹理，而2(g)则明显有更好的恢复效果。对比可知，本发明的超分辨结果不仅边缘清晰，而且细节保持更好，与真实的高分辨率图像更为接近。
实验二，用本发明和上述现有的6种方法对tiger图像进行仿真测试，结果如图3。其中图3(a)是BPJDL超分辨重建的结果；图3(b)是SpReg超分辨重建的结果；图3(c)是NARM超分辨重建的结果；图3(d)是SCSR超分辨重建的结果；图3(e)是UDF超分辨重建的结果；图3(f)是SRGPR超分辨重建的结果；图3(g)是本发明超分辨重建的结果，图3(h)是真实的高分辨率图像。
图3的仿真结果表明，其它方法对老虎身上的条纹均有一定的失真现象，本发明对老虎身上的条纹相比其他方法有更好的重建效果，与真实的高分辨率图像更为接近。
实验三，用本发明和上述现有的6种方法对raccoon图像进行仿真测试，结果如图4。其中图4(a)是BPJDL超分辨重建的结果；图4(b)是SpReg超分辨重建的结果；图4(c)是NARM超分辨重建的结果；图4(d)是SCSR超分辨重建的结果；图4(e)是UDF超分辨重建的结果；图4(f)是SRGPR超分辨重建的结果；图4(g)是本发明超分辨重建的结果，图4(h)是真实的高分辨率图像。
图4的仿真结果表明，其它方法在浣熊脸部纹理区域的水彩等人工伪迹更为突出，本发明对浣熊脸部的纹理相比其他方法有更好的重建效果，与真实的高分辨率图像更为接近。
Claims (4)
1.一种基于主动采样与高斯过程回归的图像超分辨方法，包括：
(1)模型训练阶段：
(1a)随机生成规模为n的初始训练样本集
(1b)对初始训练样本集T进行主动采样，得到一个规模为r的训练子集T′：
(1b1)初始化已选择的样本集合设候选样本集合
(1b2)计算初始训练样本集T中每个样本si的表征性R(si)：
其中为xi的邻域，为向量2范数的平方，σR为高斯距离函数带宽，其取值通过公式自适应确定,ρ∈[0,1]为尺度系数，median()函数返回输入集合的中位数；
(1b3)计算候选样本集合中每个样本si＝＜xi,yi＞的多样性D(si)：
其中为已经选择的样本集合；
(1b4)根据已选择的样本集合是否为空集按照下述准则从候选样本集合中挑选出当前最有信息量的样本
如果为空集则直接从每个样本si的表征性R(si)中选取具有最大表征性的样本即
否则，根据表征性R(si)和多样性D(si)的凸组合来度量样本信息量，进而选取出即其中λ∈[0,1]为组合系数；
(1b5)从候选样本集合排除出当前最有信息量的样本并将添加进入已选择的样本集合
(1b6)返回步骤(1b3)，直到中样本的个数达到规模值r，即且这里r远小于n；
(1b7)令执行(1c)；
(1c)基于训练子集T’训练出高斯过程回归模型M，得到从插值图像块到对应高分辨图像块中心像素丢失的高频分量之间的映射；
(2)超分辨重建阶段：
(2a)输入一幅尺寸为IR×IC的低分辨彩色图像I，将其由红、绿、蓝RGB颜色空间转换为亮度IY、蓝色色度ICb、红色色度ICr构成的YCbCr颜色空间；并对蓝色色度ICb、红色色度ICr进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值色度空间SCb、SCr，其中F为超分辨放大倍数；
(2b)建立高斯过程回归模型测试集Q；
(2b1)对IY进行双立方Bicubic插值，得到尺寸为(F×IR)×(F×IC)的插值亮度图像SI；
(2b2)按照光栅扫描顺序以1为间隔采样SI中所有的p×p图像块，得到v个图像块集合
(2c)初始化超分辨重建图像SH为插值亮度图像SI；
(2d)回归预测；
(2d1)以Q中每一个图像块为输入，通过训练出的高斯过程回归模型M回归出对应高分辨图像块中心像素丢失的高频分量
(2d2)令并用替换初始超分辨重建图像SH中与对应的图像块中心像素，其中函数cen()的输入为图像块，输出为该图像块的中心像素；
(2e)对初始超分辨重建图像SH应用反向投影迭代得到最终超分辨重建亮度图像SF；
(2f)将最终超分辨重建亮度图像SF与蓝色插值色度空间SCb、红色插值色度空间SCr合并，得到YCbCr颜色空间下的超分辨图像，并将其转换到RGB颜色空间下，输出最终的超分辨彩色图像。
2.根据权利要求1所述的基于主动采样与高斯过程回归的图像超分辨方法，其特征在于：步骤(1a)中随机生成规模为n的初始训练样本集T，按如下步骤进行：
(1a1)构造插值图像Iq与高分辨图像Hq组成的外部训练图像对{Iq,Hq}，其中Iq为双立方Bicubic插值图像，Hq为对应的高分辨HR图像,q＝1,2,…,m，m为训练图像对的个数；
(1a2)从m个训练图像对中随机选取n个p×p训练图像块对
(1a3)提取每个训练块中高分辨HR图像块的中心像素，并以插值图像块的中心像素为均值进行减均值操作，得到训练集T：
其中函数cen()表示返回图像块的中心像素，＜xi,yi＞表示xi与yi构成的二元组。
3.根据权利要求1所述的基于主动采样与高斯过程回归的图像超分辨方法，其特征在于：步骤(1c)中基于训练子集T’训练出高斯过程回归模型M，按如下步骤进行：
(1c1)对于T’中任意两个样本的输入x和x′，定义核函数k(x,x′)为：
其中xT为x的转置，δ为Kronecker delta函数，即c和σn为核函数中的两个不同的超参数，且c为尺度调节系数，σn为噪声标准差；
(1c2)假设得到的训练子集为初始化超参数中的尺度调节系数c和噪声标准差σn：
(1c3)由训练子集得到观察值列向量并根据核函数k(x,x′)计算协方差矩阵：
(1c4)根据观察值列向量y°和协方差矩阵定义训练子集T′的对数似然度：
(1c5)从初始化超参数出发，利用共轭梯度法最大化训练子集T′的对数似然度logp(y°|T′)得到最优超参数，确定出高斯过程回归模型M。
4.根据权利要求1所述的基于主动采样与高斯过程回归的图像超分辨方法，其特征在于：步骤(2e)中对初始超分辨重建图像SH应用反向投影迭代得到最终超分辨重建亮度图像SF，按如下步骤进行：
(2e1)初始化迭代图像
(2e2)根据测试图像的亮度空间IY，执行η次迭代其中t＝0,1,...,η-1,η为反向投影迭代的总次数，τ为步长，↑为上采样算子，↓为下采样算子，B为模糊核，p为反向投影滤波器，*为卷积操作；
(2e3)将最终的迭代结果赋值给SF。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510902499.XA CN105447840B (zh) | 2015-12-09 | 2015-12-09 | 基于主动采样与高斯过程回归的图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510902499.XA CN105447840B (zh) | 2015-12-09 | 2015-12-09 | 基于主动采样与高斯过程回归的图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105447840A CN105447840A (zh) | 2016-03-30 |
| CN105447840B true CN105447840B (zh) | 2019-01-29 |
Family
ID=55557974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510902499.XA Active CN105447840B (zh) | 2015-12-09 | 2015-12-09 | 基于主动采样与高斯过程回归的图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105447840B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301662B (zh) * | 2017-06-30 | 2020-09-08 | 深圳大学 | 深度图像的压缩恢复方法、装置、设备及存储介质 |
| CN107845064B (zh) * | 2017-09-02 | 2020-04-14 | 西安电子科技大学 | 基于主动采样和高斯混合模型的图像超分辨重建方法 |
| CN108257093B (zh) * | 2018-01-18 | 2021-08-06 | 洛阳理工学院 | 基于可控核与高斯过程回归的单帧图像超分辨方法 |
| CN108550111B (zh) * | 2018-03-30 | 2021-12-03 | 西安工程大学 | 一种基于多级字典学习的残差实例回归超分辨重建方法 |
| CN109324013B (zh) * | 2018-10-08 | 2021-09-24 | 华东理工大学 | 利用高斯过程回归模型构建原油性质近红外快速分析方法 |
| CN109712074A (zh) * | 2018-12-20 | 2019-05-03 | 黑龙江大学 | 双参数贝塔过程联合字典的遥感图像超分辨重建方法 |
| CN110322021B (zh) * | 2019-06-14 | 2021-03-30 | 清华大学 | 大规模网络表征学习的超参数优化方法和装置 |
| CN112861679B (zh) * | 2021-01-29 | 2023-01-20 | 中国科学院计算技术研究所 | 面向行为识别的迁移学习方法及系统 |
| CN112581626B (zh) * | 2021-02-23 | 2021-06-08 | 之江实验室 | 一种基于非参数化和多注意力机制的复杂曲面测量系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
| CN102968775A (zh) * | 2012-11-02 | 2013-03-13 | 清华大学 | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 |
| CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
| CN103617607A (zh) * | 2013-11-28 | 2014-03-05 | 天津大学 | 一种单幅图像超分辨率重建方法 |
| CN103854268A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于多核高斯过程回归的图像超分辨重建方法 |
-
2015
- 2015-12-09 CN CN201510902499.XA patent/CN105447840B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
| CN102968775A (zh) * | 2012-11-02 | 2013-03-13 | 清华大学 | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 |
| CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
| CN103617607A (zh) * | 2013-11-28 | 2014-03-05 | 天津大学 | 一种单幅图像超分辨率重建方法 |
| CN103854268A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于多核高斯过程回归的图像超分辨重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| active feature learning and its application in blind image quality assessment;Gao F，Gao X;《Chinese Journal of Computers》;20141231;第37卷(第10期);第2227-2234页 |
| 基于非负邻域嵌入和非局部正则化的单帧图像超分辨率重建算法;彭羊平等;《计算机科学》;20151130;第42卷(第11期);第104-107页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105447840A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447840B (zh) | 基于主动采样与高斯过程回归的图像超分辨方法 | |
| CN105550989B (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
| CN107909556B (zh) | 基于卷积神经网络的视频图像去雨方法 | |
| CN109886870B (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN103208102A (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
| CN113139902A (zh) | 一种高光谱图像超分辨率重建方法、装置及电子设备 | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| CN112819737A (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| CN113095149A (zh) | 一种基于单张人脸图像的全头部纹理网络结构及生成方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN107169946B (zh) | 基于非负稀疏矩阵与超球面彩色变换的图像融合方法 | |
| CN110136060A (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
| Beaulieu et al. | Deep image-to-image transfer applied to resolution enhancement of sentinel-2 images | |
| CN105719262B (zh) | 基于子字典稀疏重构的全色与多光谱遥感图像融合方法 | |
| Hang et al. | Prinet: A prior driven spectral super-resolution network | |
| CN105303542A (zh) | 基于梯度加权的自适应sfim图像融合算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |