CN103903240B - 基于多输出最小二乘支持向量回归的图像超分辨方法 - Google Patents
基于多输出最小二乘支持向量回归的图像超分辨方法 Download PDFInfo
- Publication number
- CN103903240B CN103903240B CN201410140097.6A CN201410140097A CN103903240B CN 103903240 B CN103903240 B CN 103903240B CN 201410140097 A CN201410140097 A CN 201410140097A CN 103903240 B CN103903240 B CN 103903240B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- matrix
- low
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims description 16
- 241000023320 Luma <angiosperm> Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 241000258957 Asteroidea Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多输出最小二乘支持向量回归的图像超分辨方法,主要解决现有图像分辨率低的问题。其实现步骤为:(1)建立HR亮度图像和LR亮度图像的样本库,并创建LR图像矩阵和HR图像矩阵;(2)根据图像矩阵创建实现3倍放大的训练集和测试集;(3)利用训练集训练多输出最小二乘支持向量回归机预测模型;(4)使用最小二乘支持向量回归预测模型估计测试集中的低分辨率图像矩阵的高分辨率亮度图像;(5)利用图像自相似性对估计的高分辨率亮度图像进行更新,得到最终的高分辨率图像。本发明不仅运行时间短,而且能够有效地提高图像分辨率,可用于改善卫星图像、高清晰电视成像质量。
Description
技术领域
本发明属于图像处理领域,具体的说是一种提高图像分辨率的方法,该方法可用于改善卫星图像、高清晰电视成像质量。
背景技术
自二十世纪七十年代以来,电荷耦合设备CCD与互补型金属氧化半导体CMOS图像传感器被广泛地用于采集数字图像。虽然这些传感器适于大多数的图像应用,但是现有的分辨率级别和昂贵的硬件成本都不能满足人们的需求,需要找到可以增加当前图像分辨率的方法。
一个有前途的方法是利用信号处理技术从观测到的多帧低分辨率LR图像中获得高分辨率HR图像或序列,称为图像超分辨SR重建。图像超分辨技术可以在不改变硬件条件的前提下,重建出已丢失的成像系统截止频率外的信息,得到高于成像系统分辨率的图像,以达到改善和提高图像质量的目的。
通常,图像超分辨重建方法可分为三种类型:基于插值的方法、基于重构的方法和基于实例学习的方法。基于插值的方法是最简单的图像超分辨重建方法,如双线性插值、双立方插值和Lanczos插值等,这些插值算法简单高效,但视觉效果并不理想,得到的图像较模糊;基于重构的方法采用信号处理技术,充分利用图像的先验信息有效地对超分辨重建病态问题进行解空间的约束,从而求解病态问题的稳定解,进一步实现图像超分辨重建,但该方法通常很难引入先验约束且不能保证能有稳定的收敛特性;基于实例学习的方法主要是通过学习低分辨率与高分辨率图像之间的映射关系,预测低分辨率图像中丢失的高频细节信息,从而实现高分辨率图像的重建。
目前,单帧图像超分辨重建主要采用基于实例学习的方法,根据高分辨率图像重建过程中实例样本的构造方式和学习算法的不同,人们提出了不同的实例学习超分辨算法。Freeman等人在文献Freeman W T,Jones T R and Pasztor E C.“Example-basedsuper-resolution,”IEEE Computer Graphics and Application,2002,22(2):56-65.首次提出使用Markov网络建立低分辨率图像和高分辨场景之间的关系模型,通过信令传播算法进行高分辨率图像的最大后验估计实现超分辨重建。然而,该方法依赖于大量样本进行实例学习,因此计算复杂度较高。Ni等人在文献Karl S N,Truong Q N.“Image super-resolution using support vector regression,”IEEE Trans on Image Processing,2007,16(6):1596-1610.中采用支持向量回归SVR对去除中心点的低分辨率图像块和相应的初始高分辨率图像块进行建模,通过建立的模型来预测最终的高分辨率图像。但是,Ni等人在建立回归模型时将一个低分辨率点对应的m个高分辨率点分成m个独立的任务,使得单个高分辨率像素点作为输出,导致重建的像素点之间很难保持一致性。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于多输出最小二乘支持向量回归的图像超分辨方法,以简化计算复杂性,提高图像的分辨率。
实现本发明目的技术方案包括如下步骤:
(1)建立高分辨率亮度图像和低分辨率亮度图像的样本库:在网上随机下载t幅高分辨率图像,经下采样3倍后得到t幅低分辨率图像,将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间,提取每幅图像的亮度分量Y生成高分辨率和低分辨率亮度图像样本库;
(2)利用高分辨率和低分辨率亮度图像样本库,创建低分辨率图像矩阵和高分辨率图像矩阵
(3)利用低分辨率图像矩阵和高分辨率图像矩阵创建实现3倍放大的训练集和测试集:
(3a)从高分辨率图像矩阵和低分辨率图像矩阵中随机选取10幅图像对应的矩阵,从每个低分辨率图像矩阵L中任意选取50个行向量,在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量,将10幅图像中选取的50个行向量拼接,生成大小为500×9的低分辨率矩阵ILR和大小为500×9的高分辨率矩阵IHR;将低分辨率矩阵ILR和高分辨矩阵IHR作为一组训练集,分别用于训练多输出最小二乘支持向量回归模型时的输入和输出;
(3b)将剩余的n幅图像对应的低分辨率图像矩阵作为测试集;
(4)训练多输出最小二乘支持向量回归模型:
(4a)取训练集中的低分辨率矩阵ILR作为输入,高分辨率矩阵IHR作为输出,利用多输出最小二乘支持向量回归模型训练超参数α*和阈值b;
(4b)利用超参数α*和阈值b得到多输出最小二乘支持向量回归模型;
(5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像
(5a)将测试集中的低分辨率图像矩阵L作为多输出最小二乘支持向量回归模型的输入,预测出高分辨率图像矩阵
(5b)将预测得到的高分辨率图像矩阵的每个行向量排成3×3的图像块,并按照从左到右,从上到下的顺序排成高分辨率亮度图像每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数;
(6)利用图像自相似性更新高分辨率亮度图像以得到最终的高分辨率亮度图像
(6a)将预测出的高分辨率亮度图像分割成5×5的图像块,对于每个以像素xi为中心的图像块取以像素xi为中心的13×13区域内与图像块相似的图像块其中图像块的中心像素为xj,大小为5×5;
(6b)计算图像块和它的相似图像块的相似性权值
其中hn是控制指数表达式衰减速度的全局滤波参数,G表示给靠近图像块中心的像素赋予较大权值的核矩阵,表示将图像中的第i个图像块拉成列向量的操作;
(6c)利用图像自相似性更新高分辨率亮度图像得到最终的高分辨率亮度图像
其中,Si表示图像块的相似像素排成的列向量,表示由图像块的相似像素计算得到的相似性权值构成的行向量,xi是高分辨率亮度图像的第i个像素;
(7)将最终的高分辨率亮度图像对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值,将该估计值与最终的高分辨率亮度图像一起组成YIQ空间上的结果图像,并将该结果图像转换到RGB颜色空间,将转换结果作为最终的高分辨率图像。
本发明具有以下优点:
1)本发明利用多输出最小二乘支持向量回归模型建立低分辨率图像块与高分辨率图像块之间的关系,减弱了超分辨图像边缘上的振铃效应。
2)本发明使用了多输出最小二乘支持向量回归模型,使得计算复杂性降低,提高了超分辨的效率。
3)本发明充分考虑了自然图像的非局部自相似性,进一步提高了图像的分辨率。
附图说明
图1是本发明的实现示意图;
图2是本发明在实验使用的八幅测试图像;
图3是用本发明和现有的六种超分辨方法对图像Starfish放大2倍的结果图;
图4是用本发明和现有的四种超分辨方法对图像Girl放大3倍的结果图。
具体实施方式
参照图1,本发明的具体实施方式如下。
步骤1,建立高分辨率亮度图像和低分辨率亮度图像的样本库。
在网上随机下载18幅高分辨率图像,并对这些高分辨率图像经下采样3倍后得到18幅低分辨率图像,将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间,提取每幅图像的亮度分量Y生成高分辨率亮度图像样本库和低分辨率亮度图像样本库。
步骤2,利用高分辨率亮度图像样本库和低分辨率亮度图像样本库,创建低分辨率图像矩阵和高分辨率图像矩阵
2.1)取低分辨率图像块:将低分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块;
2.2)生成低分辨率图像矩阵:将每幅低分辨率亮度图像得到的3×3的图像块拉成行向量,由此得到18幅低分辨率图像对应的18个低分辨率图像矩阵该低分辨率图像矩阵的行数为低分辨率图像像素点的个数,列数为9;
2.3)取高分辨率图像块:将高分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块;
2.4)生成高分辨率图像矩阵:将每幅高分辨率亮度图像得到的3×3的图像块拉成行向量,由此得到18幅高分辨率亮度图像对应的18个高分辨率图像矩阵该高分辨率图像矩阵的行数为低分辨率图像像素点的个数,列数为9。
步骤3,利用低分辨率图像矩阵和高分辨率图像矩阵创建实现3倍放大的训练集和测试集。
3.1)创建训练集;
从高分辨率图像矩阵和低分辨率图像矩阵中随机选取10幅图像对应的矩阵,从每个低分辨率图像矩阵L中任意选取50个行向量,在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量,将10幅图像中选取的50个行向量拼接,生成大小为500×9的低分辨率矩阵ILR和大小为500×9的高分辨率矩阵IHR;将低分辨率矩阵ILR和高分辨矩阵IHR作为一组训练集,分别用于训练多输出最小二乘支持向量回归模型时的输入和输出;
3.2)创建测试集,即将剩余的8幅图像对应的低分辨率图像矩阵作为测试集。
步骤4,训练多输出最小二乘支持向量回归模型。
4.1)取训练集中的低分辨率矩阵ILR作为输入,高分辨率矩阵IHR作为输出,利用多输出最小二乘支持向量回归模型训练超参数α*和阈值b:
4.1.1)给出多输出最小二乘支持向量回归模型的表示式:
s.t.Y=ZTW+repmat(bT,l,1)+Ξ,
其中,表示满足独立同分布的样本点集,l为样本点的数目,输入向量输出向量 表示实数空间,的右上角标表示该实数空间的空间维数,是输出矩阵,是非线性映射构成的映射矩阵,是权系数w构成的权值矩阵,是误差ξ构成的误差矩阵,b是阈值,是第一正则化参数,表示正实数空间,函数trace表示矩阵的迹,repmat(bT,l,1)表示产生l×1个bT的复本,T表示转置,s.t.表示受约束于;
4.1.2)将多输出最小二乘支持向量回归问题中的权值矩阵写为基础矩阵与偏差矩阵之和,则多输出最小二乘支持向量回归模型的表达式,可重新写为:
s.t.Y=ZTW+repmat(bT,l,1)+Ξ,
其中,J(W0,V,b)是目标值,是第二正则化参数;
4.1.3)使用拉格朗日法求解步骤(4.1.2)中的表达式,得到拉格朗日函数L(W0,V,b,Ξ,A):
L(W0,V,b,Ξ,A)=J(W0,V,b)-trace(AT(ZTW+repmat(bT,l,1)+Ξ-Y)),
其中,是一个包含拉格朗日乘子a的系数矩阵;
4.1.4)根据库恩塔克条件,对拉格朗日函数L(W0,V,b,Ξ,A)求偏导,得到的线性方程组表示如下:
其中,1l表示长度为l的全1向量,0l×m表示大小为l×m的全零矩阵;
4.1.5)消去线性方程组中的权值矩阵W和误差矩阵Ξ,得到的线性系统表示如下:
其中,0ml×m表示大小为ml×m的全零矩阵,0m表示长度为m的全零向量,是由向量1l产生的块对角阵,正定矩阵repmat(ZTZ,m,m)表示产生m×m个ZTZ的复本,表示由矩阵ZTZ产生的块对角阵,输出矩阵
4.1.6)求解步骤(4.1.5)中线性系统的表示式,得到超参数和阈值b;
4.2)利用超参数α*和阈值b得到多输出最小二乘支持向量回归模型,表示如下:
其中,表示产生1×m个的复本。
步骤5,初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像
5.1)将测试集中的低分辨率图像矩阵L作为最小二乘支持向量回归模型的输入,预测出高分辨率图像矩阵
5.2)将预测得到的高分辨率图像矩阵的每个行向量排成3×3的图像块,并按照从左到右,从上到下的顺序排成高分辨率亮度图像每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数。
步骤6,利用图像自相似性更新高分辨率亮度图像以得到最终的高分辨率亮度图像
6.1)将预测出的高分辨率亮度图像分割成5×5的图像块,对于每个以像素xi为中心的图像块在以像素xi为中心的13×13区域内,取与图像块相似的图像块图像块的中心像素为xj,大小为5×5;
6.2)计算图像块和它的相似图像块的相似性权值
其中hn是控制指数表达式衰减速度的全局滤波参数,G表示给靠近图像块中心的像素赋予较大权值的核矩阵,表示将图像中的第i个图像块拉成列向量的操作;
(6c)利用图像自相似性更新高分辨率亮度图像得到最终的高分辨率亮度图像
其中,Si表示图像块的相似像素排成的列向量,表示由图像块的相似像素计算得到的相似性权值构成的行向量,xi是高分辨率亮度图像的第i个像素。
步骤7,生成最终的高分辨率图像。
将最终的高分辨率亮度图像对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值,将该估计值与最终的高分辨率亮度图像一起组成YIQ空间上的结果图像,并将该结果图像转换到RGB颜色空间,将转换结果作为最终的高分辨率图像。
本发明的优点可通过以下仿真实验进一步说明。
1.仿真条件:
在CPU为Intel(R)Core(TM)i5-3470,主频3.20GHz,内存8GHz,操作系统:WIN7,仿真平台:Matlab2013b平台上进行。
测试图像选择图2所示的8幅图像,其中,从左到右,从上到下依次命名为“Butterfly”、“Fence”、“Girl”、“Starfish”、“Foreman”、“House”、“Leaves”和“Cameraman”图像。
仿真实验中,利用本发明方法与传统的NE方法,具体参考文献“Chang,H.,Yeung,D.Y.,&Xiong,Y..Super-resolution through neighbor embedding.In CVPR2004.Proceedings of the 2004 IEEE Computer Society Conference on(Vol.1,pp.I-275).IEEE.”,基于NEDI的方法,具体参考文献“Li X,Orchard M T.New edge-directedinterpolation[J].IEEE Trans on IP,2001,10(10):1521-1527.”,基于SAI的方法,具体参考文献“X.Zhang and X.Wu.Image interpolation by adaptive 2-d autoregressivemodeling and soft-decision estimation.IEEE Trans on IP,17(6):887–896,2008.”,基于SME的方法,具体参考文献“S.Mallat and G.Yu.Super-resolution with sparsemixing estimators.IEEE Trans on IP,19(11):2889–2900,2010.”,基于ScSR的方法,具体参考文献“J.Yang,J.Wright,T.Huang,and Y.Ma.Image super-resolution via sparserepresentation.IEEE Trans on IP,19(11):2861–2873,2010.”和基于SCDL的方法,具体参考文献“Wang S,Zhang L,Liang Y,et al.Semi-coupled dictionary learning withapplications to image super-resolution and photo-sketch synthesis[C]//Computer Vision and Pattern Recognition(CVPR),2012 IEEE Conference on.IEEE,2012:2216-2223.”在测试图像上进行超分辨仿真。
实验1,验证本发明对自然图像放大2倍时有较好的性能。
选用10幅高分辨彩色图像作为训练样本,双立方降采样2倍生成低分辨彩色训练图像。
选用高分辨彩色图像Starfish,双立方降采样2倍生成低分辨彩色图像作为测试图像。以高、低分辨率彩色训练图像训练最小二乘支持向量回归模型。
利用本发明和现有的六种超分辨方法对低分辨彩色测试图像放大2倍,结果如图3所示。其中,图3(a)是原始高分辨率图像;图3(b)是双立方插值的结果;图3(c)是NEDI超分辨的结果;图3(d)是SME超分辨的结果;图3(e)是SAI超分辨的结果;图3(f)是ScSR超分辨的结果;图3(g)是SCDL超分辨的结果;图3(h)是本发明超分辨的结果。图3中每幅图像中的矩形框是局部放大的结果。
从图3(c)可以看出,NEDI方法不能有效恢复图像的高频细节,生成的图像非常模糊,且振铃效应比图3(b)的结果差。图3(f)、图3(g)和图3(h)这三种方法可以有效恢复出低分辨率图像丢失的高频细节,得到的结果比较清晰。图3(e)有严重的失真,图3(d)表面有许多模糊的结构,图3(h)与图3(g)均有较高的分辨率。
实验2,验证本发明对自然图像放大3倍时有较好的性能。
选用10幅高分辨彩色图像作为训练样本,双立方降采样3倍生成低分辨彩色训练图像。
选用高分辨彩色图像Girl,双立方降采样3倍生成低分辨彩色图像作为测试图像。以高、低分辨率彩色训练图像训练最小二乘支持向量回归模型。
利用本发明和现有的四种超分辨方法对低分辨彩色测试图像放大3倍,结果如图4所示。其中,图4(a)是原始高分辨率图像;图4(b)是双立方插值的结果;图4(c)是NE超分辨的结果;图4(d)是ScSR超分辨的结果;图4(e)是SCDL超分辨的结果;图4(f)是本发明超分辨的结果。图4中每幅图像中的矩形框是局部放大的结果。
从图4(b)可以看出,双立方插值方法不能有效恢复图像的高频细节,生成的图像非常模糊。图4(c)比图4(b)有更多的高频细节,但图4(c)在图像的边缘区域出现明显的块效应,而且在纹理细节区域出现明显的失真。图4(d)在图像边缘处有明显的阶梯效应,并引入严重的人工痕迹。从图像Girl可以看到,本发明超分辨的结果图4(f)更接近真实图像,而NE超分辨的结果图4(c)过于模糊。与上述几种方法得到的结果相比,本发明得到的图像不仅边缘清晰,而且纹理丰富。
表1是用本发明和现有的四种超分辨方法对8幅测试图像放大2倍的客观评价。
表2是用本发明和现有的四种超分辨方法对8幅测试图像放大3倍的客观评价。
表1.用本发明和现有的四种超分辨方法对8幅测试图像放大2倍的客观评价
表2.用本发明和现有的四种超分辨方法对8幅测试图像放大3倍的客观评价
从表1和表2可以看出,本发明的PSNR和SSIM值均高于其余四种对比方法。
实验3,验证本发明运行时间短。
为了说明本发明提出的MTLS-SVR方法的快速性,对几种基于实例学习超分辨方法的运行时间进行对比。由于在实际应用中并不关心算法离线训练字典或回归模型的时间,因此这里只对比算法在线超分辨图像的时间。使用本发明和现有的四种超分辨方法对图像Girl放大2倍的运行时间作为参考,来说明本发明的快速性,结果见表3。
表3.用本发明和现有的四种超分辨方法对图像Girl放大2倍的运行时间
Method | NEDI | NE | SME | ScSR | Proposed |
Elapsed time(s) | 11.27 | 149.76 | 165.55 | 97.98 | 19.65 |
从表3看到,本发明运行需要的时间很短,比三种基于学习的方法NE、SME和ScSR运行时间快。
Claims (6)
1.一种基于多输出最小二乘支持向量回归的图像超分辨方法,包括如下步骤:
(1)建立高分辨率亮度图像和低分辨率亮度图像的样本库:在网上随机下载t幅高分辨率图像,经下采样3倍后得到t幅低分辨率图像,将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间,提取每幅图像的亮度分量Y生成高分辨率亮度图像样本库和低分辨率亮度图像样本库;
(2)利用高分辨率亮度图像样本库和低分辨率亮度图像样本库,创建低分辨率图像矩阵和高分辨率图像矩阵
(3)利用低分辨率图像矩阵和高分辨率图像矩阵创建实现3倍放大的训练集和测试集:
(3a)从高分辨率图像矩阵和低分辨率图像矩阵中随机选取10幅图像对应的矩阵,从每个低分辨率图像矩阵L中任意选取50个行向量,在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量,将10幅图像中选取的50个行向量拼接,生成大小为500×9的低分辨率矩阵ILR和大小为500×9的高分辨率矩阵IHR;将低分辨率矩阵ILR和高分辨矩阵IHR作为一组训练集,分别用于训练多输出最小二乘支持向量回归模型时的输入和输出;
(3b)将剩余的n幅图像对应的低分辨率图像矩阵作为测试集;
(4)训练多输出最小二乘支持向量回归模型:
(4a)取训练集中的低分辨率矩阵ILR作为输入,高分辨率矩阵IHR作为输出,利用多输出最小二乘支持向量回归模型训练超参数α*和阈值b;
(4b)利用超参数α*和阈值b得到多输出最小二乘支持向量回归模型;
(5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像
(5a)将测试集中的低分辨率图像矩阵L作为多输出最小二乘支持向量回归模型的输入,预测出高分辨率图像矩阵
(5b)将预测得到的高分辨率图像矩阵的每个行向量排成3×3的图像块,并按照从左到右,从上到下的顺序排成高分辨率亮度图像每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数;
(6)利用图像自相似性更新高分辨率亮度图像以得到最终的高分辨率亮度图像
(6a)将预测出的高分辨率亮度图像分割成5×5的图像块,对于每个以像素xi为中心的图像块在以像素xi为中心的13×13区域内,取与图像块相似的图像块图像块的中心像素为xj,大小为5×5;
(6b)计算图像块和它的相似图像块的相似性权值
其中hn是控制指数表达式衰减速度的全局滤波参数,G表示给靠近图像块中心的像素赋予较大权值的核矩阵,表示将图像中的第i个图像块拉成列向量的操作;
(6c)利用图像自相似性更新高分辨率亮度图像得到最终的高分辨率亮度图像
其中,Si表示图像块的相似像素排成的列向量,表示由图像块的相似像素计算得到的相似性权值构成的行向量,xi是高分辨率亮度图像的第i个像素;
(7)将最终的高分辨率亮度图像对应的低分辨率测试图像在YIQ空间的色度分量I和Q利用双三次方插值3倍后作为高分辨率图像色度空间的估计值,将该估计值与最终的高分辨率亮度图像一起组成YIQ空间上的结果图像,并将该结果图像转换到RGB颜色空间,将转换结果作为最终的高分辨率图像。
2.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法,其中所述步骤(2)中创建低分辨率图像矩阵按如下步骤进行:
(2a)对于低分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块;
(2b)将每幅低分辨率亮度图像得到的3×3的图像块拉成行向量,由此得到t幅低分辨率亮度图像对应的t个低分辨率图像矩阵该低分辨率图像矩阵的行数为低分辨率图像像素点的个数,列数为9。
3.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法,其中所述步骤(2)中创建高分辨率图像矩阵按如下步骤进行:
(2c)对于高分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3×3图像块;
(2d)将每幅高分辨率亮度图像得到的3×3的图像块拉成行向量,由此得到t幅高分辨率亮度图像对应的t个高分辨率图像矩阵该高分辨率图像矩阵的行数为低分辨率图像像素点的个数,列数为9。
4.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法,其中所述步骤(4a)中的多输出最小二乘支持向量回归模型的表达式:
s.t. Y=ZTW+repmat(bT,l,1)+Ξ,
其中,表示满足独立同分布的样本点集,l为样本点的数目,输入向量输出向量 表示实数空间,的右上角标表示该实数空间的空间维数,是输出矩阵,是非线性映射构成的映射矩阵,是权系数w构成的权值矩阵,是误差ξ构成的误差矩阵,b是阈值,是第一正则化参数,表示正实数空间,函数trace表示矩阵的迹,repmat(bT,l,1)表示产生l×1个bT的复本,T表示转置,s.t.表示受约束于。
5.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法,其中所述步骤(4a)中超参数α*和阈值b的求解过程如下:
(4a1)将多输出最小二乘支持向量回归问题中的权值矩阵写为基础矩阵与偏差矩阵之和,则多输出最小二乘支持向量回归模型的表达式,可重新写为:
s.t. Y=ZTW+repmat(bT,l,1)+Ξ,
其中,J(W0,V,b)是目标值,是第二正则化参数,是输出矩阵,表示实数空间,的右上角标表示该实数空间的空间维数,是误差ξ构成的误差矩阵,是非线性映射构成的映射矩阵,表示正实数空间,函数trace表示矩阵的迹,repmat(bT,l,1)表示产生l×1个bT的复本,T表示转置,b是阈值,s.t.表示受约束于,是第一正则化参数;
(4a2)利用拉格朗日法求解步骤(4a1)中的表达式,得到拉格朗日函数L(W0,V,b,Ξ,A):
L(W0,V,b,Ξ,A)=J(W0,V,b)-trace(AT(ZTW+repmat(bT,l,1)+Ξ-Y)),
其中,是一个包含拉格朗日乘子a的系数矩阵;
(4a3)根据库恩塔克条件,对拉格朗日函数L(W0,V,b,Ξ,A)求偏导,得到的线性方程组表示如下:
其中,1l表示长度为l的全1向量,0l×m表示大小为l×m的全零矩阵;
(4a4)消去线性方程组中的权值矩阵W和误差矩阵Ξ,得到的线性系统表示如下:
其中,0ml×m表示大小为ml×m的全零矩阵,0m表示长度为m的全零向量,是由向量1l产生的块对角阵,正定矩阵repmat(ZTZ,m,m)表示产生m×m个ZTZ的复本,表示由矩阵ZTZ产生的块对角阵,输出矩阵
(4a5)求解步骤(4a4)中的线性系统得到超参数和阈值b。
6.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法,其中所述步骤(4b)的多输出最小二乘支持向量回归模型,表示如下:
其中,表示产生1×m个的复本,是非线性映射构成的映射矩阵,是一个包含拉格朗日乘子a的系数矩阵,是第二正则化参数,表示实数空间,的右上角标表示该实数空间的空间维数,表示正实数空间,T表示转置,b是阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410140097.6A CN103903240B (zh) | 2014-04-09 | 2014-04-09 | 基于多输出最小二乘支持向量回归的图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410140097.6A CN103903240B (zh) | 2014-04-09 | 2014-04-09 | 基于多输出最小二乘支持向量回归的图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103903240A CN103903240A (zh) | 2014-07-02 |
CN103903240B true CN103903240B (zh) | 2016-11-02 |
Family
ID=50994547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410140097.6A Expired - Fee Related CN103903240B (zh) | 2014-04-09 | 2014-04-09 | 基于多输出最小二乘支持向量回归的图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103903240B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108848364B (zh) * | 2018-06-20 | 2020-12-29 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
CN110113611A (zh) * | 2019-05-31 | 2019-08-09 | 广东睿江云计算股份有限公司 | 一种图片压缩采样方法及装置 |
CN110435930B (zh) * | 2019-08-26 | 2020-08-25 | 长光卫星技术有限公司 | 低轨光学卫星匀降速推扫姿态规划方法 |
CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN103020935A (zh) * | 2012-12-10 | 2013-04-03 | 宁波大学 | 一种自适应在线字典学习的图像超分辨率方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
-
2014
- 2014-04-09 CN CN201410140097.6A patent/CN103903240B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN103020935A (zh) * | 2012-12-10 | 2013-04-03 | 宁波大学 | 一种自适应在线字典学习的图像超分辨率方法 |
Non-Patent Citations (3)
Title |
---|
Multi-output least-squares support vector regression machines;Xu S,An X,Qiao X,et al;《Pattern Recognition Letters》;20130204;第34卷(第9期);第1708-1084页 * |
Multi-task least-squares support vector machines;Xu S,An X,Qiao X,et al;《Multimedia Tools and Applications》;20130530;第71卷(第2期);第699-715页 * |
基于支持向量机的图像亚像素配准及超分辨率重建;陈浩,胡暾;《计算机应用》;20100426;第30卷(第3期);第628-631,649页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103903240A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jin et al. | A flexible deep CNN framework for image restoration | |
CN109118431A (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
CN102142137B (zh) | 基于高分辨率字典的稀疏表征图像超分辨重建方法 | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
Yang et al. | Coupled dictionary training for image super-resolution | |
CN105069825B (zh) | 基于深度置信网络的图像超分辨率重建方法 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN109636716B (zh) | 一种基于小波系数学习的图像超分辨率重建方法 | |
CN103150713B (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
CN103903240B (zh) | 基于多输出最小二乘支持向量回归的图像超分辨方法 | |
CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
CN107392854B (zh) | 一种基于局部自适应增益因子的联合上采样方法 | |
Chen et al. | Single-image super-resolution using multihypothesis prediction | |
CN112884650B (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN108550111B (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
Goto et al. | Learning-based super-resolution image reconstruction on multi-core processor | |
Liu et al. | A densely connected face super-resolution network based on attention mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161102 Termination date: 20210409 |