CN108492270B - 一种基于模糊核估计和变分重构的超分辨率方法 - Google Patents
一种基于模糊核估计和变分重构的超分辨率方法 Download PDFInfo
- Publication number
- CN108492270B CN108492270B CN201810244462.6A CN201810244462A CN108492270B CN 108492270 B CN108492270 B CN 108492270B CN 201810244462 A CN201810244462 A CN 201810244462A CN 108492270 B CN108492270 B CN 108492270B
- Authority
- CN
- China
- Prior art keywords
- super
- image
- resolution image
- resolution
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 238000004800 variational method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 241000219495 Betulaceae Species 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 244000299452 Gouania lupuloides Species 0.000 description 1
- 235000000292 Gouania lupuloides Nutrition 0.000 description 1
- 241000898323 Microtus irani Species 0.000 description 1
- 235000002911 Salvia sclarea Nutrition 0.000 description 1
- 244000182022 Salvia sclarea Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010438 granite Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于模糊核估计和变分重构的超分辨率方法,获取输入的低分辨率图像L,采用一阶回归和图像先验方法构建其超分辨率图像H;采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构,从而获得最优的模糊核函数;采用变分法重构超分辨率图像,得到超分辨率的最终图像HF。与现有方法相比,本发明提供的方法的超分辨率图像有更高的相似度及更加清晰的纹理细节,并且在大比例下及多纹理分布下有较好的鲁棒性。
Description
技术领域
本发明属于计算机及图像处理技术与应用技术领域,具体涉及一种基于模糊核估计和变分重构的超分辨率方法。
背景技术
现有技术中,单图像超分辨率是通过一幅低分辨图像来产生高分辨图像。其在无人机农业图像分析、视频监控以及图像融合等方面都得到了广泛的应用。
通常来说,图像的超分辨率方法分为两种:多图像超分辨率和单图像超分辨率。其中:多图像超分辨率是采用多幅同一场景的图像合成一幅高分辨图像[参见下述文献[1]J.Boulanger,C.Kervrann,and P.Bouthemy,“Space-time adaptation for patch-basedimage sequence restoration,”IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.29,no.6,pp.1096-1102,2007.(博兰格尔,溘然,布特米,“基于图像序列的时空适应性修复补丁,《IEEE模式分析与机器智能汇刊”,29卷,6号,1096页-1102,2007。);[2]S.Farsiu,M.D.Robinson,M.Elad.and P.Milanfar,“Fast and robustmultiframe super resolution,”IEEE Transactions on Image Processing,vol.13,no.10,pp.1327-1344,2004.(法修,卢比逊,艾拉的,马兰发,“快速和强大的多帧超分辨率,”IEEE图像处理,13卷,10号,1327页-1344,2004。)[3]R.Fransens,C.Strecha,andL.Van Gool,“Optical flow based super-resolution:A probabilistic approach,”Computer Vision and Image Understanding,vol.106,no.1,pp.106-115,2007.(弗兰神,石材拆,格尔,“基于光流的超分辨率:一个概率的方法,”计算机视觉和图像理解,106卷,1号,106页-115,2007。)]。对于单图像超分辨率方法,由于只采用一幅图像估计,所以会导致无穷个解,也就是说一幅低分辨率图像会产生无数个超分辨率图像。因此图像的先验限制需要加入到图像的构建过程中,在这些无数个解中选出最优解。
到目前为止,已有很多单图像超分辨率方法被提出,大致可以分为三类:基于插值,基于样板,基于重构。其中基于插值的方法是用一个基函数来拟合未知的超分辨率像素点,常用的方法包括“双线性插值”和“双立方插值”,这些方法都快速有效。但是这些方法是基于光滑的前提,所以产生的超分辨率图像会有明显的模糊现象。
基于样板的方法是通过一些训练样本来估计补丁对的系数,通过补丁对的差值来模拟高频信息,为了得到准确的系数,需要大的训练样本,而大的训练样本会导致计算量过大[参见下述文献:[4]W.T.Freeman,T.R.Jones,and E.C.Pasztor,“Example-basedsuper-resolution,”Computer Graphics and Applicatiohs,vol.22,no.2,pp.56-65,2002.(弗瑞曼,约翰,帕则,“基于实例的超分辨率,”计算机图形学及其应用,22卷,2号,56页-65,2002。)[5]J.Yang,Z.Lin,and S.Cohen,“Fast image super-resolution based onin-place example regression,”in Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2013,pp.1059-1066.(杨杰,刘哲和科恩,“快速图像超分辨率的基础上的例子回归,”在IEEE会议上的计算机视觉和模式识别,2013,第1059页-1066。)[6]R.Timofte,V.Smet,and L.Gool,“Anchored neighborhoodregression for fast example-based super-resolution,”in Proceedings of theIEEE International Conference on Computer Vision,2013,pp.1920-1927.(提莫费,思迈特,格尔,“锚邻里回归为基础的快速例超分辨率,”在IEEE国际计算机视觉会议论文集,2013,pp.1920-1927。)[7]D.Glasner,S.Bagon,and M.Irani,“Super-resolution from asingle image,”in Proceedings of the IEEE 12th International Conference onComputer Vision,2009,pp.349-356.(格兰特,白根,易冉妮,“从一个单一的图像超分辨率,”在IEEE第十二届国际计算机视觉会议,2009,pp.349-356。)[8]Y.Xian and Y.Tian,“Single image super-resolution via internal gradient similarity,”Journal ofVisual Communication and Image Representation,vol.35,pp.91-102,2016.(显扬和天阳,“通过内部梯度相似性的单图像超分辨率”,《视觉传达和图像表示》杂志,第35卷,第91页-102,2016页。)[9]J.Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolutionvia sparse representation,”IEEE Transactions on Image Processing,vol.19,no.11,pp.2861-2873,2010.(杨杰,赖特,黄铁尚和马洋,“通过稀疏表示的图像超分辨率”,IEEE图像处理交易,第19卷,第11号,第2861页-2873,2010页。)[10]R.Zeyde,M.Elad,andM.Protter,“On single image scale-up using sparse-representations,”in Curvesand Surfaces.Springer,2010,pp.711-730.(哲也得,阿拉德,颇饶特,“基于稀疏表示的图像放大单,”在曲线和曲面。施普林格出版社,2010,第711-730页。)[11]Y.Zhu,Y.Zhang,andA.Yuille,“Single image super-resolution using deformable patches,”inProceedings of the IEEE Conference on Com-puter Vision and PatternRecognition,2014,pp.2917-2924.(朱阳,张扬,于磊,“基于变形补丁的单帧图像超分辨率算法,”在基于COM的计算机视觉与模式识别、2014IEEE会议论文集,2917页-2924。)]。为了改进计算速度,人们提出各种基于样板的方法[参见下述文献:[13]H.Chen,X.He,Q.Teng,and C.Ren,“Single image super resolution using local smoothness and nonlocalself-similarity priors,”Signal Processing:Image Communication,2016.(陈赫,“使用局部平滑和非局部自相似先验的单幅图像超分辨率”,信号处理:图像通信,2016。)[14]M.Protter,M.Elad,H.Takeda,and P.Milanfar,“Generalizing the nonlocal-means tosuper-resolution reconstruction,”IEEE Transactions on Image Processing,vol.18,no.1,pp.36-51,2009.(泡特,阿拉德,“对外地的手段来重建,”IEEE图像处理,18卷,1号,36页-51,2009。)[15]H.A.Aly and E.Dubois,“Image up-sampling using total-variation regularization with anew observation model,”IEEE Transactions onImage Processing,vol.14,no.10,pp.1647-1659,2005.(爱丽和杜波事,“图像使用的总变差正则化的一个新的观测模型采样,”IEEE图像处理,14卷,10号,1647页-1659,2005。)],如快速的回归模型,稀疏信号的表达等等,所有的这些方法都是基于一个假设,即相同的图像块在整个图像中会大量的重复出现,既在同比例的图像中出现,也会在不同比例的图像中出现。
基于重构的方法是通过加入某种先验来限制高分辨的合成[参见文献:[12]K.Zhang,X.Gao,J.Li,and H.Xia,“Single image super-resolution usingregularization of non-local steering kernel regression,”Signal Processing,2015.(张凯,高效,“使用非局部方向核回归正则化的单幅图像超分辨率”,信号处理,2015。)文献[13-15]前述内容已经提及;[16]Z.Ren,C.He,and Q.Zhang,“Fractionalorder total variation regular-ization for image super-resolution,”SignalProcessing,vol.93,no.9,pp.2408-2421,2013.(任祝,“分数阶全变分正则化图像超分辨率”,信号处理,第93卷,第9号,第2408页-2421,2013页。)[17]H.Li,Z.Yu,and C.Mao,“Fractional differential and variational method for image fusion and super-resolution,”Neurocomputing,vol.171,pp.138-148,2016.(李贺,“分数阶微分变分的图像融合方法和超分辨率,”神经计算,171卷,138页-148,2016。)[18]S.Baker andT.Kanade,“Limits on super-resolution and how to break them,”IEEE Transactionson Pattern Analysis and Machine Intelligence,vol.24,no.9,pp.1167-1183,”002.(贝克和阚娜德,“限制超分辨率及如何突破,”《IEEE模式分析与机器智能汇刊,24卷,9号,1167页-1183,2002。)[19]J.Sun,Z.Xu,and H.-Y.Shum,“Gradient profile prior andits applications in image super-resolution and enhancement,”IEEE Transactionson Image Processing,vol.20,no.6,pp.1529-1542,2011.(孙杰,“梯度曲线之前和超分辨率图像增强中的应用,”《IEEE图像处理》,20卷,6号,1529页-1542,2011。)[20]R.Fattal,“Image upsampling via imposed edge statistics,”in Proceedings of the ACMTransactions on Graphics(TOG),vol.26,no.3.ACM,2007,p.95.(菲头,“通过强加的边缘统计图像上采样”,在ACM交易程序的图形(TOG),卷26,3号。ACM,2007,第95页。)[21]J.Sun,J.Sun,Z.Xu,and H.-Y.Shum.“Image super-resolution using gradient profileprior,”in Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.IEEE,2008,pp.1-8.(孙杰,使用梯度分布先验图像超分辨率,在计算机视觉和模式识别的IEEE会议论文集。IEEE,2008,第1-8页。)],如图像相似的先验和图像梯度的先验。通过这些图像先验的限制,基于重构的方法可以产生较为理想的高分辨图像。
总的来说,单图像超分辨率方法,可以数学表示为如下:L=H*K↓s+N;其中:K为模糊核,H代表超分辨率图像,N代表噪声,L表示为低分辨率图像,↓s表示为下采样,*表示为卷积运算。由上式求取高分辨图像,这是典型的病态反转问题,即产生无限多的高分辨图像。因此单图像超分辨率面临着两个难题:第一,单图像超分辨率会产生无数解,因此图像先验必须要加入到图像限制中,优选出最好的超分辨率图像。第二,重构限制min||H*K↓s-L||,为获得最优解,即与真实超分辨率图像最接近解,需要知道准确的模糊核K,因此模糊核估计必须要准确的估计,用于图像重构。
因此,人们迫切希望获得一种技术效果优良的基于模糊核估计和变分重构的超分辨率方法。
发明内容
针对现有技术的不足,本发明提出一种基于模糊核估计和变分重构的超分辨率方法。
一种基于模糊核估计和变分重构的超分辨率方法,包括以下步骤:
步骤1:获取输入的低分辨率图像L,采用一阶回归和图像先验方法构建其超分辨率图像H;
步骤1.1:对输入的低分辨率图像L进行模糊处理,加入高斯模糊,得到模糊图像LB,输入的低分辨率图像L的进行上采样得到模糊图像HB;
步骤1.2:采用一阶回归方法构建低分辨率图像的超分辨率图像公式;
所述低分辨率图像的超分辨率图像公式如下所示:
步骤1.3:通过空间映射,简化构建的超分辩图像公式的一阶导数为常系数,并采用PCA分割映射空间,采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数,从而获得低分辨率图像的超分辨率图像;
步骤2:采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构,从而获得最优的模糊核函数;
步骤2.1:对超分辨率图像H的图像块的梯度矩阵进行奇异值分解,从而获取超分辨率图像的图像内容Q;
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如下所示:
其中,G为超分辨率图像的图像块的梯度矩阵,V=[v1 v2]为正交矩阵,v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向,v2为超分辨率图像的图像块的梯度矩阵中与梯度方向垂直的边缘方向,s1为v1的能量值,s2为v2的能量值;
所述超分辨率图像H的图像内容Q表示如下所示:
步骤2.2:采用纹理-结构区分的最小能量函数,获取超分辨率图像的结构特征E(HS·HT);
所述超分辨率图像H的结构特征E(Hs·HT)如下所示:
其中,Hs为超分辨率图像H的图像结构,HT为超分辨率图像H的图像纹理,λ为结构特征平衡系数,ε为正整数;
步骤2.3:采用分数阶增强模板对超分辨率图像的结构特征E(Hs·HT)进行增强,得到增强后的超分辨率图像;
所述分数阶增强模板构建如下所示:
步骤2.4:采用最小能量函数公式对超分辨率图像进行模糊核估计;
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如下所示:
步骤2.5:采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构;
步骤2.6:判断当前迭代次数是否达到欧设定的迭代次数,若是,得到当前模糊核函数,执行步骤3,否则,返回步骤2.1。
步骤3:采用变分法重构超分辨率图像,得到超分辨率的最终图像HF。
所述采用变分法重构超分辨率图像的公式如下所示:
本发明的有益效果:
本发明提出一种基于模糊核估计和变分重构的超分辨率方法,在一阶回归模型中引入图像先验限制,进行超分辨率图像合成;对合成的图像进行结构边缘提取增强,之后用于引导模糊核估计,最后用估计出的核函数来重构超分辨图像。最终的超分辨率的图像可产生清晰的纹理及细节。与现有方法相比,本发明提供的方法的超分辨率图像有更高的相似度及更加清晰的纹理细节,并且在大比例下及多纹理分布下有较好的鲁棒性。
附图说明
图1为本发明具体实施方式中基于模糊核估计和变分重构的超分辨率方法的流程图;
图2为本发明具体实施方式中分数阶增强模板矩阵示意图;
图3为本发明具体实施方式中采用两幅经典图像作为测试图像进行超分辨率重构的示意图;
其中,(a)采用“J.Yang,z.Lin,and S.Cohen,“Fast image super-resolutionbased on in-place example regression,”in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2013,pp.1059-1066.”对“小孩kid”作为测试图像进行超分辨率重构的示意图;
(b)采用“Y.Xian and Y.Tian,“Single image super-resolution via internalgradient similarity,”Journal of Visual Communication and ImageRepresentation,vol.35,pp.91-102,2016.”对“小孩kid”作为测试图像进行超分辨率重构的示意图;
(c)采用“C.-Y.Yang and M.-H.Yang,“Fast direct super-resolution bysimple functions,”in Proceedings of the IEEE International Conference onComputer Vision,2013,pp.561-568.”对“小孩kid”作为测试图像进行超分辨率重构的示意图;
(d)采用本发明方法对“小孩kid”作为测试图像进行超分辨率重构的示意图;
(e)采用“J.Yang,Z.Lin,and S.Cohen,“Fastimage super-resolution based onin-place example regression,”in Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2013,pp.1059-1066.”对“芯片chip”作为测试图像进行超分辨率重构的示意图;
(f)采用“Y.Xian and Y.Tian,“Single image super-resolution via internalgradient similarity,”Journal of V i sual Communication and ImageRepresentation,vol.35,pp.91-102,2016.”对“芯片chip”作为测试图像进行超分辨率重构的示意图;
(g)采用“C.-Y.Yang and M.-H.Yang,“Fast direct super-resolution bysimple functions,”in Proceedings of the IEEE International Conference onComputer Vision,2013,pp.561-568.”对“芯片chip”作为测试图像进行超分辨率重构的示意图;
(h)采用本发明方法对“芯片chip”作为测试图像进行超分辨率重构的示意图;
图4为本发明具体实施方式中多纹理测试图片;
图5为本发明具体实施方式中纹理对比曲线图;
图6为本发明具体实施方式中测试算法的鲁棒性的8倍超分辨率下测试效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
一种基于模糊核估计和变分重构的超分辨率方法,如图1所示,包括以下步骤:
步骤1:获取输入的低分辨率图像L,采用一阶回归和图像先验方法构建其超分辨率图像H。
步骤1.1:对输入的低分辨率图像L进行模糊处理,加入高斯模糊,得到模糊图像LB,输入的低分辨率图像L的进行上采样得到模糊图像HB。
步骤1.2:采用一阶回归方法构建低分辨率图像的超分辨率图像公式。
本实施方式中,图像由低分辨率到高分辨率函数为H=F(L),对其进行泰勒展开得到公式(1)所示:
根据公式(1)略去二阶项后,得到低分辨率图像的超分辨率图像公式如式(2)所示:
步骤1.3:通过空间映射,简化构建的超分辩图像公式的一阶导数为常系数,并采用PCA分割映射空间,采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数,从而获得低分辨率图像的超分辨率图像。
步骤2:采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构,从而获得最优的模糊核函数。步骤2.1:对超分辨率图像H的图像块的梯度矩阵进行奇异值分解,从而获取超分辨率图像的图像内容Q。
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如式(4)所示:
其中,G为超分辨率图像的图像块的梯度矩阵,V=[v1v2]为正交矩阵,v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向,v2为超分辨率图像的图像块的梯度矩阵中与梯度方向垂直的边缘方向,s1为v1的能量值,s2为v2的能量值。
所述超分辨率图像H的图像内容Q表示如式(5)所示:
步骤2.2:采用纹理-结构区分的最小能量函数,获取超分辨率图像的结构特征E(HS·HT)。
所述超分辨率图像H的结构特征E(Hs·HT)如式(6)所示:
其中,HS为超分辨率图像H的图像结构,HT为超分辨率图像H的图像纹理,λ为结构特征平衡系数,ε为正整数。
步骤2.3:采用分数阶增强模板对超分辨率图像的结构特征E(HS·HT)进行增强,得到增强后的超分辨率图像。
分数阶运算已经得到了广泛的应用,如工程控制领域以及图像处理领域。对于图像领域中的纹理及边缘增强,通常的整数阶算子在图像的高频区域有较好的表现,如Sobel,Prewitt以及Laplacian算子。但是在低频的光滑区域,它们的性能退化严重。而分数阶算子不仅可以增强高频轮廓特征,同时也可以改善低频区域的纹理及边缘特征。
基于如上的理论,本实施方式中采用分数阶梯度插值的方法来恢复高频图像的细节,这样可以合成清晰的纹理及细节。
三种基本的分数阶导数定位为G-L、R-L以及Caputo,其中G-L定义应用最为广泛,本实施方式采用G-L定义,如式(7)所示:
其中,j=1,2...。
对于二维图像,参数h=1,因此函数f(t)的α阶导数可以近似为公式(10)所示,即分数阶增强模板构建:
步骤2.4:采用最小能量函数公式对超分辨率图像进行模糊核估计。
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如式(11)所示:
步骤2.5:采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构。
步骤2.6:判断当前迭代次数是否达到欧设定的迭代次数,若是,得到当前模糊核函数,执行步骤3,否则,返回步骤2.1。
步骤3:采用变分法重构超分辨率图像,得到超分辨率的最终图像HF。所述采用变分法重构超分辨率图像的公式如式(12)所示:
其中,E(HF)为超分辨率图像的最小能量函数,β为光滑系数。
最小能量函数的梯度如式(13)所示:
模糊核函数k如式(14)所示:
求解的模糊核函数如式(15)所示:
其中,F*(·)为负共轭算子,F(·)为快速傅里叶变换算子、F-1(·)为反傅里叶变换算子,F(γ)为脉冲函数的傅里叶变换。
实验结果:在实验中,本发明与传统的方法进行了比较,实验结果显示本发明方法在纹理等细节上有突出的表现。在图像处理过程中,由于RGB颜色模型各通道有颜色退化。所以采用YUV颜色模型,并且为了简化运算,只采用Y通道实现算法,其它通道采用双立方插值实现超分辨率。
视觉相似性:实验与传统的方法进行比较,采用伯克利数据库BSDS500。比例因子设置为4进行超分辨率比较。首先对数据中的图像下采样,分辨率及尺寸为原图像的1/4,之后测试各种超分辨方法。采用经典的“小孩kid”,“芯片chip”作为测试图像,比较结果如图3所示:从图中可以看出,本发明采用的方法,明显比其它方法生成的高分辨率图像清晰。小孩图片可以看出清晰的眼部边缘及帽子的纹理细节,芯片图片可以看出清晰的字母边缘。
纹理相似性:为测试纹理效果及相似性,采用25类图像进行算法比对,并进行定量分析。进一步估价算法的鲁棒性,采用UIUC纹理数据库进行测试,数据库含有25类纹理图像,测试值按序排列,便于比较,如图4所示。
图4中纹理图案名称:(1.bark1树皮1;2.bark2树皮2;3.bark3树皮3;4.wood1木头1;5.wood2木头2;6.wood3木头3;7.water水;8.granite花岗岩;9.marble大理石;10.floorl楼梯1;11.floor2楼梯2;13.floor3楼梯3;14.brick1砖1;15.brick2砖2;16.glassl玻璃1;17.glass2玻璃2;18.carpetl地毯1;19.carpet2地毯2;20.upholstery装饰品21.wallpaper墙纸;22.fur毛皮;23.knit针织;24.corduroy灯芯绒;25.plaid格子花)。纹理名称对应图4,1-25的顺序依次为第一行从左到右由小到大依次为序号1-5;第二行从左到右由小到大依次为序号6-10;其他行亦按此规律。纹理对比曲线参见图5。
为测试算法的鲁棒性,本发明在8倍超分辨率下进行了测试。在大比例的情况下,算法需要估计更多的未知点,所以通常算法在大比例下会有严重失真,本算法提供的方法可提供较好的效果。如图6所示,由于尺寸限制,请在放大下观看。
Claims (2)
1.一种基于模糊核估计和变分重构的超分辨率方法,其特征在于,包括以下步骤:
步骤1:获取输入的低分辨率图像L,采用一阶回归和图像先验方法构建其超分辨率图像H;
步骤2:采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构,从而获得最优的模糊核函数;
步骤3:采用变分法重构超分辨率图像,得到超分辨率的最终图像HF;
所述步骤1包括以下步骤:
步骤1.1:对输入的低分辨率图像L进行模糊处理,加入高斯模糊,得到模糊图像LB,输入的低分辨率图像L的进行上采样得到模糊图像HB;
步骤1.2:采用一阶回归方法构建低分辨率图像的超分辨率图像公式;
所述低分辨率图像的超分辨率图像公式如下所示:
步骤1.3:通过空间映射,简化构建的超分辩图像公式的一阶导数为常系数,并采用PCA分割映射空间,采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数,从而获得低分辨率图像的超分辨率图像;
所述步骤2包括以下步骤:
步骤2.1:对超分辨率图像H的图像块的梯度矩阵进行奇异值分解,从而获取超分辨率图像的图像内容Q;
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如下所示:
其中,G为超分辨率图像的图像块的梯度矩阵,V=[v1 v2]为正交矩阵,v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向,v2为超分辨率图像的图像块的梯度矩阵中与梯度方向垂直的边缘方向,s1为v1的能量值,s2为v2的能量值;
所述超分辨率图像H的图像内容Q表示如下所示:
步骤2.2:采用纹理-结构区分的最小能量函数,获取超分辨率图像的结构特征E(HS·HT);
所述超分辨率图像H的结构特征E(Hs·HT)如下所示:
其中,HS为超分辨率图像H的图像结构,HT为超分辨率图像H的图像纹理,λ为结构特征平衡系数,ε为正整数;
步骤2.3:采用分数阶增强模板对超分辨率图像的结构特征E(HS·HT)进行增强,得到增强后的超分辨率图像;
所述分数阶增强模板构建如下所示:
步骤2.4:采用最小能量函数公式对超分辨率图像进行模糊核估计;
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如下所示:
步骤2.5:采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构;
步骤2.6:判断当前迭代次数是否达到设定的迭代次数,若是,得到当前模糊核函数,执行步骤3,否则,返回步骤2.1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244462.6A CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810244462.6A CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492270A CN108492270A (zh) | 2018-09-04 |
CN108492270B true CN108492270B (zh) | 2021-09-21 |
Family
ID=63319644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810244462.6A Active CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492270B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
CN112150354B (zh) * | 2019-06-26 | 2021-08-24 | 四川大学 | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 |
CN111369442B (zh) * | 2020-03-10 | 2022-03-15 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
CN112634144A (zh) * | 2020-11-20 | 2021-04-09 | 深圳市优象计算技术有限公司 | 一种基于分数阶微分的医学图像增强方法及系统 |
CN113096013B (zh) * | 2021-03-31 | 2021-11-26 | 南京理工大学 | 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 |
CN113963354B (zh) * | 2021-12-16 | 2022-04-12 | 深圳市活力天汇科技股份有限公司 | 一种获取订单编号的方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
CN103559693A (zh) * | 2013-11-18 | 2014-02-05 | 东南大学 | 一种基于非连续性指示符的图像局部结构自适应复原方法 |
CN105488759A (zh) * | 2015-12-09 | 2016-04-13 | 南京邮电大学 | 一种基于局部回归模型的图像超分辨率重建方法 |
CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
CN106910215A (zh) * | 2017-03-15 | 2017-06-30 | 沈阳理工大学 | 一种基于分数阶梯度插值的超分辨率方法 |
CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
-
2018
- 2018-03-23 CN CN201810244462.6A patent/CN108492270B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
CN103559693A (zh) * | 2013-11-18 | 2014-02-05 | 东南大学 | 一种基于非连续性指示符的图像局部结构自适应复原方法 |
CN105488759A (zh) * | 2015-12-09 | 2016-04-13 | 南京邮电大学 | 一种基于局部回归模型的图像超分辨率重建方法 |
CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
CN106910215A (zh) * | 2017-03-15 | 2017-06-30 | 沈阳理工大学 | 一种基于分数阶梯度插值的超分辨率方法 |
CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
Non-Patent Citations (9)
Title |
---|
Fast Image Super-resolution Based on In-place Example Regression;Jianchao Yang等;《CVPR2013》;20130630;正文第3节,图1 * |
Image Motion Restoration Using Fractional-Order Gradient Prior;Ying FU等;《INFORMATICA》;20150430;第26卷(第4期);621-634 * |
Image Super-Resolution Using Graph Regularized Block Sparse Representation;Sundaresh Ram等;《SSIAI2016》;20160428;69-72 * |
Jianchao Yang等.Fast Image Super-resolution Based on In-place Example Regression.《CVPR2013》.2013,正文第3节,图1. * |
Jinshan Pan等.Kernel Estimation from Salient Structure for Robust Motion Deblurring.《arXiv:1212.1073v2》.2014,正文第1、3节. * |
Kernel Estimation from Salient Structure for Robust Motion Deblurring;Jinshan Pan等;《arXiv:1212.1073v2》;20140524;正文第1、3节 * |
Noncausal fractional directional differentiator and blind deconvoluation: motion blur estimation;XiangPan 等;《Multimed Tools Appl》;20140112;4849-4872 * |
Novel Super-Resolution Method Based on High Order Nonlocal-Means;Kang Yong-Rim等;《arXiv:1503.04253》;20150617;1-5 * |
基于显著区域检测的模糊核优化算法研究;郑国建等;《军事通信技术》;20151230;第36卷(第4期);10-15 * |
Also Published As
Publication number | Publication date |
---|---|
CN108492270A (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108492270B (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
Fang et al. | Soft-edge assisted network for single image super-resolution | |
Jiang et al. | Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means | |
Zhang et al. | High-quality image restoration using low-rank patch regularization and global structure sparsity | |
CN110443768B (zh) | 基于多重一致性约束的单帧图像超分辨率重建方法 | |
Dai et al. | Soft edge smoothness prior for alpha channel super resolution | |
Takeda et al. | Deblurring using regularized locally adaptive kernel regression | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN105844590A (zh) | 基于稀疏表示的图像超分辨率重建方法及系统 | |
CN105631807B (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
Kato et al. | Multi-frame image super resolution based on sparse coding | |
Liu et al. | $ L_ {0} $-regularized image downscaling | |
CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
CN106910215B (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
Chen et al. | Single image super resolution using local smoothness and nonlocal self-similarity priors | |
CN116579945B (zh) | 一种基于扩散模型的夜间图像复原方法 | |
Wei et al. | Channel rearrangement multi-branch network for image super-resolution | |
Hesabi et al. | Structure and texture image inpainting | |
Wang et al. | Learning multi-denoising autoencoding priors for image super-resolution | |
CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
CN107767342B (zh) | 一种基于积分平差模型的小波变换超分辨率图像重建方法 | |
CN115082296A (zh) | 一种基于小波域图像生成框架的图像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |