CN108492270A - 一种基于模糊核估计和变分重构的超分辨率方法 - Google Patents
一种基于模糊核估计和变分重构的超分辨率方法 Download PDFInfo
- Publication number
- CN108492270A CN108492270A CN201810244462.6A CN201810244462A CN108492270A CN 108492270 A CN108492270 A CN 108492270A CN 201810244462 A CN201810244462 A CN 201810244462A CN 108492270 A CN108492270 A CN 108492270A
- Authority
- CN
- China
- Prior art keywords
- super
- image
- resolution
- resolution image
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000003909 pattern recognition Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000010438 granite Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 241001252483 Kalimeris Species 0.000 description 1
- 241000898323 Microtus irani Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- JEGUKCSWCFPDGT-UHFFFAOYSA-N h2o hydrate Chemical compound O.O JEGUKCSWCFPDGT-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于模糊核估计和变分重构的超分辨率方法，获取输入的低分辨率图像L，采用一阶回归和图像先验方法构建其超分辨率图像H；采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构，从而获得最优的模糊核函数；采用变分法重构超分辨率图像，得到超分辨率的最终图像HF。与现有方法相比，本发明提供的方法的超分辨率图像有更高的相似度及更加清晰的纹理细节，并且在大比例下及多纹理分布下有较好的鲁棒性。
Description
技术领域
本发明属于计算机及图像处理技术与应用技术领域，具体涉及一种基于模糊核估计和变 分重构的超分辨率方法。
背景技术
现有技术中，单图像超分辨率是通过一幅低分辨图像来产生高分辨图像。其在无人机农 业图像分析、视频监控以及图像融合等方面都得到了广泛的应用。
通常来说，图像的超分辨率方法分为两种：多图像超分辨率和单图像超分辨率。其中： 多图像超分辨率是采用多幅同一场景的图像合成一幅高分辨图像[参见下述文献[1]J. Boulanger，C.Kervrann，and P.Bouthemy，“Space-time adaptation for patch-basedimage sequence restoration，”IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.29，no.6，pp. 1096-1102，2007.(博兰格尔，溘然，布特米，“基于图像序列的时空适应性修复补丁，《IEEE 模式分析与机器智能汇刊”，29卷，6号，1096页-1102，2007。)；[2]S.Farsiu，M.D.Robinson，M.Elad.and P.Milanfar，“Fast and robustmultiframe super resolution，”IEEE Transactions on Image Processing，vol.13，no.10，pp.1327-1344，2004.(法修，卢比逊，艾拉的，马兰发，“快 速和强大的多帧超分辨率，”IEEE图像处理，13卷，10号，1327页-1344，2004。)[3]R. Fransens，C.Strecha，andL.Van Gool，“Optical flow based super-resolution：A probabilistic approach，”Computer Vision and Image Understanding，vol.106，no.1，pp.106-115，2007.(弗兰神，石材拆，格尔，“基于光流的超分辨率：一个概率的方法，”计算机视觉和图像理解，106卷，1号，106页-115，2007。)]。对于单图像超分辨率方法，由于只采用一幅图像估计，所 以会导致无穷个解，也就是说一幅低分辨率图像会产生无数个超分辨率图像。因此图像的先验限制需要加入到图像的构建过程中，在这些无数个解中选出最优解。
到目前为止，已有很多单图像超分辨率方法被提出，大致可以分为三类：基于插值，基 于样板，基于重构。其中基于插值的方法是用一个基函数来拟合未知的超分辨率像素点，常 用的方法包括“双线性插值”和“双立方插值”，这些方法都快速有效。但是这些方法是基于 光滑的前提，所以产生的超分辨率图像会有明显的模糊现象。
基于样板的方法是通过一些训练样本来估计补丁对的系数，通过补丁对的差值来模拟高 频信息，为了得到准确的系数，需要大的训练样本，而大的训练样本会导致计算量过大[参见 下述文献：[4]W.T.Freeman，T.R.Jones，and E.C.Pasztor，“Example-basedsuper-resolution，” Computer Graphics and Applications，vol.22，no.2，pp.56-65，2002.(弗瑞曼，约翰，帕则，“基 于实例的超分辨率，”计算机图形学及其应用，22卷，2号，56页-65，2002。)[5]J.Yang，Z.Lin，and S.Cohen，“Fast image super-resolution based onin-place example regression，”in Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，2013，pp. 1059-1066.(杨杰，刘哲和科恩，“快速图像超分辨率的基础上的例子回归，”在IEEE会议上 的计算机视觉和模式识别，2013，第1059页-1066。)[6]R.Timofte，V.Smet，and L.Gool， “Anchored neighborhoodregression for fast example-based super-resolution，”in Proceedings of theIEEE International Conference on Computer Vision，2013，pp.1920-1927.(提莫费，思迈特，格 尔，“锚邻里回归为基础的快速例超分辨率，”在IEEE国际计算机视觉会议论文集，2013， pp.1920-1927。)[7]D.Glasner，S.Bagon，and M.Irani，“Super-resolution from asingle image，” in Proceedings of the IEEE 12th International Conference onComputer Vision，2009，pp.349-356. (格兰特，白根，易冉妮，“从一个单一的图像超分辨率，”在IEEE第十二届国际计算机视 觉会议，2009，pp.349-356。)[8]Y.Xian and Y.Tian，“Single image super-resolution via internal gradient similarity，”Journal ofVisual Communication and Image Representation，vol.35，pp. 91-102，2016.(显扬和天阳，“通过内部梯度相似性的单图像超分辨率”，《视觉传达和图像表 示》杂志，第35卷，第91页-102，2016页。)[9]J.Yang，J.Wright，T.S.Huang，and Y.Ma，“Image super-resolution via sparse representation，”IEEE Transactions on Image Processing，vol.19，no.11， pp.2861-2873，2010.(杨杰，赖特，黄铁尚和马洋，“通过稀疏表示的图像超分辨率”，IEEE 图像处理交易，第19卷，第11号，第2861页-2873，2010页。)[10]R.Zeyde，M.Elad，and M. Protter，“On single image scale-up using sparse-representations，”in Curves and Surfaces.Springer， 2010，pp.711-730.(哲也得，阿拉德，颇饶特，“基于稀疏表示的图像放大单，”在曲线和曲 面。施普林格出版社，2010，第711-730页。)[11]Y.Zhu，Y.Zhang，andA.Yuille，“Single image super-resolution usingdeformable patches，”in Proceedings of the IEEE Conference on Com-puter Visionand Pattern Recognition，2014，pp.2917-2924.(朱阳，张扬，于磊，“基于变形补丁的单帧图像超分辨率算法，”在基于COM的计算机视觉与模式识别、2014 IEEE会议论文集，2917页-2924。)]。为了改进计算速度，人们提出各种基于样板的方法[参见下述文献：[13]H.Chen， X.He，Q.Teng，and C.Ren，“Single image super resolution using localsmoothness and nonlocal self-similarity priors，”Signal Processing：ImageCommunication，2016.(陈赫，“使用局部平滑和 非局部自相似先验的单幅图像超分辨率”，信号处理：图像通信，2016。)[14]M.Protter，M.Elad， H.Takeda，and P.Milanfar，“Generalizing the nonlocal-means to super-resolution reconstruction，” IEEETransactions on Image Processing，vol.18，no.1，pp.36-51，2009.(泡特，阿拉德，“对外地的手段来重建，”IEEE图像处理，18卷，1号，36页-51，2009。)[15]H.A.Aly and E.Dubois，“Image up-sampling using total-variation regularization with a newobservation model，”IEEE Transactions on Image Processing，vol.14，no.10，pp.1647-1659，2005.(爱丽和杜波事，“图像 使用的总变差正则化的一个新的观测模型采样，”IEEE图像处理，14卷，10号，1647页- 1659，2005。)]，如快速的回归模型，稀疏信号的表达等等，所有的这些方法都是基于一个假 设，即相同的图像块在整个图像中会大量的重复出现，既在同比例的图像中出现，也会在不 同比例的图像中出现。
基于重构的方法是通过加入某种先验来限制高分辨的合成[参见文献：[12]K.Zhang，X. Gao，J.Li，and H.Xia，“Single image super-resolution usingregularization of non-local steering kernel regression，”Signal Processing，2015.(张凯，高效，“使用非局部方向核回归正则化的单 幅图像超分辨率”，信号处理，2015。)文献[13-15]前述内容已经提及；[16]Z.Ren，C.He，and Q.Zhang，“Fractionalorder total variation regular-ization for image super-resolution，”SignalProcessing，vol.93，no.9，pp.2408-2421，2013.(任祝，“分数阶全变分正则化图像超分辨率”， 信号处理，第93卷，第9号，第2408页-2421，2013页。)[17]H.Li，Z.Yu，and C.Mao，“Fractional differential and variational method for image fusion and super-resolution，”Neurocomputing，vol. 171，pp.138-148，2016.(李贺，“分数阶微分变分的图像融合方法和超分辨率，”神经计算， 171卷，138页-148，2016。)[18]S.Baker andT.Kanade，“Limits on super-resolution and how to break them，”IEEE Transactionson Pattern Analysis and Machine Intelligence，vol.24，no.9，pp. 1167-1183，”002.(贝克和阚娜德，“限制超分辨率及如何突破，”《IEEE模式分析与机器智能 汇刊，24卷，9号，1167页-1183，2002。)[19]J.Sun，Z.Xu，and H.-Y.Shum，“Gradient profile prior andits applications in image super-resolution and enhancement，”IEEE Transactionson Image Processing，vol.20，no.6，pp.1529-1542，2011.(孙杰，“梯度曲线之前和超分辨率图像增强中 的应用，”《IEEE图像处理》，20卷，6号，1529页-1542，2011。)[20]R.Fattal，“Image upsampling via imposed edge statistics，”in Proceedings of the ACMTransactions on Graphics (TOG)，vol.26，no.3.ACM，2007，p.95.(菲头，“通过强加的边缘统计图像上采样”，在ACM 交易程序的图形(TOG)，卷26，3号。ACM，2007，第95页。)[21]J.Sun，J.Sun，Z.Xu，and H.-Y.Shum.“Image super-resolution using gradient profileprior，”in Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.IEEE，2008，pp.1-8.(孙杰，使用梯度 分布先验图像超分辨率，在计算机视觉和模式识别的IEEE会议论文集。IEEE，2008，第1-8 页。)]，如图像相似的先验和图像梯度的先验。通过这些图像先验的限制，基于重构的方法 可以产生较为理想的高分辨图像。
总的来说，单图像超分辨率方法，可以数学表示为如下：L＝H*K↓s+N；其中：K为 模糊核，H代表超分辨率图像，N代表噪声，L表示为低分辨率图像，↓s表示为下采样，* 表示为卷积运算。由上式求取高分辨图像，这是典型的病态反转问题，即产生无限多的高分 辨图像。因此单图像超分辨率面临着两个难题：第一，单图像超分辨率会产生无数解，因此 图像先验必须要加入到图像限制中，优选出最好的超分辨率图像。第二，重构限制 min||H*K↓s-L||，为获得最优解，即与真实超分辨率图像最接近解，需要知道准确的模糊 核K，因此模糊核估计必须要准确的估计，用于图像重构。
因此，人们迫切希望获得一种技术效果优良的基于模糊核估计和变分重构的超分辨率方 法。
发明内容
针对现有技术的不足，本发明提出一种基于模糊核估计和变分重构的超分辨率方法。
一种基于模糊核估计和变分重构的超分辨率方法，包括以下步骤：
步骤1：获取输入的低分辨率图像L，采用一阶回归和图像先验方法构建其超分辨率图 像H；
步骤1.1：对输入的低分辨率图像L进行模糊处理，加入高斯模糊，得到模糊图像LB， 输入的低分辨率图像L的进行上采样得到模糊图像HB；
步骤1.2：采用一阶回归方法构建低分辨率图像的超分辨率图像公式；
所述低分辨率图像的超分辨率图像公式如下所示：
步骤1.3：通过空间映射，简化构建的超分辩图像公式的一阶导数为常系数，并采用PCA 分割映射空间，采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数，从而获 得低分辨率图像的超分辨率图像；
所述采用最小能量函数取得最优近似系数的计算公式如下所示：
其中，cof为最优近似系数，即恢复超分辨率的常量系数的近似，G为高斯核函数， *为卷积运算，H为超分辨率图像。
步骤2：采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构，从而 获得最优的模糊核函数；
步骤2.1：对超分辨率图像H的图像块的梯度矩阵进行奇异值分解，从而获取超分辨率 图像的图像内容Q；
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如下所示：
其中，G为超分辨率图像的图像块的梯度矩阵，V＝[v1 v2]为正交矩阵， v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向，v2为超分辨率图像的图像块的梯 度矩阵中与梯度方向垂直的边缘方向，s1为v1的能量值，s2为v2的能量值；
所述超分辨率图像H的图像内容Q表示如下所示：
步骤2.2：采用纹理-结构区分的最小能量函数，获取超分辨率图像的结构特征E(HS·HT)；
所述超分辨率图像H的结构特征E(HS·HT)如下所示：
其中，HS为超分辨率图像H的图像结构，HT为超分辨率图像H的图像纹理，λ为结 构特征平衡系数，ε为正整数；
步骤2.3：采用分数阶增强模板对超分辨率图像的结构特征E(HS·HT)进行增强，得到增 强后的超分辨率图像；
所述分数阶增强模板构建如下所示：
其中，Γ为伽马函数，t为函数f(t)的参数，f(t)为任意函数，α 为分数阶的阶次，n为公式展开项数，为分数阶导数；
步骤2.4：采用最小能量函数公式对超分辨率图像进行模糊核估计；
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如下所示：
其中，E(k)为最小能量函数，HSE为增强后的超分辨率图像增强的边缘，γ为能量函数 平衡系数，k为模糊核函数，为梯度算子；
步骤2.5：采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构；
步骤2.6：判断当前迭代次数是否达到欧设定的迭代次数，若是，得到当前模糊核函数， 执行步骤3，否则，返回步骤2.1。
步骤3：采用变分法重构超分辨率图像，得到超分辨率的最终图像HF。
所述采用变分法重构超分辨率图像的公式如下所示：
其中，E(HF)为超分辨率图像的最小能量函数，β为光滑系数，HF为超分辨率的最终图像，k为模糊核函数，为梯度算子。
本发明的有益效果：
本发明提出一种基于模糊核估计和变分重构的超分辨率方法，在一阶回归模型中引入图 像先验限制，进行超分辨率图像合成；对合成的图像进行结构边缘提取增强，之后用于引导 模糊核估计，最后用估计出的核函数来重构超分辨图像。最终的超分辨率的图像可产生清晰 的纹理及细节。与现有方法相比，本发明提供的方法的超分辨率图像有更高的相似度及更加 清晰的纹理细节，并且在大比例下及多纹理分布下有较好的鲁棒性。
附图说明
图1为本发明具体实施方式中基于模糊核估计和变分重构的超分辨率方法的流程图；
图2为本发明具体实施方式中分数阶增强模板矩阵示意图；
图3为本发明具体实施方式中采用两幅经典图像作为测试图像进行超分辨率重构的示意 图；
其中，(a)采用“J.Yang，z.Lin，and S.Cohen，“Fast image super-resolutionbased on in-place example regression，”in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition，2013，pp.1059-1066.”对“小孩kid”作为测试图像进行超分辨率重构的示意图；
(b)采用“Y.Xian and Y.Tian，“Single image super-resolution via internalgradient similarity，”Journal of Visual Communication and ImageRepresentation，vol.35，pp.91-102， 2016.”对“小孩kid”作为测试图像进行超分辨率重构的示意图；
(c)采用“C.-Y.Yang and M.-H.Yang，“Fast direct super-resolution bysimple functions，”in Proceedings of the IEEE International Conference onComputer Vision，2013，pp.561-568.”对“小 孩kid”作为测试图像进行超分辨率重构的示意图；
(d)采用本发明方法对“小孩kid”作为测试图像进行超分辨率重构的示意图；
(e)采用“J.Yang，Z.Lin，and S.Cohen，“Fast image super-resolution basedon in-place example regression，”in Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，2013，pp.1059-1066.”对“芯片chip”作为测试图像进行超分辨率重构的示意图；
(f)采用“Y.Xian and Y.Tian，“Single image super-resolution via internalgradient similarity，” Journal of Visual Communication and ImageRepresentation，vol.35，pp.91-102，2016.”对“芯片 chip”作为测试图像进行超分辨率重构的示意图；
(g)采用“C.-Y.Yang and M.-H.Yang，“Fast direct super-resolution bysimple functions，”in Proceedings of the IEEE International Conference onComputer Vision，2013，pp.561-568.”对 “芯片chip”作为测试图像进行超分辨率重构的示意图；
(h)采用本发明方法对“芯片chip”作为测试图像进行超分辨率重构的示意图；
图4为本发明具体实施方式中多纹理测试图片；
图5为本发明具体实施方式中纹理对比曲线图；
图6为本发明具体实施方式中测试算法的鲁棒性的8倍超分辨率下测试效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述。
一种基于模糊核估计和变分重构的超分辨率方法，如图1所示，包括以下步骤：
步骤1：获取输入的低分辨率图像L，采用一阶回归和图像先验方法构建其超分辨率图 像H。
步骤1.1：对输入的低分辨率图像L进行模糊处理，加入高斯模糊，得到模糊图像LB， 输入的低分辨率图像L的进行上采样得到模糊图像HB。
步骤1.2：采用一阶回归方法构建低分辨率图像的超分辨率图像公式。
本实施方式中，图像由低分辨率到高分辨率函数为H＝F(L)，对其进行泰勒展开得到公 式(1)所示：
根据公式(1)略去二阶项后，得到低分辨率图像的超分辨率图像公式如式(2)所示：
步骤1.3：通过空间映射，简化构建的超分辩图像公式的一阶导数为常系数，并采用PCA 分割映射空间，采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数，从而获 得低分辨率图像的超分辨率图像。
所述采用最小能量函数取得最优近似系数的计算公式如式(3)所示：
其中，cof为最优近似系数，即恢复超分辨率的常量系数的近似，G为高斯核函数， *为卷积运算，H为超分辨率图像。
步骤2：采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构，从而 获得最优的模糊核函数。步骤2.1：对超分辨率图像H的图像块的梯度矩阵进行奇异值分解， 从而获取超分辨率图像的图像内容Q。
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如式(4)所示：
其中，G为超分辨率图像的图像块的梯度矩阵，V＝[v1 v2]为正交矩阵， v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向，v2为超分辨率图像的图像块的梯 度矩阵中与梯度方向垂直的边缘方向，s1为v1的能量值，s2为v2的能量值。
所述超分辨率图像H的图像内容Q表示如式(5)所示：
步骤2.2：采用纹理-结构区分的最小能量函数，获取超分辨率图像的结构特征 E(HS·HT)。
所述超分辨率图像H的结构特征E(HS·HT)如式(6)所示：
其中，HS为超分辨率图像H的图像结构，HT为超分辨率图像H的图像纹理，λ为结 构特征平衡系数，ε为正整数。
步骤2.3：采用分数阶增强模板对超分辨率图像的结构特征E(HS·HT)进行增强，得到增 强后的超分辨率图像。
分数阶运算已经得到了广泛的应用，如工程控制领域以及图像处理领域。对于图像领域 中的纹理及边缘增强，通常的整数阶算子在图像的高频区域有较好的表现，如Sobel，Prewitt 以及Laplacian算子。但是在低频的光滑区域，它们的性能退化严重。而分数阶算子不仅可以 增强高频轮廓特征，同时也可以改善低频区域的纹理及边缘特征。
基于如上的理论，本实施方式中采用分数阶梯度插值的方法来恢复高频图像的细节，这 样可以合成清晰的纹理及细节。
三种基本的分数阶导数定位为G-L、R-L以及Caputo，其中G-L定义应用最为广泛，本 实施方式采用G-L定义，如式(7)所示：
其中，是多项式(1-z)α系数，可以通过公式(8)、(9)迭代运算：
其中，j＝1，2...。
对于二维图像，参数h＝1，因此函数f(t)的α阶导数可以近似为公式(10)所示，即分 数阶增强模板构建：
其中，Γ为伽马函数，t为函数f(t)的参数，f(t)为任意函数，α 为分数阶的阶次，n为公式展开项数，为分数阶导数。
本实施方式中，分数阶增强模板矩阵如图2所示。
步骤2.4：采用最小能量函数公式对超分辨率图像进行模糊核估计。
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如式(11)所示：
其中，E(k)为最小能量函数，HSE为增强后的超分辨率图像增强的边缘，γ为能量函数 平衡系数，k为模糊核函数，为梯度算子。
步骤2.5：采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构。
步骤2.6：判断当前迭代次数是否达到欧设定的迭代次数，若是，得到当前模糊核函数， 执行步骤3，否则，返回步骤2.1。
步骤3：采用变分法重构超分辨率图像，得到超分辨率的最终图像HF。所述采用变分法 重构超分辨率图像的公式如式(12)所示：
其中，E(HF)为超分辨率图像的最小能量函数，β为光滑系数。
最小能量函数的梯度如式(13)所示：
模糊核函数k如式(14)所示：
求解的模糊核函数如式(15)所示：
其中，F*(·)为负共轭算子，F(·)为快速傅里叶变换算子、F-1(·)为反傅里叶变换算子， F(γ)为脉冲函数的傅里叶变换。
实验结果：在实验中，本发明与传统的方法进行了比较，实验结果显示本发明方法在纹 理等细节上有突出的表现。在图像处理过程中，由于RGB颜色模型各通道有颜色退化。所以 采用YUV颜色模型，并且为了简化运算，只采用Y通道实现算法，其它通道采用双立方插值 实现超分辨率。
视觉相似性：实验与传统的方法进行比较，采用伯克利数据库BSDS500。比例因子设置 为4进行超分辨率比较。首先对数据中的图像下采样，分辨率及尺寸为原图像的1/4，之后测 试各种超分辨方法。采用经典的“小孩kid”，“芯片chip”作为测试图像，比较结果如图3所 示：从图中可以看出，本发明采用的方法，明显比其它方法生成的高分辨率图像清晰。小孩 图片可以看出清晰的眼部边缘及帽子的纹理细节，芯片图片可以看出清晰的字母边缘。
纹理相似性：为测试纹理效果及相似性，采用25类图像进行算法比对，并进行定量分析。 进一步估价算法的鲁棒性，采用UIUC纹理数据库进行测试，数据库含有25类纹理图像，测 试值按序排列，便于比较，如图4所示。
图4中纹理图案名称：(1.bark1树皮1；2.bark2树皮2；3.bark3树皮3；4.wood1木头1；5.wood2木头2；6.wood3木头3；7.water水；8.granite花岗岩；9.marble大理石；10.floor1楼梯1；11.floor2楼梯2；13.floor3楼梯3；14.brick1砖1；15.brick2砖2；16.glass1 玻璃1；17.glass2玻璃2；18.carpet1地毯1；19.carpet2地毯2；20.upholstery装饰品 21.wallpaper墙纸；22.fur毛皮；23.knit针织；24.corduroy灯芯绒；25.plaid格子花)。纹 理名称对应图4，1-25的顺序依次为第一行从左到右由小到大依次为序号1-5；第二行从左 到右由小到大依次为序号6-10；其他行亦按此规律。纹理对比曲线参见图5。
为测试算法的鲁棒性，本发明在8倍超分辨率下进行了测试。在大比例的情况下，算法 需要估计更多的未知点，所以通常算法在大比例下会有严重失真，本算法提供的方法可提供 较好的效果。如图6所示，由于尺寸限制，请在放大下观看。
Claims (4)
1.一种基于模糊核估计和变分重构的超分辨率方法，其特征在于，包括以下步骤：
步骤1：获取输入的低分辨率图像L，采用一阶回归和图像先验方法构建其超分辨率图像H；
步骤2：采用金字塔迭代方法对超分辨率图像H进行增强、模糊核估计以及重构，从而获得最优的模糊核函数；
步骤3：采用变分法重构超分辨率图像，得到超分辨率的最终图像HF。
2.根据权利要求1所述的基于模糊核估计和变分重构的超分辨率方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：对输入的低分辨率图像L进行模糊处理，加入高斯模糊，得到模糊图像LB，输入的低分辨率图像L的进行上采样得到模糊图像HB；
步骤1.2：采用一阶回归方法构建低分辨率图像的超分辨率图像公式；
所述低分辨率图像的超分辨率图像公式如下所示：
步骤1.3：通过空间映射，简化构建的超分辩图像公式的一阶导数为常系数，并采用PCA分割映射空间，采用最小能量函数取得最优近似系数作为超分辩图像公式常量系数，从而获得低分辨率图像的超分辨率图像；
所述采用最小能量函数取得最优近似系数的计算公式如下所示：
其中，cof为最优近似系数，即恢复超分辨率的常量系数的近似，G为高斯核函数，*为卷积运算，H为超分辨率图像。
3.根据权利要求1所述的基于模糊核估计和变分重构的超分辨率方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：对超分辨率图像H的图像块的梯度矩阵进行奇异值分解，从而获取超分辨率图像的图像内容Q；
所述对超分辨率图像H的图像块的梯度矩阵进行奇异值分解的公式如下所示：
其中，G为超分辨率图像的图像块的梯度矩阵，V＝[v1 v2]为正交矩阵，v1为超分辨率图像的图像块的梯度矩阵中梯度的主导方向，v2为超分辨率图像的图像块的梯度矩阵中与梯度方向垂直的边缘方向，s1为v1的能量值，s2为v2的能量值；
所述超分辨率图像H的图像内容Q表示如下所示：
步骤2.2：采用纹理-结构区分的最小能量函数，获取超分辨率图像的结构特征E(HS·HT)；
所述超分辨率图像H的结构特征E(Hs·HT)如下所示：
其中，HS为超分辨率图像H的图像结构，HT为超分辨率图像H的图像纹理，λ为结构特征平衡系数，ε为正整数；
步骤2.3：采用分数阶增强模板对超分辨率图像的结构特征E(HS·HT)进行增强，得到增强后的超分辨率图像；
所述分数阶增强模板构建如下所示：
其中，Γ为伽马函数，t为函数f(t)的参数，f(t)为任意函数，α为分数阶的阶次，n为公式展开项数，为分数阶导数；
步骤2.4：采用最小能量函数公式对超分辨率图像进行模糊核估计；
所述采用最小能量函数公式对超分辨率图像进行模糊核估计的公式如下所示：
其中，E(k)为最小能量函数，HSE为增强后的超分辨率图像增强的边缘，γ为能量函数平衡系数，k为模糊核函数，为梯度算子；
步骤2.5：采用步骤2.4获得的模糊核函数对超分辨率图像H进行重构；
步骤2.6：判断当前迭代次数是否达到欧设定的迭代次数，若是，得到当前模糊核函数，执行步骤3，否则，返回步骤2.1。
4.根据权利要求1所述的基于模糊核估计和变分重构的超分辨率方法，其特征在于，所述采用变分法重构超分辨率图像的公式如下所示：
其中，E(HF)为超分辨率图像的最小能量函数，β为光滑系数，HF为超分辨率的最终图像，k为模糊核函数，为梯度算子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810244462.6A CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810244462.6A CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108492270A true CN108492270A (zh) | 2018-09-04 |
| CN108492270B CN108492270B (zh) | 2021-09-21 |
Family
ID=63319644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810244462.6A Active CN108492270B (zh) | 2018-03-23 | 2018-03-23 | 一种基于模糊核估计和变分重构的超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492270B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN111369442A (zh) * | 2020-03-10 | 2020-07-03 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
| CN112150354A (zh) * | 2019-06-26 | 2020-12-29 | 四川大学 | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 |
| CN112634144A (zh) * | 2020-11-20 | 2021-04-09 | 深圳市优象计算技术有限公司 | 一种基于分数阶微分的医学图像增强方法及系统 |
| CN113096013A (zh) * | 2021-03-31 | 2021-07-09 | 南京理工大学 | 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 |
| CN113963354A (zh) * | 2021-12-16 | 2022-01-21 | 深圳市活力天汇科技股份有限公司 | 一种获取订单编号的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
| CN103559693A (zh) * | 2013-11-18 | 2014-02-05 | 东南大学 | 一种基于非连续性指示符的图像局部结构自适应复原方法 |
| CN105488759A (zh) * | 2015-12-09 | 2016-04-13 | 南京邮电大学 | 一种基于局部回归模型的图像超分辨率重建方法 |
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| CN106910215A (zh) * | 2017-03-15 | 2017-06-30 | 沈阳理工大学 | 一种基于分数阶梯度插值的超分辨率方法 |
| CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
-
2018
- 2018-03-23 CN CN201810244462.6A patent/CN108492270B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
| CN103559693A (zh) * | 2013-11-18 | 2014-02-05 | 东南大学 | 一种基于非连续性指示符的图像局部结构自适应复原方法 |
| CN105488759A (zh) * | 2015-12-09 | 2016-04-13 | 南京邮电大学 | 一种基于局部回归模型的图像超分辨率重建方法 |
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| CN106910215A (zh) * | 2017-03-15 | 2017-06-30 | 沈阳理工大学 | 一种基于分数阶梯度插值的超分辨率方法 |
| CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| JIANCHAO YANG等: "Fast Image Super-resolution Based on In-place Example Regression", 《CVPR2013》 * |
| JINSHAN PAN等: "Kernel Estimation from Salient Structure for Robust Motion Deblurring", 《ARXIV:1212.1073V2》 * |
| KANG YONG-RIM等: "Novel Super-Resolution Method Based on High Order Nonlocal-Means", 《ARXIV:1503.04253》 * |
| SUNDARESH RAM等: "Image Super-Resolution Using Graph Regularized Block Sparse Representation", 《SSIAI2016》 * |
| XIANGPAN 等: "Noncausal fractional directional differentiator and blind deconvoluation: motion blur estimation", 《MULTIMED TOOLS APPL》 * |
| YING FU等: "Image Motion Restoration Using Fractional-Order Gradient Prior", 《INFORMATICA》 * |
| 郑国建等: "基于显著区域检测的模糊核优化算法研究", 《军事通信技术》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN112150354A (zh) * | 2019-06-26 | 2020-12-29 | 四川大学 | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 |
| CN111369442A (zh) * | 2020-03-10 | 2020-07-03 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
| CN111369442B (zh) * | 2020-03-10 | 2022-03-15 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
| CN112634144A (zh) * | 2020-11-20 | 2021-04-09 | 深圳市优象计算技术有限公司 | 一种基于分数阶微分的医学图像增强方法及系统 |
| CN113096013A (zh) * | 2021-03-31 | 2021-07-09 | 南京理工大学 | 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统 |
| CN113963354A (zh) * | 2021-12-16 | 2022-01-21 | 深圳市活力天汇科技股份有限公司 | 一种获取订单编号的方法和装置 |
| CN113963354B (zh) * | 2021-12-16 | 2022-04-12 | 深圳市活力天汇科技股份有限公司 | 一种获取订单编号的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108492270B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
| CN108492270A (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
| Zhang et al. | High-quality image restoration using low-rank patch regularization and global structure sparsity | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| Chen et al. | SAR image despeckling based on combination of fractional-order total variation and nonlocal low rank regularization | |
| CN106910215B (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| Lu et al. | A deep learning method for image super-resolution based on geometric similarity | |
| CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及系统 | |
| Hui et al. | Lightweight image super-resolution with feature enhancement residual network | |
| Liu et al. | Multi-filters guided low-rank tensor coding for image inpainting | |
| Mo et al. | The research of image inpainting algorithm using self-adaptive group structure and sparse representation | |
| Cao et al. | CS-MRI reconstruction based on analysis dictionary learning and manifold structure regularization | |
| Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
| Wei et al. | Channel rearrangement multi-branch network for image super-resolution | |
| Wu et al. | Feedback pyramid attention networks for single image super-resolution | |
| Li | Image super-resolution using attention based densenet with residual deconvolution | |
| Bai et al. | MSPNet: Multi-stage progressive network for image denoising | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| CN112837220A (zh) | 一种提高红外图像分辨率的方法及其用途 | |
| Mengbei et al. | Overview of research on image super-resolution reconstruction | |
| Yang et al. | Example-based image super-resolution via blur kernel estimation and variational reconstruction | |
| Yin et al. | Fractional-order difference curvature-driven fractional anisotropic diffusion equation for image super-resolution | |
| Amiri et al. | A fast video super resolution for facial image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |