CN110599402A - 一种基于多特征稀疏表示的图像超分辨率重建方法 - Google Patents
一种基于多特征稀疏表示的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110599402A CN110599402A CN201910812119.1A CN201910812119A CN110599402A CN 110599402 A CN110599402 A CN 110599402A CN 201910812119 A CN201910812119 A CN 201910812119A CN 110599402 A CN110599402 A CN 110599402A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- resolution
- edge
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 230000000694 effects Effects 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 54
- 235000020061 kirsch Nutrition 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000003706 image smoothing Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 241000282330 Procyon lotor Species 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000287530 Psittaciformes Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多特征稀疏表示的图像超分辨率重建方法。该方法利用稀疏字典学习重建彩色图像的亮度通道，利用边缘插值方法重建CbCr通道，有效地提高图像边缘的清晰度。在亮度通道的重建过程中，本发明的方法利用多特征融合从多方面恢复图像的高频信息，并根据人眼的视觉特性去除过平滑的区域，保留含有高频信息的显著性区域。通过联合字典学习获得过完备字典，使得高分辨率图像块的稀疏表示与相对应的低分辨率图像块的稀疏表示相关联。在图像重建过程中结合局部加权约束正则化约束条件，使得稀疏表示系数的估计结果更加准确有效，最终得到重建的高分辨率图像。实验结果表明，我们的方法具有较好的重建效果，能够得到边缘更加清晰的重建图像。
Description
技术领域
本发明属于图像超分辨率重建技术领域，具体涉及一种基于多特征稀疏表示的图像超分辨率重建方法。
背景技术
科学研究表明，人类获取信息的主要途径是视觉[1]。在各种获取信息的渠道中，通过视觉获取的信息所占比例高达75％。而图像又是人类视觉信息的主要载体，能够直观形象地传递信息。所以，图像处理技术成为了当今世界的一大研究热点，并具有广阔的应用前景和应用价值。
随着图像处理技术的不断发展，人们对图像质量的要求也逐渐提高。图像分辨率是衡量图像质量的一个标准。图像分辨率越高，图像中的信息量越多。由于成像设备的硬件限制，在成像过程中通常会受到诸多干扰因素的影响，拍摄到的照片存在细节丢失、画质较差的问题。为获得高分辨率图像，利用增大传感器成像芯片尺寸来提高图像的分辨率是最直接的方法，但这样存在着成本高、研究周期长、提升空间有限以及普及性差的问题，是当前传感器成像设备改进技术上难以突破的瓶颈。所以，鉴于硬件方面的局限性，利用软件方法来提高图像的分辨率就变得越来越重要。
图像超分辨率(Super-Resolution，SR)重建技术是一种利用单帧或者多帧低分辨率图像，通过对图像信息的互补融合，以时间带宽换取空间分辨率，使得重建后图像的视觉效果超过任何一帧低分辨率图像的信号处理方法。近年来，图像超分辨率重建技术在许多领域都有着十分重要的应用。
图像超分辨率重建的概念是在20世纪60年代提出的。近年来，随着信息处理技术的发展，图像超分辨率重建方法层出不穷。目前为止，根据算法和模型原理的不同可以划分为三大类：基于插值的图像超分辨率重建方法、基于重构的图像超分辨率重建方法和基于学习的图像超分辨率重建方法。
(1)基于插值的图像超分辨率重建方法
该类方法主要针对单帧图像，通过运动估计将低分辨率图像像素映射到高分辨率图像网格中，高分辨率图像网格中的像素值由插值得到。该类方法易于实时处理和并行计算，但是由于没有合理引入图像的观测模型和先验知识，重建图像的图像质量恢复能力有限，视觉效果不够理想。
(2)基于重构的图像超分辨率重建方法
该类方法主要利用多帧低分辨率图像的冗余信息恢复高频信息，分为频域法和空域法。空域法比频域法的适用范围更广，经典空域法包括以下几种：
非均匀插值法(Non-Uniform Interpolation Method，NUI)：主要通过运动估计、图像配准和重建获得高分辨率图像，如文献[2]。凸集投影法(Projection Onto ConvexSets，POCS)：利用多种先验知识，能够较好的保存图像的细节信息，但计算复杂度相对较高，且解不唯一，难以满足许多具体问题的需求。迭代反投影法(Iterative BackProjection，IBP)：其基本思想是计算由图像模糊后得到的模拟低分辨率图像与观测得到的低分辨率图像的差值，并将差值投影到估计的高分辨率图像上，反复迭代直至满足条件停止。该类方法简单快捷，但反向投影算子难以确定，且解不唯一。最大后验概率(MaximumA Posterior，MAP)方法：优点是在图像重建过程中添加先验知识进行正则化约束，最新研究如文献[3]中提出的图像重建方法。
(3)基于学习的图像超分辨率重建方法
主要针对单帧图像进行重建。利用机器学习方法学习高-低分辨率图像之间的映射关系重建图像细节信息。随着深度学习技术的广泛应用，基于深度学习的图像超分辨率重建方法应运而生。最具有代表性的是2015年Dong 等人[4]利用卷积神经网络学习高-低分辨率图像之间的对比特征，算法重建效果好，使图像超分辨率重建技术得到进一步的发展。
随着压缩感知理论[5]的发展，稀疏表示的概念被引入到了图像超分辨率重建领域中。Yang等人在文献[6,7]中提出了基于稀疏表示的图像超分辨率重建方法。该方法对噪声鲁棒性高，重建效果非常显著。但是，由于在特征选用方面忽略了图像边缘信息的重要性，使重建质量受到了一定程度的影响。 Gao等人提出了一种稀疏邻域选择的方法[8]用于图像超分辨率重建。Dong 等人在[9]中基于稀疏表示重建模型的基础上结合图像的非局部自相似性，提出了一种局部自回归模型，有效地抑制了图像边缘的振铃效应。随后，他们又在文献[10]中采用图像的非局部自相似性估计图像的稀疏编码系数，能够有效的恢复图像的高频信息，得到较好的重建效果。基于稀疏表示的图像超分辨率重建方法具有很强的自适应性、通用性，能够恢复更多的图像细节信息，超分辨率重建效果好，具有深入研究的价值和意义。
参考文献：
[1]R.C.Gonzalez,R.E.Woods.Digital Image Processing[M].Upper SaddleRiver,N.J.:Prentice Hall,2002:299-300.
[2]F.Zhou,S.Xia,Q.Liao.Nonlocal Pixel Selection for MultisurfaceFitting- Based Super Resolution[J].IEEE Transactions on Circuits and Systemsfor Video Technology,2014,24(12):2013-2017.
[3]X.Wang,D.Zhou,N.Zeng,X.Yu.Super-Resolution Image ReconstructionUsing Surface Fitting Based on Neighborhood Expansion[J].Journal of VisualCommunication and Image Representation,2018,53:65-75.
[4]C.Dong,C.C.Loy.Image Super-Resolution Using Deep ConvolutionalNetworks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-306.
[5]D.L.Donoho.Compressed sensing[J].IEEE Transactions on InformationTheory,2006,52(4):1289-1306.
[6]J.Yang,J.Wright.Image super-resolution as sparse representation ofraw image patches[C].IEEE Conference on Computer Vision and PatternRecognition,2008:1-8.
[7]J.Yang,J.Wright,T.Huang.Image super-resolution via sparserepresentation [J].IEEE Transactions on Image processing,2010,19(11):2861-2873.
[8]X.Gao,K.Zhang,D.Tao,X.Li.Image Super Resolution With SparseNeighbor Embedding[J].IEEE Transactions on Image processing,2012, 21(7):3194-3205.
[9]W.Dong,L.Zhang,R.Lukac,G.Shi.Sparse representation based imageinterpolation with nonlocal autoregressive modeling[J].IEEE Transactions onImage processing,2013,22(4):1382-1394.
[10]W.Dong,L.Zhang,G.Shi,X.Li.Nonlocally Centralized SparseRepresentation for Image Restoration[J].IEEE Transactions on Imageprocessing,2013,22(4):1620-1630.
[11]M.Elad,A.Feuer.Restoration of a single super-resolution imagefrom several blurred,noisy,and undersampled measured images[J].IEEETransactions on Image Processing,1997,6(12):1646-1658.
[12]D.L.Donoho.For most large underdetermined systems of equations,the minimal l1-norm near solution approximates the sparsest near-solution[J].Communications on Pure and Applied Mathematics,2006,59(7):907-934.
[13]J.Candes,M.B.Wakin,S.Boyd.Enhancing Sparsity by Reweighted l1Minimization[J].Journal of Fourier Analysis and Applications,2008,14(32):877-905.
[14]D.Dai,R.Timofte,L.Van.Jointly Optimized Regressors for ImageSuper- resolution[J].Computer Graphics Forum,2015,34(2):95-104.
[15]Y.Romano,J.Lsidoro,P.Milanfar.RAISR:Rapid and Accurate ImageSuper Resolution[C].IEEE Conference on Computational Imaging,2017, 3(1):110-125.
发明内容
本发明的目的是提供一种基于多特征稀疏表示的图像超分辨率重建方法，解决了现有技术中存在的图像边缘的清晰度不佳的问题。该方法利用稀疏字典学习重建彩色图像的亮度通道的细节特征，利用边缘插值方法重建 CbCr通道，有效地提高了图像边缘的清晰度。
本发明在亮度通道的重建过程中，分别提取多种特征，联合恢复图像的高频信息，并根据人眼对高频信息更加敏感的视觉特性去除图像中过平滑的区域，保留含有高频信息的显著性区域。通过联合训练学习，使得高分辨率图像块的稀疏表示与对应的低分辨率图像块的稀疏表示相同。在图像重建过程中结合局部加权约束正则化项约束，使得稀疏表示系数的估计结果更加准确有效。
本发明的有益效果是：
(1)提供了一种基于多特征融合和稀疏表示的图像超分辨率重建方法。
(2)在本发明的方法中，我们利用稀疏字典学习重建彩色图像的亮度通道的细节特征并恢复高频成分。
(3)在亮度通道的重建过程中，我们提出一种多特征融合的联合特征表示方式，从多个方面恢复图像的高频信息，并根据人眼对高频信息更加敏感的视觉特性去除图像中过平滑的区域，保留含有高频信息的显著性区域，得到最终的训练样本。
(4)在图像重建过程中结合局部加权约束正则化项约束，使得稀疏表示系数的估计结果更加准确有效。
(5)本发明的方法有效地减弱了重建图像的振铃现象，具有较好的重建效果，重建图像的视觉效果和数值评价结果都更优于对比方法，并具有较高的计算效率。
(6)本发明的方法能够克服硬件条件的限制，从信号处理的角度提高图像的分辨率。
附图说明
图1为本发明重建方法的Kirsch算子3×3邻域的编号规则；
图2为本发明重建方法的低分辨率图像特征的生成过程；
图3为本发明重建方法的边缘插值示意图；
图4为本发明重建方法的测试图像示例；
图5为本发明重建方法不同阈值下重建图像平均峰值信噪比；
图6为本发明重建方法实施例中使用不同方法对Butterfly图的超分辨率重建结果对比图；
图7为本发明重建方法实施例中使用不同方法对Bike图的超分辨率重建结果对比图；
图8为本发明重建方法实施例中使用不同方法对Raccoon图的超分辨率重建结果对比图；
图9为本发明重建方法的总流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于多特征稀疏表示的图像超分辨率重建方法，包括以下步骤：
步骤1.特征选择
由于图像退化过程损失的通常是纹理和边缘等高频信息，因此图像超分辨率重建的任务应该要重点恢复这两种信息。本发明的方法使用改进的 Kirsch边缘提取算子和两组梯度提取算子相结合提取图像高频特征。
步骤1.1.改进的Kirsch边缘提取
Kirsch边缘提取算子是一种模板匹配算子，图1为Kirsch算子3×3邻域的编号规则，它采用8个3×3的卷积模板对图像进行卷积操作寻找8个预设方向的最强边缘梯度，该最强边缘梯度即为像素点的梯度幅度值和梯度方向。8个3×3的卷积模板为：
这8个模板代表8个方向，通过卷积计算所有方向得到的最大梯度即为边缘大小。假设图像中一点g(i,j)及其周边3×3的邻域的编号规则如图1所示，H(i,j)为经过Kirsch边缘提取算子卷积计算得到的灰度值。则
H(i,j)＝max{|Hk(i,j)|,k＝0,1,2,…,7} (1)
其中表示图像与第n个模板卷积计算的结果。
Kirsch边缘提取算子的定义如下：
H(i,j)＝max{|5tk-3uk|,k＝0,1,2,…,7} (2)
其中，tk＝Fk+Fk+1+Fk+2，uk＝Fk+3+Fk+4+Fk+5+Fk+6+Fk+7，Fk的下标是模8的余数。
考虑到Kirsch边缘提取算子在提取图像边缘特征时，选取梯度值最大的方向模板作为像素点的边缘值和方向，存在着边缘连续性较差的问题，所以我们对Kirsch边缘提取算子进行改进。
依然用H(i,j)表示图像经过Kirsch边缘提取算子卷积计算得到的灰度值，不同的是将8个方向模板卷积计算的最小值作为图像的边缘大小。
H(i,j)＝min{|Hk(i,j)|,k＝0,1,2,…,7} (3)
将Kirsch边缘提取算子重新定义如下：
H(i,j)＝min{|5tk-3uk|,k＝0,1,2,…,7} (4)
其中，tk＝Fk+Fk+1+Fk+2，uk＝Fk+3+Fk+4+Fk+5+Fk+6+Fk+7，Fk的下标是模8 的余数。
步骤1.2提取图像的纹理特征
梯度提取算子：
利用梯度提取算子提取图像的纹理特征。
步骤1.3特征融合
利用改进的Kirsch边缘提取算子提取图像的边缘特征，结合梯度提取算子，联合表示图像的高频特征，记为
图2所示为低分辨率图像特征的生成过程
步骤2.多特征联合表征建模
步骤2.1利用降质模型获取高-低分辨率图像训练样本对
将原始图像样本集Y＝[Y1,Y2,…,YO]作为高分辨率图像样本，采用文献[11] 中的降质模型：
Z＝E·C·N·Y+o (7)
其中E表示下采样矩阵，C为模糊因子，N为运动补偿矩阵，o表示高斯加性噪声。
利用该降质模型对高分辨率图像样本进行下采样、模糊、加噪等退化操作，得到与高分辨率图像对应的低分辨率图像样本Z＝[Z1,Z2,…,ZO]。
为了更好的表征训练库中的图像信息，我们提取图像的特征，每个图像样本对(Yk,Zk)都由所对应的特征表示，其中k＝1,2,…,O。
步骤2.2建立多种特征融合的联合表征模型
(1)特征提取：定义Zmap＝GM(Z)表示从低分辨率图像样本集 Z＝[Z1,Z2,…,Zk,…,ZO]中的图像Zk提取的特征，其中GM()表示对低分辨率图像进行的特征提取操作。同样地，Ymap＝GI(Y)表示从高分辨率图像样本集 Y＝[Y1,Y2,…,YO]提取的特征，GI()表示对高分辨率图像进行的特征提取操作。
假设对低分辨率图像样本集Z＝[Z1,Z2,…,ZO]提取N种不同的图像特征，将提取的特征记为即其中表示对低分辨率图像样本进行的第n种特征提取操作。
(2)特征表示：将提取的图像特征进行分块处理，把每一块作为稀疏表示的基本单元。定义块的大小为则其中，为第n种特征位于第i个位置的特征块，i＝1,2,…,H，H是特征块的数量。将同一位置的N种不同的特征块转化成特征向量并进行级联得到位置i的特征表示，即：
其中表示特征块的向量。zi表示低分辨率图像特征中第i个位置的特征表示。
特征向量的生成过程如图2所示，首先，对输入的低分辨率图像样本提取N种不同的特征生成多个图像特征；其次，在N个特征图的同一位置提取大小为的特征块，并转换成向量表示；最后将N个特征向量进行级联得到特征块的特征向量。
将高分辨率图像样本数据集Y＝[Y1,Y2,…,YO]的高频特征记为Ymap＝GI(Y)，把高分辨率特征图也分成H块，则
其中，为第n种特征位于第i个位置的特征块，i＝1,2,…,H。将同一位置的N种不同的特征块转化成特征向量并进行级联得到位置i的特征，即：
这样，同一位置i的高/低分辨率图像特征块对为{yi,zi}。在本发明的方法中，将对应的高分辨率图像和低分辨率图像之间的差值作为高频特征，即
gi＝yi-zi
步骤2.3剔除过平滑图像特征块，保留含有高频信息的显著性区域
考虑到人眼的视觉特性，对高频信息更加敏感，为了避免图像平滑区域对实验结果的影响，我们计算每个高分辨率图像块的方差：
其中Jt，Ju分别为高分辨率图像特征块中第t，u个像素值，o为高分辨率图像特征块中的像素总数。通过方差判别高分辨率图像特征块中高频信息是否丰富，对于过平滑的图像块，由于提取的高频特征效果并不理想，直接影响字典训练，使相应的高分辨率图像块与低分辨率图像块之间难以建立良好的映射关系，影响了稀疏表示系数的确定。因此，为了提高算法的精确性并缩短搜索时间，我们通过下列算法剔除过平滑图像特征块：
设定阈值Threshold，定义判别准则如下：
如果
通过设置阈值Threshold的大小进行筛选，得到有效的图像特征块对 {yi,zi}。经过实验验证，阈值大小设定为10时既可以得到较好的图像重建效果，同时也避免了在训练过程中出现过拟合现象影响实验结果。
步骤3.联合字典学习
我们已经得到训练库中所有的图像特征块对{yi,zi}，则高分辨率图像特征块集合可以表示为Yv＝{y1,y2,…,yo}，低分辨率图像特征块集合表示为 Zm＝{z1,z2,…,zo}，训练样本库中图像特征块对表示为Q＝{Yv,Zm}。
这一步骤的目的是通过联合训练图像样本学习得到高分辨率字典Ev和低分辨率字典Em，使得高分辨率图像块的稀疏表示与相对应的低分辨率图像块的稀疏表示相同。我们采用单个的字典训练模型，如下式：
其中R是稀疏表示系数矩阵，λ是正则化参数。
利用公式(12)对高分辨率特征块集合和低分辨率特征块分别进行训练，则高分辨率字典Ev和低分辨率字典Em分别表示为：
将公式(13)和(14)合并，使得高分辨率图像和低分辨率图像有相同的稀疏表示，则：
其中O是高分辨率图像块向量形式的维度，N是低分辨率图像块向量形式的维度。再将公式(15)进行简化得到：
其中，
因此，这样就可以使用单字典学习方法来训练双字典。
步骤4.图像超分辨率重建
通过(K-means singular value decomposition，K-SVD)算法训练得到过完备字典Ev和Em，保证了每一对高/低分辨率图像有着相同的稀疏表示。对于每一个输入的图像块，都能由对应的过完备字典和稀疏表示系数表示：
y＝Evα (17)
则高分辨率图像y可以通过训练得到的高分辨率字典Ev稀疏线性表示。其中，稀疏表示系数α由低分辨率图像z和低分辨率字典Em估计得到。
由z＝Emα估计稀疏表示系数α，求解公式为：
其中，ε为误差。用图像高频特征代替图像本身进行重建，公式(18)转化为：
其中，G()表示步骤2.2中的特征提取操作。公式(19)是一个NP-Hard 问题，在文献[12]中已经证明了该非凸优化问题可以由l1范数凸优化问题求解。在保证α足够稀疏的条件下，求解l0范数的最小化问题即为解决l1范数的最小化。即
利用Lagrange乘子将(20)等价变换为无约束问题：
其中，λ为平衡因子，用于权衡稀疏度和准确度。l0范数问题是求解稀疏表示系数α中非零元素个数的问题，l1范数为了减少l1范数与l0范数之间的转换误差，我们采用文献[13]中的局部加权正则化的思想，将公式(21)转化为：
其中，λi为正权值，通过迭代更新计算得到：
这里ε＞0，保证中的零元素不影响下一次的迭代更新，将维持在一定范围内。
由于所提取的图像特征块与相邻块有一定的重叠区域，而公式(22)的求解只针对单独的特征块，无法保证与相邻特征块的兼容性。为了解决这个问题，我们采用光栅扫描的方法从左到右、从上到下处理图像，使其满足与邻近块的兼容性。目标函数为：
这里S为当前特征块与前一重建的高分辨率块的重叠区域，x为该重叠区域高频分量的估计值。将公式(24)进行简化得到：
其中，
为了提高图像重建的速度和重建效果，我们采用正则化正交匹配追踪算法求解式(25)中稀疏表示系数α*，由(18)式重建高分辨率图像块y＝Evα*，将所有高分辨率图像块进行组合得到重建图像的初始估计结果Y0。
考虑到噪声因素的影响，重建的高分辨率图像Y0不能完全满足降质模型的全局重建约束Z＝ECN·Y，其中E表示下采样矩阵，C为模糊因子，N为运动补偿矩阵。为了使Y0满足全局重建约束，建立约束目标函数为：
整理为
采用梯度下降方法求解公式(27)，其迭代求解过程的更新方程为
Yu+1＝Yu+w[NTCTET(Z-ECN·Yu)+d(Y-Y0)] (28)
其中，Yu是第u次迭代估计的高分辨率图像，w表示梯度下降的步长，Y* 为最终重建的高分辨率图像。
步骤5.边缘插值
本发明的图像超分辨率重建方法对彩色图像的亮度通道进行稀疏重建，对Cb和Cr通道采用边缘插值算法提高重建效果，图3为边缘插值示意图。
在采用边缘插值方法重建图像时，首先将图像的边缘部分与非边缘部分进行划分，在不同部分进行不同的插值处理。如图3所示，P为待插值点，与周围四个像素点a、b、c、d构成插值区域。设定一个阈值，分别计算四个像素点的梯度值大小，小于阈值的定义为平坦区域，大于阈值的为边缘区域。对于平坦区域进行双线性插值，边缘区域则基于边缘主导方向进行插值。
将图3中点b作为原点，过待插值点P做一条直线，使其与图像的边缘主导方向平行，该直线方程表示为：
z＝(y-w)tanθ+1-c (29)
其中θ为边缘主导方向。点e，f分别由a，b两点和c，d两点线性插值得到，待插值点P即可由e，f两点插值得到。采用边缘插值方法重建图像的 CbCr颜色通道能够有效地提高图像边缘的清晰度，提高图像的重建效果，整个流程如图9所示。
本发明超分辨率重建方法的几组实施例仿真实验结果：
(1)特征分析与选择测试结果
为了提供特征提取方法的选择依据，我们分别使用DCT系数、一阶、二阶梯度特征、Gabor变换、边缘提取算子、纹理提取等高频特征提取方法提取特征，分别训练学习字典，对测试图像，部分测试图像如图4所示，进行超分辨率重建。将得到的高分辨率图像与文献[7]中Yang的重建图像进行数值比较分析，并使用客观图像质量评价标准--峰值信噪比(PSNR)进行数值比较，具体结果见表1。其中：
①表示Yang的方法[7]；
②表示两组梯度提取算子联合提取高频特征：
③表示三组梯度提取算子联合提取高频特征：
④表示DCT系数与②中的两组梯度提取算子联合提取高频特征；
⑤表示Canny算子与②中的两组梯度提取算子联合提取高频特征；
⑥表示Gabor变换与②中的两组梯度提取算子联合提取高频特征；
⑦表示Kirsch边缘提取算子与②中的两组梯度提取算子联合提取高频特征；
⑧表示改进的Kirsch边缘提取算子与②中的两组梯度提取算子联合提取高频特征；
⑨表示改进的Kirsch边缘提取算子与③中的三组梯度提取算子联合提取高频特征。
表1.超分辨率重建图像的峰值信噪比(PSNR)数值比较结果
| Image | ① | ② | ③ | ④ | ⑤ | ⑥ | ⑦ | ⑧ | ⑨ |
| face | 35.59 | 35.64 | 35.65 | 35.63 | 35.65 | 35.61 | 35.64 | 35.65 | 35.65 |
| lena | 34.32 | 34.73 | 34.71 | 34.67 | 34.76 | 34.48 | 34.76 | 34.76 | 34.70 |
| leaves | 29.96 | 30.96 | 30.92 | 30.75 | 31.06 | 30.59 | 30.94 | 31.06 | 30.94 |
| hat | 33.57 | 33.80 | 33.84 | 33.71 | 33.86 | 33.52 | 33.79 | 33.85 | 33.80 |
| butterf | 30.32 | 30.74 | 30.75 | 30.49 | 30.85 | 30.53 | 30.74 | 30.95 | 30.74 |
| flower | 32.26 | 32.60 | 32.57 | 32.52 | 32.62 | 32.33 | 32.58 | 32.63 | 32.58 |
| plants | 36.47 | 36.95 | 37.02 | 36.84 | 37.03 | 36.59 | 36.95 | 37.05 | 36.98 |
| parrot | 33.44 | 33.73 | 33.66 | 33.61 | 33.79 | 33.48 | 33.73 | 33.83 | 33.69 |
| raccoo | 30.95 | 31.12 | 31.13 | 31.09 | 31.13 | 31.03 | 31.15 | 31.15 | 31.14 |
| bike | 27.79 | 28.00 | 28.05 | 27.94 | 28.09 | 27.78 | 28.07 | 28.09 | 28.03 |
| averag | 32.47 | 32.83 | 32.83 | 32.72 | 32.88 | 32.59 | 32.83 | 32.90 | 32.82 |
从表1的数值结果可以看出，使用多特征联合模型提取特征进行超分辨率重建，图像的重建效果要明显优于文献[7]中Yang的图像重建结果。其中，黑色高亮的数值代表所有比较的方法中结果最好的。从表1可见，使用方法⑧，重建的高分辨率图像的PSNR数值结果要优于其它特征组合得到的结果，同时改进的Kirsch边缘提取算子并未增加计算成本。因此，本发明的方法使用⑧，将图像纹理特征与边缘特征联合的特征提取方法，更充分地表达了图像的高频细节信息，从而提高了重建图像的质量。
(2)阈值的确定
在本发明的方法在，为了避免图像中过平滑区域对重建效果的影响，我们提出了一种过平滑区域剔除方法，通过设定阈值，只保留方差比阈值大的图像特征块，这些保留下来的图像块含有丰富的图像细节信息，由此得到的训练字典在进行图像重建时更具有价值。为了得到合理的阈值，我们采用动态的方法针对阈值的不同大小分别进行实验，对测试库中的所有图像进行超分辨率重建。图5中曲线为所有测试图像经过超分辨率重建后的峰值信噪比平均值。从图5中可知，阈值越大时，图像重建的效果越好；同样地，阈值越大，可用于训练的图像样本对越少。为了避免样本量过少，在训练字典的过程中出现过拟合现象影响实验结果，我们最终将阈值确定为10，此时图像块对数量为79921，保证了实验结果的有效性。
(3)实验结果及比较分析
为进一步验证本发明方法的有效性，我们分别与几种先进的超分辨率图像重建算法进行比较。这些对比算法分别是双三次插值(Bicubic)方法、文献[7]中Yang的方法(ScSR)、文献[10]中的方法(NCSR)、文献[14]中的方法(JOR)和文献[15]中的方法(RAISR)。我们分别比较并分析重建图像的视觉效果和数值结果。表2中给出了几种方法的峰值信噪比(PSNR)，表3中给出了重建图像的特征相似性指标(FSIMc)。由数值比较结果可以看出，本发明的方法效果更好，峰值信噪比PSNR比Yang的方法(ScSR)平均提高了0.45dB，特征相似性指标FSIMc也明显高于其它几种图像重建方法。
从图像质量的客观评价标准可以看出，无论是峰值信噪比(PSNR)还是特征相似性指标(FSIMc)，本发明的方法都更具有优越性。
在主观视觉效果上，我们也与几种先进算法进行了比较，图6-8分别为几种算法的重建图像，以及局部区域放大2倍后的视觉效果图。其中，
表2.几种图像超分辨率重建方法的PSNR值
| 测试图像 | Bicubic | ScSR | NCSR | JOR | RAISR | 本发明的方法 |
| face | 34.8348 | 35.5900 | 34.6814 | 34.9209 | 34.8211 | 35.6510 |
| lena | 32.7947 | 34.3263 | 33.8086 | 33.9270 | 33.3368 | 34.7663 |
| leaves | 27.4438 | 29.9677 | 30.9851 | 29.3469 | 28.2996 | 31.0659 |
| hat | 31.7267 | 33.5776 | 33.0598 | 32.9717 | 32.5716 | 33.8537 |
| butterfly | 27.4568 | 30.3203 | 30.4672 | 29.9878 | 28.4218 | 30.9513 |
| flower | 30.4480 | 32.2629 | 31.5628 | 31.3344 | 31.2368 | 32.6399 |
| plants | 34.3122 | 36.4785 | 36.1249 | 36.3279 | 35.3184 | 37.0577 |
| parrots | 31.3752 | 33.4461 | 32.7073 | 32.2055 | 32.0214 | 33.8313 |
| raccoon | 29.7655 | 30.9564 | 29.8068 | 30.1478 | 30.2974 | 31.1557 |
| bike | 25.6556 | 27.7931 | 27.0734 | 26.6911 | 26.5915 | 28.0998 |
| average | 30.5813 | 32.4719 | 32.0277 | 31.7861 | 31.2916 | 32.9073 |
表3.用几种方法重建的图像的FSIMc值
| 测试图像 | Bicubic | ScSR | NCSR | JOR | RAISR | 本发明的方法 |
| face | 0.9284 | 0.9502 | 0.9246 | 0.9293 | 0.9409 | 0.9511 |
| lena | 0.9406 | 0.9569 | 0.9466 | 0.9531 | 0.9520 | 0.9625 |
| leaves | 0.8895 | 0.9292 | 0.9374 | 0.9373 | 0.9299 | 0.9497 |
| hat | 0.9113 | 0.9436 | 0.9289 | 0.9290 | 0.9356 | 0.9472 |
| butterfly | 0.8830 | 0.9199 | 0.9261 | 0.9376 | 0.9204 | 0.9343 |
| flower | 0.9151 | 0.9405 | 0.9265 | 0.9292 | 0.9340 | 0.9463 |
| plants | 0.9377 | 0.9607 | 0.9489 | 0.9589 | 0.9549 | 0.9664 |
| parrots | 0.9502 | 0.9664 | 0.9544 | 0.9576 | 0.9588 | 0.9690 |
| raccoon | 0.8962 | 0.9309 | 0.8977 | 0.8976 | 0.9190 | 0.9324 |
| bike | 0.8760 | 0.9196 | 0.8984 | 0.9059 | 0.9066 | 0.9263 |
| average | 0.9128 | 0.9418 | 0.9290 | 0.9336 | 0.9352 | 0.9485 |
图6(a)为用Bicubic方法对Butterfly图的超分辨率重建结果；
图6(b)为用文献[7]的ScSR方法对Butterfly图的超分辨率重建结果；
图6(c)为用文献[10]的NCSR方法对Butterfly图的超分辨率重建结果；
图6(d)为用文献[14]的JOR方法对Butterfly图的超分辨率重建结果；
图6(e)为用文献[15]的RAISR方法对Butterfly图的超分辨率重建结果；
图6(f)为用本发明的方法对Butterfly图的超分辨率重建结果；
图7(a)为用Bicubic方法对Bike图的超分辨率重建结果；
图7(b)为用文献[7]的ScSR方法对Bike图的超分辨率重建结果；
图7(c)为用文献[10]的NCSR方法对Bike图的超分辨率重建结果；
图7(d)为用文献[14]的JOR方法对Bike图的超分辨率重建结果；
图7(e)为用文献[15]的RAISR方法对Bike图的超分辨率重建结果；
图7(f)为用本发明的方法对Bike图的超分辨率重建结果；
图8(a)为用Bicubic方法对Raccoon图的超分辨率重建结果；
图8(b)为用文献[7]的ScSR方法对Raccoon图的超分辨率重建结果；
图8(c)为用文献[10]的NCSR方法对Raccoon图的超分辨率重建结果；图8(d)为用文献[14]的JOR方法对Raccoon图的超分辨率重建结果；
图8(e)为用文献[15]的RAISR方法对Raccoon图的超分辨率重建结果；
图8(f)为用本发明的方法对Raccoon图的超分辨率重建结果。
从图6(a)、图7(a)和图8(a)可以看出，Bicubic方法超分辨率重建后的图像都存在着边缘锯齿现象非常明显的问题，重建后的高分辨率图像视觉效果较差，图像高频细节信息丢失严重，重建效果并不理想。
文献[7]Yang的方法(ScSR)在一定程度上提高了图像的重建质量，重建效果明显优于Bicubic方法。用Yang的方法重建的图像边缘轮廓更加清晰，但存在着非常严重的振铃现象，见图6(b)、图7(b)和图8(b)。
文献[10]的方法NCSR有效地消除了重建图像的边缘锯齿和振铃现象，图像更为平滑，但在图像的细节信息上损失较多。从图6(c)、图7(c)和图8(c)可以看出重建后的图像细节较为模糊，部分细节信息损失严重。
从图6(d)、图7(d)和图8(d)可以发现，与文献[7]的ScSR方法重建后明显的振铃现象相比，文献[14]的JOR方法重建的图像完全消除了振铃现象，同时重建图像的清晰度也比文献[10]的重建结果图6(c)、图7(c)和图8(c)更为清晰。但是文献[14]中JOR方法重建的图像也丢失了部分不明显的细节信息。
文献[15]中RAISR重建方法在提高图像重建效率的基础上，尽可能的保证重建图像的视觉效果，但图像的边缘细节部分重建效果不够理想。
本发明的图像超分辨率重建方法在Yang的算法基础上既保证了图像的重建质量，又有效地减少了振铃效应，使得重建后的图像纹理信息更加清晰。从图6(f)、图7(f)和图8(f)可以明显看出，本发明方法的重建效果比文献[7]的重建图像图6(b)、图7(b)和图8(b)的边缘锯齿和振铃现象明显减弱。与文献[10]中NCSR方法相比，图6(f)、图7(f)和图8(f)中的局部放大图比文献[10]的图6(c)、图7(c)和图8(c)中的局部放大图更加清晰。在微小细节方面，本发明的重建方法得到的图7(f)比文献[14] 的重建图7(d)更加准确。从图像边缘重建的效果来看，我们重建的图8(f)比文献[15]的重建图8(e)要更加清晰。无论从数值比较结果还是视觉效果上来看，本发明的方法更优于对比的方法。
Claims (6)
1.一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1.对待处理图像进行特征提取，并进行特征融合；
步骤2.对步骤1中提取的特征进行多特征联合表征建模；
步骤3.通过联合训练图像样本学习得到高分辨率字典Ev和低分辨率字典Em；
步骤4.使用图像高频特征代替图像本身进行图像超分辨率重建；
步骤5.采用边缘插值提高重建效果，处理完成，得到边缘清晰度更高的图片。
2.根据权利要求1所述的一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，步骤1具体包括以下步骤：
本发明的方法使用改进的Kirsch边缘提取算子和两组梯度提取算子相结合提取图像高频特征；
步骤1.1.改进的Kirsch边缘提取
Kirsch边缘提取算子是一种模板匹配算子，它采用8个3×3的卷积模板对图像进行卷积操作寻找8个预设方向的最强边缘梯度，该最强边缘梯度即为像素点的梯度幅度值和梯度方向，8个3×3的卷积模板为：
这8个模板代表8个方向，通过卷积计算所有方向得到的最大梯度即为边缘大小。假设图像中一点g(i,j)及其周边3×3的邻域的编号规则如图1所示，H(i,j)为经过Kirsch边缘提取算子卷积计算得到的灰度值，则
H(i,j)＝max{|Hk(i,j)|,k＝0,1,2,…,7} (1)
其中表示图像与第n个模板卷积计算的结果；
Kirsch边缘提取算子的定义如下：
H(i,j)＝max{|5tk-3uk|,k＝0,1,2,…,7} (2)
其中，tk＝Fk+Fk+1+Fk+2，uk＝Fk+3+Fk+4+Fk+5+Fk+6+Fk+7，Fk的下标是模8的余数；
考虑到Kirsch边缘提取算子在提取图像边缘特征时，选取梯度值最大的方向模板作为像素点的边缘值和方向，存在着边缘连续性较差的问题，所以我们对Kirsch边缘提取算子进行改进；
依然用H(i,j)表示图像经过Kirsch边缘提取算子卷积计算得到的灰度值，不同的是将8个方向模板卷积计算的最小值作为图像的边缘大小；
H(i,j)＝min{|Hk(i,j)|,k＝0,1,2,…,7} (3)
将Kirsch边缘提取算子重新定义如下：
H(i,j)＝min{|5tk-3uk|,k＝0,1,2,…,7} (4)
其中，tk＝Fk+Fk+1+Fk+2，uk＝Fk+3+Fk+4+Fk+5+Fk+6+Fk+7，Fk的下标是模8的余数；
步骤1.2提取图像的纹理特征
梯度提取算子：
利用梯度提取算子提取图像的纹理特征；
步骤1.3特征融合
利用改进的Kirsch边缘提取算子提取图像的边缘特征，结合梯度提取算子，联合表示图像的高频特征，记为
。
3.根据权利要求1所述的一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，步骤2具体包括以下步骤：
步骤2.1利用降质模型获取高-低分辨率图像训练样本对
将原始图像样本集Y＝[Y1,Y2,…,YO]作为高分辨率图像样本，采用文献[11]中的降质模型：
Z＝E·C·N·Y+o (7)
其中E表示下采样矩阵，C为模糊因子，N为运动补偿矩阵，o表示高斯加性噪声；
利用该降质模型对高分辨率图像样本进行下采样、模糊、加噪等退化操作，得到与高分辨率图像对应的低分辨率图像样本Z＝[Z1,Z2,…,ZO]；
为了更好的表征训练库中的图像信息，我们提取图像的特征，每个图像样本对(Yk,Zk)都由所对应的特征表示，其中k＝1,2,…,O；
步骤2.2建立多种特征融合的联合表征模型
1)特征提取：定义Zmap＝GM(Z)表示从低分辨率图像样本集Z＝[Z1,Z2,…,Zk,…,ZO]中的图像Zk提取的特征，其中GM()表示对低分辨率图像进行的特征提取操作。同样地，Ymap＝GI(Y)表示从高分辨率图像样本集Y＝[Y1,Y2,…,YO]提取的特征，GI()表示对高分辨率图像进行的特征提取操作；
假设对低分辨率图像样本集Z＝[Z1,Z2,…,ZO]提取N种不同的图像特征，将提取的特征记为即其中表示对低分辨率图像样本进行的第n种特征提取操作；
2)特征表示：将提取的图像特征进行分块处理，把每一块作为稀疏表示的基本单元；定义块的大小为则其中，为第n种特征位于第i个位置的特征块，i＝1,2,…,H，H是特征块的数量；将同一位置的N种不同的特征块转化成特征向量并进行级联得到位置i的特征表示，即：
其中表示特征块的向量；zi表示低分辨率图像特征中第i个位置的特征表示；
特征向量的生成过程如图2所示，首先，对输入的低分辨率图像样本提取N种不同的特征生成多个图像特征；其次，在N个特征图的同一位置提取大小为的特征块，并转换成向量表示；最后将N个特征向量进行级联得到特征块的特征向量；
将高分辨率图像样本数据集Y＝[Y1,Y2,…,YO]的高频特征记为Ymap＝GI(Y)，把高分辨率特征图也分成H块，则
其中，为第n种特征位于第i个位置的特征块，i＝1,2,…,H。将同一位置的N种不同的特征块转化成特征向量并进行级联得到位置i的特征，即：
这样，同一位置i的高/低分辨率图像特征块对为{yi,zi}；在本发明的方法中，将对应的高分辨率图像和低分辨率图像之间的差值作为高频特征，即
gi＝yi-zi
步骤2.3剔除过平滑图像特征块，保留含有高频信息的显著性区域
考虑到人眼的视觉特性，对高频信息更加敏感，为了避免图像平滑区域对实验结果的影响，我们计算每个高分辨率图像块的方差：
其中Jt，Ju分别为高分辨率图像特征块中第t，u个像素值，o为高分辨率图像特征块中的像素总数。通过方差判别高分辨率图像特征块中高频信息是否丰富，对于过平滑的图像块，由于提取的高频特征效果并不理想，直接影响字典训练，使相应的高分辨率图像块与低分辨率图像块之间难以建立良好的映射关系，影响了稀疏表示系数的确定；因此，为了提高算法的精确性并缩短搜索时间，我们通过下列算法剔除过平滑图像特征块：
设定阈值Threshold，定义判别准则如下：
通过设置阈值Threshold的大小进行筛选，得到有效的图像特征块对{yi,zi}。经过实验验证，阈值大小设定为10时既可以得到较好的图像重建效果，同时也避免了在训练过程中出现过拟合现象影响实验结果。
4.根据权利要求1所述的一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，步骤3具体包括以下步骤：
步骤2中我们已经得到训练库中所有的图像特征块对{yi,zi}，则高分辨率图像特征块集合可以表示为Yv＝{y1,y2,…,yo}，低分辨率图像特征块集合表示为Zm＝{z1,z2,…,zo}，训练样本库中图像特征块对表示为Q＝{Yv,Zm}；
这一步骤的目的是通过联合训练图像样本学习得到高分辨率字典Ev和低分辨率字典Em，使得高分辨率图像块的稀疏表示与相对应的低分辨率图像块的稀疏表示相同；我们采用单个的字典训练模型，如下式：
其中R是稀疏表示系数矩阵，λ是正则化参数；
利用公式(12)对高分辨率特征块集合和低分辨率特征块分别进行训练，则高分辨率字典Ev和低分辨率字典Em分别表示为：
将公式(13)和(14)合并，使得高分辨率图像和低分辨率图像有相同的稀疏表示，则：
其中O是高分辨率图像块向量形式的维度，N是低分辨率图像块向量形式的维度；再将公式(15)进行简化得到：
其中，
因此，这样就可以使用单字典学习方法来训练双字典。
5.根据权利要求1所述的一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，步骤4具体包括以下步骤：
通过K-means singular value decomposition，K-SVD算法训练得到过完备字典Ev和Em，保证了每一对高/低分辨率图像有着相同的稀疏表示；对于每一个输入的图像块，都能由对应的过完备字典和稀疏表示系数表示：
y＝Evα (17)
则高分辨率图像y可以通过训练得到的高分辨率字典Ev稀疏线性表示。其中，稀疏表示系数α由低分辨率图像z和低分辨率字典Em估计得到；
由z＝Emα估计稀疏表示系数α，求解公式为：
其中，ε为误差；用图像高频特征代替图像本身进行重建，公式(18)转化为：
其中，G()表示步骤2.2中的特征提取操作。公式(19)是一个NP-Hard问题，在文献[12]中已经证明了该非凸优化问题可以由l1范数凸优化问题求解；在保证α足够稀疏的条件下，求解l0范数的最小化问题即为解决l1范数的最小化；即
利用Lagrange乘子将(20)等价变换为无约束问题：
其中，λ为平衡因子，用于权衡稀疏度和准确度；l0范数问题是求解稀疏表示系数α中非零元素个数的问题，l1范数为了减少l1范数与l0范数之间的转换误差，我们采用局部加权正则化的思想，将公式(21)转化为：
其中，λi为正权值，通过迭代更新计算得到：
这里ε＞0，保证中的零元素不影响下一次的迭代更新，将维持在一定范围内；
由于所提取的图像特征块与相邻块有一定的重叠区域，而公式(22)的求解只针对单独的特征块，无法保证与相邻特征块的兼容性；为了解决这个问题，我们采用光栅扫描的方法从左到右、从上到下处理图像，使其满足与邻近块的兼容性；目标函数为：
这里S为当前特征块与前一重建的高分辨率块的重叠区域，x为该重叠区域高频分量的估计值；将公式(24)进行简化得到：
其中，β＝1；
为了提高图像重建的速度和重建效果，我们采用正则化正交匹配追踪算法求解式(25)中稀疏表示系数α*，由(18)式重建高分辨率图像块y＝Evα*，将所有高分辨率图像块进行组合得到重建图像的初始估计结果Y0；
考虑到噪声因素的影响，重建的高分辨率图像Y0不能完全满足降质模型的全局重建约束Z＝ECN·Y，其中E表示下采样矩阵，C为模糊因子，N为运动补偿矩阵；为了使Y0满足全局重建约束，建立约束目标函数为：
整理为
采用梯度下降方法求解公式(27)，其迭代求解过程的更新方程为
Yu+1＝Yu+w[NTCTET(Z-ECN·Yu)+d(Y-Y0)] (28)
其中，Yu是第u次迭代估计的高分辨率图像，w表示梯度下降的步长，Y*为最终重建的高分辨率图像。
6.根据权利要求1所述的一种基于多特征稀疏表示的图像超分辨率重建方法，其特征在于，步骤5具体包括以下步骤：
本发明的图像超分辨率重建方法对彩色图像的亮度通道进行稀疏重建，对Cb和Cr通道采用一种边缘插值算法提高重建效果；
在采用边缘插值方法重建图像时，首先将图像的边缘部分与非边缘部分进行划分，在不同部分进行不同的插值处理；如图3所示，P为待插值点，与周围四个像素点a、b、c、d构成插值区域。设定一个阈值，分别计算四个像素点的梯度值大小，小于阈值的定义为平坦区域，大于阈值的为边缘区域；对于平坦区域进行双线性插值，边缘区域则基于边缘主导方向进行插值；
将图3中点b作为原点，过待插值点P做一条直线，使其与图像的边缘主导方向平行，该直线方程表示为：
z＝(y-w)tanθ+1-c (29)
其中θ为边缘主导方向。点e，f分别由a，b两点和c，d两点线性插值得到，待插值点P即可由e，f两点插值得到；采用边缘插值方法重建图像的CbCr颜色通道能够有效地提高图像边缘的清晰度，提高图像的重建效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812119.1A CN110599402A (zh) | 2019-08-30 | 2019-08-30 | 一种基于多特征稀疏表示的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812119.1A CN110599402A (zh) | 2019-08-30 | 2019-08-30 | 一种基于多特征稀疏表示的图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110599402A true CN110599402A (zh) | 2019-12-20 |
Family
ID=68856543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910812119.1A Pending CN110599402A (zh) | 2019-08-30 | 2019-08-30 | 一种基于多特征稀疏表示的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599402A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
| CN111932463A (zh) * | 2020-08-26 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112419148A (zh) * | 2020-11-03 | 2021-02-26 | 广东外语外贸大学 | 颜色通道三次传播的图像超分辨方法、系统及存储介质 |
| CN112465033A (zh) * | 2020-11-30 | 2021-03-09 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的闸片开口销丢失检测方法、系统及装置 |
| CN113628114A (zh) * | 2021-08-17 | 2021-11-09 | 南京航空航天大学 | 一种双通道稀疏编码的图像超分辨率重建方法 |
| CN116091322A (zh) * | 2023-04-12 | 2023-05-09 | 山东科技大学 | 超分辨率图像重建方法和计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| CN106157244A (zh) * | 2016-06-08 | 2016-11-23 | 南京航空航天大学 | 一种基于稀疏表示的QR Code图像超分辨重建方法 |
-
2019
- 2019-08-30 CN CN201910812119.1A patent/CN110599402A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| CN106157244A (zh) * | 2016-06-08 | 2016-11-23 | 南京航空航天大学 | 一种基于稀疏表示的QR Code图像超分辨重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 于喜娜: "基于学习的图像超分辨率重建方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 徐国明等: "图像块稀疏结构相似度邻域约束超分辨率方法", 《计算机辅助设计与图形学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
| CN111932463A (zh) * | 2020-08-26 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111932463B (zh) * | 2020-08-26 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112419148A (zh) * | 2020-11-03 | 2021-02-26 | 广东外语外贸大学 | 颜色通道三次传播的图像超分辨方法、系统及存储介质 |
| CN112465033A (zh) * | 2020-11-30 | 2021-03-09 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的闸片开口销丢失检测方法、系统及装置 |
| CN113628114A (zh) * | 2021-08-17 | 2021-11-09 | 南京航空航天大学 | 一种双通道稀疏编码的图像超分辨率重建方法 |
| CN116091322A (zh) * | 2023-04-12 | 2023-05-09 | 山东科技大学 | 超分辨率图像重建方法和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN110599402A (zh) | 一种基于多特征稀疏表示的图像超分辨率重建方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN107578392B (zh) | 一种基于残余插值的卷积神经网络去马赛克方法 | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN106780338B (zh) | 基于各向异性的快速超分辨率重建方法 | |
| CN110827198B (zh) | 基于压缩感知和超分辨率重构的多相机全景图像构建方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN106651772B (zh) | 一种卫星云图的超分辨率重建方法 | |
| Shen et al. | Convolutional neural pyramid for image processing | |
| CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
| Wang et al. | Multi-direction dictionary learning based depth map super-resolution with autoregressive modeling | |
| CN112669214A (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| Suryanarayana et al. | Infrared super-resolution imaging using multi-scale saliency and deep wavelet residuals | |
| Yang et al. | Joint image dehazing and super-resolution: Closed shared source residual attention fusion network | |
| CN111275620B (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
| CN111626943B (zh) | 基于一阶前向后向算法的全变分图像去噪方法 | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Suryanarayana et al. | Single image super-resolution algorithm possessing edge and contrast preservation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |
|
| RJ01 | Rejection of invention patent application after publication |