CN107067380A - 基于低秩张量和层次化字典学习的高分辨率图像重构方法 - Google Patents
基于低秩张量和层次化字典学习的高分辨率图像重构方法 Download PDFInfo
- Publication number
- CN107067380A CN107067380A CN201710191530.2A CN201710191530A CN107067380A CN 107067380 A CN107067380 A CN 107067380A CN 201710191530 A CN201710191530 A CN 201710191530A CN 107067380 A CN107067380 A CN 107067380A
- Authority
- CN
- China
- Prior art keywords
- mrow
- low
- msub
- image
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013517 stratification Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 55
- 238000011084 recovery Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于低秩张量和层次化字典学习的高分辨率图像重构方法：用双线性插值上、下采样原始图像，将处理结果和原始图像作为字典学习训练集；训练原始和下采样图像，提取下采样图像梯度，排列原始图像和下采样梯度为张量，对后者进行低秩近似；对原始张量和近似下采样梯度张量进行稀疏字典学习，得到图像恢复字典；训练低分辨率和上采样图像，提取低分辨率图像梯度，排列低分辨率梯度和上采样图像为张量，进行学习更新字典；将原始图像转至YCbCr空间，Y用字典进行重构，Cb和Cr用双线性插值进行重构，得到原始恢复图像；迭代反投影全局增强原始恢复图像，得到最终结果。本发明采用张量保留图像的结构信息，提高图像重构的精度。
Description
技术领域
本发明涉及一种高分辨率图像重构领域。特别是涉及一种基于低秩张量和层次化字典学习的高分辨率图像重构方法。
背景技术
人眼通过各种观测系统对客观世界的反映谓之图像。人们通过视觉来感知形状，大小，位置，远近等，并做出相应的判断。社会的发展使得人们对于获取具有高分辨率的数字图像的要求越来越突出，无论是军用，还是民用，如何获得一幅高分辨率的数字图像已成为人们必须解决的问题。
所谓的高分辨率的数字图像，指的是具有密集的空间分布的数字图像，也就是说图像在单位空间上具有更多的像素集合。例如，医学上的CT图像，可以作为医生诊断的依据；卫星图像可以更好的进行目标的识别与跟踪。
通常，利用数字设备获取的关于场景的图像，由于成像系统本身的限制和成像环境的影响，所得到的图像并不能完全反映真实场景中的所有信息。如何利用软件处理的方法来提高图像的分辨率，是数字图像处理和信号处理领域的研究热点和难点[1]。
传统的图像信息处理，即插值方法，通常是先进行补零疏化，然后再进行内插，最后经过滤波的方式来实现的。但是，用这种方式处理的图像，虽然可以增加单位空间内的像素数目，但本质上而言，其并未突破原有图像的信息量，只是对图像的视觉效果有所改观，并没有增加图像的信息量。
超分辨率重建的范围可以大致分为：单幅图像的放大，多幅图像重建单幅图像以及视频序列重建单幅图像[2]。图像放大是利用先验知识来消除混叠效应。利用超分辨率重建技术，不需要硬件的参与，也即可以在不改变原有硬件系统的条件下，提高图像的空间分辨率，改善图像的视觉效果。这样，不仅可以利用原有的硬件系统，而且还可以充分利用已获取的低分辨率图像资源。如今，图像高分辨率重建技术已广泛应用于各行各业，在卫星遥感测绘方面，在公共安全监护方面，在计算机视觉方面，在医学成像方面等等。超分辨率图像重建技术的广泛研究，不仅可以推动新一代的图像复原技术的发展，另外也可以在继续利用原有光学成像系统的前提下，获得可以满足人们需要的高分辨率的图像。
发明内容
本发明所要解决的技术问题是，提供一种能够避免图像重构时对于外部数据库信息依赖的基于低秩张量和层次化字典学习的高分辨率图像重构方法。
本发明所采用的技术方案是：一种基于低秩张量和层次化字典学习的高分辨率图像重构方法，包括如下步骤：
1)采用双线性插值方法，对给定的低分辨率图像分别进行上采样和下采样处理，得到上采样图像和下采样图像，将低分辨率图像、上采样图像和下采样图像共同作为层次化字典学习的图像训练集；
2)在图像训练集中首先选取低分辨率图像和下采样图像进行训练，对下采样图像提取梯度特征得到下采样梯度特征，然后按照下采样的比例分别对低分辨率图像和下采样梯度特征进行分块处理并排列成张量，得到低分辨率图像张量和下采样梯度特征张量，对下采样梯度特征张量进行低秩近似处理；
3)对低分辨率图像张量和低秩近似处理后的下采样梯度特征张量进行联合稀疏化字典学习，得到下采样图像到原始低分辨率图像的恢复字典；
4)在图像训练集中选取低分辨率图像和上采样图像进行训练，对低分辨率图像提取梯度特征得到低分辨率梯度特征，然后按照上采样的比例分别对低分辨率梯度特征和上采样图像进行分块处理并排列成张量，得到低分辨率梯度特征张量和上采样图像张量，对低分辨率梯度特征张量进行低秩近似处理，在步骤3)得到的恢复字典的基础上再一次通过联合稀疏化学习对所述恢复字典进行更新；
5)选取低分辨率图像，将图像由原始的RGB色彩空间转换至YCbCr亮度色度空间，只对Y利用更新后的字典进行逐块高分辨率重构，而Cb和Cr采用双线性插值方法进行重构，直至遍历整个低分辨率图像，得到原始的恢复图像；
6)利用迭代反投影算法对原始的恢复图像进行全局增强处理，得到最终的高分辨率重构图像。
步骤1)中所述的上采样和下采样处理的比例相同。
步骤2)所述的低秩近似处理是：设为初始张量，为低秩近似张量，则目标函数表示为
其中，U1,…,UN表示张量展开的投影矩阵；
采用增广拉格朗日方法进行求解，则得到以下迭代过程，k表示迭代次数：
其中，
将低秩近似张量的求解转换到对于投影矩阵U1,U2,..,UN的求解，
将正则项代替为则表示为
其中， 是张量的第i个模式的展开形式，将的求解转换为SVT解法的标准形式为：
利用SVT解法得到的值：
其中，P和Q分别为奇异值分解左奇异值矩阵和右奇异值矩阵，代表奇异值分解的中间矩阵值大于τk的部分，确定后，由得到所求的低秩近似结果
步骤4)所述的更新是采用如下公式：
其中，
Z表示字典稀疏系数，α，β均为正数，表示惩罚项参数，D表示步骤3)初始学习得到的恢复字典，Y表示低分辨率梯度与上采样图像的组合，表示更新后的恢复字典。
本发明的基于低秩张量和层次化字典学习的高分辨率图像重构方法，采用张量的表示方法保留了图像的基本结构信息，提高了高分辨率图像重构的精度。有益效果如下：
1、避免了高分辨率图像重构的过程中对于外部数据库的依赖，充分利用图片本身的细节信息以及不同层次图片之间的重构规律信息，能够提高高分辨率重构的精度；
2、采用了张量结构，尽可能多的保留了原有图片的结构信息，同时低秩化处理增强了图像块之间的联系；
3、采用了联合的稀疏化字典学习以及反向迭代投影算法，从图像块和全局两方面进行高分辨重建，增强了重构效果。
附图说明
图1是本发明基于低秩张量和层次化字典学习的高分辨率图像重构方法的流程图；
图2是本发明中训练得到的字典的可视化结构效果图。
具体实施方式
下面结合实施例和附图对本发明的基于低秩张量和层次化字典学习的高分辨率图像重构方法做出详细说明。
如图1所示，本发明的基于低秩张量和层次化字典学习的高分辨率图像重构方法，包括如下步骤：
1)采用双线性插值(Bicubic)方法，对给定的低分辨率图像分别进行上采样和下采样处理，得到上采样图像和下采样图像，所述的上采样和下采样处理的比例相同。将低分辨率图像、上采样图像和下采样图像共同作为层次化字典学习的图像训练集；
本发明首先对给定的低分辨率图像LR应用Bicubic方法分别进行上采样和下采样处理，得到上采样图像UR和下采样图像DR。将低分辨率图像LR，上采样图像UR和下采样图像DR共同作为层次化字典学习的图像训练集。为了保证高分辨率图像重构的合理迁移性，需要保证上采样和下采样的比例相同。该步骤只将本身图片的不同层次作为训练集，能够更多利用图片自身的细节信息，确保重构的精度。
2)在图像训练集中首先选取低分辨率图像和下采样图像进行训练，对下采样图像提取梯度特征得到下采样梯度特征，然后按照下采样的比例分别对低分辨率图像和下采样梯度特征进行分块处理并排列成张量，得到低分辨率图像张量和下采样梯度特征张量，对下采样梯度特征张量进行低秩近似处理；
选取下采样图像DR，通过与不同的梯度算子进行卷积运算，提取横纵两个方向的一阶和二阶梯度特征。按照下采样的比例，不失一般性的，设下采样比例为2，用滑窗采样的方法对图像LR和图像DR进行分块处理。将图像LR分成大小为p×p的图像块，即 将图像DR的梯度特征分成大小为q×q的图像块，即并且满足p＝2*q。经过排列可以将图像LR表示为大小为p×p×M的张量将图像DR的梯度特征表示为大小为q×q×4×M的张量其中M为图像块的数目。为了得到图像块之间的紧密联系，需要对图像DR的梯度特征张量进行低秩化近似处理。
以下是本发明的低秩张量近似处理方法。设为初始张量，为低秩近似后的张量，则目标函数表示为
上述式子(1)符合的形式，因此可以采用ALM(AugmentedLagrangian Method，增广拉格朗日方法)进行求解[3]，则得到以下迭代过程：
其中，
由于ALM算法只适用于矩阵的求解，将对低秩近似张量的求解转换到对于投影矩阵U1,U2,..,UN的求解。
根据式(6)可以将正则项代替为则
其中，是张量的第i个模式的展开形式，将式(7)转换为SVT[4](Singular ValueThresholding，奇异值阈值)解法的标准形式为：
利用SVT解法得到的值：
其中，P和Q分别为奇异值分解左，右奇异值矩阵，代表奇异值分解的中间矩阵值大于τk的部分。确定后，由可以得到所求的低秩近似结果
3)对低分辨率图像张量和低秩近似处理后的下采样梯度特征张量进行联合稀疏化字典学习，得到下采样图像到原始低分辨率图像的恢复字典；
将步骤2)中的张量和张量低秩近似结果按照空间关系展开为矩阵 和矩阵在训练学习LR-DR字典对的过程中，字典DL与字典DD需要通过联合稀疏学习的方法得到。DL与DD需要满足下式：
其中，
为了保证高分辨率图像的重构效果，需要保证字典的过完备性，因此字典矩阵的列数需要远远大于行数[5]。
4)在图像训练集中选取低分辨率图像和上采样图像进行训练，对低分辨率图像提取梯度特征得到低分辨率梯度特征，然后按照上采样的比例分别对低分辨率梯度特征和上采样图像进行分块处理并排列成张量，得到低分辨率梯度特征张量和上采样图像张量，对低分辨率梯度特征张量进行低秩近似处理，在步骤3)得到的恢复字典的基础上再一次通过联合稀疏化学习对所述恢复字典进行更新；
所述的更新是采用如下公式：
其中，
Z表示字典稀疏系数，α，β均为正数，表示惩罚项参数，D表示步骤3)初始学习得到的恢复字典，Y表示低分辨率梯度与上采样图像的组合，D^表示更新后的恢复字典。
5)选取低分辨率图像，将图像由原始的RGB色彩空间转换至YCbCr亮度色度空间，其中Y代表亮度分量，Cb代表蓝色色度分量，Cr代表红色色度分量，由于亮度分量中含有较多的细节信息以及人眼对亮度信息敏感，则只对Y利用更新后的字典进行逐块高分辨率重构，而Cb和Cr采用双线性插值(Bicubic)方法进行重构，直至遍历整个低分辨率图像，得到原始的恢复图像；具体是：
针对于每一个图像块的Y分量取均值m，每一个图像块的亮度差值利用训练得到的字典DU和稀疏化系数Z进行重构，则最终的亮度差值表达为：
然后由恢复的YCbCr分量得到初步的重构结果I0。
6)利用迭代反投影算法对原始的恢复图像进行全局增强处理，得到最终的高分辨率重构图像。具体是：
利用IBP(Iterative Back-Projection)算法对重构的基本结果进行图像增强。其基本思路是利用低分辨率图像产生的过程进行迭代，使最终生成的高分辨率图像经过下采样和模糊处理后接近给定的低分辨率图像LR，需要满足下式：
其中S为下采样算子，H为模糊算子。通过求解得到的即为最终的高分辨率图像重构结果。
实验报告
测试数据集
本实验使用的测试数据集为9张高分辨率重构实验常用的图像，包括人物，动物，建筑物和衣物等多种类型。
评估标准
不失一般性的，采用峰值信噪比(PSNR)和结构相似度(SSIM)衡量本方法的高分辨率重构性能。
对比算法
实验中将本方法与多种方法进行对比，包括Bicubic，Zeybe[6]，GR，ANR[7]，NE+LS,NE+LLE[8]，NE+NNLS[9]等7种近期比较普遍的高分辨率图像重构方法。
实验结果
表1为本方法与其他7种高分辨率图像重构算法的PSNR和SSIM指标的对比结果。由对比可知，本方法在Girl和Parrot测试图片中PSNR低于ANR和GR算法，在Girl和Bike测试图片中SSIM指标低于ANR算法，但在其他测试图片中，本方法均具有优势。实验验证了本方法的可行性与优越性。
表1
参考文献：
[1]Komatsu T,Aizawa K,Igarashi T,et al.Signal-processing based methodfor acquiring very high resolution images with multiple cameras and itstheoretical analysis[J].IEE Proceedings I-Communications,Speech and Vision,1993,140(1):19-24.
[2]Patti A J,Sezan M I,Tekalp A M.Superresolution videoreconstruction with arbitrary sampling lattices and nonzero aperture time[J].IEEE Transactions on Image Processing,1997,6(8):1064-1076.
[3]Lin Z,Chen M,Ma Y.The augmented lagrange multiplier method forexact recovery of corrupted low-rank matrices[J].arXiv preprint arXiv:1009.5055,2010.
[4]Wright J,Ganesh A,Rao S,et al.Robust principal component analysis:Exact recovery of corrupted low-rank matrices via convex optimization[C]//Advances in neural information processing systems.2009:2080-2088.
[5]W.Dong,G.Li,G.Shi,X.Li,and Y.Ma.Low-ranktensor approximation withlaplacian scale mixture modelingformultiframe image denoising.In Proceedingsof IEEEInternational Conference on Computer Vision,pages 442–449,2015..
[6]R.Zeyde,M.Elad,and M.Protter.On single imagescale-up using sparse-representations.In Proceedings ofInternational conference on curves andsurfaces,pages 711–730,2010.
[7]R.Timofte,V.De Smet,and L.Van Gool.Anchoredneighborhood regressionfor fast example-based superresolution.In Proceedings of IEEE InternationalConferenceon Computer Vision,pages 1920–1927,2013.
[8]M.Bevilacqua,A.Roumy,C.Guillemot,and M.L.AlberiMorel.Low-complexity single-image super-resolution basedon nonnegative neighborembedding.pages 1–9,2012..
[9]H.Chang,D.-Y.Yeung,and Y.Xiong.Super-resolutionthrough neighborembedding.In Proceedings of IEEEInternational Conference on Computer Visionand PatternRecognition,volume 1,pages 275–282,2004.
本领域技术人员可以理解附图只是一个优选实施例的示意图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于低秩张量和层次化字典学习的高分辨率图像重构方法，其特征在于，包括如下步骤：
1)采用双线性插值方法，对给定的低分辨率图像分别进行上采样和下采样处理，得到上采样图像和下采样图像，将低分辨率图像、上采样图像和下采样图像共同作为层次化字典学习的图像训练集；
2)在图像训练集中首先选取低分辨率图像和下采样图像进行训练，对下采样图像提取梯度特征得到下采样梯度特征，然后按照下采样的比例分别对低分辨率图像和下采样梯度特征进行分块处理并排列成张量，得到低分辨率图像张量和下采样梯度特征张量，对下采样梯度特征张量进行低秩近似处理；
3)对低分辨率图像张量和低秩近似处理后的下采样梯度特征张量进行联合稀疏化字典学习，得到下采样图像到原始低分辨率图像的恢复字典；
4)在图像训练集中选取低分辨率图像和上采样图像进行训练，对低分辨率图像提取梯度特征得到低分辨率梯度特征，然后按照上采样的比例分别对低分辨率梯度特征和上采样图像进行分块处理并排列成张量，得到低分辨率梯度特征张量和上采样图像张量，对低分辨率梯度特征张量进行低秩近似处理，在步骤3)得到的恢复字典的基础上再一次通过联合稀疏化学习对所述恢复字典进行更新；
5)选取低分辨率图像，将图像由原始的RGB色彩空间转换至YCbCr亮度色度空间，只对Y利用更新后的字典进行逐块高分辨率重构，而Cb和Cr采用双线性插值方法进行重构，直至遍历整个低分辨率图像，得到原始的恢复图像；
6)利用迭代反投影算法对原始的恢复图像进行全局增强处理，得到最终的高分辨率重构图像。
2.根据权利要求1所述的基于低秩张量和层次化字典学习的高分辨率图像重构方法，其特征在于，步骤1)中所述的上采样和下采样处理的比例相同。
3.根据权利要求1所述的基于低秩张量和层次化字典学习的高分辨率图像重构方法，其特征在于，步骤2)所述的低秩近似处理是：设为初始张量，为低秩近似张量，则目标函数表示为
其中，U1,…,UN表示张量展开的投影矩阵；
采用增广拉格朗日方法进行求解，则得到以下迭代过程，k表示迭代次数：
其中，
<mrow>
<msub>
<mi>&tau;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msup>
<mi>&eta;</mi>
<mi>k</mi>
</msup>
<msubsup>
<mi>&Pi;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>U</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>U</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo>,</mo>
<mi>&eta;</mi>
<mo>></mo>
<mn>1</mn>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
将低秩近似张量的求解转换到对于投影矩阵U1,U2,..,UN的求解，
将正则项代替为则表示为
<mrow>
<msubsup>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>argmin</mi>
<msubsup>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
<mi>k</mi>
</msubsup>
</msub>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<msubsup>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mfrac>
<mi>&mu;</mi>
<msub>
<mi>&tau;</mi>
<mi>k</mi>
</msub>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mo>*</mo>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中， 是张量的第i个模式的展开形式，将的求解转换为SVT解法的标准形式为：
利用SVT解法得到的值：
其中，P和Q分别为奇异值分解左奇异值矩阵和右奇异值矩阵，代表奇异值分解的中间矩阵值大于τk的部分，确定后，由得到所求的低秩近似结果
4.根据权利要求1所述的基于低秩张量和层次化字典学习的高分辨率图像重构方法，其特征在于，步骤4)所述的更新是采用如下公式：
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mover>
<mi>D</mi>
<mo>^</mo>
</mover>
<mo>,</mo>
<mi>z</mi>
</mrow>
</msub>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>-</mo>
<mover>
<mi>D</mi>
<mo>^</mo>
</mover>
<mi>Z</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mover>
<mi>D</mi>
<mo>^</mo>
</mover>
<mi>T</mi>
</msup>
<mi>D</mi>
<mo>|</mo>
<mo>|</mo>
<mo>+</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<mo>|</mo>
<mover>
<mi>D</mi>
<mo>^</mo>
</mover>
<mo>|</mo>
<msub>
<mo>|</mo>
<mi>F</mi>
</msub>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mover>
<mi>D</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>d</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
</msqrt>
</mfrac>
<msub>
<mi>D</mi>
<mi>L</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>d</mi>
<mi>U</mi>
</msub>
</msqrt>
</mfrac>
<msub>
<mi>D</mi>
<mi>U</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>d</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
</msqrt>
</mfrac>
<msub>
<mi>Y</mi>
<mrow>
<mi>L</mi>
<mn>2</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>d</mi>
<mi>U</mi>
</msub>
</msqrt>
</mfrac>
<msub>
<mi>Y</mi>
<mi>U</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
Z表示字典稀疏系数，α，β均为正数，表示惩罚项参数，D表示步骤3)初始学习得到的恢复字典，Y表示低分辨率梯度与上采样图像的组合，表示更新后的恢复字典。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710191530.2A CN107067380B (zh) | 2017-03-28 | 2017-03-28 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710191530.2A CN107067380B (zh) | 2017-03-28 | 2017-03-28 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107067380A true CN107067380A (zh) | 2017-08-18 |
| CN107067380B CN107067380B (zh) | 2020-04-28 |
Family
ID=59621044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710191530.2A Active CN107067380B (zh) | 2017-03-28 | 2017-03-28 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107067380B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107561576A (zh) * | 2017-08-31 | 2018-01-09 | 电子科技大学 | 基于字典学习正则化稀疏表示的地震信号恢复方法 |
| CN107680044A (zh) * | 2017-09-30 | 2018-02-09 | 福建帝视信息科技有限公司 | 一种图像超分辨率卷积神经网络加速计算方法 |
| CN108510013A (zh) * | 2018-07-02 | 2018-09-07 | 电子科技大学 | 基于低秩核心矩阵的改进稳健张量主成分分析方法 |
| CN109102478A (zh) * | 2018-09-06 | 2018-12-28 | 南京林业大学 | 一种基于自体色彩迁移的文化典藏类图像修复方法 |
| CN109461122A (zh) * | 2018-06-27 | 2019-03-12 | 北京工业大学 | 一种基于多视点图像的压缩感知图像重建方法 |
| CN111723759A (zh) * | 2020-06-28 | 2020-09-29 | 南京工程学院 | 基于加权张量稀疏图映射的非约束人脸识别方法 |
| CN112132760A (zh) * | 2020-09-14 | 2020-12-25 | 北京大学 | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 |
| CN115984137A (zh) * | 2023-01-04 | 2023-04-18 | 上海人工智能创新中心 | 一种暗光图像恢复方法、系统、设备及存储介质 |
| CN116228786A (zh) * | 2023-05-10 | 2023-06-06 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
| WO2023108423A1 (zh) * | 2021-12-14 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 基于图像结构以及物理弛豫先验的磁共振定量成像方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
| CN103218795A (zh) * | 2013-05-05 | 2013-07-24 | 西安电子科技大学 | 基于自适应双字典学习的部分k空间序列图像重构方法 |
| CN105513102A (zh) * | 2015-12-15 | 2016-04-20 | 西安电子科技大学 | 基于非局部全变差和低秩稀疏的高光谱压缩感知重建方法 |
| CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
| CN106097278A (zh) * | 2016-06-24 | 2016-11-09 | 北京工业大学 | 一种多维信号的稀疏模型、重建方法和字典训练方法 |
| CN106251398A (zh) * | 2016-08-05 | 2016-12-21 | 四川大学 | 一种图像重建方法和装置 |
-
2017
- 2017-03-28 CN CN201710191530.2A patent/CN107067380B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
| CN103218795A (zh) * | 2013-05-05 | 2013-07-24 | 西安电子科技大学 | 基于自适应双字典学习的部分k空间序列图像重构方法 |
| CN105513102A (zh) * | 2015-12-15 | 2016-04-20 | 西安电子科技大学 | 基于非局部全变差和低秩稀疏的高光谱压缩感知重建方法 |
| CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
| CN106097278A (zh) * | 2016-06-24 | 2016-11-09 | 北京工业大学 | 一种多维信号的稀疏模型、重建方法和字典训练方法 |
| CN106251398A (zh) * | 2016-08-05 | 2016-12-21 | 四川大学 | 一种图像重建方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| FENG SHI 等: "LRTV: MR Image Super-Resolution With Low-Rank and Total Variation Regularizations", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| JIANCHAO YANG 等: "Image Super-Resolution Via Sparse Representation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| YU ZHU 等: "Single Image Super-resolution using Deformable Patches", 《CVPR 2014》 * |
| 张乐飞 等: "基于张量分解的超光谱图像降秩与压缩", 《武汉大学学报 信息科学版》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107561576B (zh) * | 2017-08-31 | 2023-10-20 | 中油奥博(成都)科技有限公司 | 基于字典学习正则化稀疏表示的地震信号恢复方法 |
| CN107561576A (zh) * | 2017-08-31 | 2018-01-09 | 电子科技大学 | 基于字典学习正则化稀疏表示的地震信号恢复方法 |
| CN107680044B (zh) * | 2017-09-30 | 2021-01-12 | 福建帝视信息科技有限公司 | 一种图像超分辨率卷积神经网络加速计算方法 |
| CN107680044A (zh) * | 2017-09-30 | 2018-02-09 | 福建帝视信息科技有限公司 | 一种图像超分辨率卷积神经网络加速计算方法 |
| CN109461122B (zh) * | 2018-06-27 | 2021-09-14 | 北京工业大学 | 一种基于多视点图像的压缩感知图像重建方法 |
| CN109461122A (zh) * | 2018-06-27 | 2019-03-12 | 北京工业大学 | 一种基于多视点图像的压缩感知图像重建方法 |
| CN108510013A (zh) * | 2018-07-02 | 2018-09-07 | 电子科技大学 | 基于低秩核心矩阵的改进稳健张量主成分分析方法 |
| CN109102478B (zh) * | 2018-09-06 | 2021-10-08 | 南京林业大学 | 一种基于自体色彩迁移的文化典藏类图像修复方法 |
| CN109102478A (zh) * | 2018-09-06 | 2018-12-28 | 南京林业大学 | 一种基于自体色彩迁移的文化典藏类图像修复方法 |
| CN111723759B (zh) * | 2020-06-28 | 2023-05-02 | 南京工程学院 | 基于加权张量稀疏图映射的非约束人脸识别方法 |
| CN111723759A (zh) * | 2020-06-28 | 2020-09-29 | 南京工程学院 | 基于加权张量稀疏图映射的非约束人脸识别方法 |
| CN112132760A (zh) * | 2020-09-14 | 2020-12-25 | 北京大学 | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 |
| CN112132760B (zh) * | 2020-09-14 | 2024-02-27 | 北京大学 | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 |
| WO2023108423A1 (zh) * | 2021-12-14 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 基于图像结构以及物理弛豫先验的磁共振定量成像方法 |
| CN115984137A (zh) * | 2023-01-04 | 2023-04-18 | 上海人工智能创新中心 | 一种暗光图像恢复方法、系统、设备及存储介质 |
| CN115984137B (zh) * | 2023-01-04 | 2024-05-14 | 上海人工智能创新中心 | 一种暗光图像恢复方法、系统、设备及存储介质 |
| CN116228786A (zh) * | 2023-05-10 | 2023-06-06 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
| CN116228786B (zh) * | 2023-05-10 | 2023-08-08 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107067380B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067380A (zh) | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 | |
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| Xiao et al. | Satellite video super-resolution via multiscale deformable convolution alignment and temporal grouping projection | |
| CN110189253B (zh) | 一种基于改进生成对抗网络的图像超分辨率重建方法 | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN113191953B (zh) | 一种基于Transformer的人脸图像超分辨的方法 | |
| CN105825477B (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
| CN110163801B (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| CN109801215A (zh) | 基于对抗生成网络的红外超分辨率成像方法 | |
| Zhou et al. | Cross-scale residual network: A general framework for image super-resolution, denoising, and deblocking | |
| Thawakar et al. | Image and video super resolution using recurrent generative adversarial network | |
| Tian et al. | Anchored neighborhood regression based single image super-resolution from self-examples | |
| Zhou et al. | Image super-resolution based on dense convolutional auto-encoder blocks | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN114359041A (zh) | 一种光场图像空间超分辨率重建方法 | |
| CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| Chen et al. | Video super-resolution network using detail component extraction and optical flow enhancement algorithm | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| Duanmu et al. | The image super-resolution algorithm based on the dense space attention network | |
| Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| Qin et al. | Remote sensing image super-resolution using multi-scale convolutional neural network | |
| Wu et al. | Infrared and visible light dual-camera super-resolution imaging with texture transfer network | |
| Neshatavar et al. | ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution | |
| Esmaeilzehi et al. | DSegAN: A deep light-weight segmentation-based attention network for image restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |