CN102750677A - 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 - Google Patents
基于同尺度结构自相似与压缩感知的单图像超分辨率方法 Download PDFInfo
- Publication number
- CN102750677A CN102750677A CN2012101930780A CN201210193078A CN102750677A CN 102750677 A CN102750677 A CN 102750677A CN 2012101930780 A CN2012101930780 A CN 2012101930780A CN 201210193078 A CN201210193078 A CN 201210193078A CN 102750677 A CN102750677 A CN 102750677A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- low
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法,首先将低分辨率图像进行插值获得准高分辨率图像;再将准高分辨率图像分成准高分辨率图像块,将每个准高分辨率图像块所对应的向量作为训练样本并组成样本矩阵,利用K-SVD字典学习方法求解获得字典;将低分辨率图像分成低分辨率图像块;利用降采样矩阵、字典以及每个低分辨率图像块所对应的向量,通过OMP方法求解得到高分辨率重构图像块所对应的向量;最后,将高分辨率重构图像块所对应的向量组合起来形成高分辨率重构图像,本发明将基于压缩感知和基于图像结构自相似性的超分辨率方法有机地结合起来,将附加信息通过压缩感知框架加入到高分辨率重构图像中从而实现空间分辨率的提升。
Description
技术领域
本发明属于一种超分辨率方法,特别涉及一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法。
背景技术
高分辨率图像在很多领域具有广泛的应用价值,然而由于成像设备在制造工艺以及制造成本上所受限制,具有一定的分辨率极限。超分辨率方法可以在一定程度上克服分辨率极限问题,从而成为十分有效的提升图像分辨率的途径。超分辨率方法是一项通过多幅或单幅低分辨率图像获取高分辨率图像的技术,在超分辨率实现过程中将由低分辨率图像获取高分辨率图像的过程称作重构过程,并将重构得到的高分辨率图像称作高分辨率重构图像。根据在超分辨率方法中所利用低分辨率图像的数目,超分辨率方法可以分为基于单幅图像的超分辨率方法和基于多幅图像的超分辨率方法。由于在大多数场合下,同一场景中多幅图像的获取并非易事,如何仅利用单幅图像实现空间分辨率提升已成为目前超分辨率技术中亟待解决的关键问题之一。在基于单幅图像的超分辨率方法中,由于仅有单幅图像可以利用,因而在重构过程中需要加入必要的附加信息。
目前,在基于单幅图像的超分辨率方法中获得广泛认可的方法包括:基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法。基于压缩感知的超分辨率方法在压缩感知的框架下进行字典学习,使得图像块在字典下能够得到稀疏表达,然后再利用学习得到的字典和低分辨率图像获得高分辨率重构图像。现有基于压缩感知的超分辨率方法是利用图像库作为字典学习的样本,图像库由大量的高分辨率图像组成。这种字典学习样本选取方式的不足在于为了使各种不同的图像块在字典下均能得到很好的表达,字典的规模必须很大而且字典学习的效率也无法得到保障;另外,当图像库中的图像不能提供低分辨率图像所需要的准确附加信息时,高分辨率重构图像的效果无法得到保障。基于图像结构自相似性的超分辨率方法利用图像中的相似图像块,且仅利用低分辨率图像自身而不需要图像库,这使得在重构过程中所利用的附加信息是准确的,但由于此类方法需要遍历搜索相似图像块,因此运算效率不高。基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法具有各自的优势和不足,目前还没有将这两种方法有效结合起来的超分辨率方法。
发明内容
为了克服上述现有技术的不足,本发明的目的在于提供一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法,将基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法有机地结合起来,并利用这两种方法各自的优势、克服其不足,利用图像同尺度自相似结构提供的附加信息,并将附加信息通过压缩感知框架加入到高分辨率重构图像中从而实现空间分辨率的提升。
为了实现上述目的,本发明采用的技术方案是:
一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法,包括以下步骤:
步骤1:将低分辨率图像Y进行插值获得准高分辨率图像X′;
步骤2:将准高分辨率图像X′分成p×p的准高分辨率图像块,每一个准高分辨率图像块对应一个向量x′i;
步骤3:将得到的向量x′i作为训练样本并组成样本矩阵S=[x′1,…,x′s],利用K-SVD字典学习方法求解下式获得字典ψ;
其中,A=[α1,…,αs]为稀疏表示矩阵,表示样本在字典下的稀疏表示系数,‖·‖0表示向量中非零元的数目,T是控制向量稀疏程度的参量并取T=2,‖·‖F表示Frobenius范数;
步骤4:将低分辨率图像Y分成q×q的低分辨率图像块,每一个低分辨率图像块对应一个向量yi;
min‖αi‖0subject to‖Φψαi-yi‖2≤ε
其中xi∈Rn,yi∈Rm,xi=ψαi,yi=Φxi=Φψαi,αi为xi在字典ψ下的稀疏表示系数并且满足‖αi‖0=k<<n,‖αi‖0表示αi中非零元的数目;Φ∈Rm×n表示对高分辨率图像块进行模糊以及降采样所对应的矩阵,n=p×p,m=q×q,p/q为空间分辨率提升倍率;
所述步骤1中可以通过将低分辨率图像Y进行双三次插值获得准高分辨率图像X′。
所述步骤2中所得准高分辨率图像块之间,以及所述步骤4中所得低分辨率图像块之间,都可以具有一定的重叠。
所述步骤2中p取值可以为4,则步骤4中q取值为2,降采样矩阵
与现有技术相比,本发明具有如下优点:
(1)在超分辨率图像重构过程中,仅用到了低分辨率图像自身而没有用到由其他高分辨率图像构成的图像库,这使得在重构过程中附加信息的加入是准确的,因而保证了重构效果;
(2)方法实现过程中利用了图像自身同尺度自相似结构中所蕴含的附加信息,而该附加信息是在压缩感知框架下加入到高分辨率重构图像中的,由于方法中所采用的OMP方法运算复杂度较低,因而保证了方法的运算效率。
总之,与现有超分辨率方法相比,本发明既达到了较好的重构效果,又具有较高的运算效率。
附图说明
附图为本发明超分辨率方法流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图所示,一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法,包括以下步骤:
步骤1:将低分辨率图像Y进行双三次插值获得准高分辨率图像X′;
步骤2:将准高分辨率图像X′分成4×4的准高分辨率图像块,每一个准高分辨率图像块对应一个向量x′i,准高分辨率图像块之间可以具有一定的重叠;
步骤3:将得到的向量x′i作为训练样本并组成样本矩阵S=[x′1,…,x′s],利用K-SVD字典学习方法求解下式获得字典ψ;
步骤4:将低分辨率图像Y分成2×2的低分辨率图像块,每一个低分辨率图像块对应一个向量yi,低分辨率图像块之间可以具有一定的重叠;
min‖αi‖0subject to‖Φψαi-yi‖2≤ε
以上步骤中,xi∈Rn,表示高分辨率图像块所对应的向量,yi∈Rm,表示高分辨率图像块所对应的低分辨率图像块所对应的向量,yi=Φxi=Φψαi,Φ∈Rm×n为降采样矩阵,表示对高分辨率图像块进行模糊以及降采样所对应的矩阵,αi为xi在字典ψ下的稀疏表示系数并且满足‖αi‖0=k<<n,‖αi‖0表示αi中非零元的数目,A=[α1,…,αs]为稀疏表示矩阵,表示样本在字典下的稀疏表示系数,‖·‖0表示向量中非零元的数目,T是控制向量稀疏程度的参量并取T=2,‖·‖F表示Frobenius范数。
Claims (5)
1.一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法,其特征在于,包括以下步骤:
步骤1:将低分辨率图像Y进行插值获得准高分辨率图像X′;
步骤2:将准高分辨率图像X′分成p×p的准高分辨率图像块,每一个准高分辨率图像块对应一个向量x′i;
步骤3:将得到的向量x′i作为训练样本并组成样本矩阵S=[x′1,…,x′s],利用K-SVD字典学习方法求解下式获得字典ψ;
其中,A=[α1,…,αs]为稀疏表示矩阵,表示样本在字典下的稀疏表示系数,‖·‖0表示向量中非零元的数目,T是控制向量稀疏程度的参量并取T=2,‖·‖F表示Frobenius范数;
步骤4:将低分辨率图像Y分成q×q的低分辨率图像块,每一个低分辨率图像块对应一个向量yi;
min‖αi‖0subject to‖Φψαi-yi‖2≤ε
其中xi∈Rn,yi∈Rm,xi=ψαi,yi=Φxi=Φψαi,αi为xi在字典ψ下的稀疏表示系数并且满足‖αi‖0=k<<n,‖αi‖0表示αi中非零元的数目;Φ∈Rm×n表示对高分辨率图像块进行模糊以及降采样所对应的矩阵,n=p×p,m=q×q,p/q为空间分辨率提升倍率;
2.根据权利要求1所述的超分辨率方法,其特征在于,所述步骤1中将低分辨率图像Y进行双三次插值获得准高分辨率图像X′。
3.根据权利要求1所述的超分辨率方法,其特征在于,所述步骤2中所得准高分辨率图像块之间具有一定的重叠。
4.根据权利要求1所述的超分辨率方法,其特征在于,所述步骤4中所得低分辨率图像块之间具有一定的重叠。
5.根据权利要求1所述的超分辨率方法,其特征在于,所述步骤2中p取值为4,步骤4中q取值为2,降采样矩阵
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210193078.0A CN102750677B (zh) | 2012-06-12 | 2012-06-12 | 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210193078.0A CN102750677B (zh) | 2012-06-12 | 2012-06-12 | 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102750677A true CN102750677A (zh) | 2012-10-24 |
CN102750677B CN102750677B (zh) | 2015-06-17 |
Family
ID=47030827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210193078.0A Active CN102750677B (zh) | 2012-06-12 | 2012-06-12 | 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102750677B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102920478A (zh) * | 2012-11-22 | 2013-02-13 | 山东大学 | 一种合成聚焦的便携式b型超声成像方法 |
CN103020909A (zh) * | 2012-12-06 | 2013-04-03 | 清华大学 | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103473797A (zh) * | 2013-09-16 | 2013-12-25 | 电子科技大学 | 基于压缩感知采样数据修正的空域可缩小图像重构方法 |
CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
CN104766273A (zh) * | 2015-04-20 | 2015-07-08 | 重庆大学 | 一种基于压缩感知理论的红外图像超分辨率重建方法 |
CN105354804A (zh) * | 2015-10-23 | 2016-02-24 | 广州高清视信数码科技股份有限公司 | 一种基于最大化自相似性质的图像超分辨率重建方法 |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
WO2017004890A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率系统及方法 |
CN106446909A (zh) * | 2016-09-06 | 2017-02-22 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种中餐食物图像特征提取方法 |
CN106500735A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于压缩感知的fbg信号自适应修复方法 |
CN107818325A (zh) * | 2017-09-22 | 2018-03-20 | 浙江工业大学 | 基于集成字典学习的图像稀疏表示方法 |
CN108038503A (zh) * | 2017-12-08 | 2018-05-15 | 东华大学 | 一种基于k-svd学习字典的机织物纹理表征方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
-
2012
- 2012-06-12 CN CN201210193078.0A patent/CN102750677B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
Non-Patent Citations (3)
Title |
---|
JIANCHAO YANG ET AL: "Image Super-Resolution Via Sparse Representation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
MICHAL AHARON ET AL: "K-svd:An algorithm for designing overcomplete dictionaries for sparse representation", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 * |
李民 等: "非局部联合稀疏近似的超分辨率重建算法", 《电子与信息学报》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102920478B (zh) * | 2012-11-22 | 2014-04-16 | 山东大学 | 一种合成聚焦的便携式b型超声成像方法 |
CN102920478A (zh) * | 2012-11-22 | 2013-02-13 | 山东大学 | 一种合成聚焦的便携式b型超声成像方法 |
CN103020909A (zh) * | 2012-12-06 | 2013-04-03 | 清华大学 | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 |
CN103093444B (zh) * | 2013-01-17 | 2015-05-20 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103473797A (zh) * | 2013-09-16 | 2013-12-25 | 电子科技大学 | 基于压缩感知采样数据修正的空域可缩小图像重构方法 |
CN103473797B (zh) * | 2013-09-16 | 2016-04-20 | 电子科技大学 | 基于压缩感知采样数据修正的空域可缩小图像重构方法 |
CN103632359B (zh) * | 2013-12-13 | 2016-03-30 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
CN104200449A (zh) * | 2014-08-25 | 2014-12-10 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm算法 |
CN104766273A (zh) * | 2015-04-20 | 2015-07-08 | 重庆大学 | 一种基于压缩感知理论的红外图像超分辨率重建方法 |
CN104766273B (zh) * | 2015-04-20 | 2018-10-09 | 重庆大学 | 一种基于压缩感知理论的红外图像超分辨率重建方法 |
WO2017004890A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率系统及方法 |
CN105354804B (zh) * | 2015-10-23 | 2018-07-31 | 广州高清视信数码科技股份有限公司 | 一种基于最大化自相似性质的图像超分辨率重建方法 |
CN105354804A (zh) * | 2015-10-23 | 2016-02-24 | 广州高清视信数码科技股份有限公司 | 一种基于最大化自相似性质的图像超分辨率重建方法 |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
CN106446909A (zh) * | 2016-09-06 | 2017-02-22 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种中餐食物图像特征提取方法 |
CN106500735A (zh) * | 2016-11-03 | 2017-03-15 | 重庆邮电大学 | 一种基于压缩感知的fbg信号自适应修复方法 |
CN106500735B (zh) * | 2016-11-03 | 2019-03-22 | 重庆邮电大学 | 一种基于压缩感知的fbg信号自适应修复方法 |
CN107818325A (zh) * | 2017-09-22 | 2018-03-20 | 浙江工业大学 | 基于集成字典学习的图像稀疏表示方法 |
CN108038503A (zh) * | 2017-12-08 | 2018-05-15 | 东华大学 | 一种基于k-svd学习字典的机织物纹理表征方法 |
CN108038503B (zh) * | 2017-12-08 | 2020-06-05 | 东华大学 | 一种基于k-svd学习字典的机织物纹理表征方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102750677B (zh) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102750677A (zh) | 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 | |
CN103440500B (zh) | 高光谱遥感图像分类与识别方法 | |
Yang et al. | Optimization equivalence of divergences improves neighbor embedding | |
CN103279932B (zh) | 一种二维合成稀疏模型和基于该模型的字典训练方法 | |
CN103077511A (zh) | 基于字典学习和结构相似的图像超分辨率重建方法 | |
CN102629373A (zh) | 基于稀疏表示理论的超分辨率图像获取方法 | |
CN103279959B (zh) | 一种二维分析稀疏模型、其字典训练方法和图像去噪方法 | |
CN103020909A (zh) | 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 | |
Sheng et al. | Integration of semidirect product Lie 2-algebras | |
CN101609503B (zh) | 基于双流形对齐的人脸超分图像处理方法 | |
de Caen | Large equiangular sets of lines in Euclidean space | |
Grohs et al. | Alpha molecules: curvelets, shearlets, ridgelets, and beyond | |
Cloninger et al. | The pre-image problem for Laplacian eigenmaps utilizing l1 regularization with applications to data fusion | |
Guo et al. | Learned hyperspectral compression using a student’s T hyperprior | |
CN102289679B (zh) | 一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法 | |
CN111753714A (zh) | 基于字符分割的多方向自然场景文本检测方法 | |
CN103646012A (zh) | 分块ostm压缩测量矩阵构造方法 | |
CN102708556A (zh) | 一种基于反向图保持的单张图像超分辨率方法 | |
Han et al. | Manifestly gauge invariant perturbations of scalar–tensor theories of gravity | |
Chen et al. | Color-guided depth map super-resolution using a dual-branch multi-scale residual network with channel interaction | |
Wu et al. | Multi-scale non-local attention network for image super-resolution | |
Huang et al. | Residual Triplet Attention Network for Single-Image Super-Resolution | |
CN106056543A (zh) | 一种基于主成分分析法的高光谱图像增强方法 | |
Hlavatý et al. | Plane-parallel waves as duals of the flat background | |
Wang et al. | Multi-scale feature learning network with channel self-attention for remote sensing single-image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |