CN107203968A - 基于改进的子空间追踪算法的单幅图像超分辨率重建方法 - Google Patents

基于改进的子空间追踪算法的单幅图像超分辨率重建方法 Download PDF

Info

Publication number
CN107203968A
CN107203968A CN201710379683.XA CN201710379683A CN107203968A CN 107203968 A CN107203968 A CN 107203968A CN 201710379683 A CN201710379683 A CN 201710379683A CN 107203968 A CN107203968 A CN 107203968A
Authority
CN
China
Prior art keywords
resolution
low
image
dictionary
single image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710379683.XA
Other languages
English (en)
Other versions
CN107203968B (zh
Inventor
何小海
王茂蛟
卿粼波
滕奇志
孙伟恒
熊淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710379683.XA priority Critical patent/CN107203968B/zh
Publication of CN107203968A publication Critical patent/CN107203968A/zh
Application granted granted Critical
Publication of CN107203968B publication Critical patent/CN107203968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对单幅图像超分辨率重建，公开了一种基于压缩感知的单幅图像超分辨率重建方法。将低分辨率(Low Resolution,LR)图像看作压缩感知中的线性测量值，在此基础上发明了一种基于改进的子空间追踪算法的单幅图像超分辨率重建方法。首先使用LR和高分辨率(High Resolution,HR)训练图像块对集合，训练LR和HR字典；接着使用改进的子空间追踪算法和LR字典，获得LR图像块的稀疏表示系数；然后再结合HR字典获得HR图像块；最后以重叠方式重建单幅HR图像。本发明公开的单幅图像超分辨率重建方法与其它基于压缩感知的单幅图像超分辨率重建方法相比，提升了HR图像的重建质量。

Description

基于改进的子空间追踪算法的单幅图像超分辨率重建方法
技术领域
本发明涉及图像处理领域中的超分辨率重建技术，尤其是涉及一种基于压缩感知中信号重建算法的单幅图像超分辨率重建方法。
背景技术
图像超分辨率(Super Resolution,SR)需要从单幅或多幅低分辨率(LowResolution,LR)图像中重建同场景的高分辨率(High Resolution,HR)图像。因此，SR是一个严重的欠定问题，特别是仅有单幅LR图像的应用场合。单幅图像超分辨率(Single ImageSuper Resolution,SISR)是指从单幅已降质的LR图像中，使用信号处理方法重建对应的HR图像。
压缩感知(Compressive Sensing,CS)作为求解欠定问题的新型框架，能够从少量非自适应的线性测量值中，通过非线性的信号重建算法准确重建具有稀疏表示形式的信号。如果将SISR重建中的LR图像看作CS中的线性测量值，并假定待重建的HR图像在稀疏变换矩阵或过完备字典的作用下具有稀疏表示形式，那么根据CS理论，可以准确重建HR图像。最近，CS成像系统将传统的图像处理任务推广至基于CS的图像处理，已经广泛应用于雷达分析、面部识别以及生物医学图像等领域。CS成像系统的优势是仅需要少量的LR传感器，然后借助非线性的信号重建算法便可以重建HR图像。针对基于CS的SISR重建问题，研究人员开展了大量卓有成效的工作，有力地推动了CS中的信号重建算法与SISR重建的不断融合。Sen等人首次将CS理论融入SISR重建，接着通过引入模糊算子，增加了下采样矩阵和稀疏变换矩阵之间的不相关性，最后使用基于正则化的正交匹配追踪算法获得HR图像。Yang等人使用最小绝对收缩选择算子(Least Absolute Shrinkage and Selection Operator，LASSO)获得LR图像块的稀疏表示系数，然后结合HR字典完成HR图像重建。Zeyde等人改进了Yang等人的工作，首先使用K-SVD(Singular Value Decomposition,SVD)算法获得LR字典，并利用正交匹配追踪算法获得LR图像块的稀疏表示系数，显著提升了HR图像的重建质量。
发明内容
假定表示已向量化且具有NHR个像素的HR图像，表示已向量化且具有NLR个像素的LR图像，B:表示CS成像系统的模糊矩阵，D:表示下采样矩阵，因此可以将SISR重建问题表述为
xLR＝DBfHR+ξ
ξ表示独立同分布的加性高斯噪声。定义SR放大因子为考虑到算法的简洁性，将LR图像xLR通过双三次插值S:上采样至即
假定Eκ:为HR和LR图像块的提取算子，它的作用是提取HR和LR图像κ位置的图像块。因此，表示大小为的HR图像块，相应地提取LR图像块：根据图像局部稀疏模型，可以将HR图像块表示为HR字典中极少数原子的线性组合
稀疏表示系数且||βκ||0＝ω＜＜m＜n，其中，l0伪范数表示βκ中非零元素的数量。
假定L表示A所对应的HR图像局部降质矩阵，那么，HR图像块与对应的LR图像块之间的关系为
表示图像块的加性高斯噪声。
由于SISR重建中HR图像块的降质矩阵L与HR字典DHR之间的相关性，导致其并不完全满足CS中感知矩阵和稀疏变换矩阵的受限等距性质，因此，如果直接使用CS中的信号重建算法求解SISR重建问题，将导致不正确的LR图像块的稀疏表示系数，从而获得错误的HR图像。为使CS中的信号重建算法适用于SISR重建，本发明改进了CS中的子空间追踪算法，将其用于求解LR图像块的稀疏表示系数βκ，并提出了基于改进的子空间追踪算法的SISR重建方法。
假定I表示索引集合，表示对应着索引集合I的稀疏表示系数βκ的估计值，P:ω≤P＜m表示索引集合I的基数，一般设置为P＝ω。(DLR)I表示由对应着索引集合I的矩阵列构成的矩阵。算法1给出了改进的子空间追踪算法的算法流程。
本发明的基本思想是利用改进的子空间追踪算法求解LR图像块的稀疏表示系数，然后结合HR字典DHR完成SISR重建。该方法由训练字典阶段和SR重建阶段构成。训练字典阶段的目的是获得HR字典DHR和LR字典DLR，主要包括以下步骤：
(1)创建训练图像库。假定为训练图像，使用HR图像降质算子A获得LR训练图像因此，训练图像库为HR和LR图像对
(2)形成字典训练集。首先移除每幅HR训练图像中的低频信息，即并通过获得HR图像块；接着使用4个高通滤波器提取每幅LR图像中的高频信息，然后使用主成份分析算法对获得的高频信息降维，并通过获得LR图像块。因此，字典训练集为HR和LR图像块对
(3)训练LR字典DLR。对于所有的LR图像块使用K-SVD算法，获得LR字典DLR
(4)训练HR字典DHR。通过以下方式获得HR字典DHR
矩阵αHR的列由所有的HR训练图像块构成，矩阵X的列由稀疏表示系数{βκ}κ构成。|| ||F代表Frobenius范数。由于X为行满秩矩阵，所以该优化问题的解为
SR重建阶段主要包括以下步骤：
(1)根据不同的SR放大因子，使用双三次插值S:将LR图像xLR上采样至yLR。
(2)首先使用和训练字典阶段相同的高通滤波器，提取LR图像yLR中的高频信息；然后使用主成份分析算法对获得的高频信息降维；最后通过获得LR图像块。
(3)使用改进的子空间追踪算法，结合LR字典DLR，对每一个LR图像块获得其稀疏表示系数
(4)结合HR字典DHR和稀疏表示系数获得HR图像块然后通过下式获得HR图像
本发明设计出一种新的基于CS的SISR算法。假定将SISR重建中的LR图像看作CS中的线性测量值，本发明设计了基于改进的子空间追踪算法的SISR重建算法。首先使用HR和LR训练图像块对集合，训练HR和LR字典，其限制条件是使HR和LR图像块分别在HR和LR字典的作用下，它们的稀疏表示系数相同；接着使用改进的子空间追踪算法和LR字典，获得LR图像块的稀疏表示系数，然后再结合HR字典获得HR图像块，最后以重叠方式重建单幅HR图像。实验结果表明，本发明的重建方法有效提升了HR图像的重建质量。
附图说明
图1基于改进的子空间追踪算法的单幅图像超分辨率重建方法流程框图
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
1.本发明将与双三次插值、Yang等人的算法以及Zeyde等人的算法进行重建性能比较。算法的性能评价指标为HR图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)。训练图像库使用Yang等人提出的Train91，同时使用Set14为测试图像集；
2.本发明应用到LR图像块的4个高通滤波器分别为：
3.本发明的参数设置：n＝1024，ω＝3；当放大因子为2时，HR图像块的尺寸为6×6,使用主成份分析算法将LR图像块中的高频信息从144维降至28维；当放大因子为3时，HR图像块的尺寸为9×9，使用主成份分析算法将LR图像块中的高频信息从324维降至30维；当放大因子为4时，HR图像块的尺寸为12×12，使用主成份分析算法将LR图像块中的高频信息从576维降至30维；
4.表1给出了本发明与双三次插值、Yang等人的算法、Zeyde等人的算法重建图像的PSNR比较，本发明获得了所比较算法中最优秀的重建性能。因为对每个LR图像块需要计算相应的稀疏表示系数，Yang等人的算法使用LASSO获得LR图像块的稀疏表示系数，Zeyde等人的算法使用正交匹配追踪算法获得稀疏表示系数，而本发明则使用了改进的子空间追踪算法来获得稀疏表示系数。
表1 本发明与双三次插值、Yang等人的算法、Zeyde等人的算法重建图像的PSNR(dB)比较

Claims (5)

1.一种基于改进的子空间追踪算法的单幅图像超分辨率重建方法，其特征在于：
(1)使用高、低分辨率训练图像块对，训练高、低分辨率字典，其限制条件是使得高分辨率训练图像块在高分辨率字典的作用下以及低分辨率训练图像块在低分辨率字典的作用下，它们的稀疏表示系数相同；
(2)由于单幅图像超分辨率重建中的图像降质矩阵和字典并不完全满足压缩感知中的受限等距性质，因此，本发明改进了压缩感知中的子空间追踪算法，使之适应于单幅图像超分辨率重建；
(3)将高分辨率字典与稀疏表示系数相乘，获得高分辨率图像块，进而以重叠方式获得高分辨率图像。
2.如权利要求1所述的基于改进的子空间追踪算法的单幅图像超分辨率重建方法，其特征在于高、低分辨率训练图像块在各自分辨率字典的作用下，它们的稀疏表示系数相同。
3.如权利要求1所述的使用改进的子空间追踪算法，结合低分辨率字典和低分辨率图像块，获得低分辨率图像块的稀疏表示系数。
4.如权利要求1中的获得高分辨率图像块的方法，其特征是使用高分辨率字典与低分辨率图像块的稀疏表示系数(也即高分辨率图像块的稀疏表示系数)相乘而获得高分辨率图像块。
5.一种用于执行权利要求1至4所述基于改进的子空间追踪算法的单幅图像超分辨率重建方法。
CN201710379683.XA 2017-05-25 2017-05-25 基于改进的子空间追踪算法的单幅图像超分辨率重建方法 Active CN107203968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710379683.XA CN107203968B (zh) 2017-05-25 2017-05-25 基于改进的子空间追踪算法的单幅图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710379683.XA CN107203968B (zh) 2017-05-25 2017-05-25 基于改进的子空间追踪算法的单幅图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN107203968A true CN107203968A (zh) 2017-09-26
CN107203968B CN107203968B (zh) 2021-07-13

Family

ID=59906164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710379683.XA Active CN107203968B (zh) 2017-05-25 2017-05-25 基于改进的子空间追踪算法的单幅图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN107203968B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833188A (zh) * 2017-10-30 2018-03-23 辽宁工程技术大学 一种自适应稀疏型子空间追踪层析成像重构的方法
CN108492239A (zh) * 2018-03-19 2018-09-04 北京工业大学 一种面向光场相机的结构化观测与稀疏表示的协同优化方法
CN108921116A (zh) * 2018-07-10 2018-11-30 武汉商学院 遥感影像时变信息提取方法
CN108932710A (zh) * 2018-07-10 2018-12-04 武汉商学院 遥感时空信息融合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957013A (zh) * 2016-06-06 2016-09-21 南阳理工学院 一种单幅图像超分辨重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957013A (zh) * 2016-06-06 2016-09-21 南阳理工学院 一种单幅图像超分辨重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何静波 等: "基于针对性字典的压缩图像稀疏超分辨率重建", 《电视技术》 *
吴延海 等: "基于改进SP算法的压缩感知图像重构", 《计算机应用与软件》 *
王福驰 等: "一种改进的子空间追踪算法", 《青岛大学学报(自然科学版)》 *
赵志辉 等: "基于稀疏表示与线性回归的图像快速超分辨率重建", 《智能系统学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833188A (zh) * 2017-10-30 2018-03-23 辽宁工程技术大学 一种自适应稀疏型子空间追踪层析成像重构的方法
CN107833188B (zh) * 2017-10-30 2021-07-06 辽宁工程技术大学 一种自适应稀疏型子空间追踪层析成像重构的方法
CN108492239A (zh) * 2018-03-19 2018-09-04 北京工业大学 一种面向光场相机的结构化观测与稀疏表示的协同优化方法
CN108492239B (zh) * 2018-03-19 2022-05-03 北京工业大学 面向光场相机的结构化观测与稀疏表示的协同优化方法
CN108921116A (zh) * 2018-07-10 2018-11-30 武汉商学院 遥感影像时变信息提取方法
CN108932710A (zh) * 2018-07-10 2018-12-04 武汉商学院 遥感时空信息融合方法
CN108921116B (zh) * 2018-07-10 2021-09-28 武汉商学院 遥感影像时变信息提取方法
CN108932710B (zh) * 2018-07-10 2021-11-12 武汉商学院 遥感时空信息融合方法

Also Published As

Publication number Publication date
CN107203968B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107203968A (zh) 基于改进的子空间追踪算法的单幅图像超分辨率重建方法
CN106657713B (zh) 一种视频运动放大方法
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN107633486A (zh) 基于三维全卷积神经网络的结构磁共振图像去噪方法
CN106934766A (zh) 一种基于稀疏表示的红外图像超分辨率重建方法
CN103854267B (zh) 一种基于变分与分数阶微分的图像融合与超分辨率实现方法
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
CN103714526B (zh) 基于稀疏多流形嵌入的超分辨率图像重构方法
CN110211044B (zh) 基于去马赛克算法和主成分分析的多光谱成像方法及装置
CN105118078B (zh) 欠采样的ct图像重建方法
CN103606136B (zh) 基于关键帧和非局部约束的视频超分辨方法
CN104299193B (zh) 一种基于高频和中频信息的图像超分辨率重建方法
CN104021523B (zh) 一种基于边缘分类的图像超分辨率放大的方法
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
CN109447903B (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
CN108171656A (zh) 基于稀疏表示的自适应全局字典遥感图像超分辨方法
CN103914816A (zh) 一种基于非局部正则化和关键帧的视频超分辨方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN108460723A (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN104809735B (zh) 基于傅里叶变换实现图像雾霾评价的系统及方法
CN109325503B (zh) 一种用于压缩编码孔径成像的目标轮廓识别方法
CN106530253B (zh) 一种sar图像压缩感知重建样本的构建方法
Niresi et al. Robust hyperspectral inpainting via low-rank regularized untrained convolutional neural network
CN107169484B (zh) 基于人眼视觉特性的图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant