CN106934766B - 一种基于稀疏表示的红外图像超分辨率重建方法 - Google Patents

一种基于稀疏表示的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN106934766B
CN106934766B CN201710153279.0A CN201710153279A CN106934766B CN 106934766 B CN106934766 B CN 106934766B CN 201710153279 A CN201710153279 A CN 201710153279A CN 106934766 B CN106934766 B CN 106934766B
Authority
CN
China
Prior art keywords
resolution
dictionary
training set
sub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710153279.0A
Other languages
English (en)
Other versions
CN106934766A (zh
Inventor
杨延西
马苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201710153279.0A priority Critical patent/CN106934766B/zh
Publication of CN106934766A publication Critical patent/CN106934766A/zh
Application granted granted Critical
Publication of CN106934766B publication Critical patent/CN106934766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种基于稀疏表示的红外图像超分辨率重建方法，步骤包括：步骤1、字典的训练，包括样本集的提取和子字典的训练，样本集的提取包括图像预处理和图像分块；子字典的训练包括样本块的聚类、子字典的训练；步骤2、重建高分辨率图像。本发明的方法，采用基于相关系数的自适应k‑means聚类算法将大量的训练样本集进行分类，然后针对每一个子类训练一个对应的高低分辨率字典对，字典对的大小则根据该类所含样本个数自适应决定，最终获得多个高低分辨率子字典对，通过计算待重建的图像样本块与每一个子类聚类中心的相关系数来选择子字典进行重建；该方法保证了红外图像超分辨率重建结果，重建速度显著提高。

Description

一种基于稀疏表示的红外图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，涉及一种基于稀疏表示的红外图像超分辨率重建方法。
背景技术
红外成像设备能够将人眼不可见的物体自身的红外辐射转化为图像，故红外成像设备抗干扰性强、可在夜间和恶劣环境下工作，在工业生活等场所监控领域取得了广泛的应用。然而由于红外成像设备中探测器阵列的像元数目有限及像元尺寸的限制，而且易受到红外衍射的影响，导致红外图像分辨率较低，纹理不明显，远不能满足人眼对分辨率的要求。因此，提高红外图像的分辨率，改善图像的质量，至关重要。
考虑到从红外成像设备的硬件角度提高分辨率成本太高，所以如何在现有硬件条件及当前观测图像的基础上，设计出相应的算法以提高红外图像的分辨率具有非常重要的现实意义和应用价值。超分辨率重建(SRR)技术就是采用软件方法由一幅或几幅低分辨率图像(LR)恢复或逼近真实场景的高分辨率图像(HR)，并不需要更换原有的红外成像设备，是一种经济、有效的提高图像分辨率的方法。
图像超分辨率重建是数学上典型的病态逆问题，必须引入附加信息。从附加信息的来源上看，可以将图像超分辨率重建方法分为三种类型：基于插值的方法、基于重建的方法、基于学习的方法。1)基于插值的方法有最近邻插值、双线性插值、双三次插值、样条插值、核回归插值等，该方法速度快、易实现，但由于其本质上并不产生丢失的高频信息，所以在高放大倍数时重建结果严重模糊，处理效果差。2)基于重建的方法主要分为频域法和空域法。该方法只是针对图像像素间的关系进行学习，且由于低分辨率图像包含的信息有限，所以随着分辨率的提高，算法性能下降较快，无法改变重建效果。3)基于学习的方法是针对更能反映图像内容与人类感知的图像特征进行学习，更好地利用了高低分辨率图像之间的关系，在不增加输入图像数量的情况下，仍能产生新的高频细节。
传统的基于学习的方法对噪声敏感，所需样本数量太大。而基于稀疏表示的学习方法是通过学习一个过完备字典，并求得输入图像在该字典上的稀疏表示，运算规模显著减小。但目前仍然不能有效地获取符合原始图像真实情况的先验知识，且训练字典效率太低，重建结果与原始图像差距仍然较大，成为研究的一个热点。
发明内容
本发明的目的是提供一种基于稀疏表示的红外图像超分辨率重建方法，解决了现有技术中不能有效地获取符合原始图像真实情况的先验知识，且训练字典效率太低，重建结果与原始图像差距较大的问题。
本发明所采用的技术方案是，一种基于稀疏表示的红外图像超分辨率重建方法，按照以下步骤实施：
步骤1、字典的训练
字典的训练分为两个步骤：
1.1)样本集的提取
1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；
采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集；
1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m2×1，分块后将高分辨率红外图像块组成的训练集记为Yh，对应的低分辨率红外图像块组成的训练集记为Yl，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集
Figure BDA0001246266820000031
1.2)子字典的训练
1.2.1)样本块的聚类
1.2.2)子字典的训练
针对每一个子类训练集
Figure BDA0001246266820000032
其中rk表示第k个子类训练集Xk中包含的样本个数，Xhk表示第k个子类训练集Xk中的高分辨率训练集，Xlk表示第k个子类训练集Xk中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典Dk，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：
Figure BDA0001246266820000033
其中，
Figure BDA0001246266820000034
表示第k个子类训练集Xk训练所得的超完备子字典，Dhk表示第k个子类训练集Xk训练所得的高分辨率子字典，Dlk表示第k个子类训练集Xk训练所得的低分辨率子字典；
Figure BDA0001246266820000041
表示样本
Figure BDA0001246266820000042
的稀疏系数；
Figure BDA0001246266820000043
表示第k个子类训练集Xk在子字典Dk下的稀疏矩阵，T表示稀疏度，M表示子字典Dk的原子个数，通常，T＜2m2＜＜M＜rk，即从rk个样本中学习建立M个2m2维原子的超完备字典；
先用高斯随机矩阵初始化子字典Dk，利用广义正交匹配追踪算法求解稀疏系数矩阵Ak；然后固定Ak，用K-SVD算法更新子字典Dk中的所有原子及稀疏系数，获得目标子字典
Figure BDA0001246266820000044
得到由N个子类所对应的全部子字典组合成的最终的目标字典
Figure BDA0001246266820000045
Dh表示最终由训练集Y训练所得的高分辨率字典，Dl表示最终由训练集Y训练所得的低分辨率字典；
步骤2、重建高分辨率图像。
本发明的有益效果是，该方法采用基于相关系数的自适应k-means聚类算法将大量的训练样本集进行分类，然后针对每一个子类训练一个对应的高低分辨率字典对，字典对的大小则根据该类所含样本个数自适应决定，最终获得多个高低分辨率子字典对，通过计算待重建的图像样本块与每一个子类聚类中心的相关系数来选择子字典进行重建；该方法在保证红外图像超分辨率重建结果优越的同时，重建速度也有显著提高，对图像处理与显示的诸多应用领域具有重要意义。
附图说明
图1是本发明方法字典训练的流程图；
图2是本发明方法实施例中训练好的高分辨率字典Dh；
图3是本发明方法实施例中训练好的低分辨率字典Dl；
图4是输入的待重建的低分辨率电机红外图像；
图5是采用双三次插值法对图4进行3倍放大后的高分辨率图像；
图6是采用本发明方法对图4进行3倍放大后的高分辨率图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于稀疏表示的红外图像超分辨率重建方法，按照以下步骤实施：
步骤1、字典的训练
参照图1，字典的训练分为两个步骤：
1.1)样本集的提取
1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；
为了更好的与高分辨率图像对应，采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集。
1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m2×1，分块后将高分辨率红外图像块组成的训练集记为Yh，对应的低分辨率红外图像块组成的训练集记为Yl，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集
Figure BDA0001246266820000051
1.2)子字典的训练
1.2.1)样本块的聚类
采用基于相关系数的自适应k-means聚类算法，具体步骤如下：
a)选择训练集
Figure BDA0001246266820000061
中的第一个样本Y1作为本类的聚类中心，第i个样本记为Yi，i＝2,3,…,n。
b)依次计算第i个样本Yi与Y1的相关系数ri1，计算公式如式(1)所示：
Figure BDA0001246266820000062
其中，Y1(j)表示样本Y1的第j个像素值，Yi(j)表示样本Yi的第j个像素值，
Figure BDA0001246266820000063
表示样本Y1所有像素值的均值，
Figure BDA0001246266820000064
表示样本Yi所有像素值的均值。
c)设ξ为两个样本相关程度的阈值，若ri1≥ξ，说明样本Yi与Y1属于同一特征空间，此时，从训练集Y中去除Yi；否则，在训练集Y中保留Yi，继续搜索下一个样本；依次计算完所有样本与Y1的相关系数，根据阈值判定法得出第一类样本X1。
d)将原来训练集Y中已经归为第一类样本X1的样本去掉后再作为新的待聚类的样本，不断循环步骤a)-步骤d)，直到循环结束，完成分类。
e)将分类后子类中所含样本数较少(＜m0)的类依次排列组合成一个新类，该新类的聚类中心为所有子类中所含样本数较少的类的聚类中心的平均值；设将训练集Y分为N个子类，此时将重新分类后的训练集记为
Figure BDA0001246266820000065
N个子类的聚类中心为μ＝[μ1,μ2,…μN]，
其中，Xk表示第k个子类训练集，k＝1,2,…,N，
Figure BDA0001246266820000066
表示第k个子类的聚类中心，μhk、μlk分别表示第k个子类的高、低分辨率聚类中心。
1.2.2)子字典的训练
针对每一个子类训练集
Figure BDA0001246266820000071
其中rk表示第k个子类训练集Xk中包含的样本个数，Xhk表示第k个子类训练集Xk中的高分辨率训练集，Xlk表示第k个子类训练集Xk中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典Dk，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：
Figure BDA0001246266820000072
其中，
Figure BDA0001246266820000073
表示第k个子类训练集Xk训练所得的超完备子字典，Dhk表示第k个子类训练集Xk训练所得的高分辨率子字典，Dlk表示第k个子类训练集Xk训练所得的低分辨率子字典；
Figure BDA0001246266820000074
表示样本
Figure BDA0001246266820000075
的稀疏系数；
Figure BDA0001246266820000076
表示第k个子类训练集Xk在子字典Dk下的稀疏矩阵，T表示稀疏度，M表示子字典Dk的原子个数，通常，T＜2m2＜＜M＜rk，即从rk个样本中学习建立M个2m2维原子的超完备字典，字典大小M根据子类训练集包含的样本个数确定。
先用高斯随机矩阵初始化子字典Dk，利用广义正交匹配追踪算法(gOMP)求解稀疏系数矩阵Ak；然后固定Ak，用K-SVD算法更新子字典Dk中的所有原子及稀疏系数，获得目标子字典
Figure BDA0001246266820000077
得到由N个子类所对应的全部子字典组合成的最终的目标字典
Figure BDA0001246266820000078
Dh表示最终由训练集Y训练所得的高分辨率字典，Dl表示最终由训练集Y训练所得的低分辨率字典。
步骤2、重建高分辨率图像
具体步骤如下：
2.1)当输入一幅待重建的低分辨率红外图像yl时，先通过双三次插值3倍放大后得到红外图像yl′，再用LOG算子提取红外图像yl′的细节特征yl″；然后采用字典训练阶段相同的分块方法对其进行分块，最终得到对应的低分辨率样本集y＝[y1,y2,…ys]，其中的低分辨率样本分别记为
Figure BDA0001246266820000081
2.2)依次计算待重建的低分辨率样本
Figure BDA0001246266820000082
与每个低分辨率聚类中心μlk的相关系数
Figure BDA0001246266820000083
计算公式如式(3)所示：
Figure BDA0001246266820000084
其中，μlk(j)表示第k个聚类中心μlk的第j个像素值，
Figure BDA0001246266820000085
表示低分辨率样本
Figure BDA0001246266820000086
的第j个像素值，
Figure BDA0001246266820000087
表示第k个低分辨率聚类中心μlk所有像素值的均值，
Figure BDA0001246266820000088
表示低分辨率样本
Figure BDA0001246266820000089
所有像素值的均值。
2.3)根据相关系数
Figure BDA00012462668200000810
最大为原则来选择样本
Figure BDA00012462668200000811
最适应的子字典Dlk，在稀疏度取T时，用广义正交匹配追踪算法(gOMP)求解稀疏系数
Figure BDA00012462668200000812
计算公式如式(4)所示：
Figure BDA00012462668200000813
2.4)结合对应的高分辨率子字典Dhk，重建出样本
Figure BDA00012462668200000814
所对应的高分辨率图像块
Figure BDA00012462668200000815
不断循环步骤2.2)-步骤2.4)，直到所有低分辨率样本y都重建完成。
2.5)按照步骤2.1)的分块方式将重建的高分辨率图像块还原回去，块与块之间的重叠区域取重叠区域像素的平均值，则获得初步重建好的高分辨率红外图像yh′，根据重建约束条件求解最终的高分辨率红外图像yh，计算公式如式(5)所示：
Figure BDA0001246266820000091
其中S为下采样算子，H为大小5×5的方差为1的高斯矩阵的模糊算子。
采用改进的迭代反投影算法求解式(5)的优化问题，则转化为式(6)所示：
Figure BDA0001246266820000092
其中，yl表示输入的低分辨率红外图像，yl′表示yl通过双三次插值3倍放大后的图像，yht表示第t次迭代获得的高分辨率红外图像，↑s表示放大倍数，
Figure BDA0001246266820000093
表示卷积运算，p表示反投影算子，本步骤中采用了高斯滤波器，
求解式(6)，得出最终重建的高分辨率图像yh＝yht+1。
实施例
先从图像库中选取相似结构的红外图像和可见光图像共21张，其中红外图像的分辨率为639×480，共15张；可见光图像的分辨率为490×656，共6张；
将上述选取的21张图像作为高分辨率红外图像训练集，然后依次对这21张图像进行3倍下采样，再3倍插值放大后用LOG算子提取其细节特征，将所获得的图像作为训练集中最终的低分辨率红外图像训练集；
依次对高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行图像块大小为5×5，块与块边缘重叠1个像素的分块，则每一个样本大小为25×1；采用联合字典训练，即将高分辨率样本块与对应的低分辨率样本块组合成一个样本，则每一个样本大小为50×1；
本实施例样本块总个数为100000个，将最终的训练集记为
Figure BDA0001246266820000101
利用基于相关系数的自适应k-means聚类算法将训练集
Figure BDA0001246266820000102
聚类为119个子类；
依次对119个子类的训练样本集用K-SVD算法训练得到目标子字典，可获得119个子字典，将全部子字典组合成最终的目标字典Dh,Dl，分别如图2、图3所示。
在字典训练的图像库之外选取一幅低分辨率红外图像，作为输入的低分辨率图像，如图4所示为工业生产现场的电机，其分辨率为213×160。利用现有技术的双三次插值方法对图4按照3倍放大进行处理，得到分辨率为639×480的图像，如图5所示。另外，重新利用本发明前述的方法对图4按照3倍放大进行重建，得到分辨率为639×480的高分辨率图像，如图6所示。
下表1列出了大小为50×100000的训练集不分类训练512、1024大小的字典所需的时间以及利用基于相关系数的自适应k-means聚类算法将同样大小为50×100000的训练集分类后训练出最终远远大于1024的字典所需时间；
表1、分类与不分类字典训练时间对比，单位：秒/s
字典大小 512(不分类) 1024(不分类) >>1024(分类)
训练时间 42472 62262 7573
下表2是采用两种方法(现有技术的双三次插值方法及本发明方法)对图4的超分辨率结果常用的评价指标MSE、PSNR和SSIM值。
表2、两种方法对图4的超分辨率重建的MSE、PSNR和SSIM值对比
评价指标 MSE PSNR(dB) SSIM
双三次插值 335.1065 22.8790 0.9349
本发明方法 294.2822 23.4432 0.9446
结合表1和表2能够看出，本发明方法在保证红外图像超分辨率重建结果优越的同时，重建速度显著提高。

Claims (2)

1.一种基于稀疏表示的红外图像超分辨率重建方法，其特征在于，按照以下步骤实施：
步骤1、字典的训练
字典的训练分为两个步骤：
1.1)样本集的提取
1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；
采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集；
1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m2×1，分块后将高分辨率红外图像块组成的训练集记为Yh，对应的低分辨率红外图像块组成的训练集记为Yl，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集
Figure FDA0002229898600000011
1.2)子字典的训练，
1.2.1)样本块的聚类，
采用基于相关系数的自适应k-means聚类算法，具体步骤如下：
a)选择训练集
Figure FDA0002229898600000021
中的第一个样本Y1作为本类的聚类中心，第i个样本记为Yi，i＝2,3,…,n；
b)依次计算第i个样本Yi与Y1的相关系数ri1，计算公式如式(1)所示：
Figure FDA0002229898600000022
其中，Y1(j)表示样本Y1的第j个像素值，Yi(j)表示样本Yi的第j个像素值，
Figure FDA0002229898600000023
表示样本Y1所有像素值的均值，
Figure FDA0002229898600000024
表示样本Yi所有像素值的均值；
c)设ξ为两个样本相关程度的阈值，若ri1≥ξ，说明样本Yi与Y1属于同一特征空间，此时，从训练集Y中去除Yi；否则，在训练集Y中保留Yi，继续搜索下一个样本；依次计算完所有样本与Y1的相关系数，根据阈值判定法得出第一类样本X1；
d)将原来训练集Y中已经归为第一类样本X1的样本去掉后再作为新的待聚类的样本，不断循环步骤a)-步骤d)，直到循环结束，完成分类；
e)将分类后子类中所含样本数较少的类依次排列组合成一个新类，该新类的聚类中心为所有子类中所含样本数较少的类的聚类中心的平均值；设将训练集Y分为N个子类，此时将重新分类后的训练集记为
Figure FDA0002229898600000025
N个子类的聚类中心为μ＝[μ1,μ2,…μN]，
其中，Xk表示第k个子类训练集，k＝1,2,…,N，
Figure FDA0002229898600000026
表示第k个子类的聚类中心，μhk、μlk分别表示第k个子类的高、低分辨率聚类中心；
1.2.2)子字典的训练
针对每一个子类训练集
Figure FDA0002229898600000027
其中rk表示第k个子类训练集Xk中包含的样本个数，Xhk表示第k个子类训练集Xk中的高分辨率训练集，Xlk表示第k个子类训练集Xk中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典Dk，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：
Figure FDA0002229898600000031
其中，
Figure FDA0002229898600000032
表示第k个子类训练集Xk训练所得的超完备子字典，Dhk表示第k个子类训练集Xk训练所得的高分辨率子字典，Dlk表示第k个子类训练集Xk训练所得的低分辨率子字典；
Figure FDA0002229898600000033
表示样本
Figure FDA0002229898600000034
的稀疏系数；
Figure FDA0002229898600000035
表示第k个子类训练集Xk在子字典Dk下的稀疏矩阵，T表示稀疏度，M表示子字典Dk的原子个数，通常，T＜2m2＜＜M＜rk，即从rk个样本中学习建立M个2m2维原子的超完备字典；
先用高斯随机矩阵初始化子字典Dk，利用广义正交匹配追踪算法求解稀疏系数矩阵Ak；然后固定Ak，用K-SVD算法更新子字典Dk中的所有原子及稀疏系数，获得目标子字典
Figure FDA0002229898600000036
得到由N个子类所对应的全部子字典组合成的最终的目标字典
Figure FDA0002229898600000037
Dh表示最终由训练集Y训练所得的高分辨率字典，Dl表示最终由训练集Y训练所得的低分辨率字典；
步骤2、重建高分辨率图像。
2.根据权利要求1所述的基于稀疏表示的红外图像超分辨率重建方法，其特征在于，所述的步骤2中，具体步骤如下：
2.1)当输入一幅待重建的低分辨率红外图像yl时，先通过双三次插值3倍放大后得到红外图像y′l，再用LOG算子提取红外图像y′l的细节特征y″l；然后采用字典训练阶段相同的分块方法对其进行分块，最终得到对应的低分辨率样本集y＝[y1,y2,…ys]，其中的低分辨率样本分别记为
Figure FDA0002229898600000041
i0＝1,2,…,s；
2.2)依次计算待重建的低分辨率样本
Figure FDA0002229898600000042
与每个低分辨率聚类中心μlk的相关系数
Figure FDA0002229898600000043
计算公式如式(3)所示：
Figure FDA0002229898600000044
其中，μlk(j)表示第k个聚类中心μlk的第j个像素值，
Figure FDA0002229898600000045
表示低分辨率样本
Figure FDA0002229898600000046
的第j个像素值，
Figure FDA0002229898600000047
表示第k个低分辨率聚类中心μlk所有像素值的均值，
Figure FDA0002229898600000048
表示低分辨率样本
Figure FDA0002229898600000049
所有像素值的均值；
2.3)根据相关系数
Figure FDA00022298986000000410
最大为原则来选择样本
Figure FDA00022298986000000411
最适应的子字典Dlk，在稀疏度取T时，用广义正交匹配追踪算法；求解稀疏系数
Figure FDA00022298986000000412
计算公式如式(4)所示：
Figure FDA00022298986000000413
2.4)结合对应的高分辨率子字典Dhk，重建出样本
Figure FDA00022298986000000414
所对应的高分辨率图像块
Figure FDA00022298986000000415
不断循环步骤2.2)-步骤2.4)，直到所有低分辨率样本y都重建完成；
2.5)按照步骤2.1)的分块方式将重建的高分辨率图像块还原回去，块与块之间的重叠区域取重叠区域像素的平均值，则获得初步重建好的高分辨率红外图像yh′，根据重建约束条件求解最终的高分辨率红外图像yh，计算公式如式(5)所示：
Figure FDA00022298986000000416
其中S为下采样算子，H为大小5×5的方差为1的高斯矩阵的模糊算子；
采用改进的迭代反投影算法求解式(5)的优化问题，则转化为式(6)所示：
Figure FDA0002229898600000051
其中，yl表示输入的低分辨率红外图像，y′l表示yl通过双三次插值3倍放大后的图像，yht表示第t次迭代获得的高分辨率红外图像，↑s表示放大倍数，
Figure FDA0002229898600000052
表示卷积运算，p表示反投影算子，本步骤中采用了高斯滤波器，
求解式(6)，得出最终重建的高分辨率图像yh＝yht+1。
CN201710153279.0A 2017-03-15 2017-03-15 一种基于稀疏表示的红外图像超分辨率重建方法 Active CN106934766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710153279.0A CN106934766B (zh) 2017-03-15 2017-03-15 一种基于稀疏表示的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710153279.0A CN106934766B (zh) 2017-03-15 2017-03-15 一种基于稀疏表示的红外图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106934766A CN106934766A (zh) 2017-07-07
CN106934766B true CN106934766B (zh) 2020-04-21

Family

ID=59432424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153279.0A Active CN106934766B (zh) 2017-03-15 2017-03-15 一种基于稀疏表示的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106934766B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111326A (zh) * 2019-05-15 2019-08-09 西安科技大学 基于ert系统的重建图像质量评价方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680146A (zh) * 2017-09-13 2018-02-09 深圳先进技术研究院 Pet图像的重建方法、装置、设备及存储介质
CN107845065B (zh) * 2017-09-15 2021-06-15 西北大学 超分辨率图像重建方法和装置
CN107833182A (zh) * 2017-11-20 2018-03-23 西安建筑科技大学 基于特征提取的红外图像超分辨率重建方法
CN107945114A (zh) * 2017-11-30 2018-04-20 天津大学 基于聚类字典和迭代反投影的磁共振图像超分辨率方法
CN108090870A (zh) * 2017-12-13 2018-05-29 苏州长风航空电子有限公司 一种基于结构转化自相似的红外图像超分辨率重建方法
CN108319970B (zh) * 2018-01-16 2021-08-24 上海海事大学 基于压缩感知的声纳图像超分辨率重建目标跟踪和检测方法
CN108335264B (zh) * 2018-01-30 2021-08-03 武汉大学 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN108830792B (zh) * 2018-05-09 2022-03-11 浙江师范大学 一种利用多类字典的图像超分辨率方法
CN108846798A (zh) * 2018-05-25 2018-11-20 菏泽学院 一种图像重建法
CN108805809A (zh) * 2018-05-28 2018-11-13 天津科技大学 一种基于生成对抗网络的红外人脸图像超分辨率重建方法
CN108961180B (zh) * 2018-06-22 2020-09-25 理光软件研究所（北京）有限公司 红外图像增强方法及系统
CN108776954B (zh) * 2018-06-26 2020-04-28 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN109064403B (zh) * 2018-08-10 2022-11-01 安徽师范大学 基于分类耦合字典稀疏表示的指纹图像超分辨率方法
CN109685738A (zh) * 2018-12-24 2019-04-26 广东理致技术有限公司 一种提升图像清晰度的方法及装置
CN109785235A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于压缩感知的红外行人图像超分辨率重建方法及系统
CN110033495B (zh) * 2019-03-25 2021-04-20 西安交通大学 基于k-均值聚类字典学习的mr图像重构方法
CN110211037B (zh) * 2019-04-26 2023-07-07 南京航空航天大学 一种基于多级稀疏字典学习的图像超分辨率方法
CN111028148B (zh) * 2019-11-26 2023-04-18 广东石油化工学院 基于邻域回归与局部信息的图像重建方法
CN112200718A (zh) * 2020-09-18 2021-01-08 郑州航空工业管理学院 基于ncsr和多传感器的红外图像超分辨率方法
CN113808018A (zh) * 2021-08-26 2021-12-17 赵俊保 一种超分辨率方法、系统及计算机存储介质
CN114723604B (zh) * 2022-02-21 2023-02-10 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法
CN118585661A (zh) * 2024-08-06 2024-09-03 中国人民解放军国防科技大学 一种基于分层稀疏编码的数据库图像数据存储方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902961A (zh) * 2012-09-21 2013-01-30 武汉大学 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538126B2 (en) * 2014-12-03 2017-01-03 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902961A (zh) * 2012-09-21 2013-01-30 武汉大学 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105844590A (zh) * 2016-03-23 2016-08-10 武汉理工大学 基于稀疏表示的图像超分辨率重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于稀疏表示与压缩传感的超分辨率图像处理技术研究》;陈致豪;《中国优秀硕士学位论文全文数据库信息科技辑》;20131115;第18-25页 *
《基于稀疏表示的单帧图像超分辨率重建算法研究》;王晓春;《中国优秀硕士学位论文全文数据库信息科技辑》;20131115;第7-45页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111326A (zh) * 2019-05-15 2019-08-09 西安科技大学 基于ert系统的重建图像质量评价方法
CN110111326B (zh) * 2019-05-15 2021-01-15 西安科技大学 基于ert系统的重建图像质量评价方法

Also Published As

Publication number Publication date
CN106934766A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934766B (zh) 一种基于稀疏表示的红外图像超分辨率重建方法
CN109376611B (zh) 一种基于3d卷积神经网络的视频显著性检测方法
CN103150713B (zh) 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
Kato et al. Multi-frame image super resolution based on sparse coding
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Fu et al. Adaptive spatial-spectral dictionary learning for hyperspectral image denoising
Shen et al. Convolutional neural pyramid for image processing
CN105513033B (zh) 一种非局部联合稀疏表示的超分辨率重建方法
Anwar et al. Attention-based real image restoration
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
Wali et al. Recent progress in digital image restoration techniques: a review
CN106934398A (zh) 基于超像素聚类和稀疏表示的图像去噪方法
Sheng et al. Frequency-domain deep guided image denoising
Xu et al. Deep unfolding multi-scale regularizer network for image denoising
CN107085826B (zh) 基于加权重叠非局部回归先验的图像超分辨率重建方法
Lyu et al. Boosting attention fusion generative adversarial network for image denoising
Jebur et al. Image denoising techniques: An overview
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
CN113313655A (zh) 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法
CN116310452B (zh) 一种多视图聚类方法及系统
CN106033595B (zh) 一种基于局部约束的图像盲去模糊方法
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法
Nguyen et al. Deep sparse and low-rank prior for hyperspectral image denoising
Li et al. Super-resolution using neighbourhood regression with local structure prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant