CN106934766A - 一种基于稀疏表示的红外图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的红外图像超分辨率重建方法，步骤包括：步骤1、字典的训练，包括样本集的提取和子字典的训练，样本集的提取包括图像预处理和图像分块；子字典的训练包括样本块的聚类、子字典的训练；步骤2、重建高分辨率图像。本发明的方法，采用基于相关系数的自适应k‑means聚类算法将大量的训练样本集进行分类，然后针对每一个子类训练一个对应的高低分辨率字典对，字典对的大小则根据该类所含样本个数自适应决定，最终获得多个高低分辨率子字典对，通过计算待重建的图像样本块与每一个子类聚类中心的相关系数来选择子字典进行重建；该方法保证了红外图像超分辨率重建结果，重建速度显著提高。

Description

一种基于稀疏表示的红外图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种基于稀疏表示的红外图像超分辨率重建方法。

背景技术

红外成像设备能够将人眼不可见的物体自身的红外辐射转化为图像，故红外成像设备抗干扰性强、可在夜间和恶劣环境下工作，在工业生活等场所监控领域取得了广泛的应用。然而由于红外成像设备中探测器阵列的像元数目有限及像元尺寸的限制，而且易受到红外衍射的影响，导致红外图像分辨率较低，纹理不明显，远不能满足人眼对分辨率的要求。因此，提高红外图像的分辨率，改善图像的质量，至关重要。

考虑到从红外成像设备的硬件角度提高分辨率成本太高，所以如何在现有硬件条件及当前观测图像的基础上，设计出相应的算法以提高红外图像的分辨率具有非常重要的现实意义和应用价值。超分辨率重建(SRR)技术就是采用软件方法由一幅或几幅低分辨率图像(LR)恢复或逼近真实场景的高分辨率图像(HR)，并不需要更换原有的红外成像设备，是一种经济、有效的提高图像分辨率的方法。

图像超分辨率重建是数学上典型的病态逆问题，必须引入附加信息。从附加信息的来源上看，可以将图像超分辨率重建方法分为三种类型：基于插值的方法、基于重建的方法、基于学习的方法。1)基于插值的方法有最近邻插值、双线性插值、双三次插值、样条插值、核回归插值等，该方法速度快、易实现，但由于其本质上并不产生丢失的高频信息，所以在高放大倍数时重建结果严重模糊，处理效果差。2)基于重建的方法主要分为频域法和空域法。该方法只是针对图像像素间的关系进行学习，且由于低分辨率图像包含的信息有限，所以随着分辨率的提高，算法性能下降较快，无法改变重建效果。3)基于学习的方法是针对更能反映图像内容与人类感知的图像特征进行学习，更好地利用了高低分辨率图像之间的关系，在不增加输入图像数量的情况下，仍能产生新的高频细节。

传统的基于学习的方法对噪声敏感，所需样本数量太大。而基于稀疏表示的学习方法是通过学习一个过完备字典，并求得输入图像在该字典上的稀疏表示，运算规模显著减小。但目前仍然不能有效地获取符合原始图像真实情况的先验知识，且训练字典效率太低，重建结果与原始图像差距仍然较大，成为研究的一个热点。

发明内容

本发明的目的是提供一种基于稀疏表示的红外图像超分辨率重建方法，解决了现有技术中不能有效地获取符合原始图像真实情况的先验知识，且训练字典效率太低，重建结果与原始图像差距较大的问题。

本发明所采用的技术方案是，一种基于稀疏表示的红外图像超分辨率重建方法，按照以下步骤实施：

步骤1、字典的训练

字典的训练分为两个步骤：

1.1)样本集的提取

1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；

采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集；

1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m²×1，分块后将高分辨率红外图像块组成的训练集记为Y_h，对应的低分辨率红外图像块组成的训练集记为Y_l，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集

1.2)子字典的训练

1.2.1)样本块的聚类

1.2.2)子字典的训练

针对每一个子类训练集其中r_k表示第k个子类训练集X_k中包含的样本个数，X_hk表示第k个子类训练集X_k中的高分辨率训练集，X_lk表示第k个子类训练集X_k中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典D_k，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：

其中，表示第k个子类训练集X_k训练所得的超完备子字典，D_hk表示第k个子类训练集X_k训练所得的高分辨率子字典，D_lk表示第k个子类训练集X_k训练所得的低分辨率子字典；表示样本的稀疏系数；表示第k个子类训练集X_k在子字典D_k下的稀疏矩阵，T表示稀疏度，M表示子字典D_k的原子个数，通常，T＜2m²＜＜M＜r_k，即从r_k个样本中学习建立M个2m²维原子的超完备字典；

先用高斯随机矩阵初始化子字典D_k，利用广义正交匹配追踪算法求解稀疏系数矩阵A_k；然后固定A_k，用K-SVD算法更新子字典D_k中的所有原子及稀疏系数，获得目标子字典得到由N个子类所对应的全部子字典组合成的最终的目标字典D_h表示最终由训练集Y训练所得的高分辨率字典，D_l表示最终由训练集Y训练所得的低分辨率字典；

步骤2、重建高分辨率图像。

本发明的有益效果是，该方法采用基于相关系数的自适应k-means聚类算法将大量的训练样本集进行分类，然后针对每一个子类训练一个对应的高低分辨率字典对，字典对的大小则根据该类所含样本个数自适应决定，最终获得多个高低分辨率子字典对，通过计算待重建的图像样本块与每一个子类聚类中心的相关系数来选择子字典进行重建；该方法在保证红外图像超分辨率重建结果优越的同时，重建速度也有显著提高，对图像处理与显示的诸多应用领域具有重要意义。

附图说明

图1是本发明方法字典训练的流程图；

图2是本发明方法实施例中训练好的高分辨率字典D_h；

图3是本发明方法实施例中训练好的低分辨率字典D_l；

图4是输入的待重建的低分辨率电机红外图像；

图5是采用双三次插值法对图4进行3倍放大后的高分辨率图像；

图6是采用本发明方法对图4进行3倍放大后的高分辨率图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于稀疏表示的红外图像超分辨率重建方法，按照以下步骤实施：

步骤1、字典的训练

参照图1，字典的训练分为两个步骤：

1.1)样本集的提取

1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；

为了更好的与高分辨率图像对应，采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集。

1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m²×1，分块后将高分辨率红外图像块组成的训练集记为Y_h，对应的低分辨率红外图像块组成的训练集记为Y_l，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集

1.2)子字典的训练

1.2.1)样本块的聚类

采用基于相关系数的自适应k-means聚类算法，具体步骤如下：

a)选择训练集中的第一个样本Y₁作为本类的聚类中心，第i个样本记为Y_i，i＝2,3,…,n。

b)依次计算第i个样本Y_i与Y₁的相关系数r_i1，计算公式如式(1)所示：

其中，Y₁(j)表示样本Y₁的第j个像素值，Y_i(j)表示样本Y_i的第j个像素值，表示样本Y₁所有像素值的均值，表示样本Y_i所有像素值的均值。

c)设ξ为两个样本相关程度的阈值，若r_i1≥ξ，说明样本Y_i与Y₁属于同一特征空间，此时，从训练集Y中去除Y_i；否则，在训练集Y中保留Y_i，继续搜索下一个样本；依次计算完所有样本与Y₁的相关系数，根据阈值判定法得出第一类样本X₁。

d)将原来训练集Y中已经归为第一类样本X₁的样本去掉后再作为新的待聚类的样本，不断循环步骤a)-步骤d)，直到循环结束，完成分类。

e)将分类后子类中所含样本数较少(＜m₀)的类依次排列组合成一个新类，该新类的聚类中心为所有子类中所含样本数较少的类的聚类中心的平均值；设将训练集Y分为N个子类，此时将重新分类后的训练集记为N个子类的聚类中心为μ＝[μ₁,μ₂,…μ_N]，

其中，X_k表示第k个子类训练集，k＝1,2,…,N，表示第k个子类的聚类中心，μ_hk、μ_lk分别表示第k个子类的高、低分辨率聚类中心。

1.2.2)子字典的训练

针对每一个子类训练集其中r_k表示第k个子类训练集X_k中包含的样本个数，X_hk表示第k个子类训练集X_k中的高分辨率训练集，X_lk表示第k个子类训练集X_k中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典D_k，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：

其中，表示第k个子类训练集X_k训练所得的超完备子字典，D_hk表示第k个子类训练集X_k训练所得的高分辨率子字典，D_lk表示第k个子类训练集X_k训练所得的低分辨率子字典；表示样本的稀疏系数；表示第k个子类训练集X_k在子字典D_k下的稀疏矩阵，T表示稀疏度，M表示子字典D_k的原子个数，通常，T＜2m²＜＜M＜r_k，即从r_k个样本中学习建立M个2m²维原子的超完备字典，字典大小M根据子类训练集包含的样本个数确定。

先用高斯随机矩阵初始化子字典D_k，利用广义正交匹配追踪算法(gOMP)求解稀疏系数矩阵A_k；然后固定A_k，用K-SVD算法更新子字典D_k中的所有原子及稀疏系数，获得目标子字典得到由N个子类所对应的全部子字典组合成的最终的目标字典D_h表示最终由训练集Y训练所得的高分辨率字典，D_l表示最终由训练集Y训练所得的低分辨率字典。

步骤2、重建高分辨率图像

具体步骤如下：

2.1)当输入一幅待重建的低分辨率红外图像y_l时，先通过双三次插值3倍放大后得到红外图像y_l′，再用LOG算子提取红外图像y_l′的细节特征y_l″；然后采用字典训练阶段相同的分块方法对其进行分块，最终得到对应的低分辨率样本集y＝[y₁,y₂,…y_s]，其中的低分辨率样本分别记为

2.2)依次计算待重建的低分辨率样本与每个低分辨率聚类中心μ_lk的相关系数计算公式如式(3)所示：

其中，μ_lk(j)表示第k个聚类中心μ_lk的第j个像素值，表示低分辨率样本的第j个像素值，表示第k个低分辨率聚类中心μ_lk所有像素值的均值，表示低分辨率样本所有像素值的均值。

2.3)根据相关系数最大为原则来选择样本最适应的子字典D_lk，在稀疏度取T时，用广义正交匹配追踪算法(gOMP)求解稀疏系数计算公式如式(4)所示：

2.4)结合对应的高分辨率子字典D_hk，重建出样本所对应的高分辨率图像块

不断循环步骤2.2)-步骤2.4)，直到所有低分辨率样本y都重建完成。

2.5)按照步骤2.1)的分块方式将重建的高分辨率图像块还原回去，块与块之间的重叠区域取重叠区域像素的平均值，则获得初步重建好的高分辨率红外图像y_h′，根据重建约束条件求解最终的高分辨率红外图像y_h，计算公式如式(5)所示：

其中S为下采样算子，H为大小5×5的方差为1的高斯矩阵的模糊算子。

采用改进的迭代反投影算法求解式(5)的优化问题，则转化为式(6)所示：

其中，y_l表示输入的低分辨率红外图像，y_l′表示y_l通过双三次插值3倍放大后的图像，y_ht表示第t次迭代获得的高分辨率红外图像，↑s表示放大倍数，表示卷积运算，p表示反投影算子，本步骤中采用了高斯滤波器，

求解式(6)，得出最终重建的高分辨率图像y_h＝y_ht+1。

实施例

先从图像库中选取相似结构的红外图像和可见光图像共21张，其中红外图像的分辨率为639×480，共15张；可见光图像的分辨率为490×656，共6张；

将上述选取的21张图像作为高分辨率红外图像训练集，然后依次对这21张图像进行3倍下采样，再3倍插值放大后用LOG算子提取其细节特征，将所获得的图像作为训练集中最终的低分辨率红外图像训练集；

依次对高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行图像块大小为5×5，块与块边缘重叠1个像素的分块，则每一个样本大小为25×1；采用联合字典训练，即将高分辨率样本块与对应的低分辨率样本块组合成一个样本，则每一个样本大小为50×1；

本实施例样本块总个数为100000个，将最终的训练集记为利用基于相关系数的自适应k-means聚类算法将训练集聚类为119个子类；

依次对119个子类的训练样本集用K-SVD算法训练得到目标子字典，可获得119个子字典，将全部子字典组合成最终的目标字典D_h,D_l，分别如图2、图3所示。

在字典训练的图像库之外选取一幅低分辨率红外图像，作为输入的低分辨率图像，如图4所示为工业生产现场的电机，其分辨率为213×160。利用现有技术的双三次插值方法对图4按照3倍放大进行处理，得到分辨率为639×480的图像，如图5所示。另外，重新利用本发明前述的方法对图4按照3倍放大进行重建，得到分辨率为639×480的高分辨率图像，如图6所示。

下表1列出了大小为50×100000的训练集不分类训练512、1024大小的字典所需的时间以及利用基于相关系数的自适应k-means聚类算法将同样大小为50×100000的训练集分类后训练出最终远远大于1024的字典所需时间；

表1、分类与不分类字典训练时间对比，单位：秒/s

字典大小	512(不分类)	1024(不分类)	>>1024(分类)
				训练时间	42472	62262	7573

下表2是采用两种方法(现有技术的双三次插值方法及本发明方法)对图4的超分辨率结果常用的评价指标MSE、PSNR和SSIM值。

表2、两种方法对图4的超分辨率重建的MSE、PSNR和SSIM值对比

评价指标	MSE	PSNR(dB)	SSIM
				双三次插值	335.1065	22.8790	0.9349
本发明方法	294.2822	23.4432	0.9446

结合表1和表2能够看出，本发明方法在保证红外图像超分辨率重建结果优越的同时，重建速度显著提高。

Claims (3)

1.一种基于稀疏表示的红外图像超分辨率重建方法，其特征在于，按照以下步骤实施：

步骤1、字典的训练

字典的训练分为两个步骤：

1.1)样本集的提取

1.1.1)图像预处理：从图像库里选取大量结构相似的高分辨率红外图像和可见光图像作为高分辨率红外图像训练集；然后依次对该高分辨率红外图像训练集中的每张图像进行3倍下采样，再将3倍插值放大所得的图像作为该高分辨率红外图像训练集中对应的低分辨率红外图像训练集；

采用LOG算子提取低分辨率图像的细节特征作为最终的低分辨率红外图像训练集；

1.1.2)图像分块：依次对上述的高、低分辨率红外图像训练集中的每张图像从左到右、从上到下进行分块，图像块大小为m×m，块与块边缘重叠p个像素，p＜m/2，则每一个样本大小为m²×1，分块后将高分辨率红外图像块组成的训练集记为Y_h，对应的低分辨率红外图像块组成的训练集记为Y_l，采用联合字典训练，即将高分辨率红外图像块与对应的低分辨率红外图像块组合成一个样本，设样本块总个数为n，最终得到组合后的训练集

1.2)子字典的训练

1.2.1)样本块的聚类

1.2.2)子字典的训练

针对每一个子类训练集其中r_k表示第k个子类训练集X_k中包含的样本个数，X_hk表示第k个子类训练集X_k中的高分辨率训练集，X_lk表示第k个子类训练集X_k中的低分辨率训练集，然后由稀疏约束条件，学习构建子字典D_k，建立超完备稀疏表示子字典，其数学模型表达式如式(2)所示：

$\begin{array}{ccc}\{D_k,A_k\}=\arg min\left|\right|X_k-D_k{A}_k|{|}_F^2=\underset{j_0=1}{\overset{r_k}{\Σ}}||x_{j_0}-D_k{\mathrm{\α}}_{j_0}|{|}_2^2& s.t.& \left|\right|{\mathrm{\α}}_{j_0}|{|}_0\≤T\end{array},j_0=1,2,...r_k---\left(2\right)$

其中，表示第k个子类训练集X_k训练所得的超完备子字典，D_hk表示第k个子类训练集X_k训练所得的高分辨率子字典，D_lk表示第k个子类训练集X_k训练所得的低分辨率子字典；表示样本的稀疏系数；表示第k个子类训练集X_k在子字典D_k下的稀疏矩阵，T表示稀疏度，M表示子字典D_k的原子个数，通常，T＜2m²＜＜M＜r_k，即从r_k个样本中学习建立M个2m²维原子的超完备字典；

先用高斯随机矩阵初始化子字典D_k，利用广义正交匹配追踪算法求解稀疏系数矩阵A_k；然后固定A_k，用K-SVD算法更新子字典D_k中的所有原子及稀疏系数，获得目标子字典得到由N个子类所对应的全部子字典组合成的最终的目标字典D_h表示最终由训练集Y训练所得的高分辨率字典，D_l表示最终由训练集Y训练所得的低分辨率字典；

步骤2、重建高分辨率图像。

2.根据权利要求1所述的基于稀疏表示的红外图像超分辨率重建方法，其特征在于，所述的步骤1.2.1)中，样本块的聚类，采用基于相关系数的自适应k-means聚类算法，具体步骤如下：

a)选择训练集中的第一个样本Y₁作为本类的聚类中心，第i个样本记为Y_i，i＝2,3,…,n；

b)依次计算第i个样本Y_i与Y₁的相关系数r_i1，计算公式如式(1)所示：

$r_{i1}=\frac{\underset{j=1}{\overset{2m^2}{\Σ}}\[Y_1\left(j\right)-\stackrel{\‾}{Y_1}\]\[Y_i\left(j\right)-\stackrel{\‾}{Y_i}\]}{\sqrt{\underset{j=1}{\overset{2m^2}{\Σ}}{\[Y_1\left(j\right)-\stackrel{\‾}{Y_1}\]}^2\underset{j=1}{\overset{2m^2}{\Σ}}{\[Y_i\left(j\right)-\stackrel{\‾}{Y_i}\]}^2}},---\left(1\right)$

其中，Y₁(j)表示样本Y₁的第j个像素值，Y_i(j)表示样本Y_i的第j个像素值，表示样本Y₁所有像素值的均值，表示样本Y_i所有像素值的均值；

c)设ξ为两个样本相关程度的阈值，若r_i1≥ξ，说明样本Y_i与Y₁属于同一特征空间，此时，从训练集Y中去除Y_i；否则，在训练集Y中保留Y_i，继续搜索下一个样本；依次计算完所有样本与Y₁的相关系数，根据阈值判定法得出第一类样本X₁；

d)将原来训练集Y中已经归为第一类样本X₁的样本去掉后再作为新的待聚类的样本，不断循环步骤a)-步骤d)，直到循环结束，完成分类；

e)将分类后子类中所含样本数较少的类依次排列组合成一个新类，该新类的聚类中心为所有子类中所含样本数较少的类的聚类中心的平均值；设将训练集Y分为N个子类，此时将重新分类后的训练集记为N个子类的聚类中心为μ＝[μ₁,μ₂,…μ_N]，

其中，X_k表示第k个子类训练集，k＝1,2,…,N，表示第k个子类的聚类中心，μ_hk、μ_lk分别表示第k个子类的高、低分辨率聚类中心。

3.根据权利要求1所述的基于稀疏表示的红外图像超分辨率重建方法，其特征在于，所述的步骤2中，具体步骤如下：

2.1)当输入一幅待重建的低分辨率红外图像y_l时，先通过双三次插值3倍放大后得到红外图像y′_l，再用LOG算子提取红外图像y′_l的细节特征y″_l；然后采用字典训练阶段相同的分块方法对其进行分块，最终得到对应的低分辨率样本集y＝[y₁,y₂,…y_s]，其中的低分辨率样本分别记为i₀＝1,2,…,s；

2.2)依次计算待重建的低分辨率样本与每个低分辨率聚类中心μ_lk的相关系数计算公式如式(3)所示：

$r_{i_{0}k}=\frac{\underset{j=1}{\overset{m^2}{\Σ}}\[{\mathrm{\μ}}_{lk}\left(j\right)-\stackrel{\‾}{{\mathrm{\μ}}_{lk}}\]\[y_{i_0}\left(j\right)-\stackrel{\‾}{y_{i_0}}\]}{\sqrt{\underset{j=1}{\overset{m^2}{\Σ}}{\[{\mathrm{\μ}}_{lk}\left(j\right)-\stackrel{\‾}{{\mathrm{\μ}}_{lk}}\]}^2\underset{j=1}{\overset{m^2}{\Σ}}{\[y_{i_0}\left(j\right)-\stackrel{\‾}{y_{i_0}}\]}^2}}---\left(3\right)$

其中，μ_lk(j)表示第k个聚类中心μ_lk的第j个像素值，表示低分辨率样本的第j个像素值，表示第k个低分辨率聚类中心μ_lk所有像素值的均值，表示低分辨率样本所有像素值的均值；

2.3)根据相关系数最大为原则来选择样本最适应的子字典D_lk，在稀疏度取T时，用广义正交匹配追踪算法；求解稀疏系数计算公式如式(4)所示：

$\begin{array}{ccc}{\mathrm{\α}}_{i_0}=\arg min\left|\right|y_{i_0}-D_{lk}{\mathrm{\α}}_{i_0}|{|}_2^2& s.t.& \left|\right|{\mathrm{\α}}_{i_0}|{|}_0\≤T\end{array}---\left(4\right)$

2.4)结合对应的高分辨率子字典D_hk，重建出样本所对应的高分辨率图像块

不断循环步骤2.2)-步骤2.4)，直到所有低分辨率样本y都重建完成；

2.5)按照步骤2.1)的分块方式将重建的高分辨率图像块还原回去，块与块之间的重叠区域取重叠区域像素的平均值，则获得初步重建好的高分辨率红外图像y_h′，根据重建约束条件求解最终的高分辨率红外图像y_h，计算公式如式(5)所示：

$y_h=\arg min\left|\right|{{\mathrm{SHy}}_h}^{\′}-y_l|{|}_F^2---\left(5\right)$

其中S为下采样算子，H为大小5×5的方差为1的高斯矩阵的模糊算子；

采用改进的迭代反投影算法求解式(5)的优化问题，则转化为式(6)所示：

$\begin{array}{c}{y}_{h1}={y_h}^{\′}+\left(\right(y_l-{\mathrm{SHy}}_l^{\′})\↑s)\⊗p\\ .\\ .\\ .\\ y_{ht+1}=y_{ht}+\left(\right(y_l-{\mathrm{SHy}}_{ht})\↑s)\⊗p\end{array}---\left(6\right)$

其中，y_l表示输入的低分辨率红外图像，y′_l表示y_l通过双三次插值3倍放大后的图像，y_ht表示第t次迭代获得的高分辨率红外图像，↑s表示放大倍数，表示卷积运算，p表示反投影算子，本步骤中采用了高斯滤波器，

求解式(6)，得出最终重建的高分辨率图像y_h＝y_ht+1。