CN105405098B - 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，首先利用图像内容的结构信息，对大量图像进行充分的聚类，保证每一类图像集合中包含了强一致性的图像结构信息，在此基础上进行的逐类别主成分分析获得了各个类别的稀疏表示字典，自适应性强。采用分组最小角回归法和l₁‑ball上的欧几里得投影法通过交叉迭代优化的方式求解出每一类别的高、低分辨率图像块映射关系矩阵。最后直接利用训练学得的映射关系矩阵对低分辨率图像进场处理，快速重建出清晰度较高的高分辨率图像。

Description

一种基于稀疏表示和自适应滤波的图像超分辨率重建方法

技术领域

本发明属于可见光图像处理方法，涉及一种基于稀疏表示和自适应滤波的图像超分辨率重建方法。

背景技术

图像超分辨率重建技术最早出现于二十世纪六十年代，当时的学者提出将带限信号外推的方法对偶的运用到光学图像的超分辨率重建中，奠定了超分辨率重建赖以存在的数学基础。直到八十年代后期，人们在图像超分辨率重建方法的研究上才取得了突破性进展，不仅在理论上说明了超分辨率重建存在的可能性，而且在实践中提出了许多较为实用的方法。目前，超分辨率重建大致可以分为两个方向：基于重建的方法和基于学习的方法。

基于重建的超分辨率算法是通过一定程度的模糊处理和下采样操作对图像获取过程进行建模，从而假定由高分辨率图像可以生产低分辨率图像。然而随着分辨率提高倍数的增加，对于4倍及以上的放大倍数，这类方法通常不能很好的重建图像的高频信息。在此基础上，相继有学者提出了基于识别先验知识的方法，获得了比传统的基于重建的超分辨率重建方法更好的效果。这就是基于学习的超分辨率重建方法，此类方法不仅克服了基于重建的方法在分辨率提高倍数方面的局限性，而且可以实现单幅图像的超分辨率重建。

近些年来，随着稀疏表示理论的发展和广泛应用，图像的稀疏表示模型为求解图像超分辨率重建问题提供了一个新的思路。其最根本的问题是字典的构造和选择，通常有两种获取方法：基于分析的方法和基于学习的方法。基于分析的方法，字典是公式化的，通过数学模型计算得到，此方法下的字典结构性较好，并且有比较成熟的快速数值计算方法，字典本身由隐式矩阵表示，但由于这类字典的结构固定，对不同类型的数据自适应能力较差，故有明显的局限性。基于学习的方法是近几年的研究热点，其字典是利用机器学习的方法，通过对样本(图像集本身或者图像集特征空间)的推理、学习得到，字典本身通常由显示矩阵表示，字典学习过程直观，对数据的自适应能力较好。然而随着放大倍数的提高，传统的仅仅基于稀疏表示的图像超分辨率重建算法得到的稀疏表示字典的适应能力有限，并不能很好的恢复出清晰的图像，尤其是图像的边缘等细节信息，同时基于在线学习的方法非常耗时，同样不利于算法的实用。在庞杂的图像数据中，如何高效的刻画和学习出高、低分辨率图像之间的关系(或者知识)，重建出清晰度高，可识别度好的高分辨率图像仍然是一个亟待解决的问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，可以克服传统基于学习的稀疏表示字典泛化能力有限，当放大倍数增大(4倍及以上)时，传统的方法难以重建出清晰的图像边缘等细节信息，以及传统在线学习的方法非常耗时，不利于算法的实用等问题。

技术方案

一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于步骤如下：

步骤1、构造高、低分辨率图像块对集合：选取方差为σ，大小为k×k的高斯核，对训练图像集中的每一幅图像进行高斯卷积、按照采样因子1/s进行最近邻下采样，然后对得到的低分辨率图像进行分割，并且根据图像的大小w×h随机选取数量为其中是k×w×h的向上取整部分，大小为的子图像块，总共构成l个大小为的子图像块集合，为低分辨率图像块集合

{z_i|z_i∈R^m,i＝1,2,...,l}，令Z＝[z₁,z₂,...,z_l]∈R^m×l，结合对应的高分辨率图像块集合{y_i|y_i∈Rⁿ,i＝1,2,...,l}，令Y＝[y₁,y₂,...,y_l]∈R^n×l，其中n＝s²m，进而构成了规模为l的高、低分辨率图像块对集合{(y_i,z_i)|y_i∈Rⁿ,z_i∈R^m,i＝1,2,...,l}；所述训练图像集包含150幅空间分辨率均高于1024×720的图像；

步骤2、基于K-means聚类和主成分分析的字典集训练：

对低分辨率图像块集合对应的图像集矩阵Z＝[z₁,z₂,...,z_l]按列进行中心化和归一化得到Z′＝[z′₁,z′₂,...,z′_l]，然后对Z′进行K-means聚类，将集合Z′分解为num个不相交的子集{Z′_j|j＝1,2,...,num},num∈R⁺，其中Z′_j是包含所有属于第j类的低分辨率图像块集合的矩阵，每一列代表一个图像块；记录并存储聚类中心Clusters＝[C₁,C₂,...,C_num]∈R^m×num，其中C_j∈R^m,j＝1,2,...,num；

对高分辨率图像块集合对应的图像集矩阵Y＝[y₁,y₂,...,y_l]按列进行中心化和归一化得到Y′＝[y′₁,y′₂,...,y′_l]，对应于Z′分解后得到的num个不相交的子集，将Y′直接分解为{Y′_j|j＝1,2,...,num}，其中Y′_j是包含所有属于第j类的高分辨率图像块集合的矩阵，每一列代表一个图像块，其中的列向量与{Z′_j|j＝1,2,...,num}中的列向量一一对应；对Y′_j,j＝1,2,...,num依次进行主成分分析：得到每一类数据对应的特征向量集合U_j，即该类别的稀疏表示字典，记为D_j＝U_j,j＝1,2,...,num；记录并存储稀疏表示字典D＝{D_j|j＝1,2,...,num}；

步骤3、基于交叉迭代优化的自适应滤波器训练：

输入：K-means聚类得到的低分辨率图像块集合{Z′_j|j＝1,2,...,num}和高分辨率图像块集合{Y′_j|j＝1,2,...,num}，稀疏表示字典D＝{D_j|j＝1,2,...,num}，初始化稀疏表示系数矩阵A₀，初始化高、低分辨率图像块映射矩阵P₀∈R^n×m，正则化参数λ₁,λ₂∈R⁺，迭代次数T∈R⁺，重构误差ε＝1×10^-5；

步骤4、在线低分辨率图像的高分辨率重建：

步骤a：将输入的低分辨图像z分割成大小为的子图像块，然后对所有的子图像块进行中心化和归一化操作，得到子图像块集合

步骤b：根据聚类中心Clusters＝[C₁,C₂,...,C_num]，通过最近邻法判断每个子图像块所属的类别j∈{1,2,...,num}，并从{P₁,P₂,...,P_num}中选择对应该类别的高、低分辨率图像块映射关系矩阵P_j，根据计算得到重建后的高分辨率图像块

步骤c：对存在重叠部分的图像块像素值进行加权平均，得到最终的高分辨率重建图像y，放大倍数为s。

所述σ为0.1～2。

所述k×k为3×3、5×5或7×7。

所述σ为1。

有益效果

本发明提出的一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，首先利用图像内容的结构信息，对大量图像进行充分的聚类，保证每一类图像集合中包含了强一致性的图像结构信息，在此基础上进行的逐类别主成分分析获得了各个类别的稀疏表示字典，自适应性强。采用分组最小角回归法和上的欧几里得投影法通过交叉迭代优化的方式求解出每一类别的高、低分辨率图像块映射关系矩阵。最后直接利用训练学得的映射关系矩阵对低分辨率图像进场处理，快速重建出清晰度较高的高分辨率图像。

本发明不仅提高了重建算法的自适应能力，同时还大大提升了算法的执行速度。有效避免了稀疏表示字典适应能力低，超分辨率重建图像清晰度不高，且算法耗时等问题。大量可见光图像的超分辨率重建实验，都验证了本发明的有效性。

具体实施方式

现结合实施例对本发明作进一步描述：

在大量离线高、低分辨率训练图像集上，结合K-means聚类和主成分分析两种数据处理方法，离线获得适应能力较强的稀疏表示字典集合，然后通过进一步的回归分析获得自适应的高、低分辨率图像映射关系，最后利用离线获得的映射关系解决在线图像的高分辨率重建问题。具体实施流程如下：

1.构造高、低分辨率图像块对集合。

选取方差为σ为1，大小为k×k的高斯核，对包含150幅高清(空间分辨率均高于1024×720，且图像内容丰富)训练图像集中的每一幅图像进行高斯卷积、按照采样因子1/s进行最近邻下采样，然后对得到的低分辨率图像进行分割，并且按比例在每幅图像中随机选取一定数量、大小为的子图像块，总共构成l个大小为的子图像块集合，即低分辨率图像块集合

{z_i|z_i∈R^m,i＝1,2,...,l}，令Z＝[z₁,z₂,...,z_l]∈R^m×l，结合对应的高分辨率图像块集合{y_i|y_i∈Rⁿ,i＝1,2,...,l}，令Y＝[y₁,y₂,...,y_l]∈R^n×l，其中n＝s²m，进而构成了规模为l的高、低分辨率图像块对集合{(y_i,z_i)|y_i∈Rⁿ,z_i∈R^m,i＝1,2,...,l}。

2.基于K-means聚类和主成分分析的字典集训练。

(1)对低分辨率图像块集合对应的图像集矩阵Z＝[z₁,z₂,...,z_l]按列进行中心化和归一化得到Z′＝[z′₁,z′₂,...,z′_l]，然后对Z′进行K-means聚类，将集合Z′分解为num个不相交的子集{Z′_j|j＝1,2,...,num},num∈R⁺，其中Z′_j是包含所有属于第j类的低分辨率图像块集合的矩阵，每一列代表一个图像块。记录并存储聚类中心Clusters＝[C₁,C₂,...,C_num]∈R^m×num，其中C_j∈R^m,j＝1,2,...,num。

(2)对高分辨率图像块集合对应的图像集矩阵Y＝[y₁,y₂,...,y_l]按列进行中心化和归一化得到Y′＝[y′₁,y′₂,...,y′_l]，对应于Z′分解后得到的num个不相交的子集，将Y′直接分解为{Y′_j|j＝1,2,...,num}，其中Y′_j是包含所有属于第j类的高分辨率图像块集合的矩阵，每一列代表一个图像块，其中的列向量与{Z′_j|j＝1,2,...,num}中的列向量一一对应。对Y′_j,j＝1,2,...,num依次进行主成分分析：得到每一类数据对应的特征向量集合U_j，即该类别的稀疏表示字典，记为D_j＝U_j,j＝1,2,...,num。记录并存储稀疏表示字典D＝{D_j|j＝1,2,...,num}。

3.基于交叉迭代优化的自适应滤波器训练。

输入：K-means聚类得到的低分辨率图像块集合{Z′_j|j＝1,2,...,num}和高分辨率图像块集合{Y′_j|j＝1,2,...,num}，稀疏表示字典D＝{D_j|j＝1,2,...,num}，初始化稀疏表示系数矩阵A₀，初始化高、低分辨率图像块映射矩阵P₀∈R^n×m，正则化参数λ₁,λ₂∈R⁺，迭代次数T∈R⁺，重构误差ε＝1×10^-5。

步骤一：初始化映射矩阵和稀疏表示矩阵，P_j＝P₀,A_j＝A₀,j＝1,2,...,num。

步骤二：固定P_j，采用分组最小角回归法求解优化问题得到更新后的A_j。

步骤三：固定A_j，采用上的欧几里得投影法求解优化问题

得到更新后的P_j。

步骤四：重复步骤二和步骤三，直到重构误差小于设定的阈值ε，或者达到迭代次数T。

步骤五：对j＝1,2,...,num依次执行步骤二、三、四。

输出：得到优化求解后的高、低分辨率图像块映射关系矩阵集合{P₁,P₂,...,P_num}，P_j对应于第j类的高、低分辨率图像映射关系矩阵。

4.在线低分辨率图像的高分辨率重建。

(1)将输入的低分辨图像z分割成大小为的子图像块，然后对所有的子图像块进行中心化和归一化操作，得到子图像块集合。

(2)根据聚类中心Clusters＝[C₁,C₂,...,C_num]，通过最近邻法判断每个子图像块所属的类别，并从{P₁,P₂,...,P_num}中选择对应该类别的高、低分辨率图像块映射关系矩阵，依次进行高分辨率图像块的重建。

(3)对存在重叠部分的图像块像素值进行加权平均，得到最终的高分辨率重建图像y，放大倍数为s。

Claims (4)

1.一种基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于步骤如下：

步骤1、构造高、低分辨率图像块对集合：选取方差为σ，大小为k×k的高斯核，对训练图像集中的每一幅图像进行高斯卷积、按照采样因子1/s进行最近邻下采样，然后对得到的低分辨率图像进行分割，并且根据图像的大小w×h随机选取数量为k∈[0.1,0.5],其中是k×w×h的向上取整部分，大小为的子图像块，总共构成l个大小为的子图像块集合，为低分辨率图像块集合

{z_i|z_i∈R^m,i＝1,2,...,l}，令Z＝[z₁,z₂,...,z_l]∈R^m×l，结合对应的高分辨率图像块集合{y_i|y_i∈Rⁿ,i＝1,2,...,l}，令Y＝[y₁,y₂,...,y_l]∈R^n×l，其中n＝s²m，进而构成了规模为l的高、低分辨率图像块对集合{(y_i,z_i)|y_i∈Rⁿ,z_i∈R^m,i＝1,2,...,l}；所述训练图像集包含150幅空间分辨率均高于1024×720的图像；

步骤2、基于K-means聚类和主成分分析的字典集训练：

对低分辨率图像块集合对应的图像集矩阵Z＝[z₁,z₂,...,z_l]按列进行中心化和归一化得到Z′＝[z′₁,z′₂,...,z′_l]，然后对Z′进行K-means聚类，将集合Z′分解为num个不相交的子集{Z′_j|j＝1,2,...,num},num∈R⁺，其中Z′_j是包含所有属于第j类的低分辨率图像块集合的矩阵，每一列代表一个图像块；记录并存储聚类中心Clusters＝[C₁,C₂,...,C_num]∈R^m×num，其中C_j∈R^m,j＝1,2,...,num；

对高分辨率图像块集合对应的图像集矩阵Y＝[y₁,y₂,...,y_l]按列进行中心化和归一化得到Y′＝[y′₁,y′₂,...,y′_l]，对应于Z′分解后得到的num个不相交的子集，将Y′直接分解为{Y′_j|j＝1,2,...,num}，其中Y′_j是包含所有属于第j类的高分辨率图像块集合的矩阵，每一列代表一个图像块，其中的列向量与{Z′_j|j＝1,2,...,num}中的列向量一一对应；对Y′_j,j＝1,2,...,num依次进行主成分分析：得到每一类数据对应的特征向量集合U_j，即该类别的稀疏表示字典，记为D_j＝U_j,j＝1,2,...,num；记录并存储稀疏表示字典D＝{D_j|j＝1,2,...,num}；

步骤3、基于交叉迭代优化的自适应滤波器训练：

输入：K-means聚类得到的低分辨率图像块集合{Z′_j|j＝1,2,...,num}和高分辨率图像块集合{Y′_j|j＝1,2,...,num}，稀疏表示字典D＝{D_j|j＝1,2,...,num}，初始化稀疏表示系数矩阵A₀，初始化高、低分辨率图像块映射矩阵P₀∈R^n×m，正则化参数λ₁,λ₂∈R⁺，迭代次数T∈R⁺，重构误差ε＝1×10^-5；

步骤a：初始化映射矩阵和稀疏表示矩阵，P_j＝P₀,A_j＝A₀,j＝1,2,...,num；

步骤b：固定P_j，采用分组最小角回归法求解优化问题

得到更新后的A_j；

步骤c：固定A_j，采用上的欧几里得投影法求解优化问题

得到更新后的P_j；

步骤d：重复步骤b和步骤c，直到重构误差小于设定的阈值ε，或者达到迭代次数T；

步骤e：对j＝1,2,...,num依次执行步骤b、c、d；

步骤4、在线低分辨率图像的高分辨率重建：

步骤a：将输入的低分辨图像z分割成大小为的子图像块，然后对所有的子图像块进行中心化和归一化操作，得到子图像块集合

步骤b：根据聚类中心Clusters＝[C₁,C₂,...,C_num]，通过最近邻法判断每个子图像块所属的类别j∈{1,2,...,num}，并从{P₁,P₂,...,P_num}中选择对应该类别的高、低分辨率图像块映射关系矩阵P_j，根据计算得到重建后的高分辨率图像块

步骤c：对存在重叠部分的图像块像素值进行加权平均，得到最终的高分辨率重建图像y，放大倍数为s。

2.根据权利要求1所述基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于：所述σ为0.1～2。

3.根据权利要求1所述基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于：所述k×k为3×3、5×5或7×7。

4.根据权利要求1或2所述基于稀疏表示和自适应滤波的图像超分辨率重建方法，其特征在于：所述σ为1。