CN105488759B - 一种基于局部回归模型的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于局部回归模型的图像超分辨率重建方法，首先，对输入低分辨率图像，高斯低通滤波得到其低频带图像，双立方插值得到输出高分辨率图像的近似低频带图像。其次，重建时对高分辨率图像的低频带图像中每个图像块应用一阶回归模型，回归模型中高/低图像间的映射函数可对输入图像通过机器学习的方法得到，即利用输入低分辨率图像及其低频带图像对应位置采样得到对应位样本图像块对进行字典训练。最后，重建图像块的非局部自相似块分别应用一阶回归模型，加权综合得到重建的高分辨率图像块。本发明所提出方法无需利用外部图像模型，而是利用输入图像自身学习得到先验模型，依此模型重建出的高分辨图像取得了较好的主客观重建效果。

Description

一种基于局部回归模型的图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率重建的技术领域，特别是涉及一种基于局部回归模型的图像超分辨率重建方法。

背景技术

大部分数字图像应用中都需要高分辨率图像来分析和处理。图像分辨率描述的是图像细节，所以更高分辨率的图像就具有更多的细节。获得高分辨率图像最直接的方法就是用具有更好的棱镜和光学处理器的相机，但由于物理原因，这种方法具有局限性有时甚至不可实现，而且常常需要对无法再次采集的已有图像提高分辨率。因而实用的方法是是基于信号处理和机器学习的方法做超分辨率图像重建。超分辨率图像重建意图冲破图像获取时的限制来增强图像的分辨率，并可以提高很多图像处理应用的性能。

由于很多不同的高分辨率图像能产生相同的低分辨率图像，因此超分辨率图像重建问题是一个病态问题，必须依赖一些图像先验才能得到稳健的估计结果。常见的图像先验是简单的“平滑”先验，如，双立方插值。当一幅图像包含尖锐的不连续区域，如边缘、转角等，简单的“平滑”先验用于超分辨率重建是就会产生振铃、锯齿、模糊和重影等问题。因此，更理想的统计图像先验是从自然图像中学习得到的。纵然自然图像是稀疏信号，仅用少量参数来表示其丰富的特征也是不可能的，基于样本的非参数方法用训练样本低/高分辨率图像块整体来用于预测高分辨率图像中丢失的高频分量。但这些方法需要大量的训练块，使其计算的有效性不强。

目前很多超分辨率算法利用图像具有大量自相似性的事实，即，局部图像结构会在不同的图像尺度重复出现，因此，图像超分辨率问题可以用这些样本而不是外部的数据库来做正则化。Glasner等就提出一种用不同图像尺度的自相似样本块来正则化超分辨率重建问题的框架。Yang等开发一种利用低分辨率图像建造的图像金字塔提取图像块对进行字典学习的超分辨率算法。Freedman则利用样本图像块的局部自相似假设和迭代上采样低分辨率图像扩展了基于样本超分辨率重建框架。

目前这类利用局部图像结构自相似性的图像超分辨率重建方法大多需要额外的训练样本作为重建的先验模型，而训练样本中的局部图像结构与待重建图像的局部图像结构对重建的质量的影响较大，有一些超分辨率重建方法的模型框架过于复杂，计算复杂度也过高。

发明内容

本发明的目的是提供一种基于局部回归模型的图像超分辨率重建方法，学习得到的字典可以更准确的反映出图像的先验模型，并将该模型应用到超分辨率重建中。

一种基于局部回归模型的图像超分辨率重建方法，包括如下步骤，

步骤1：读入待重建低分辨率图像X₀，放大因子s；

步骤2：对X₀高斯低通滤波得到其低频带图像Y₀，对X₀双立方插值近似输出高分辨率图像的低频带图像Y；

步骤3：对Y划分成互相重叠的大小为a×a的图像块y；

步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y₀中的对应位(i_r,j_r)，其中得到y在Y₀和X₀中的对应位相似样本块对{y₀,x₀}；

步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：

步骤6：计算步骤3得到的图像块y的非局部自相似块的对应位相似样本块对组分别执行步骤5，将计算结果加权求和，公式如下：

权值w_p可通过共轭梯度法求解下列公式得到：

其中，

步骤7：对所有高分辨率图像块x叠加平均，得到高分辨率图像X。

所述步骤5中映射梯度函数▽f利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型，方法如下：

步骤501)从输入图像X₀、其低频带图像Y₀的对应位置采样得到Q个对应位样本图像 块对

步骤502)将x₀与y₀之间的残差作为字典训练中高分辨率样本块向量字典训练中的低分辨率样本块向量是将两组训练样本联 合起来同时训练，则用于字典训练的图像块对为其中norm(.)为 归一化处理，M、N分别为高、低图像特征块的矢量维数；

步骤503)目标字典为用高斯随机矩阵初始化字典D∈R^(M+N)×K，其中D_h ∈R^M×K，D_l∈R^N×K，K为字典中原子的个数，D的每列需作归一化处理；

步骤504)迭代直至收敛：

a)固定D，用线性规划方法更新Λ；

b)固定Λ，用Lasso算法更新D：

步骤505)得到高低字典对{D_h,D_l}；

步骤506)对于待重建图像块y，由下式求出其对应位样本块对{y₀,x₀}在低分辨率字典D_l下的稀疏解向量

其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合；一维滤波器组函数为：

f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[-1,2,-1],f₄＝f₃ ^T (7)

步骤507)对于待重建图像块y，其对应位样本块对{y₀,x₀}的映射梯度函数▽f为：

▽f(y₀)＝D_hα^* (8)。

所述方法的步骤6中图像块y的非局部自相似块的搜索方法如下：

步骤601)以(i_r,j_r)为中心，在Y₀上一个13*13大小的窗内对所有块计算其与待重 建块间的欧式距离

步骤602)如有d_p≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。

本发明在利用局部一阶回归模型，充分利用局部图像结构会在不同的图像尺度重复出现的事实，无需使用外部图像模型，直接对输入图像块用机器学习的方法学习得到先验模型，用于重建时该先验模型较外部图像模型更准确。在应用局部回归模型重建时，对图像中非局部自相似块分别重建，通过加权综合得到最终的重建结果。该发明的重建主客观质量上较现有算法都有提高。

附图说明

图1为基于局部回归模型的图像超分辨率重建方法实施例的整体流程图；

图2为非局部自相似图像块的局部回归模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种基于局部回归模型的图像超分辨率重建方法，该方法具体实施步骤如下：

步骤1：读入待重建低分辨率图像X₀，放大因子s；

步骤2：对X₀高斯低通滤波得到其低频带图像Y₀，对X₀双立方插值近似输出高分辨率图像的低频带图像Y；

步骤3：对Y划分成互相重叠的大小为a×a的图像块y。

步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y₀中的对应位(i_r,j_r)得到其在Y₀和X₀中的对应位相似样本块对{y₀,x₀}。

步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：

步骤6：搜索步骤3得到的图像块y的非局部自相似块，以(i_r,j_r)为中心，在Y₀上一个足够大的窗内对所有块计算如有d_p≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。对非局部自相似块的对应位相似样本块对组分别进行步骤5，将计算结果加权求和，公式如下：

权值w_p可通过共轭梯度法求解下列公式得到：

其中，

步骤7：对所有求出的高分辨率图像块x叠加平均得到高分辨率图像X。

其中，所述方法的步骤5中映射梯度函数▽f利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型。方法如下：

1)从输入图像X₀、其低频带图像Y₀的对应位置采样得到的对应位样本图像块对

2)将x₀与y₀之间的残差作为字典训练中高分辨率样本块向量 字典训练中的低分辨率样本块向量是将两组训练样本联合起来同时训练， 则用于字典训练的图像块对为其中norm(.)为归一化处理，M、N分 别为高、低图像特征块的矢量维数；

3)目标字典为用高斯随机矩阵初始化字典D∈R^(M+N)×K，其中D_h∈R^M×K， D_l∈R^N×K，K为字典中原子的个数，D的每列需作归一化处理；

4)迭代直至收敛：

a)固定D，用线性规划方法更新Λ

b)固定Λ，用Lasso(LEE H,BATTLE A,RAINA R,et al.Efficient sparse codingalgorithms[C]//.NIPS 2007:Advances in Neural Information Processing Systems,pp.801--808.)算法更新D

5)得到高低字典对{D_h,D_l}

6)对于待重建图像块y，可以由下式求出其对应位样本块对{y₀,x₀}在低分辨率字典D_l下的稀疏解向量

其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合。一维滤波器组函数为：

f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[-1,2,-1],f₄＝f₃ ^T (7)7)对于待重建图像块y，其对应位样本块对{y₀,x₀}的映射梯度函数▽f为：

▽f(y₀)＝D_hα^* (8)

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (3)

1.一种基于局部回归模型的图像超分辨率重建方法，其特征在于，包括如下步骤，

步骤1：读入待重建低分辨率图像X₀，放大因子s；

步骤2：对X₀高斯低通滤波得到其低频带图像Y₀，对X₀双立方插值近似输出高分辨率图像的低频带图像Y；

步骤3：对Y划分成互相重叠的大小为a×a的图像块y；

步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y₀中的对应位(i_r,j_r)，其中得到y在Y₀和X₀中的对应位相似样本块对{y₀,x₀}；

步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：

步骤6：搜索步骤3得到的图像块y的非局部自相似块，以(i_r,j_r)为中心，在Y₀上一个足够大的窗内对所有块计算如有d_p≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块；对非局部自相似块的对应位相似样本块对分别执行步骤5，将计算结果加权求和，公式如下：

权值w_p可通过共轭梯度法求解下列公式得到：

其中，w＝[w₁,w₂,...w_p,...w_J]；γ为预设的是正则化因子，I是单位阵；

步骤7：对所有像素重叠的高分辨率图像块x叠加平均，得到高分辨率图像X。

2.根据权利要求1所述的基于局部回归模型的图像超分辨率重建方法，其特征在于，所述步骤5中映射梯度函数▽f利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型，方法如下：

步骤501)从输入图像X₀、其低频带图像Y₀的对应位置采样得到Q个对应位样本图像块对

步骤502)将x₀与y₀之间的残差作为字典训练中高分辨率样本块向量字典训练中的低分辨率样本块向量是将两组训练样本联合起来同时训练，则用于字典训练的图像块对为其中norm(.)为归一化处理，M、N分别为高、低图像特征块的矢量维数；

步骤503)目标字典为用高斯随机矩阵初始化字典D∈R^(M+N)×K，R表示实数集；其中D_h∈R^M×K，D_l∈R^N×K，K为字典中原子的个数，D的每列需作归一化处理；

步骤504)迭代直至收敛：

a)固定D，用线性规划方法更新Λ；

λ为线性规划方法中所使用的更新系数；

b)固定Λ，用Lasso算法更新D：

其中，D_i为D的列向量；

步骤505)得到高低字典对{D_h,D_l}；

步骤506)对于待重建图像块y，由下式求出其对应位样本块对{y₀,x₀}在低分辨率字典D_l下的稀疏解向量

其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合；一维滤波器组函数为：

f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[-1,2,-1],f₄＝f₃ ^T (7)

步骤507)对于待重建图像块y，其对应位样本块对{y₀,x₀}的映射梯度函数▽f为：

▽f(y₀)＝D_hα^* (8)。

3.根据权利要求1所述的基于局部回归模型的图像超分辨率重建方法，其特征在于，所述方法的步骤6中图像块y的非局部自相似块的搜索方法如下：

步骤601)以(i_r,j_r)为中心，在Y₀上一个13*13大小的窗内计算所有块与待重建块间的欧式距离

步骤602)如有d_p≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。