CN104008538B - 基于单张图像超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于单张图像超分辨率方法，包括：S1：对输入的低分辨率图像双三次插值得到初始高分辨率图像；S2：将初始高分辨率图像划分为相互重叠的多个图像块进而得到相似图像块分组，并对其去除图像噪声；S3：将去噪后的多个图像块融合成整张高分辨率图像，并对每个图像块求非局部相似图像块以及加权系数，计算非局部相似图像块分组的冗余度权重；S4：根据相似图像块分组更新在线字典并与离线字典融合；S5：求每个图像块关于融合字典的稀疏表达系数；S6：重建所有图像块和整张高分辨率图像，若迭代不收敛且迭代次数小于预定阈值则返回，否则输出高分辨率图像。本发明提升了超分辨率重建的真实感和准确性，并具有同时去除图像噪声的优点。

Description

基于单张图像超分辨率方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于单张图像超分辨率方法。

背景技术

目前，图像超分辨率重建是计算机图像处理领域中的一个重要研究课题，广泛应用于视频监控、卫星遥感成像、医学图像等领域。一般地，图像的退化模型可以表达为：

y＝DHx+v (1)

其中，y是退化的低分辨率图像，x是原始的高分辨率图像，D和H分别是下采样矩阵和模糊矩阵，v是加性的高斯白噪声。单张图像的超分辨率方法主要分为三类：第一类是插值方法，这类方法简单快速但是容易产生图像的过平滑和锯齿效应；第二类方法是基于重建的方法，即在约束退化模型的保真项的基础上加入一些正则项来约束高分辨率图像x的解空间，从而克服超分辨率问题的病态性：

其中，J(x)就是正则项，表示想引入的图像先验知识，γ是正则项的权重。约束图像梯度分布的正则方法，以及基于稀疏表达的正则方法近年来取得了较大成功，但它们没有充分利用图像自身的相似性因而复原的高分辨率图像边缘存在一定的锯齿效应。基于非局部均值(Nonlocal Means,NLM)的方法则能有效克服这个缺点，并直接利用了图像块在非局部范围内的相似性，由此导出的正则方程是：

其中，I是单位矩阵，W是图像块x_i的中心像素点关于其他相似图像块x_ij中心像素点的加权系数w_ij的矩阵：

基于NLM的正则方法面临的风险在于：在图像块自相似性不高的图像区域强制自相似性会破坏图像结构，而图像块的非局部自相似性往往具有高度的空间可变性。

第三类单张图像超分辨率方法基于字典学习，通常的方式包括离线字典学习和在线字典学习。离线学习的字典往往欠缺对输入图像的适应性，而在线学习的字典又有可能学习到输入图像里的噪声。

综上所述，如何提高字典学习的适应性和鲁棒性，以及如何更合理地利用图像自相似性是亟待解决的问题。另外，目前的超分辨率算法均不能同时有效地去除输入图像里的噪声，尤其是非高斯噪声。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，如何提供一种方法能同时有效去除图像噪声，尤其是非高斯噪声，并且提高图像自相似性正则以及字典学习的适应性和鲁棒性的关键问题。

为此目的，本发明提出了一种基于单张图像超分辨率方法，包括具体以下步骤：

S1：对输入的低分辨率图像进行双三次插值得到初始高分辨率图像；

S2：将所述初始高分辨率图像划分为相互重叠的多个图像块，为每个图像块匹配得到非局部相似图像块分组，并对每个分组都基于自适应低秩和稀疏矩阵分解算法去除图像噪声；

S3：将去噪后的多个图像块融合成整张高分辨率图像，并对每个图像块以加权欧式距离为匹配度量重新求取非局部相似图像块以及相对应的加权系数，计算得到非局部相似图像块分组的冗余度权重；

S4：根据所述相似图像块分组更新在线字典，并与离线字典进行融合；

S5：利用迭代压缩算法求解每个图像块相对于融合字典的稀疏表达系数；

S6：重建所有多个图像块和整张高分辨率图像，如果迭代不收敛，且迭代次数小于预定阈值则返回步骤S2，否则输出高分辨率图像。

进一步地，步骤S2具体包括：

S21：将图像划分为相互重叠的多个图像块，并对每个图像块匹配得到非局部相似图像块分组；

S22：根据图像块的梯度g计算对应相似图像块矩阵的经验目标秩r(g)；

S23：计算每个非局部相似图像块分组的冗余度权重R_i；

S24：对每个非局部相似图像块组成的矩阵，分别根据步骤S22和步骤S23中的经验目标秩r(g)和冗余度权重R_i，利用增广拉格朗日乘子方法进行自适应低秩和稀疏矩阵分解。

具体地，所述相似图像块矩阵的经验目标秩r(g)是由预先训练好的经验秩方程进行确定的。

具体地，所述冗余度权重R_i是通过惩罚当前图像块和其相似图像块之间的欧式距离得到的。

具体地，通过融合经验目标秩r(g)和冗余度权重R_i可以得到自适应的低秩和稀疏矩阵分解目标方程。

进一步地，所述步骤S3进一步包括：

S31：将去噪后的图像块融合成整张高分辨率图像；

S32：重新为高分辨率图像中的每一个图像块求取非局部相似图像块，匹配度量是加权欧式距离，其中，每一个像素点的权重由它和图像块中心像素点的位置以及颜色的接近程度确定；

S33：根据相似图像块之间的加权欧式距离，求解关于它们的加权系数和整个图像块分组的冗余度权重R_i。

进一步地，所述步骤S4进一步包括：

S41：对相似图像块分组进行主分量分析，得到在线字典；

S42：基于主分量分析对图像块进行训练得到离线字典，并将离线字典和在线字典直接合并为一个矩阵从而得到融合字典。

本发明所公开的一种基于单张图像超分辨率方法，通过使用了加权欧式距离来更准确地匹配相似图像块，以及使用冗余度打分，从而更合理地利用了图像自相似性；离线和在线字典的融合提高了字典学习的适应性和鲁棒性。这些不仅具有去除图像噪声的优点，尤其是非高斯噪声，同时提高了超分辨率重建的真实感和准确性。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中的一种基于单张图像超分辨率方法的步骤流程图；

图2示出了图像冗余度权重的空间分布示意图；

图3示出了基于自适应低秩和稀疏矩阵分解的图像块去噪以及与其他方法的比较示意图；

图4示出了加权欧式距离以及图像块匹配示意图；

图5示出了本发明实施例中的一种基于单张图像超分辨率方法分别在图像的局部结构层和图像区域层利用非局部相似性的示意图；

图6示出了本发明实施例中的一种基于单张图像超分辨率方法迭代进行图像去噪和超分辨率重建示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。

如图1所示，本发明提供了一种基于单张图像超分辨率方法，包括具体以下步骤：

步骤S1：对输入的低分辨率图像进行双三次插值得到初始高分辨率图像。

步骤S2：基于自适应低秩和稀疏矩阵分解算法去除图像噪声。其中，此处的图像噪声不为高斯噪声。

步骤S21：将初始高分辨率图像划分为相互重叠的5×5图像块i＝1,…,N，并为每个图像块在非局部范围内匹配到22个相似图像块x_ij。对有n＝23个相似图像块的分组里的每一个图像块x_ij进行列向量化，从而得到m×n图像块矩阵O_i。矩阵O里一般包含一些图像噪声，比如高斯噪声和椒盐噪声等，但由于每一列的图像块像素是相似的，矩阵O的秩一般比较低。鲁棒主成分分析(Robust Principle Component Analysis,RPCA)是一种去除噪声的有利工具，它把去噪问题转化成了将矩阵O分解成低秩矩阵A和稀疏矩阵E的问题：

其中，σ_j(A)是矩阵A进行SVD后的奇异值，矩阵A表示去噪后的低秩图像结构，||·||₁表示L₁范数，矩阵E表示稀疏噪声，λ是正则系数。但是不同O_i里的图像块相似程度一般不同，纹理丰富的图像块相似性就比较低，所以RPCA同样面临错误强制图像自相似性的风险，可能导致得到错误的噪声分解并破坏重要的图像细节。引入图像冗余度的先验知识来自适应地去除噪声并保持图像结构就显得尤为重要了。

步骤S22：在BSDS500自然图像集里，对500张图像的所有图像块都构建非局部相似图像块矩阵，并记录矩阵的秩r，将相同梯度g的图像块所对应的图像块矩阵的秩r平均就可以得到r(g)的经验分布：

上式为式(5)的低秩分解提供了关于目标秩r(g)的先验知识，实际上也刻画了相似图像块矩阵O_i的冗余度。

综上，即相似图像块矩阵的经验目标秩r(g)是由预先训练好的经验秩方程确定的。具体地，从一个自然图像集合中，统计出不同梯度g的图像块所对应的相似图像块矩阵的秩r的经验分布。这样，输入一个图像块的梯度g，就可以计算出对应的相似图像块矩阵的秩r(g)大致为多少。

步骤S23：引入观测数据O_i的冗余度权重R_i，以克服式(6)的经验性，提高模型的自适应性。具体是惩罚矩阵O_i里当前图像块x_i和其相似图像块x_ij之间的欧式距离：

可见图像块之间的距离越小，权重R_i越大，意味着该非局部相似图像块分组O_i里的冗余度越大。一张图像里典型的冗余度权重分布如图2所示，其中每个像素点都对应了一个对周围冗余度的打分，图像平滑和边缘区域的R_i较高(白色)，纹理区域的R_i较低(黑色)。该度量还表现出对图像退化的鲁棒性，R_i的分布规律在图像模糊和噪声的影响下几乎一致。

步骤S24：利用步骤S22里的目标秩r(g)和步骤S23里的冗余度权重R_i可以得到自适应的低秩和稀疏矩阵分解方程：

由此可见，数据驱动的冗余度权重自适应地调节了低秩分解的可信度，而分解的目标秩也以参数化的形式给出。改进的增广拉格朗日乘子(Augmented Lagrangianmultiplier，ALM)算法可以快速求解式(8)，即基于ALM算法可以有效求解出去除噪声的低秩成分和包含噪声的稀疏成分，并且该去噪过程能有效保持图像结构。其增广的拉格朗日方程如下：

其中，是拉格朗日乘子矩阵，μ是一个正标量，<·>表示矩阵的内积，||·||_F是矩阵(Frobenious)范数。ALM算法迭代地求解A,E和拉格朗日乘子Z：

其中，k是迭代编号。该式的第一个最小化问题可以通过交替求解和E_k+1近似，每一步交替有闭式解：

其中，P_r,τ[X]是部分奇异值阈值化(Partial Singular Value Thresholding,PSVT)算子，代表A_k+1的闭式解。而E_k+1则是在确定了A_k后迭代求解的：

其中，S_τ[x]＝sign(x)max(|x|-τ,0)是经典的系数压缩算子。该算子对矩阵的运算是逐矩阵元素的压缩，并得到了E_k+1的闭式解。

ALM算法的参数设置为μ_k＝ρ^kμ₀,ρ＝1.5,μ₀＝1.25/||O||，初始化A₀＝E₀＝0，迭代停止条件是||O-A_k-E_k||F/||O||_F<10^-7。

图3示出了A,E的一些示例解，可以看到本发明方法相较于RPCA能更准确地分离不同的噪声，并保持忠于原图的图像结构。

步骤S3：为去噪后高分辨率图像的每一个图像块，以加权欧式距离为匹配度量求取非局部相似图像块以及关于它们的加权系数，并计算得到的非局部相似图像块分组的冗余度权重。

步骤S31：将去噪后的图像块融合成整张高分辨率图像。

步骤S32：重新为高分辨率图像中的每一个图像块x_i求取非局部相似图像块x_ij，匹配度量是加权欧式距离：

其中，x_i和x_ij分别是图像块x_i和x_ij的中心像素点，x_p和x_q是图像块里的其他像素点，它们和中心像素点的权重为：

其中，s_pi是x_p和中心像素点x_i在CIELab颜色空间的欧式距离，代表两者的颜色接近程度。当输入图像是灰度图时，s_pi则直接是像素值的欧氏距离。p_pi是两个像素点空间位置的距离，h_s和h_p是两个衰退因子，分别设置为10和2(图像块边长的一半)。图4给出了一些典型的平坦、边缘和纹理区域的图像块像素权重的示例，它们准确地分割出了图像块里的真实结构，从而在匹配图像块需要计算加权欧式距离时，保证了匹配对象是结构信息而非其他干扰信息，这样找到的非局部相似的图像结构更加准确。这种基于加权欧式距离的匹配的其他优点是具有图像块的旋转不变性，而且对噪声干扰有一定的鲁棒性，如图4所示。

步骤S33：利用加权欧式距离计算图像块x_i的中心像素点x_i关于非局部相似图像块的中心像素点x_ij的加权系数一般由x_ij预测x_i的误差||x_i-∑_jw_ijx_ij||²较小，它可以作为约束图像自相似性的正则项，如果将w_ij组织成式(4)的矩阵形式，那么该误差项就可以以矩阵形式结合到图像超分辨率的重建方程，从而得到如式(3)所示的正则方程。考虑到不同的相似图像块分组的冗余度R_i不同，基于自相似性的正则项||x_i-∑_jw_ijx_ij||²的置信度也不相同，于是将R_i组织到矩阵R的对角线上，用其对图像自相似正则进行加权可得新的正则方程：

其中，冗余度权重矩阵R＝diag[R₁,…,R_N]，它避免了在冗余度低的图像区域过于约束图像自相似性的错误。事实上，步骤S32中基于加权欧式距离的图像块匹配和该S33步骤中基于冗余度权重的打分都使得式(15)对图像的非局部自相似性的利用更为合理，如图5所示，即示出了本发明实施例中的一种基于单张图像超分辨率方法分别在图像的局部结构层，即基于加权欧式距离的图像块匹配和图像区域层，即冗余度权重利用非局部相似性的示例。它们分别在图像局部结构层和图像区域层增强了图像自相似性正则的自适应性和鲁棒性。

步骤S4：根据相似图像块分组更新在线字典，并和离线字典融合。

步骤S41：对每一组相似图像块进行主分量分析(Principle ComponentAnalysis，PCA)，从而得到在线字典B₁。

步骤S42：离线字典B₀是在离线收集的自然图像集中训练得到的。首先将所有图像的图像块采用k-均值算法聚成200类，再对每一类进行PCA。最后将离线字典B₀和在线字典B₁合并为一个大的矩阵，从而得到融合字典B＝[B₀,B₁]。这样，在线字典B₁克服了离线字典B₀自适应性不强的不足，离线字典B₀则中和了在线字典B₁可能包含的噪声，从而提高了整个字典学习的适应性和鲁棒性。

步骤S5：利用融合字典对高分辨率图像编码，每个5×5图像块i＝1,…,N在B上线性表达为x_i＝Bα_i,这样式(15)就转化成了求解图像块在融合字典上的表达系数的问题：

其中，α是由所有图像块的表达系数α_i连接起来的，ο是所有块表达的运算符。式(16)还约束了表达系数α的稀疏性，η是稀疏正则项的系数。

上式在离线和在线字典学习，以及基于字典的稀疏表达和利用图像自相似性上都取得了较好的折衷。如果当前图像内容的冗余度R_i高，那么稀疏表达会自动地倾向于在线字典，否则主要依赖于离线字典。当图像内容的冗余度R_i高，基于图像自相似性的正则效应更强，否则更依赖于在离线字典上的稀疏表达。式(16)可用迭代压缩算法高效地求解。

步骤S6：重建所有图像块和整张高分辨率图像如果第t次迭代得到的图像和第t-1次迭代得到的图像相比不收敛，并且迭代次数小于100，那么返回S2，否则输出高分辨率图像如果返回步骤S2，根据前面介绍的步骤S2到步骤S5，实际是在交替地进行图像去噪和超分辨率重建，即为减小运算量，实际每隔10次迭代进行一次更新。如图6所示，从而得到一种能同时有效去除图像噪声，即非高斯噪声的单张图像超分辨率方法。

综上所述，本发明提出的基于单张图像超分辨率方法能同时去除图像噪声，超分辨率结果有较高的真实感和准确性。表1以峰值信噪比(PSNR,dB)和结构相似度SSIM为评价指标和现有的代表性方法进行了比较：核岭回归方法(KRR,2010)、稀疏表达的方法(SC,2008；CSR,2011)、Zhang等在2012年提出的结合局部回归和非局部自相似性的方法。这些方法的参数为默认参数。

比较实验里所有高分辨率图像块为5×5像素，重叠宽度是2像素。对于RGB彩色图像，超分辨率方法只针对YCbCr色彩空间的Y分量，定量比较也在Y分量上进行，其他两个分量进行双三次插值。测试集是BSDS500自然图像库里的200张测试图像，而低分辨率图像是通过对每张测试图像加入7×7高斯模糊(标准差σ_b＝1.6)再3倍降采样得到的。我们同时测试了有高斯噪声(标准差σ_n＝5)和没有噪声的情况。最后比较的数值结果是对200张低分辨率图像进行3倍放大后得到的PSNR的平均值。

表1BSDS500库上不同超分辨率算法的定量比较(放大3倍)

从表中可以看到，本发明方法在两种指标评价下都优于其他方法，结合了去噪机制的超分辨率重建在有噪声和无噪声的情况下都取得了最优的性能。

本发明所公开的一种基于单张图像超分辨率方法，通过使用了加权欧式距离来更准确地匹配相似图像块，以及使用冗余度打分，从而更合理地利用了图像自相似性；离线和在线字典的融合提高了字典学习的适应性和鲁棒性。这些不仅具有去除图像噪声的优点，尤其是非高斯噪声，同时提高了超分辨率重建的真实感和准确性。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (5)

1.一种基于单张图像超分辨率方法，其特征在于，包括具体以下步骤：

S1：对输入的低分辨率图像进行双三次插值得到初始高分辨率图像；

S2：将所述初始高分辨率图像划分为相互重叠的多个图像块，为每个图像块匹配得到非局部相似图像块分组，并对每个分组都基于自适应低秩和稀疏矩阵分解算法去除图像噪声；

S3：将去噪后的多个图像块融合成整张高分辨率图像，并对每个图像块以加权欧式距离为匹配度量重新求取非局部相似图像块以及相对应的加权系数，计算得到非局部相似图像块分组的冗余度权重；

S4：根据相似图像块分组更新在线字典，并与离线字典进行融合；

S5：根据非局部相似图像块分组的冗余度权重，利用迭代压缩算法求解每个图像块相对于融合字典的稀疏表达系数；

S6：重建所有多个图像块和整张高分辨率图像，如果迭代不收敛，且迭代次数小于预定阈值则返回S2，否则输出高分辨率图像；

所述步骤S2进一步包括：

S21：将图像划分为相互重叠的多个图像块，并对每个图像块匹配得到非局部相似图像块分组；

S22：根据图像块的梯度g计算对应相似图像块矩阵的经验目标秩r(g)；

S23：计算每个非局部相似图像块分组的冗余度权重R_i；

S24：对每个非局部相似图像块组成的矩阵，分别根据步骤S22和步骤S23中的经验目标秩r(g)和冗余度权重R_i，利用增广拉格朗日乘子方法进行自适应低秩和稀疏矩阵分解；

所述步骤S3进一步包括：

S31：将去噪后的图像块融合成整张高分辨率图像；

S32：重新为高分辨率图像中的每一个图像块求取非局部相似图像块，匹配度量是加权欧式距离，其中，每一个像素点的权重由它和图像块中心像素点的位置以及颜色的接近程度确定；

S33：根据相似图像块之间的加权欧式距离，求解关于它们的加权系数和整个图像块分组的冗余度权重R_i。

2.如权利要求1所述的方法，其特征在于，所述相似图像块矩阵的经验目标秩r(g)是由预先训练好的经验秩方程进行确定的。

3.如权利要求1所述的方法，其特征在于，所述冗余度权重R_i是通过惩罚当前图像块和其相似图像块之间的欧式距离得到的。

4.如权利要求1所述的方法，其特征在于，通过融合经验目标秩r(g)和冗余度权重R_i可以得到自适应的低秩和稀疏矩阵分解目标方程。

5.如权利要求1所述的方法，其特征在于，所述步骤S4进一步包括：

S41：对相似图像块分组进行主分量分析，得到在线字典；

S42：基于主分量分析对图像块进行训练得到离线字典，并将离线字典和在线字典直接合并为一个矩阵从而得到融合字典。