CN109919857B - 一种基于加权斯莱特恩范数最小化的噪声图像补全方法 - Google Patents

Abstract

本发明涉及一种基于加权斯莱特恩范数最小化的噪声图像补全方法，具体步骤如下：对于同时具有一定方差噪声和一定比例随机像素缺失的图像修复问题，首先利用加权斯莱特恩范数约束图像的低秩先验；然后通过约束图像对分析算子响应的稀疏性来保证补全图像的局部平滑性；最后利用一种非局部统计模型约束图像的非局部自相似性。以上三个步骤不断迭代直到算法达到收敛条件，即可得到最终的补全结果。本发明方法能够较好地恢复同时具有不同噪声等级及各种比例像素缺失的图像，即使在噪声等级较高时也能够达到良好的视觉效果和量化分析效果。本发明可广泛应用于有噪声的图像补全，具有广阔的市场前景与应用价值。

Description

一种基于加权斯莱特恩范数最小化的噪声图像补全方法

【技术领域】

本发明涉及一种基于加权斯莱特恩范数最小化的噪声图像补全方法，尤其是涉及具有局部与全局约束的加权斯莱特恩范数最小化的噪声图像补全方法，加权斯莱特恩范数最小化和图像补全技术在图像应用领域具有广泛的应用，隶属于数字图像处理领域。

【背景技术】

图像补全的目的是补全图像中缺失的像素，在医学成像、高光谱图像处理、图像编码与传输等各个领域都有应用，是计算机视觉与图像处理中的一个重要课题，因此引起了广泛的研究。

图像的先验信息对图像补全算法的性能效果有很大影响。一般来说，图像先验是对图像稀疏性的约束。比如对梯度算子的稀疏性响应约束(参见文献：贝克，特布尔.基于梯度的全变分约束的图像去噪与去模糊问题快速算法.美国电气电子工程师学会图像处理汇刊.卷18,2419-2434,2009.(Beck A,Teboulle M,et al.Fast gradient-basedalgorithms for constrained total variation image denoising and deblurringproblems[J].IEEE Transactions on Image Processing,2009,18(11):2419-2434.)),对非局部自相似统计特征稀疏性的约束(参见文献：张健，赵德斌，熊瑞芹，马思伟，高文.利用空间变换域联合统计模型进行图像恢复.视频技术电路与系统.卷24,915-928,2014.(Zhang J,Zhao D,Xiong R,Gao W,et al.Image restoration using joint statisticalmodeling in a space-transform domain[J].IEEE Transactions on Circuits andSystems for Video Technology,2014,24(6):915-928.))，对变换域中的稀疏系数的约束(参见文献：何连天，王亦伦.基于小波框架的图像嵌入迭代支持基于检测的分裂布雷格曼方法.美国电气电子工程师学会图像处理汇刊.卷23，5470-5485,2014.(He L,Wang Y,etal.Iterative support detection-based split Bregman method for wavelet frame-based image inpainting[J].IEEE Transactions on Image Processing,2014,23(12):5470-5485.))等。为了获得更好的图像补全效果，学者们为设计一个好的先验项进行了大量的研究。

其中最具代表性的先验信息是低秩先验，其中核范数最小化方法在各种图像补全问题中得到了广泛的研究，并在这些应用中取得了显著的效果。一种奇异值阈值模型来解决核范数最小化问题，具有良好的理论保证。然而，该模型对每个奇异值的收缩是相等的，这将损害重要的图像信息。因为更大的奇异值可以编码更多的图像信息，应该被较少地收缩，因此加权核范数最小化方法被提出，该方法可以达到很好的去噪效果。最近，一种加权斯莱特恩范数最小化的正则项(参见文献：顾舒航，刘岩，左旺孟，张磊.针对图像去噪和背景去噪的加权斯莱特恩范数最小化.美国电气电子工程师学会图像处理汇刊.卷25,4842-4857,2015.(Xie Y,Gu S,Liu Y,Zuo M,Zhang L,et al.Weighted Schatten p-normminimization for image denoising and background subtraction[J].IEEETransactions on Image Processing,2015,25(10):4842-4857.))对其进行进一步改善，可以看作是加权核范数最小化方法的改进版本。后来加权斯莱特恩范数模型的应用从图像去噪任务扩展到图像补全和去模糊任务，实现了无噪声图像补全的良好性能。

全变分也是一种非常流行的正则化方法，是一种被广泛使用的约束图像分段光滑的图像补全工具。传统的全变分范数定义为元素一阶导数的范数，可以看作为最简单的分析算子。罗斯利用高阶马尔可夫随机场获得高频滤波器和导数滤波器(参见文献：罗斯，布莱克.领域专家.国际计算机视觉杂志.卷82,205-229,2009.(Roth S,Black M J.Fieldsof Experts[J].International Journal of Computer Vision,2009,82(2):205-229.))称为专家场模型FoE(Field-of-Expert)。专家场模型比基于全变分的方法可以捕获图像更多的结构信息。

为了保持图像的非局部一致性，保留图像的锐度和边缘，学者们还研究了一些非局部自相似先验。一种非局部统计模型(Non-Local Statistical Modeling,NLSM)(参见文献：张健，赵德斌，熊瑞芹，马思伟，高文.利用空间变换域联合统计模型进行图像恢复.视频技术电路与系统.卷24,915-928,2014.(Zhang J,Zhao D,Xiong R,Gao W,et al.Imagerestoration using joint statistical modeling in a space-transform domain[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(6):915-928.))被用来衡量图像在三维变换域中的自相似性。

上述图像补全的设计方法要么考虑低秩先验建模，要么考虑非局部统计建模，部分方法还利用全变分范数来保证局部平滑性，但是以上方法都不能有效处理同时包含噪声和随机像素缺失的图像。本文提出了一种基于加权斯莱特恩范数最小化的噪声图像补全方法,利用分析算子保证局部平滑性，采用非局部统计模型(NLSM)约束非局部自相似度。该方法可以更好地应对包含噪声的图像补全问题。

【发明内容】

本发明的目的在于提供一种基于加权斯莱特恩范数最小化的噪声图像补全方法。加权斯莱特恩范数最小化已成功应用于无噪声图像补全，但无法有效应对像素缺失图像中包含噪声的情况。在低秩框架下的图像补全过程中，加权斯莱特恩范数最小化方法会将噪声从图像中保留的像素传递到待补全的像素。为了解决这个问题，我们利用分析算子来约束图像的局部平滑性。经过马尔可夫随机场学习得到的专家场模型滤波算子就是一种典型的分析算子。由于输入图像对专家场模型滤波算子的响应非常稀疏且专家场模型滤波算子能够捕捉更多的图像细节信息，采用专家场模型滤波算子约束图像的局部平滑性会综合传统的专家场模型和加权斯莱特恩范数最小化方法的优点。此外，将一组相似的块变换成三维张量并收缩变换系数的思想在图像去噪方面取得了较好的效果，由此，为了进一步降低噪声的影响，我们还考虑了非局部统计建模作为正则项的一部分。

本发明是一种基于加权斯莱特恩范数最小化的噪声图像补全方法，为了实现更好的噪声图像补全性能，该算法由三个部分组成:(a)基于加权斯莱特恩范数最小化方法的低秩正则项；(b)由分析算子约束的局部平滑正则项；(c)由非局部统计模型保证的非局部自相似项。算法总体目标函数如下：

其中Y∈R^M是受损图像，H为对角阵，其对角线为0或1，分别对应缺失像素和未缺失像素，X∈R^N为待补全图像，X为

的向量化表示。Ω_j为分析算子，本发明方法选取经过训练得到J＝25个的3×3的专家场模型滤波算子。Θ_X为将相似块矩阵变换成三维张量的变换系数按字典序排列而成的列向量。λ，τ和κ为调节参数。

为卷积算子。为便于算法分步求解，运用交替乘子法，引入附加变量Z,W和S及相应的约束条件X＝Z,

和X＝S，可转化为如下优化问题：

其中B，C和D为相应约束的拉格朗日乘子，μ₁，μ₂和μ₃为调节参数。

本发明是一种基于加权斯莱特恩范数最小化的噪声图像补全方法，该算法分步求解的具体步骤如下：

步骤一：将待补全图像分成同样尺寸为

的n个小块，每一个小块即为一个目标块，利用滑动窗口技术对每一个目标块搜索其m个相似块(欧式距离越小的块之间相似度越大)，这些相似块组成目标块的一个相似组。在基于加权斯莱特恩范数方法的低秩框架下进行初步的图像补全，需求解优化问题如下：

其中R＝X-B，Z_i∈R^d×m即为第i个相似组矩阵，

为加权斯莱特恩范数的低秩正则项。可用广义软阈值算法求解。

图像的非局部自相似先验是用于图像修复的较好的一种先验信息。非局部自相似是指由于具有相似结构的图像块在图像上的空间距离可能会比较远，从而可以在整个图像中寻找这些相似块。斯莱特恩范数的提出有效地实现了低秩这一约束。斯莱特恩范数定义为奇异值的p范数(0<p<1)，与传统核范数相比，斯莱特恩范数可以更准确的恢复数字信号。加权核范数最小化模型提高了核范数的灵活性，即给不同的奇异值赋予不同的权重可以使图像的低秩假设变得更加合理。因此，本发明中采用加权斯莱特恩范数能够更加准确的修复缺失像素。

步骤二：利用分析算子约束图像的平滑性。需求解优化问题如下：

该问题实际上是一个反卷积问题，本发明方法选取25个经过马尔可夫随机场学习得到的大小为3×3的专家场模型滤波算子，利用快速傅里叶变换算子将其转换到变换域求解。

步骤三：利用非局部统计模型约束图像的非局部自相似性。需求解如下优化问题：

其中的自相似变换Θ_S可以通过以下五个步骤得到。首先,将由步骤一、二得到的大小为N的图像S分成n个有重叠的大小为

的块uⁱ，i＝1,2,...,n。第二，对每个块uⁱ利用滑动窗口技术搜索与其最相似的m个相似块(欧式距离越小的块之间相似度越大)。定义

为包含这m个相似块的集合，即

这一部分计算与步骤一完全相同。第三,对于每个

将属于

的m个块堆叠成一个3D数组，记为

第四，定义T^3D为一个正交三维变换算子，

为

的三维变换系数。则Θ_S即为图像所有的三维变换系数

根据字典序排列而成的列向量。

相应地，对应的逆算子可以通过以下过程实现。由上式得到Θ_S之后，将其分割成三维变换系数的n个三维数组，用以反过来估计三维数组中新的图像块即估计得到的块。然后将估计得到的块恢复到其原来的位置，最终估计得到的图像是通过平均所有估计得到的块来实现的。

对于这个子问题，运用软阈值算法即可得到其闭式解。

步骤四：更新拉格朗日乘子B，C和D。

通过以上四个步骤不断迭代直至算法达到收敛条件即可完成一幅图像的补全任务。

3、优点及功效：加权斯莱特恩范数最小化算法框架对于补全图像中缺失的像素非常有效。但是，如果图像中含有噪声，该框架会使噪声从图像中保留的像素传递到待补全的像素。本文基于加权斯莱特恩范数最小化框架这种有效的补全缺失像素的方法，利用分析算子保证局部平滑，利用非局部统计模型约束非局部自相似度。这些正则项被整合到一个统一的框架中，充分考虑了图像平滑性和边缘细节的保留，并使用交替乘子法求解。该算法能够较好地修复具有不同方差噪声的和各种比例像素缺失的图像，即使在噪声等级较高时也能够达到良好的视觉效果和量化分析效果。具有广阔的市场前景与应用价值。

【附图说明】

图1为本发明提出的一种基于加权斯莱特恩范数最小化的噪声图像补全方法的原理框图。

图2为仅使用加权斯莱特恩范数最小化方法的噪声图像补全效果。其中图2a为原图，图2b为具有方差为20的噪声及60％随机像素缺失的图像，图2c为补全的图像。

图3a为原图，图3b-3e展示了原图像对专家场模型滤波算子的稀疏响应。

图4a为本发明得到的噪声方差为30,缺失像素为50％的受损图像与补全结果。

图4b为本发明得到的噪声方差为40,缺失像素为40％的受损图像与补全结果。

图4c为本发明得到的噪声方差为50,缺失像素为30％的受损图像与补全结果。

图5为本发明方法与其他几种方法的视觉效果对比图。其中受损图像的噪声方差为50,缺失像素为30％。图5a为原图，图5b为受损图像，图5c为ISDSB(Iterative SupportDetection-Based Split Bregman)方法，图5d为WSNM(Weighted Schatten p-NormMinimization)方法，图5e为JSM(Joint Statistical Modeling)方法，图5f为BPFA(betaprocess factor analysis)方法，图5g为FoE-STDC(FoE guided simultaneous tensordecomposition and completion)方法，图5h为本发明方法。

【具体实施方式】

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

如图1所示，本发明一种基于加权斯莱特恩范数最小化的噪声图像补全方法，步骤如下：

步骤一：将待补全图像分成同样尺寸为

的n个小块，每一个小块即为一个目标块，利用滑动窗口技术对每一个目标块搜索其m个相似块(欧式距离越小的块之间相似度越大)，这些相似块组成目标块的一个相似组。在基于加权斯莱特恩范数方法的低秩框架下进行初步的图像补全，需求解优化问题如下：

其中R＝X-B，Z_i即为第i个相似组矩阵，

为加权斯莱特恩范数的低秩正则项。可用广义软阈值算法求解。

具体算法步骤如下：

首先，将该问题转化为以下模型求解(查志远等.基于非凸加权l-p核范数的ADMM图像恢复框架.神经计算学报.卷311,209-224,2018.(Zha Z,Zhang X,Wu Y,Wang Q,TangL,Yuan X,Non-convex weighted l-p nuclear norm based ADMM framework for imagerestoration[J]Neurocomputing,vol.311,pp.209-224,2018.))：

其中η＝λdmn/μ₁N。令R_i的SVD分解为R_i＝U_i∑_iV_i ^T，其中∑_i＝diag(σ_i1,σ_i2,...,σ_ir)，r＝min(d,m)，并假设σ_i1≥σ_i2≥...≥σ_ir，则上式的最优解为Z_i＝U_iΔ_iV_i ^T，其中Δ_i＝diag(δ_i1,δ_i2,...,δ_ir)。而δ_ij可以由下式求解得到：

由GST算法(左旺孟，孟德宇，张磊.一种用于非凸稀疏编码的广义迭代收缩算法.计算机视觉国际会议.217-224,2013.(W.Zuo,D.Meng,and L.Zhang,“A generalizediterated shrinkage algorithm for non-convex sparse coding,”in Proc.IEEEInt.Conf.Comput.Vision,pp.217-224,2013.))可得δ_ij＝GST(σ_ij,ηw_ij,p)。

图2为仅使用加权斯莱特恩范数最小化方法的噪声图像补全效果。其中图2a为原图，图2b为具有方差为20的噪声及60％随机像素缺失的图像，图2c为补全的图像。可以看出该方法不能有效应对有噪声的图像补全任务。

步骤二：利用分析算子约束图像的平滑性。需求解优化问题如下：

该问题实际上是一个反卷积问题，本发明方法选取J＝25个经过训练得到的大小为3×3的专家场模型滤波算子，利用快速傅里叶变换算子将其转换到变换域求解。引入一列附加变量

运用交替乘子法即可分别解出W和Q_j。求解的具体过程如下：

其中，

为快速傅里叶变换算子，L_j为Q_j的拉格朗日乘子，调节参数u_k初始化为1且每次以ρ＝1.05的速率增长，

为复共轭算子，ο和

分别表示点乘和点除。

图3a为原图，图3b-3e以随机选取的其中4个Ω_j为例展示了其对原图像的滤波稀疏响应。可以看出，不同的Ω_j对图像的滤波响应不同。

步骤三：利用非局部统计模型约束图像的非局部自相似性。需求解如下优化问题：

其中的自相似变换Θ_S可以通过以下五个步骤得到。首先,将由步骤一、二得到的大小为N的图像S分成n个有重叠的大小为

的块uⁱ，i＝1,2,...,n，每一个块即为一个目标块。第二，对每个目标块uⁱ利用滑动窗口技术搜索与其最相似的m个块(欧式距离越小的块之间相似度越大)。定义

为包含这m个块的集合，即

这一部分计算与步骤一完全相同。第三,对于每个

将属于

的m个块堆叠成一个3D数组，记为

第四，定义T^3D为一个正交三维变换算子，

为

的三维变换系数。则Θ_S即为图像所有的三维变换系数

根据字典序排列而成的列向量。

相应地，对应的逆算子可以通过以下过程实现。由上式得到Θ_S之后，将其分割成三维变换系数的n个三维数组，用以反过来估计三维数组中新的图像块即估计得到的块。然后将估计得到的块恢复到其原来的位置，最终估计得到的图像是通过平均所有估计得到的块来实现的。

对于这个子问题，运用软阈值算法即可得到其闭式解。其闭式解如下：

S＝Θ^-1(soft(Θ_X-D,κdmn/μ₃N)),

其中，Θ^-1为Θ的逆操作算子，表示由得到的三维变换系数重构出图像的过程。

步骤四：更新拉格朗日乘子B，C和D。具体操作如下：

B＝B-(X-Z),

D＝D-(X-S).

通过以上四个步骤不断迭代直至算法达到收敛条件即可完成一幅图像的补全任务。

为了展示本发明的效果，图4a～图4c展示了本发明在图像不同损伤模式下的补全情况，图5a～图5h为本发明方法与其他几种方法的视觉效果对比图，由补全结果及视觉效果对比可以看出，本发明能够成功地应对图像具有不同方差噪声及各种比例像素缺失的情况，即使在噪声等级较高时也能够达到良好的视觉效果和量化分析效果。

Claims (2)

1.一种基于加权斯莱特恩范数最小化的噪声图像补全方法，由三个部分组成:(a)基于加权斯莱特恩范数最小化方法的低秩正则项；(b)由分析算子约束的局部平滑正则项；(c)由非局部统计模型保证的非局部自相似项；目标函数如下：

其中P为斯莱特恩范数0<p<1，Y∈R^M是受损图像，H为对角阵，其对角线为0或1，分别对应缺失像素和未缺失像素，X∈R^N为待补全图像，X为

的向量化表示；Ω_j为分析算子，选取经过马尔可夫随机场学习得到J＝25个3×3的专家场模型滤波算子；Θ_X为将相似块矩阵变换成三维张量的变换系数按字典序排列而成的列向量；λ，τ和κ为调节参数；

为卷积算子；运用交替乘子法，引入附加变量Z,W和S及相应的约束条件X＝Z,

和X＝S，可转化为如下优化问题：

其中B，C和D为相应约束的拉格朗日乘子，μ₁，μ₂和μ₃为调节参数；

其特征在于：所述方法具体步骤如下：

步骤一：将待补全图像分成同样尺寸为

的n个小块，每一个小块即为一个目标块，利用滑动窗口技术对每一个目标块搜索其L×L邻域内与其最相似的m个相似块，这些相似块组成目标块的一个相似组；在基于加权斯莱特恩范数方法的低秩框架下进行初步的图像补全，需求解优化问题如下：

其中R＝X-B，Z_i∈R^d×m即为第i个相似组矩阵，

为加权斯莱特恩范数的低秩正则项；

步骤二：利用分析算子约束图像的平滑性；需求解优化问题如下：

步骤三：利用非局部统计模型约束图像的非局部自相似性；需求解如下优化问题：

其中的自相似变换Θ_S可以通过以下五个步骤得到：首先,将由步骤一、二得到的大小为N的图像S分成n个有重叠的大小为

的块uⁱ，i＝1,2,...,n，每一个小块即为一个目标块；第二，对每个目标块uⁱ利用滑动窗口技术搜索其L×L邻域内与其最相似的m个块，定义

为包含这m个块的集合，即

第三,对于每个

将属于

的m个块堆叠成一个3D数组，记为

第四，定义T^3D为一个正交三维变换算子，

为

的三维变换系数；则Θ_S即为图像所有的三维变换系数

根据字典序排列而成的列向量；

相应地，对应的逆算子可以通过以下过程实现：由上式得到Θ_S之后，将其分割成三维变换系数的n个三维数组，用以反过来估计三维数组中新的图像块即估计得到的块；然后将估计得到的块恢复到其原来的位置，最终估计得到的图像是通过平均所有估计得到的块来实现的；

步骤四：更新拉格朗日乘子B，C和D；

通过以上四个步骤不断迭代直至算法达到收敛条件即可完成一幅图像的补全任务。

2.根据权利要求1所述的具有局部与全局约束的加权斯莱特恩范数最小化的噪声图像补全方法，特征在于：所述步骤二选取25个经过马尔可夫随机场学习得到的大小为3×3的专家场模型滤波算子，利用快速傅里叶变换算子将其转换到变换域求解。

Images