CN105957026A - 基于非局部相似图像块内部和块间隐性低秩结构的去噪方法 - Google Patents

Abstract

本发明涉及一种基于非局部相似图像块内部和块间隐性低秩结构的去噪方法，主要包含步骤：首先将目标图像分成具有重叠结构的子块，并通过仿射变换将图像子块分解成一个低秩矩阵加上一个稀疏矩阵；其次搜索相似的低秩矩阵，将每个低秩矩阵转换成向量，并罗列成一个新的数据矩阵，采用快速奇异值截断方法获得图像子块间的低秩结构；最后对得到的低秩数据矩阵进行仿射逆变换，得到原图像子块去噪后的结果，对不同图像子块重叠区域求均值，从而得到整体图像的去噪结果。本发明实现了有效的图像去噪方法，是一种通用的方法。实验结果表明，相对于其他经典图像去噪算法，该发明更加有效和鲁棒，具有很好的应用前景。

Description

基于非局部相似图像块内部和块间隐性低秩结构的去噪方法

技术领域

本发明涉及图像处理与计算机视觉领域，特别是涉及一种基于非局部相似图像块内部和块间隐性低秩结构的去噪方法。

背景技术

图像去噪是图像处理领域内极其重要和广泛研究的热点，目的是去除图像中的各种噪声污染，同时又能保持图像的结构特征如边缘、纹理等。图像去噪效果的好坏直接影响着后续图像处理工作的进行，消除图像噪声对于图像处理的研究有着非常重要的意义。

总的来说，图像去噪算法可以分为两类：局部的方法和非局部的方法。局部的方法就是用某种核与图像做卷积运算,用当前像素所在邻域内的所有像素去估计该像素以实现去噪。局部的方法没有利用图像的全局结构信息，使得去噪后的图像过于模糊和细节丢失。非局部方法就是像素之间在空间位置上不存在实质性关系,只与用来度量像素之间相似性的图像片有关，是一种基于图像块相似性度量的去噪方法。2005年，Buades等人提出了一种非局部均值(Nonlocal Means,NLM)图像去噪方法，通过加权平均一些相似像素来估计当前像素的真实值。在NLM方法中,相似权系数由当前像素点与其邻域内其它像素点为中心的图像块之间的相似性来决定。图像块比单个像素点蕴含的信息更加丰富,能更好地描述图像的特征,因此能够更好地度量像素之间的相似性,在去除噪声的同时也能有效地保持纹理等具有重复结构的特征。然而，由于NLM方法中的权重难以选择，Rajwada等人提出了一种对相似图像块所组成矩阵进行奇异值分解并截断的去噪方法，该方法能够有效地处理高斯噪声。尽管上述基于图像块相似性的非局部去噪方法得了较好的去噪效果,但也存在着明显的不足,主要表现在:(1)图像块内部的结构没有被有效地利用；(2)只能处理高斯噪声。

发明内容

为了克服上述基于图像块相似性的非局部去噪方法的缺点，本发明提出一种基于非局部相似图像块内部和块间隐性低秩结构的去噪方法，相对于其他的经典 图像去噪算法，该去噪方法更加有效和鲁棒。

为了实现上述目的，本发明采用了以下的技术方案：

本发明公开了一种基于非局部相似图像块内部和块间隐性低秩结构的去噪方法，它包括如下步骤：

1)将目标图像分成具有重叠结构的图像子块，对于每一个图像子块矩阵，寻找一组仿射变换参数，使得变换后的图像子块可以分解为一个低秩矩阵加上一个稀疏矩阵，所述低秩矩阵和稀疏矩阵分别对应于图像子块的隐性低秩结构和稀疏噪声；

2)对于每个图像子块的低秩矩阵，搜索与其相似的其他图像子块的低秩矩阵，将所有相似的低秩矩阵转换为列向量，并排列成为新的数据矩阵，通过将该数据矩阵的秩进行凸松弛：利用矩阵的核范数来代替矩阵的秩，并采用快速奇异值截断方法获得上述数据矩阵的低秩结构矩阵，其对应于图像子块之间的低秩结构；

3)对于步骤2)中获得的低秩结构矩阵，将其每一列重新转为矩阵，并按仿射逆变换将其变换回对应的图像子块位置，从而得到对原图像子块去噪后的结果，对于图像整体，通过对不同图像子块重叠区域求均值，从而得到整体图像的去噪结果。

优选的，所述的步骤1)具体为：

S01.给定一幅受噪声污染的目标图像I∈R^m×n，将目标图像分成一系列具有重叠结构的图像子块P_i∈R^w×h；其中m,n,w,h分别对应于图像、图像子块的长宽；

S02.对每一个图像子块矩阵P_i进行仿射变换，并建立如下数学模型：

$\underset{L_i,E_i,{\mathrm{\τ}}_i}{min}rank\left(L_i\right)+\mathrm{\λ}\left|\right|E_i|{|}_0$

s.t. P_iοτ_i＝L_i+E_i

其中，矩阵L_i为图像子块P_i中隐含的低秩结构，矩阵E_i为图像中的噪声干扰量，τ_i为仿射变换向量，λ为权重系数，rank(·)表示矩阵的秩，||·||₀表示矩阵的0-范数，即统计矩阵中非零元素的个数；

S03.用矩阵的核范数||L_i||_*替换rank(L_i)，矩阵E_i的1-范数||E_i||₁替换||E_i||₀，于是上述优化问题转化为：

$\underset{L_i,E_i,{\mathrm{\τ}}_i}{min}\left|\right|L_i|{|}_{*}+\mathrm{\λ}|\left|E_i\right|{|}_1$

s.t. P_iοτ_i＝L_i+E_i

S04.由于P_iοτ_i＝L_i+E_i是一个非线性的等式约束，为了对该约束进行松弛，引入局部线性化，具体实现过程如下：

其中Δτ_i为变换参数的局部线性增量，是图像子块数据P_i对于其非线性变换参数的雅克比矩阵；

S05.根据上述近似替换，目标函数可转化为如下问题：

$\underset{L_i,E_i,{\mathrm{\τ}}_i}{min}\left|\right|L_i|{|}_{*}+\mathrm{\λ}|\left|E_i\right|{|}_1$

S06.通过如下循环迭代进行求解，循环过程分为4步：

①初始化各个参量并计算雅可比矩阵；

②解决线性问题：

$(L_i^{*},E_i^{*},{\mathrm{\Δ\τ}}_i^{*})\←\arg {\min }_{L_i^{*},E_i^E,{\mathrm{\Δ\τ}}_i^{*}}\left|\right|L_i|{|}_{*}+\mathrm{\λ}|\left|E_i\right|{|}_1$

③更新变换函数：

④用步骤②和③中得到的优化结果重新初始化各个参量并进入步骤②，直至收敛，最后输出最优化的图像子块的低秩矩阵L_i，噪声矩阵E_i和变换向量τ_i。

优选的，所述的步骤S06中的步骤②具体为：

采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数

其中，μ＞0表示附加在不可行点上的惩罚量，Y为拉格朗日乘数向量。＜·,·＞表示矩阵的内积，f_μ(·)表示目标函数，对于上式中有四个未知量L_i,E_i,Δτ_i,Y，采用交替方向方法逐个求取最优值：

$L_i^{k+1}={\mathrm{US}}_{{\mathrm{\μ}}^{-1}}\left(\mathrm{\Σ}\right)V^T$

μ^k+1＝ρμ^k

其中UΣV^T表示的奇异值分解，为截断函数，表示的广义逆。

优选的，所述的步骤2)具体为：

每一个图像子块矩阵P_i都可以获得一个低秩结构矩阵L_i，对于每个L_i，搜索与其相似的低秩矩阵，从而获得一系列低秩矩阵

a)将低秩矩阵按列优先转化为向量并按顺序罗列成一个新的数据矩阵A，假设数据仍包含高斯噪声，通过恢复其低秩结构去除噪声，对应的优化目标函数为

$\underset{A_l}{min}\left|\right|A_l|{|}_{*}$

$s.t.\left|\right|A-A_l|{|}_F^2<\mathrm{\&epsiv;}$

其中A_l为需要求解的低秩数据矩阵，||·||_F为矩阵的F-范数，即为矩阵所有元素的平方和的开方，ε为误差阈值；

b)采用拉格朗日乘子法将上述目标函数和约束条件转化为下列拉格朗日函数，

$f_{\mathrm{\&mu;}}\left(A_l\right)=\left|\right|A_l|{|}_{*}+\frac{\mathrm{\&mu;}}{2}||A-A_l|{|}_F^2$

其中μ为根据高斯噪声的方差进行设置的参数，根据近端梯度理论，上述目标函数有如下解析解，其中A＝UΣV^T为矩阵A的奇异值分解；为截断函数

c)将A分解为如下正交矩阵和矩阵

①对矩阵A进行随机投影q_j＝Aw_j，其中w_j是随机向量，为了能够有效覆盖A的子空间，重复进行h次投影，其中h＞l，获得如下投影矩阵Q'＝[q₁,q₂,…,q_h]；

②对Q'进行基于列旋转的Orthogonal-triangular分解，将其前l列作为Q；

③计算获得矩阵B：B＝Q^TA；

④对B进行奇异值分解B＝U'Σ'V'^T；

d)求得低秩数据矩阵

本发明的有益效果是：

(1)本发明所提出的图像去噪是一种通用的方法，对任意图像去噪类型都适用。

(2)本发明所采用能够处理高斯噪声、稀疏噪声以及其他可用这两类噪声近似的噪声。

(3)本发明有效地利用图像子块内部的隐性低秩结构，使得非局部相似图像块的匹配更为准确，通过将其与图像子块间的低秩结构相融合，实现了信噪比更高的去噪效果。

(4)本发明提出了基于矩阵分解的快速奇异值截断方法，通过有效的矩阵分解，极大地降低了算法的计算复杂度，并且该方法是一种通用方法，可以适用于所有低秩恢复模型。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的图像去噪的整体框架。

具体实施方式

下面通过实施例对本发明进行具体的描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，该领域的技术工程师可根据上述发明的内容对本发明作出一些非本质的改进和调整。

如图1所示，图1为本发明整体框架。本发明为一种基于非局部相似图像块内部和块间隐性低秩结构的图像去噪方法，本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其他工作模式不再赘述。

本发明的实施例采用一台具有3.2G赫兹中央处理器和1G字节内存的奔腾4计算机并用Matlab语言编制了相关工作程序，实现了本发明的方法，本发明的融合图像块内部和图像块间隐性低秩结构的图像去噪方法，包括以下步骤：

(1)给定一幅受噪声污染的图像I∈R^m×n，将目标图像分成一系列具有一定重叠结构的图像子块P_i∈R^w×h。

(2)对每一个图像子块矩阵P_i进行仿射变换，并建立如下数学模型：

$\underset{L_i,E_i,{\mathrm{\&tau;}}_i}{min}rank\left(L_i\right)+\mathrm{\&lambda;}\left|\right|E_i|{|}_0$

s.t. P_iοτ_i＝L_i+E_i

其中，矩阵L_i为图像子块P_i中隐含的低秩结构，矩阵E_i为图像中的噪声、外点及遮挡等干扰量，τ_i为仿射变换参数。我们假设低秩纹理图像只有很小一部分受到噪声污染，因此噪声矩阵是一个稀疏矩阵。该步骤目的是通过对图像子块进行有效地变换，从而恢复其的低秩结构L_i。

a)上述优化问题在求解上述关于矩阵L_i的秩和E_i的零范数是NP难问题，我们可以替换为求解它们的凸包：用矩阵的核范数||L_i||_*替换rank(L_i)，矩阵E_i的1-范数||E_i||₁替换||E_i||₀。于是优化问题转化为：

$\underset{L_i,E_i,{\mathrm{\&tau;}}_i}{\min }\left|\right|L_i|{|}_{*}+\mathrm{\&lambda;}|\left|E_i\right|{|}_1$

s.t. P_iοτ_i＝L_i+E_i

b)由于P_iοτ_i＝L_i+E_i是一个非线性的等式约束，为了对该约束进行松弛， 我们引入局部线性化，具体实现过程如下：

其中Δτ_i为变换参数的局部线性增量，是图像子块数据P_i对于其非线性变换参数的雅克比矩阵。

c)根据上述近似替换，目标函数可转化为如下问题：

$\underset{L_i,E_i,{\mathrm{\&tau;}}_i}{min}\left|\right|L_i|{|}_{*}+\mathrm{\&lambda;}|\left|E_i\right|{|}_1$

该优化问题可通过如下循环迭代进行求解，循环过程分为4步：

①初始化各个参量并计算雅可比矩阵；

②(内循环)解决线性问题：

$(L_i^{*},E_i^{*},{\mathrm{\&Delta;\&tau;}}_i^{*})\&LeftArrow;\arg {\min }_{L_i^{*},E_i^{*},{\mathrm{\&Delta;\&tau;}}_i^{*}}\left|\right|L_i|{|}_{*}+\mathrm{\&lambda;}|\left|E_i\right|{|}_1$

③更新变换函数：

④用②和③中得到的优化结果重新初始化参量并进入第二步的内循环；

最后输出：最优化的低秩图像块L_i，噪声矩阵E_i和变换向量τ_i。

d)为了求解步骤②的线性优化问题，采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数

其中，μ＞0表示附加在不可行点上的惩罚量，Y为拉格朗日乘数向量。＜·,·＞表示矩阵的内积，f_μ(·)表示目标函数。上式中有四个未知量L_i,E_i,Δτ_i,Y，要同时对这四个未知量优化求解显然是比较复杂的，在此采用交替方向方法(Alternating directionmethod)逐个求取最优值：

$L_i^{k+1}={\mathrm{US}}_{{\mathrm{\&mu;}}^{-1}}\left(\mathrm{\&Sigma;}\right)V^T$

μ^k+1＝ρμ^k

其中UΣV^T表示的奇异值分解，为截断函数，表示的广义逆，上述优化迭代直至收敛。

(3)每一个图像子块矩阵P_i都可以获得一个低秩结构矩阵L_i。对于每个L_i，在其30×30(可以根据图像大小自适应调整，约为图像长宽中较大值的)领域内搜索与其相似的低秩矩阵(对应于其他图像子块)，从而获得一系列低秩矩阵基于该数据，本发明利用非局部相似图像子块之间，对该数据进行去噪，具体步骤如下：

a)将低秩矩阵按列优先转化为向量并按顺序罗列成一个新的数据矩阵A(由非局部相似图像子块组成)，假设数据仍包含高斯噪声，可以通过恢复其低秩结构去除噪声，对应的优化目标函数为

$\underset{A_l}{min}\left|\right|A_l|{|}_{*}$

$s.t.\left|\right|A-A_l|{|}_F^2<\mathrm{\&epsiv;}$

b)同样采用拉格朗日乘子法将，上述目标函数和约束条件转化为下列拉格朗日函数，

$f_{\mathrm{\&mu;}}\left(A_l\right)=\left|\right|A_l|{|}_{*}+\frac{\mathrm{\&mu;}}{2}||A-A_l|{|}_F^2$

其中μ可以根据高斯噪声的方差进行设置。根据近端梯度理论(proximalgradient)，上述目标函数有如下解析解，其中A＝UΣV^T为矩阵A的奇异值分解。

c)由上述内容可知，无论是图像子块内部低秩结构恢复，还是图像子块间的 低秩结构恢复，都涉及到计算矩阵的奇异值分解。以图像子块间的低秩结构恢复为例，数据矩阵A的维度为wh*k，那么其奇异值分解的复杂度为O(whk min(wh,k))，不失一般性，令wh＞k，该计算复杂度为O(whk²)，当k较大时，该计算复杂度将无法被接受。由于数据矩阵A具有潜在低秩结构A_l，其低秩结构矩阵A_l的秩为l＜k。因此，本发明从矩阵分解的角度出发，将A似分解为如下正交矩阵和矩阵具体步骤如下，

①对矩阵A进行随机投影q_j＝Aw_j，其中w_j是随机向量。为了能够有效覆盖A的子空间，重复进行h(h＞l)次投影，获得如下投影矩阵Q'＝[q₁,q₂,…,q_h]；

②对Q'进行基于列旋转的QR(Orthogonal-triangular)分解，将其前l列作为Q。

③计算获得矩阵B：B＝Q^TA

④对B进行奇异值分解B＝U'Σ'V'^T；

最后，可以求得

(4)将A_l中的每一列重新转为矩阵，并按仿射逆变换将其变换回对应的图像子块位置，从而得到对原图像子块去噪后的结果。对于图像整体，通过对不同图像子块重叠区域求均值，从而得到整体图像的去噪结果。

Claims (4)

1.一种基于非局部相似图像块内部和块间隐性低秩结构的去噪方法，其特征在于包括如下步骤：

1)将目标图像分成具有重叠结构的图像子块，对于每一个图像子块矩阵，寻找一组仿射变换参数，使得变换后的图像子块可以分解为一个低秩矩阵加上一个稀疏矩阵，所述低秩矩阵和稀疏矩阵分别对应于图像子块的隐性低秩结构和稀疏噪声；

2)对于每个图像子块的低秩矩阵，搜索与其相似的其他图像子块的低秩矩阵，将所有相似的低秩矩阵转换为列向量，并排列成为新的数据矩阵，通过将该数据矩阵的秩进行凸松弛：利用矩阵的核范数来代替矩阵的秩，并采用快速奇异值截断方法获得上述数据矩阵的低秩结构矩阵，其对应于图像子块之间的低秩结构；

3)对于步骤2)中获得的低秩结构矩阵，将其每一列重新转为矩阵，并按仿射逆变换将其变换回对应的图像子块位置，从而得到对原图像子块去噪后的结果，对于图像整体，通过对不同图像子块重叠区域求均值，从而得到整体图像的去噪结果。

2.根据权利要求1所述的去噪方法，其特征在于所述的步骤1)具体为：

S01.给定一幅受噪声污染的目标图像I∈R^m×n，将目标图像分成一系列具有重叠结构的图像子块P_i∈R^w×h；其中m，n，w，h分别对应于图像、图像子块的长宽；

S02.对每一个图像子块矩阵P_i进行仿射变换，并建立如下数学模型：

其中，矩阵L_i为图像子块P_i中隐含的低秩结构，矩阵E_i为图像中的噪声干扰量，τi为仿射变换向量，λ为权重系数，rank(·)表示矩阵的秩，||·||₀表示矩阵的0-范数，即统计矩阵中非零元素的个数；

S03.用矩阵的核范数||L_i||_*替换rank(L_i)，矩阵E_i的1-范数||E_i||₁替换 ||E_i||₀，于是上述优化问题转化为：

S04.由于是一个非线性的等式约束，为了对该约束进行松弛，引入局部线性化，具体实现过程如下：

其中Δτ_i为变换参数的局部线性增量，▽P_i是图像子块数据P_i对于其非线性变换参数的雅克比矩阵；

S05.根据上述近似替换，目标函数可转化为如下问题：

S06.通过如下循环迭代进行求解，循环过程分为4步：

①初始化各个参量并计算雅可比矩阵；

②解决线性问题：

③更新变换函数：

④用步骤②和③中得到的优化结果重新初始化各个参量并进入步骤②，直至收敛，最后输出最优化的图像子块的低秩矩阵L_i，噪声矩阵E_i和变换向量τ_i。

3.根据权利要求2所述的去噪方法，其特征在于所述的步骤S06中的步骤②具体为：

采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数

其中，μ＞0表示附加在不可行点上的惩罚量，Y为拉格朗日乘数向量。＜·,·＞表示矩阵的内积，f_μ(·)表示目标函数，对于上式中有四个未知量L_i,E_i,Δτ_i,Y，采用交替方向方法逐个求取最优值：

μ^k+1＝ρμ^k

其中UΣV^T表示的奇异值分解，为截断函数，表示▽P_i的广义逆。

4.根据权利要求1所述的去噪方法，其特征在于所述的步骤2)具体为：

每一个图像子块矩阵P_i都可以获得一个低秩结构矩阵L_i，对于每个L_i，搜索与其相似的低秩矩阵，从而获得一系列低秩矩阵

a)将低秩矩阵按列优先转化为向量并按顺序罗列成一个新的数据矩阵A，假设数据仍包含高斯噪声，通过恢复其低秩结构去除噪声，对应的优化目标函数为

其中A_l为需要求解的低秩数据矩阵，||·||_F为矩阵的F-范数，即为矩阵所有元素的平方和的开方，ε为误差阈值；

b)采用拉格朗日乘子法将上述目标函数和约束条件转化为下列拉格朗日函数，

其中μ为根据高斯噪声的方差进行设置的参数，根据近端梯度理论，上述目标函数有如下解析解，其中A＝UΣV^T为矩阵A的奇异值分解；为截断函数

c)将A分解为如下正交矩阵和矩阵

①对矩阵A进行随机投影q_j＝Aw_j，其中w_j是随机向量，为了能够有效覆盖A的子空间，重复进行h次投影，其中h＞l，获得如下投影矩阵Q'＝[q₁,q₂,···,q_h]；

②对Q'进行基于列旋转的Orthogonal-triangular分解，将其前l列作为Q；

③计算获得矩阵B：B＝Q^TA；

④对B进行奇异值分解B＝U'Σ'V'^T；

d)求得低秩数据矩阵