CN106204461A - 结合非局部先验的复合正则化图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于图像多特征融合的非局部均值去噪方法，该方法改进了非局部均值去噪方法中图像块间相似度的计算方法，属于图像处理中的图像去噪的研究领域；传统的非局部均值方法采用欧氏距离或高斯加权的欧式距离来衡量块间相似度，这种方式存在一定的缺陷，容易引入不相似图像块，累计造成误差，尤其是在纹理细节区域，无法较好地保持图像的结构信息，降低了去噪性能。针对这样的问题，本方法根据LBP纹理特征来计算图像块之间的相似度，并同时结合LBP特征和灰度特征，进行一种混合相似度计算，最终确定相似图像块的权值分配。基于图像多特征融合的非局部均值去噪方法在去噪效果上得到了显著提升。

Description

结合非局部先验的复合正则化图像去噪方法

技术领域

本发明涉及图像去噪的技术领域，特别涉及一种结合非局部先验的复合正则化图像去噪方法。

背景技术

图像在形成、传输以及记录过程中，不可避免地会受到噪声的干扰。噪声的引入，不仅降低了图像的质量，而且严重影响图像的后续处理工作。因此，图像去噪成为图像处理中一个基础而重要的步骤，在预处理的基础上，提高图像质量，可以为后续图像处理提供更可靠并真实的依据。图像去噪的最终目的是要在去除噪声的同时，可以更好地保持图像中的边缘、纹理等重要结构信息。

正则化图像去噪方法的基本思想是：将原始图像的先验信息引入目标函数，当做附加约束，不但将不适定问题转化为适定问题，而且通过选择适当的先验信息，可以去噪得到与真实图像更接近的图像。基于正则化的图像去噪模型的基本形式为：

$\underset{u}{\min }J\left(u\right)=\underset{u}{\min }H\left(u\right)+\mathrm{\λR}\left(u\right)---\left(1\right)$

其中，表示数据保真项，用来保证恢复出来的真实图像和观测图像之间的距离足够小；R(u)是正则项，也称为约束项、惩罚项；λ为正则化参数，用来平衡H(u)和R(u)。

正则化方法在保持图像边缘信息、平衡细节和噪声的矛盾等方面有更好的效果，受到学者的广泛关注。

全变差(Total variation,TV)模型是正则化去噪模型中常见的一种模型。1992年，Rudin等人提出了有界变差(Bound Variation,BV)空间，他们认为图像是分片光滑的，允许存在不连续的信息，从而建立了图像去噪的最初TV模型，也称为标准ROF模型，如下表示：

$\underset{u\⋐\mathrm{BV}\left(\mathrm{\Ω}\right)}{\min }\{\mathrm{Eu}={\left|\right|\▿u\left|\right|}_{\mathrm{TV}}+\frac{\mathrm{\λ}}{2}{\left|\right|u-f\left|\right|}_2^2\}---\left(2\right)$

其中，第一项为正则项，用以惩罚图像中的不连续点，允许有不连续的解存在，在抑制高频噪声的同时可以保持边缘结构；第二项为L²范数的保真项；λ为正则化参数。

TV模型虽然可以很好地去除噪声，也可以保持图像中的强边缘结构，但却不能很好地保持图像中的纹理等细微而复杂的结构信息，造成去噪后的图像会出现“块状效应”。

自相似性先验是指自然图像中具有大量重复的相似结构，主要体现在边缘纹理区域。在A.Buades等人提出非局部均值算法之后，通过图像块匹配来利用图像中自相似性质的方案成为图像处理领域研究的热点。目前，在图像复原等领域中，自相似性先验的利用越来越频繁，而其关键在于如何准确地描述自然图像的自相似性。

综上所述，为了解决TV模型所产生的“块状效应”或细节过于平滑的现象，应该在模型目标函数中加入原真实图像的先验信息，使去噪后的图像保留更多的结构信息。而本发明就能很好地解决上述问题。

传统TV模型是基于图像是分片光滑的假设，从而导致复原图像会出现“块状效应”。虽然在去噪的同时能较好地刻画强边缘结构，但是却丢失了较多的纹理细节等细微而丰富的结构信息。为了解决这种问题，本发明提出了一种复合正则化去噪模型，即在图像去噪的TV模型中，引入非局部自相似先验信息，取得了显著的去噪效果。

发明内容

本发明目的在于提供一种结合非局部先验的复合正则化图像去噪方法，该方法解决了TV模型去噪中丢失纹理等细节信息，而出现“块状效应”的问题。该方法以TV变分去噪模型为基础，加入非局部结构自相似性的先验信息，并将图像灰度和LBP纹理特征融合的混合相似度计算权值的方法引入非局部先验正则项，充分利用了图像的结构信息。在模型求解上，采用分裂Bregman迭代法，快速有效地达到了去噪目的，显著提高了去噪质量。

本发明解决其技术问题所采用的技术方案是：本发明提供一种结合非局部先验的复合正则化图像去噪方法，该方法是一种策略性的方法，通过结合TV正则项和非局部结构自相似性正则项，建立新的复合正则化去噪模型，使得去噪后的图像保留更多的结构信息。

具体地说，本发明是采用以下的技术方案来实现的：结合非局部先验的复合正则化图像去噪方法，其特征在于，以全变差变分去噪模型为基础，加入非局部结构自相似性的先验信息，建立非局部自相似性先验正则和全变差正则相结合的复合正则化图像去噪模型，并将一种混合相似度计算权值的方法引入非局部先验正则项，包括如下步骤：

步骤一：建立图像去噪的全变差模型：

假设图像的去噪模型为：f＝u+n，其中，f为观测到的含噪图像，u为原始真实图像，n为噪声，

图像去噪的全变差模型为 $\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1\},$

其中，第一项为数据保真项，要求f和u在L²范数意义下最相似即差异最小，第二项为全变差正则项，是对图像分片光滑的先验，用以保持边缘结构特征，μ为正则化参数；

步骤二：根据图像中的结构自相似性先验信息，建立非局部结构自相似性正则项：

假设一幅大小为N×N的图像u经向量化后，表示成u＝[x₁,x₂,…,x_N]∈R^N，P_i和P_j分别表示以x_i和x_j为中心的图像块，对于像素点x_i，在整幅图像中找出所有满足给定条件的相似点x_j，即当认为x_i和x_j是相似的，只要P_i和P_j的相似度大于某一阈值T，即图像中大量的结构自相似性表示为其中，w(x_i,x_j)为权函数，满足δ(x_i)是x_i的非局部邻域，是与x_i相似度大于阈值T的所有像素点x_j的集合，满足δ(x_i)＝{x_j|w(x_i,x_j)＞T}，此处，T＝0，为非局部邻域内的像素均分配一个大于0的权值，n_i是残差，

写成矩阵—向量的形式u＝Au+N，

其中，向量N∈R^N的第i个分量为n_i，矩阵A∈R^N×N由非局部权值构成，表示为

u＝Au+N作为正则化中的先验信息来刻画图像的非局部结构自相似特征，非局部结构自相似正则化项表示为

其中，I为N×N大小的单位矩阵；

步骤三：在图像去噪的全变差模型中加入非局部结构自相似性正则项，建立复合正则化模型： $\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2\},$ α为正则化参数；

步骤四：采用分裂Bregman迭代法，求解复合正则化模型；

步骤五：输出去噪后图像。

上述技术方案的进一步特征在于，在所述步骤二中采用一种基于图像灰度和LBP纹理特征融合的混合相似度来计算权值，从而建立非局部正则项中的权值矩阵。

上述技术方案的进一步特征在于，在所述步骤四中具体包括步骤如下：

步骤1)初始化正则化参数μ、α、λ，迭代终止阈值ε，u⁰＝f，b⁰＝0，d⁰＝0；

步骤2)输入观测图像f；

步骤3)针对 $u^{n+1}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d^n-\▿u-b^n\left|\right|}_2^2\},$ 求得uⁿ⁺¹；

步骤4)针对 $d^{n+1}=\underset{d}{\arg \min }\{{\left|\right|d\left|\right|}_1+\frac{\mathrm{\λ}}{2}{\left|\right|d-\▿u^{n+1}-b^n\left|\right|}_2^2\},$ 求得dⁿ⁺¹；

步骤5)针对bⁿ⁺¹＝bⁿ+(▽uⁿ⁺¹-dⁿ⁺¹)，求得bⁿ⁺¹；

步骤6)若uⁿ⁺¹满足迭代终止条件，即其中ep为阈值，则终止迭代，否则，令n＝n+1，并转到步骤3)。

本发明的有益效果如下：

1、本发明改善了TV模型去噪的“块状效应”，充分利用了真实图像的先验信息，提高了图像去噪质量。

2、本发明在去噪的同时，更好地保持了图像的结构特征。

附图说明

图1是本发明的方法流程图。

图2采用分裂Bregaman迭代法求解复合正则化模型的流程图。

具体实施方式

下面结合说明书附图对本发明作进一步的详细说明。

如图1所示，本发明提出一种结合非局部先验的复合正则化图像去噪方法，其包括如下步骤：

1、建立图像去噪TV模型

假设图像的去噪模型为：

f＝u+n (3)

其中，f为观测到的噪声图像，u为原始真实图像，n为噪声。

图像去噪的TV模型，如下式所示：

$\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1\}---\left(4\right)$

其中，第一项为数据保真项，要求含噪图像f和原始真实图像u在L²范数意义下最相似，即差异最小；第二项为TV正则项，是对图像分片光滑的先验，用以保持边缘结构特征；μ为正则化参数。

2、建立非局部结构自相似性正则项

假设一幅大小为N×N的图像u经向量化后，可以表示成u＝[x₁,x₂,…,x_N]∈R^N，P_i和P_j分别表示以x_i和x_j为中心的图像块。基于非局部的思想，对于像素点x_i，在整幅图像中(实际的搜索窗取以x_i为中心的一个足够大的区域)找出所有满足给定条件的相似点x_j。若认为x_i和x_j是相似的，只要P_i和P_j的相似度大于某一阈值T，即图像中大量的结构自相似性可以作如下表示：

$x_i=\underset{x_j\∈\mathrm{\δ}\left(x_i\right)}{\mathrm{\Σ}}w(x_i,x_j)x_j+n_i---\left(5\right)$

其中，w(x_i,x_j)为权函数，满足δ(x_i)是x_i的非局部邻域，是与x_i相似度大于阈值T的所有像素点x_j的集合，满足δ(x_i)＝{x_j|w(x_i,x_j)＞T}。n_i是残差。

式(5)可以写成矩阵—向量的形式，如下：

u＝Au+N (6)

其中，向量N∈R^N的第i个分量为n_i，矩阵A∈R^N×N由非局部权值构成，可作如下表示：

式(6)可以作为正则化中的先验信息来刻画图像的非局部结构自相似特征，因此，非局部结构自相似正则化约束项可表示为

$\underset{u}{\arg \min }{\left|\right|(I-A)u\left|\right|}_2^2---\left(8\right)$

其中，I为N×N大小的单位矩阵。

在由非局部自相似性构造的正则项中，权值矩阵直接影响了最终的去噪质量。希望权值有更高的可靠性，尤其是对图像的不同区域都能保证选取准确的相似性邻域。本发明中，采用一种基于图像灰度和纹理特征混合的相似度来计算权值，从而建立非局部正则项中的权值矩阵。

3、建立复合正则化模型

图像中的自相似性很好地刻画了图像的结构信息，因此，在现有的图像去噪模型中加入这种自相似性先验信息，可以更好地描述纹理等细微的结构信息。

TV模型虽然可以很好地去除噪声，也可以保持图像中的强边缘结构，但却不能很好地保持图像中的纹理等细微而复杂的结构信息。

为了解决上述问题，本发明采用一种结合非局部先验的复合正则化图像去噪方法。如图1所示，本方法以TV变分去噪模型为基础，加入了非局部结构自相似性的先验信息，并将图像灰度和LBP纹理特征融合的混合相似度计算权值的方法引入非局部先验正则项，充分利用了图像的结构信息。在模型求解上，采用分裂Bregman迭代法，快速有效地达到了去噪目的，显著提高了去噪质量。

建立复合正则化模型步骤如下：

步骤1)根据式(4)建立图像去噪的TV模型。

步骤2)根据式(8)建立非局部结构自相似性正则项。

步骤3)在TV模型中加入非局部自相似性约束，建立复合正则化去噪模型：

$\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2\}---\left(9\right)$

4、求解复合正则化模型

对于本发明提出的复合正则化去噪模型，采用分裂Bregman迭代法来求解。

分裂Bregman迭代法是目前比较流行的正则化模型求解算法，其基本原理是引入辅助变量，替换原目标泛函中较难处理的部分，并添加辅助变量与替换部分之间的等式约束，从而保证新问题与原问题具有相同的解，更使得问题的求解变得简单易懂。

对模型(9)，采用分裂Bregman迭代法求解。首先用d代替▽u，建立如下等价的约束模型：

$\underset{u,d}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|d\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2\},s.t.d=\▿u---\left(10\right)$

上式是一个等式约束优化问题，把它转化为无约束优化问题如下：

$\underset{u,d}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|d\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d-\▿u\left|\right|}_2^2\}---\left(11\right)$

得到分裂Bregman算法：

$(u^{n+1},d^{n+1})=\underset{u,d}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|d\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d-\▿u-b^n\left|\right|}_2^2\}---\left(12\right)$

$b^{n+1}=b^n+(\▿u^{n+1}-d^{n+1})---\left(13\right)$

式(12)中，分裂L¹和L²范数，转化为求解两个子问题：

$u^{n+1}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d^n-\▿u-b^n\left|\right|}_2^2\}---\left(14\right)$

$d^{n+1}=\underset{d}{\arg \min }\{{\left|\right|d\left|\right|}_1+\frac{\mathrm{\λ}}{2}{\left|\right|d-\▿u^{n+1}-b^n\left|\right|}_2^2\}---\left(15\right)$

关于子问题(14)可以用如下的一阶优化条件进行求解：

$0=\mathrm{\μ}(u^{n+1}-f)+\mathrm{\α}{(I-A)}^T(I-A)u^{n+1}+\mathrm{\λ}{\▿}^T(\▿u^{n+1}-d^n+b^n)---\left(16\right)$

上式整理变形可得

(μ+α(I-A)^T(I-A)-λΔ)uⁿ⁺¹＝μf+λdiv(bⁿ-dⁿ) (17)

其中，▽^T＝-div是▽的伴随算子，且Δ＝-▽^T▽。式(17)可以通过Gauss-Seidel迭代算法来求解，从而得到子问题(14)的解。

对于子问题式(15)，利用阈值收缩算子计算优化问题：

$d^{n+1}=\mathrm{shrink}(\▿u^{n+1}+b^n,1/\mathrm{\λ})---\left(18\right)$

其中， $\mathrm{shiink}(x,\mathrm{\γ})=\frac{x}{\left|x\right|}*\max \left(\right|x|-\mathrm{\γ},0)$

综上，本发明中的模型式(9)，采用分裂Bregman迭代算法求解，具体步骤如下：

步骤1)初始化参数μ、α、λ，迭代终止阈值ε，u⁰＝f，b⁰＝0，d⁰＝0。

步骤2)输入观测图像f。

步骤3)针对子问题式(14)，求得uⁿ⁺¹。

步骤4)针对子问题式(15)，求得dⁿ⁺¹。

步骤5)针对子问题式(13)，求得bⁿ⁺¹。

步骤6)迭代终止条件。即若uⁿ⁺¹满足迭代终止条件，则终止迭代。否则，令n＝n+1，并转到步骤(3)。

步骤7)输出去噪后图像

如图1、2所示，本发明具体实施分为如下步骤：

(1)根据式(4)建立图像去噪的TV模型。uⁿ⁺¹，dⁿ⁺¹，bⁿ⁺¹

(2)根据式(8)建立非局部结构自相似性正则项。

(3)根据式(9)建立复合正则化去噪模型。

(4)求解复合正则化模型：

①初始化参数μ、α、λ，迭代终止阈值ε，u⁰＝f，b⁰＝0，d⁰＝0。

②输入观测图像f。

③针对子问题式(14)，求得uⁿ⁺¹。

④针对子问题式(15)，求得dⁿ⁺¹。

⑤针对子问题式(13)，求得bⁿ⁺¹。

⑥迭代终止条件。即若uⁿ⁺¹满足迭代终止条件，则终止迭代。否则，令n＝n+1，并转到步骤(3)。

⑦输出去噪后图像

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (3)

1.结合非局部先验的复合正则化图像去噪方法，其特征在于，以全变差变分去噪模型为基础，加入非局部结构自相似性的先验信息，建立非局部自相似性先验正则和全变差正则相结合的复合正则化图像去噪模型，并将一种混合相似度计算权值的方法引入非局部先验正则项，包括如下步骤：

步骤一：建立图像去噪的全变差模型：

假设图像的去噪模型为：f＝u+n，其中，f为观测到的含噪图像，u为原始真实图像，n为噪声，

图像去噪的全变差模型为 $\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1\},$

其中，第一项为数据保真项，要求f和u在L²范数意义下最相似即差异最小，第二项为全变差正则项，是对图像分片光滑的先验，用以保持边缘结构特征，μ为正则化参数；

步骤二：根据图像中的结构自相似性先验信息，建立非局部结构自相似性正则项：

假设一幅大小为N×N的图像u经向量化后，表示成u＝[x₁,x₂,…,x_N]∈R^N，P_i和P_j分别表示以x_i和x_j为中心的图像块，对于像素点x_i，在整幅图像中找出所有满足给定条件的相似点x_j，即当认为x_i和x_j是相似的，只要P_i和P_j的相似度大于某一阈值T，即图像中大量的结构自相似性表示为其中，w(x_i,x_j)为权函数，满足δ(x_i)是x_i的非局部邻域，是与x_i相似度大于阈值T的所有像素点x_j的集合，满足δ(x_i)＝{x_j|w(x_i,x_j)＞T}，此处，T＝0，为非局部邻域内的像素均分配一个大于0的权值，n_i是残差，

写成矩阵—向量的形式u＝Au+N，

其中，向量N∈R^N的第i个分量为n_i，矩阵A∈R^N×N由非局部权值构成，表示为

u＝Au+N作为正则化中的先验信息来刻画图像的非局部结构自相似特征，非局部结构自相似正则化项表示为

其中，I为N×N大小的单位矩阵；

步骤三：在图像去噪的全变差模型中加入非局部结构自相似性正则项，建立复合正则化模型： $\hat{u}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+{\left|\right|\▿u\left|\right|}_1+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2\},$ α为正则化参数；

步骤四：采用分裂Bregman迭代法，求解复合正则化模型；

步骤五：输出去噪后图像。

2.根据权利要求1所述的结合非局部先验的复合正则化图像去噪方法，其特征在于，在所述步骤二中采用一种基于图像灰度和LBP纹理特征融合的混合相似度来计算权值，从而建立非局部正则项中的权值矩阵。

3.根据权利要求1所述的结合非局部先验的复合正则化图像去噪方法，其特征在于，在所述步骤四中具体包括步骤如下：

步骤1)初始化正则化参数μ、α、λ，迭代终止阈值ε，u⁰＝f，b⁰＝0，d⁰＝0；

步骤2)输入观测图像f；

步骤3)针对 $u^{n+1}=\underset{u}{\arg \min }\{\frac{\mathrm{\μ}}{2}{\left|\right|u-f\left|\right|}_2^2+\frac{\mathrm{\α}}{2}{\left|\right|(I-A)u\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d^n-\▿u-b^n\left|\right|}_2^2\},$ 求得uⁿ⁺¹；

步骤4)针对 $d^{n+1}=\underset{d}{\arg \min }\{{\left|\right|d\left|\right|}_1+\frac{\mathrm{\λ}}{2}{\left|\right|d-\▿u^{n+1}-b^n\left|\right|}_2^2\},$ 求得dⁿ⁺¹；

步骤5)针对bⁿ⁺¹＝bⁿ+(▽uⁿ⁺¹-dⁿ⁺¹)，求得bⁿ⁺¹；

步骤6)若uⁿ⁺¹满足迭代终止条件，即其中ep为阈值，则终止迭代，否则，令n＝n+1，并转到步骤3)。