CN110675327B - 基于核范数与图模型的图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于核范数与图模型的图像去噪方法。本发明在探索图像的自相似特性时引入了图模型，图的构造方法借鉴了图论知识，提出了基于学习的图模型构造方法，通过使用动态规划方法构造出适合于每个图像块的图模型，图的表达采用了图拉普拉斯矩阵；在探索图像的低秩特性时引入了核范数，核范数是低秩的最优凸近似，主要采用奇异值分解的方法进行求解。同时，本发明还引入了增强拉格朗日乘子法将联合方程分解成子问题进行求解，起到了凸优化的作用。在本发明的最后，为更进一步优化去噪结果，引入了总体的正则化迭代方法，此方法能将误差进行回传操作优化。

Description

基于核范数与图模型的图像去噪方法

技术领域

本发明属于图像处理领域中的图像去噪，主要为了提高图像的质量，具体涉及一种基于核范数与图模型的图像去噪方法。

背景技术

图像去噪(Image Denoising)意味着将一幅有噪声的图片恢复成无噪声图片，以提高图像的质量、清晰度等。图像噪声指的是图像中包含一些不必要或多余的干扰信息，通常是由于系统受到电磁波的干扰、相机抖动引起电流变化、器械本身硬件等原因造成的。在当今时代，随着视频领域的快速发展，人们对视频的体验感日渐提高，如何获得一系列清晰无噪声的图片是科研人员一直思考的问题。

常见的噪声主要有高斯白噪声、泊松噪声、乘性噪声和椒盐噪；传统的去噪方法有均值滤波器、中值滤波器、维纳滤波器和小波去噪等方法。但是传统的去噪方法如小波变换并没有将图像的内部特性考虑在内，经常会出现一些欠拟合或者过拟合的现象。为了解决这个问题，国内外研究人员提出了大量进行去噪的方法：总变分方法(Total Variation)将图像的梯度特性作为图像先验，并且得到了不错的结果；字典学习方法(DictionaryLearning)将图像的稀疏特性作为图像先验，取得了图像去噪领域中的重大突破；探索自相似特性的非局部方法(NLM)能高精度的恢复出相邻像素，自相似特性成为了恢复图像像素的重要度量因素；使用空间滤波方法(BM3D)依赖于其短耗时高去噪效果的优点成为了企业界进行去噪的主流方法；探索低秩特性的秩最小化方法(WNNM)是当今最好的去噪方法之一，低秩特性亦成为了恢复图像像素的重要考量因素。

探索图像内部特性的自相似性和低秩特性是图像处理领域中势不可挡的趋势，而体现图像自相似性的图模型在多个领域中也得到了广泛应用，如高光谱图像处理、图论等，体现图像低秩特性的核范数或SVD方法在去噪领域中得到了广泛应用。但是将两种特性结合起来是从来未有过的创新，即将两种特性联合起来可以进一步地通过探索图像内部的拓扑特性和低秩特性来提高图像的去噪效果。

发明内容

本发明提出了一种基于核范数与图模型的图像去噪方法，将图模型和核范数作为正则项，旨在联合探索图像内部的自相似性特性和低秩进行图像去噪。

本发明在探索图像的自相似特性时引入了图模型，图的构造方法借鉴了图论知识，提出了基于学习的图模型构造方法，通过使用动态规划方法构造出适合于每个图像块的图模型，图的表达采用了图拉普拉斯矩阵；在探索图像的低秩特性时引入了核范数，核范数是低秩的最优凸近似，主要采用奇异值分解的方法进行求解。同时，本发明还引入了增强拉格朗日乘子法将联合方程分解成子问题进行求解，起到了凸优化的作用。在本发明的最后，为更进一步优化去噪结果，引入了总体的正则化迭代方法，此方法能将误差进行回传操作优化。

本发明的大致步骤如下：

步骤1：对原始图片P^src通过设置高斯加性噪声变量来获取噪声图片P^noisy；

步骤2：将噪声图片P^noisy分成若干个重叠小块，对于每一个重叠小块使用KNN算法搜索相似块构成相似块组G；

步骤3：针对噪声图片中每一个块对应的相似块组G，使用动态规划方法构建基于学习的Graph模型；

步骤4：构造联合核范数和图模型正则项的求解方程；

步骤5：使用增强拉格朗日乘子法(ADMM)求解联合方程，将方程分解成子问题进行求解；

步骤6：针对处理后的每一个相似块组组合更新成处理后的图片P^out；

步骤7：将执行一次循环后的图片使用正则化迭代技术，将处理后的图片P^out与原始图片P^src的差值进行回传直到收敛。

本发明的有益效果和创新性主要有：

1)图模型的构造采用了基于学习的方法，充分探索了图像内部的自相似性与拓扑特性；

2)采用了增强拉格朗日乘子法对联合方程进行了求解，将非凸的问题转换成了两个凸的子问题来进行求解；

3)引入了回传正则化技术，进一步将误差进行回传优化。

具体实施方式

本发明主要针对图像处理领域中的图像去噪进行算法创新，对于基于学习的图模型的构造、联合方程的凸优化、回传正则化等进行了详细的分析，深入探索了图像内部像素的自相似性与图像行列像素的低秩特性，详细的算法处理步骤如下：

步骤1：以Butterfly测试图片为例，对原始图片P^src通过设置高斯加性噪声变量来获取噪声图片P^noisy，具体为：

P^noisy＝P^src+σ*rand(0,1)

其中，针对原始图片P^src，设置噪声变量σ为10-30，可得到相应的正态分布的高斯噪声图片。

步骤2：将噪声图片P^noisy分成若干个重叠小块，对于每一个重叠小块使用K-近邻算法搜索相似块构成相似块组，具体为：

将噪声图片P^noisy依据图片大小分为若干个大小为4×4的重叠小块，需要注意的是重叠小块与重叠小块之间需要有重叠，重叠的间隔设置为2，在每个重叠小块周边8×8的局部区域中使用K-近邻算法搜索K个相似块(K设置为15)，并将每一个相似块拉伸成列向量，即可得到16个1×16的列向量，组合成矩阵，则得到了针对每一个重叠小块对应的包含重叠小块的16×16的相似块组。

步骤3：针对噪声图片P^noisy中每一个重叠小块对应的相似块组X，使用动态规划方法构建基于学习的Graph模型：

s.t.L_ij＝L_ji≤0

L·1＝0

Tr(L)＝N,

其中，||X||_G为相似块组X对应的图模型，跟矩阵的迹(Tr)有关，α和β是约束方程的控制参数(自适应调整)，N是图模型的节点(为矩阵的行或列的数目)。方程中需要优化求得最好的图模型，并将图拉普拉斯矩阵L作为正则项进行优化求解，||L||_F表示对矩阵L取F范数。L_ij表示矩阵L的第i行，第j列。同时方程中包含三个约束项，第一个约束项表示图拉普拉斯矩阵是有效的，第二个约束项确保得到的L是有效的，第三个约束项是根据拉普拉斯的数学意义得到的。

值得注意的是，行图模型和列图模型的定义分别如下：

公式中L_r表示行拉普拉斯矩阵，L_c代表列拉普拉斯矩阵，

表示行图模型，

表示列图模型。

步骤4：构造联合核范数和图模型正则项的联合方程，具体如下：

基于学习的行图模型和列图模型得到后，便需要联合核范数进行求解，以便将低秩特性和自相似性结合起来，具体方程如下：

其中，||X||_*为核范数，是最小秩的最优凸近似，θ_n，θ_r，θ_c是核范数、行图模型、列图模型的正则项系数，，分别控制着低秩特性、行稀疏特性与列稀疏特性在去噪时的权重系数，二次项

代表去噪结果与原始结果之间的偏差。

上述方程有效的将核范数、行图模型、列图模型结合了起来，但联合方程是非凸的一个方程，在进行求解时无法直接求解，并且难度极大。

步骤5：使用交替方向乘子法(ADMM)求解联合方程，将方程分解成子问题进行凸优化求解，具体如下：

对于联合方程，令

F(x)＝θ_n||X||_*，

从而得到拉格朗日方程

其中p是拉格朗日参数，针对于构造的拉格朗日方程，可直接采用凸优化理论中的交替方向乘子法进行求解，从而得到X、Y、Z子问题的求解如下：

Y^k+1＝Y^k+X^k+1-Z^k+1.

可以看出，通过ADMM算法求解的子问题中X和Z子问题的求解是对称的而且是对偶更新的，即当迭代到达一定的次数之后，X和Z会处于一个相等的状态。

同时，在本发明中，对于X子问题采用了奇异值分解(SVD)的方法进行求解，与其他发明不同的是，我们用到了一个快速阈值算法进行求解，区别于传统的软阈值算法，具体的X子问题的奇异值求解与快速阈值算法的公式Γ_λ,v(x)如下：

X^k+1＝U·Γ_λ,v(∑(Z^k-Y^k))·V^T,U,Γ,V是Z^k-Y^k的奇异值分解

对于Z子问题的求解可以直接进行变换求解，得到的求解方程如下：

表示的是克罗内克积(Kronecker Product)。同时为了防止过拟合，ADMM算法中设置了相应的迭代停止标准，其迭代停止标准满足了对偶和原始条件：

||s^k+1||＝p(Z^k+1-Z^k)≤ε^dual

||r^k+1||＝X^k+1+Z^k+1≤ε^dual

其中，s^k+1、r^k+1代表的是原始残差与对偶残差，ε^dual,ε^pri是对偶和原始条件的阈值。

步骤6：将求解后的每一个相似块组，组合更新成处理后的图片P^out，具体更新如下：

a)统计用于去噪的相似块组中各小块利用的像素位置得到相应的次数；

b)将去噪后的所有相似块组的对应索引位置相加像素值；

c)将所有相加得到的各位置像素值除以相应的次数。

x_ij表示第i行第j列去噪图像的像素值，n_ij表示去噪相似块组使用的第i行第j列像素的使用次数，

表示所有的去噪相似块组相加的像素和。

步骤7：将步骤2-步骤6作为一次循环，对获取后的图片使用正则化迭代技术，将循环处理后的获取的图片P^out与原始图片P^src的差值进行回传直到收敛，具体如下：

正则化迭代指的是进一步将去噪后的图片与原始图片的误差进行回传，起到进一步提高去噪效果的作用，同时还可以防止过拟合，迭代的公式如下：

yⁱ⁺¹＝y+δ(y-yⁱ)

yⁱ对应的为第i次外部迭代对应的去噪图片，y则为原始无噪声图片。

Claims (7)

1.基于核范数与图模型的图像去噪方法，其特征在于包括如下步骤：

步骤1：对原始图片P^src通过设置高斯加性噪声变量来获取噪声图片P^noisy；

步骤2：将噪声图片P^noisy分成若干个重叠小块，对于每一个重叠小块使用KNN算法搜索相似块构成相似块组G；

步骤3：针对噪声图片中每一个块对应的相似块组G，使用动态规划方法构建基于学习的图模型；

步骤4：构造联合核范数和图模型正则项的求解方程；

步骤5：使用增强拉格朗日乘子法ADMM求解联合方程，将方程分解成子问题进行求解；

步骤6：针对处理后的每一个相似块组组合更新成处理后的图片P^out；

步骤7：将执行一次循环后的图片使用正则化迭代技术，将处理后的图片P^out与原始图片P^src的差值进行回传直到收敛；

步骤3具体实现如下：使用动态规划方法构建基于学习的图模型：

s.t.L_ij＝L_ji≤0

L·1＝0

Tr(L)＝N,

其中，||X||_G为相似块组X对应的图模型，跟矩阵的迹Tr有关，α和β是约束方程的控制参数，N是图模型的节点，为矩阵的行或列的数目；方程中需要优化求得最好的图模型，并将L_ij图拉普拉斯矩阵L作为正则项进行优化求解，||L||_F表示对矩阵L取F范数；表示矩阵L的第i行，第j列；同时方程中包含三个约束项，第一个约束项表示图拉普拉斯矩阵是有效的，第二个约束项确保得到的L是有效的，第三个约束项是根据拉普拉斯的数学意义得到的；

行图模型和列图模型的定义分别如下：

公式中L_r表示行拉普拉斯矩阵，L_c代表列拉普拉斯矩阵，

表示行图模型，

表示列图模型。

2.根据权利要求1所述的基于核范数与图模型的图像去噪方法，其特征在于步骤1具体实现如下：

对原始图片P^src通过设置高斯加性噪声变量来获取噪声图片P^noisy，具体为：

P^noisy＝P^src+σ*rand(0,1)

其中，针对原始图片P^src，设置噪声变量σ为10-30，可得到相应的正态分布的高斯噪声图片。

3.根据权利要求2所述的基于核范数与图模型的图像去噪方法，其特征在于步骤2具体实现如下：

将噪声图片P^noisy依据图片大小分为若干个大小为4×4的重叠小块，需要注意的是重叠小块与重叠小块之间需要有重叠，重叠的间隔设置为2，在每个重叠小块周边8×8的局部区域中使用K-近邻算法搜索K个相似块，K设置为15，并将每一个相似块拉伸成列向量，即可得到16个1×16的列向量，组合成矩阵，则得到了针对每一个重叠小块对应的包含重叠小块的16×16的相似块组。

4.根据权利要求3所述的基于核范数与图模型的图像去噪方法，其特征在于步骤4具体实现如下：

基于学习的行图模型和列图模型得到后，联合核范数进行求解，以便将低秩特性和自相似性结合起来，具体方程如下：

其中，||X||_*为核范数，是最小秩的最优凸近似，θ_n，θ_r，θ_c是核范数、行图模型、列图模型的正则项系数，分别控制着低秩特性、行稀疏特性与列稀疏特性在去噪时的权重系数，二次项

代表去噪结果与原始结果之间的偏差。

5.根据权利要求4所述的基于核范数与图模型的图像去噪方法，其特征在于步骤5具体实现如下：

对于联合方程，令

F(x)＝θ_n||X||_*，

从而得到拉格朗日方程

其中p是拉格朗日参数，针对于构造的拉格朗日方程，可直接采用凸优化理论中的交替方向乘子法进行求解，从而得到X、Y、Z子问题的求解如下：

Y^k+1＝Y^k+X^k+1-Z^k+1，

通过ADMM算法求解的子问题中X和Z子问题的求解是对称的而且是对偶更新的，即当迭代到达一定的次数之后，X和Z会处于一个相等的状态；

同时，对于X子问题采用了奇异值分解SVD的方法进行求解，用到了一个快速阈值算法进行求解，区别于传统的软阈值算法，具体的X子问题的奇异值求解与快速阈值算法的公式Γ_λ,v(x)如下：

X^k+1＝U·Γ_λ,v(∑(Z^k-Y^k))·V^T,U,Γ,V是Z^k-Y^k的奇异值分解

对于Z子问题的求解可以直接进行变换求解，得到的求解方程如下：

表示的是克罗内克积Kronecker Product；同时为了防止过拟合，ADMM算法中设置了相应的迭代停止标准，其迭代停止标准满足了对偶和原始条件：

||s^k+1||＝p(Z^k+1-Z^k)≤ε^dual

||r^k+1||＝X^k+1+Z^k+1≤ε^dual

其中，s^k+1、r^k+1分别代表的是原始残差与对偶残差，ε^dual,ε^pri分别是对偶和原始条件的阈值。

6.根据权利要求5所述的基于核范数与图模型的图像去噪方法，其特征在于步骤6具体实现如下：

a)统计用于去噪的相似块组中各小块利用的像素位置得到相应的次数；

b)将去噪后的所有相似块组的对应索引位置相加像素值；

c)将所有相加得到的各位置像素值除以相应的次数；

x_ij表示第i行第j列去噪图像的像素值，n_ij表示去噪相似块组使用的第i行第j列像素的使用次数，

表示所有的去噪相似块组相加的像素和。

7.根据权利要求6所述的基于核范数与图模型的图像去噪方法，其特征在于步骤7具体实现如下：

将步骤2-步骤6作为一次循环，对获取后的图片使用正则化迭代技术，将循环处理后的获取的图片P^out与原始图片P^src的差值进行回传直到收敛，具体如下：

正则化迭代的公式如下：

yⁱ⁺¹＝y+δ(y-yⁱ)

yⁱ对应的为第i次外部迭代对应的去噪图片，y则为原始无噪声图片。