CN105894469A - 基于外部块自编码学习和内部块聚类的去噪方法 - Google Patents

Abstract

本发明涉及一种基于外部块自编码学习和内部块聚类的去噪方法，其具体做法是：首先利深度学习中的自动编码模型从外部干净自然图像块中学习块结构特征，并利用这些特征对带噪声图像块进行降维，然后采用由粗至细的策略实现整个图像范围内的块聚类，在每一个类别中构建低秩正则约束，在所有类别中构建全局约束，并建立总的能量函数，最后通过能量极小化完成目标图像的去噪。本发明利用外部自然图像块结构信息辅助待测图像内部块聚类去噪，解决了现有去噪方法中对被高斯白噪声腐蚀的自然图像去噪效果不佳的问题。

Description

基于外部块自编码学习和内部块聚类的去噪方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于外部块自编码学习和内部块聚类的去噪方法。

背景技术

图像去噪的目的是从噪声图中恢复出潜在的干净图像，其本质是图像退化的逆过程。作为一个重要的底层视觉问题，图像去噪技术有着悠久的历史。早期的图像去噪方法通常采用线性或者非线性局部光滑滤波，例如：高斯滤波、异性扩散。然而这些保持边缘结构的算法大都忽略了图像的全局信息，很难达到图像去噪的最高水平。近年来，一种基于图像内部自相似性的非局部平均(NLM)方法受到了广泛的关注。在此基础上，产生了很多成功的基于图像块的去噪算法，例如BM3D,KSVD,EPLL,LSSC。最近，低秩(LowRank)逼近方法因其出色的去噪效果，成为当前一种新兴而又非常有效的图像去噪方法，例如SAIST,WNNM。然而这些基于图像块的去噪方法在寻找相似块的时候大都基于块匹配。由于全搜索计算量很大，因而块匹配通常被限制在图像中的一个小范围窗口内。另外，自然图像中有些重要的纹理边缘和角点在局部范围内并不存在重复结构，所以过份强迫局部自相似性会导致产生虚假边缘，影响图像视觉质量。

发明内容

本发明的目的在于提供一种基于外部块自编码学习和内部块聚类的去噪方法，以克服现有技术中的不足。

为实现上述目的，本发明的技术方案是：一种基于外部块自编码学习和内部块聚类的去噪方法，按照如下步骤实现：

步骤S1：通过深度学习中的自编码模型学习无噪声自然图像块的特征；

步骤S2：通过经所述步骤S1中获取的特征信息以及K-均值算法对待测图像块进行聚类，并采用低秩逼近算法对每一类别进行相似图像块之间的协同滤波；

步骤S3：结合待测图像的全局约束、块聚类以及低秩正则约束，获取待测图像去噪的总目标函数；

步骤S4：通过交替迭代方法求解总目标函数，完成对待测图像的最优去噪。

在本发明一实施例中，在所述S1中，还包括如下步骤：

步骤S11：根据待测图像中噪声方差的大小，确定自然图像块的大小，并建立一个包含数目很多自然图像块的训练样本；

步骤S12：确定隐含层的结点个数，输入数据以及输出数据均为训练样本块，构建自编码模型，并经学习后得到编解码的权值以及偏值；

步骤S13：设置训练样本块的类别个数，并对训练样本块降维后的低维特征进行聚类，得到类别中心。

在本发明一实施例中，在所述S2中，还包括如下步骤：

步骤S21：根据所述待测图像块的大小，将待测图像划分为若干重叠块；

步骤S22：利用经所述自编码模型学习得到的编码的权值以及偏值对待测图像块进行降维；

步骤S23：通过所述类别中心对待测图像块的低维特征聚类；若经聚类后的类别的块数量超过预设块数量阈值，则根据每个块在待测图像中的横、纵坐标位置，采用K均值进行细分类。

在本发明一实施例中，在所述S3中，所述总目标函数满足：求估计目标图像以及带噪声图像的L2范数最小，最相似的块聚为一类，每一类要求F范数最小且低秩，且具体形式如下：

$(\hat{x},\hat{C},\{{\hat{Z}}_k\left\}\right)=\underset{x,C,Z_k}{\arg \min }\frac{\mathrm{\λ}}{{\mathrm{\σ}}^2}\left|\right|y-x|{|}_2^2+\underset{i=1}{\overset{m}{\Σ}}|\left|f\right(W\left(R_{i}x\right)+b)-{\mathrm{\μ}}_{c_i}|{|}_2^2+\underset{k=1}{\overset{K}{\Σ}}\left(\frac{1}{{\mathrm{\σ}}^2}\right||{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\τ}\left|\right|Z_k\left|{|}_{*}\right)$

其中，y为带噪声图像，σ为噪声方差，x为所求的去噪后的图像，R_i为对图像划分为块的矩阵，W和b分别为编码的权值和偏值，C为类别，μ为类别中心，为相同类别块的合并矩阵，Z为相似块低秩近似后的矩阵，λ是一个正则参数，i为序列号，τ为奇异值收缩阈值。

相较于现有技术，本发明具有以下有益效果：

1)相似块的选择是基于全局范围的块聚类，而不是基于局部范围的块匹配，这种方法在恢复图像边缘，角点等区域可以避免产生虚假边缘。

2)引入自动编码模型可以有效捕捉先验图像块的结构特征，在寻找相似结构的图像块中对噪声更加鲁棒。

3)建立一个总的优化模型。结合图像的全局约束，块聚类和和低秩正则约束，提出了图像去噪的总的目标函数。

附图说明

图1为本发明中基于外部块自编码学习和内部块聚类的去噪方法的流程图。

图2为本发明实施例中待测图像去噪的效果图。

图3为本发明实施例中采用的去噪方法与BM3D去噪方法、EPLL去噪方法、LSSC去噪方法、SAIST去噪方法以及WNNM去噪方法的效果比较图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明通过深度学习中自动编码模型学习外部自然图像块的特征，并采用由粗至细的策略实现全局块聚类，对每一细类采用低秩逼近算法实现相似图像块之间的协同滤波。该方法结合了外部自然图像的先验信息和图像内部自相似性，可以实现全局和局部间信息的互补，从而克服块匹配算法中强迫局部自相似性所导致的虚假边缘现象，使得恢复后的图像更加自然，逼真。

为了让本领域技术人员进一步了解本发明所提出的技术方案，下面对技术特征进行具体说明。

首先引入深度学习中的自动编码(Autoencoder)模型学习外部干净自然图像块的结构特征。假设有S个无噪声的自然图像块作为训练样本，x_i表示第i个样本块，表示该样本的重建块，学习模型可以表示为：

$\underset{W,W^{\′}b,b^{\′}}{\min }\underset{i=1}{\overset{S}{\Σ}}\left|\right|x_i-{\hat{x}}_i|{|}_2^2+\mathrm{\λ}\left(\right|\left|W\right|{|}_F^2+\left|\right|W^{\′}\left|{|}_F^2\right)$

其中，h_i＝f(Wx_i＋b),这里λ＞0是一个正则参数，f(·)为Sigmoid函数。||·||_F表示F范数。W与W′分别为编码和解码的权值。h_i为隐含单元向量。h_i的维数比x_i低，可以有效捕捉自然图像块的结构特征。为了实现块的聚类，假设自然图像块可以分为K类，那么对每个图像块建立类别标签C＝(c₁,…,c_S)，其中c_i∈{1,…,K}表示图像块x_i属于第c_i类。由于h_i可以看作x_i的降维表示，因而采用K-means，也即K均值，对降维后的h_i聚类，得到聚类的中心点μ₁,μ₂,…,μ_K。

进一步的，定义图像x中所有相同大小的重叠块构成一个块集合，其中，R_ix表示图像x中第i个图像块且m为块的总数。由于学习了外部的干净块降维和聚类信息，可以对所有图像块Rx分类，对于每个图像块可以计算出类别，从而所有重叠图像块Rx被分为K类。

进一步的，定义矩阵表示向量化第k类的图像块所构成的矩阵。通常由于这些块具有相似的结构，因而所构成的矩阵是具有低秩性质。最小化秩的模型可以表示成：

$E\left(Z_k\right)=\frac{1}{{\mathrm{\σ}}^2}\left|\right|{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\τ}|\left|Z_k\right|{|}_{*}$

给定一个待去噪图像y，在本实施例中，希望恢复图像x。基于块聚类和低秩正则约束的图像去噪方法表示为如下的模型：

$(\hat{x},\hat{C},\{{\hat{Z}}_k\left\}\right)=\underset{x,C,Z_k}{\arg \min }\frac{\mathrm{\λ}}{{\mathrm{\σ}}^2}\left|\right|y-x|{|}_2^2+\underset{i=1}{\overset{m}{\Σ}}|\left|f\right(W\left(R_{i}x\right)+b)-{\mathrm{\μ}}_{c_i}|{|}_2^2+\underset{k=1}{\overset{K}{\Σ}}\left(\frac{1}{{\mathrm{\σ}}^2}\right||{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\τ}\left|\right|Z_k\left|{|}_{*}\right)$

其中，λ是一个正的常数。方程右边第一项是全局约束项，第二项是降维聚类项，第三项是关于相似块的低秩正则约束项。以上模型包含三类未知参数，可以采用交替迭代的方法求解。

进一步的，在本实施例中，如图1所示，上述内容具体按照如下步骤实现：

1.建立一个包含大量训练样本的自然图像块数据集，运用自动编码模型对训练图像块x_i进行降维，得到参数W和b；

2.设置图像块的类别个数K，对降维后的向量h_i进行聚类，得到类别中心μ₁,μ₂,…,μ_K；进一步的，在本实施例中，K＝350；

3.输入待去噪图像y，噪声标准方差σ；

4.初始化x＝y；

5.将图像x转换为图像块Rx；

6.图像块聚类

1).粗分类：

对于所有的块，i∈{1,…,m}，按照如下方式计算每个块所属类别：

$c_i=\arg \underset{k}{\min }\left|\right|f\left(W\right(R_{i}x)+b)-{\mathrm{\μ}}_k|{|}^2;$

2).细分类：

对于每个类k∈{1,…,K}，计算所在类别的块数，记为N_k，确定细分类别数L_k＝[N_k/δ]，根据每个块在图像中的位置，也即横、纵坐标，通过K-means，也即K均值，实现细分类，得到类别个数K2；

7.对于每个细类别，解决低秩矩阵近似问题：

$Z_k=\arg \underset{Z_k}{\min }\frac{1}{{\mathrm{\σ}}^2}\left|\right|{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\τ}|\left|Z_k\right|{|}_{*},k=1,\mathrm{...},K;$

采用赋权单值阈值算法。假设σ_j(Z_k)是Z_k的第j个单值，且U∑V^T是的SVD分解。则最优的解可以表示为：

${\hat{Z}}_k=U{(\mathrm{\Σ}-\mathrm{\τ}diag(\mathrm{\α}\left)\right)}_{+}{V}^T;$

其中，α_j＝1/(σ_j(Z_k)＋ε)且(x)_＋＝max{x,0}；

8.块聚集，合并成图像。

假设已知所有的{Z_k}，可以合并成图像x.

$\hat{x}=\arg \underset{x}{\min }\underset{k=1}{\overset{K}{\Σ}}\left|\right|{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\λ}||y-x|{|}_2^2;$

这是一个二次优化问题，存在最优解：

$x={(\mathrm{\λ}I+\underset{k}{\Σ}{\stackrel{\‾}{R}}_k^T{\stackrel{\‾}{R}}_k)}^{-1}(\mathrm{\λ}y+\underset{k}{\Σ}{\stackrel{\‾}{R}}_k^T{Z}_k);$

9.更新方差σ，其中，γ为常数；

10.重复步骤5)-9)，直至满足迭代次数要求。

11.所得到的x即为输出的去噪后图像。

为了进一步，结合具体实施例对本发明所提出的技术方案的有益效果进行说明，并与现有的去噪方法的效果进行比较。

在本实施例中，以Peppers为例，按照图1的步骤进行计算，外部块先验辅助内部块聚类的图像去噪方法，包括如下步骤：

1)从Berkeley分割数据集200张训练图像中抽选1×10⁷个图像块，每个块的大小为8×8，根据自动编码模型降维至20；

2)设置K的大小为300，对降维后的向量聚类，得到类别中心μ₁,μ₂,…,μ_K；

3)输入待去噪Peppers图像y，噪声均值为0方差σ＝50的高斯随机噪声；

4)初始化x＝y，设置迭代次数为8；

5)将图像x转换为图像块Rx；

6)对于所有的块，计算每个块所属类别；

7)对于每个类别的图像块，采用低秩矩阵近似的方法实现协同去噪；

8)块聚集，合并成图像；

9)更新方差σ；

10)重复步骤8次5)-9)；

11)x为去噪后的图像。

图2是上述图像去噪实例的效果图，实验图像的分辨率为256×256，图2(a)为原始图像，图2(c)至图2(h)分别对应为该算法1次迭代至8次迭代得到的结果，且PSNR分别为：20.01dB、23.73dB、26.19dB、26.74dB、26.93dB以及26.97dB。从图2可以看到，本实施例中算法得到的去噪图像与真实图像的吻合程度较高，结合了外部干净块的先验信息可以很好地辅助内部块聚集，从而提高了低秩去噪的精度确。

图3是本实施例中所提出的算法与主流算法BM3D,EPLL,LSSC,SAIST,WNNM的去噪效果比较图。图3(a)与图3(b)分别为干净的图像和该图像加了均值为0方差为50后的噪声图像。图3(c)至图3(h)分别为：BM3D(PSNR:26.68dB)、LSSC(PSNR:26.79dB)、EPLL(PSNR:26.63dB)、SAIST(PSNR:26.73dB)、WNNM(PSNR:26.91dB)、本发明提出的算法(PSNR:26.97dB)。从图3(c)至图3(h)可以看出，与其他五种方法相比，本发明的方法明显提高了去噪的视觉效果，同时PSNR也是这些算法中最高的。如前所述，本发明的方法考虑了外部块的多层结构特征，以及在整个图像中搜索相似块，所以在低秩去噪中能够更好的保证去噪效果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于外部块自编码学习和内部块聚类的去噪方法，其特征在于，按照如下步骤实现：

步骤S1：通过深度学习中的自编码模型学习无噪声自然图像块的特征；

步骤S2：通过经所述步骤S1中获取的特征信息以及K-均值算法对待测图像块进行聚类，并采用低秩逼近算法对每一类别进行相似图像块之间的协同滤波；

步骤S3：结合待测图像的全局约束、块聚类以及低秩正则约束，获取待测图像去噪的总目标函数；

步骤S4：通过交替迭代方法求解总目标函数，完成对待测图像的最优去噪。

2.根据权利要求1所述的基于外部块自编码学习和内部块聚类的去噪方法，其特征在于，在所述S1中，还包括如下步骤：

步骤S11：根据待测图像中噪声方差的大小，确定自然图像块的大小，并建立一个包含若干个自然图像块的训练样本；

步骤S12：确定隐含层的结点个数，输入数据以及输出数据均为训练样本块，构建自编码模型，并经学习后得到编解码的权值以及偏值；

步骤S13：设置训练样本块的类别个数，并对训练样本块降维后的低维特征进行聚类，得到类别中心。

3.根据权利要求2所述的基于外部块自编码学习和内部块聚类的去噪方法，其特征在于，在所述S2中，还包括如下步骤：

步骤S21：根据所述待测图像块的大小，将待测图像划分为若干重叠块；

步骤S22：利用经所述自编码模型学习得到的编码的权值以及偏值对待测图像块进行降维；

步骤S23：通过所述类别中心对待测图像块的低维特征聚类；若经聚类后的类别的块数量超过预设块数量阈值，则根据每个块在待测图像中的横、纵坐标位置，采用K均值进行细分类。

4.根据权利要求1所述的基于外部块自编码学习和内部块聚类的去噪方法，其特征在于，在所述S3中，所述总目标函数满足：求估计目标图像以及带噪声图像的L2范数最小，最相似的块聚为一类，每一类要求F范数最小且低秩，且具体形式如下：

$\left(\hat{x},\hat{C},\left\{{\hat{Z}}_k\right\}\right)=\underset{x,C,Z_k}{\arg \min }\frac{\mathrm{\λ}}{{\mathrm{\σ}}^2}\left|\right|y-x|{|}_2^2+\underset{i=1}{\overset{m}{\Σ}}||f\left(W\right(R_{1}x)+b)-{\mathrm{\μ}}_{c_i}|{|}_2^2+\underset{k=1}{\overset{K}{\Σ}}\left(\frac{1}{{\mathrm{\σ}}^2}\right||{\stackrel{\‾}{R}}_{k}x-Z_k|{|}_F^2+\mathrm{\τ}\left|\right|Z_k\left|{|}_{*}\right)$

其中，y为带噪声图像，σ为噪声方差，x为所求的去噪后的图像，R_i为对图像划分为块的矩阵，W和b分别为编码的权值和偏值，C为类别，μ为类别中心，为相同类别块的合并矩阵，Z为相似块低秩近似后的矩阵，λ是一个正则参数，i为序列号，τ为奇异值收缩阈值。