CN103839225A - 基于模糊密度权的支持向量场景图像去噪算法 - Google Patents

Abstract

本发明公开一种基于服务机器人的场景图像去噪方法——FDW-SVR(Fuzzy DensityWeight-Based Support Vector Regression)，属于图像处理领域。标准的LS-SVR算法采用误差的二次项和来控制经验风险，导致模型对高分布密度样本拟合的精度较高，而对受噪声污染的稀疏样本，则拟合误差较大。考虑图像邻域信息和样本密度的不确定性对模型的影响，利用模糊推理设计了基于样本分布密度的加权因子，构建模糊支持向量机回归模型并将其应用于场景图像去噪。在本方法设计过程中还涉及了一种新的基于中心像素密度和邻域密度的模糊隶属度设计方法。实验结果表明，该去噪方法无论是主观还是客观评价都比那些时下最新去噪技术表现得更好。

Description

基于模糊密度权的支持向量场景图像去噪算法

技术领域

本发明属于图像处理领域，具体涉及到一种利用加权思想，运用模糊推理设计基于中心像素密度和邻域密度的加权因子，构建支持向量机回归模型得以实现场景图像去噪的算法。

背景技术

在机器视觉中，由于种种条件的限制和随机干扰，成像系统所获取的图像通常包含大量的噪声，如椒盐噪声、高斯噪声等，去除图像中的噪声，保留有用的信息，对于图像的正确理解十分重要。

过去三十年来，出现了一系列去噪方法，如传统的中值滤波和高斯滤波等方法。与高斯滤波方法相关的是高斯-拉普拉斯变换方法，该方法为了得到较好的图像边缘，先对图像做高斯平滑滤波，剔除噪声，然后求二阶导数，用二阶的过零点确定边缘，然而这种滤波方法会使图像模糊，且在锐化边界方面丢失很多细节信息。近年来，基于小波变换的的去噪方法得到了广泛的应用，然而它很难去除小波重构的振铃效应，换句话而言，就是它会引进附加的边缘或结构到去噪图像中去。

支持向量机(Support Vector Machine)是由Vapnik等人根据小样本情况下的统计规律及学习方法提出的一种机器学习算法，有着完备的理论框架基础。SVM求解的是凸二次规划问题，它根据最小化经验风险泛函标准选择支持向量子集，同时考虑给定样本的逼近精度和逼近函数的复杂性，从而实现模型的结构风险优化控制目标。SVM很好地解决了小样本、非线性、高维数等问题，较传统机器学习算法具有更好的泛化推广能力和学习性能，已经广泛应用于模式识别、图像处理、场景图像分类等领域。Suykens在SVM基础上提出了最小二乘支持向量机(Least Squares Support Vector Machine)。LS-SVM把误差的二次项作为经验风险控制损失函数，将不等式约束条件下的二次规划问题转化成解高维特征空间等式约束条件下的线性方程组求解，极大减少了SVM中由于求解二次规划问题带来的计算复杂性。利用最小二乘支持向量机(Least Squares Support Vector Regression)回归模型，建立含噪图像与原始图像之间的非线性映射关系，利用训练好的回归模型对噪声类型相同的含噪图像进行回归估计，可以达到去噪的目的。然而，现有的基于支持向量机去噪算法没考虑样本分布密度对回归模型的影响，在噪声分布密度较大或偏离训练回归模型所施加噪声分布密度较远的情况下，其去噪效果不太理想。

本发明分析了标准LS-SVR回归模型的经验风险控制损失函数隐含有密度加权因子，所以对受噪声污染的稀疏分布样本的拟合精度相对较低。为有效处理样本分布密度的不确定性对模型的影响，提高回归模型的整体拟合精度，对基于样本分布密度的加权因子利用模糊理论进行设计，构建基于模糊加权的FDW-SVR模型。该方法结合了模糊理论和支持向量回归的优势，用于场景图像去噪。仿真实验表明，利用这种策略，能够保持图像的细节，得到较高的峰值信噪比和信噪比，对相同噪声类型含噪图像进行处理。

发明内容

本发明的目的在于提出一种新的去噪算法来解决样本分布密度的不确定性对LS-SVR模型的影响，本发明能有效提高回归模型的整体拟合精度，在去噪过程中有较好的表现。具体步骤如下：

1)使用核密度估计获取中心像素密度f(x_i)和领域密度g(x_i)。

2)利用模糊推理设计模糊密度权λ_i。模糊推理机输入为中心像素密度f(x_i)和邻域密度g(x_i)，输出为模糊密度权λ_i。

①把f(x_i)和g(x_i)作为模糊推理机的输入，且模糊化。

②设计模糊推理机和模糊规则。

③使用重心法解模糊化得到模糊密度权λ_i。

3)训练FDW-SVR模型，训练集为

获得训练好的FDW-SVR模型

4)使用训练好的FDW-SVR模型

用于场景去噪。

所述步骤1)给定的数据集是

每一个数据点代表噪声图像的像素特征，N代表样本数目，φ是核函数，h是固定的核宽参数，像素x_i∈R^q的密度f(x_i)采用下式计算，

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

其中，q是像素x_i的维数，核函数可以采用高斯核函数：

$\mathrm{\φ}\left(x\right)={\left(2\mathrm{\π}\right)}^{-q/2}\exp (-\frac{1}{2}{x}^{T}x)$

因此，像素密度f(x_i)可以表示如下：

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

$=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{q/2}{h}^q\det {\left(S\right)}^{1/2}}\exp \left(\frac{-u}{{2h}^2}\right)$

其中，u＝(x_i-x_j)^TS^-1(x_i-x_j)，S是协方差表示如下：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T,$ $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i$

邻域像素密度g(x_i)表示如下：

其中，

像素j的邻域像素集，r×r是邻域大小。

所述步骤2)的模糊密度权λ_i设计包括模糊化、模糊推理机和模糊规则、反模糊化；首先将中心像素密度f(x_i)，邻域密度g(x_i)，和权重λ_i归一化到[0，1]；模糊推理设计的输入为f(x_i)和g(x_i)，输出为权重λ_i；输入输出都采用三角隶属函数进行模糊化，这里f(x_i)的论域为FL，L，M，H，FH；g(x_i)的论域为L，M，H；λ_i的论域为L，M，H；模糊推理机的第k条规则表述如下：

${\mathrm{Rule}}^{\left(k\right)}:\mathrm{IFf}\left(x_i\right)\mathrm{is}{A}_1^k\mathrm{andg}\left(x_i\right)\mathrm{is}{A}_2^k,\mathrm{THEN}{\mathrm{\λ}}_i\mathrm{is}{B}^k$

其中f(x_i)和g(x_i)分别是中心像素密度和邻域密度，λ_i为模糊整定的权重；通过重心法解模糊器得到输出模糊密度权λ_i。

采用的模糊规则表如下：

f(xi)

FL

L

M

H

FH

FL

L

M

H

FH

FL

L

M

H

FH

g(xi)

L

L

L

L

L

M

M

M

M

M

H

H

H

H

H

λi

FL

L

L

L

FH

FL

L

M

M

FH

FL

L

M

H

FH

所述步骤3)的FDW-SVR模型的训练可以转化为求解如下的带约束的优化问题，

$\min J(\mathrm{\ω},e_i)=\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}\mathrm{\γ}{\mathrm{\λ}}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e_i}^2$

其中λ_i为权利要求3所得出的值，w是权向量，b^r是模型偏差，e_i是样本误差，γ是用来控制对具有误差的样本的惩罚程度。

通过引入Lagrange乘子及KKT(Karush-Kuhn-Tucker)条件，最后得到如下FDW-SVR模型：

${\hat{y}}^r\left(U\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{r}K(U_i,U)+b^r$

其中，K(U_I，U)是核函数，在这里我们采用高斯核函数，

是拉格朗日因子，使用FDW-SVR模型

可以用于场景图像去噪。

附图说明

图1为场景去噪算法框图。

图2为模糊密度权设计框图。

图3为f(x_i)，g(x_i)，λ_i的隶属度函数图。

具体实施方式

本发明提出了一种基于模糊密度权的支持向量场景图像去噪算法，目的是解决标准LS-SVR对样本分布密度不确定性的不适应性，该方法能有效处理样本分布密度不确定性对模型的影响，提高回归模型的整体拟合精度。

下面对本发明的详细过程进行说明。

图1为本发明所述的基于模糊密度权的支持向量场景图像去噪算法总体框图，具体包括如下步骤：

1)使用核密度估计获取中心像素密度f(x_i)和邻域密度g(x_i)。

核密度估计作为一种非参数分布密度估计方法，它不依赖于样本分布的先验知识，对样本分布不附加任何假定，是一种从数据样本本身出发，研究样本分布特征的方法。给定数据集

每一个数据点代表噪声图像的像素特征，N代表样本数目，φ是核函数，h是固定的核宽参数，像素x_i∈R^q的核密度估计可以采用下式计算，

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

其中，q是像素x_i的维数，核函数可以采用高斯核函数：

$\mathrm{\φ}\left(x\right)={\left(2\mathrm{\π}\right)}^{-q/2}\exp (-\frac{1}{2}{x}^{T}x)$

因此，像素密度f(x_i)可以表示如下：

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

$=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{q/2}{h}^q\det {\left(S\right)}^{1/2}}\exp \left(\frac{-u}{{2h}^2}\right)$

其中，u＝(x_i-x_j)^TS^-1(x_i-x_j)，S是协方差矩阵，表示样本之间的线性关联特征，它用于根据样本方差适当调整高斯参考宽带h和分布密度估计值，其计算公式如下：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T$

其中：

为样本平均值。

参考带宽h用于平滑不同距离样本对点样本分布密度估计的影响，通常可利用Silverman给出的优化带宽选择方法取值：

$h={\left(\frac{4}{q+2}\right)}^{1/(q+4)}{N}^{-1(q+4)}$

当样本为重拖尾分布时，特别是小样本情况下，如果选取的高斯参考带宽偏小，在分布密度拖尾部分容易受到噪声干扰。虽然增大高斯参考带宽的方法有助于核密度估计平滑拖尾噪声，但会削弱其辨识高密度分布区域样本分布局部特征的能力。此时，采用变带宽核密度估计方法，即在样本分布密集区域取较小的高斯参考带宽，而在样本低密度分布区域取较大的高斯参考带宽，可以得到更好的样本分布密度估计结果。

采用上述核密度估计样本分布密度f(x_i)，可通过如下公式求得邻域像素密度g(x_i)：

其中，

像素i的邻域像素集，r×r是邻域大小。

2)利用模糊推理设计模糊密度权λ_i。模糊推理机输入为中心像素密度f(x_i)和邻域密度g(x_i)，输出为模糊密度权λ_i。

①把f(x_i)和g(x_i)作为模糊推理机的输入，且模糊化。

②设计模糊推理机和模糊规则。

③使用重心法解模糊化得到模糊密度权λ_i。

如图2所示，模糊密度权λ_i包括模糊化、模糊推理机及模糊规则、反模糊化三个部分，首先将中心像素密度f(x_i)、邻域密度g(x_i)和权重λ_i归一化到[0，1]；模糊推理设计的输入为f(x_i)和g(x_i)，输出为权重λ_i；输入输出都采用三角隶属函数进行模糊化，这里f(x_i)的论域为FL，L，M，H，FH；g(x_i)的论域为L，M，H；λ_i的论域为L，M，H；模糊推理机的第k条规则表述如下：

${\mathrm{Rule}}^{\left(k\right)}:\mathrm{IFf}\left(x_i\right)\mathrm{is}{A}_1^k\mathrm{andg}\left(x_i\right)\mathrm{is}{A}_2^k,\mathrm{THEN}{\mathrm{\λ}}_i\mathrm{is}{B}^k$

其中f(x_i)和g(x_i)分别是中心像素密度和邻域密度，λ_i为模糊整定的权重；通过重心解模糊器得到输出模糊密度权λ_i。

采用的模糊规则表如下：

f(xi)

FL

L

M

H

FH

FL

L

M

H

FH

FL

L

M

H

FH

g(xi)

L

L

L

L

L

M

M

M

M

M

H

H

H

H

H

λi

FL

L

L

L

FH

FL

L

M

M

FH

FL

L

M

H

FH

3)训练FDW-SVR模型，训练集为

获得训练好的FDW-SVR模型

为进一步提高LS-SVR回归模型对含噪场景图像的拟合精度，引入基于样本分布密度的加权因子λ_i，取含噪图像中以像素点为中心取3×3邻域灰度信息构成的输入特征向量U_i∈Rⁿ，i＝1，...，N，其原始图像中对应位置的灰度值作为y_i∈R，构成训练集在标准LS-SVM回归算法中优化目标中引入加权因子，构建FDW-SVR回归模型。其问题描述如下：

$\min J(\mathrm{\ω},e_i)=\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}\mathrm{\γ}{\mathrm{\λ}}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e_i}^2$

式中w为原始空间权矢量，γ为正则化参数，e_i为模型误差。引入Lagrange乘子，定义如下的Lagrange函数：

根据Mercer条件，存在映射ψ和核函数，使得K(u_i，u_j)＝ψ(u_i)·ψ(u_j)。根据KKT条件，分别对变量w，b，e_i，α_i求偏导并令偏导数为零，得到：

由于e_i一般不为零，由上式知α_i也不为零，因此，全部样本成为支持向量。消除式中的w和b，得到如下线性方程：

$\left[\begin{array}{cc}0& {\stackrel{\→}{1}}^T\\ \stackrel{\→}{1}& {\mathrm{\Ω}}^r+{\left(\mathrm{\γ}{\mathrm{\λ}}_i\right)}^{-1}I\end{array}\right]\left[\begin{array}{c}{b}^r\\ {\mathrm{\α}}^r\end{array}\right]=\left[\begin{array}{c}0\\ Y\end{array}\right]$

其中：Y＝[y₁；…；y_N]，

Ω^r中元素为

j，j＝1，2，…，N，求上述解线性方程，可得到模糊最小二乘支持向量机的回归模型：

${\hat{y}}^r\left(U\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{r}K(U_i,U)+b^r$

利用训练好的FLS-SVR回归模型

可以对相同类型含噪图像进行回归估计。

4)使用训练好的FDW-SVR模型

用于场景去噪。

至此已实现了本发明所述的基于模糊推理的场景去噪优化。以下我们用仿真实验来验证本发明所提出的去噪算法性能。

实验采用具体应用实例并通过Matlab仿真来观察实验结果。

实验内容

本实验的目的在于比较本发明所提出的FDW-SVR与标准的LS-SVR的性能，验证本发明所述的能够处理标准LS-SVR方法所不能处理的样本密度分布不确定性。

我们做了具体的仿真例子，以大学城3个实景场景图像进行算法验证，并以scene1作为训练图像建立FDW-SVR回归模型，对scene2和scene3进行去噪。图4是大学城3个实景场景图像。

去噪结果利用峰值信噪比(Peak sigLaL-to-Loise ratio)和信噪比(sigLaL-to-Loise ratio)进行客观衡量。其定义如下：

其中，

和

分别对应原始图像和去噪图像中像素i的特征信息，N是图像总的像素数目。

对训练图像scene1均值为0，方差0.04高斯噪声，训练FDW-SVR回归模型。利用本文方法对R、G、B通道分别进行训练，以R通道为例进行详细介绍。以含噪图像R通道像素3*3窗口按从上到下，从左至右的顺序构成输入特征向量U_i，取原始图像R通道对应中心像素为回归值y_i。首先利用核密度估计方法得到像素及其邻域的概率密度，利用FCM方法得到像素对应三个模糊子集的隶属度μ_fH，μ_fM，μ_fL和μ_gH，μ_gM，μ_gL，并以每个类中心点作为H、M和L参数，分别是0.78、0.45和0.08。回归模型训练过程采用高斯核，其带宽通过训练取为17.00，每个输入向量的模糊加权则通过模糊推理得到，通过求解线性方程得到回归模型同理得到G和B通道回归模型

和

对scene2图像和scene3图像分别加入均值为0，方差为0.02-0.06高斯噪声，利用训练好的回归模型

和

分别对R、G、B颜色通道进行处理，最终取平均信噪比作为去噪结果，如下表：

表一高斯噪声去噪结果(单位：dB)

含噪图像scene3加入均值为0，方差为0.04的高斯噪声，利用本文所提出方法可得到图5的去噪结果。图5中(a)为LS-SVR方法所得到的去噪结果；(b)为本文所提出FDW-SVR方法所得到的去噪结果。

对训练图像scene1加入方差0.03盐椒噪声，对测试图像scene2和scene3分别加入方差为0.01-0.05盐椒噪声，得到去噪结果如表所示。

表二盐椒噪声去噪结果(单位：dB)

从实验结果我们可以看出，通过对比，FDW-SVR能够很好的处理样本密度分布不确定性问题。

Claims (4)

1.一种基于模糊密度权的支持向量场景图像去噪算法，其特征在于包括如下步骤：

1)使用核密度估计获取中心像素密度f(x_i)和邻域密度g(x_i)。

2)利用模糊推理设计模糊密度权λ_i。模糊推理机输入为中心像素密度f(x_i)和邻域密度g(x_i)，输出为模糊密度权λ_i。

①把f(x_i)和g(x_i)作为模糊推理机的输入，且模糊化。

②设计模糊推理机和模糊规则。

③使用重心法解模糊化得到模糊密度权λ_i。

3)训练FDW-SVR模型，训练集为

获得训练好的FDW-SVR模型

4)使用训练好的FDW-SVR模型

用于场景去噪。

2.根据权利要求1所述基于模糊密度权的支持向量场景图像去噪算法，其特征在于步骤1)给定的数据集是

每一个数据点代表噪声图像的像素特征，N代表样本数目，φ是核函数，h是固定的核宽参数，像素x_i∈R^q的密度f(x_i)采用下式计算，

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

其中，q是像素x_i的维数，核函数可以采用高斯核函数：

$\mathrm{\φ}\left(x\right)={\left(2\mathrm{\π}\right)}^{-q/2}\exp (-\frac{1}{2}{x}^{T}x)$

因此，像素密度f(x_i)可以表示如下：

$f\left(x_i\right)=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left(\frac{x_i-x_j}{h}\right)$

$=\frac{1}{{\mathrm{Nh}}^q}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{q/2}{h}^q\det {\left(S\right)}^{1/2}}\exp \left(\frac{-u}{{2h}^2}\right)$

其中，u＝(x_i-x_j)^TS^-1(x_i-x_j)，S是协方差表示如下：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T,$ $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i$

邻域像素密度g(x_i)表示如下：

其中，

像素i的邻域像素集，r×r是邻域大小。

3.根据权利要求1所述基于模糊密度权的支持向量场景图像去噪算法，其特征在于步骤2)的模糊密度权λ_i设计包括模糊化、模糊推理机和模糊规则、反模糊化；首先将中心像素密度f(x_i)，邻域密度g(x_i)，和权重λ_i归一化到[0，1]；模糊推理设计的输入为f(x_i)和g(x_i)，输出为权重λ_i；输入输出都采用三角隶属函数进行模糊化，这里f(x_i)的论域为FL，L，M，H，FH；g(x_i)的论域为L，M，H；λ_i的论域为L，M，H；模糊推理机的第k条规则表述如下：

${\mathrm{Rule}}^{\left(k\right)}:\mathrm{IFf}\left(x_i\right)\mathrm{is}{A}_1^k\mathrm{andg}\left(x_i\right)\mathrm{is}{A}_2^k,\mathrm{THEN}{\mathrm{\λ}}_i\mathrm{is}{B}^k$

其中f(x_i)和g(x_i)分别是中心像素密度和邻域密度，λ_i为模糊整定的权重；通过重心法解模糊器得到输出模糊密度权λ_i，选取的模糊规则如下表：

f(x_i) FL L M H FH FL L M H FH FL L M H FH g(x_i) L L L L L M M M M M H H H H H λ_i FL L L L FH FL L M M FH FL L M H FH

4.根据权利要求1所述基于模糊密度权的支持向量场景图像去噪算法，其特征在于步骤3)的FDW-SVR模型的训练可以转化为求解如下的带约束的优化问题，

$\min J(\mathrm{\ω},{b^r,e}_i)=\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}\mathrm{\γ}{\mathrm{\λ}}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e_i}^2$

约束条件为：y_i＝ω^Tψ(U_i)+b^r+e_i，i＝1，2，…，N

其中λ_i为权利要求3所得出的值，w是权向量b^r是模型偏差，e_i是样本误差，γ是用来控制对具有误差的样本的惩罚程度。

通过引入Lagrange乘子及KKT(Karush-Kuhn-Tucker)条件，最后得到如下FDW-SVR模型：

${\hat{y}}^r\left(U\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{r}K(U_i,U)+b^r$

其中，K(U_I，U)是核函数，在这里我们采用高斯核函数，

是拉格朗日因子，使用FDW-SVR模型

可以用于场景图像去噪。

Images