CN105306010A - 一种基于最小误差熵的凸组合自适应滤波器设计方法 - Google Patents

Abstract

本发明公开了一种基于最小误差熵的凸组合自适应滤波器设计方法，属于信号处理领域，由于传统的基于最小均方误差准则的自适应滤波器设计只在系统噪声为高斯情况下才会有良好的效果，但是对于非高斯噪声情况下，性能通常不理想。虽然基于最小误差熵的自适应准则能够克服非高斯噪声的情况，但是却面临收敛速度和稳态精度之间的权衡折中问题，不能同时达到最优。本发明提出由两个不同步长的最小误差熵自适应滤波器组合，设计得到的基于最小误差熵的凸组合自适应滤波器具有在保持良好稳态精度的情况下依然能够实现快速收敛和跟踪的能力，在实际应用中更加易于推广和使用。

Description

一种基于最小误差熵的凸组合自适应滤波器设计方法

技术领域

本发明属于信号处理领域中的方法研究，涉及一种基于最小误差熵算法准则下的凸组合滤波器设计。

背景技术

近年以来，自适应滤波迅速发展为一种最佳滤波方法。自适应滤波是在维纳滤波、卡尔曼滤波等线性滤波基础上发展起来的一种滤波方法。由于它具有更强的适应性和更优的滤波性能，从而在工程实际中，尤其在信息处理技术中得到了广泛的应用。

自适应滤波的研究对象是具有不确定性的系统或信息过程。这里的“不确定性”是指所研究的处理信息过程及其环境的数学模型不是完全确定的。其中包含一些未知因素和随机因素。

任何一个实际的信息过程都具有不同程度的不确定性，这些不确定性有时表现在过程内部，有时表现在过程外部。从过程内部来讲，描述研究对象即信息动态过程的数学模型的结构和参数是设计者事先并不一定能确切知道的。作为外部环境对信息过程的影响，可以等效地用扰动来表示。这些扰动通常是不可测的，它们可能是确定性的，也可能是随机的。此外，还有一些测量噪音，也以不同的途径影响信息过程。这些扰动和噪声的统计特性常常是未知的。面对这些客观存在的各式各样的不确定性，如何综合处理该信息过程，并使得某一些指定的性能指标达到最优或近似最优，这就是自适应滤波所要解决的问题。

因为数学上的简易处理，以及计算复杂度的考虑，最小均方误差准则已经被广泛运用到自适应滤波领域。但是线性的均方误差准则自适应滤波只能在底层系统是线性和高斯情况下较为理想，而在大多数实际应用中面对的系统或者信息过程都是非高斯情况，这时最小均方误差准则下的自适应滤波效果就不是很理想了。

然而最小误差熵算法对于非高斯的信号过程却能够提供一个较为鲁棒的准则。通过利用一个基于Parzen窗的非参数估计值直接从样本误差计算误差熵，最小误差熵能够运用在自适应系统训练上。对比最小均方误差准则，最小误差熵准则在分析被非高斯噪声污染的信号系统时，具有更好的效果。基于最小误差熵的自适应滤波方法的一个关键环节在于步长参数的选择，步长参数的选择会影响收敛速度和和稳态精度。然而在选取步长参数保证较高收敛速度时，就无法获得较低的稳态精度；相反，保证较低稳态精度时，就无法实现较快的收敛速度。

发明内容

本发明的目的在于提供一种基于最小误差熵的凸组合自适应滤波器设计方法。

为达到上述目的，本发明采用了以下技术方案：

该凸组合自适应滤波器设计方法包括以下步骤：

采用最小误差熵准则更新权重向量，并以该准则下的两个不同步长的自适应滤波器以凸组合的形式联合调制输出结果，以所述两个不同步长的自适应滤波器中步长较长的一个自适应滤波器在滤波开始阶段保证所述凸组合自适应滤波器的收敛速度，同时以另一个步长较短的自适应滤波器在滤波进入稳态阶段时保证所述凸组合自适应滤波器的稳态精度。

所述凸组合自适应滤波器设计方法具体包括以下步骤：

让输入信号以一定长的滑动窗分别通过两个独立的不同步长的自适应滤波器，分别得到所述两个独立的不同步长的自适应滤波器的输出y₁(n)和y₂(n)，用期望输出信号y_d(n)与y₁(n)以及y₂(n)分别做差值运算，得到所述两个独立的不同步长的自适应滤波器各自的输出误差e₁(n)和e₂(n)，然后利用最小误差熵准则更新所述两个独立的不同步长的自适应滤波器各自的权重向量为W₁(n+1)和W₂(n+1)，权重向量更新过程中，基于凸组合设计，使其中步长较短的自适应滤波器的权重向量的更新结果W₂(n+1)通过结合平滑因子α依赖其中步长较长的自适应滤波器的权重向量W₁(n)，然后，将所述两个独立的不同步长的自适应滤波器各自的输出y₁(n)和y₂(n)用混合系数θ(n)结合为所述凸组合自适应滤波器的输出y(n)，用期望输出信号y_d(n)与y(n)做差值运算得到输出误差e(n)，再次利用最小误差熵准则，在一定的步长参数μ_ξ下，更新混合系数为θ(n+1)，n表示第n步更新过程，下标1代表步长较长的自适应滤波器，下标2代表步长较短的自适应滤波器。

所述平滑因子α取值范围为(0.9,1)。

所述步长参数μ_ξ的取值范围为[2,6]。

所述混合系数的取值范围限制在(0,1)之间，选择依据在于使得混合系数在开始时接近于1，保证快速收敛，在收敛以后接近于0，保证较低的稳态精度(即较小的稳态精度范围)。

所述混合系数的选择依据利用sigmoidal函数进行拟合：

$\mathrm{\θ}\left(n\right)=sgm\[\mathrm{\ξ}\left(n\right)\]=\frac{1}{1+e^{-\mathrm{\ξ}\left(n\right)}}$

其中，参数ξ(n)通过最小误差熵准则更新。

所述参数ξ(n)的取值范围为[-4,4]。

本发明的有益效果体现在：

由于传统的最小均方误差准则下的自适应滤波算法在非高斯噪声情况下不具有普遍的良好性能；而单一的最小误差熵准则下的自适应滤波器又存在无法同时满足快速收敛和较低的稳态精度这两个指标的缺点。本发明提出以最小误差熵为准则的凸组合自适应滤波器，该滤波器具有良好的普适性，适合应用于非高斯系统或信号过程，具有同时满足快速收敛和低稳态精度的性能指标，解决了最小均方误差准则下对非高斯噪声的不鲁棒和最小误差熵准则下的收敛速度和收敛精度折中问题，具有较为重要的研究意义和广泛的工程应用价值。

附图说明

图1是一般的自适应滤波器算法的原理框图；

图2是本发明所述凸组合自适应滤波器算法的原理框图；

图3是基于最小误差熵的凸组合自适应滤波器(CMEE)和基于单一的最小误差熵准则下的自适应滤波器(MEE)效果对比图；

图4是不同核宽度下CMEE和MEE算法的收敛曲线图。

具体实施方式

下面结合附图和实施例对本发明做详细说明。

现有的自适应滤波器原理为：以输入和输出信号的统计特性的估计为依据，采取特定算法自动地调整滤波器系数，使其达到最佳滤波特性的一种算法或装置。自适应滤波器可以是连续域的或是离散域的。离散域自适应滤波器由一组抽头延迟线、可变加权系数和自动调整系数的机构组成。一个离散域自适应滤波器用于模拟未知离散系统的信号流中(参见图1)：自适应滤波器对输入信号序列x(n)的每一个样本值，按特定的算法，更新、调整加权系数w(n)，如果是按照最小均方误差准则，那么使输出信号序列y(n)与期望输出信号序列d(n)相比较的均方误差为最小，即输出信号序列y(n)逼近期望输出信号序列d(n)，所产生的加权系数为最优权重系数。当然不同准则下的滤波器有不同的效果。

由于本发明是在最小误差熵准则下的自适应滤波算法上的改进，且本发明中所述算法也用到了最小误差熵准则，所以有必要先介绍一下所使用的基于最小误差熵准则的自适应滤波器原理。

本发明所述凸组合自适应滤波器算法基于最小误差熵准则，具体介绍如下：

1.最小误差熵准则下的自适应滤波器

对于一个线性系统，输入信号向量X(n)＝[x_n-M+1,…,x_n-1,x_n)]^T发送到一个权重向量为(其中M为通道的记忆深度)的有限冲击响应通道中。则理想输出信号为：

d(n)＝W^*TX(n)+v(n)(1)

其中T是转置算子，v(n)是在瞬时n时刻测量噪声。在这里，令W(n)＝[w₁(n),w₂(n),…,w_M(n)]^T为自适应滤波器的权重向量，则该系统的瞬时误差为：

e(n)＝d(n)-y(n)＝d(n)-W^T(n)X(n)(2)

其中y(n)为自适应滤波器的输出信号。考虑误差e(n)为一个随机变量，它的概率密度函数为P_e(·)。则该误差的二次Renyi熵为：

$H_{R2}\left(e\right)=-log\∫p_e^2\left(\mathrm{\ϵ}\right)d\mathrm{\ϵ}=-\log V\left(e\right)---\left(3\right)$

其中是二次信息势。很显然，最小化二次Renyi熵等价于最大化二次信息势。所以在最小误差熵的准则下理想的权重向量可以由此获得：

$W_{opt}=\underset{W}{\arg \max }V\left(e\right)---\left(4\right)$

根据JoseC.Principe和BadongChen等人的研究成果，V(e)的非参数估计值为：

$V\left(e\right)\≈\hat{V}\left(e\right)=\frac{1}{N^2}\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\κ}}_{\mathrm{\σ}\sqrt{2}}\left(e\left(i\right)-e\left(j\right)\right)---\left(5\right)$

其中N为样本个数，K_σ(·)是核宽度为σ的高斯核函数。基于式(5)，可以得到权重向量的迭代公式：

$\begin{array}{c}W\left(n+1\right)=W\left(n\right)+\mathrm{\μ}\frac{\∂\hat{V}\left(e\right)}{\∂W\left(n\right)}\\ =W\left(n\right)+\frac{\mathrm{\μ}}{2L^2{\mathrm{\σ}}^2}\underset{i=n-L+1}{\overset{n}{\Σ}}\underset{j=n-L+1}{\overset{n}{\Σ}}\[{\mathrm{\κ}}_{\mathrm{\σ}\sqrt{2}}\left(\mathrm{\Δ}e\left(i,j\right)\right)\left(\mathrm{\Δ}e\left(i,j\right)\right)\left(X\left(i\right)-X\left(j\right)\right)\]\end{array}---\left(6\right)$

其中μ为步长参数，Δe(i,j)＝e(i)-e(j)，L为滑动窗口数据长度，n表示第n步迭代。

滤波器通过多次的学习，自适应调制权重向量，从而得到较为理想的滤波器参数。然而，步长参数的选取会严重影响算法收敛速度和稳态精度，当选择较大步长参数时，收敛速度很快，但是稳态精度范围会较大；相反。选择较小步长参数时，稳态精度范围会较小，但是收敛速度会降低。

2.最小误差熵准则下的凸组合自适应滤波器(CMEE)设计

如前所述，为了解决上述问题，本发明提出来了利用两个不同步长的基于最小误差熵准则下的自适应滤波器组成一个新的滤波器系统的设计思路。

参见图2，两个独立的基于最小误差熵准则下的自适应滤波器输出及权重向量构成了系统总的输出及权重向量：

y(n)＝θ(n)y₁(n)+(1-θ(n))y₂(n)(7)

W(n)＝θ(n)W₁(n)+(1-θ(n))W₂(n)(8)

其中θ(n)为混合系数，y₁(n),y₂(n),W₁(n)和W₂(n)分别代表较大步长自适应滤波器输出，较小步长自适应滤波器输出，较大步长自适应滤波器的权重向量和较小步长自适应滤波器的权重向量。为了实现让系统在开始时快速收敛，在稳态时尽量保持较小的稳态精度范围，即开始时较大步长自适应滤波器起主要作用，稳态时较小步长自适应滤波器起主要作用，则要求θ(n)在开始时接近为1，在稳态时接近为0。θ(n)的取值范围为(0,1)。因此用sigmoidal函数拟合该性质：

$\mathrm{\θ}\left(n\right)=sgm\[\mathrm{\ξ}\left(n\right)\]=\frac{1}{1+e^{-\mathrm{\ξ}\left(n\right)}}---\left(9\right)$

同样利用最小误差熵准则来更新ξ(n)参数：

$\begin{array}{c}\mathrm{\ξ}\left(n+1\right)=\mathrm{\ξ}\left(n\right)+{\mathrm{\μ}}_{\mathrm{\ξ}}\frac{\∂\hat{V}\left(e\right)}{\∂\mathrm{\ξ}\left(n\right)}\\ =\mathrm{\ξ}\left(n\right)+\frac{{\mathrm{\μ}}_{\mathrm{\ξ}}}{2L^2{\mathrm{\σ}}^2}\underset{i=n-L+1}{\overset{n}{\Σ}}\underset{j=n-L+1}{\overset{n}{\Σ}}\[{\mathrm{\κ}}_{\mathrm{\σ}\sqrt{2}}\left(\mathrm{\Δ}e\left(i,j\right)\right)\left(\mathrm{\Δ}e\left(i,j\right)\right)\mathrm{\ζ}\]\end{array}---\left(10\right)$

其中步长参数μ_ξ在本发明中优选取值为：μ_ξ＝4，并且：

ζ＝(y₁(i)-y₂(i))θ(i)(1-θ(i))-(y₁(j)-y₂(j))θ(j)(1-θ(j))(11)

为了防止算法在迭代过程中停止，可以限制ξ(n)的范围，比如取值范围为[-4,4]，从而使得θ(n)(1-θ(n))不会太过于接近于0值。

另外，凸组合的形式下，还可以通过利用快速收敛的自适应滤波器(较大步长的自适应滤波器)权重向量W₁(n)来帮助更新迭代收敛慢但稳态精度范围小的自适应滤波器(较小步长的自适应滤波器)的权重向量W₂(n)：

$\begin{array}{c}{W}_2\left(n+1\right)=\mathrm{\α}\left(W_2\left(n\right)+\frac{\mathrm{\μ}}{2L^2{\mathrm{\σ}}^2}\underset{i=n-L+1}{\overset{n}{\Σ}}\underset{j=n-L+1}{\overset{n}{\Σ}}\[{\mathrm{\κ}}_{\mathrm{\σ}\sqrt{2}}\left(\mathrm{\Δ}e\left(i,j\right)\right)\left(\mathrm{\Δ}e\left(i,j\right)\right)\left(X\left(i\right)-X\left(j\right)\right)\]\right)\\ +\left(1-a\right)W_1\left(n\right)\end{array}---\left(12\right)$

式中α是平滑因子，取值在(0.9,1)之间；

为了展现本发明的优势之处，以下给出了在仿真环境下传统的MEE自适应滤波算法和本发明的信号处理效果对比，见图3。

仿真设计如下：考虑一个20阶的未知系统，自适应滤波器拥有同样的结构(20阶)。测量噪声为混合高斯噪声：

$\left(1-\mathrm{\β}\right)N\left({\mathrm{\δ}}_1,{\mathrm{\ν}}_1^2\right)+\mathrm{\β}N\left({\mathrm{\δ}}_2,{\mathrm{\ν}}_2^2\right)---\left(13\right)$

式中β是混合系数，是均值为δ_i，方差为的高斯分布。采用均方差来衡量系统的性能

MSD＝E[||W^*-W(n)||²](14)

仿真实验中，输入信号为均值为0，方差为1的高斯白噪声。L＝20。实验结果为50次蒙特卡洛的平均。

从图3中可以看到，步长较大的基于最小误差熵准则下的自适应滤波器的收敛速度快，步长较小的基于最小误差熵准则下的自适应滤波器的稳态精度较低，但是收敛速度相对缓慢。而本发明所述的CMEE算法，不论平滑因子α是0.998(μ₁＝0.1,μ₂＝0.015)还是0.999(μ₁＝0.3,μ₂＝0.02)，都能够同时拥有快速的收敛速度和较小的稳态精度范围。

从图4中可以看到，不论滤波器设计中的核宽度如何变化，本发明所述的基于最小误差熵的凸组合自适应滤波器都有较好的性能(σ＝0.5,μ₁＝0.1,μ₂＝0.015；σ＝1,μ₁＝0.1,μ₂＝0.015；σ＝2,μ₁＝0.1,μ₂＝0.015)，且该性能不随核宽度的变化而降低。

Claims (7)

1.一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：该凸组合自适应滤波器设计方法包括以下步骤：

采用最小误差熵准则更新权重向量，并以该准则下的两个不同步长的自适应滤波器以凸组合的形式联合调制输出结果，以所述两个不同步长的自适应滤波器中步长较长的一个自适应滤波器在滤波开始阶段保证所述凸组合自适应滤波器的收敛速度，同时以另一个步长较短的自适应滤波器在滤波进入稳态阶段时保证所述凸组合自适应滤波器的稳态精度。

2.根据权利要求1所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述凸组合自适应滤波器设计方法具体包括以下步骤：

让输入信号以一定长的滑动窗分别通过两个独立的不同步长的自适应滤波器，分别得到所述两个独立的不同步长的自适应滤波器的输出y₁(n)和y₂(n)，用期望输出信号y_d(n)与y₁(n)以及y₂(n)分别做差值运算，得到所述两个独立的不同步长的自适应滤波器各自的输出误差e₁(n)和e₂(n)，然后利用最小误差熵准则更新所述两个独立的不同步长的自适应滤波器各自的权重向量为W₁(n+1)和W₂(n+1)，权重向量更新过程中，基于凸组合设计，使其中步长较短的自适应滤波器的权重向量的更新结果W₂(n+1)通过结合平滑因子α依赖其中步长较长的自适应滤波器的权重向量W₁(n)，然后，将所述两个独立的不同步长的自适应滤波器各自的输出y₁(n)和y₂(n)用混合系数θ(n)结合为所述凸组合自适应滤波器的输出y(n)，用期望输出信号y_d(n)与y(n)做差值运算得到输出误差e(n)，再次利用最小误差熵准则，在一定的步长参数μ_ξ下，更新混合系数为θ(n+1)，n表示第n步更新过程，下标1代表步长较长的自适应滤波器，下标2代表步长较短的自适应滤波器。

3.根据权利要求2所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述平滑因子α取值范围为(0.9,1)。

4.根据权利要求2所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述步长参数μ_ξ的取值范围为[2,6]。

5.根据权利要求2所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述混合系数的取值范围限制在(0,1)之间，选择依据在于使得混合系数在开始时接近于1，保证快速收敛，在收敛以后接近于0，保证较低的稳态精度。

6.根据权利要求5所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述混合系数的选择依据利用sigmoidal函数进行拟合：

$\mathrm{\θ}\left(n\right)=sgm\[\mathrm{\ξ}\left(n\right)\]=\frac{1}{1+e^{-\mathrm{\ξ}\left(n\right)}}$

其中，参数ξ(n)通过最小误差熵准则更新。

7.根据权利要求6所述一种基于最小误差熵的凸组合自适应滤波器设计方法，其特征在于：所述参数ξ(n)的取值范围为[-4,4]。