CN110162739A - 基于变遗忘因子的rffklms算法权值更新优化方法 - Google Patents

Abstract

本发明公开了一种基于变遗忘因子的RFFKLMS算法的权值更新优化方法，通过动量项技术在步长更新的迭代公式中引入遗忘因子，并对遗忘因子进行优化，推导出基于变遗忘因子的RFFKLMS算法。遗忘因子决定系统对于过去时刻误差信号的依赖程度，而变遗忘因子则是在此基础上利用互相关误差信号，综合地提升系统的收敛能力和抗干扰能力。大量仿真分析结果表明，与变步长RFFKLMS算法相比该算方法在非平稳条件下具有较好的收敛速度并且在稳态时具有更好的精度。

Description

基于变遗忘因子的RFFKLMS算法权值更新优化方法

技术领域

本发明涉及核自适应滤波的权值更新优化技术领域，特别涉及一种基于变遗忘因子的RFFKLMS算法权值更新优化方法。

背景技术

核自适应滤波是一种在线核学习算法。在非线性信号处理的多个领域(非线性时间序列预测、非线性信道均衡、非线性系统辨识、回声消除等)具有广泛的应用前景。实时自适应信号处理需要系统具备动态响应能力，以非线性信道均衡为例：在移动通信系统中，信道的结构和干扰特性会随着时间的变化而变化，因此在信道均衡过程中必须采用自适应技术。自适应非线性信道均衡主要是用于无线高速数据传输信道，当信号的传输速率达到一定程度时，信道会产生严重的非线性畸变，因此需要采用非线性的均衡器。显然在上述情况下，需要系统快速适应环境，跟踪信道变化。另，以在线系统辨识问题为例，在水轮机调节系统中水、机、电、磁等因素相互耦合所表现出的多工况、参数时变、非最小相位、复杂非线性等特点，使得系统需要具备实时建模能力，快速响应系统变化，达到寻优的目的。综上所述，自适应滤波的收敛速度对系统能否快速响应外界环境的变化至关重要。同时，核自适应滤波的收敛速度也关系到滤波系统应对实际问题中变化的能力。因此，提高核自适应滤波算法的权值的收敛速度对于应对时变场景下的信道均衡，在线系统建模等多种实际应用作业具有重要意义。

核自适应滤波算法中的KLMS算法(Kernel Least Mean Square，核最小均方算法)的基本思想是将输入数据通过再生核变换到一个高维特征空间，这样特征空间的内积操作可以通过核评价更高效的得到。但是线性增长的权值网络会带来很大的计算复杂度和存储成本，因此提出了一种基于随机傅里叶特征的KLMS算法(Random Fourier Feature KernelLeast Mean Square，RFFKLMS)。该方法利用有限维内积来近似核评估的思想，将输入的原始数据映射到一个相对低维的有限维特征空间中，通过随机特征网络将数据映射到显式的随机特征空间，得到函数的显式表达。并将这个思想运用到KLMS算法的在线随机梯度优化设置中，实现恒定的时间和内存复杂性，使得KLMS在线算法的在实时和大规模信号处理情况下得以应用。

但实际上，采用固定步长的RFFKLMS算法在快速收敛和低失调之间是存在矛盾的。较小的步长会导致较差的收敛速度和较好的稳态精度，而较大的步长虽然会带来较好的收敛速度但稳态精度会相应变差。现有RFFKLMS算法在工程应用上在非平稳条件下无法获得较好的动态跟踪能力。

因此，如何提供一种动态跟踪能力强，具有更好的收敛性能的基于变遗忘因子的RFFKLMS算法的权值更新优化方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明通过引入变遗忘因子策略，在算法系数的更新过程中加入包含过去权系数信息的动量项，并利用互相关误差信号对遗忘因子进行更新，进而提升算法的动态跟踪能力使系统具有更好的收敛性能。具体方案如下：

一种基于变遗忘因子的RFFKLMS算法权值更新优化方法，在算法系数更新过程中加入含有过去权系数信息的动量项，包括如下步骤：

S1、以算法每次迭代输出的信号的瞬时误差平方的加权累加值计算滤波器的代价函数，并引入遗忘因子，

其中，e(j)表示j时刻的瞬时误差，基于最速下降法的RFFKLMS算法迭代公式：e(n)＝d(n)-y(n)，Ω(n-1)为n-1时刻算法的权值向量，λ_i称为遗忘因子，且满足0≤λ_i＜1，d(n)为算法期望的输出信号，y(n)为算法实际的输出信号，x(n)为算法输入信号，为输入信号的随机傅里叶特征映射函数；

S2，利用最速下降法，算法权值向量的迭代公式为，

其中，是n-1时刻权值向量的梯度，μ为权值向量更新过程中的步长；

S3，所述代价函数分别对n-1时刻和n-2时刻的算法权值向量求导，并整理得到更新后的权值向量迭代公式，

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(Ω(n-1)-Ω(n-2)) (3)

S4，使用互相关误差信号更新遗忘因子λ_i(n+1)＝φ_iλ_i(n)+ε_ie(n)e(n-1)；其中，e(n)e(n-1)为互相关误差信号，φ_i和ε_i是控制参数，其中ε_i为常数，控制λ_i的收敛速度，参数φ_i通常选取为接近1的值；

得到优化后的算法权值向量迭代公式，

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(n)(Ω(n-1)-Ω(n-2)) (4)

其中，λ_i(n)是时变遗忘因子。

优选的，所述S3具体包括：

S31、代价函数对n-1时刻权值向量求导，得

则权值向量迭代公式写为

S32、利用最速下降法计算n-2时刻的权值迭代公式，得

进一步整理得

将公式(3-4)带回公式(3-2)中，最终得到更新后的权值向量迭代公式，

利用互相关误差信号e(n)e(n-1)更新λ_i有两个主要目的：首先，e(n)e(n-1)能很好的反应系统收敛的变化情况。通过上式可以直观地发现，在自适应早期阶段或误差信号发生突变阶段，e(n)e(n-1)较大，造成λ_i增加，从而提高系统的收敛和跟踪能力；当系统到达稳态阶段时，误差信号收敛到较小的值，会引起λ_i变小，从而减小该算法中增加项对系统稳态性能的影响。其次，与使用误差信号能量e²(n)相比，它能够减弱干扰噪声对λ_i更新的影响。

本发明相较现有技术具有以下有益效果：

由于现有的RFFKLMS算法在收敛速度方面有待改进，本发明在该算法基础上，通过动量项技术在步长更新的迭代公式中引入遗忘因子，并对遗忘因子进行优化，推导出基于变遗忘因子策略的RFFKLMS算法。遗忘因子决定系统对于过去时刻误差信号的依赖程度，而变遗忘因子则是在此基础上利用互相关误差信号，综合地提升系统的收敛能力和抗干扰能力。大量仿真分析结果表明，与变步长RFFKLMS算法相比该算方法在非平稳条件下具有较好的收敛速度并且在稳态时具有更好的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明基于变遗忘因子的RFFKLMS算法的权值更新优化方法的流程图；

图2为本发明实施例的非线性信道均衡实验仿真结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种基于变遗忘因子的RFFKLMS算法权值更新优化方法。

基于最速下降法的RFFKLMS算法计算过程如下：

设存在一个特征映射φ(x):R^d→R^D，则任意一对转换向量内积近似它们的核估计：K(x,x')＝＜Φ(x),Φ(x')＞≈φ(x)^Tφ(x')

随机傅里叶特征向量为：

其中，ω₁,...,ω_D∈R^D是独立同分布的样本，参数D表示内积空间的维数。特征映射函数：φ_ω(x)＝[cos(ω^Tx)]。显然利用上述的方法，通过对核函数的近似得到显式的映射表达，这个随机特征网络由映射函数φ_ω(x)构造，进而得到一个近似线性算法的计算过程，使得整个算法的计算复杂度得以减小。在得到显式映射表达之后，RFFKLMS算法便具有了与LMS算法类似的简单性，可以在一些实时大规模的信号处理情况下得以实际应用。

假设已给定训练样本集{x(n),d(n)}；n＝1,2,...,N，y(·)为算法输出值，权值向量为Ω，φ(·)为显式映射函数，则由随机傅立叶特征映射得到的算法输出为：

y(n)＝Ω(n-1)^Tφ(x(n)) (0-1)

上式中Ω(n-1)为第n-1次迭代得到得权值向量，其更新迭代方程为：

其中，μ为步长，e(n)为预测误差，

e(n)＝d(n)-y(n) (0-3)

上述步骤即为利用随机傅立叶特征构造的核自适应滤波算法，在基于核最小均方算法的基础上，利用任意两个向量内积近似核函数，得到显示映射，进而直接求得权重向量更新迭代方程。这种方式下，算法不必存储大量样本数据而仅将特征信息保存至权重向量中，大大节省了存储空间。

动量项技术具有提高基于梯度学习算法的收敛速度和跟踪能力。主要针对数字通信系统中的信道辨识的收敛速度及跟踪能力的问题，在标准的LMS算法中引入动量概念，即在算法系数更新过程中加入含有过去权系数信息的动量项用来提高系统的收敛速度和跟踪能力。动量项技术具有计算量小，动量因子上下边界极值确定等优点，能有效提高系统收敛速度和追踪性能，这些优点使得动量项技术被广泛应用于自适应滤波、人工神经网络以及盲源信号分离等领域。

在本发明中，动量项技术的实现方式是在算法系数更新过程中加入含有过去权系数信息的附加项。在基本算法中以瞬时的误差平方作为代价函数，即J(n)＝e(n)²，并利用最速下降法获得迭代公式。由于增加的附加项对系统起到的作用类似物理中的“动量”的概念，因此称其为动量项技术。增加的附加项和遗忘因子也称为动量项和动量因子。这里若将动量项引入RFFKLMS算法中，其相应的代价函数则应修改为加权累加的误差平方，定义如下：

其中e(j)表示j时刻的瞬时误差，λ_i称为遗忘因子(加权因子)，且满足0≤λ_i＜1。利用最速下降法，权值向量的迭代公式可写为

其中Ω(n)为n时刻算法权值向量，是n-1时刻权值向量的梯度，由(0-1)和(0-3)，可得到

则权值迭代公式可写为

相似的，利用最速下降法计算n-2时刻的权值迭代公式，可得

进一步整理可得

将(3-4)带回式(3-2)中，可最终得到一个新的权值向量的迭代公式

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(Ω(n-1)-Ω(n-2)) (3)

将上式与RFFKLMS算法相比，由新的代价函数推导出的迭代公式中增加一个附加项和一个遗忘因子参数。附加项利用了先前的权值向量，对下一时刻的权值进行修正，遗忘因子则用来调整修正量的大小。直观地，如果之前的权值向量变化较大时，则下一时刻权值向量的修正量就增加，可以起到加速梯度下降过程，尤其在误差发生突变的情况。

该策略基于动量的概念，利用动量项作为先验梯度的估计，仅以过去权向量的额外存储需求和额外的标量乘法为代价，就可以提高动态跟踪能力和精度。遗忘因子λ_i决定系统对于过去时刻的误差信号依赖程度。当λ_i取值较大时，系统对过去误差信号依赖增大，系统的跟踪能力减弱，收敛时稳态误差也越小；当取较小值时，系统对过去误差信号依赖程度减弱，其跟踪能力增强，同时稳态误差由于对噪声敏感而增大。由此，为了克服固定遗忘因子的缺点，同时提升算法的抗干扰性能，下面提出了一个变遗忘因子优化策略。

对算法中的遗忘因子进行优化，相应的迭代公式可修改为：

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(n)(Ω(n-1)-Ω(n-2)) (4)

其中λ_i(n)是时变遗忘因子，使用互相关误差信号更新遗忘因子，更新公式为:

λ_i(n+1)＝φ_iλ_i(n)+ε_ie(n)e(n-1) (4-1)

式中φ_i和ε_i是控制参数，其中ε_i为很小的常数，取值范围为[0,1]，如取值为0.0005，控制λ_i的收敛速度，参数通常选取为接近1的值，取值范围为[0,1]，如取值为0.999，以保证算法获得好的性能。

为充分验证本发明提出算法的性能，进行了对比仿真分析，应用在非线性信道均衡的具体实施例如下，并给出计算过程和仿真结果。

实施例

非线性信道均衡：

本发明提供的方法可以用于滤波器对信号的滤波处理过程，对于非线性信道均衡传输模型的信号滤波，首先获取非线性信道均衡传输模型的输出信号，采用随机生成的二进制数作为非线性信道的输入；其次，经过由winear模型信道，信道模型线性部分的传递函数定义：

H(z)＝(h₀+h₀(j))+(h₁+h₁(j))z^-1+(h₂+h₂(j))z^-2

由二阶马尔科夫模型生成，其中h₀(j)、h₁(j)、h₂(j)为时变系数，

h₀＝0.3482；h₁＝0.8704；h₂＝0.3482；信道的非线性部分系统模型如下：

r(n)＝x(n)+0.2x²(n)+υ(n)

v(n)为方差为0.01的高斯白噪声。其中，低通滤波器由高斯白噪声驱动。

以非线性信道均衡传输模型的输出，作为待均衡信号并作为基于变遗忘因子的RFFKLMS算法的输入。为均衡非线性信号，算法需要构建非线性模型的逆，所构建逆模型的权值决定了均衡的效果，权值向量更新的优化方法在构建非线性信道均衡传输模型的权值迭代过程中对权值更新信号进行处理。

其处理过程如下：根据非线性信道均衡传输模型的输出信号进行滤波，以算法每次迭代的输出信号的瞬时误差平方的加权累加值计算算法的代价函数，并引入遗忘因子，对RFFKLMS算法的权值进行迭代更新，得到算法全时段迭代更新后输出的信号均方误差值。其中，算法参数设置：权值更新的步长为0.1，维度D＝300。RFFKLMS核参数为1.9，基于固定遗忘因子的RFFKLMS(FFFRFFKLMS)算法中的固定遗忘因子为0.3，基于变遗忘因子的RFFKLMS(VFFRFFKLMS)算法中的遗忘因子优化策略中的和ε_i分别是0.9995和0.005。

时变信道均衡实验仿真图参见说明书附图2所示，RFFKLMS、FFFRFFKLMS和VFFRFFKLMS算法最终测试均方误差值为-21.904dB、-22.108、-22.268dB，相比之下采用变遗忘因子策略的RFFKLSM算法收敛速度明显提升，误差精度也有所提高。

以上对本发明所提供的一种基于变遗忘因子的RFFKLMS算法的权值更新优化方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (2)

1.一种基于变遗忘因子的RFFKLMS算法权值更新优化方法，其特征在于，在算法系数更新过程中加入含有过去权系数信息的动量项，包括如下步骤：

S1，以算法每次迭代输出的信号的瞬时误差平方的加权累加值计算算法的代价函数，并引入遗忘因子，

其中，e(j)表示j时刻的瞬时误差，e(n)＝d(n)-y(n)，Ω(n-1)为n-1时刻算法的权值向量，λ_i称为遗忘因子，且满足0≤λ_i＜1，d(n)为算法期望的输出信号，y(n)为算法实际的输出信号，x(n)为算法的输入信号，为输入信号的随机傅里叶特征映射函数；

S2，利用最速下降法，算法权值向量的迭代公式为，

其中，是n-1时刻权值向量的梯度，μ为权值向量更新过程中的步长；

S3，所述代价函数分别对n-1时刻和n-2时刻的算法权值向量求导，并整理得到更新后的权值向量迭代公式，

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(Ω(n-1)-Ω(n-2)) (3)

S4，使用互相关误差信号更新遗忘因子λ_i(n+1)＝φ_iλ_i(n)+ε_ie(n)e(n-1)；其中，e(n)e(n-1)为互相关误差信号，φ_i和ε_i是控制参数，其中ε_i为常数，控制λ_i的收敛速度，参数φ_i通常选取为接近1的值；

得到优化后的权值向量迭代公式，

Ω(n)＝Ω(n-1)+μe(n)φ(x(n))+λ_i(n)(Ω(n-1)-Ω(n-2)) (4)

其中，λ_i(n)是时变遗忘因子。

2.根据权利要求1所述的一种基于变遗忘因子的RFFKLMS算法的权值更新优化方法，其特征在于，所述S3具体包括：

S31、代价函数对n-1时刻权值向量求导，得

则权值向量迭代公式写为

S32、利用最速下降法计算n-2时刻的权值迭代公式，得

进一步整理得

将公式(3-4)带回公式(3-2)中，最终得到更新后的权值向量迭代公式，

。