CN111313865A - 一种随机傅立叶特征核lms算法步长正则化方法 - Google Patents

Abstract

本发明公开了一种随机傅立叶特征核LMS算法步长正则化方法，在最小化权值增量的欧式范数的准则下引入约束项，得到步长参数时变数学表达式，不仅提高了随机傅立叶特征核最小均方算法的收敛速度，而且还提高了算法的鲁棒性。

Description

一种随机傅立叶特征核LMS算法步长正则化方法

技术领域

本发明涉及用于核自适应滤波器的补偿参数改进技术领域，更具体的说是涉及一种随机傅立叶特征核LMS算法步长正则化方法。

背景技术

核自适应滤波器是基于核学习的自适应滤波器，相比于传统的自适应滤波器，其非线性建模能力得到了极大的提高。随机傅立叶特征核最小均方算法是一种基于核近似技术的核自适应滤波算法。在非线性信号处理的多个领域(如：非线性系统辨识、非线性时间序列预测、回声消除等)具有广泛的应用前景。基于随机傅立叶特征的核最小均方算法从根本上客服了核自适应滤波的权值网络增长问题，计算复杂度大幅度降低。相比于基于稀疏化方法的核自适应滤波算法，算法的结构更加的简单，不需要构建稀疏化的特征字典。基于随机傅立叶特征的核最小均方算法的结构框图如图3所示。

核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅立叶特征方法通过近似高斯核得到显式的特征映射表达，从而得以通过迭代的权值网络进行计算，得到接近线性算法的计算复杂度。相比于Nystrom方法，基于随机傅立叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下，网络规模不会增长。

作为一种有效的核近似技术，随机傅立叶特征采用cos(w′(x-y))近似替代e^{jw ′(x-y)}，使得存在cos(w′(x-y))＝z_w(x)^Tz_w(y)，其中随机基z_w(x)＝[cos(w′x)sin(w′x)]。为了降低近似误差，进一步采用了蒙特卡洛平均方法，即：

因此随机特征基可表示为：

其中，蒙特卡洛样本

服从独立同分布。当选择高斯核时，满足高斯分布N(0,σ²I)。

实际工程应用当中，KLMS滤波器的权值迭代过程为：

Ω(n+1)＝Ω(n)+μx(n)e(n)

由以上迭代过程可知，滤波器权值向量的失调为Ω(n+1)-Ω(n)，受到以下三种因素影响：1)步长参数μ；2)输入向量x(n)；3)预估误差e(n)。因此，可知失调与输入向量x(n)成正比。当输入向量x(n)较大时，会造成滤波器的梯度噪声放大问题，从而影响算法的收敛精度。

因此，在工程应用中使用随机傅立叶特征最小均方算法时，如何在输入信号较大时，确保算法的鲁棒性是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种随机傅立叶特征核LMS算法步长正则化方法，在最小化权值增量的欧式范数的准则下引入约束项，得到步长参数时变数学表达式，不仅提高了随机傅立叶特征核最小均方算法的收敛速度，而且还提高了算法的鲁棒性。

为了实现上述目的，本发明采用如下技术方案：

一种随机傅立叶特征核LMS算法步长正则化方法，包括：

S1：构建最小化权值增量的欧式范数项：min||Ω(n+1)-Ω(n)||²；

其中，Ω(n)代表第n次迭代的权值向量；

S2：对步骤S1中的最小化权值的欧式范数项添加约束条件d(n)＝Ω(n+1)^Tx(n)，

得到代价函数：J＝||Ω(n+1)-Ω(n)||²+Re[λ_k(d(n)-Ω(n+1)^Tx(n))]

其中，Re[]为取实部运算，参数λ_k取值为实数，x(n)代表输入信号；

S3：寻找最小化代价函数的权值向量，基于代价函数对权值向量求导，

其中，w(n+1)代表第n+1次迭代的权值向量转置Ω(n+1)^T，并令式(1)为0，得到最优解：

S4：将最优解代入d(n)＝Ω(n+1)^Tx(n)，得到

由于误差信号e(n)＝d(n)-Ω(n)^Tx(n)，得到

将公式(3)带入最优解(2)中，得到

S5：为了对权值向量的增量变化进行控制，引入正实数参数μ'，得到正则化的随机傅立叶特征核最小均方算法RFFKLMS的步长时变参数：

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种随机傅立叶特征核LMS算法步长正则化方法，在最小化权值增量的欧式范数的准则下引入约束项，得到步长参数时变数学表达式克服了输入信号在梯度下降搜索最优值的过程中对权值增量的影响，提高了随机傅立叶特征核最小均方算法的收敛速度；而且，当输入信号幅值波动较大时，正则化的步长能够部分抵消输入信号波动的影响，提高了算法的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的随机傅立叶特征核LMS算法步长正则化方法的流程示意图；

图2为本发明提供的随机傅立叶特征核正则化最小均方算法结构示意图；

图3为现有技术中基于随机傅立叶特征的核最小均方算法的结构框图；

图4为本发明提供的实验结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

核自适应滤波系统可以应用在多种应用场景中，如时间序列预测、系统辨识等核心系统。基于随机傅立叶特征的核最小均方算法从计算复杂度和精度上是目前核自适应滤波领域表现性能最好的。但当大输入信号时，算法的稳定性收到步长波动的影响，因此，需要一种步长调整策略能够消除由输入信号大范围的波动导致的收敛不平稳的情况。

正则化策略采用最小化干扰准则。该准则大致为：从一次迭代到下一次迭代的过程中，滤波器的权值向量的改变应保持最小，并受到更新的滤波器输出因素的约束，具体请见本发明实施例。

参见附图1，本发明实施例公开了一种随机傅立叶特征核LMS算法步长正则化方法，包括：

S1：构建最小化权值增量的欧式范数项：min||Ω(n+1)-Ω(n)||²；

其中，Ω(n)代表第n次迭代的权值向量；

S2：对步骤S1中的最小化权值的欧式范数项添加约束条件d(n)＝Ω(n+1)^Tx(n)，

得到代价函数J＝||Ω(n+1)-Ω(n)||²+Re[λ_k(d(n)-Ω(n+1)^Tx(n))]

其中，Re[]为取实部运算，参数λ_k取值为实数，x(n)代表输入信号；

S3：寻找最小化代价函数的权值向量，基于代价函数对权值向量求导，

其中，w(n+1)代表第n+1次迭代的权值向量转置Ω(n+1)^T，并令式(1)为0，得到最优解：

S4：将最优解代入d(n)＝Ω(n+1)^Tx(n)，得到

由于误差信号e(n)＝d(n)-Ω(n)^Tx(n)，得到

将公式(3)带入最优解(2)中，得到

S5：为了对权值向量的增量变化进行控制，引入正实数参数μ'，得到正则化的随机傅立叶特征核最小均方算法RFFKLMS的步长时变参数：

下面结合随机傅立叶特征核正则化最小均方算法来做进一步说明。

请参见附图2，附图2为随机傅立叶特征核正则化最小均方算法的系统结构图。

输入信号x(n)，维度扩展得到输入向量x’(n)＝[x(n-L+1),…,x(n)]，其中L为向量维度。然后通过特征映射φ(·)映射到高维特征空间，得到随机傅立叶特征向量，其可表示为：

其中，蒙特卡洛样本集

服从独立同分布。当选择高斯核时，满足高斯分布N(0,σ²I)，其中I为与输入向量维度相同的单位向量。

随机傅立叶特征核正则化最小均方算法如下：

输入：给定预训练数据{x(i),d(i)}其中i＝1，2，...，R；维度D；步长μ′；蒙特卡洛样本集W；

初始化：权值向量Ω(0)；

迭代循环：fori＝1:R

计算随机傅立叶特征向量：

计算滤波器输出：

y(i)＝Ω(i)^Tφ(x(i))

计算误差：

e(i)＝d(i)-y(i)

更新权值：

下面结合实验结果对本发明的方法做进一步说明。

信道模型线性部分的传递函数定义如下：

H(z)＝(h₀+h(j))+(h₁+h₁(j))z^-1+(h₂+h₂(j))z^-2由二阶Markov模型生成，其中：h₀＝0.3482；h₁＝0.8704；h₂＝0.3482；h₀(j),h₁(j),h₂(j)分别为时变系数，信道非线性部分的模型定义如下：r(n)＝x(n)+0.2x(n)²+v(n)，其中v(n)为信噪比为20dB的白高斯噪声。其中，白噪声由二阶巴特沃斯滤波器生成。

随机傅立叶特征核正则化最小均方算法的参数设置：步长为0.2；维度选择为300；核参数为2；

由图4可知，在时变信道均衡实验中提出的方法相比未采用正则化策略的随机傅立叶特征方法相比，相同复杂度下精度提高0.5dB，收敛速度得到较大的提高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.一种随机傅立叶特征核LMS算法步长正则化方法，其特征在于，包括：

S1：构建最小化权值增量的欧式范数项：min||Ω(n+1)-Ω(n)||²；

其中，Ω(n)代表第n次迭代的权值向量；

S2：对步骤S1中的最小化权值的欧式范数项添加约束条件d(n)＝Ω(n+1)^Tx(n)，

得到代价函数J＝||Ω(n+1)-Ω(n)||²+Re[λ_k(d(n)-Ω(n+1)^Tx(n))]，

其中，Re[]为取实部运算，参数λ_k取值为实数，x(n)代表输入信号；

S3：寻找最小化代价函数的权值向量，基于代价函数对权值向量求导，

其中，w(n+1)代表第n+1次迭代的权值向量转置Ω(n+1)^T，并令式(1)为0，得到最优解：

S4：将最优解代入d(n)＝Ω(n+1)^Tx(n)，得到

由于误差信号e(n)＝d(n)-Ω(n)^Tx(n)，得到

将公式(3)带入最优解(2)中，得到

S5：为了对权值向量的增量变化进行控制，引入正实数参数μ'，得到正则化的随机傅立叶特征核最小均方算法的步长时变参数：

Images