CN110048694B - 基于变元步长的随机傅里叶特征核最小均方算法 - Google Patents

Abstract

基于变元步长的随机傅里叶特征核最小均方算法，属于核自适应滤波器优化领域，本发明为解决现有核自适应滤波系统中性能最好的基于随机傅里叶特征的核最小均方算法采用固定步长的方法，算法的收敛速度收到限制的问题。本发明具体过程为：计算核自适应滤波器的输出，计算误差；将第n次迭代的权值向量更新为第n+1次迭代的权值向量；将第n次迭代的步长更新为第n+1次迭代的步长；判断第n+1次迭代的步长的值与预先设定的步长取值范围的最小值和最大值的大小，将第n次迭代的元步长更新为第n+1次迭代的元步长，获取第n+1次迭代的核自适应滤波器的输出。本发明用于核自适应滤波系统。

Description

基于变元步长的随机傅里叶特征核最小均方算法

技术领域

本发明涉及一种基于变元步长的随机傅里叶特征核最小均方算法，属于核自适应滤波器优化领域。

背景技术

核自适应滤波器是基于核学习的自适应滤波器，相比于传统的自适应滤波器，其非线性建模能力得到了极大的提高。随机傅立叶特征核最小均方算法是一种基于核近似技术的核自适应滤波算法。在非线性信号处理的多个领域(非线性系统辨识、非线性时间序列预测、回声消除等)具有广泛的应用前景。基于随机傅里叶特征的核最小均方算法从根本上克服了核自适应滤波的权值网络增长问题，计算复杂度大幅度降低。相比于基于稀疏化方法的核自适应滤波算法，算法的结构更加的简单，不需要构建稀疏化的特征字典，结构简单。基于随机傅里叶特征的核最小均方算法的结构框图如图1所示。

核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅立叶特征方法通过近似高斯核得到显式的特征映射表达，从而得以通过迭代的权值网络进行计算，得到接近线性算法的计算复杂度。相比于Nystrom方法，基于随机傅里叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下，网络规模不会增长。

作为一种有效的核近似技术，随机傅立叶特征采用cos(w′(x-y))近似替代e^{jw ′(x-y)}。使得存在cos(w′(x-y))＝z_w(x)^Tz_w(y)，其中随机基z_w(x)＝[cos(w′x)sin(w′x)]。为了降低近似误差，进一步采用了蒙特卡洛平均方法，即：

因此随机特征基可表示为：

其中蒙特卡洛样本

服从独立同分布。当选择高斯核时，满足高斯分布N(0,σ²I)。

实际工程应用当中，RFFKLMS算法的权值迭代过程为：

Ω(n+1)＝Ω(n)+μx(n)e(n)

由以上迭代过程可知，滤波器权值向量Ω(n)的更新，受到以下三种因素影响：

(1)、步长参数μ；

(2)、输入向量x(n)；

(3)、预估误差e(n)。

步长优化方法中最经典的方法是采用变步长策略：

μ(n+1)＝αμ(n)+βe(n)²

其中α和β是取值范围为(0,1)的常数。当误差e(n)较大时，误差的能量可以增大步长，加速收敛，当误差较小时，步长逐渐减小至较低水平，保证稳态的精度。但误差平方项在调控步长的占比系数β的取值为固定值，导致误差平方项调控步长的性能受到约束。

发明内容

本发明目的是为了解决现有核自适应滤波系统中性能最好的基于随机傅里叶特征的核最小均方算法采用固定步长的方法，算法的收敛速度收到限制的问题，提供了一种基于变元步长的随机傅里叶特征核最小均方算法。

本发明所述基于变元步长的随机傅里叶特征核最小均方算法，具体过程为：

S1、计算核自适应滤波器的输出：

核自适应滤波器的输入信号向量为x(n)，则输出信号向量y(n)为：

y(n)＝Ω(n)^Tφ(x(n))；

其中，Ω(n)表示第n次迭代的权值向量，n＝1,2,…,R，φ(x(n))表示随机傅里叶特征向量；

S2、计算误差：

误差e(n)＝d(n)-y(n)；

其中，d(n)表示期望响应；

S3、将S1中第n次迭代的权值向量Ω(n)更新为第n+1次迭代的Ω(n+1)：

Ω(n+1)＝Ω(n)+μ(n)e(n)φ(x(n))；

其中，μ(n)表示第n次迭代的步长；

S4、将S3中第n次迭代的步长μ(n)更新为第n+1次迭代的步长μ(n+1)：

μ(n+1)＝αμ(n)+μ_m(n)e(n)²；

其中，α表示取值范围为(0,1)的常数，μ_m(n)表示第n次迭代的元步长；

S5、判断S4获取的第n+1次迭代的步长μ(n+1)的值：

如果μ(n+1)＞μ_max或μ(n+1)＜μ_min，则令μ(n+1)＝μ(n)；

如果μ_min≤μ(n+1)≤μ_max，则令μ(n+1)＝μ(n+1)；

其中，μ_min和μ_max分别为预先设定的步长取值范围的最小值和最大值；

然后执行S6；

S6、将S4中第n次迭代的元步长μ_m(n)更新为第n+1次迭代的元步长μ_m(n+1)：

μ_m(n+1)＝pμ_m(n)+qe(n)²；

其中，p和q表示取值范围为(0,1)的常数；

返回执行S1获取第n+1次迭代的核自适应滤波器的输出。

优选的，S1所述随机傅里叶特征向量φ(x(n))的获取方法为：

S1-1、对输入信号向量x(n)进行维度扩展，获得维度扩展后输入向量x'(n)：

x'(n)＝[x(n-L+1),…,x(n)]；

其中，L表示向量维度；

S1-2、通过特征映射φ(·)映射到高维特征空间，得到随机傅里叶向量：

其中：D表示维度，ω表示随机参数向量，ω₁和ω_D分别表示第1维随机参数向量和第D维随机参数向量，蒙特卡洛样本集

服从独立同分布；当选择高斯核时，满足高斯分布N(0,σ²I)，其中，I表示与输入信号向量维度相同的单位向量；σ表示高斯核带宽。

本发明的优点：本发明提出的基于变元步长的随机傅里叶特征核最小均方算法，优点在于：

1、变元步长的优化方法，变步长式中的误差项在步长更新式中所占的比例得到调控，提高了随机傅里叶特征核最小均方算法的收敛速度；

2、当误差信号受到噪声干扰时，变元步长通过降低稳态时误差项在步长更新式中的比例，减小噪声对步长的影响，降低步长波动，提高鲁棒性。

附图说明

图1是基于随机傅里叶特征的核最小均方算法的原理框图；

图2是基于变元步长的随机傅里叶特征核最小均方算法的原理框图；

图3是实施例一Lorenz混沌时间序列预测实验的测试曲线图；

图4是实施例二时变信道均衡实验的测试曲线图。

具体实施方式

具体实施方式一：下面结合图2说明本实施方式，本实施方式所述基于变元步长的随机傅里叶特征核最小均方算法，具体过程为：

S1、计算核自适应滤波器的输出：

核自适应滤波器的输入信号向量为x(n)，则输出信号向量y(n)为：

y(n)＝Ω(n)^Tφ(x(n))；

其中，Ω(n)表示第n次迭代的权值向量，n＝1,2,…,R，φ(x(n))表示随机傅里叶特征向量；

S2、计算误差：

误差e(n)＝d(n)-y(n)；

其中，d(n)表示期望响应；

S3、将S1中第n次迭代的权值向量Ω(n)更新为第n+1次迭代的Ω(n+1)：

Ω(n+1)＝Ω(n)+μ(n)e(n)φ(x(n))；

其中，μ(n)表示第n次迭代的步长；

S4、将S3中第n次迭代的步长μ(n)更新为第n+1次迭代的步长μ(n+1)：

μ(n+1)＝αμ(n)+μ_m(n)e(n)²；

其中，α表示取值范围为(0,1)的常数，μ_m(n)表示第n次迭代的元步长；

S5、判断S4获取的第n+1次迭代的步长μ(n+1)的值：

如果μ(n+1)＞μ_max或μ(n+1)＜μ_min，则令μ(n+1)＝μ(n)；

如果μ_min≤μ(n+1)≤μ_max，则令μ(n+1)＝μ(n+1)；

其中，μ_min和μ_max分别为预先设定的步长取值范围的最小值和最大值；

然后执行S6；

S6、将S4中第n次迭代的元步长μ_m(n)更新为第n+1次迭代的元步长μ_m(n+1)：

μ_m(n+1)＝pμ_m(n)+qe(n)²；

其中，p和q表示取值范围为(0,1)的常数；

返回执行S1获取第n+1次迭代的核自适应滤波器的输出。

本实施方式中，μ(n)表示第n次迭代的步长，则步长更新式为：

μ(n+1)＝αμ(n)+βe(n)²；

其中，α和β表示取值范围为(0,1)的常数；

定义误差平方项的系数为元步长，以μ_m(n)表示，则变元步长方法的步长更新式为：

μ(n+1)＝αμ(n)+μ_m(n)e(n)²；

在该式中，步长参数是依据误差e(n)来调整，但是误差在实际应用中通常是受到噪声污染的，因此稳态时如果误差项仍然占比很大会影响稳态误差，如果误差项占比较小稳态误差得到了保证，但是收敛速度则缺少误差项的调控，导致收敛速度不好，因此，为了改善以上情况，提出了调控误差项占比的变元步长方法，元步长更新式为：

μ_m(n+1)＝pμ_m(n)+qe(n)²；

其中，p和q表示取值范围为(0,1)的常数；

为了保证避免较大或较小的步长影响算法稳定性，需要对步长的取值范围进行限定：

预先设定步长取值范围为[μ_min,μ_max]，如果元步长μ_m(n+1)超出步长取值范围，则令μ(n+1)＝μ(n)。

采用误差项来调整元步长的占比，当误差较大时，元步长会增大，因此步长更新式中的误差项的占比变大，则收敛过程中步长被加大，收敛速度提高。

具体实施方式二：下面结合图2说明本实施方式，本实施方式对实施方式一作进一步说明，S1所述随机傅里叶特征向量φ(x(n))的获取方法为：

S1-1、对输入信号向量x(n)进行维度扩展，获得维度扩展后输入向量x'(n)：

x'(n)＝[x(n-L+1),…,x(n)]；

其中，L表示向量维度；

S1-2、通过特征映射φ(·)映射到高维特征空间，得到随机傅里叶向量：

其中：D表示维度，ω表示随机参数向量，ω₁和ω_D分别表示第1维随机参数向量和第D维随机参数向量，蒙特卡洛样本集

服从独立同分布；当选择高斯核时，满足高斯分布N(0,σ²I)，其中，I表示与输入信号向量维度相同的单位向量；σ表示高斯核带宽。

实施例

实施例一：Lorenz混沌时间序列预测

实验条件：应用场景为已知过去的样本值[x(n-5),x(n-4),…,x(n-1)]，预测当前的样本值x(n)；

Lorenz模型描述为以下的三阶差分方程：

其中：a＝10，b＝8/3，c＝28；四阶龙格库塔法的步长0.01。生成的时间序列添加20dB白噪声。

变元步长随机傅立叶特征核最小均方算法的参数设置：步长为0.05；维度为300；核参数为1；α＝0.9，β＝0.01，p＝0.998，q＝0.002；μ_min＝0.05，μ_max＝2。

如图3所示，横坐标表示迭代次数，纵坐标表示测试均方差，单位为dB，曲线A表示随机傅里叶特征核最小均方算法，曲线B表示基于变步长的随机傅里叶特征核最小均方算法，曲线C表示基于变元步长的随机傅里叶特征核最小均方算法，在Lorenz混沌时间序列预测的实验中，本发明提出的基于变元步长的随机傅里叶特征核最小均方算法相比于未采用变元步长策略的随机傅里叶特征核最小均方算法和变步长随机傅里叶特征核最小均方算法，在相同的复杂度情况下精度提高1dB；收敛速度得到明显提升。

实施例二：时变信道均衡

实验条件：信道模型线性部分的传递函数定义如下：

h₀＝0.3482，h₁＝0.8704，h₂＝0.3482；

h₀(j)、h₁(j)和h₂(j)分别表示时变系数；

H_z＝h₀+h₀(j)+h₁+h₁(j)_z-1+h₂+h₂(j)_z由二阶Markov模型生成，其中白噪声由二阶巴特沃斯滤波器生成。

信道非线性部分的模型定义如下：

r(n)＝x(n)+0.2x(n)²+v(n)；

其中v(n)为信噪比为20dB的白高斯噪声。

变元步长随机傅立叶特征核最小均方算法的参数设置：步长为0.2；维度选择为300；核参数为2；α＝0.9，β＝0.1，p＝0.99，q＝0.001；μ_min＝0.2，μ_max＝2。

如图4所示，横坐标表示迭代次数，纵坐标表示测试均方差，单位为dB，曲线A表示随机傅里叶特征核最小均方算法，曲线B表示基于变步长的随机傅里叶特征核最小均方算法，曲线C表示基于变元步长的随机傅里叶特征核最小均方算法，在时变信道均衡实验中，本发明提出的基于变元步长的随机傅里叶特征核最小均方算法相比于未采用变元步长策略的随机傅里叶特征核最小均方算法和变步长随机傅里叶特征核最小均方算法，在精度相等情况下，收敛速度得到明显提升。

Claims (2)

1.基于变元步长的随机傅里叶特征核最小均方算法，其特征在于，具体过程为：

S1、计算核自适应滤波器的输出：

核自适应滤波器的输入信号向量为x(n)，则输出信号向量y(n)为：

y(n)＝Ω(n)^Tφ(x(n))；

其中，Ω(n)表示第n次迭代的权值向量，n＝1,2,…,R，φ(x(n))表示随机傅里叶特征向量；

S2、计算误差：

误差e(n)＝d(n)-y(n)；

其中，d(n)表示期望响应；

S3、将S1中第n次迭代的权值向量Ω(n)更新为第n+1次迭代的Ω(n+1)：

Ω(n+1)＝Ω(n)+μ(n)e(n)φ(x(n))；

其中，μ(n)表示第n次迭代的步长；

S4、将S3中第n次迭代的步长μ(n)更新为第n+1次迭代的步长μ(n+1)：

μ(n+1)＝αμ(n)+μ_m(n)e(n)²；

其中，α表示取值范围为(0,1)的常数，μ_m(n)表示第n次迭代的元步长；

S5、判断S4获取的第n+1次迭代的步长μ(n+1)的值：

如果μ(n+1)＞μ_max或μ(n+1)＜μ_min，则令μ(n+1)＝μ(n)；

如果μ_min≤μ(n+1)≤μ_max，则令μ(n+1)＝μ(n+1)；

其中，μ_min和μ_max分别为预先设定的步长取值范围的最小值和最大值；

然后执行S6；

S6、将S4中第n次迭代的元步长μ_m(n)更新为第n+1次迭代的元步长μ_m(n+1)：

μ_m(n+1)＝pμ_m(n)+qe(n)²；

其中，p和q表示取值范围为(0,1)的常数；

返回执行S1获取第n+1次迭代的核自适应滤波器的输出。

2.根据权利要求1所述的基于变元步长的随机傅里叶特征核最小均方算法，其特征在于，S1所述随机傅里叶特征向量φ(x(n))的获取方法为：

S1-1、对输入信号向量x(n)进行维度扩展，获得维度扩展后输入向量x'(n)：

x'(n)＝[x(n-L+1),…,x(n)]；

其中，L表示向量维度；

S1-2、通过特征映射φ(·)映射到高维特征空间，得到随机傅里叶向量：

其中：D表示维度，ω表示随机参数向量，ω₁和ω_D分别表示第1维随机参数向量和第D维随机参数向量，蒙特卡洛样本集

服从独立同分布；当选择高斯核时，满足高斯分布N(0,σ²I)，其中，I表示与输入信号向量维度相同的单位向量；σ表示高斯核带宽。

Images