CN109474258A - 基于核极化策略的随机傅立叶特征核lms的核参数优化方法 - Google Patents

Abstract

基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，它用于核自适应滤波器技术领域。本发明解决了现有的随机傅立叶特征核最小均方算法的稳态精度低的问题。本发明通过核极化策略得到优化的核参数值，这些极化核参数值相比于随机采样得到的参数值更加匹配训练数据中所包含的特征信息，将优化的核参数值用于随机傅立叶特征映射，映射后的特征子空间更加接近于给定的学习任务模型；基于该极化特征网络构建的核自适应滤波器的非线性建模性能得以提高，与未采用核极化策略的随机傅立叶特征最小均方算法相比，在同样复杂度下，本发明方法的稳态精度提高1dB到2dB。本发明可以应用于核自适应滤波器技术领域。

Description

基于核极化策略的随机傅立叶特征核LMS的核参数优化方法

技术领域

本发明属于核自适应滤波器领域，具体涉及一种核自适应滤波器的核参数优化方法。

背景技术

核自适应滤波器是基于核学习的自适应滤波器，相比于传统的自适应滤波器，其非线性建模能力得到了极大的提高。随机傅立叶特征核最小均方算法是一种基于核近似技术的核自适应滤波算法。在非线性信号处理的多个领域(非线性系统辨识、非线性时间序列预测、回声消除等)具有广泛的应用前景。基于随机傅立叶特征的核最小均方算法从根本上客服了核自适应滤波的权值网络增长问题，计算复杂度大幅度降低。相比于基于稀疏化方法的核自适应滤波算法，算法的结构更加的简单，不需要构建稀疏化的特征字典，计算复杂度相对较低。

核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅立叶特征方法通过近似高斯核得到显式的特征映射表达，从而得以通过迭代的权值网络进行计算，得到接近线性算法的计算复杂度。相比于Nystrom方法，基于随机傅立叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下，网络规模不会增长。

作为一种有效的核近似技术，随机傅立叶特征采用cos(w′(x-y))近似替代e^{jw ′(x-y)}。使得存在cos(w′(x-y))＝z_w(x)^Tz_w(y)，其中随机基z_w(x)＝[cos(w′x)sin(w′x)]。为了降低近似误差，进一步采用了蒙特卡洛平均方法，即：

因此随机特征基可表示为：

其中随机样本服从独立同分布。当选择高斯核时，满足高斯分布N(0,2γI)。

实际工程应用当中，KLMS滤波器的权值迭代过程为：

w(n+1)＝w(n)+μx(n)e(n)

由以上迭代过程可知，现有的随机傅立叶特征的核参数需要从特定的分布中随机采样，这些核参数满足独立同分布，且独立于训练样本，使得随机傅立叶特征核最小均方算法(Least Mean Square，最小均方算法)的稳态精度低，难以满足实际要求。

发明内容

本发明的目的是为了解决现有的随机傅立叶特征核最小均方算法的稳态精度低的问题。

本发明为解决上述技术问题采取的技术方案是：

基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，该方法包括以下步骤：

步骤一、随机生成M组独立同分布的核参数值且所述M组独立同分布的核参数值满足高斯分布N(0,σ²I)，w_m代表第m组核参数值，其中m＝1,2,…,M，I为单位向量，σ为核带宽；

步骤二、给定训练集x(i)代表训练集的第i组输入信号，d(i)代表训练集的第i组期望信号，N代表训练集样本量；单位向量I的维度与输入向量x(i)的维度相同；

步骤三、根据核极化评价函数得到M组独立同分布的核参数值的极化值φ(x(i),w_m)代表未优化的显示特征向量，

步骤四、对M组独立同分布的核参数值的极化值由大到小进行排序，从中选出极化值最大的M′个值，将选出的M′个值所对应的核参数值作为极化核参数值j为M′中的第j组极化核参数值；

步骤五、将步骤二给定的训练集输入随机傅立叶特征核LMS算法，并输入步长μ和核参数集

初始化权值向量Ω(1)，设置迭代循环的次数为N，计算出每次迭代对应的期望误差；

步骤六、利用计算出的期望误差来获得输入随机傅立叶特征核LMS算法的核参数集的稳态均方误差值。

本发明的有益效果是：本发明的基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，本发明方法通过核极化策略得到优化的核参数值，这些极化核参数值相比于随机采样得到的参数值更加匹配训练数据中所包含的特征信息，因此基于核极化策略的随机傅立叶特征与训练数据的特征信息更加匹配；然后将优化的核参数值用于随机傅立叶特征映射，该映射后的特征子空间更加接近于需要学习的核特征空间，从而构建的极化特征映射网络更加接近给定的学习任务模型；基于该极化特征网络构建的核自适应滤波器的非线性建模性能得以提高，本发明的核极化策略有效地提高了随机傅立叶特征核最小均方算法的稳态精度性能，与未采用核极化策略的随机傅立叶特征最小均方算法相比，在同样复杂度下，稳态精度提高1dB到2dB。

附图说明

图1是本发明方法的流程图；

图2是本发明的基于核极化策略的随机傅立叶特征核LMS的核参数优化方法的结构图；

图3是在Lorenz混沌时间序列预测的实验中，传统随机傅立叶特征核最小均方算法和本发明基于核极化策略的随机傅立叶特征核LMS的稳态均方误差对比图；

图4是在时变信道均衡实验中，传统随机傅立叶特征核最小均方算法和本发明基于核极化策略的随机傅立叶特征核LMS的稳态均方误差对比图。

图3和图4中的“极化随机傅立叶特征核最小均方算法”是指本发明的“基于核极化策略的随机傅立叶特征核LMS方法”，“随机傅立叶特征核最小均方算法”是指“传统(未采用极化策略)随机傅立叶特征核最小均方算法”。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：结合图1说明本实施方式。本实施方式所述的基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，该方法包括以下步骤：

步骤一、随机生成M组独立同分布的核参数值且所述M组独立同分布的核参数值满足高斯分布N(0,σ²I)，w_m代表第m组核参数值，其中m＝1,2,…,M，I为单位向量，σ为核带宽；

步骤二、给定训练集x(i)代表训练集的第i组输入信号，d(i)代表训练集的第i组期望信号，N代表训练集样本量；单位向量I的维度与输入向量x(i)的维度相同；

步骤三、根据核极化评价函数得到M组独立同分布的核参数值的极化值φ(x(i),w_m)代表未优化的显示特征向量，

步骤四、对M组独立同分布的核参数值的极化值由大到小进行排序，从中选出极化值最大的M′个值，将选出的M′个值所对应的核参数值作为极化核参数值j为M′中的第j组极化核参数值；

步骤五、将步骤二给定的训练集输入随机傅立叶特征核LMS算法，并输入步长μ和核参数集

初始化权值向量Ω(1)，设置迭代循环的次数为N，计算出每次迭代对应的期望误差；

步骤六、利用计算出的期望误差来获得输入随机傅立叶特征核LMS算法的核参数集的稳态均方误差值。

通常来讲，对于给定的学习任务，经过核映射的样本所构造的数据矩阵与期望数据组成的矩阵越相关，则建模过程得到的解越符合学习任务的期望。因此本专利引入了核极化方法对随机傅立叶特征的样本进行筛选，以期通过得到的该组随机参数值获得更好的建模性能。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一中M的取值范围为[10,10000]。

具体实施方式三：本实施方式与具体实施方式一不同的是：步骤一中核带宽σ的取值范围[0.01,10]。

具体实施方式四：本实施方式与具体实施方式一不同的是：步骤四中M′的取值范围为[50，1000]。

具体实施方式五：本实施方式与具体实施方式一不同的是：步骤五的具体过程为：

如图2所示，将步骤二给定的训练集依次输入随机傅立叶特征核LMS算法，并输入步长μ和核参数集

初始化权值向量Ω(1)，设置迭代循环的次数为N；

对于第1次迭代：通过特征映射φ_p(·)的映射，计算得到极化特征向量φ_p(x(1))为：

其中：核参数w₁，…，w_M′服从独立同分布；

利用极化特征向量φ_p(x(1))计算出滤波器输出y(1)为：

y(1)＝Ω(1)^Tφ_p(x(1))

其中：Ω(1)^T为Ω(1)的转置；

利用滤波器输出y(1)计算出期望误差e(1)为：

e(1)＝d(1)-y(1)

并得到更新后的权值向量Ω(2)为：

Ω(2)＝Ω(1)+μe(1)φ_p(x(1))

对于第2次迭代：计算得到极化特征向量φ_p(x(2))为：

计算滤波器输出y(2)为：

y(2)＝Ω(2)^Tφ_p(x(2))

计算期望误差e(2)为：

e(2)＝d(2)-y(2)

并得到更新后的权值向量Ω(3)为：

Ω(3)＝Ω(2)+μe(2)φ_p(x(2))

同理，直至完成N次迭代，得到每次迭代对应的期望误差。

x(i-L+1)代表第i-L+1组输入信号；代表第i组输入向量；L为输入向量的维度；Ω(i)为第i次迭代对应的权值向量；e(i)为第i次迭代对应的期望误差；y(i)为第i次迭代对应的滤波器输出；φ_p(x(i))为第i次迭代对应的极化特征向量，φ_p(x(i),w_M')为第i次迭代的第M'组的极化特征向量；φ_p(x(i),w₁)为第i次迭代的第1组的极化特征向量；

具体实施方式六：本实施方式与具体实施方式一不同的是：步骤六的具体过程为：

取N次中最后50次迭代的期望误差的平方的均值作为输入随机傅立叶特征核LMS算法的核参数集的稳态均方误差值。

实施例

实例1：Lorenz混沌时间序列预测

实验条件：应用场景为已知过去的样本值[x(n-5),x(n-4),…,x(n-1)]，预测当前的样本值x(n)；

Lorenz模型描述为以下的三阶差分方程：

其中，a＝10；b＝8/3；c＝28；四阶龙格库塔法的步长0.01。生成的时间序列添加20dB白噪声。

本发明基于核极化策略的随机傅立叶特征核最小均方算法的参数设置：步长为0.1；维度为100；核参数为1；

由图3可知，在Lorenz混沌时间序列预测的实验中，提出的方法相比于未采用极化策略的随机傅立叶特征方法，在相同的复杂度情况下精度提高1dB；

实例2：时变信道均衡

实验条件：信道模型线性部分的传递函数定义如下：

其中：h₀＝0.3482；h₁＝0.8704；h₂＝0.3482；h₀(j),h₁(j),h₂(j)分别为时变系数，由二阶Markov模型生成，其中白噪声由二阶巴特沃斯滤波器生成。信道非线性部分的模型定义如下：r(n)＝x(n)+0.2x(n)²+v(n),其中v(n)为信噪比为20dB的白高斯噪声。

极化随机傅立叶特征核最小均方算法的参数设置：步长为0.1；维度选择为100；核参数为2；

由图4可知，在时变信道均衡实验中提出的方法相比未采用极化策略的随机傅立叶特征方法相比，相同复杂度下精度提高2.2dB；

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，该方法包括以下步骤：

步骤一、随机生成M组独立同分布的核参数值且所述M组独立同分布的核参数值满足高斯分布N(0,σ²I)，w_m代表第m组核参数值，其中m＝1,2,…,M，I为单位向量，σ为核带宽；

步骤二、给定训练集x(i)代表训练集的第i组输入信号，d(i)代表训练集的第i组期望信号，N代表训练集样本量；单位向量I的维度与输入向量x(i)的维度相同；

步骤三、根据核极化评价函数得到M组独立同分布的核参数值的极化值φ(x(i),w_m)代表未优化的显示特征向量；

步骤四、对M组独立同分布的核参数值的极化值由大到小进行排序，从中选出极化值最大的M′个值，将选出的M′个值所对应的核参数值作为极化核参数值j为M′中的第j组极化核参数值；

步骤五、将步骤二给定的训练集输入随机傅立叶特征核LMS算法，并输入步长μ和核参数集

初始化权值向量Ω(1)，设置迭代循环的次数为N，计算出每次迭代对应的期望误差；

步骤六、利用计算出的期望误差来获得输入随机傅立叶特征核LMS算法的核参数集的稳态均方误差值。

2.根据权利要求1所述基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，步骤一中M的取值范围为[10,10000]。

3.根据权利要求1所述基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，步骤一中核带宽σ的取值范围[0.01,10]。

4.根据权利要求1所述基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，步骤四中M′的取值范围为[50，1000]。

5.根据权利要求1所述基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，步骤五的具体过程为：

将步骤二给定的训练集输入随机傅立叶特征核LMS算法，并输入步长μ和核参数集

初始化权值向量Ω(1)，设置迭代循环的次数为N；

对于第1次迭代：通过特征映射φ_p(·)的映射，计算得到极化特征向量φ_p(x(1))为：

其中：核参数w₁，…，w_M′服从独立同分布；

利用极化特征向量φ_p(x(1))计算出滤波器输出y(1)为：

y(1)＝Ω(1)^Tφ_p(x(1))

其中：Ω(1)^T为Ω(1)的转置；

利用滤波器输出y(1)计算出期望误差e(1)为：

e(1)＝d(1)-y(1)

并得到更新后的权值向量Ω(2)为：

Ω(2)＝Ω(1)+μe(1)φ_p(x(1))

对于第2次迭代：计算得到极化特征向量φ_p(x(2))为：

计算滤波器输出y(2)为：

y(2)＝Ω(2)^Tφ_p(x(2))

计算期望误差e(2)为：

e(2)＝d(2)-y(2)

并得到更新后的权值向量Ω(3)为：

Ω(3)＝Ω(2)+μe(2)φ_p(x(2))

同理，直至完成N次迭代，得到每次迭代对应的期望误差。

6.根据权利要求1所述基于核极化策略的随机傅立叶特征核LMS的核参数优化方法，其特征在于，步骤六的具体过程为：

取N次中最后50次迭代的期望误差的平方的均值作为输入随机傅立叶特征核LMS算法的核参数集的稳态均方误差值。