CN110852451B - 基于核函数的递归核自适应滤波方法 - Google Patents

Abstract

本发明公开了一种基于核函数的递归核自适应滤波算法，其包括S1初始化方差参数、核参数、阶次参数和网络参数；S2、将一组训练数据中的输入信号和期望输出采用核函数映射到高维特征空间中；S3将输入信号在高维特征空间中的映射结果与高维特征空间中的权重向相乘得到当前迭代的输出结果并采用输出结果和期望输出在高维特征空间中的偏差值；S4将输入信号、映射结果、输出结果、期望输出和偏差值输入神经网络，对神经网络进行训练；S5判断所有组训练数据是否均已使用，若是，进入步骤S6，否则选取一组未使用的训练数据，将i累加一次并返回步骤S2；S6利用训练好的核自适应滤波模型对新输入的信号进行滤波。

Description

基于核函数的递归核自适应滤波方法

技术领域

本发明涉及滤波技术，具体涉及一种基于核函数的递归核自适应滤波方法。

背景技术

核自适应滤波算法广泛地运用于目前大热的机器学习相关的领域；核自适应滤波算法的基本思想是建立一个模型，将输入的数据通过核方程映射到特征空间进行处理，由处理的结果修改模型自身参数使其得到更加接近期望值的输出，迭代地进行此过程，输入新的数据进行训练，直到处理的结果达到预期值，该模型就可以用来解决诸如时间序列预测、模式识别与分类、降维、图片处理、数据压缩与重构、非线性回归等问题，具有重要的实际意义。

目前常用的核滤波算法有KLMS(kernel least-mean-square algorithm)核滤波算法、KRLS(kernel recursive least-squares algorithm)核滤波算法、KLMP(kernelleast mean p-power algorithm)核滤波算法及KRGMC(kernel recursive generalizedmaximum correntropy)核滤波算法等，这些滤波算法在使用时存在如下缺点：

KLMS、KRLS核自适应滤波算法都采用了MSE(平均均方误差)作为误差测度，在背景噪声为非高斯分布时，采用MSE作为误差测度会使算法的表现大大下降，具体表现为较低的准确度和较差的稳定性；KLMP，KRGMC算法的缺陷是神经网络的规模太大，这两种算法随着神经网络迭代次数的增加，网络的规模近乎呈线性增长，当数据量很大时，网络就存在计算速度慢、占用空间大的问题。

发明内容

针对现有技术中的上述不足，本发明提供的基于核函数的递归核自适应滤波方法解决了现有KLMS、KRLS核自适应滤波误差大的问题。

为了达到上述发明目的，本发明采用的技术方案为：

基于核函数的递归核自适应滤波算法，其包括：

S1、初始化方差参数σ、核参数q、阶次参数p和网络参数；

S2、将一组训练数据中的输入信号和期望输出采用核函数映射到高维特征空间中，核函数为：

其中，k_q，σ(X_i-Y_i)为核函数；X_i为第i个训练数据中的输入信号；Y_i为第i个训练数据中的期望输出；[x，0]₊为取x，0中的较大值；

S3、将输入信号X_i在高维特征空间中的映射结果h_i与高维特征空间中的网络权值θ_i-1相乘得到当前迭代的输出结果y_i，并采用输出结果y_i和期望输出d_i在高维特征空间中的偏差值e_i＝d_i-y_i；

S4、将输入信号X_i、映射结果h_i、输出结果y_i、期望输出d_i和偏差值e_i输入神经网络，对神经网络进行训练；

S5、判断所有组训练数据是否均已使用，若是，进入步骤S6，否则选取一组未使用的训练数据，将i累加一次，并返回步骤S2；

S6、利用训练好的核自适应滤波模型对新输入的信号进行滤波。

本发明的有益效果为：本方案提供的核函数具有较高的灵活性，其可以通过修改核参数q来逼近不同的核函数，通过修改核参数q可以的到各种核函数，这样可以在面对不同噪声时，灵活地调整核参数q，以达到最好的滤波效果。

本方案在高斯分布在内的各种背景噪声分布环境下，能够对信号进行特征提取，从训练数据中学习，修改自身参数，从而对新输入的信号进行预测和处理，可以达到很高的精度，同时本方案还具有较强的抵御噪声的能力。

本方案通过对训练数据进一步判断，可以删除质量不是很好的数据，通过剔除误差较大的训练数据后，可以缩小最终得到的网络规模，以达到节省内存空间及提高计算速度的目的。

附图说明

图1为基于核函数的递归核自适应滤波方法的流程图。

图2为本方案未引入和引入剔除误差大的训练数据后与背景技术中提到的四种方法的准确度和稳定性的对比图。

图3为本方案未引入和引入剔除误差大的训练数据后与背景技术中提到的四种方法的网络规模的对比图。

图4为本方案的核函数选取不同核参数时的滤波效果对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了基于核函数的递归核自适应滤波方法的流程图；如图1所示，该方法S包括步骤S1至步骤S6。

在步骤S1中，初始化方差参数σ、核参数q、阶次参数p和网络参数；

在步骤S2中，将一组训练数据中的输入信号和期望输出采用核函数映射到高维特征空间中，核函数为：

其中，k_q，σ(X_i-Y_i)为核函数；X_i为第i个训练数据中的输入信号；Y_i为第i个训练数据中的期望输出；[x，0]₊为取x，0中的较大值；

本方案构建的核函数由于其核参数在面对不同噪声时，可以通过调整核参数q的以使本方案适用于不同的噪声，以保证较好的滤波效果；图4示出来了，在核参数q在不同取值范围下的滤波效果；通过图4可以看出，通过调整q-Renyi核函数(本反感构建的核函数)核参数q，q-Renyi核函数可以很好地逼近各种已广泛运用的核函数，如高斯核函数(当q等于1)，均匀分布核函数(当q的值很大时)和脉冲核函数(当q的值接近于下限1/3)。

总之，q越小，q-Renyi核函数形状越尖锐，q越大，q-Renyi核函数分布越均匀，这种灵活的性质可以使运用q-Renyi核函数的算法在面对各种不同噪声时，有着更好的稳定性，结果更加精准，图2就反映了这点。

本方案的训练数据为时间信号、二维灰度图像或三维RGB彩色图像；所述时间信号包括声音信号和运动物体的速度。

在步骤S3中，将输入信号X_i在高维特征空间中的映射结果h_i与高维特征空间中的网络权值θ_i-1相乘得到当前迭代的输出结果y_i，并采用输出结果y_i和期望输出d_i在高维特征空间中的偏差值e_i＝d_i-y_i；

在步骤S4中，将输入信号X_i、映射结果h_i、输出结果y_i、期望输出d_i和偏差值e_i输入神经网络，对神经网络进行训练；训练神经网络所用的代价函数为：

其中，J_p(X，Y)为训练数据集(X，Y)的代价函数；

为映射关系，F为高维特征空间，k(X，Y)为训练数据集(X，Y)的核函数；(X，Y)为训练数据(x_i，y_i)的集合。

在本发明的一个实施例中，对神经网络进行训练的方法进一步包括：

S41、计算中间阈值

| |为绝对值符号，d₁为输入的第一个训练数据的期望输出；

S42、判断中间阈值是否大于零，若是，进入步骤S43，否则令导数g_i＝0；

S43、根据核参数q和偏差值e_i计算导数g_i：

其中，kk为核函数对e_i求导得到的的导数；g_i为代价函数对e_i求导；

S44、根据导数g_i、映射结果h_i和偏差值e_i，计算迭代矩阵

G_i、P_i、r_i、z_i和网络权值θ_i：

其中，k_ii为高维输入向量的自相关性；( )^T为转置，γ为正则化参数；G₀为迭代矩阵的初始值；G_i为迭代矩阵，是每一次迭代计算所得g_i的集合；向量h_i为映射结果h_i的集合。

本方案在对神经网络进行训练过程中，每次迭代时会不断地加入新的训练数据，可以使误差不断地下降到一个较小的值，从而能够得到更加满足输入输出要求的核自适应滤波模型。

实施时，本方案优选迭代矩阵的初始值G₀的计算方法包括：

所述迭代矩阵的初始值的计算方法包括：

A1、计算中间阈值

A2、判断中间阈值是否大于零，若是，进入步骤A3，否则令导数g_i＝0；

A3、根据核参数q和首次选取的训练数据的期望输出计算导数g₁：

A4、令迭代矩阵的初始值G₀＝[g₁]。

在步骤S5中，判断所有组训练数据是否均已使用，若是，进入步骤S6，否则选取一组未使用的训练数据，将i累加一次，并返回步骤S2；

在步骤S6中，利用训练好的核自适应滤波模型对新输入的信号进行滤波。

在本发明的一个实施例中，步骤S3与步骤S4之间还包括剔除误差大的训练数据：

B1、计算剔除训练数据的判据值：

f_i(X(i+1))＝h(i+1)^Tθ(i)e(i+1)＝Y(i+1)-f_i(X(i+1))

r(i+1)＝λ+k(X(i+1)，X(i+1))-h(i+1)^TP(i)h(i+1)

其中，S(i+1)为第i+1个训练数据的判据值；λ为正则化常数；p(.)为自相关迭代矩阵；Γ(i)为当前系统状态；f_i(X(i+1))为当前系统对下一输入数据X(i+1)的输出结果；h(i+1)为第i+1个训练数据的映射结果；

B2、判据值是否位于阈值T1和阈值T2之间，若是，进入步骤S4；否则进入步骤B3；

B3、删除当前组训练数据，并选取一组未选取的训练数据，之后返回步骤S2。

本方案通过引入剔除误差大的训练数据后，能够对错误或者精度不高的训练数据进行排除，通过这种方式对数据的筛选，极大地减小了系统神经网络的规模，大大节省了内存空间，进而提高了计算速度，使得其便于推广。

下面结合具体的试验，对本方案提供的递归核自适应滤波方法的效果进行说明：

首先对试验环境进行说明，本实验对Mackey-Glass(MG)time series(MG时间序列)进行预测，该时间序列是非线性的时间序列，表达式为：

在实验中各个参数设置为a＝0.1，b＝0.2，τ＝30，采样周期t设置为6s，插入时间为7s，测试中对数据集添加了复合噪声，表达式为：

v(i)＝(1-θ(i))A(i)+θ(i)B(i)

v向量表示复合噪声，其中每一个元素为vi，复合噪声由两个噪声A和B叠加而成，A为方差较小的持续噪声干扰，此处选用高斯白噪声，均值设置为0，方差0.01；B噪声为突发的大脉冲噪声，此处选用α分布噪声，噪声参数为Pα＝[1.3；0；0.1；0]；θ_i为噪声发生的概率。

训练集数量等于迭代次数，测试集数量为训练集的五分之一，用MSE(均方误差)来衡量测试精度，用网络节点数目(即迭代矩阵大小)衡量网络规模；分别采用现有技术中KLMS、KRLS、KLMP，KRGMC核自适应算法及本方案中未考虑剔除误差大的训练数据(qRKMPL)和考虑了剔除误差大的训练数据(S-qRKMPL)后的递归核自适应滤波方法对MG时间序列进行处理，这几种算法处理后的预测误差可以参考图2和表1。

表1为不同算法的测试精度结果

算法类别	测试分贝
		KLMS	-31.31
KLMP	-32.78
		KRLS	-36.08
KRGMC	-45.30
		KRLP	50.49
S-qRKMPL	-51.92
		qRKMPL	-51.98

图2中最下面两根基本重合的线为本方案的qRKMPL和S-qRKMPL，从图2可以看出，在满足α分布的噪声环境下中，同一迭代次数下，本方案的qRKMPL和S-qRKMPL的误差最小，采用MSE的KLMS和KRLS算法相较于采取采用了KMPL误差测度的KRLP和KLMP而言算法波动更大，误差也更大。

图2可以看出，本方案的qRKMPL和S-qRKMPL对比其他算法，改善了对于非线性系统预测的精度，预测更加准确；也具有更快的收敛速度；同时，抵抗噪声尤其是较大的异常噪声的能力也更加强大。由表1同样可以看出本方案的qRKMPL和S-qRKMPL预测误差小于其他算法。

为了验证本方案引入的剔除误差大的训练数据后可以降低网络规模的可行性，本方案在背景技术中的KLMS也引入本方案提供的剔除误差大的训练数据后形成算法SKLMS，在KRGMC中也引入本方案提供的剔除误差大的训练数据后形成算SKRGMC，通过KLMS、SKLMS、KRGMC、qRKMPL和S-qRKMPL对MG时间序列进行处理，这几种算法处理后的精度可以参考图3。

由图3可以看出，加入剔除误差大的训练数据后，不同于其他网络规模近乎随迭代次数成线性增长的算法，本方案的神经网络规模较小，节省内存，同时可以从表1中看出加入剔除误差大的训练数据后的算法精度同样很高，有较大的应用价值。

Claims (5)

1.基于核函数的递归核自适应滤波方法，其特征在于，包括：

S1、初始化方差参数σ、核参数q和网络参数；

S2、将一组训练数据中的输入信号和期望输出采用核函数映射到高维特征空间中，所述训练数据为时间信号、二维灰度图像或三维RGB彩色图像；所述时间信号包括声音信号和运动物体的速度；核函数为：

其中，k_q，σ(X_i-Y_i)为核函数；X_i为第i个训练数据中的输入信号；Y_i为第i个训练数据中的期望输出；[x，0]₊为取x，0中的较大值；

S3、将输入信号X_i在高维特征空间中的映射结果h_i与高维特征空间中的网络权值θ_i-1相乘得到当前迭代的输出结果y_i，并采用输出结果y_i和期望输出d_i在高维特征空间中的偏差值e_i＝d_i-y_i；

S4、将输入信号X_i、映射结果h_i、输出结果y_i、期望输出d_i和偏差值e_i输入神经网络，对神经网络进行训练；

S5、判断所有组训练数据是否均已使用，若是，进入步骤S6，否则选取一组未使用的训练数据，将i累加一次，并返回步骤S2；

S6、利用训练好的核自适应滤波模型对新输入的信号进行滤波。

2.根据权利要求1所述的基于核函数的递归核自适应滤波方法，其特征在于，训练神经网络所用的代价函数为：

其中，J_p(X，Y)为训练数据集(X，Y)的代价函数；p为阶次参数；

为映射关系，F为高维特征空间，k(X，Y)为训练数据集(X，Y)的核函数；(X，Y)为训练数据(x_i，y_i)的集合。

3.根据权利要求2所述的基于核函数的递归核自适应滤波方法，其特征在于，对神经网络进行训练的方法进一步包括：

S41、计算中间阈值

||为绝对值符号，d₁为输入的第一个训练数据的期望输出；

S42、判断中间阈值是否大于零，若是，进入步骤S43，否则令导数g_i＝0；

S43、根据核参数q和偏差值e_i计算导数g_i：

其中，kk为核函数对e_i求导得到的导数；g_i为代价函数对e_i求导；

S44、根据导数g_i、映射结果h_i和偏差值e_i，计算迭代矩阵

G_i、P_i、r_i、z_i和网络权值θ_i：

其中，k_ii为高维输入向量的自相关性；()^T为转置，γ为正则化参数；G₀为迭代矩阵的初始值；G_i为迭代矩阵，是每一次迭代计算所得g_i的集合；向量h_i为映射结果h_i的集合。

4.根据权利要求3所述的基于核函数的递归核自适应滤波方法，其特征在于，所述迭代矩阵的初始值的计算方法包括：

A1、计算中间阈值

A2、判断中间阈值是否大于零，若是，进入步骤A3，否则令导数g_i＝0；

A3、根据核参数q和首次选取的训练数据的期望输出计算导数g₁：

A4、令迭代矩阵的初始值G₀＝[g₁]。

5.根据权利要求1-4任一所述的基于核函数的递归核自适应滤波方法，其特征在于，步骤S3与步骤S4之间还包括剔除误差大的训练数据：

B1、计算剔除训练数据的判据值：

f_i(X(i+1))＝h(i+1)^Tθ(i)e(i+1)＝Y(i+1)-f_i(X(i+1))

r(i+1)＝λ+k(X(i+1)，X(i+1))-h(i+1)^TP(i)h(i+1)

其中，S(i+1)为第i+1个训练数据的判据值；λ为正则化常数；p(.)为自相关迭代矩阵；Γ(i)为当前系统状态；f_i(x(i+1))为当前系统对下一输入数据X(i+1)的输出结果；h(i+1)为第i+1个训练数据的映射结果；

B2、判据值是否位于阈值T1和阈值T2之间，若是，进入步骤S4；否则进入步骤B3；

B3、删除当前组训练数据，并选取一组未选取的训练数据，之后返回步骤S2。

Images