CN109217844B - 基于预训练随机傅里叶特征核lms的超参数优化方法 - Google Patents
基于预训练随机傅里叶特征核lms的超参数优化方法 Download PDFInfo
- Publication number
- CN109217844B CN109217844B CN201811280151.1A CN201811280151A CN109217844B CN 109217844 B CN109217844 B CN 109217844B CN 201811280151 A CN201811280151 A CN 201811280151A CN 109217844 B CN109217844 B CN 109217844B
- Authority
- CN
- China
- Prior art keywords
- parameter
- hyper
- dimension
- value
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H21/00—Adaptive networks
- H03H21/0012—Digital adaptive filters
- H03H21/0043—Adaptive algorithms
Landscapes
- Complex Calculations (AREA)
Abstract
基于预训练随机傅里叶特征核LMS的超参数优化方法,它用于核自适应滤波器的超参数优化技术领域。本发明解决了为保证算法的精度性能以及降低算法计算复杂度,如何获取一组超参数值的问题。本发明在预训练集合的基础上,实现各维度下的随机傅里叶特征的性能评价,在最小均方误差准则下能够通过预训练得到的最小均方误差值确定最优维度下的一组傅里叶特征超参数取值集合,本发明的方法减少了达到精度条件所需的随机傅里叶特征的维度从而降低了复杂度,且在自适应滤波系统中提高被建模系统与随机傅里叶特征网络的耦合度,克服了超参数取值由于随机采样差异性带来的稳态性能不稳定的问题。本发明可以应用于核自适应滤波器的超参数优化技术领域用。
Description
技术领域
本发明属于核自适应滤波器的超参数优化技术领域,具体涉及一种基于预训练随机傅里叶特征核LMS(Least Mean Square,最小均方算法)的超参数优化方法。
背景技术
核自适应滤波器是一种核学习方法和传统自适应滤波方法相结合的滤波技术。引入了将原始空间的非线性问题转化为高维特征空间的线性优化问题进行求解的思想。在非线性信号处理的多个领域(非线性系统辨识、非线性时间序列预测、回声消除等)广泛证实了其具有较好的非线性系统建模能力。
随机傅里叶特征核最小均方算法是基于核近似技术的一种核自适应滤波算法。其结构本质上是一种单层神经网络模型。核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅里叶特征方法通过近似高斯核得到显式的特征映射表达,从而得以通过迭代的权值网络进行计算,得到接近线性算法的计算复杂度。相比于Nystrom方法,基于随机傅里叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下,网络规模不会增长。
由Bochner理论可知,高斯核存在一个对应的概率分布p(w),使得核函数存在无偏估计。为了保证得到实数化的特征,由cos(w′(x-y))近似替代ejw′(x-y)。因此假设存在cos(w′(x-y))=zw(x)Tzw(y),使得一组随机基满足zw(x)=[cos(w′x)sin(w′x)]。为了降低近似误差,进一步采用蒙特卡洛平均方法,即:
因此随机特征基可表示为:
实际工程应用当中,蒙特卡洛样本通过随机采样方法获取并直接用于随机傅里叶特征核最小均方算法的参数赋值。但是直接使用随机采样值会带来随机采样差异问题,如图1所示。
100次独立蒙特卡洛采样得到100组w样本集,通过训练随机傅里叶特征核最小均方算法继而得到训练和测试稳态均方误差。得到100组训练和测试稳态均方误差之间的差异值很大。因此,在工程应用中使用随机傅里叶特征核最小均方算法时,为了保证算法的精度性能以及降低计算复杂度,如何获取一组超参数值仍面临着极大的挑战。
发明内容
本发明的目的是为了解决为保证算法的精度性能和降低计算复杂度,如何获取一组超参数值的问题。
本发明为解决上述技术问题采取的技术方案是:
基于预训练随机傅里叶特征核LMS的超参数优化方法,该方法包括以下步骤:
步骤二、确定核参数σ的取值,并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm],其中:D1,D2,Dj和Dm分别代表第1个维度参数的取值,第2个维度参数的取值,第j个维度参数的取值和第m个维度参数的取值;
步骤三、对于步骤二的每一个维度均生成N组独立同分布的超参数w集合,超参数w集合满足高斯分布N(0,σ2I),其中:I是指与输入信号x(i)同维度的单位向量;
步骤四、建立预训练随机傅里叶特征核LMS算法,利用步骤一确定的预训练集对建立的算法进行预训练,得到第j个维度下的任一组超参数w集合的稳态均方误差值;
步骤五、对于第j个维度下的其他N-1组超参数w集合均重复步骤四的过程,得到第j个维度下的其他N-1组超参数w集合的稳态均方误差值,通过比较得到第j个维度下的最小的稳态均方误差值;
步骤六、重复步骤四和步骤五的过程,分别得到其余m-1个维度下的最小的稳态均方误差,将不同维度下的最小的稳态均方误差进行比较,并将最小的稳态均方误差中的最小值对应的超参数w集合的值作为超参数的值。
本发明的有益效果是:本发明的基于预训练随机傅里叶特征核LMS的超参数优化方法,本发明的方法基于随机傅里叶特征核最小均方算法,在预训练集合的基础上,实现各维度下的随机傅里叶特征的性能评价,在最小均方误差准则下能够通过预训练得到的最小均方误差值确定最优维度下的一组傅里叶特征超参数取值集合,本发明的方法提高了随机傅里叶特征建模的精度,在自适应滤波系统中提高被建模系统与随机傅里叶特征网络的耦合度,克服了超参数取值由于随机采样差异性带来的稳态性能不稳定的问题。
在核自适应滤波系统的时间序列预测应用场景下,本发明方法在保证相同的精度下,维度可以减小3/4,即计算复杂度平均减小3/4;在核自适应滤波系统的信道均衡应用场景下,本发明方法在保证相同的精度下,维度可以减小2/3,即计算复杂度平均减小2/3。
附图说明
图1是传统核自适应滤波器系统的结构框图;
图1中X(1)和X(N)分别代表第1组输入信号和第N组输入信号,Φ(X(1))和Φ(X(N))分别代表第1组输入信号对应的显示特征向量和第N组输入信号对应的显示特征向量;
图2是本发明方法的流程图;
图3是随机傅里叶特征核LMS算法的结构图;
图4是在Lorenz混沌时间序列预测的实验中,量化核最小均方算法、随机傅里叶特征核最小均方算法(维度D=100)、随机傅里叶特征核最小均方算法(维度D=400)和本发明预训练随机傅里叶特征核LMS(预训练随机傅里叶特征核最小均方算法,维度D=100)的稳态均方误差对比图;
图5是在时变信道均衡实验中,量化核最小均方算法、随机傅里叶特征核最小均方算法(维度D=100)、随机傅里叶特征核最小均方算法(维度D=300)和本发明预训练随机傅里叶特征核LMS(预训练随机傅里叶特征核最小均方算法,维度D=100)的稳态均方误差对比图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
具体实施方式一:结合图2说明本实施方式。本实施方式所述的基于预训练随机傅里叶特征核LMS的超参数优化方法,该方法包括以下步骤:
步骤二、确定核参数σ的取值,并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm],其中:D1,D2,Dj和Dm分别代表第1个维度参数的取值,第2个维度参数的取值,第j个维度参数的取值和第m个维度参数的取值;
步骤三、对于步骤二的每一个维度均生成N组独立同分布的超参数w集合,超参数w集合满足高斯分布N(0,σ2I),其中:I是指与输入信号x(i)同维度的单位向量;
步骤四、建立预训练随机傅里叶特征核LMS算法,(预训练随机傅里叶特征核LMS算法是指:该算法利用的特征映射方法,该特征映射方法可以在同维度下节省一半的超参数w集合的数量)利用步骤一确定的预训练集对建立的算法进行预训练,得到第j个维度下的任一组超参数w集合的稳态均方误差值(MSE);
步骤五、对于第j个维度下的其他N-1组超参数w集合均重复步骤四的过程,得到第j个维度下的其他N-1组超参数w集合的稳态均方误差值,通过比较得到第j个维度下的最小的稳态均方误差值;
步骤六、重复步骤四和步骤五的过程,分别得到其余m-1个维度下的最小的稳态均方误差,将不同维度下的最小的稳态均方误差进行比较,并将最小的稳态均方误差中的最小值对应的超参数w集合的值作为超参数的值。
本实施方式方法的特点:
稳态性能:得到的超参数集合,使得算法性能即使在用于其他建模场景,也能保证一定的稳态性能。本发明的预训练随机傅里叶特征核最小均方算法具有超越平均均方误差的优良性能。
计算复杂度:相比于未预训练的随机傅里叶特征核最小均方算法,预训练的核最小均方算法可以采用较低的维度实现相同的精度。因此同样精度下,计算复杂度更低。
具体实施方式二:本实施方式对实施方式一所述的基于预训练随机傅里叶特征核LMS的超参数优化方法进行进一步的限定,所述步骤二中核参数σ的取值范围为[0.01,2]。
核参数的取值方法:需要多次尝试根据训练误差的效果确定取值。
具体实施方式三:本实施方式对实施方式一所述的基于预训练随机傅里叶特征核LMS的超参数优化方法进行进一步的限定,所述步骤二中第j个维度参数Dj的取值范围为[10,1000],其中:j=1,2,…,m。
维度参数Dj取值方法:建议倍数取值法:如Dj+1为2倍的Dj;Dj+2为2倍的Dj+1;以此类推;
通过训练得到多个核参数下的稳态误差,选择稳态误差最小的核参数值,根据实际计算复杂度及存储需求确定m个维度参数;即实验过程中根据训练得到的多个核参数下的稳态误差不断调整核参数σ值和m个维度的参数值。
具体实施方式四:本实施方式对实施方式二或三所述的基于预训练随机傅里叶特征核LMS的超参数优化方法进行进一步的限定,所述步骤四的具体过程为:
如图3所示,通过特征映射Φ(·)的映射,得到显示特征向量φw(x(i′))表示为:
预训练随机傅里叶特征最小均方算法如下:
初始化预训练随机傅里叶特征核LMS算法值向量Ω(1),设置迭代循环的次数为P;
对于第1次迭代:通过特征映射Φ(·)的映射,计算得到显示特征向量φw(x(1))为:
利用显示特征向量φw(x(1))计算出滤波器输出y(1)为:
y(1)=Ω(1)Tφw(x(1))
其中:Ω(1)T为Ω(1)的转置;
利用滤波器输出y(1)计算出期望误差e(1)为:
e(1)=d(1)-y(1)
并得到更新后的权值向量Ω(2)为:
Ω(2)=Ω(1)+μe(1)φw(x(1))
对于第2次迭代:计算得到显示特征向量φw(x(2))为:
计算滤波器输出y(2)为:
y(2)=Ω(2)Tφw(x(2))
计算期望误差e(2)为:
e(2)=d(2)-y(2)
并得到更新后的权值向量Ω(3)为:
Ω(3)=Ω(2)+μe(2)φw(x(2))
同理,直至完成P次迭代;
取P次中最后50次迭代的期望误差的平方的均值作为输入的超参数w集合的稳态均方误差值。
实施例
实例1:Lorenz混沌时间序列预测
实验条件:应用场景为已知过去的样本值[x(n-5),x(n-4),…,x(n-1)],预测当前的样本值x(n);
Lorenz模型描述为以下的三阶差分方程:
其中,a=10;b=8/3;c=28;四阶龙格库塔法的步长0.01。生成的时间序列添加20dB白噪声。
预训练随机傅里叶特征核最小均方算法的参数设置:步长为0.1;维度选择为10,30,50,100,200,400,800,1600;核参数为1;
由图4可知,在Lorenz混沌时间序列预测的实验中,提出的方法相比于未预训练的随机傅里叶特征方法,在相同的精度下维度为其1/4,即相当于计算复杂度为原来方法的1/4;
实例2:时变信道均衡
实验条件:信道模型线性部分的传递函数定义如下:
其中:h0=0.3482;h1=0.8704;h2=0.3482;h0(j),h1(j),h2(j)分别为时变系数,
由二阶Markov模型生成,其中白噪声由二阶巴特沃斯滤波器生成。信道非线性部分的模型定义如下:r(n)=x(n)+0.2x(n)2+v(n),其中v(n)为信噪比为20dB的白高斯噪声。
预训练随机傅里叶特征核最小均方算法的参数设置:步长为0.1;维度选择为10,30,50,100,200,400,800,1600;核参数为2;
由图5可知,在时变信道均衡实验中提出的方法相比未预训练的随机傅里叶特征方法相比,相同精度下维度为原来的1/3,即计算复杂度为原来的1/3;
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (3)
1.基于预训练随机傅里叶特征核LMS的超参数优化方法,其特征在于,该方法包括以下步骤:
步骤二、确定核参数σ的取值,并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm],其中:D1,D2,Dj和Dm分别代表第1个维度参数的取值,第2个维度参数的取值,第j个维度参数的取值和第m个维度参数的取值;
步骤三、对于步骤二的每一个维度均生成N′组独立同分布的超参数w集合,超参数w集合满足高斯分布N(0,σ2I),其中:I是指与输入信号x(i)同维度的单位向量;
步骤四、建立预训练随机傅里叶特征核LMS算法,利用步骤一确定的预训练集对建立的算法进行预训练,得到第j个维度下的任一组超参数w集合的稳态均方误差值;
所述步骤四的具体过程为:
初始化预训练随机傅里叶特征核LMS算法的权值向量Ω(1),设置迭代循环的次数为P;
对于第1次迭代:通过特征映射Φ(·)的映射,计算得到显示特征向量φw(x(1))为:
利用显示特征向量φw(x(1))计算出滤波器输出y(1)为:
y(1)=Ω(1)Tφw(x(1))
其中:Ω(1)T为Ω(1)的转置;
利用滤波器输出y(1)计算出期望误差e(1)为:
e(1)=d(1)-y(1)
并得到更新后的权值向量Ω(2)为:
Ω(2)=Ω(1)+μe(1)φw(x(1))
对于第2次迭代:计算得到显示特征向量φw(x(2))为:
计算滤波器输出y(2)为:
y(2)=Ω(2)Tφw(x(2))
计算期望误差e(2)为:
e(2)=d(2)-y(2)
并得到更新后的权值向量Ω(3)为:
Ω(3)=Ω(2)+μe(2)φw(x(2))
同理,直至完成P次迭代;
取P次中最后50次迭代的期望误差的平方的均值作为输入的超参数w集合的稳态均方误差值;
步骤五、对于第j个维度下的其他N′-1组超参数w集合均重复步骤四的过程,得到第j个维度下的其他N′-1组超参数w集合的稳态均方误差值,通过比较得到第j个维度下的最小的稳态均方误差值;
步骤六、重复步骤四和步骤五的过程,分别得到其余m-1个维度下的最小的稳态均方误差,将不同维度下的最小的稳态均方误差进行比较,并将最小的稳态均方误差中的最小值对应的超参数w集合的值作为超参数的值。
2.根据权利要求1所述的基于预训练随机傅里叶特征核LMS的超参数优化方法,其特征在于,所述步骤二中核参数σ的取值范围为[0.01,2]。
3.根据权利要求1所述的基于预训练随机傅里叶特征核LMS的超参数优化方法,其特征在于,所述步骤二中第j个维度参数Dj的取值范围为[10,1000],其中:j=1,2,…,m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280151.1A CN109217844B (zh) | 2018-10-30 | 2018-10-30 | 基于预训练随机傅里叶特征核lms的超参数优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280151.1A CN109217844B (zh) | 2018-10-30 | 2018-10-30 | 基于预训练随机傅里叶特征核lms的超参数优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109217844A CN109217844A (zh) | 2019-01-15 |
CN109217844B true CN109217844B (zh) | 2022-02-25 |
Family
ID=64998081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811280151.1A Active CN109217844B (zh) | 2018-10-30 | 2018-10-30 | 基于预训练随机傅里叶特征核lms的超参数优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109217844B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110048694B (zh) * | 2019-04-22 | 2022-09-23 | 哈尔滨理工大学 | 基于变元步长的随机傅里叶特征核最小均方算法 |
CN110852451B (zh) * | 2019-11-27 | 2022-03-01 | 电子科技大学 | 基于核函数的递归核自适应滤波方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101572574A (zh) * | 2009-06-01 | 2009-11-04 | 中国民航大学 | 基于最小二乘—最小均方的智能天线自适应干扰抑制方法 |
CN103227623A (zh) * | 2013-03-29 | 2013-07-31 | 北京邮电大学 | 可变步长的lms自适应滤波算法及滤波器 |
CN104490402A (zh) * | 2014-12-17 | 2015-04-08 | 哈尔滨工业大学 | 一种pci主动噪声控制卡 |
CN107276561A (zh) * | 2017-05-05 | 2017-10-20 | 西安交通大学 | 基于量化核最小均方误差的Hammerstein系统辨识方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6705993B2 (en) * | 2002-05-10 | 2004-03-16 | Regents Of The University Of Minnesota | Ultrasound imaging system and method using non-linear post-beamforming filter |
CA2737724A1 (en) * | 2008-09-19 | 2010-03-25 | The University Of Sydney | A method and system of data modelling |
-
2018
- 2018-10-30 CN CN201811280151.1A patent/CN109217844B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101572574A (zh) * | 2009-06-01 | 2009-11-04 | 中国民航大学 | 基于最小二乘—最小均方的智能天线自适应干扰抑制方法 |
CN103227623A (zh) * | 2013-03-29 | 2013-07-31 | 北京邮电大学 | 可变步长的lms自适应滤波算法及滤波器 |
CN104490402A (zh) * | 2014-12-17 | 2015-04-08 | 哈尔滨工业大学 | 一种pci主动噪声控制卡 |
CN107276561A (zh) * | 2017-05-05 | 2017-10-20 | 西安交通大学 | 基于量化核最小均方误差的Hammerstein系统辨识方法 |
Non-Patent Citations (2)
Title |
---|
Theoretical convergence analysis of complex Gaussian kernel LMS algorithm;Wei Gao;《Journal of Systems Engineering and Electronics》;20160303;39-50 * |
核空间的LMS自适应多用户检测算法;解明辉;《数据采集与处理》;20120331;225-229 * |
Also Published As
Publication number | Publication date |
---|---|
CN109217844A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Kernel recursive maximum correntropy | |
Tan et al. | Nonlinear blind source separation using higher order statistics and a genetic algorithm | |
Shevchenko | Fractional Brownian motion in a nutshell | |
CN109359404B (zh) | 基于经验小波消噪和神经网络融合的中长期径流预报方法 | |
CN109088749B (zh) | 一种随机通讯协议下复杂网络的状态估计方法 | |
CN111912611B (zh) | 基于改进神经网络的故障状态预测的方法及装置 | |
Kibangou et al. | Tensor analysis-based model structure determination and parameter estimation for block-oriented nonlinear systems | |
CN109217844B (zh) | 基于预训练随机傅里叶特征核lms的超参数优化方法 | |
CN112086100A (zh) | 基于量化误差熵的多层随机神经网络的城市噪音识别方法 | |
CN116186495A (zh) | 基于完备模态分解和随机森林响应面拟合的结构参数求解方法 | |
Shi et al. | Blind source extraction using generalized autocorrelations | |
CN109474258B (zh) | 基于核极化策略的随机傅立叶特征核lms的核参数优化方法 | |
CN116227324B (zh) | 一种方差受限下的分数阶忆阻神经网络估计方法 | |
Doukopoulos et al. | The fast data projection method for stable subspace tracking | |
CN116389198A (zh) | 一种基于指数滤波器的多目标时延稀疏重构估计方法 | |
CN111416595B (zh) | 一种基于多核融合的大数据滤波方法 | |
CN115183969A (zh) | 一种bwbn模型的参数估计方法及系统 | |
CN113299284B (zh) | 一种基于自适应滤波的语音识别装置、方法、设备及介质 | |
CN111585545A (zh) | 一种基于多核量化的非线性滤波方法 | |
CN110852451B (zh) | 基于核函数的递归核自适应滤波方法 | |
Debbabi et al. | A new unsupervised threshold determination for hybrid models | |
Shaltaf | Neuro-fuzzy based time-delay estimation using DCT coefficients | |
CN117040489B (zh) | 一种稀疏约束的样条自适应滤波器 | |
Li et al. | A convex combination LMS algorithm based on Krylov subspace transform | |
CN116318470B (zh) | 非高斯噪声下的通信干扰信号功率估计方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |