CN109102063A - 核回归估计器的最优权重选取方法、相关设备和存储介质 - Google Patents
核回归估计器的最优权重选取方法、相关设备和存储介质 Download PDFInfo
- Publication number
- CN109102063A CN109102063A CN201810954867.9A CN201810954867A CN109102063A CN 109102063 A CN109102063 A CN 109102063A CN 201810954867 A CN201810954867 A CN 201810954867A CN 109102063 A CN109102063 A CN 109102063A
- Authority
- CN
- China
- Prior art keywords
- kernel regression
- regression estimator
- training set
- kernel
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 91
- 230000014509 gene expression Effects 0.000 claims abstract description 41
- 239000002245 particle Substances 0.000 claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 37
- 238000010187 selection method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种核回归估计器的最优权重选取方法、相关设备和存储介质，其中，该方法包括：获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述核回归估计器为加权Nadaraya‑Watson核回归估计器；根据所述预测表达式设定粒子群优化算法PSO模块；将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
Description
技术领域
本申请涉及电子技术领域，尤其涉及一种核回归估计器的最优权重选取方法、相关设备和存储介质。
背景技术
核回归(Kernel Regression)是一种基于核密度估计(Kernel DensityEstimation)技术的无参数有监督机器学习方法，它利用条件期望表示随机变量与之间的非线性函数关系，通过核密度估计技术确定。
Nadaraya-Watson核回归估计器(Nadaraya-Watson Kernel RegressionEstimator，NW-KRE)是一种典型的核回归估计器，由Nadaraya和Watson二人分别提出。训练NW-KRE的关键在于核函数窗口宽度(Bandwidth)的确定。常用的窗口宽度选取方法有一致窗口选取、局部窗口选取、可适应窗口宽度选取、局部可适应窗口宽度选取、plug-in窗口宽度选取等。到目前为止，尚没有一种能够被学术界和工业界共同认可的NW-KRE窗口宽度选取方法。
加权Nadaraya-Watson核回归估计器(Weighted-Nadaraya-Watson KernelRegression Estimator，WNW-KRE)是对NW-KRE的改进，通过将权重引入到NW-KRE中，将对核函数窗口宽度的选取问题转化成对核函数权重的优化问题。通过设计相应的优化函数，采用Newton-Raphson迭代法确定最优核函数权重。WNW-KRE在一定程度上改进了NW-KRE的训练和测试表现，然而进一步的分析发现WNW-KRE的权重约束条件是不合理的，限制了最优权重的选取。并且Newton-Raphson迭代法严重依赖初始权重的选取，不恰当的初始权重有可能导致Newton-Raphson迭代法的慢收敛甚至是不收敛。
经典的加权Nadaraya-Watson核回归估计器WNW-KRE的权重约束条件不合理，限制最优权重的选取。再有Newton-Raphson迭代法严重依赖初始权重的选取，不恰当的初始权重有可能导致Newton-Raphson迭代法的慢收敛甚至是不收敛。
发明内容
本申请实施例提供一种核回归估计器的最优权重选取方法、相关设备和存储介质，用于确定了加权纳达拉亚-沃森(Nadaraya-Watson)核回归估计器的最优权重。
本申请实施例第一方面提供一种核回归估计器的最优权重选取方法，包括：
获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器；
根据所述预测表达式设定粒子群优化算法PSO模块；
将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
所述训练集通过以下关系式表示：
其中，为所述训练集中训练样本的个数，和为随机变量与随机变量的个观察值；
所述预测表达式通过以下关系式表示：
其中，yPSO-WNW-KRE(x)为所述核回归估计器的函数表达式，Kh(x-xi)为核函数间，所述wi为权重，所述h为窗口宽度。
可选的，所述核回归估计器关于所述训练集的经验风险由所述核回归估计器在所述训练集上的均方根误差表示。
可选的，所述均方根误差通过以下关系式表示：
其中，为所述均方根误差的函数表达式，
可选的，所述将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，包括：
在种群中的任意一个粒子 的条件下；
初始化粒子的位置：wmn＝wL+(wu-wL)×U(0,1)；
初始化粒子的速度vmn＝vL+(vu-vL)×U(0,1)；
初始化粒子的局部最优解
初始化种群的全局最优解
当PSO模块未达到最大迭代次数时，在和的条件下，依次更新粒子的速度和位置；
其中，粒子的更新速度为：
vmn＝α×vmn
+c1×U(0,1)×(pbestmn-vmn)
+c2×U(0,1)×(gbestm-vmn)
粒子的更新位置为：wmn＝wmn+vmn
直至获得粒子的局部最优解：
直至获得种群的全局最优解：gbest＝pbestm；
计算此时计算最优权重
本申请实施例第二方面提供一种电子装置，包括：
获取单元，用于获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器；
设置单元，用于根据所述预测表达式设定粒子群优化算法PSO模块；
训练单元，用于将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
本申请实施例第三方面提供另一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述本申请实施例第一方面提供的核回归估计器的最优权重选取方法。
本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的核回归估计器的最优权重选取方法。
由上可见，本申请方案重新定义了无权重约束条件核回归估计器的加权Nadaraya-Watson核回归估计器的预测表达式，并通过粒子群优化算法模块训练得到关于目标训练集的经验风险最小的最优权重，与经典的“加权Nadaraya-Watson核回归估计器”相比，本申请方案中基于粒子群优化算法的加权Nadaraya-Watson核回归估计器获得了更低的训练和测试根均方误差。
附图说明
图1-a为本申请实施例提供的核回归估计器的最优权重选取方法的实现流程示意图；
图1-b为本申请实施例提供的测试函数1在收敛性和拟合能力对比示意图；
图1-c为本申请实施例提供的测试函数2在收敛性和拟合能力对比示意图；
图1-d为本申请实施例提供的测试函数1在训练和测试误差的对比示意图；
图1-e为本申请实施例提供的测试函数2在训练和测试误差的对比示意图；
图2为本申请一实施例提供的电子装置结构示意图；
图3为本申请另一实施例提供的电子装置硬件结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例提供一种核回归估计器的最优权重选取方法，用于确定了加权Nadaraya-Watson核回归估计器的最优权重，请参阅图1-a，该核回归估计器的最优权重选取主要包括以下步骤：
101、获取核回归估计器的预测表达式；
获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器。
示例性的，所述训练集通过以下关系式表示：
其中，为所述训练集中训练样本的个数，和为随机变量与随机变量的个观察值。
示例性的，所述预测表达式通过以下关系式表示：
其中，yPSO-WNW-KRE(x)为所述核回归估计器的函数表达式，Kh(x-xi)为核函数间，所述wi为权重，所述h为窗口宽度。
102、根据所述预测表达式设定粒子群优化算法模块；
在确定了核回归估计器的预测表达式之后，将该预测表达式设置在所述粒子群优化算法模块中，以作为后续迭代训练的函数。
103、将窗口宽度以及所述训练集输入至所述中粒子群优化算法模块中进行训练。
将窗口宽度以及所述训练集输入至所述PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
示例性的，在确定了PSO模块之后，以所述训练集以及所述窗口宽度h>0作为输入，根据预设的条件更新所述PSO模块中的变量，直至获得“使得所述核回归估计器关于所述训练集的经验风险最小”所对应的权重，以该权重作为最优权重。
具体的，所述核回归估计器关于所述训练集的经验风险由所述核回归估计器在所述训练集上的均方根误差表示。
所述均方根误差通过以下关系式表示：
其中，为所述均方根误差的函数表达式，
本申请方案重新定义了无权重约束条件核回归估计器的加权Nadaraya-Watson核回归估计器的预测表达式，并通过粒子群优化算法模块训练得到关于目标训练集的经验风险最小的最优权重，与经典的“加权Nadaraya-Watson核回归估计器”相比，本申请方案中基于粒子群优化算法的加权Nadaraya-Watson核回归估计器获得了更低的训练和测试根均方误差。
实施例二
在本申请实施例中，对现有技术中WNW-KRE(加权Nadaraya-Watson核回归估计器)的权重约束条件进行了进一步地分析，指出了权重约束条件的不合理性，具体包括：
首先，设定训练集
其中，为所述训练集中训练样本的个数，和为随机变量与随机变量的个观察值。与之间的非线性函数关系可以被表示成条件期望，即以下式(1)
其中，为随机变量的概率密度函数，为随机变量和的联合概率密度函数。
和可以通过核密度估计来近似，得到以下式(2)和式(3)：
其中，h为窗口宽度，取值范围h>0；
其次，设定核回归估计器的核函数为以下式(4)：
其中，核函数的高斯核为以下式(5)：
将(2)式和(3)式代入(1)式可得Nadaraya-Watson核回归估计器(Nadaraya-Watson Kernel Regression Estimator，NW-KRE)的预测表达式(6)：
加权Nadaraya-Watson核回归估计器(Weighted-Nadaraya-Watson KernelRegression Estimator，WNW-KRE)是对NW-KRE的改进，通过对核函数引入相应的权重wi来强调或削弱样本xi对核回归估计器的影响，请参阅以下式(7)：
其中，权重wi满足权重约束条件为以下式(8)：
WNW-KRE利用拉格朗日乘子法构造权重的优化函数，之后通过Newton-Raphson迭代法完成对权重的优化。
最后，将对WNW-KRE的权重约束条件进行分析。假设以下式(9)所表示的情况：
其中，设λi表示等式(9)右侧的算式，则可得以下式(10)：
对于任意的wi≥0均成立，可见式(8)关于的权重约束对式(10)的成立没有任何影响。
由式(8)关于的权重约束可以直接推得到式(11)：
将式(9)代入式(7)可得x对应的WNW-KRE的预测输出为式(12)：
假设随机变量和之间的非线性关系为基于训练数据(2,4)和(3,9)，利用式(12)预测x＝2.5的输出为y＝4λ+9(1-λ)，可解得λ＝0.55。而将λ＝0.55代入式(11)可以发现2×0.55+3×(1-0.55)＝2.45≠2.5。由此表明式(8)关于的权重约束是不合理的。
实施例三
为了更加直观的理解本申请实施例中的核回归估计器的最优权重选取方法，本申请提供了一个实际的应用例进行说明，具体包括：
基于对上述权重约束条件的不合理的分析，本发明提出了一种基于粒子群优化(Particle Swarm Optimization，PSO)算法的加权Nadaraya-Watson核回归估计器(Weighted-Nadaraya-Watson Kernel Regression Estimator，WNW-KRE)，简称PSO-WNW-KRE，其预测表达式为以下式(13)：
此处需要说明的是，由上述分析可知权重wi的取值对式(10)的成立没有任何影响。简便起见，在设计的PSO-WNW-KRE中，我们令wi∈[0,1]。训练PSO-WNW-KRE的任务就是利用PSO算法确定最优权重使得回归估计器关于训练集的经验风险最小。PSO-WNW-KRE在训练集上关于权重的经验风险(即粒子的适应度)由PSO-WNW-KRE在训练集上的均方根误差(Root Mean Square Error，RMSE)表示：
其中，PSO模块给出了PSO-WNW-KRE具体的实现流程。
在PSO模块中，U(0,1)表示服从0-1分布的均匀分布随机数；wu＝1和wL＝0分别粒子位置的上下界(当wmn>wu时，令wmn＝wu；当wmn<wL时，令wmn＝wL)；vu＝0.1和vL＝-0.1分别粒子速度的上下界(当vmn>vu时，令vmn＝vu；当vmn<vL时，令vmn＝vL)；α为惯性因子，在PSO-WNW-KRE中，第k次迭代时α的取值为：
其中为PSO-WNW-KRE中PSO算法的最大迭代次数；c1＝c2＝2为加速因子。
在本申请实施例中，设置了如下两个测试函数对本申请实施例中核回归估计器的最优权重选取方法进行验证：
表1：2个测试函数
本发明设计的基于粒子群优化算法的加权Nadaraya-Watson核回归估计器PSO-WNW-KRE已经经过实验验证，证实方法可行有效。我们在表1所示的2个测试函数上对PSO-WNW-KRE和加权Nadaraya-Watson核回归估计器WNW-KRE的训练和测试表现进行了比较。
实验一：PSO-WNW-KRE的收敛性和拟合能力(证实了PSO-WNW-KRE的可行性)
我们基于测试函数Function 1和Function 2各自生成了400个训练样本，使用PSO模块训练了PSO-WNW-KRE，在这2个数据集上PSO-WNW-KRE的收敛性和拟合能力如图1-b和图1-c所示。
由图1-b和图1-c可知我们设计的PSO-WNW-KRE是收敛的，因为随着迭代次数的增加，根均方误差RMSE逐渐减小直至稳定；同时，PSO-WNW-KRE的拟合能力优于经典WNW-KRE。本实验证实了基于粒子群优化算法的加权Nadaraya-Watson核回归估计器PSO-WNW-KRE的可行性。
实验二：PSO-WNW-KRE与WNW-KRE训练和测试误差的比较(证实了PSO-WNW-KRE的有效性)。
分别基于测试函数Function 1和Function 2生成10组400个训练样本和100个训练样本的训练-测试数据集对，比较PSO-WNW-KRE和WNW-KRE的训练和测试误差RMSE，设定窗口宽度参数h从0.01以步长0.01变化到0.5，分别记录PSO-WNW-KRE和WNW-KRE对于给定h在这10组数据集对上对应的训练和测试RMSE，实验结果如图1-d和图1-e所示。
由图1-d和图1-e可知，对于任意给定的h∈[0.01,0.5]，PSO-WNW-KRE的训练误差都要小于WNW-KRE(红线位于黑线的下方)，这表明放弃传统WNW-KRE的权重约束条件以及使用PSO算法能够有效地帮助WNW-KRE找到最优权重，进而改善传统WNW-KRE的训练表现。表2列出了4个有代表性的窗口宽度值h＝0.05,0.1,0.2,0.5对应的PSO-WNW-KRE和WNW-KRE的训练和测试误差RMSE。从表2中可见PSO-WNW-KRE的训练和测试误差是小于WNW-KRE的。本实验证实了基于粒子群优化算法的加权Nadaraya-Watson核回归估计器PSO-WNW-KRE的有效性。
表2：h＝0.05,0.1,0.2,0.5对应的PSO-WNW-KRE和WNW-KRE的训练和测试误差RMSE比较
实施例四
请参阅图2，为本申请实施例提供一种电子装置。该电子装置可用于实现上述图1-a所示实施例提供的核回归估计器的最优权重选取方法。如图2所示，该电子装置主要包括：
获取单元201，用于获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器；
设置单元202，用于根据所述预测表达式设定粒子群优化算法PSO模块；
训练单元203，用于将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
需要说明的是，以上图2示例的电子装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将电子装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，在实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。
本实施例提供的电子装置中各功能模块实现各自功能的具体过程，请参见上述图1-a所示实施例中描述的具体内容，此处不再赘述。
实施例五
本申请实施例提供一种电子装置，请参阅图3，该电子装置包括：
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序，处理器302执行该计算机程序时，实现前述图1-a所示实施例中描述的核回归估计器的最优权重选取方法。
进一步的，该电子装置还包括：
至少一个输入设备303以及至少一个输出设备304。
上述存储器301、处理器302、输入设备303以及输出设备304，通过总线305连接。
其中，输入设备303具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备304具体可为显示屏。
存储器301可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器301用于存储一组可执行程序代码，处理器302与存储器301耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图3所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1-a所示实施例中描述的核回归估计器的最优权重选取方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的核回归估计器的最优权重选取方法、相关设备和存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种核回归估计器的最优权重选取方法，其特征在于，包括：
获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括随机变量的个观察值和随机变量的个观察值，所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器；
根据所述预测表达式设定粒子群优化算法PSO模块；
将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
2.根据权利要求1所述的方法，其特征在于，
所述训练集通过以下关系式表示：
其中，为所述训练集中训练样本的个数，和为随机变量与随机变量的个观察值；
所述预测表达式通过以下关系式表示：
其中，yPSO-WNW-KRE(x)为所述核回归估计器的函数表达式，Kh(x-xi)为核函数间，所述wi为权重，所述h为窗口宽度。
3.根据权利要求1所述的方法，其特征在于，所述核回归估计器关于所述训练集的经验风险由所述核回归估计器在所述训练集上的均方根误差表示。
4.根据权利要求3所述的方法，其特征在于，
所述均方根误差通过以下关系式表示：
其中，为所述均方根误差的函数表达式，
5.根据权利要求1所述的方法，其特征在于，
所述将窗口宽度以及所述训练集输入至所述PSO模块中进行训练，得到最优权重，包括：
在种群中的任意一个粒子 的条件下；
初始化粒子的位置：wmn＝wL+(wu-wL)×U(0，1)；
初始化粒子的速度vmn＝vL+(vu-vL)×U(0，1)；
初始化粒子的局部最优解pbestmn＝wmn；
初始化种群的全局最优解
当PSO模块未达到最大迭代次数时，在和的条件下，依次更新粒子的速度和位置；
其中，粒子的更新速度为：
vmn＝α×vmn
+c1×U(0，1)×(pbestmn-vmn
+c2×U(0，1)×(gbestm-vmn)
粒子的更新位置为：wmn＝wmn+vmn
直至获得粒子的局部最优解：
直至获得种群的全局最优解：gbest＝pbestm；
计算此时的最优权重
6.一种电子装置，其特征在于，包括：
获取单元，用于获取核回归估计器的预测表达式，所述预测表达式根据核回归估计器的训练集、权重以及核函数间的关系确定得到；所述训练集包括所述为大于零的整数，所述核回归估计器为加权Nadaraya-Watson核回归估计器；
设置单元，用于根据所述预测表达式设定粒子群优化算法PSO模块；
训练单元，用于将窗口宽度以及所述训练集输入至所述中PSO模块中进行训练，得到最优权重，所述最优权重使得所述核回归估计器关于所述训练集的经验风险最小。
7.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至5中的任意一项所述方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中的任意一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954867.9A CN109102063A (zh) | 2018-08-21 | 2018-08-21 | 核回归估计器的最优权重选取方法、相关设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954867.9A CN109102063A (zh) | 2018-08-21 | 2018-08-21 | 核回归估计器的最优权重选取方法、相关设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109102063A true CN109102063A (zh) | 2018-12-28 |
Family
ID=64850554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810954867.9A Pending CN109102063A (zh) | 2018-08-21 | 2018-08-21 | 核回归估计器的最优权重选取方法、相关设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109102063A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881715A (zh) * | 2023-07-11 | 2023-10-13 | 南方电网电力科技股份有限公司 | 一种锅炉积灰状态预测方法、系统、设备和介质 |
-
2018
- 2018-08-21 CN CN201810954867.9A patent/CN109102063A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881715A (zh) * | 2023-07-11 | 2023-10-13 | 南方电网电力科技股份有限公司 | 一种锅炉积灰状态预测方法、系统、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11106790B2 (en) | Dimensionality reduction of computer programs | |
| Naim et al. | Convergence of the EM algorithm for Gaussian mixtures with unbalanced mixing coefficients | |
| Wang et al. | Large-scale affine matrix rank minimization with a novel nonconvex regularizer | |
| Wang et al. | Parameter-free plug-and-play ADMM for image restoration | |
| Bertoglio et al. | Low-rank quadrature-based tensor approximation of the Galerkin projected Newton/Yukawa kernels | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| CN107766316B (zh) | 评价数据的分析方法、装置及系统 | |
| US20220284990A1 (en) | Method and system for predicting affinity between drug and target | |
| Han et al. | A provable smoothing approach for high dimensional generalized regression with applications in genomics | |
| Marjoram | Approximation bayesian computation | |
| Fraiman et al. | Stochastic recursions on directed random graphs | |
| CN109102063A (zh) | 核回归估计器的最优权重选取方法、相关设备和存储介质 | |
| CN116842238B (zh) | 基于大数据分析的企业数据可视化实现方法及系统 | |
| Hanafi et al. | Multi-way PLS regression: Monotony convergence of tri-linear PLS2 and optimality of parameters | |
| US11436397B2 (en) | Computer-implemented method and electronic device for detecting influential components in a netlist representing an electrical circuit | |
| CN114270341B (zh) | 一种数据属性的分组方法、装置、设备及存储介质 | |
| Wang et al. | A cross-entropy scheme for mixtures | |
| Abbaszadehpeivasti et al. | Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming | |
| WO2020037498A1 (zh) | 核回归估计器的最优权重选取方法、相关设备和存储介质 | |
| Hart et al. | Frequentist nonparametric goodness-of-fit tests via marginal likelihood ratios | |
| Han et al. | A Provable Smoothing Approach for High Dimensional Generalized Regression with Applications in Genomics | |
| EP4248339A1 (en) | Method and system for accelerating the convergence of an iterative computation code of physical parameters of a multi-parameter system | |
| CN112801708A (zh) | 一种营业收入预测模型确定方法及装置、预测方法及装置 | |
| JP2019113962A (ja) | 解析装置、解析方法及びプログラム | |
| Mai et al. | Efficiently sampling exchangeable Cuadras–Augé copulas in high dimensions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181228 |