CN113762471B - 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 - Google Patents
一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 Download PDFInfo
- Publication number
- CN113762471B CN113762471B CN202110974482.0A CN202110974482A CN113762471B CN 113762471 B CN113762471 B CN 113762471B CN 202110974482 A CN202110974482 A CN 202110974482A CN 113762471 B CN113762471 B CN 113762471B
- Authority
- CN
- China
- Prior art keywords
- model
- parameters
- phase space
- function
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000007246 mechanism Effects 0.000 title claims abstract description 17
- 230000000739 chaotic effect Effects 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 60
- 238000005070 sampling Methods 0.000 claims description 17
- 230000006872 improvement Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 238000010891 electric arc Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，包括如下步骤：步骤(1)、构建电压电弧混沌时间序列数据集；步骤(2)、对电弧电压混沌时间序列进行相空间重构并用C‑C法估计相空间重构参数；步骤(3)、构建基于注意力机制的LSTM模型；步骤(4)、训练模型并对验证集进行预测，得到模型相关参数和评价指标；步骤(5)、使用贝叶斯优化方法根据相关参数与评价指标进行优化；步骤(6)、取得优化后的参数并对模型进行更新迭代。本发明能够对电弧电压混沌时间序列的噪声产生滤波的作用；同时，在每一次的迭代过程中对相空间重构参数进行调优，向误差损失变小的方向进行参数的探索，从而取得最佳参数。
Description
技术领域
本发明涉及电力系统技术领域，具体涉及一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法。
背景技术
在低压配电系统中，倘若发生串联电弧故障将会缩短电气设施的使用寿命，甚至会酿成火灾。国内外学者对电弧混沌特征做了深度研究，证明了电弧电流存在混沌特性，而相空间重构是用动力系统方法来分析电弧电流检测序列数据的基础。混沌时间序列相空间重构的两种方法—导数法和坐标延迟法中，导数法在一定条件下可以视为坐标延迟法的旋转，并且在实际应用中无法得知混沌时间序列的先验信息等原因，因此相空间重构常常使用坐标延迟法。坐标延迟法是以Takens原理为基础，由此在对一维时间序列使用坐标延迟法构造相空间时，本质上是选取两个参数：时间延迟τ和嵌入维数m。
在工程使用中对电弧电压时间序列数据进行相空间重构时，收集到的时间序列长度有限而且收集的数据不可避免的含有噪声，因此对相空间重构的两个参数必须合理的选择。当前对时间延迟τ进行估计的方法主要有复自相关法、平均位移法、互信息法、C-C分析法等，对嵌入维数m进行估计的方法主要有G-P方法、伪邻近法、Cao法等。
在无噪声的情况下，这些方法都能很好的对相空间重构所需参数进行估计，但在获取电弧混沌时间序列数据时不可避免地带上不同水平的噪声。噪声的存在将会影响相空间重构参数的估计，使得含噪条件下最佳嵌入维数和时延参数的计算比较困难。
发明内容
本发明为了解决上述问题，提供了一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计方法。该方法利用长短时记忆(LSTM)模型对电弧混沌时间序列进行学习，从含噪的时间序列中学习到可以长期依赖的信息，对电弧电压混沌时间序列的噪声产生滤波的作用；同时，对每一次的迭代过程中使用贝叶斯优化方法对相空间重构参数进行调优，向误差损失变小的方向进行参数的探索，从而取得最佳参数。
本发明采用如下技术方案：
一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，包括如下步骤：
步骤(1)、构建电压电弧混沌时间序列数据集；
步骤(2)、对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数；
步骤(3)、构建基于注意力机制的LSTM模型；
步骤(4)、训练模型并对验证集进行预测，得到模型相关参数和评价指标；
步骤(5)、使用贝叶斯优化方法根据相关参数与评价指标进行优化；
步骤(6)、取得优化后的参数并对模型进行更新迭代。
作为本发明的一种优选技术方案，所述步骤(1)中构建电压电弧混沌时间序列数据集的具体方法如下：
1、依据UL1699、GB14287.4标准搭建实际用电线路模拟平台，用示波器和电流传感器分别对电压、电流进行实时检测和采样得电弧电压原始时间序列T；
2、将采集到的电弧电压原始时间序列T进行归一化预处理，将序列处理为一个均值为0，方差为1的标准时间序列
其中xi为归一化处理后的标准时间序列，Ti为原始时间序列T中i时刻的数据，ET为原始时间序列T的均值，σT为原始时间序列T的标准差。
作为本发明的一种优选技术方案，所述步骤(2)中对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数的具体方法为：
1、对归一化之后的电弧电压混沌时间序列{xi|i＝1,2,…,N}使用基于Takens原理的坐标延迟法进行相空间重构：
其中τ表示延迟时间；m表示嵌入维数；N表示混沌时间序列长度；X表示对时间序列重构之后的相空间；
2、在针对含噪电弧电压混沌时间序列进行相空间重构时，选择C-C法计算值作为初始值，并基于C-C关联积分联合算法求取给定时间序列的τ和m；
其中C-C关联积分为：
其中M＝N-(m-1)τ，N为采样点数，M为重构可得相点数；r为空间距离；τ为延迟时间；m为嵌入维数；C(m，N,r,τ)为关联积分；Xi，Xj为相空间X中的两个不同相点，且两个不同相点之间的距离距离采用∞-范数计算；
3、按照如下给出的等量关系可得不同延迟时间τ对应的值和Scor值，其中，表示τ取所有不同值时的最大偏差量的平均值，Scor为求最优时间窗口的统计量；的第一个极小点即为所求的最佳延迟时间τopt，Scor的全局最小点即为最优延迟时间窗口τW；
ΔS(m,τ)＝max{S(m,ri,τ)}-min{S(m,ri,τ)}
其中，S(m,N,r,τ)为离散时间序列统计量；Len为第S个子列中的数据个数；Cs(m,L,r,τ)为第s个子序列的关联积分；为嵌入维数为1时第s个子序列的关联积分的m次方；S(m,r,τ)为S(m,N,r,τ)处于N→∞的情况下；S(m,ri，τ)为第i个r下计算所得的值；ΔS(m,τ)为计算r取不同值时S(n,r,τ)的最大偏差量；/>计算不同n和r时S(n,r,τ)的平均值；/>用于计算不同n时ΔS(n,τ)的平均值；
4、最后依据等式τW＝(mopt-1)τopt可得出最佳嵌入维数mopt。
作为本发明的一种优选技术方案，所述步骤(3)中构建基于注意力机制的LSTM模型的方法如下：
构建基于注意力机制的LSTM模型；在LSTM模型中引入三个门，分别为输入门、遗忘门和输出门，通过门的开闭和记忆单元的更新，赋予了网络可变的记忆长度；其中输入门用于更新单元值，信号经过遗忘门通过神经元激活函数可以有选择的保留有用的信号，输出门作为隐层状态用于下一个单元的输入；
作为本发明的一种优选技术方案，所述步骤(4)中训练模型并对验证集进行预测，得到模型相关参数和评价指标的方法如下：
1、将步骤(2)相空间重构之后的混沌时间序列X划分为训练数据TrainSet和测试集TestSet，将TrainSet输入LSTM模型中训练；其中LSTM模型采用BPTT反向传播算法进行训练，损失函数使用平均平方误差
其中N为输入模型样本个数；ypred为模型预测值；yi为标签值。
2、再取得用于测试的电弧电压混沌时间序列TestSet，使用训练得到的LSTM模型对输入数据进行预测，得到预测结果为ypred，使用MSE计算并记录模型的预测误差。
作为本发明的一种优选技术方案，所述步骤(5)中使用贝叶斯优化方法根据相关参数与评价指标进行优化的步骤如下：
1、根据贝叶斯定理估计目标函数的后验分布，通过对未知目标函数过去的评估结果建立替代函数，找到下一个最小化目标函数值的超参数组合：
其中，f表示模型的损失函数，D表示已观测到的参数集合，P(f|D)表示f的后验概率，P(f)表示f的先验概率，P(D|f)表示y的似然分布，P(D)表示f的边际似然分布；
而，
D＝{(x1,y1),(x2,y2),…，(xt,yt)}，
其中，xt表示一组所需优化的时间延迟参数和嵌入维数参数，yt表示评价结果；
2、在使用贝叶斯优化时，使用高斯过程作为概率代理模型完善方法中的概率代理模型和采样函数，其中，Excepted Improvement作为采样函数；
高斯过程的核心包括一个均值函数μ(x)和一个半正定协方差函数k(x,x)，高斯分布表示为
f(x)～GP(μ(x),k(x,x))
其中μ(x)＝E(f(x)),E(f(x))是f(x)的数学期望，f(x)表示平均绝对误差，k(x,x)表示x的协方差函数,GP为高斯过程；
3、、对从模型中获取已计算的历史信息D1:t＝{x1:t,f1:t},其中x1:t＝{xi|i＝1,2,3…,t}；f1:t＝{fi|i＝1，2，3...,t}；ft＝f(xt)，ft为xt的平均绝对误差。所要计算的下一个目标为xt+1，则协方差矩阵K记为：
根据高斯过程的性质，ft和ft+1都服从联合高斯分布，假设其均值为0，则联合高斯分布表示为：
其中k表示为：
k＝[k(xt+1,x1)·k(xt+1,x2)…k(xt+1,xt)]
k为xt+1与历史信息D中1到t时刻x的各个协方差矩阵的乘积，kT为k的转置，k(xt,xt)为t时刻x的协方差函数
通过求其边缘密度，可以得到ft+1的后验概率：
N表示符合高斯分布，μt(xt+1)表示通过xt+1估计ft+1符合高斯分布的期望，
表示通过xt+1估计ft+1符合高斯分布的协方差阵
其中μt(xt+1)和的计算公式分别如下：
μt(xt+1)＝kTK-1f1:t
在高斯过程计算出f(x)的均值和方差之后，采用Excepted Improvement采样函数寻找最大改善期望的下一个样本点xt+1，Excepted Improvement采样函数为：
其中Φ(·)为标准正态分布的概率密度函数，φ(·)为标准正态分布的分布函数，Z可表示为
其中σ(x)为标准差，f(x+)为目前为止最优的x的目标函数值。
作为本发明的一种优选技术方案，所述步骤(6)中取得优化后的参数并对模型进行更新迭代的方法为：
取得步骤(5)中基于最大改善期望的参数，并利用参数对含噪电弧电压混沌时间序列进行相空间重构，然后进行模型的迭代。当达到固定的选参次数时，停止迭代，找到一组最优参数。
本发明的有益效果是：
本发明利用长短时记忆(LSTM)模型对电弧混沌时间序列进行学习，从含噪的时间序列中学习到可以长期依赖的信息，对电弧电压混沌时间序列的噪声产生滤波的作用。同时，对每一次的迭代过程中使用贝叶斯优化方法对相空间重构参数进行调优，向误差损失变小的方向进行参数的探索，从而取得最佳参数。
附图说明
图1为本发明步骤流程图；
图2为本发明中的神经网络注意力机制实现图；
具体实施方式
现在结合附图对本发明进行进一步详细说明。
如图1和图2所示，一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，包括如下步骤：
步骤(1)、构建电压电弧混沌时间序列数据集；
步骤(2)、对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数；
步骤(3)、构建基于注意力机制的LSTM模型；
步骤(4)、训练模型并对验证集进行预测，得到模型相关参数和评价指标；
步骤(5)、使用贝叶斯优化方法根据相关参数与评价指标进行优化；
步骤(6)、取得优化后的参数并对模型进行更新迭代。
其中，步骤(1)中构建电压电弧混沌时间序列数据集的具体方法如下：
根据电气工程实际应用场景，数据采集需要选用在实际情况中常用的电气负载进行模拟。依据UL1699、GB14287.4标准搭建实际用电线路模拟平台，用示波器和电流传感器分别对电压、电流进行实时检测和采样。为避免模拟平台等仪器对电弧电压数据的影响，将模拟平台启动一段时间之后的电弧电压时间序列数据作为数据集参与到实验当中。同时为保证LSTM模型的精度，需要对采集到的电弧电压时间序列进行归一化预处理，将序列处理为一个均值为0，方差为1的标准时间序列
其中xi为归一化处理后的标准时间序列，Ti为原始时间序列T中i时刻的数据，ET为原始时间序列T的均值，σT为原始时间序列T的标准差。
进一步的，所述步骤(2)中对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数的具体方法为：
1、对电弧电压混沌时间序列进行相空间重构，能够将时域信号的所有状态特征均能在高维空间中得以展示。具体为：对归一化之后的电弧电压混沌时间序列{xi|i＝1,2,…,N}使用基于Takens原理的坐标延迟法进行相空间重构：
其中τ表示时间延迟；m表示嵌入维数；N表示混沌时间序列长度；X表示对时间序列重构之后的相空间。
2、在针对含噪电弧电压混沌时间序列进行相空间重构时，需要对相空间重构参数进行初始化。在本实施例中，基于C-C关联积分联合算法能够准确快速的求取给定时间序列的τ和m，故选择C-C法计算值作为初始值。
C-C法计算时，按照相空间重构法构造相空间X，则可定义τ和m的关联积分为：
其中M＝N-(m-1)τ，N为采样点数，M为重构可得相点数；r为空间距离；τ为延迟时间；m为嵌入维数；C(m,N,r,τ)为关联积分；Xi，Xj为相空间X中的两个不同相点，距离采用∞-范数计算；θ为Heaviside单位函数，当两个不同相点Xi，Xj之间的无穷范数小于等于设定的r时，函数值为1，否则为0；
3、按照如下给出的等量关系得出不同时间延迟τ得到的Scor值，其中，/>表示τ取所有不同值时的最大偏差量的平均值，Scor为求最优时间窗口的统计量；/>的第一个极小点即为所求的最佳延迟时间，Scor的全局最小点即为最优延迟时间窗口。最后依据等式τW＝(mopt-1)τopt可得出最佳嵌入维数mopt。
ΔS(m,τ)＝max{S(m,ri，τ)}-min{S(m,ri，τ)}
其中，S(m，N，r,τ)为离散时间序列统计量；Len为第s个子列中的数据个数；Cs(m,L,r,τ)为第s个子序列的关联积分；为嵌入维数为1时第s个子序列的关联积分的m次方；S(m,r,τ)为S(m,N,r,τ)处于N→∞的情况下的简化；S(m,ri,τ)为第i个r下计算所得的值；ΔS(m,τ)为计算r取不同值时S(m,r,τ)的最大偏差量；/>计算不同m和r时S(m,r,τ)的平均值；/>用于计算不同m时ΔS(m,τ)的平均值；
4、最后依据等式τW＝(mopt-1)τopt可得出最佳嵌入维数mopt。
更进一步的，所述步骤(3)中构建基于注意力机制的LSTM模型的方法如下：
1、构建基于注意力机制的LSTM模型。为减弱电弧电压混沌序列中噪声的影响，在LSTM上构建注意力机制。通过注意力机制对含噪序列中关键特征的提取，利于提升模型的性能。注意力机制的具体构建方式如图2所示，具体计算步骤如下：
(1)计算权重系数：
etj＝a(st-1,hj)
(2)将权重系数进行归一化得到：
(3)对状态th加权求和取平均值：
其中，st-1为目标输出；T为输入序列中的时间步长总数；hj为中间隐层输出；αtj为权重值；a(·)是非线性函数，评价输入的相似性；ct为上下文向量。
2、在LSTM模型中引入三个门，分别为输入门、遗忘门和输出门，通过门的开闭和记忆单元的更新，赋予了网络可变的记忆长度；其中输入门用于更新单元值，信号经过遗忘门通过神经元激活函数可以有选择的保留有用的信号，输出门作为隐层状态用于下一个单元的输入；
更进一步的，所述步骤(4)中训练模型并对验证集进行预测，得到模型相关参数和评价指标的方法如下：
1、将步骤(2)中相空间重构之后的混沌时间序列X划分为训练数据TrainSet和测试集TestSet，将TrainSet输入LSTM模型中训练；其中LSTM模型采用BPTT反向传播算法进行训练，损失函数使用平均平方误差(MSE)
其中N为输入模型样本个数；ypred为模型预测值；yi为标签值。
2、再取得用于测试的电弧电压混沌时间序列，使用训练得到的模型LSTM对输入数据进行预测，得到预测结果为ypred，使用MSE计算并记录模型的预测误差。
更进一步的，所述步骤(5)中使用贝叶斯优化方法根据相关参数与评价指标进行优化的步骤如下：
1、根据贝叶斯定理估计目标函数的后验分布，然后通过对未知目标函数过去的评估结果建立替代函数，找到下一个最小化目标函数值的超参数组合：
其中，f表示模型的损失函数，D表示已观测到的参数和观测值集合，P(f|D)表示f的后验概率，P(f)表示f的先验概率，P(D|f)表示y的似然分布，P(D)表示f的边际似然分布；
其中，
D＝{(x1,y1),(x2,y2),…,(xt,yt)}，
其中，xt表示一组所需优化的时间延迟参数和嵌入维数参数，yt表示评价结果；
2、在使用贝叶斯优化时，高斯过程作为概率代理模型、Excepted Improvement作为采样函数用于贝叶斯优化中的概率代理模型和采样函数，其中；
高斯过程的核心是由一个均值函数μ(x)和一个半正定协方差函数k(x,x)构成，高斯分布可表示为
f(x)～GP(μ(x),k(x,x))
其中μ(x)＝E(f(x)),E(f(x))是f(x)的数学期望，通常均值设置为0；f(x)表示平均绝对误差，k(x,x)表示x的协方差函数，GP为高斯过程。
3、对从模型中获取已计算的历史信息D1:t＝{x1:t,f1:t},其中ft＝f(xt),所要计算的下一个目标为xt+1，则协方差矩阵K记为：
根据高斯过程的性质，ft和ft+1都服从联合高斯分布，假设其均值为0，则联合高斯分布可表示为：
其中k可表示为：
k＝[k(xt+1,x1)·k(xt+1,x2)…k(xt+1,xt)]
且，k为xt+1与历史信息D中1到t时刻x的各个协方差矩阵的乘积，kT为k的转置，k(xt,xt)为t时刻x的协方差函数；
通过求其边缘密度，可以得到ft+1的后验概率：
其中μt(xt+1)和的计算公式分别如下：
μt(xt+1)＝kTK-1f1:t
在高斯过程计算出f(x)的均值和方差之后，采用Excepted Improvement采样函数寻找最大改善期望的下一个样本点xt+1，Excepted Improvement采样函数为：
其中Φ(·)为标准正态分布的概率密度函数，φ(·)为标准正态分布的分布函数，Z可表示为
且，σ(x)为标准差，f(x+)为目前为止最优的x的目标函数值；
更进一步的，所述步骤(6)中取得优化后的参数并对模型进行更新迭代的方法为：
取得步骤(5)中基于最大改善期望的参数，并利用参数对含噪电弧电压混沌时间序列进行相空间重构，然后进行模型的迭代。当达到固定的选参次数时，停止迭代，找到一组最优参数。
最后应说明的是：这些实施方式仅用于说明本发明而不限制本发明的范围。此外，对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (2)
1.一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，包括如下步骤：
步骤(1)、构建电压电弧混沌时间序列数据集；
步骤(2)、对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数；
步骤(3)、构建基于注意力机制的LSTM模型；
步骤(4)、训练模型并对验证集进行预测，得到模型相关参数和评价指标；
步骤(5)、使用贝叶斯优化方法根据相关参数与评价指标进行优化；
步骤(6)、取得优化后的参数并对模型进行更新迭代；
所述步骤(1)中构建电压电弧混沌时间序列数据集的具体方法如下：
1、依据UL1699、GB14287.4标准搭建实际用电线路模拟平台，用示波器和电流传感器分别对电压、电流进行实时检测和采样得电弧电压原始时间序列T；
2、将采集到的电弧电压原始时间序列T进行归一化预处理，将序列处理为一个均值为0，方差为1的标准时间序列
其中xi为归一化处理后的标准时间序列，Ti为原始时间序列T中i时刻的数据，ET为原始时间序列T的均值，σ为原始时间序列T的标准差；
所述步骤(2)中对电弧电压混沌时间序列进行相空间重构并用C-C法估计相空间重构参数的具体方法为：
1、对归一化之后的电弧电压混沌时间序列{xi|i＝1,2,…,N}使用基于Takens原理的坐标延迟法进行相空间重构：
其中τ表示延迟时间；m表示嵌入维数；N表示混沌时间序列长度；X表示对时间序列重构之后的相空间；
2、在针对含噪电弧电压混沌时间序列进行相空间重构时，选择C-C法计算值作为初始值，并基于C-C关联积分联合算法求取给定时间序列的τ和m；
其中C-C关联积分为：
其中M＝N-(m-1)τ，N为采样点数，M为重构可得相点数；r为空间距离；τ为延迟时间；m为嵌入维数；C(m,N,r,τ)为关联积分；Xi，Xj为相空间X中的两个不同相点，且两个不同相点之间的距离采用∞-范数计算；θ为Heaviside单位函数，当两个不同相点Xi，Xj之间的无穷范数小于等于设定的r时，函数值为1，否则为0；
3、按照如下给出的等量关系可得不同延迟时间τ对应的值和Scor值，其中，/>表示τ取所有不同值时的最大偏差量的平均值，Scor为求最优时间窗口的统计量；/>的第一个极小点即为所求的最佳延迟时间τopt，Scor的全局最小点即为最优延迟时间窗口τW；
ΔS(m,τ)＝max{S(m,ri,τ)}-min{S(m,ri,τ)}
其中，S(m,N,r,τ)为离散时间序列统计量；Len为第s个子列中的数据个数；Cs(m,L,r,τ)为第s个子序列的关联积分；为嵌入维数为1时第s个子序列的关联积分的m次方；S(m,r,τ)为S(m,N,r,τ)处于N→∞的情况下的简化；S(m,ri,τ)为第i个r下计算所得的值；ΔS(m,τ)为计算r取不同值时S(m,r,τ)的最大偏差量；/>计算不同m和r时S(m,r,τ)的平均值；/>用于计算不同m时ΔS(m,τ)的平均值；
4、最后依据等式τW＝(mopt-1)τopt可得出最佳嵌入维数mopt；
所述步骤(3)中构建基于注意力机制的LSTM模型的方法如下：
构建基于注意力机制的LSTM模型；在LSTM模型中引入三个门，分别为输入门、遗忘门和输出门，通过门的开闭和记忆单元的更新，赋予了网络可变的记忆长度；其中输入门用于更新单元值，信号经过遗忘门通过神经元激活函数可以有选择的保留有用的信号，输出门作为隐层状态用于下一个单元的输入；
所述步骤(4)中训练模型并对验证集进行预测，得到模型相关参数和评价指标的方法如下：
1、将步骤(2)中相空间重构之后的混沌时间序列X划分为训练数据TrainSet和测试集TestSet，将TrainSet输入LSTM模型中训练；其中LSTM模型采用BPTT反向传播算法进行训练，损失函数使用平均平方误差
其中N为输入模型样本个数；ypred为模型预测值；yi为标签值；
2、再取得用于测试的电弧电压混沌时间序列TestSet，使用训练得到的LSTM模型对输入数据进行预测，得到预测结果为ypred，使用MSE计算并记录模型的预测误差；
所述步骤(5)中使用贝叶斯优化方法根据相关参数与评价指标进行优化的步骤如下：
1、根据贝叶斯定理估计目标函数的后验分布，通过对未知目标函数过去的评估结果建立替代函数，找到下一个最小化目标函数值的超参数组合：
其中，f表示模型的损失函数，D表示已观测到的参数和观测值集合，P(f|D)表示f的后验概率，P(f)表示f的先验概率，P(D|f)表示y的似然分布，P(D)表示f的边际似然分布；
其中，
D＝{(x1,y1),(x2,y2),…,(xt,yt)}，
其中，xt表示一组所需优化的时间延迟参数和嵌入维数参数，yt表示评价结果；
2、在使用贝叶斯优化时，高斯过程作为概率代理模型、Excepted Improvement作为采样函数用于贝叶斯优化中的概率代理模型和采样函数，其中；
高斯过程的核心包括一个均值函数μ(x)和一个半正定协方差函数k(x,x)，高斯分布表示为
f(x)～GP(μ(x),k(x,x))
其中μ(x)＝E(f(x)),E(f(x))是f(x)的数学期望，f(x)表示平均绝对误差，k(x,x)表示x的协方差函数,GP为高斯过程；
3、对从模型中获取已计算的历史信息D1:t＝{x1:t,f1:t},其中x1:t＝{xi|i＝1,2,3…,t}；f1:t＝{fi|i＝1,2,3…,t}；ft＝f(xt)，ft为xt的平均绝对误差；所要计算的下一个目标为xt+1，则协方差矩阵K记为：
根据高斯过程的性质，ft和ft+1都服从联合高斯分布，假设其均值为0，则联合高斯分布表示为：
其中k表示为：
k＝[k(xt+1,x1)·k(xt+1,x2)…k(xt+1,xt)]
k为xt+1与历史信息D中1到t时刻x的各个协方差矩阵的乘积，kT为k的转置，k(xt,xt)为t时刻x的协方差函数；
通过求其边缘密度，可以得到ft+1的后验概率：
其中，N表示符合高斯分布，μt(xt+1)表示通过xt+1估计ft+1符合高斯分布的期望，表示通过xt+1估计ft+1符合高斯分布的协方差阵；
其中μt(xt+1)和的计算公式分别如下：
μt(xt+1)＝kTK-1f1:t
在高斯过程计算出f(x)的均值和方差之后，采用Excepted Improvement采样函数寻找最大改善期望的下一个样本点xt+1，Excepted Improvement采样函数为：
其中Φ(·)为标准正态分布的概率密度函数，φ(·)为标准正态分布的分布函数，Z可表示为
其中σ(x)为标准差，f(x+)为目前为止最优的x的目标函数值。
2.根据权利要求1所述的一种基于贝叶斯优化长短期记忆模型的相空间重构参数估计的方法，其特征在于：所述步骤(6)中取得优化后的参数并对模型进行更新迭代的方法为：
取得步骤(5)中基于最大改善期望的参数，并利用参数对含噪电弧电压混沌时间序列进行相空间重构，然后进行模型的迭代；当达到固定的选参次数时，停止迭代，找到一组最优参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974482.0A CN113762471B (zh) | 2021-08-24 | 2021-08-24 | 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974482.0A CN113762471B (zh) | 2021-08-24 | 2021-08-24 | 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762471A CN113762471A (zh) | 2021-12-07 |
| CN113762471B true CN113762471B (zh) | 2023-07-28 |
Family
ID=78790995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974482.0A Active CN113762471B (zh) | 2021-08-24 | 2021-08-24 | 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762471B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807443B (zh) * | 2021-09-18 | 2023-04-25 | 电子科技大学 | 一种基于注意力机制的混沌时间序列嵌入维数的确定方法 |
| CN115754006B (zh) * | 2022-09-08 | 2024-04-09 | 北京航空航天大学 | 一种基于时间序列排列模式分布的声发射事件检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034223A (zh) * | 2018-07-16 | 2018-12-18 | 湖南城市学院 | 一种混沌时间序列预测方法及系统 |
| CN111260124A (zh) * | 2020-01-11 | 2020-06-09 | 大连理工大学 | 一种基于注意力机制深度学习的混沌时间序列预测方法 |
| CN111914875A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种基于贝叶斯lstm模型的旋转机械的故障预警方法 |
| CN113128781A (zh) * | 2021-04-30 | 2021-07-16 | 大连理工大学 | 一种自动构建智能化模型与算法的分布式工业能源运行优化平台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200234165A1 (en) * | 2018-01-26 | 2020-07-23 | Dalian University Of Technology | Prediction method for aero-engine starting exhaust temperature |
-
2021
- 2021-08-24 CN CN202110974482.0A patent/CN113762471B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034223A (zh) * | 2018-07-16 | 2018-12-18 | 湖南城市学院 | 一种混沌时间序列预测方法及系统 |
| CN111260124A (zh) * | 2020-01-11 | 2020-06-09 | 大连理工大学 | 一种基于注意力机制深度学习的混沌时间序列预测方法 |
| CN111914875A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种基于贝叶斯lstm模型的旋转机械的故障预警方法 |
| CN113128781A (zh) * | 2021-04-30 | 2021-07-16 | 大连理工大学 | 一种自动构建智能化模型与算法的分布式工业能源运行优化平台 |
Non-Patent Citations (2)
| Title |
|---|
| 柴栋 等.使用贝叶斯优化对遥感影像目标进行精确定位.《遥感技术与应用》.2020,第35卷(第06期),第1377-1385页. * |
| 赵冬梅 等.基于相空间重构和长短期记忆算法的电力系统无功负荷预测模型.《现代电力》.2020,第37卷(第05期),第470-477页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762471A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qiu et al. | Selective health indicator for bearings ensemble remaining useful life prediction with genetic algorithm and Weibull proportional hazards model | |
| US10672414B2 (en) | Systems, methods, and computer-readable media for improved real-time audio processing | |
| CN113762471B (zh) | 一种基于注意力机制与贝叶斯优化的相空间重构参数估计方法 | |
| EP3584573B1 (en) | Abnormal sound detection training device and method and program therefor | |
| CN110502806B (zh) | 一种基于lstm网络的无线频谱占用度预测方法 | |
| Qiao et al. | Gridless line spectrum estimation and low-rank Toeplitz matrix compression using structured samplers: A regularization-free approach | |
| Kao et al. | Anomaly detection for univariate time series with statistics and deep learning | |
| CN113435587A (zh) | 基于时间序列的任务量预测方法、装置、电子设备及介质 | |
| de Gunst et al. | Statistical analysis of ion channel data using hidden Markov models with correlated state-dependent noise and filtering | |
| Mao et al. | Automated Bayesian operational modal analysis of the long-span bridge using machine-learning algorithms | |
| de Oliveira | An application of neural networks trained with kalman filter variants (ekf and ukf) to heteroscedastic time series forecasting | |
| CN114545270A (zh) | 一种考虑健康因子延迟的锂电池健康状态估计方法 | |
| CN113569993A (zh) | 一种聚合反应过程质量预测模型构建方法 | |
| CN112749474A (zh) | 一种基于多尺度集成回归模型的锂电池剩余寿命预测方法 | |
| Wan et al. | Variational bayesian learning for removal of sparse impulsive noise from speech signals | |
| Mohamed et al. | Generalized gaussian mixture model | |
| Reshma et al. | A survey on speech emotion recognition | |
| CN113051809A (zh) | 一种基于改进受限玻尔兹曼机的虚拟健康因子构建方法 | |
| CN115062542A (zh) | 基于二维稳健lstm的聚合反应过程质量预测方法 | |
| CN115389743A (zh) | 一种变压器油中溶解气体含量区间预测方法、介质及系统 | |
| CN116361731A (zh) | 储油罐罐壁腐蚀检测方法、装置、设备及可读存储介质 | |
| CN113466681A (zh) | 一种基于小样本学习的断路器寿命预测方法 | |
| CN112735477A (zh) | 语音情感分析方法和装置 | |
| Nandi et al. | Analyzing non-stationary signals using generalized multiple fundamental frequency model | |
| Wang et al. | A Monte Carlo sequential estimation for point process optimum filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |