CN115438576A - 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法 - Google Patents

基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法 Download PDF

Info

Publication number
CN115438576A
CN115438576A CN202210994750.XA CN202210994750A CN115438576A CN 115438576 A CN115438576 A CN 115438576A CN 202210994750 A CN202210994750 A CN 202210994750A CN 115438576 A CN115438576 A CN 115438576A
Authority
CN
China
Prior art keywords
prophet
model
data
time series
convolution network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210994750.XA
Other languages
English (en)
Inventor
李振华
钟悦
黄悦华
张涛
张磊
李振兴
邱立
邾玢鑫
杨楠
张文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202210994750.XA priority Critical patent/CN115438576A/zh
Publication of CN115438576A publication Critical patent/CN115438576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，采集电子式电压互感器的比差数据，进行标准化处理；将标准化处理后的数据输入到Prophet模型进行分解，并对各趋势分量进行拟合，输出预测结果；将训练集数据输入到时间序列卷积网络模型进行特征提取和预测，并将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加权组合并输出；将输出的预测值输入到自注意力机制层，进行特征提取；自注意力机制层输出的预测值，继续传递到全连接层进行数据降维处理，输出电子式电压互感器比差的预测数据。该方法能够较好地预测电子式电压互感器未来的误差变化趋势，为电力系统进行设备校验提供有力依据。

Description

基于Prophet、自注意力机制和时间序列卷积网络的电子式电 压互感器误差预测方法
技术领域
本发明涉及电子式电压互感器的误差预测技术领域，具体涉及一种基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法。
背景技术
作为变电站里所必备的电力计量装置，电子式电压互感器是信息传递的重要媒介，将电力系统的一次电网和二次控制系统相互联结，为控制、电能计量和继电保护单元获取准确的电压信息提供帮助。电子式电压互感器还是电力企业同电力用户进行电能交易核算的主要电力设备，其误差状态评估对保护设备及确保互感器维持较高的测量准确性显得尤为重要。但互感器的现场运行环境一般较为复杂，周围磁场、温度、湿度、负荷等因素通常对互感器的测量误差造成不可避免的影响，使得互感器长期稳定性较差，出现计量误差，当其准确度低于精度要求时，会直接影响电能计量的准确度，给供电企业、用电企业带来一定的损失，给电网的安全稳定运行带来一些隐患。
随着智能电网建设的加速，日常用电量急速增加、设备智能化水平普遍提升，互感器成为了电网升级改造中的主要设备。互感器已被列入国家强制检定目录中，目前针对互感器准确度评估方法的研究层出不穷。但是大部分局限于采用传统的统计学方法、机器学习方法或深度学习方法，但机器学习方法一般只适合于对少量的数据进行处理，仅通过考虑较少的历史数据来研究时间序列可能会忽略历史数据中潜在的有用信息导致预测精度不够。
由于电子式电压互感器等测量设备的普及和广泛使用，所能获取的数据量显著增大，机器学习在处理分析这些大量数据时存在一定的弱势；深度学习由于其对时间序列特征进行分析的强大功能，已成为当前领域研究的热点，在提升大样本数据序列预测的能力方面具有一定优势。近年来，由Facebook公司开发的深度学习算法Prophet模型开始广泛应用于时间序列分析领域，在电力负荷预测、销售量预测、空气指数预测等方面已经取得了较好的效果。综合模型的优点，实现对电子式电压互感器误差的预测具有重要意义。
发明内容
针对目前电子式电压互感器所出现的长期稳定性差、准确度不稳定等问题，本发明提供一种基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，能够较好地预测电子式电压互感器未来的误差变化趋势，为电力系统进行设备校验提供有力依据，帮助运维人员选择合适的时间点进行互感器的检修与维护工作，防止因互感器测量误差增大带来一定的经济损失，提升电力系统的稳定性。
本发明采取的技术方案为：
基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于包括以下步骤：
步骤一：采集电子式电压互感器的比差数据，进行标准化处理，以消除非标准数据；
步骤二：将步骤一标准化处理后的数据输入到Prophet模型进行分解，并对各趋势分量进行拟合，输出预测结果；
步骤三：将训练集数据输入到时间序列卷积网络模型，进行特征提取和预测；
步骤四：将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加和，并将预测值输出；
步骤五：将步骤四输出的预测值输入到自注意力机制层，进行特征提取；
步骤六：自注意力机制层输出的预测值，继续传递到全连接层进行数据降维处理，输出电子式电压互感器比差的预测数据。
所述步骤一中，采集电子式电压互感器的比差数据，进行z-score标准化处理，剔除历史数据中的部分异常数据点和缺失值，将数据集中在0附近，方差为1，以消除非标准数据影响到模型精度的问题。
所述步骤二包括如下步骤：
S2.1、将标准化处理后的数据输入到Prophet模型，输入量分为两列，第一列为日期，第二列为与之日期相对应的电子式电压互感器比差数据；
S2.2、使用Prophet模型对处理后的训练集数据进行训练，将数据集进行分解，周期项以天来反映，随机误差对应时间序列中不可预测的随机噪声；
S2.3、利用Prophet模型对各趋势分量进行拟合，根据输出图像观察对比拟合效果；
S2.4、不断调节Prophet模型的参数，以达到最优的Prophet模型预测效果，累加得到的结果，即为Prophet的预测值。
所述步骤三包括如下步骤：
S3.1、将步骤一标准化处理后的训练集数据输入到时间序列卷积网络模型的输入层，每个输入层将时间序列对应的互感器误差数据，作为时间序列卷积网络模型的输入；
S3.2、输入层数据传到时间序列卷积网络模型的残差块，用于高维特征提取；每一个残差模块单元按照残差块的堆叠顺序，使用ReLU激活函数激活后，向后传播。
S3.3、每两层卷积计算进行一次恒等映射，同时在每次卷积计算是带空洞的因果卷积，在卷积计算之后，为了提高分类准确度，进行批归一化处理，之后使用ReLU激活函数对得到的值进行激活，并引入Dropout方法，在神经网络执行过程中，随机丢弃一部分比例的神经元，以减少过拟合，提高模型的泛化能力。TCN采用扩大因果卷积来提升感受野，对输入序列进行跳步操作以进行卷积运算，其表达式为：
Figure BDA0003805141940000031
式(1)中，F(i)为对序列中第i个元素的卷积结果；h(j)为卷积核；d为扩大因子。
S3.4、经过两次上述计算，进行一次残差连接，将卷积计算的结果和恒等映射的值相加，得到的结果为一个单元的输出。为了能够顺利加和，需要使卷积计算结果和恒等映射的值维度相同，于是在恒等映射的通路上使用1×1的卷积计算，使两者维度一致。
S3.4、将时间序列卷积网络模型的残差块输出的结果输出，以得到最终预测结果。
设x是残差块的输入，输出o如下所示：
Figure BDA0003805141940000032
式(2)中，
Figure BDA0003805141940000033
代表残差。Activation()表示激活函数。该步骤即是一个经过线性变化并通过激活函数映射并输出结果的过程。
输入数据经过此类多次卷积操作后，其互感器误差数据中包含的抽象特征被有效提取，且仍可保持各种类数据的内联性，经过多层卷积操作后通过时间序列卷积网络中全卷积层获得与输入维度相同的输出矩阵。
所述步骤四中，将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加权并输出，公式如下：
Figure BDA0003805141940000034
式(3)中，VProphet-TCN代表两种模型加权组合后得到的互感器比差预测值；WProphet和WTCN分别代表Prophet模型和时间序列卷积网络模型的权重系数；VProphet和VTCN分别代表Prophet模型和时间序列卷积网络模型得到的互感器比差预测值。
采用标准差衡量的方法对模型权重系数进行确定。时间序列卷积网络模型和Prophet模型权重的计算方法如式(4)-式(5)所示：
Figure BDA0003805141940000035
WProphet＝2-WTCN (5)；
式(5)中，Prophetdiff表示样本标准差与Prophet模型预测结果标准差的差值，TCNdiff表示样本标准差与时间序列卷积网络模型预测结果标准差的差值，即：
TCNdiff＝Samplestd-TCNstd (6)；
式(6)中，Samplestd代表样本的标准差，TCNstd代表时间序列卷积网络模型预测结果的标准差；
Prophetdiff＝Samplestd-Prophetstd (7)；
式(7)中，Prophetstd为Prophet模型预测结果的标准差。
所述步骤五中，将步骤四输出的预测值输入到自注意力机制层，进行特征提取，具体是：
注意力机制的计算过程是一个寻址的过程，给定一个和任务相关的查询向量query，同时序列中每一个元素都由key和value数据对存储在存储器里，当有query＝key的查询时，需要取出元素的value值，与传统的寻址不一样，它不是按照地址取出值的，而是通过计算key与query的相似度来完成寻址。注意力机制计算过程分为以下三步：
S5.1、信息输入为一排向量，假设有N个输入信息，即输入数据X＝[x1,x2,…,xN]；
S5.2、计算注意力分布，设key＝value＝X，则注意力分布为：
αi＝softmax(s(ki,q))＝softmax(s(xi,q)) (8)；
上式中，s(ki,q)和s(xi,q)表示第i个输入信息与query的相似度计算，通过softmax函数计算得到注意力分布向量αi。
常用的相似度计算方式如点积模型如下：
s(xi,q)＝xi·q (9)；
式(9)中，xi表示时间序列中的第i个元素，q表示与之对应的查询向量。
S5.3、信息加权求和，计算方式为：
Figure BDA0003805141940000041
式(10)中，注意力分布向量αi可由式(9)计算得出，N为系列中元素的个数，att(q,X)表示输入信息X的attention值。
注意力机制根据这一系列的计算，通过以上步骤的重复迭代计算，确定关键信息，增大关键信息的权重，降低非关键信息的权重，即进行重要特征的提取。
所述步骤六中，接收来自自注意力机制层输出的预测值，attention预测值为一串向量，把每一个向量分别输入到全连接网络中，作为降维功能使用；把输出数据长度缩减为20×1的向量，依次输出得到组合模型的预测结果图像。
本发明一种基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，技术效果如下：
1)本发明基于Prophet模型、自注意力机制和时间序列卷积网络的组合模型，能够充分捕获时间序列信息，较为精确地预测到电子式电压互感器误差的波动情况，为提前做出现场决策和维修争取时间。同时，将时间序列变换为不同时间的维度并组合成为一种整体趋势，挖掘出数据中包含的周期性趋势和潜在关系，以此有效实现对电子式电压互感器误差的预测，反映电子式电压互感器误差未来变化的趋势。
2)本发明方法采集电子式电压互感器历史运行数据，Prophet模型输入日期及与日期相对应的电子式电压互感器比差数据，将时间序列数据分解为不同时间维度，并组合成为一种整体趋势，通过不断调节模型的参数以达到最优的预测效果。
3)Prophet模型能够将时间序列变换为不同时间的维度，如时、日、周、年等，并组合成为一种整体趋势，可以良好适应并挖掘出数据中包含的周期性趋势，对中长期的时间序列预测能力较强。
4)本发明方法引入时间序列卷积网络，强化对时间序列数据的特征提取能力，从大量的时间序列中提取出与互感器误差相关性强的特征并进行预测。时间序列卷积网络在数据特征提取方面表现出了很好的性能，尤其是对具有强非线性特征的时间序列进行预测时具有更高的精度。
5)本发明方法引入自注意力机制以更好地挖掘、利用数据序列中的潜在关系，进而提升预测效果，输出与输入长度一致的时间序列预测数据。自注意力机制的引入使得数据序列中的潜在关系可以被更好地挖掘、利用，进而提升预测效果。
6)本发明方法能够较好地预测电子式电压互感器未来的误差变化趋势，为电力系统进行设备校验提供有力依据，防止因互感器测量误差增大带来一定的经济损失，提升电力系统的稳定性。
附图说明
图1为Prophet模型分解结构图。
图2为Prophet模型分解得到的互感器比差数据的增长趋势图。
图3为Prophet模型分解得到的互感器比差数据的日周期图。
图4为基于Prophet模型的电子式电压互感器比差预测结果图。
图5为基于时间序列卷积网络的电子式电压互感器比差预测结果图。
图6为自注意力机制结构图。
图7为基于组合模型的电子式电压互感器误差预测流程图。
图8为基于组合模型的电子式电压互感器误差预测结果图。
具体实施方式
比差是电子式电压互感器误差的一个重要指标，设X＝(x1，x2，…，xt)为输入的历史电子式电压互感器比差数据序列，预测目标则是未来n个时间点的电子式电压互感器比差数据。电子式电压互感器比差数据在空间上并无相关性，因此是单一的时间序列而非时空序列。
基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，包括以下步骤：
步骤一：输入数据预处理：
采集电子式电压互感器现场运行的比差数据，由于采集过程中，现场环境干扰、测量偏差等情况的存在会使采集的数据样本包含一定的异常数据，为避免这些异常数据给模型的训练造成不利影响，需要进行z-score标准化处理剔除历史数据中的部分异常数据点和缺失值，将数据集中在0附近，方差为1，以消除非标准数据影响到模型精度的问题。
z-score标准化处理公式如下：
Figure BDA0003805141940000061
其中，x为采集到的EVT误差数据，x*为EVT误差数据归一化后的值,
Figure BDA0003805141940000062
为EVT误差数据均值，σ为误差数据的标准差。
步骤二、Prophet模型处理：
Prophet模型是可以对时间序列趋势进行预测的机器学习框架。Prophet使用加性回归模型来研究时间序列的非线性变化趋势，该模型不仅可以处理时间序列存在的异常值和缺失值，同时还可以对时间序列的趋势进行预测。其重点是对时间序列的周期性、趋向性、假日效应等特征进行分析和处理，Prophet模型将时间序列数据分解为四部分，即分析时间序列非线性变化的趋势函数g(t)；反映周期性变化的s(t)，可以年、月等时间维度为单位；潜在的随机性波动h(t)，如假期；表示模型中无法预测的且没有表现出来的异常变动导致的误差ε。将四项因素进行拟合，从而可以获得时间序列的预测结果。
对于Prophet模型而言，研究的是仅考虑时间维度的一元时间序列预测回归问题。如图1所示，Prophet模型将时间序列分解为趋势项、周期项、节假日项以及误差项，其中：趋势项g(t)是Prophet中的主要项，分为：分段线性函数linear和逻辑回归函数logistic两种，此处采用分段线性函数。其模型如下：
g(t)＝(k+a(t)Tδ)·t+(m+a(t)Tγ) (12)；
其中，k为增长率；δ为增长率的变化量；m为偏移量；
s(t)代表周期项，由于在时间序列中可能存在着多种周，月，年等周期类型的变化趋势，Prophet采用傅里叶级数来近似地模拟这类周期特征，周期性函数通过正弦或余弦函数来表示，傅里叶级数形式如下：
Figure BDA0003805141940000071
其中，T表示周期；N表示该模型中的周期个数；an、bn表示可调节的参数。周期个数越多，则可以拟合出更复杂的周期性函数。
在实际生活中，节假日、一些重大活动等往往不存在周期性规律，但也会对时间序列产生较大的影响。Prophet收集了各个国家的特殊节假日，而且还可以根据实际情况和需求来添加或设置特殊时间点。
将处理后的数据输入到Prophet模型，输入量分为两列，第一列为日期，第二列为与之日期相对应的电子式电压互感器比差数据。使用Prophet将数据集进行分解，周期项主要以天来反映，随机误差主要对应于序列中不可预测的随机噪声。随后，利用Prophet模型对处理后的训练集进行训练，对各趋势分量进行拟合，根据输出图像观察对比拟合效果，由此不断调节模型的参数，以达到最优的模型预测效果，累加得到的结果，即为Prophet的预测值。
通过Prophet模型进行时序分解，以增长趋势、周期性趋势(以日周期性反映)图像反映时间序列的变化趋势。图2所示为Prophet模型分解得到的互感器比差数据的增长趋势图；图3所示为Prophet模型分解得到的互感器比差数据的日周期图。可以发现，比差数据随时间序列呈现一定的波动，也存在一定的周期性和随机性，出现了一定的峰值。13:00到17:00之间，互感器比差处于一个较高水平，而从凌晨3:00到6:00则处于一个较低的水平。这可能与温度的上升或负荷的增加有关，导致比差每日出现波动。
经过以上步骤得到利用Prophet模型预测电子式电压互感器比差的预测结果，如图4所示，其中，黑点为原始的时间序列实际值，蓝线为使用时间序列来拟合所得到的预测值，淡蓝色阴影区域表示不确定范围，即时间序列的一个置信区间，也就是所谓的合理的上界和下界。
步骤三、时间序列卷积网络处理：
时间序列卷积网络是一种以传统一维卷积神经网络为基础，结合扩张因果卷积和残差连接等架构，用于时间序列建模或时间序列数据处理的新型神经网络模型。它能够从大量时间序列样本中提取出时序特征并对其趋势进行预测，同时可以有效地克服在网络训练过程中深层次网络性能退化的问题。
将训练集数据输入到时间序列卷积网络模型进行特征提取和预测，输入层数据传到时间序列卷积网络的残差块进行高维特征提取，每一个残差模块单元按照残差块的堆叠顺序将计算结果使用ReLU激活函数激活后，向后传播。每两层卷积计算进行一次恒等映射，在卷积计算之后，使用ReLU激活函数进行激活，引入Dropout方法以防止出现过拟合。经过两次上述计算后，进行一次残差连接，将卷积计算的结果和恒等映射的值相加，得到的结果为一个单元的输出。在恒等映射的通路上使用1×1的卷积计算，使两者保持维度一致。随后，将时间序列卷积网络残差块输出的结果输出以得到最终预测结果。
时间序列卷积网络能够在具有强非线性特征的时间序列中进行特征提取的能力，因此能够从大量的时间序列中提取出与互感器误差相关性强的特征并进行预测。将因果卷积应用于时间序列卷积网络，则某一时刻的输出只与前一层中这个时间点对应的输入及更早时刻的输入进行卷积，这样就不会出现历史数据或未来时刻的数据发生“泄漏”的现象，确保信息的完整性。将扩张卷积应用于时间序列卷积网络，通过增加卷积核的大小及扩张系数大小，可以增大数据感受范围的大小，进而使得模型拥有更长时间的卷积“记忆”功能，在多维数据并行输入时，能始终保持高效的运算效率。
利用时间序列卷积网络进行预测得到的互感器比差预测结果如图5所示。图5中黑色线条表示电子式电压互感器比差数据的实际值，红色线条表示比差数据的预测值。由于时间序列卷积网络模型具有较强的特征提取能力，总体而言，预测值与实际值较为贴近。
步骤四、将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加权：
为了获得组合模型的预测结果，在一般情况下需要通过加权组合的方式，即在预测的过程中，先分别求出各个模型的预测值与其相应权重的乘积，再进一步将各模型得到的值进行求和得到总体值，除以相应的模型个数得到的最终值即为组合模型的预测值。模型权重的设置是影响模型预测精度的关键，采用标准差衡量的方法对模型权重系数进行确定。加权组合计算方法如公式(3)-公式(7)。利用该方法将时间序列卷积网络模型预测结果与Prophet模型预测结果整合，作为自注意力机制的输入，以进行后续处理。
步骤五、自注意力机制层特征提取：
自注意力机制可以有效增强时间序列数据的特征关联程度。自注意力机制采取并行处理模式，将输入序列的特征，如图6中的a1，b1，c1，d1映射到不同的子空间，从而得到各个不同子空间的注意向量，再利用全连接层将得到的这些注意向量集合在一起。
将Prophet模型的预测值和时间序列卷积网络模块的预测值一同输入到自注意力机制层，进行特征提取，防止包含重要信息的特征消失并突出显示重要信息，使得模型更容易以序列的方式学习远距离的相互依赖关系。自注意力机制输入信息为一排向量，利用公式(8)-公式(10)计算注意力分布并将信息进行加权求和，可得到相应的attention值。通过以上方式，进行模型训练确定关键信息，将关键信息进行了强化，将非关键信息的权重弱化。此时输出的序列长度与输入序列的长度一致。
步骤五的特征提取只是模型的一个组成成分，最终数据经过处理后一并输出得到最终的图像，为了表现模型中特征提取部分的作用，将未引入自注意力机制的模型预测结果展现出来作为对比，见图8，并在步骤六后一并介绍。
步骤六、数据降维处理：
自注意力机制层输出的预测值，继续传递到全连接网络中进行数据降维处理，具体做法为：自注意力机制输出的预测值为一串向量被传递至全连接层，经过全连接层的处理，将输出数据长度缩减为20×1的向量，并依次输出得到组合模型的预测结果图像。
综合以上步骤，电子式电压互感器误差的流程如图7所示，得到电子式电压互感器误差的最终预测结果如图8中PtcnAttn曲线所示。为体现模型特征提取的效果，将不含自注意力机制时的模型预测结果作为对比，用图8中Ptcn代表的曲线反映。可以看出，本发明提出的电子式电压互感器误差预测模型，能够较为准确地实现对EVT比值波动情况的预测，对总体趋势的预测与实际值比较吻合，从而验证了自注意力机制提取互感器历史运行数据特征的有效性。
本发明一种基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，具备以下特点：
(1)采用的Prophet时间序列模型功能强大，强大的灵活性使周期性容易调节，对于预测的趋势，可以根据自身所需做出灵活的假设。良好的适用性使得数据中异常值、缺失值的存在和正常测量间隔的缺失不会给预测结果带来较大影响。且拟合速度快效果好，可解释性使模型的参数易于解释，可以根据当前情况调整参数。
(2)在时间序列卷积网络中，扩张因果卷积的应用使得时间序列卷积网络能够以较少的层数拥有较大的视野范围，从而提升了时间序列卷积网络接收历史数据的能力。残差网络的引入，将相隔一层或多层的网络层“连接”起来，从而可以有效地解决复杂模型中存在的梯度消失问题。时间序列卷积网络可以输入任意长度的序列，并在输出层输出等长的序列被继续传递至下一单元，其架构可以根据需要调整为任意长度，具有较强的适用性。
(3)自注意力机制采取并行处理模式，将输入序列的特征映射到不同的子空间，从而得到各个不同子空间的注意向量，再利用全连接层将得到的这些注意向量集合在一起。这种并行的自注意力机制处理时间序列特征可以对不同位置、不同表示方式的子空间信息进行分析，具有强大的特征提取能力。
(4)本发明基于Prophet、自注意力机制和时间序列卷积网络组合模型的电子式电压互感器误差预测方法，引入时间序列卷积网络，提升了模型提取数据特征的性能，尤其是对具有强非线性特征的时间序列进行预测时的效果更好。引入自注意力机制，进一步提取时间序列中的特征并进行数据降维处理，能够充分利用电子式电压互感器历史运行数据中的有用信息。

Claims (7)

1.基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于包括以下步骤：
步骤一：采集电子式电压互感器的比差数据，进行标准化处理，以消除非标准数据；
步骤二：将步骤一标准化处理后的数据输入到Prophet模型进行分解，并对各趋势分量进行拟合，输出预测结果；
步骤三：将训练集数据输入到时间序列卷积网络模型，进行特征提取和预测；
步骤四：将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加和，并将预测值输出；
步骤五：将步骤四输出的预测值输入到自注意力机制层，进行特征提取；
步骤六：自注意力机制层输出的预测值，继续传递到全连接层进行数据降维处理，输出电子式电压互感器比差的预测数据。
2.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤一中，采集电子式电压互感器的比差数据，进行z-score标准化处理，剔除历史数据中的部分异常数据点和缺失值，将数据集中在0附近，方差为1，以消除非标准数据影响到模型精度的问题。
3.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤二包括如下步骤：
S2.1、将标准化处理后的数据输入到Prophet模型，输入量分为两列，第一列为日期，第二列为与之日期相对应的电子式电压互感器比差数据；
S2.2、使用Prophet模型对处理后的训练集数据进行训练，将数据集进行分解，周期项以天来反映，随机误差对应时间序列中不可预测的随机噪声；
S2.3、利用Prophet模型对各趋势分量进行拟合，根据输出图像观察对比拟合效果；
S2.4、不断调节Prophet模型的参数，以达到最优的Prophet模型预测效果，累加得到的结果，即为Prophet的预测值。
4.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤三包括如下步骤：
S3.1、将步骤一标准化处理后的训练集数据输入到时间序列卷积网络模型的输入层，每个输入层将时间序列对应的互感器误差数据，作为时间序列卷积网络模型的输入；
S3.2、输入层数据传到时间序列卷积网络模型的残差块，用于高维特征提取；每一个残差模块单元按照残差块的堆叠顺序，使用ReLU激活函数激活后，向后传播；
S3.3、每两层卷积计算进行一次恒等映射，同时在每次卷积计算是带空洞的因果卷积，在卷积计算之后，使用ReLU激活函数对得到的值进行激活，并引入Dropout方法，对输入序列进行跳步操作以进行卷积运算，其表达式为：
Figure FDA0003805141930000021
式(1)中，F(i)为对序列中第i个元素的卷积结果；h(j)为卷积核；d为扩大因子；S3.4、经过两次上述计算，进行一次残差连接，将卷积计算的结果和恒等映射的值相加，得到的结果为一个单元的输出；在恒等映射的通路上使用1×1的卷积计算，使两者维度一致；
S3.4、将时间序列卷积网络模型的残差块输出的结果输出，以得到最终预测结果；
设x是残差块的输入，输出o如下所示：
Figure FDA0003805141930000022
式(2)中，
Figure FDA0003805141930000023
代表残差；Activation()表示激活函数；
输入数据经过此类多次卷积操作后，其互感器误差数据中包含的抽象特征被有效提取，且仍可保持各种类数据的内联性，经过多层卷积操作后通过时间序列卷积网络中全卷积层获得与输入维度相同的输出矩阵。
5.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤四中，将时间序列卷积网络模型输出的结果与Prophet模型分解得到的周期项进行加权并输出，公式如下：
Figure FDA0003805141930000024
式(3)中，Prophet-TCN代表两种模型加权组合后得到的互感器比差预测值；WProphet和WTCN分别代表Prophet模型和时间序列卷积网络模型的权重系数；Prophet和TCN分别代表Prophet模型和时间序列卷积网络模型得到的互感器比差预测值；
采用标准差衡量的方法对模型权重系数进行确定，时间序列卷积网络模型和Prophet模型权重的计算方法如式(4)-式(5)所示：
Figure FDA0003805141930000025
WProphet＝2-WTCN (5)；
式(5)中，Prophetdiff表示样本标准差与Prophet模型预测结果标准差的差值，TCNdiff表示样本标准差与时间序列卷积网络模型预测结果标准差的差值，即：
TCNdiff＝Samplestd-TCNstd (6)；
式(6)中，Samplestd代表样本的标准差，TCNstd代表时间序列卷积网络模型预测结果的标准差；
Prophetdiff＝Samplestd-Prophetstd (7)；
式(7)中，Prophetstd为Prophet模型预测结果的标准差。
6.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤五中，将步骤四输出的预测值输入到自注意力机制层，进行特征提取，具体是：
注意力机制计算过程分为以下三步：
S5.1、信息输入为一排向量，假设有N个输入信息，即输入数据X＝[x1,x2,…,xN]；
S5.2、计算注意力分布，设key＝value＝X，则注意力分布为：
αi＝softmax(s(ki,q))＝softmax(s(xi,q)) (8)；
上式中，s(ki,q)和s(xi,q)表示第i个输入信息与query的相似度计算，通过softmax函数计算得到注意力分布向量αi；
常用的相似度计算方式如点积模型如下：
s(xi,q)＝xi·q (9)；
式(9)中，i表示时间序列中的第i个元素，q表示与之对应的查询向量；
S5.3、信息加权求和，计算方式为：
Figure FDA0003805141930000031
式(10)中，注意力分布向量αi可由式(9)计算得出，N为系列中元素的个数，att(q,X)表示输入信息X的attention值。
7.根据权利要求1所述基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法，其特征在于：所述步骤六中，接收来自自注意力机制层输出的预测值，attention预测值为一串向量，把每一个向量分别输入到全连接网络中，作为降维功能使用；把输出数据长度缩减为20×1的向量，依次输出得到组合模型的预测结果图像。
CN202210994750.XA 2022-08-18 2022-08-18 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法 Pending CN115438576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210994750.XA CN115438576A (zh) 2022-08-18 2022-08-18 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210994750.XA CN115438576A (zh) 2022-08-18 2022-08-18 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法

Publications (1)

Publication Number Publication Date
CN115438576A true CN115438576A (zh) 2022-12-06

Family

ID=84243000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210994750.XA Pending CN115438576A (zh) 2022-08-18 2022-08-18 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法

Country Status (1)

Country Link
CN (1) CN115438576A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720622A (zh) * 2023-06-14 2023-09-08 国网湖北省电力有限公司营销服务中心(计量中心) 一种电流互感器计量误差值预测方法
CN116753599A (zh) * 2023-06-17 2023-09-15 杭州全能星科技有限公司 一种基于云平台的中央空调负荷调控系统
CN117131458A (zh) * 2023-10-26 2023-11-28 国网江西省电力有限公司电力科学研究院 一种用于光纤电流互感器的数据有效性分析方法及系统
CN117992741A (zh) * 2024-04-07 2024-05-07 国网山东省电力公司营销服务中心(计量中心) 基于广域相量测量数据的cvt误差状态评估方法及系统
CN118248244A (zh) * 2024-03-04 2024-06-25 青岛理工大学 一种基于STL-Transformer的臭氧浓度预测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720622A (zh) * 2023-06-14 2023-09-08 国网湖北省电力有限公司营销服务中心(计量中心) 一种电流互感器计量误差值预测方法
CN116720622B (zh) * 2023-06-14 2024-07-09 国网湖北省电力有限公司营销服务中心(计量中心) 一种电流互感器计量误差值预测方法
CN116753599A (zh) * 2023-06-17 2023-09-15 杭州全能星科技有限公司 一种基于云平台的中央空调负荷调控系统
CN116753599B (zh) * 2023-06-17 2023-12-01 杭州全能星科技有限公司 一种基于云平台的中央空调负荷调控系统
CN117131458A (zh) * 2023-10-26 2023-11-28 国网江西省电力有限公司电力科学研究院 一种用于光纤电流互感器的数据有效性分析方法及系统
CN118248244A (zh) * 2024-03-04 2024-06-25 青岛理工大学 一种基于STL-Transformer的臭氧浓度预测方法
CN117992741A (zh) * 2024-04-07 2024-05-07 国网山东省电力公司营销服务中心(计量中心) 基于广域相量测量数据的cvt误差状态评估方法及系统

Similar Documents

Publication Publication Date Title
CN115438576A (zh) 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法
Lv et al. Deep learning combined wind speed forecasting with hybrid time series decomposition and multi-objective parameter optimization
CN112365040B (zh) 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法
Chen et al. Short-term wind speed forecasting based on long short-term memory and improved BP neural network
Li et al. Energy data generation with wasserstein deep convolutional generative adversarial networks
Li et al. Combination of manifold learning and deep learning algorithms for mid-term electrical load forecasting
CN111814956B (zh) 一种基于多维度二次特征提取的多任务学习的空气质量预测方法
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN114676742A (zh) 一种基于注意力机制和残差网络的电网异常用电检测方法
CN111985719B (zh) 一种基于改进的长短期记忆网络的电力负荷预测方法
Peng et al. An effective deep recurrent network with high-order statistic information for fault monitoring in wastewater treatment process
CN112926802A (zh) 时序数据对抗样本生成方法、系统、电子设备及存储介质
CN116703644A (zh) 一种基于Attention-RNN的短期电力负荷预测方法
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN115965150A (zh) 一种基于权重分配的电力负荷预测方法
Shi et al. A novel approach to detect electricity theft based on conv-attentional Transformer Neural Network
CN116885699A (zh) 基于双重注意力机制的电力负荷预测方法
Li et al. A hybrid prediction method for short‐term load based on temporal convolutional networks and attentional mechanisms
Tao et al. Short-term photovoltaic power forecasting using parameter-optimized variational mode decomposition and attention-based neural network
CN117039843A (zh) 一种电力负荷预测方法
Sun et al. Short-Term Exhaust Gas Temperature Trend Prediction of a Marine Diesel Engine Based on an Improved Slime Mold Algorithm-Optimized Bidirectional Long Short-Term Memory—Temporal Pattern Attention Ensemble Model
CN117134315A (zh) 一种基于bert算法的配电变压器负荷预测方法及装置
Ahmadi et al. A fuzzy series‐parallel preprocessing (FSPP) based hybrid model for wind forecasting
Chen et al. Short-term load forecasting for industrial users based on Transformer-LSTM hybrid model
CN116613732A (zh) 一种基于shap值选择策略的多元负荷预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination