CN113723669A - 一种基于Informer模型的输电线路覆冰预测方法 - Google Patents

一种基于Informer模型的输电线路覆冰预测方法 Download PDF

Info

Publication number
CN113723669A
CN113723669A CN202110906470.4A CN202110906470A CN113723669A CN 113723669 A CN113723669 A CN 113723669A CN 202110906470 A CN202110906470 A CN 202110906470A CN 113723669 A CN113723669 A CN 113723669A
Authority
CN
China
Prior art keywords
prediction
model
data
input
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110906470.4A
Other languages
English (en)
Other versions
CN113723669B (zh
Inventor
吴建蓉
文屹
何锦强
廖永力
龚博
黄增浩
黄军凯
范强
杜昊
代吉玉蕾
邱实
王冕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
Guizhou Power Grid Co Ltd
Original Assignee
CSG Electric Power Research Institute
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSG Electric Power Research Institute, Guizhou Power Grid Co Ltd filed Critical CSG Electric Power Research Institute
Priority to CN202110906470.4A priority Critical patent/CN113723669B/zh
Publication of CN113723669A publication Critical patent/CN113723669A/zh
Application granted granted Critical
Publication of CN113723669B publication Critical patent/CN113723669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Neurology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Informer模型的输电线路覆冰预测方法，它包括：采集历史覆冰、终端拉力、气象站预报、气象站监测和终端信息数据，进行数据预处理；构建训练集Dtrain、验证集Dvail和测试集Dtest；进行输入统一转换；生成编码器；通过对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；模型迭代，直至训练条件终止，生成训练好的model，用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度；解决了现有技术输电线路覆冰预测方法准确性不高、鲁棒性不强、适应性不好等技术问题。

Description

一种基于Informer模型的输电线路覆冰预测方法
技术领域
本发明属于电网覆冰预测技术领域，尤其涉及一种基于Informer模型的输电线路覆冰预测方法。
背景技术
近年来，随着电力系统和电网建设的飞速发展，电网分布逐渐向大规模和智能化方向发展，对电网的可靠性要求也越来越高。而覆冰作为影响电力系统最常见的灾害之一，往往导致输电线路荷重增加，进而造成线路断线、冰闪跳闸以及损坏输电线路元器件等问题。覆冰灾害已严重威胁到电网系统的平稳可靠运行，带来巨大经济损失，严重制约电网系统的建设与发展。而预测输电线路的未来覆冰状况并即时有效的采取融冰措施，可有效减少因覆冰造成的电网大面积瘫痪带来的损失。因此，输电线路覆冰预测对我国电力系统发展有着十分重要的意义。
现有的电网覆冰预测模型可以分为两类，一类是基于物理过程的预测模型，一类是基于数据驱动的预测模型。
基于物理过程的预测模型是根据覆冰的形成过程和产生机理出发，结合热力学、动力学等相关学科理论来构建覆冰预测模型。参考文献[1]“Measurement Method ofConductor Ice Covered Thickness Based on Analysis of Mechanical and SagMeasurement”(YAO C,ZHANG L,LI C,et al,High Voltage Engineering[J],2013,5.)通过分析覆冰增长的过程，提出了基于覆冰增长的覆冰厚度预测模型，但其局限性大，不具备普适性。参考文献[2]“基于拉力和倾角的输电线路覆冰厚度预测模型”(张子翀,王健,广东电力[J],28(06):82-86+92,2015)通过计算无覆冰时垂直平面内基本的线路静力学参数并结合风力和绝缘子串影响来计算导线的等值荷载覆冰厚度，以此来构建覆冰预测模型。然而基于物理过程的预测模型往往无法考虑到所有覆冰因素的影响，因此提出的模型往往实用性不佳。
基于数据驱动的覆冰预测模型以历史覆冰数据为主，通过深度神经网络模型、机器学习算法等方法，分析覆冰形成过程的影响因素并捕获数据中的非线性关系、时空动态性和不确定性等特性，寻找覆冰厚度与微气象、微地形等因素之间的关系，以此构建覆冰预测模型。
参考文献[3]“Online prediction method of icing of overhead power linesbased on support vector regression”(Li J J,Li P,Miao A M,Chen Y,Cao M,andShen X,International Transactions on Electrical Energy Systems[J],28(3):1-14,2018)采用支持向量回归算法(SVR)，利用历史覆冰数据和在线气象数据，结合wavelets数据预处理方式和相空间重构理论来构建架空电力线路短期积冰负载的结冰警报系统，此系统可预测5小时预测架空电力线路的实时结冰值。
参考文献[4]“一种基于长短期记忆网络的线路覆冰预测模型研究”(陈雨鸽,高伟,林鸿伟,阮肇华,郑为凑,林福,陈锦植,电工电气[J],2020(03):5-11)提出了一种基于结合气象因素和导线覆冰量的时间序列模型预测法，采用长短期记忆网络算法(LSTM)训练预测模型并利用线路实际运行数据对模型进行调整和优化。而实际应用中往往需要预测未来1-2天的覆冰状况，预测的序列长度较大。但该模型计算费时，在时间跨度大且网络很深的情况下计算量很大。同时，该模型在长序列输入输出时的表现不佳，特别是当预测序列长度较大时，误差迅速上升，推理速度急剧下降。
综上所述，现有的输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等缺点。
发明内容
本发明要解决的技术问题是：提供一种基于Informer模型的输电线路覆冰预测方法，以解决现有技术输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等技术问题。
本发明的技术方案是：
一种基于Informer模型的输电线路覆冰预测方法，它包括：
步骤1、采集历史覆冰数据、终端拉力数据、气象站预报数据、气象站监测数据和终端信息数据，对采集的信息数据进行数据预处理；
步骤2、构建训练集Dtrain、验证集Dvail和测试集Dtest；
步骤3、在设定好迭代次数Epochs、批处理样本数batch_size和学习率lr后之后，依次从训练集Dtrain取出batch_size大小的样本数，进行输入统一转换；
步骤4、生成编码器；
步骤5、通过对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；将预测得到的输出和真实值进行损失函数Loss计算；
骤6、模型迭代，重复步骤3、4和5；，直至训练条件终止，生成训练好的model，用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度。
数据预处理的方法为：进行异常值处理和缺失值填补，构建拉力相关的多变量序列数据集：
Figure BDA0003201854850000041
数据集以拉力值为预测对象，以日期、温度、湿度、温度和拉力值覆冰影响因素为特征输入；设输入历史序列长度为Lx，前向预测长度为p，覆冰相关影响变量个数为i，预测拉力值为ft，预处理后的数据集dataset表示如下：
Figure BDA0003201854850000042
数据预处理后得到拉力多变量数据集
Figure BDA0003201854850000043
进行进一步标准化，使用均值mean和方差σ对数据进行Z-score归一化，
归一化计算公式：X＝(x-mean)/σ；取数据集的前70％为训练集Dtrain，10％为验证集Dvail，最后20％为测试集Dtest。
进行输入统一转换的方法为：
模型输入由特征标量
Figure BDA0003201854850000044
局部时间戳(PE)和全局时间戳(SE)组成；转换公式为：
Figure BDA0003201854850000051
式中：i∈{1,…,Lx}，α为平衡标量映射和局部/全局嵌入之间大小的因子。
特征标量所对应公式中的
Figure BDA0003201854850000052
具体操作为通过Conv1D将i维转换为512维向量。
局部时间戳(PE)采用Transformer中的Positional Emebdding，计算公式为：
Figure BDA0003201854850000053
Figure BDA0003201854850000054
其中dmodel为输入的特征维度，
Figure BDA0003201854850000055
全局时间戳(SE)使用一个全连接层将输入的时间戳映射到512维的embedding。
生成编码器的具体方法包括：
统一转换后的输入
Figure BDA0003201854850000056
输入到模型的编码器Encoder部分，在注意力模块进行稀疏性自注意力(ProbSparse Self-attention)计算，每个key只关注u个主要query，Q为查询向量，K为键向量，V为值向量，计算公式为：
Figure BDA0003201854850000057
其中，
Figure BDA0003201854850000058
是大小与Q相同的稀疏矩阵且只包含稀疏度量M(qi,K)下的TOP-u个query；加入一个采样因子c，设定u＝clnLQ；
为每个query都随机采样c*lnL个key，并计算每个query的稀疏性得分M(qi，K)。qi，ki，vi分别为Q，K，V的第i行，d为qi的维度，而LK＝LQ＝L，稀疏度量M(qi，K)的计算公式为：
Figure BDA0003201854850000061
选择稀疏性得分最高的N个query，N默认为c*lnL，只计算N个query和key的点积结果，剩下的L-N个query不计算；
经过稀疏性自注意力计算后的输出存在V值的冗余组合，因此采用Distilling操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图；具体通过四层Conv1d卷积层和一个最大Maxpooling池化层来实现；重复迭代Multi-headProbSparse Self-attention+Distilling的组合之后，得到解码器Decoder的输入之一。
步骤5所述通过对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；将预测得到的输出和真实值进行损失函数Loss计算的具体过程包括：Informer使用的Decoder和传统的Decoder类似，为了让算法生成长序列的输出，Decoder需要输入：
Figure BDA0003201854850000062
其中，
Figure BDA0003201854850000063
为start token序列，
Figure BDA0003201854850000064
为需要预测序列，用0填充，随后将序列通过一个Masked ProbSparse Self-Attention层，将该层的输出再传递给一个Multi-headProbSparse Self-Attention层后，再将输出传递给另一个Masked ProbSparse Self-Attention+Multi-headProbSparse Self-Attention的组合；通过这样对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；进行损失函数Loss计算时，损失函数采用MSE，计算公式为：
Figure BDA0003201854850000071
其中，m为样本数，yi为真实数据，
Figure BDA0003201854850000072
为预测数据。
本发明有益效果：
本发明利用编码器解码器结构，基于Informer模型并改进其自注意力蒸馏(Self-attention Distilling)操作以便在编码器模块提取出更深层次的特征后，再对具有主要特征的优势特征赋予更高的权重，以此获得更好的预测精度。且该模型通过稀疏性自注意力机制(ProbSparse Self-attention)来获取长输入并将传统自注意力机制(Self-attention)的计算时间复杂度降低为O(L*logL)。同时也采用一次性生成输出的Decoder结构来捕获任意输出之间的长依赖关系，加快了预测速度的同时避免了误差的积累。此外，通过对Decoder的堆叠来更精准的获得输入和输出间的映射关系，以此来提升预测精度。该方法相较于现有方法稳定性好、推理速度快、预测误差更小。
本发明特定的：
一、使用稀疏性自注意力机制(ProbSparse Self-attention)，降低了传统自注意力机制的计算时间复杂度和空间复杂度，二者均达到O(L*logL)。与传统自注意力机制相比，稀疏性自注意力机制中每个query都随机采样c*lnL个key做点积计算而不是计算每个query和key的点积，从而将计算的时间复杂度和空间复杂度从O(L2)降低到O(L*logL)。
二、使用自注意力蒸馏(Self-attention Distilling)操作缩短每一层的输入序列长度，降低了多个堆叠层的内存使用量，进一步降低了算法的总时间复杂度。同时扩展了该操作的卷积深度，使其卷积获得更深层次的特征后，再对具有主要特征的优势特征赋予更高的权重，以此获得更好的预测精度。
三、使用一次性生成的解码器Decoder结构，只需要一个前向步骤(而非自回归)就可以获得长序列输出，避免了预测阶段的累计误差传播。同时，通过对Decoder进行堆叠来更精准的获得输入输出间的映射关系，从而进一步提高预测精度。
解决了现有技术输电线路覆冰预测方法因为预测序列长度长、环境影响因素多样，覆冰状况具有时空差异性等问题，在实际应用中存在准确性不高、鲁棒性不强、适应性不好等技术问题。
附图说明：
图1为本发明方法在多变量预测任务中的Loss收敛图；
图2为本发明方法在多变量预测任务中各评价指标收敛图。
具体实施方式
本发明实现其发明目的，所采用的技术方案是，一种基于Informer注意力学习的输电线路覆冰预测方法，其步骤如下：
(1)数据预处理
对历史覆冰数据、终端拉力数据、气象站预报数据、气象站监测数据、终端信息等数据进行处理，对其进行异常值处理和缺失值填补，构建拉力相关的多变量序列数据集：
Figure BDA0003201854850000091
本数据集以拉力值为预测对象，以日期、温度、湿度、温度、拉力值等覆冰影响因素为特征输入。设输入历史序列长度为Lx，前向预测长度为p，覆冰相关影响变量个数为i，预测拉力值为ft，预处理后的数据集dataset表示如下：
Figure BDA0003201854850000092
(2)训练集构建
数据预处理后得到拉力多变量数据集
Figure BDA0003201854850000093
对其进行进一步标准化，使用均值mean和方差σ对数据进行Z-score归一化，归一化计算公式：X＝(x-mean)/σ。其中取数据集的前70％为训练集Dtrain，10％为验证集Dvail，最后20％为测试集Dtest。
(3)输入embedding
在设定好迭代次数Epochs、批处理样本数batch_size和学习率lr后之后，依次从训练集Dtrain取出batch_size大小的样本数，对其进行输入统一转换，模型输入由特征标量
Figure BDA0003201854850000094
局部时间戳(PE)和全局时间戳(SE)转换公式如下所示：
Figure BDA0003201854850000095
其中，i∈{1,…,Lx}，α为平衡标量映射和局部/全局嵌入之间大小的因子。
a)特征标量：对应公式中的
Figure BDA0003201854850000096
具体操作为通过Conv1D将i维转换为512维向量。
b)局部时间戳(PE)：采用Transformer中的Positional Emebdding，计算公式如下：
Figure BDA0003201854850000101
Figure BDA0003201854850000102
其中dmodel为输入的特征维度，
Figure BDA0003201854850000103
c)全局时间戳(SE)：使用一个全连接层将输入的时间戳映射到512维的embedding。
(4)编码器Encoder
统一转换后的输入
Figure BDA0003201854850000104
输入到模型的编码器Encoder部分，首先在注意力模块对其进行稀疏性自注意力(ProbSparse Self-attention)计算，每个key只关注u个主要query，Q为查询向量，K为键向量，V为值向量，计算公式如下所示：
Figure BDA0003201854850000105
其中，
Figure BDA0003201854850000106
是大小与Q相同的稀疏矩阵且其只包含稀疏度量M(qi,K)下的Top-u个query。加入一个采样因子(超参数)c，设定u＝clnLQ。首先，为每个query都随机采样c*lnL个key，并计算每个query的稀疏性得分M(qi,K)。qi,ki,vi分别为Q,K,V的第i行，d为qi的维度，而LK＝LQ＝L，稀疏度量M(qi,K)的近似计算公式为：
Figure BDA0003201854850000107
然后，选择稀疏性得分最高的N个query，N默认为c*lnL，只计算N个query和key的点积结果，其余的L-N个query不计算。
经过稀疏性自注意力计算后的输出存在V值的冗余组合，因此需要Distilling操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图。具体通过四层Conv1d卷积层和一个最大Maxpooling池化层来实现。
重复迭代几次Multi-headProbSparse Self-attention+Distilling的组合之后，得到解码器Decoder的输入之一。
(5)解码器Decoder
Informer使用的Decoder和传统的Decoder类似，为了让算法生成长序列的输出，Decoder需要如下输入：
Figure BDA0003201854850000111
其中，
Figure BDA0003201854850000112
为start token序列，
Figure BDA0003201854850000113
为需要预测序列(用0填充)，随后将序列通过一个Masked ProbSparse Self-Attention层，它可以防止每个位置都关注未来的位置，从而避免了自回归。将该层的输出再传递给一个Multi-headProbSparse Self-Attention层后，再将其输出传递给另一个Masked ProbSparse Self-Attention+Multi-headProbSparse Self-Attention的组合。通过这样对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度。最终通过一个全连接层，得到最后的输出。将预测得到的输出和真实值进行损失函数Loss计算，损失函数采用MSE，计算公式如下：
Figure BDA0003201854850000114
其中，m为样本数，yi为真实数据，
Figure BDA0003201854850000115
为预测数据。
(6)模型迭代
重复上述(3)、(4)、(5)步骤，直至训练条件终止(达到模型迭代次数或因Loss不下降而触发早停机制)，生成训练好的model，可用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度。
仿真实验
为了验证一种基于Informer注意力学习的输电线路覆冰预测方法的有效性，进行了基于真实数据集的自回归预测实验和多变量预测实验。实验环境采用Python开发语言和Pytorch深度学习框架。此外，本方法将与文献[3]和文献[4]中的方法进行比较，两方法如下：
SVR：支持向量回归(SVR)是支持向量机机器学习模型的一种变体方法，经常用于时间序列预测。
LSTM：长短期记忆网络(LSTM)是一种特殊的RNN，主要解决了RNN在长序列训练过程中的梯度消失和梯度爆炸问题，相较于普通RNN在更长的序列中有更好的表现。
将MSE、MAE、RMSE作为模型误差分析指标，用于评估各种方法的交通流预测性能，误差指标计算公式如下：
Figure BDA0003201854850000121
Figure BDA0003201854850000122
Figure BDA0003201854850000123
其中，m为样本数，yi为真实数据，
Figure BDA0003201854850000131
为预测数据。
实验一：
本实验数据集来源于南方电网公司提供的覆冰数据集。该数据集以小时为采样点，包含了多个线路终端的温度、湿度、风速和拉力值等覆冰相关特征信息。实验所用的数据集时间跨度为2020年12月1日至2021年1月31日。本实验的基准对比模型分别进行覆冰数据集的多变量预测。用48小时的温度、湿度、风速和拉力值四个特征数据来预测未来24小时的最大拉力值，采用MSE、MAE、MAPE三个作为评价指标。实验结果如表1所示。
表1
Figure BDA0003201854850000132
从表1的各项评价指标中可以看出，在各自进行了5次实验后，对评价指标取平均值后对比可以发现。本方法相比基准方法的预测精度更高。
实验二：
本实验采用的数据集与上述相同，本实验将本发明方法与文献[3]中的SVR、文献[4]中的LSTM方法在上述数据集上进行多变量预测实验和自回归预测实验，采用MSE、MAE、RMSE作为评价指标。实验结果如表2所示。
Figure BDA0003201854850000141
从表2可见，在多变量预测中，本方法在MSE、MAE、RMSE三个评价指标方面均优于SVR和LSTM方法。且在自回归预测中，本方法相较于SVR和LSTM也能保持着最优的预测性能和最小的预测误差。
综上，通过在基于南方电网提供的真实覆冰数据集进行的实验评估分析，本方法相较于文献[3]、文献[4]中的现有方法具有更好的预测性能，MSE、MAE、RMSE预测误差最小。且无论是多变量预测还是在自回归预测，本方法均保持着最低的预测误差。

Claims (9)

1.一种基于Informer模型的输电线路覆冰预测方法，它包括：
步骤1、采集历史覆冰数据、终端拉力数据、气象站预报数据、气象站监测数据和终端信息数据，对采集的信息数据进行数据预处理；
步骤2、构建训练集Dtrain、验证集Dvail和测试集Dtest；
步骤3、在设定好迭代次数Epochs、批处理样本数batch_size和学习率lr后之后，依次从训练集Dtrain取出batch_size大小的样本数，进行输入统一转换；
步骤4、生成编码器，对输入特征进行编码；
步骤5、通过对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；
将预测得到的输出和真实值进行损失函数Loss计算；
步骤6、模型迭代，重复步骤3、4和5；，直至训练条件终止，生成训练好的model，用于预测未来时刻的输电电缆的拉力值，通过拉力值进而计算当前输电电缆的覆冰厚度。
2.根据权利要求1所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：数据预处理的方法为：进行异常值处理和缺失值填补，构建拉力相关的多变量序列数据集：
Figure FDA0003201854840000011
Figure FDA0003201854840000012
数据集以拉力值为预测对象，以日期、温度、湿度、温度和拉力值覆冰影响因素为特征输入；设输入历史序列长度为Lx，前向预测长度为p，覆冰相关影响变量个数为i，预测拉力值为ft，预处理后的数据集dataset表示如下：
Figure FDA0003201854840000021
3.根据权利要求1所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：数据预处理后得到拉力多变量数据集
Figure FDA0003201854840000022
进行进一步标准化，使用均值mean和方差σ对数据进行Z-score归一化，
归一化计算公式：X＝(x-mean)/σ；取数据集的前70％为训练集Dtrain，10％为验证集Dvail，最后20％为测试集Dtest。
4.根据权利要求1所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：进行输入统一转换的方法为：
模型输入由特征标量
Figure FDA0003201854840000023
局部时间戳(PE)和全局时间戳(SE)组成；转换公式为：
Figure FDA0003201854840000024
式中：i∈{1,…,Lx}，α为平衡标量映射和局部/全局嵌入之间大小的因子。
5.根据权利要求4所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：特征标量所对应公式中的
Figure FDA0003201854840000025
具体操作为通过Conv1D将i维转换为512维向量。
6.根据权利要求4所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：局部时间戳(PE)采用Transformer中的Positional Emebdding，计算公式为：
Figure FDA0003201854840000031
Figure FDA0003201854840000032
其中dmodel为输入的特征维度，
Figure FDA0003201854840000033
7.根据权利要求4所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：全局时间戳(SE)使用一个全连接层将输入的时间戳映射到512维的embedding。
8.根据权利要求1所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：生成编码器的具体方法包括：
统一转换后的输入
Figure FDA0003201854840000034
输入到模型的编码器Encoder部分，在注意力模块进行稀疏性自注意力(ProbSparse Self-attention)计算，每个key只关注u个主要query，计算公式为：
Figure FDA0003201854840000035
其中，
Figure FDA0003201854840000036
是大小与Q相同的稀疏矩阵且只包含稀疏度量M(qi,K)下的Top-u个query；加入一个采样因子c，设定u＝clnLQ；
为每个query都随机采样c*lnL个key，并计算每个query的稀疏性得分M(qi，K)；稀疏度量M(qi，K)的计算公式为：
Figure FDA0003201854840000037
选择稀疏性得分最高的N个query，N默认为c*lnL，只计算N个query和key的点积结果，剩下的L-N个query不计算；
经过稀疏性自注意力计算后的输出存在V值的冗余组合，因此采用Distilling操作对具有主要特征的优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征图；具体通过四层Conv1d卷积层和一个最大Maxpooling池化层来实现；重复迭代Multi-headProbSparse Self-attention+Distilling的组合之后，得到解码器Decoder的输入之一。
9.根据权利要求1所述的一种基于Informer模型的输电线路覆冰预测方法，其特征在于：步骤5所述通过对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；最终通过一个全连接层，得到最后的输出；将预测得到的输出和真实值进行损失函数Loss计算的具体过程包括：Informer使用的Decoder和传统的Decoder类似，为了让算法生成长序列的输出，Decoder需要输入：
Figure FDA0003201854840000041
其中，
Figure FDA0003201854840000042
为start token序列，
Figure FDA0003201854840000043
为需要预测序列，用0填充，随后将序列通过一个Masked ProbSparse Self-Attention层，将该层的输出再传递给一个Multi-headProbSparse Self-Attention层后，再将输出传递给另一个Masked ProbSparse Self-Attention+Multi-headProbSparse Self-Attention的组合；通过这样对Decoder的堆叠，来更好的获得输入输出间的映射关系，以此来提高预测精度；
进行损失函数Loss计算时，损失函数采用MSE，计算公式为：
Figure FDA0003201854840000044
其中，m为样本数，yi为真实数据，
Figure FDA0003201854840000045
为预测数据。
CN202110906470.4A 2021-08-09 2021-08-09 一种基于Informer模型的输电线路覆冰预测方法 Active CN113723669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906470.4A CN113723669B (zh) 2021-08-09 2021-08-09 一种基于Informer模型的输电线路覆冰预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906470.4A CN113723669B (zh) 2021-08-09 2021-08-09 一种基于Informer模型的输电线路覆冰预测方法

Publications (2)

Publication Number Publication Date
CN113723669A true CN113723669A (zh) 2021-11-30
CN113723669B CN113723669B (zh) 2023-01-06

Family

ID=78675173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906470.4A Active CN113723669B (zh) 2021-08-09 2021-08-09 一种基于Informer模型的输电线路覆冰预测方法

Country Status (1)

Country Link
CN (1) CN113723669B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595427A (zh) * 2022-03-10 2022-06-07 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN115081752A (zh) * 2022-08-11 2022-09-20 浙江君同智能科技有限责任公司 黑灰产众包流量预测装置及方法
CN115545361A (zh) * 2022-12-02 2022-12-30 国网湖北省电力有限公司信息通信公司 一种电网传输线路气候环境预测方法、系统及介质
CN116047631A (zh) * 2023-03-31 2023-05-02 中科星图维天信(北京)科技有限公司 降水预报方法、装置、电子设备及存储介质
CN114595427B (zh) * 2022-03-10 2024-06-04 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492823A (zh) * 2018-11-26 2019-03-19 南京大学 一种对输电线路覆冰厚度的预测方法
CN110188397A (zh) * 2019-05-06 2019-08-30 南瑞集团有限公司 一种架空输电线路覆冰预测模型和方法
CN112116162A (zh) * 2020-09-26 2020-12-22 国家电网公司华中分部 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492823A (zh) * 2018-11-26 2019-03-19 南京大学 一种对输电线路覆冰厚度的预测方法
CN110188397A (zh) * 2019-05-06 2019-08-30 南瑞集团有限公司 一种架空输电线路覆冰预测模型和方法
CN112116162A (zh) * 2020-09-26 2020-12-22 国家电网公司华中分部 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595427A (zh) * 2022-03-10 2022-06-07 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN114595427B (zh) * 2022-03-10 2024-06-04 华南理工大学 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法
CN115081752A (zh) * 2022-08-11 2022-09-20 浙江君同智能科技有限责任公司 黑灰产众包流量预测装置及方法
CN115545361A (zh) * 2022-12-02 2022-12-30 国网湖北省电力有限公司信息通信公司 一种电网传输线路气候环境预测方法、系统及介质
CN115545361B (zh) * 2022-12-02 2023-05-09 国网湖北省电力有限公司信息通信公司 一种电网传输线路气候环境预测方法、系统及介质
CN116047631A (zh) * 2023-03-31 2023-05-02 中科星图维天信(北京)科技有限公司 降水预报方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113723669B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN113723669B (zh) 一种基于Informer模型的输电线路覆冰预测方法
CN112365040B (zh) 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法
CN108876054A (zh) 基于改进遗传算法优化极限学习机的短期电力负荷预测方法
CN111160620B (zh) 一种基于端到端记忆网络的短期风电功率预测方法
Kharlova et al. Forecasting photovoltaic power production using a deep learning sequence to sequence model with attention
CN113988655A (zh) 一种计及多气象因素的输电线路运行状态评估方法
CN115936177A (zh) 一种基于神经网络的光伏输出功率预测方法及系统
CN115018209A (zh) 一种数字化电能计量系统运行误差长期预测方法及设备
CN116341613A (zh) 一种基于Informer encoder和LSTM的超短期光伏功率预测方法
CN116029419A (zh) 基于深度学习的长期新能源日均发电功率预测方法及系统
Fan et al. Spatial-temporal genetic-based attention networks for short-term photovoltaic power forecasting
CN113469457B (zh) 融合注意力机制的输电线路故障概率预测方法
CN114611757A (zh) 基于遗传算法与改进深度残差网络的电力系统短期负荷预测方法
Kaur et al. Solar power forecasting using ordinary least square based regression algorithms
CN113095547A (zh) 一种基于gra-lstm-ice模型的短期风功率预测方法
CN116404637A (zh) 电力系统短期负荷预测方法和电力系统短期负荷预测装置
CN116415724A (zh) 一种光伏电站运维检修时间的预测方法及装置
CN115577854A (zh) 一种基于eemd-rbf组合的分位数回归风速区间预测方法
CN114692937A (zh) 一种基于主变负载影响因素预测的主变负载预测方法
Liu et al. Wind Speed Forecasting Method Based on Deep Learning Strategy Using Long Short Term Memory Neural Network And Transformer Model
Xia et al. Research on Solar Radiation Estimation based on Singular Spectrum Analysis-Deep Belief Network
Moradzadeh et al. Image processing-based data integrity attack detection in dynamic line rating forecasting applications
Safari et al. A secure deep probabilistic dynamic thermal line rating prediction
CN117113243B (zh) 一种光伏设备异常检测方法
CN116562115A (zh) 基于机器学习与气象相似时刻的新能源发电预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant