CN116451006B - 基于增强型时序模式注意力的pmu数据恢复方法及系统 - Google Patents

基于增强型时序模式注意力的pmu数据恢复方法及系统 Download PDF

Info

Publication number
CN116451006B
CN116451006B CN202310684923.2A CN202310684923A CN116451006B CN 116451006 B CN116451006 B CN 116451006B CN 202310684923 A CN202310684923 A CN 202310684923A CN 116451006 B CN116451006 B CN 116451006B
Authority
CN
China
Prior art keywords
matrix
tensor
hidden state
enhanced
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310684923.2A
Other languages
English (en)
Other versions
CN116451006A (zh
Inventor
姚文轩
杨秋爽
邱伟
黄琴
马钰浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310684923.2A priority Critical patent/CN116451006B/zh
Publication of CN116451006A publication Critical patent/CN116451006A/zh
Application granted granted Critical
Publication of CN116451006B publication Critical patent/CN116451006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于增强型时序模式注意力的PMU数据恢复方法及系统，本发明方法包括针对待恢复的PMU数据采用最优变分模态分解提取特征再归一化后输入结合ETPA和LSTM的网络模型，利用LSTM获取隐状态向量并构建隐状态矩阵，对隐状态矩阵卷积得到时序模式矩阵并对该矩阵进行变换得到增强时序模式矩阵；基于注意力权重对增强时序模式矩阵的每一行进行加权求和得到加权和；将加权和和隐状态向量加权为隐状态向量并计算输出，将输出输入全连接层得到恢复后的PMU数据。本发明旨在提高挖掘PMU数据样本的数据间相关性的能力，实现更精确的PMU数据恢复。

Description

基于增强型时序模式注意力的PMU数据恢复方法及系统
技术领域
本发明涉及同步相量测量装置(Phasor Measurement Unit，PMU)的数据恢复技术领域，具体涉及一种基于增强型时序模式注意力的PMU数据恢复方法及系统。
背景技术
同步相量测量装置是电网广域测量系统的一种重要监测工具，其采集的同步相量数据质量对电网势态感知和动态监测方面起着关键性作用。由于电网的扩张和新型电力电子设备的接入，通信基础设施传输的数据量正在急剧增加。因此，受通信问题、网络攻击与电磁干扰等会出现数据丢失等问题。同步相量测量单元(Phasor Measurement Unit，PMU)因其同步性、快速性和准确性成为电网动态实时监测最有效的手段之一，并得到迅速发展。但由于受通信问题、网络攻击与电磁干扰等诸多因素影响，PMU数据存在不同程度的缺失问题。PMU数据丢失直接影响其在电力系统中的应用，甚至威胁到系统的安全稳定运行。
总体而言，目前的PMU数据恢复方法存在以下几个缺点：1，PMU数据丢失存在随机性，且实际量测数据易受到系统噪声、谐波、振荡等影响，因此如何建立一种精准且高效的方法是PMU数据恢复的难点。2，PMU丢失的数据类型丰富，包括系统正常运行和系统处于故障状态的幅值、相角、频率数据，因此对适应于不同类型数据的特征提取方法提出了更高的要求。3，PMU采集的数据量庞大，因此所用方法应适用于大数据处理，并且有好的实时性。总而言之，现有方法对PMU数据恢复能在一定程度上实现量测数据的恢复，但恢复精确度和速度有待提升。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于增强型时序模式注意力的PMU数据恢复方法及系统，本发明旨在提高挖掘PMU数据样本的数据间相关性的能力，实现更精确的PMU数据恢复。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于增强型时序模式注意力的PMU数据恢复方法，包括：
S101，针对待恢复的PMU数据采用最优变分模态分解提取特征；
S102，将特征归一化后输入结合增强型时序模式注意力和长短期记忆的网络模型，在结合增强型时序模式注意力和长短期记忆的网络模型中的处理包括：利用长短期记忆网络针对输入的特征计算隐状态向量以获取隐状态向量，采用滑动窗口获取LSTM网络的隐状态向量/>构建/>行/>列的隐状态矩阵/>，其中/>是滑动窗口长度；/>是隐状态特征数；对隐状态矩阵/>用/>个/>大小的卷积核做卷积得到/>行/>列的时序模式矩阵/>；对时序模式矩阵/>分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>；根据增强时序模式矩阵/>和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>，并对权重/>进行归一化得到注意力权重/>；基于注意力权重/>对增强时序模式矩阵的每一行进行加权求和得到加权和/>；将加权和/>和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>，并将输出/>输入全连接层得到恢复后的PMU数据。
可选地，步骤S102中对时序模式矩阵分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>包括：
S201，对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>；其中空间范围(,1)中的/>是指/>矩阵的行数，空间范围(1,/>)中的/>是指/>矩阵的列数；
S202，将张量和张量/>融合成/>大小的张量并进行/>卷积、利用非线性激励函数/>得到用于对水平方向和垂直方向上的空间信息进行编码的中间特征图/>；
S203，将中间特征图沿着空间维度拆分为张量/>和/>；将张量/>和/>分别用函数激活得到张量/>和/>，再将张量/>和/>进行张量相乘得到增强时序模式矩阵/>。
可选地，步骤S201中对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>的函数表达式为：
，
，
上式中，为张量/>的第/>个通道的分量，/>为第/>个通道第/>行第/>个分量，/>为张量/>的第/>个通道的分量，/>为第/>个通道第/>列第/>个分量，/>为/>矩阵的列数，/>为/>矩阵的行数。
可选地，步骤S202中生成中间特征图的函数表达式为：
上式中，表示将张量/>和张量/>级联，w,b分别表示一个滤波器核的权值和偏置项，relu表示relu激励函数。
可选地，步骤S203中将张量和/>进行张量相乘得到增强时序模式矩阵/>的函数表达式为：
，
上式中，为增强时序模式矩阵/>的第/>行/>列元素，/>为张量/>的第个通道第/>行第/>个分量，/>为张量/>的第/>个通道第/>列第/>个分量。
可选地，步骤S102中根据增强时序模式矩阵和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>的函数表达式为：
，
上式中，表示强时序模式矩阵/>中的第/>行，/>为权重矩阵，/>为当前时刻的LSTM网络的隐状态向量；步骤S102中对权重/>进行归一化得到注意力权重/>的函数表达式为：
，
上式中，表示/>函数。
可选地，步骤S102中基于注意力权重对增强特征/>的每一行进行加权求和得到加权和/>的函数表达式为：
，
上式中，为隐状态矩阵/>的行数。
可选地，步骤S102中将加权和和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>的函数表达式为：
，/> =/>，
上式中，和/>为融合矩阵权重，/>为输出矩阵权重。
此外，本发明还提供一种基于增强型时序模式注意力的PMU数据恢复系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于增强型时序模式注意力的PMU数据恢复方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于增强型时序模式注意力的PMU数据恢复方法。
和现有技术相比，本发明主要具有下述优点：本发明提出了一种最优变分模态（OVMD）分解-增强型时序模式注意力（Enhanced Temporal Pattern Attention，ETPA）-长短期记忆（Long Short-Term Memory，LSTM）结合的PMU数据恢复技术，通过将上述技术的结合，在时间模式注意力机制的基础上，利用得到的时间模式矩阵进行不同空间维度池化、加权变换，能够提高挖掘PMU数据样本的数据间相关性的能力，通过较少参数的增加来实现恢复精度大幅度的提升，实现更精确的PMU数据恢复。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中ETPA-LSTM网络模型的原理示意图。
图3为本发明实施例中增强时序模式矩阵的变换生成原理示意图。
图4为本发明实施例方法和现有方法对静态数据进行恢复的实验结果对比。
图5为本发明实施例方法和现有方法对动态数据进行恢复的实验结果对比。
图6为本发明实施例方法和现有方法的静态数据恢复误差实验结果对比。
图7为本发明实施例方法和现有方法的动态数据恢复误差实验结果对比。
具体实施方式
如图1所示，本实施例基于增强型时序模式注意力的PMU数据恢复方法包括：
S101，针对待恢复的PMU数据采用最优变分模态分解（Optimal Variational ModeDecomposition，OVMD）提取特征；
S102，将特征归一化后输入结合增强型时序模式注意力（Enhanced TemporalPattern Attention，ETPA）和长短期记忆（Long Short-Term Memory，LSTM）的网络模型（本实施例中记为ETPA-LSTM网络模型），在结合增强型时序模式注意力和长短期记忆的网络模型中的处理包括：利用长短期记忆网络针对输入的特征计算隐状态向量以获取隐状态向量，采用滑动窗口获取LSTM网络的隐状态向量/>构建/>行/>列的隐状态矩阵/>，其中/>是滑动窗口长度；/>是隐状态特征数；对隐状态矩阵/>用/>个/>大小的卷积核做卷积得到/>行/>列的时序模式矩阵/>；对时序模式矩阵/>分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>；根据增强时序模式矩阵/>和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>，并对权重/>进行归一化得到注意力权重/>；基于注意力权重/>对增强时序模式矩阵/>的每一行进行加权求和得到加权和/>；将加权和/>和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>，并将输出/>输入全连接层得到恢复后的PMU数据。
本实施例步骤S101中采用的最优变分模态分解（OVMD）是对变分模态分解（VMD）的改进。对于给定的信号，变分模态分解（VMD）通过求解约束变分问题将数据分解为多个模态函数之和，各模态函数信号具有有限带宽，约束变分问题描述如下：
，（1）
式中，为分解得到的模态总数，/>与/>分别为分解得到第/>个模态的时域信号和中心频率，/>为时刻/>的第/>个模态的时域信号，/>表示/>的偏导数，/>表示脉冲函数，/>为虚数单位，/>为给定的信号。为求解上述约束变分优化问题，引入二次惩罚因子/>和Lagrange乘子/>，其中二次惩罚因子能有效降低高斯噪声干扰，而Lagrange乘子则能增强约束严格性，得到增广变分问题：
，（2）
上式中，为Lagrange乘子，/>为时刻/>的Lagrange乘子。
利用基于对偶分解和Lagrange法的交替方向乘子方法求解式（2）的增广变分问题，对、/>与/>进行交替迭代寻优，可得如下迭代公式：
，（3）
，（4）
，（5）
上式中，为第/>个模态的时域信号傅里叶变化的/>次迭代结果，/>为频率，/>为待分解信号/>的傅里叶变化，/>为第/>个模态的时域信号的傅里叶变化，/>为Lagrange乘子的傅里叶变化，/>为第/>个模态中心频率的/>次迭代结果，/>为第/>个模态的时域信号的傅里叶变化，/>为Lagrange乘子傅里叶变化的/>次迭代结果，/>为Lagrange乘子傅里叶变化的/>次迭代结果，/>为步长。
对于给定的求解精度，满足下式时停止迭代：
，（6）
上式中，为第/>个模态的时域信号的/>次迭代结果，/>为第/>个模态的时域信号的/>次迭代结果。
变分模态分解(VMD)的步骤包括：
a）初始化、/>、/>与最大迭代次数/>，迭代次数/>；
b）根据式（3）、（4）更新、/>；
c）根据式（5）更新，/>；
d）根据式（6）判断收敛性，若不收敛且，则跳转步骤b），否则停止迭代，得到最终模态函数/>和中心频率/>。
变分模态分解（VMD）的性能主要受模态总数和步长/>的影响。为了提高PMU数据恢复的精度，最优变分模态分解（OVMD）是对变分模态分解（VMD）增加了基于模态总数/>和步长/>双参数优化，其中模态总数/>采用基于中心频率观察法确定，步长/>采用残差的均方根误差最小化确定。双参数优化的步骤包括：
第一步：初始化，/>，其中/>表示正整数集。
第二步：计算并分析不同值下分解模式的/>。若/>，此时的模态总数/>被确定为用于分解的最优的模态总数/>。
第三步：设置步长的取值范围，如式（7）所示。
，（7）
上式中，为因变量步长/>的自变量，表示定义域从0-100，/>为自然数集，表示定义域从0-100的离散的101个点。
第四步：将信号，最优的模态总数/>，步长/>从小到大依次代入式（8）进行计算：
，（8）
上式中，~/>分别为第1~/>个模态的时域信号，OVMD为在确定最优的模态总数和对步长/>寻优过程中的最优变分模态分解。
第五步：将每个对应步长分解的信号进行重构，表达式为：
，（9）
上式中，为重构信号。
第六步：计算重构信号与原始信号的均方根误差(Root Mean Squared Error，RMSE)，表达式如下：
，（10）
上式中，为分解信号的长度，/>为第/>个重构信号，/>为第/>个原始信号。
第七步：选出RMSE最小时对应的最优的步长。
在此基础上，即可利用最优的模态总数和最优的步长/>，即可针对PMU数据进行OVMD分解，完成特征提取。
本实施例的ETPA-LSTM网络模型中利用长短期记忆网络（LSTM网络）针对输入的特征计算隐状态向量以获取隐状态向量。长短期记忆(Long Short-Term Memory，LSTM)网络，与全连接神经网络相比，LSTM隐藏层的值不仅由该时刻的输入层决定，还由上时刻的隐藏层决定。同时，LSTM网络加入门结构，以控制每一时刻信息的记忆与遗忘，有选择地加以保留。记忆模块是LSTM区别于一般神经网络的核心。LSTM记忆模块包括记忆细胞和三个门控单元：输入门、输出门和遗忘门。其中，输入门决定信息是否输入至记忆细胞，遗忘门决定记忆细胞的信息是否删除，输出门决定记忆细胞的信息是否输出。LSTM的三个门均采用函数，激励函数采用tanh函数。
本实施例的ETPA-LSTM网络模型中，增强型时序模式注意力（Enhanced TemporalPattern Attention，ETPA）是利用LSTM网络得到隐藏状态矩阵，对该矩阵先用卷积提取特征行向量，然后对特征行向量进行不同空间维度的变换。由于特征行向量包含特征在多时间步上的时序信息，因此对特征行向量进行进一步变换，使增强型时间模式注意力机制(Enhanced Temporal Pattern Attention，ETPA)能捕获到特征时间序列的更长期的相关性，以此来提高恢复精度。ETPA-LSTM网络模型的实现包括下述步骤：
第一步：LSTM网络中前一时刻的隐状态向量和当前输入信息/>同时传递给遗忘门，遗忘门的计算函数表达式为：
，（11）
，（12）
第二步：LSTM网络的输入门决定输入记忆单元的哪些信息应该加入中，输入门的计算函数表达式为：
，（13）
，（14）
，（15）
，（16）
第三步：LSTM网络的输出门判断哪些信息输出到时刻的隐藏层状态/>。输出门的计算函数表达式为：
，（17）
，（18）
式（11）-（18）中：为/>时刻的元胞状态；/>、/>、/>和/>分别为遗忘门、输入门、元胞状态和输出门的输入权值矩阵；/>、/>、/>和/>分别为遗忘门、输入门、元胞状态和输出门的输出权值矩阵；/>、/>、/>和/>分别为遗忘门、输入门、元胞状态和输出门的偏置；/>、/>、/>和/>分别为遗忘门、输入门、元胞状态和输出门的输出向量；/>和/>为中间产生的过渡向量；/>为/>激活函数。
第四步：求隐状态矩阵。通过LSTM网络每个时刻输出一个隐状态向量/>，/>个/>组合得到隐状态矩阵/>，大小为/>行/>列。隐状态矩阵/>的列向量表示时间步，行向量表示隐状态特征。其中/>是滑动窗口长度；/>是隐状态特征数。
第五步，卷积提取特征。对隐状态矩阵用/>个1ⅹ/>大小的卷积核从上往下沿着个特征做卷积得到时序模式矩阵/>，大小为/>行/>列，时序模式矩阵/>的行向量是特征行向量，列向量表示卷积核。这一步进行卷积操作可以提取隐状态矩阵的时序模式信息，增强模型的学习能力。时序模式矩阵/>的计算函数表达式为：
，（19）
上式中，为时序模式矩阵/>的第/>行/>列的元素，/>为隐状态矩阵中的第/>行/>列的元素，其中/>为总的时间步长，/>为代表滑窗的窗口长度，/>为与隐状态矩阵/>所包含的矩阵个数的相关参数，/>为第/>个卷积核的第/>个权重和偏置项，/>为第/>个卷积核，/>为隐状态矩阵/>的第/>行。
第六步，对时序模式矩阵进行变换，通过此变换，可以实现时序模式矩阵/>跨通道的交互和信息整合，进一步地提取时序模式矩阵/>的特征，这些特征能有效地提高PMU数据恢复的精度，其变换过程如图3所示。如图3所示，步骤S102中对时序模式矩阵/>分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>包括：
S201，对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>；其中空间范围(,1)中的/>是指/>矩阵的行数，空间范围(1,/>)中的/>是指/>矩阵的列数；
S202，将张量和张量/>融合成/>大小的张量并进行/>卷积、利用非线性激励函数/>得到用于对水平方向和垂直方向上的空间信息进行编码的中间特征图/>；
S203，将中间特征图沿着空间维度拆分为张量/>和/>；将张量/>和/>分别用函数激活得到张量/>和/>，再将张量/>和/>进行张量相乘得到增强时序模式矩阵/>。
本实施例步骤S201中对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>的函数表达式为：
，（20）
，（21）
上式中，为张量/>的第/>个通道的分量，/>为第/>个通道第/>行第/>个分量，/>为张量/>的第/>个通道的分量，/>为第/>个通道第/>列第/>个分量，/>为/>矩阵的列数，/>为/>矩阵的行数。
本实施例步骤S202中生成中间特征图的函数表达式为：
，（22）
上式中，表示将张量/>和张量/>级联，w,b分别表示一个滤波器核的权值和偏置项，relu表示relu激励函数。
本实施例步骤S203中将张量和/>分别用/>函数激活得到张量/>和可表示为：
，（23）
，（24）
本实施例步骤S203中将张量和/>进行张量相乘得到增强时序模式矩阵/>的函数表达式为：
，（25）
上式中，为增强时序模式矩阵/>的第/>行/>列元素，/>为张量/>的第个通道第/>行第/>个分量，/>为张量/>的第/>个通道第/>列第/>个分量。
第七步，加权求和。根据增强时序模式矩阵和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>，并对权重/>进行归一化得到注意力权重/>；基于注意力权重/>对增强时序模式矩阵/>的每一行进行加权求和得到加权和/>；
本实施例中，步骤S102中根据增强时序模式矩阵和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>的函数表达式为：
，（26）
上式中，表示强时序模式矩阵/>中的第/>行，/>为权重矩阵，/>为当前时刻的LSTM网络的隐状态向量；步骤S102中对权重/>进行归一化得到注意力权重/>的函数表达式为：
，（27）
上式中，表示/>函数。
紧接着，基于注意力权重对增强特征/>的每一行进行加权求和得到加权和/>，加权和/>是特征行向量的加权和，而特征行向量包含/>到/>多个时间步上的信息，因此它能捕获到特征时间序列的更长期的相关性。本实施例中，步骤S102中基于注意力权重/>对增强特征/>的每一行进行加权求和得到加权和/>的函数表达式为：
，（28）
上式中，为隐状态矩阵/>的行数。
第八步，融合函数。将加权和和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>。
具体地本实施例步骤S102中将加权和和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>的函数表达式为：
，（29）
=/>，（30）
上式中，和/>为融合矩阵权重，/>为输出矩阵权重。
最终，通过全连接层即可输出恢复后的PMU数据。
为了验证本实施例基于增强型时序模式注意力的PMU数据恢复方法的性能，本实施例中将OVMD-TPA-LSTM方法和TPA-LSTM方法作为本实施例方法（OVMD-ETPA-LSTM方法）的对比，采用了静态和动态仿真数据进行实验。其中OVMD-TPA-LSTM方法为OVMD+基于时序模式注意力机制（TPA）+长短时记忆（LSTM）网络的方法，TPA-LSTM方法即为进一步精简了OVMD的对比方法。动态数据采用基于WECC-179节点模型仿真的振荡案例作为测试案例。此案例的PMU上送频率为，即60s内可上送1800个同步相量数据。选取该案例连续180s的同步相量数据，即5400个同步相量数据作为实验样本。静态数据采用如下表达式生成5400个数据点作为实验样本：
，（31）
上式中，为PMU数据（静态数据），/>为相量幅值；/>为工频；/>为初相角；为噪声部分；且本实施例中/>；/>；/>；/>的信噪比为60dB。
首先确定静态和动态数据的OVMD分解的最优模态总数和最优步长；其次构建数据集，时间段的数据作为OVMD-ETPA-LSTM网络的输入，/>时刻的同步相量数据作为输出，滑动窗口为一个数据点，即下一个样本的输入为/>时间段的数据，输出为/>时刻的数据。假设连续丢失20个数据点，丢失时间段为179.333s-180s，分别采用TPA-LSTM、OVMD-TPA-LSTM和本实施例方法对丢失数据进行恢复，实验结果如图4和图5所示，绝对值误差如下图6和图7所示。从图4中可见，TPA-LSTM方法的电压数据恢复值是一条直线，而采用了OVMD进行特征提取的OVMD-TPA-LSTM方法和本实施例方法（OVMD-ETPA-LSTM方法）的恢复值与原始数据有相同的趋势，说明了OVMD进行特征提取对PMU数据恢复的重要性。从图4和图5可见，相较于TPA-LSTM方法和OVMD-TPA-LSTM方法，本实施例方法（OVMD-ETPA-LSTM方法）都更趋近于原始数据；同时从图6和图7中可见，本实施例方法（OVMD-ETPA-LSTM方法）对于静态和动态数据的恢复，其绝对值误差都明显小于TPA-LSTM方法和OVMD-TPA-LSTM方法。由此可以说明本实施例方法（OVMD-ETPA-LSTM方法）对PMU数据恢复更具优势。
为了更加精准的对不同算法的结果进行对比，采用综合矢量误差(Total VectorError，TVE)来衡量恢复精度，各方法综合矢量误差TVE如表1所示，各方法数据恢复时间如表2所示。
表1：不同方法的综合矢量误差TVE对比。
数据类型 TPA-LSTM OVMD-TPA-LSTM 本实施例方法
静态数据 1.20×10-5 2.57×10-6 1.55×10-6
动态数据 1.32×10-4 1.04×10-4 4.29×10-5
表2：不同方法的数据恢复时间对比。
数据类型 TPA-LSTM OVMD-TPA-LSTM 本实施例方法
静态数据 0.057s 0.068s 0.106s
动态数据 0.062s 0.073s 0.109s
从表1可知，对于静态和动态数据恢复的综合矢量误差，本实施例方法（OVMD-ETPA-LSTM方法）都明显小于TPA-LSTM方法和OVMD-TPA-LSTM方法。由此说明本实施例方法（OVMD-ETPA-LSTM方法）的恢复精度更优。从表2可知，由于本实施例方法（OVMD-ETPA-LSTM方法）对时间模式矩阵进行了变换，该过程增加了少量参数，使得恢复时间有一定提高，但该方法在时间的整体数量级别上仍有较好的实时性。可见，本实施例方法（OVMD-ETPA-LSTM方法）在增加少量参数的情况下，能实现数据恢复精度的大幅度提高。
此外，本实施例还提供一种基于增强型时序模式注意力的PMU数据恢复系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于增强型时序模式注意力的PMU数据恢复方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于增强型时序模式注意力的PMU数据恢复方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，包括：
S101，针对待恢复的PMU数据采用最优变分模态分解提取特征，所述PMU指同步相量测量单元；
S102，将特征归一化后输入结合增强型时序模式注意力和长短期记忆的网络模型，在结合增强型时序模式注意力和长短期记忆的网络模型中的处理包括：利用长短期记忆网络针对输入的特征计算隐状态向量以获取隐状态向量，采用滑动窗口获取LSTM网络的隐状态向量/>构建/>行/>列的隐状态矩阵/>，其中/>是滑动窗口长度；/>是隐状态特征数；对隐状态矩阵/>用/>个/>大小的卷积核做卷积得到/>行/>列的时序模式矩阵/>；对时序模式矩阵分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>；根据增强时序模式矩阵/>和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>，并对权重/>进行归一化得到注意力权重/>；基于注意力权重/>对增强时序模式矩阵/>的每一行进行加权求和得到加权和/>；将加权和/>和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>，并将输出/>输入全连接层得到恢复后的PMU数据。
2.根据权利要求1所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S102中对时序模式矩阵分别沿水平方向池化得到水平方向张量、沿竖直方向池化得到竖直方向张量，将水平方向张量、竖直方向张量相乘得到增强时序模式矩阵/>包括：
S201，对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>；其中空间范围(/>,1)中的/>是指时序模式矩阵/>的行数，空间范围(1,/>)中的/>是指时序模式矩阵/>的列数；
S202，将张量和张量/>融合成/>大小的张量并进行/>卷积、利用非线性激励函数/>得到用于对水平方向和垂直方向上的空间信息进行编码的中间特征图/>；
S203，将中间特征图沿着空间维度拆分为张量/>和/>；将张量/>和/>分别用/>函数激活得到张量/>和/>，再将张量/>和/>进行张量相乘得到增强时序模式矩阵/>。
3.根据权利要求2所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S201中对时序模式矩阵使用池化内核的空间范围(/>,1)沿水平坐标对每个通道进行编码得到/>大小的张量/>，对时序模式矩阵/>使用池化内核的空间范围(1,/>)沿垂直坐标对每个通道进行编码得到/>大小的张量/>的函数表达式为：
，
，
上式中，为张量/>的第/>个通道的分量，/>为第/>个通道第/>行第/>个分量，为张量/>的第/>个通道的分量，/>为第/>个通道第/>列第/>个分量，W为时序模式矩阵/>的列数，H为时序模式矩阵/>的行数。
4.根据权利要求2所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S202中生成中间特征图的函数表达式为：
上式中，表示将张量/>和张量/>级联，w,b分别表示一个滤波器核的权值和偏置项，relu表示relu激励函数。
5.根据权利要求2所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S203中将张量和/>进行张量相乘得到增强时序模式矩阵/>的函数表达式为：
，
上式中，为增强时序模式矩阵/>的第/>行/>列元素，/>为张量/>的第/>个通道第行第/>个分量，/>为张量/>的第/>个通道第/>列第/>个分量。
6.根据权利要求1所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S102中根据增强时序模式矩阵和当前时刻的LSTM网络的隐状态向量/>确定增强时序模式矩阵/>中每一行的权重/>的函数表达式为：
，
上式中，表示增强时序模式矩阵/>中的第/>行，/>为权重矩阵，/>为当前时刻的LSTM网络的隐状态向量；步骤S102中对权重/>进行归一化得到注意力权重/>的函数表达式为：
，
上式中，表示/>函数。
7.根据权利要求1所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S102中基于注意力权重对增强时序模式矩阵/>的每一行进行加权求和得到加权和/>的函数表达式为：
，
上式中，为隐状态矩阵/>的行数。
8.根据权利要求1所述的基于增强型时序模式注意力的PMU数据恢复方法，其特征在于，步骤S102中将加权和和当前时刻的LSTM网络的隐状态向量/>进行加权求和得到加权后的隐状态向量/>，并根据隐状态向量/>计算出输出/>的函数表达式为：
，/> =/>，
上式中，和/>为融合矩阵权重，/>为输出矩阵权重。
9.一种基于增强型时序模式注意力的PMU数据恢复系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于增强型时序模式注意力的PMU数据恢复方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于增强型时序模式注意力的PMU数据恢复方法。
CN202310684923.2A 2023-06-12 2023-06-12 基于增强型时序模式注意力的pmu数据恢复方法及系统 Active CN116451006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310684923.2A CN116451006B (zh) 2023-06-12 2023-06-12 基于增强型时序模式注意力的pmu数据恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310684923.2A CN116451006B (zh) 2023-06-12 2023-06-12 基于增强型时序模式注意力的pmu数据恢复方法及系统

Publications (2)

Publication Number Publication Date
CN116451006A CN116451006A (zh) 2023-07-18
CN116451006B true CN116451006B (zh) 2023-08-25

Family

ID=87120469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310684923.2A Active CN116451006B (zh) 2023-06-12 2023-06-12 基于增强型时序模式注意力的pmu数据恢复方法及系统

Country Status (1)

Country Link
CN (1) CN116451006B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553543A (zh) * 2020-05-18 2020-08-18 润联软件系统(深圳)有限公司 基于TPA-Seq2Seq的电力负荷预测方法及相关组件
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN113936192A (zh) * 2021-10-22 2022-01-14 国网河北省电力有限公司经济技术研究院 配电网同步量测缺失数据修复方法、终端及存储介质
CN114692832A (zh) * 2022-03-28 2022-07-01 湖南大学 一种网络流量测量数据中缺失值的恢复方法及系统
CN115238563A (zh) * 2022-03-23 2022-10-25 国网浙江省电力有限公司宁波供电公司 一种用于电力测量系统的异常数据检测和修复方法
CN115333870A (zh) * 2022-10-17 2022-11-11 湖南大学 面向智能电网广域同步量测的网络攻击识别方法及系统
CN115345344A (zh) * 2022-06-30 2022-11-15 浙江工业大学 基于注意力机制和长短期记忆网络的污水处理厂出水水质预测方法
CN115693663A (zh) * 2022-11-23 2023-02-03 国网上海市电力公司 一种计及pmu动态感知的新能源电力系统频率预测方法
WO2023012778A1 (en) * 2021-08-01 2023-02-09 Technion Research & Development Foundation Limited A method and system for detection and analysis of chemical compounds in a sample subjected to a chromatographic separation on a layered separating medium
CN116127354A (zh) * 2022-12-28 2023-05-16 国网山东省电力公司电力科学研究院 基于深度学习的高压电缆局部放电故障定位方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553543A (zh) * 2020-05-18 2020-08-18 润联软件系统(深圳)有限公司 基于TPA-Seq2Seq的电力负荷预测方法及相关组件
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
WO2023012778A1 (en) * 2021-08-01 2023-02-09 Technion Research & Development Foundation Limited A method and system for detection and analysis of chemical compounds in a sample subjected to a chromatographic separation on a layered separating medium
CN113936192A (zh) * 2021-10-22 2022-01-14 国网河北省电力有限公司经济技术研究院 配电网同步量测缺失数据修复方法、终端及存储介质
CN115238563A (zh) * 2022-03-23 2022-10-25 国网浙江省电力有限公司宁波供电公司 一种用于电力测量系统的异常数据检测和修复方法
CN114692832A (zh) * 2022-03-28 2022-07-01 湖南大学 一种网络流量测量数据中缺失值的恢复方法及系统
CN115345344A (zh) * 2022-06-30 2022-11-15 浙江工业大学 基于注意力机制和长短期记忆网络的污水处理厂出水水质预测方法
CN115333870A (zh) * 2022-10-17 2022-11-11 湖南大学 面向智能电网广域同步量测的网络攻击识别方法及系统
CN115693663A (zh) * 2022-11-23 2023-02-03 国网上海市电力公司 一种计及pmu动态感知的新能源电力系统频率预测方法
CN116127354A (zh) * 2022-12-28 2023-05-16 国网山东省电力公司电力科学研究院 基于深度学习的高压电缆局部放电故障定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WAMS-Based HVDC Damping Control for Cyber Attack Defense;Kaiqi Sun et al.;IEEE TRANSACTIONS ON POWER SYSTEMS;第38卷(第1期);第702-713页 *

Also Published As

Publication number Publication date
CN116451006A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109271975B (zh) 一种基于大数据多特征提取协同分类的电能质量扰动识别方法
Ghil et al. Extreme events: dynamics, statistics and prediction
Yang et al. Hybrid prediction method for wind speed combining ensemble empirical mode decomposition and Bayesian ridge regression
Valogiannis et al. Going beyond the galaxy power spectrum: An analysis of BOSS data with wavelet scattering transforms
Yang et al. An adaptive PMU missing data recovery method
CN112651290A (zh) 一种水电机组振动趋势预测方法和系统
CN113705864A (zh) 基于VMD-CNN-BiLSTM-ATT混合模型的气象干旱预测方法及装置
Yue et al. A multi‐grid method of high accuracy surface modeling and its validation
Kaplan et al. A novel method based on Weibull distribution for short-term wind speed prediction
CN111553510A (zh) 一种短期风速预测方法
CN105046044A (zh) 基于最优小波包变换的非平稳风速预测方法
Shi et al. A relaxation-based network decomposition algorithm for parallel transient stability simulation with improved convergence
CN115329880A (zh) 气象特征提取方法、装置、计算机设备和存储介质
Jing et al. Runoff forecasting model based on variational mode decomposition and artificial neural networks
CN116451006B (zh) 基于增强型时序模式注意力的pmu数据恢复方法及系统
Aunsri et al. A time-varying Bayesian compressed vector autoregression for macroeconomic forecasting
Tian et al. Tropical cyclone intensity estimation using multidimensional convolutional neural network from multichannel satellite imagery
Yang et al. A novel decomposition-based approach for non-stationary hub-height wind speed modelling
Ye et al. A novel framework for passive macro-modeling
CN115936255A (zh) 一种配电网碳排放流预测方法
Bosma et al. Estimating solar and wind power production using computer vision deep learning techniques on weather maps
Li et al. Monthly Mean Meteorological Temperature Prediction Based on VMD‐DSE and Volterra Adaptive Model
Chen et al. Explainable Global Wildfire Prediction Models using Graph Neural Networks
Hu et al. Graph transformer based dynamic multiple graph convolution networks for traffic flow forecasting
Cui et al. A frequency domain approach to predict power system transients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant