CN117648215A - 一种用电信息采集系统异常溯源方法及系统 - Google Patents
一种用电信息采集系统异常溯源方法及系统 Download PDFInfo
- Publication number
- CN117648215A CN117648215A CN202410107233.5A CN202410107233A CN117648215A CN 117648215 A CN117648215 A CN 117648215A CN 202410107233 A CN202410107233 A CN 202410107233A CN 117648215 A CN117648215 A CN 117648215A
- Authority
- CN
- China
- Prior art keywords
- data
- anomaly
- encoder
- time
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 45
- 230000005611 electricity Effects 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008485 antagonism Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000005856 abnormality Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 claims 3
- 238000013480 data collection Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提出了一种用电信息采集系统异常溯源方法及系统，包括：对电力时序数据进行预处理和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
Description
技术领域
本发明属于用电信息采集系统运行故障定位技术领域，尤其涉及一种用电信息采集系统异常溯源方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
用电信息采集系统是一种用于监测和记录电能使用情况的系统，旨在收集、分析和报告有关电力消耗的数据，以帮助用户更有效地管理能源消耗、提高能源效率。然而，目前用电信息采集存在采集类型多、故障定位难等问题，导致系统运行的可靠性降低。因此，针对用电信息采集系统进行异常溯源具有重要意义。
对于多元电力时序数据来说，异常溯源可进一步分为异常检测和故障定位两个过程，异常检测是监测和标识异常事件的过程，而故障定位则帮助确定导致异常的系统运行环节。
随着人工智能技术的飞速发展以及大数据时代的来临，机器学习和深度学习等相关技术逐渐被应用于异常溯源问题中。例如，基于神经网络模型对时序数据进行异常溯源。虽然这些方法取得了良好的效果，但是忽略了对模型性能的考虑。此外，由于训练数据正负样本不平衡和缺乏标签信息等问题，时序数据中的异常检测和故障定位通常被视为无监督学习。然而，现有的无监督学习方法大多是基于线性投影和变换构建的，无法挖掘时间序列中内在的非线性关系。导致异常检测和故障定位时捕捉非线性关系的能力受限，进而影响性能。因为时间序列数据中常常存在非线性趋势、周期性或突发事件，而线性方法可能无法很好地描述这些特性。
为此，有研究学者提出用生成对抗网络（Generative Adversarial Networks，GAN）处理时序数据中的异常检测问题。GAN已被证明在图像处理任务方面取得了巨大成功，但迄今为止，在采用GAN框架处理时序数据方面所做的工作还很有限。此外，由于模式崩溃和不收敛等问题，GAN训练通常较为困难，并且训练过程可能不稳定。同时，生成器和判别器之间的博弈往往可能导致模型陷入局部最优解，需要精心的调参和训练策略。
时序数据的异常检测一直倍受学术界关注，近年来涌现了许多基于各类神经网络的模型。Malhotra等将基于LSTM的编码器和解码器网络应用于单变量的时间序列，采用半监督方式进行训练，利用重构误差进行异常检测。Su等提出了一种用于异常检测的随机循环神经网络，其核心思想是通过随机变量连接和平面归一化流等关键技术学习多元时间序列的鲁棒表示来捕获时间序列的正态模式，通过表示重建输入数据，并使用重建概率来确定异常。Li等提出一种使用分层变分自动编码器（Variational Auto-Encoders，VAE）对时间序列进行建模的方法，通过具有两个随机潜在变量的分层VAE对多元时序数据的正常模式进行建模，并对异常数据进行解释。Bashar等提出了一种基于GAN模型的异常检测方法，称为Adjusted-LSTM GAN，该模型通过引入注意力机制调整LSTM网络的输出，以改进无监督学习中多元时序数据的异常检测方法。虽然以上方法均取得了不错的效果，但忽视了数据特征对模型性能的影响。用电信息采集系统可能包含多种类型的数据特征，包括电流、电压、功率等。如果这些特征在异常检测模型中没有被充分考虑，可能导致对用电信息采集系统无法准确地进行异常溯源。
发明内容
为克服上述现有技术的不足，本发明提供了一种用电信息采集系统异常溯源方法，通过充分挖掘电力数据中的时序关系，提高系统运行异常监测的性能。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种用电信息采集系统异常溯源方法，包括：
对电力时序数据进行预处理和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；
采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；
在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
作为进一步的技术方案，定义电力时序数据，代表了T个时刻的时序数据，对于某个时间t而言，/>，其中M代表了当前时刻采集系统的运行环节个数，每个/>代表了t时刻第i个环节的抄表数据，/>，N为抄表数据的维度。
作为进一步的技术方案，针对电力时序数据，采用了临近数据均值的方式对缺失数据进行补全，将补全后的电力时序数据展开成一维向量；
采用主成分分析法对一维向量进行降维操作。
作为进一步的技术方案，定义宽度为k的滑动窗口为：
。
作为进一步的技术方案，将电力时序数据D转化为，异常检测问题的目标是给定正常的时间窗口序列/>作为训练数据，根据异常分数对新时间窗口/>进行评估，以确定时刻t是否包含异常数据。
作为进一步的技术方案，对于编码器，采用的BiLSTM通过前向和后向传播的LSTM更好地捕获上下文信息，最终将两个方向的隐藏状态结合得到BiLSTM层的输出，k个/>共同组成一个时间窗口的输出/>。
作为进一步的技术方案，采用多头注意力机制对时间窗口进行处理：
多头注意力机制首先通过对进行投影得到查询/>，键/>，值；
使用以Tanh为激活函数的全连接层以保证注意力层输出和双向LSTM层输出维度相同，将二者相加后再使用全连接层，即得到/>，将时间窗口开始和结束时刻的输出值相加作为编码器最终编码的隐变量Z。
作为进一步的技术方案，解码器包括两个，分别为第一解码器和第二解码器，二者内部结构相同；
首先，以编码器编码的隐变量Z作为解码器的输入，通过双向LSTM网络输出隐藏状态H，并进一步通过以Tanh为激活函数的全连接层还原原始输入维度，尝试重构出，对于输入窗口/>和重构窗口/>，计算其重构损失。
作为进一步的技术方案，对抗训练时：构建两个共享编码器权重的自编码器，包括第一自编码器及第二自编码器；根据第一编码器以为输入重构/>和第二编码器以为输入重构/>两部分的损失来定义异常得分并设置重构阈值，对于时间窗口计算异常得分，其中异常得分高于重构阈值的时间窗口将被视为异常。
作为进一步的技术方案，故障定位时，从训练集中对时间窗口进行随机采样，对于每个参与训练的时间窗口，通过前k-1时刻的数据来预测最后时刻的数据，对于每个窗口的预测值将其与真实数据进行对比，即可得到M个环节的预测损失；
将所有参与训练的时间窗口的预测损失取平均值，即可得到采集系统各个环节的故障阈值：
将检测到的异常数据之前的k-1个时刻的原始抄表数据利用矩阵自回归模型预测当前时刻的数据，通过将当前时刻各行的预测损失与对应的故障阈值进行比较，从而实现异常时刻具体运行环节的故障定位。
第二方面，公开了一种用电信息采集系统异常溯源系统，包括：
异常检测模块，被配置为：和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；
采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；
故障定位模块，被配置为：在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
以上一个或多个技术方案存在以下有益效果：
本发明技术方案对电力时序数据进行缺失值填补和降维处理，并采用滑动时间窗口机制进行训练；然后基于自编码器结构，设计了共享编码器权重的和/>，其中编码器由BiLSTM和多头注意力模块组成，解码器由BiLSTM模块组成，将/>作为生成器，/>作为判别器，构建生成对抗网络模型，通过两者相互对抗训练进行异常检测；最后，利用矩阵自回归模型对异常时刻进行预测，将预测损失与故障阈值进行比较，从而定位到具体的运行环节。
实验结果表明，本实施例子提出的模型具有良好的异常检测和故障定位性能。下一步，将考虑不同故障定位模型的性能，继续优化模型，提高故障定位准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例基于GAN和BiLSTM的异常检测模型以及基于MAR的故障定位方法示意图；
图2为本发明实施例对模型的时间窗口K展开分析，实验结果示意图；
图3为本发明实施例对隐变量维度Z展开分析，实验结果示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
关于异常数据故障定位：
随着人工智能技术的蓬勃发展，深度学习逐渐被应用于各类数据的故障定位中。Chen等提出了一种新颖的图卷积神经网络（Graph Convolution Network，GCN）框架，用于在配电网络中进行故障定位，它综合了来自不同总线的多个测量数据，并同时考虑了系统的拓扑结构。实验结果明显表明，相对于其他广泛使用的机器学习方法，GCN模型在故障定位方面表现出极高的精度。Zhang等提出了一种基于注意力机制和双向GRU神经网络的电力系统故障定位方法，所建立的模型基于时间序列模型，并得益于其获取故障线路信息架构的能力，能够适应拓扑非常复杂的电网。
在用电信息采集系统中，针对异常的时序数据，本文提出利用矩阵自回归模型对正常的时序数据进行预测，通过比较预测结果和异常数据之间的预测损失从而实现故障定位。
实施例一
正如背景技术中所介绍的：当前用电信息采集存在采集类型多、故障定位难、运维效率低等问题，导致用电信息采集系统运行的可靠性难以保障。
为此，本实施例子提出了一种基于生成对抗网络（GAN）和双向长短期记忆神经网络（BiLSTM）的用电信息采集系统异常溯源方法，具体包括：
首先，采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器。
然后，将生成器和判别器进行对抗性训练，对多元电力时序数据进行异常检测。
最后，采用矩阵自回归模型（MAR）对检测到的异常时间窗口进行预测，将预测误差与故障阈值进行比较，完成系统运行异常环节定位。
实验结果表明，本实施例子所提出的模型的准确率、精确度、召回率和F1分数均优于主流异常检测模型，证明模型能有效提高电力数据的异常检测性能，可以实现用电信息采集过程异常状态监测及自动定位溯源功能。
通过上述方法能解决用电信息采集系统中电力数据的异常检测问题，通过充分挖掘电力数据中的时序关系，提高系统运行异常监测的性能。
采用基于BiLSTM的自编码器网络，并在编码器中结合多头注意力机制。将两个自编码器分别视为判别器和生成器，参与GAN的对抗性训练过程，使其能学习如何放大包含异常输入的重构误差。与传统的GAN模型相比，自编码器的加入使得训练过程更加稳定。
采用矩阵自回归模型处理某一特定异常时刻的故障定位问题，实现最终定位到导致该时刻发生异常的系统运行环节。
更为具体的，参见附图1所示，包括：
异常检测步骤及故障定位步骤；
在异常检测步骤中，首先对电力时序数据进行预处理和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；然后基于自编码器网络的结构，结合BiLSTM和多头注意力机制对时间窗口进行编码和解码，本实施例子设计了两个共享编码器权重的自编码器和/>，/>作为GAN的生成器，/>作为GAN的判别器，二者进行对抗性训练。其中/>的目标是欺骗/>，而/>的目标是学习判别时间窗口数据是真实的还是重构的。在故障定位步骤中，将矩阵自回归模型产生的预测值和真实值比较，从而定位到发生故障的采集系统运行环节。模型具体的实现细节将在下文中详细阐述。
问题定义：
本实施例子采用的电力时序数据定义为，代表了T个时刻的时序数据，对于某个时间t而言，/>，其中M代表了当前时刻采集系统的运行环节个数，每个/>代表了t时刻第i个环节的抄表数据，/>，N为抄表数据的维度。
本实施例子的目标是针对电力时序数据D，利用深度学习技术检测到异常时刻t，然后，对于，利用故障定位方法从M个运行环节中找出发生故障的一个或多个环节，从而完成用电信息采集系统的异常溯源过程。
数据预处理与特征提取：
由于环境因素的影响，用电信息采集系统对于抄表数据可能会发生漏采的情况，针对此问题本实施例子采用了临近数据均值的方式对缺失数据进行补全，如当t时刻的漏采时，j表示环节的嵌入维度，采用t-1时刻和t+1时刻的数据均值对其补全，即。为了方便对t时刻数据进行建模，将/>展开成一维向量/>，这样做的原因是M个运行环节的抄表数据之间几乎没有关联，在异常检测过程中，本实施例子的模型更关注于检测何时发生异常而不是定位具体故障环节。
由于的高维度特性，本实施例子采用主成分分析法（PCA）对高维数据进行降维操作，得到/>。基于滑动时间窗口机制的异常检测可以极大提高模型的性能，模型可以在局部时间窗口中识别出最具有代表性的特征。本实施例子定义宽度为k的滑动窗口/>为：
可以将训练数据D转化为，异常检测问题的目标是给定正常的时间窗口序列/>作为训练数据，根据异常分数（Anomaly Score）对新时间窗口进行评估，以确定时刻t是否包含异常数据。
T代表总共T个时刻的时序数据，W的下标代表该时间窗口最后一个x所对应的时刻。将x1到xT转为宽度为k的时间窗口，第一个时间窗口即为Wk，对应内容为X1至XK；最后一个时间窗口即为WT，对应内容为XT-k+1至XT。
异常检测步骤：
自编码器是一种无监督学习的神经网络模型，由编码器E（Encoder）和解码器D（Decoder）组成。编码器将输入数据转化为低维度的编码表示，通常可以捕获数据的重要特征。解码器则将这个编码映射回原始数据空间，试图重构输入数据。自编码器的训练目标是最小化输入数据与重构数据之间的差异，从而使编码能够保留关键信息。在传统的异常检测问题中，通常依靠自编码器的重构误差作为异常分数，分数高于阈值的时间窗口将被视为异常。自编码器的重构误差被定义为：
其中，/>。下面将详细介绍本实施例子自编码器的具体结构。
需要说明的是，自编码器是一种无监督学习模型，它包含一个编码器网络和一个解码器网络。编码器将输入数据映射到低维表示，解码器将这个低维表示映射回原始数据空间。 编码器包含于自编码器中。
对于编码器Encoder，本实施例子采用了双向LSTM和多头注意力机制结合的方式对时间窗口W进行编码，内部框架如图1所示。传统的LSTM具体公式为：
其中，为t时刻的输入向量，/>为上一时刻的输出向量，/>为权重矩阵，/>为偏移向量，/>为sigmoid激活函数。将/>经过遗忘门、输入门和输出门等一系列计算后，最终获得了隐藏状态输出/>。
需要注意的是，本实施例子采用的BiLSTM通过前向和后向传播的LSTM更好地捕获上下文信息，捕获上下文信息即发现时间序列数据中不同时刻间的内在联系。BiLSTM的输入是t时刻的特征向量Xt，将一个时间窗口内的k个X向量都输入也可以看作将整个时间窗口输入到BiLSTM中。最终将两个方向的隐藏状态结合得到BiLSTM层的输出，k个/>共同组成一个时间窗口的输出/>。此处输出的是一个时间窗口内的k个X特征向量经过BiLSTM后得到的k个h向量，将它们组合可以得到HBL，这是一个时间窗口W输入到BiLSTM后得到的组合输出。
具体公式如下：
另外，本文还采用多头注意力机制对时间窗口进行处理，这种机制允许模型共同关注来自不同表示的信息，并确定在确定输出时应该对有用的输入给予多少关注。多头注意力机制首先通过对/>进行投影得到查询/>，键，值/>。具体公式如下所示：
其中，为权重矩阵，/>为偏移向量，LN表示层归一化方法。本文使用以Tanh为激活函数的全连接层以保证注意力层输出/>和双向LSTM层输出/>维度相同。将二者相加后再使用全连接层，即得到/>，本实施例子将时间窗口开始和结束时刻的输出值相加作为编码器最终编码的隐变量Z。
Attention(Q,K,V)是注意力的计算公式，通过此公式可以计算出时间窗口W的注意力表示。Softmax是归一化指数函数 ，常用于多分类问题 。
多头注意力的特点在于生成了不同的Q、K和V，这样可以得到多个不同的注意力表示headi。
将得到的headi组合后再经过Wo矩阵变换，可以得到多头注意力表示MultiHead(Q,K,V)。
将MultiHead(Q,K,V)经过层归一化LN、全连接层和激活函数Tanh，即可得到多头注意力模块的输出HAtt。
在本实施例子中，采用多头注意力机制对时间窗口进行处理；以及采用的BiLSTM通过前向和后向传播的LSTM，这两个过程是并行运行的，输入都是时间窗口的k个X特征向量，BiLSTM的输出是HBL，多头注意力机制的输出是HAtt，二者都是矩阵，将它们相加后经过全连接层和激活函数可以得到Zout，选取Zout开始时刻和结束时刻的输出值作为编码器编码的隐变量Z。
解码器
本实施例子共设计了两个解码器Decoder1和Decoder2，二者内部结构相同。首先，以编码器编码的隐变量Z作为解码器的输入，通过双向LSTM网络输出隐藏状态H，并进一步通过以Tanh为激活函数的全连接层还原原始输入维度，尝试重构出。对于输入窗口/>和重构窗口/>，通过公式（2）来计算其重构损失。
对抗训练：
在训练数据都为正常数据的前提下，自编码器能正确重构出测试集中的正常数据。然而，在测试集中除了与正常数据有明显区别的异常数据外，还存在一部分和正常数据区别不明显的异常数据，自编码器对于这类数据的判别效果并不理想，因为它们也拥有较低的重构误差。因此，使自编码器了解输入数据是否包含异常变得十分关键。
为了解决上述问题，本实施例子设计了两个共享编码器权重的自编码器和/>，并引入GAN的对抗性训练过程。GAN是一种深度学习模型，由生成器（Generator）和判别器（Discriminator）两部分组成，它们相互对抗地训练以实现生成逼真数据的目标。生成器负责生成与训练数据相似的样本，而判别器则尝试区分生成的样本与真实数据。在本文中，将作为生成器，/>将作为判别器，首先定义自编码器的公式如下：
在对抗训练阶段，首先需要训练和/>重构时间窗口W的能力，要保证/>和各自的重构损失尽可能的小：
其次，还需要训练来区分真实数据和/>生成的数据。作为GAN的生成器，/>的目的是欺骗/>，最小化W与/>输出之间的差异。而作为GAN的判别器，/>的目的则是最大化这种差异。
将两个阶段的任务结合，并根据训练周期n来动态调整它们之间的比例，随着训练的进行，模型将以更加平滑的速率倾向于第二项任务。对抗训练过程的损失函数如下所示：
在检测阶段，对于测试集中的时间窗口，根据/>以/>为输入重构/>和/>以为输入重构/>两部分的损失来设计异常得分：
其中异常得分高于重构阈值的时间窗口将被视为异常，根据时间窗口的前后异常关系即可定位出具体的异常时刻t。
故障定位步骤：
在检测出异常时刻t后，还需要对t时刻具体发生异常的运行环节进行定位。在原始测试数据中，，再加入测试的时间维度/>就变为了三阶张量，为了对这种包含三阶张量的时序数据进行建模，本文采用了矩阵自回归方法。矩阵自回归模型是面向多维时序数据分析的一种方法。可以采用矩阵方程的形式来描述矩阵自回归模型，即：
其中，，/>表示自回归模型的系数矩阵，二者都是方阵。表示随机噪声。
相比经典的向量自回归模型，矩阵自回归模型可以保持原始数据的矩阵结构，两个系数矩阵都有一定的物理意义和解释性。同时，该模型还能够减少模型参数，加快训练速度。在训练阶段，矩阵自回归模型的优化目标为：
符号表示矩阵的残差平方和开根号。通过对系数矩阵A、B求偏导数可求得该优化问题的解。
为了加快训练速度，本实施例子首先从训练集中对时间窗口进行随机采样，对于每个参与训练的时间窗口，通过前k-1时刻的数据来预测最后时刻的数据。对于每个窗口的预测
，将其与真实数据进行对比，即可得到M个环节的预测损失。将所有参与训练的时间窗口的预测损失取平均值，即可得到采集系统各个环节的故障阈值：
最后，将检测到的异常数据之前的k-1个时刻的原始抄表数据利用矩阵自回归模型预测当前时刻的数据。通过将当前时刻各行的预测损失与对应的故障阈值进行比较，从而实现异常时刻具体运行环节的故障定位。
实验结果与分析
数据集描述
为了验证模型的有效性，本文使用国家电网某省电力通信采集系统数据作为数据集。该数据集中包括了自2023年6月25日至2023年7月15日的抄表数据，每隔半个小时采集一次。其中，各个运行环节包含了交流A相电压、交流B相电压、交流C相电压、直流输出电压、总负载电流以及温度等信息。经过数据预处理和降维后，可以得到用于训练的时间窗口。最后，将数据集按6：2：2的比例划分为训练集、验证集和测试集。
实验环境和评价指标
实验环境
实验操作系统为Ubuntu 20.04.3 LTS，内存为256GB DDR4 @3200MHz，CPU为AMDRyzen Threadripper 3970X 32-Core Processor，显卡为NVIDIA GeForce RTX 3090×2，编程环境为Pytorch 1.12.0和Python 3.8.15。
评价指标
为了验证模型的性能，本文采用准确率（Accuracy）、精确度（Precision）、召回率（Recall）和F1分数作为异常检测模块的评价指标，这4类评价指标的值越大，模型的性能越好，具体计算公式如下所示：
其中Total为总样本数，TP（True Positives）是正确地检测出异常样本的个数，FP（False Positives）是错误地检测出异常样本的个数，TN（True Negatives）是正确地检测出正常样本的个数，FN（False Negatives）是错误地检测出正常样本个数。
实验参数设置
表 1 参数设置
本文的实验参数如表1所示。其中，表示重构阈值，/>和/>表示异常得分中两部分重构损失各自所占的比重，/>和/>的变化会导致检测结果中FP和TP发生改变，进而影响F1分数。
性能比较
表 2 异常检测模型性能比较
异常检测模块是本文所提模型的关键部分，而故障定位模块则是在已经检测出异常时刻的前提下，帮助确定该时刻异常的运行环节。本文聚焦于异常检测模块的性能比较，选取OC-SVM，DAGMM[20]，LSTM-Attention[21]，USAD[16]和CNN-BiLSTM-Attention[22]等6个基线模型进行比较，通过Accuracy、Precision、Recall和F1分数等指标来与本文模型进行对比，结果如表2所示。
由表 2 可见，相较于基线模型，本文模型所有指标分数最高。相较于使用多层感知机（Multilayer Perceptron，MLP）作为自编码器的USAD模型，本文模型在Accuracy和Precision指标上提高了50%和50%，在Recall和F1指标上提高了50%和50%，这是因为本文采用了基于BiLSTM和注意力机制的自编码器，能够更好地捕捉到时间窗口的时序信息。此外，生成对抗网络的加入使得本文模型相较于CNN-BiLSTM-Attention等模型更具优势，因为对抗性训练使得模型能够更精准地对时间窗口进行重构，可以发现一些细微的异常数据，从而提高了异常检测性能。
消融实验
本文将使用基于单向LSTM的自编码器、未使用自编码器（仅使用生成对抗网络）和未使用生成对抗网络（仅使用自编码器）的变体进行消融实验。表3展示了本文模型和以上三种变体在Accuracy、Precision、Recall和F1分数指标上的性能。
表 3 异常检测模型消融实验
由表3可见，相较于使用多层感知机进行编码和解码的变体，本文所提出的模型在Accuracy、Precision、Recall和F1上分别上升50%、50%、50%和50%。同样，未使用自编码器和未使用生成对抗网络也会使得模型性能下降。忽略自编码器使得模型在对抗训练阶段难以初始化合适的权重，而忽略对抗性训练使得模型难以区分那些接近真实数据的异常数据。因此，自编码器和生成对抗网络对本文的模型而言缺一不可。
参数敏感性
为了研究本文提出的用电信息采集系统异常溯源方法中的参数敏感性，分析不同超参数对模型异常检测性能的影响，本文进行了参数敏感度实验。对模型的时间窗口K和隐变量维度Z展开分析，实验结果如图2和图3所示。
由图2可知，随着时间窗口K的变化，模型的性能会有不同程度的波动，在本文进行实验的5个维度中，K=10时，模型的异常检测性能最好。当时间窗口较小时，模型训练更快，但是太小的时间窗口会降低模型对时间序列的捕捉能力；相反，时间窗口过大会使模型训练较慢，同时难以捕捉到较小的异常事件，使得模型的异常检测精度降低。由图3可知，本文所提出的模型对隐变量维度Z同样具有一定的敏感性，当Z=40时，模型表现最佳。当隐变量维度较小时，会导致编码阶段出现大量信息损失，严重影响了解码器重构原始输入的效果；当隐变量维度过大时，编码信息过于复杂，容易出现过拟合现象，同样影响解码器的重构性能。
针对用电信息采集系统存在的采集类型多、故障定位难等问题，本文提出基于GAN与BiLSTM的用电信息采集系统异常溯源方法，并结合了多头注意力机制，在对电力时序数据进行异常检测的同时，对系统的运行环节进行故障定位，通过这两个阶段性的任务，提高了采集系统的异常溯源能力。
该模型首先对电力时序数据进行缺失值填补和降维处理，并采用滑动时间窗口机制进行训练；然后基于自编码器结构，设计了共享编码器权重的和/>，其中编码器由BiLSTM和多头注意力模块组成，解码器由BiLSTM模块组成，将/>作为生成器，/>作为判别器，构建生成对抗网络模型，通过两者相互对抗训练进行异常检测；最后，利用矩阵自回归模型对异常时刻进行预测，将预测损失与故障阈值进行比较，从而定位到具体的运行环节。实验结果表明，本文提出的模型具有良好的异常检测和故障定位性能。后续将考虑不同故障定位模型的性能，继续优化模型，提高故障定位准确率。
实施例二
本实施例的目的是提供一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供一种用电信息采集系统异常溯源系统，包括：
异常检测模块，被配置为：和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；
采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；
故障定位模块，被配置为：在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种用电信息采集系统异常溯源方法，其特征是，包括：
对电力时序数据进行预处理和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；
采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；
在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
2.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，定义电力时序数据，代表了T个时刻的时序数据，对于某个时间t而言，，其中M代表了当前时刻采集系统的运行环节个数，每个代表了t时刻第i个环节的抄表数据，/>，N为抄表数据的维度。
3.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，针对电力时序数据，采用了临近数据均值的方式对缺失数据进行补全，将补全后的电力时序数据展开成一维向量；
采用主成分分析法对一维向量进行降维操作。
4.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，定义宽度为k的滑动窗口为：
。
5.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，将电力时序数据D转化为，异常检测问题的目标是给定正常的时间窗口序列/>作为训练数据，根据异常分数对新时间窗口/>进行评估，以确定时刻t是否包含异常数据。
6.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，对于编码器，采用的BiLSTM通过前向和后向传播的LSTM更好地捕获上下文信息，最终将两个方向的隐藏状态结合得到BiLSTM层的输出，k个/>共同组成一个时间窗口的输出/>。
7.如权利要求1所述的一种用电信息采集系统异常溯源方法，其特征是，采用多头注意力机制对时间窗口进行处理：
多头注意力机制首先通过对进行投影得到查询/>，键/>，值；
使用以Tanh为激活函数的全连接层以保证注意力层输出和双向LSTM层输出/>维度相同，将二者相加后再使用全连接层，即得到/>，将时间窗口开始和结束时刻的输出值相加作为编码器最终编码的隐变量Z；
解码器包括两个，分别为第一解码器和第二解码器，二者内部结构相同；
首先，以编码器编码的隐变量Z作为解码器的输入，通过双向LSTM网络输出隐藏状态H，并进一步通过以Tanh为激活函数的全连接层还原原始输入维度，尝试重构出，对于输入窗口/>和重构窗口/>，计算其重构损失；
对抗训练时：构建两个共享编码器权重的自编码器，包括第一自编码器及第二自编码器；根据第一编码器以为输入重构/>和第二编码器以/>为输入重构/>两部分的损失来定义异常得分并设置重构阈值，对于时间窗口计算异常得分，其中异常得分高于重构阈值的时间窗口将被视为异常；
其中，故障定位时，从训练集中对时间窗口进行随机采样，对于每个参与训练的时间窗口，通过前k-1时刻的数据来预测最后时刻的数据，对于每个窗口的预测值将其与真实数据进行对比，即可得到M个环节的预测损失；
将所有参与训练的时间窗口的预测损失取平均值，即可得到采集系统各个环节的故障阈值：
将检测到的异常数据之前的k-1个时刻的原始抄表数据利用矩阵自回归模型预测当前时刻的数据，通过将当前时刻各行的预测损失与对应的故障阈值进行比较，从而实现异常时刻具体运行环节的故障定位。
8.一种用电信息采集系统异常溯源系统，其特征是，包括：
异常检测模块，被配置为：和特征提取，采用滑动窗口机制处理后得到参与训练的时间窗口；
采用基于BiLSTM与多头注意力的编码器和基于BiLSTM的解码器构建两个自编码器网络，并将其作为GAN的生成器和判别器，然后，将生成器和判别器进行对抗性训练，对多元电力时序数据的时间窗口进行异常检测，根据时间窗口的前后异常关系即可定位出具体的异常时刻；
故障定位模块，被配置为：在检测出异常时刻后，利用矩阵自回归模型对异常时刻具体发生异常的运行环节进行定位。
9.一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107233.5A CN117648215B (zh) | 2024-01-26 | 一种用电信息采集系统异常溯源方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107233.5A CN117648215B (zh) | 2024-01-26 | 一种用电信息采集系统异常溯源方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117648215A true CN117648215A (zh) | 2024-03-05 |
| CN117648215B CN117648215B (zh) | 2024-05-24 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117914629A (zh) * | 2024-03-18 | 2024-04-19 | 台州市大数据发展有限公司 | 一种网络安全检测方法及系统 |
| CN117914629B (zh) * | 2024-03-18 | 2024-05-28 | 台州市大数据发展有限公司 | 一种网络安全检测方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200034436A1 (en) * | 2018-07-26 | 2020-01-30 | Google Llc | Machine translation using neural network models |
| CN112179691A (zh) * | 2020-09-04 | 2021-01-05 | 西安交通大学 | 基于对抗学习策略的机械装备运行状态异常检测系统和方法 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
| CN115983087A (zh) * | 2022-09-16 | 2023-04-18 | 山东财经大学 | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 |
| CN116451117A (zh) * | 2023-04-10 | 2023-07-18 | 南京信息工程大学 | 一种基于联邦学习的电力数据异常检测方法 |
| CN116796272A (zh) * | 2023-06-21 | 2023-09-22 | 复旦大学 | 一种基于Transformer的多变量时间序列异常检测方法 |
| CN116796168A (zh) * | 2023-05-16 | 2023-09-22 | 三峡大学 | 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 |
| CN117076171A (zh) * | 2023-08-11 | 2023-11-17 | 国网上海市电力公司 | 一种面向多元时序数据的异常检测及定位方法及装置 |
| CN117113202A (zh) * | 2023-08-24 | 2023-11-24 | 武汉大学 | 基于联合误差堆叠模型的电力回路能耗检测方法及设备 |
| CN117349769A (zh) * | 2023-09-18 | 2024-01-05 | 青岛大学 | 面向服装物流管理的时空数据异常检测方法及系统 |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200034436A1 (en) * | 2018-07-26 | 2020-01-30 | Google Llc | Machine translation using neural network models |
| CN112179691A (zh) * | 2020-09-04 | 2021-01-05 | 西安交通大学 | 基于对抗学习策略的机械装备运行状态异常检测系统和方法 |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| CN115983087A (zh) * | 2022-09-16 | 2023-04-18 | 山东财经大学 | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 |
| CN116451117A (zh) * | 2023-04-10 | 2023-07-18 | 南京信息工程大学 | 一种基于联邦学习的电力数据异常检测方法 |
| CN116796168A (zh) * | 2023-05-16 | 2023-09-22 | 三峡大学 | 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 |
| CN116796272A (zh) * | 2023-06-21 | 2023-09-22 | 复旦大学 | 一种基于Transformer的多变量时间序列异常检测方法 |
| CN117076171A (zh) * | 2023-08-11 | 2023-11-17 | 国网上海市电力公司 | 一种面向多元时序数据的异常检测及定位方法及装置 |
| CN117113202A (zh) * | 2023-08-24 | 2023-11-24 | 武汉大学 | 基于联合误差堆叠模型的电力回路能耗检测方法及设备 |
| CN117349769A (zh) * | 2023-09-18 | 2024-01-05 | 青岛大学 | 面向服装物流管理的时空数据异常检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HAOZHOU LI: "Abstractive Financial News Summarization via Transformer-BiLSTM Encoder and Graph Attention-Based Decoder", IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH AND LANGUAGE PROCESSING, vol. 31, 11 August 2023 (2023-08-11) * |
| 夏彬;白宇轩;殷俊杰;: "基于生成对抗网络的系统日志级异常检测算法", 计算机应用, no. 10, 31 October 2020 (2020-10-31) * |
| 王腾;焦学伟;高阳;: "一种基于Attention-GRU和iForest的周期性时间序列异常检测算法", 计算机工程与科学, no. 12, 15 December 2019 (2019-12-15) * |
| 董绍江 等: "基于CNN-BiLSTM的滚动轴承变工况故障诊断方法", 《振动、测试与诊断》, vol. 42, no. 5, 31 October 2022 (2022-10-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117914629A (zh) * | 2024-03-18 | 2024-04-19 | 台州市大数据发展有限公司 | 一种网络安全检测方法及系统 |
| CN117914629B (zh) * | 2024-03-18 | 2024-05-28 | 台州市大数据发展有限公司 | 一种网络安全检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pereira et al. | Unsupervised anomaly detection in energy time series data using variational recurrent autoencoders with attention | |
| Yang et al. | Voice2series: Reprogramming acoustic models for time series classification | |
| Zhang et al. | Intelligent simultaneous fault diagnosis for solid oxide fuel cell system based on deep learning | |
| CN111914873A (zh) | 一种两阶段云服务器无监督异常预测方法 | |
| CN112986827B (zh) | 一种基于深度学习的燃料电池剩余寿命预测方法 | |
| González-Muñiz et al. | Health indicator for machine condition monitoring built in the latent space of a deep autoencoder | |
| Deng et al. | LSTMED: An uneven dynamic process monitoring method based on LSTM and Autoencoder neural network | |
| CN113591728A (zh) | 基于集成深度学习的电能质量扰动分类方法 | |
| Zhang et al. | A novel denoising algorithm based on TVF-EMD and its application in fault classification of rotating machinery | |
| Bao et al. | Effect improved for high-dimensional and unbalanced data anomaly detection model based on KNN-SMOTE-LSTM | |
| Jiang et al. | Remaining useful life estimation combining two-step maximal information coefficient and temporal convolutional network with attention mechanism | |
| Zhang et al. | CNN and LSTM based encoder-decoder for anomaly detection in multivariate time series | |
| Zheng et al. | Semi-supervised multivariate time series anomaly detection for wind turbines using generator SCADA data | |
| Zhang et al. | Encoding time series as images: A robust and transferable framework for power system DIM identification combining rules and VGGNet | |
| Jiang et al. | A feature-level degradation measurement method for composite health index construction and trend prediction modeling | |
| Li et al. | Life-cycle modeling driven by coupling competition degradation for remaining useful life prediction | |
| CN117578438A (zh) | 一种用于预测新能源发电量的生成对抗网络方法及系统 | |
| CN117648215B (zh) | 一种用电信息采集系统异常溯源方法及系统 | |
| CN116992757A (zh) | 基于深度学习和滚动优化的井口压力预测方法和装置 | |
| CN117648215A (zh) | 一种用电信息采集系统异常溯源方法及系统 | |
| CN115983087B (zh) | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 | |
| Wang et al. | A deep learning based health index construction method with contrastive learning | |
| CN115081555A (zh) | 基于生成对抗和双向循环神经网络的异常检测方法及装置 | |
| Liu et al. | State of health estimation of lithium-ion batteries based on multi-feature extraction and temporal convolutional network | |
| Zhou et al. | One Fits All: Universal Time Series Analysis by Pretrained LM and Specially Designed Adaptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |