CN117596191A - 一种电力物联网异常检测方法、装置及存储介质 - Google Patents
一种电力物联网异常检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117596191A CN117596191A CN202311667474.7A CN202311667474A CN117596191A CN 117596191 A CN117596191 A CN 117596191A CN 202311667474 A CN202311667474 A CN 202311667474A CN 117596191 A CN117596191 A CN 117596191A
- Authority
- CN
- China
- Prior art keywords
- data
- flow data
- time
- time sequence
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000005856 abnormality Effects 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000009467 reduction Effects 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 1
- 230000006855 networking Effects 0.000 claims 1
- 230000007774 longterm Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000728173 Sarima Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种电力物联网异常检测方法、装置及存储介质，方法包括：采集电力物联网的若干个网络流量数据包，对若干个网络流量数据包进行关键字段提取，生成时间序列流量数据；对时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；采用滑动窗口法对测试集的时间序列流量数据进行分割，按照预设的步长将时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个时间窗口内时间序列流量数据的异常概率值；Transformer模型根据训练集对初始Transformer模型进行训练而来，提高电力物联网异常检测的计算精度和效率。
Description
技术领域
本发明涉及电力物联网数据异常检测技术领域，尤其涉及一种电力物联网异常检测方法、装置及存储介质。
背景技术
随着电力物联网的蓬勃发展，各种电力设备和系统在网络中实现了高度互联互通。这种连接性产生大量的时间序列流量数据，其中蕴含着电力系统运行的重要信息。然而，由于电力系统的复杂性和不确定性，时间序列流量数据中往往掩藏着潜在的异常情况，如设备故障、能耗波动等。现有的时间序列电力物联网数据的分析方法主要分为两类：传统的时间序列建模方法，例如ARIMA、SARIMA、VAR等，用于捕捉时间序列数据中的趋势、季节性和周期性等特征；另一种是基于深度学习的方法，如循环神经网络(RNN)和长短期记忆网络(LSTM)。
这些深度学习方法利用电力物联网设备不断产生的海量数据，能够更准确地捕捉复杂的时间序列模式，进一步优化电力系统的监测和控制。然而，在处理电力物联网生成的长序列数据时，RNN容易遇到梯度消失或梯度爆炸问题，从而难以捕捉长期依赖关系，计算精度低。而LSTM通过引入门控机制解决了梯度消失问题，但其计算效率较低，制约了大规模电力数据的实时处理。
发明内容
本发明提供了一种电力物联网异常检测方法、装置及存储介质，以实现提高电力物联网异常检测的计算精度和效率。
本发明提供了一种电力物联网异常检测方法，包括：采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
进一步地，采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据，具体为：
从每个网络流量数据包中获取时间戳信息和网络流量字段信息；根据每个网络流量数据包的时间戳信息，对每个网络流量数据包的网络流量字段信息进行排序，生成时间序列流量数据。
进一步地，采用滑动窗口法对所述时间序列流量数据进行分割之前，还包括：
对时间序列流量数据进行数据清洗，检查所述时间序列流量数据中是否存在缺失值，删除缺失值所在行的数据内容；将所述时间序列流量数据对应的时间戳信息转换为日期时间类型；
对清洗和转换处理后的时间序列流量数据进行归一化处理，获得归一化的时间序列数据,归一化公式为：
其中，X为时间序列流量数据的任意一列数据值，Xmax为整列数据中的最大值，Xmin为整列数据中的最小值，Xi为归一化后第i列的数据值。
进一步地，采用滑动窗口法对所述时间序列流量数据进行分割，具体为：
在归一化的时间序列数据上创建滑动窗口，将窗口按照预设步长的数据点进行滑动，每次滑动将归一化的时间序列数据按照预设的滑动窗口大小进行分割。
进一步地，对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据，具体为：
将时间序列流量数据输入自编码器模型进行降维，输出降维后的时间序列流量数据；所述自编码器模型由训练集中的时间序列流量数据使用Adam优化算法和二元交叉熵损失函数对初始自编码模型进行训练而来；在训练过程中对所述自编码器模型进行反向传播和参数更新以最小化重构误差，将所述自编码器模型编码后的潜在表示，作为所述自编码器模型输入数据降维后的特征表示。
进一步地，自编码器模型包括编码器和解码器；
所述编码器和解码器根据深度神经网络构建而来；所述深度神经网络由若干个隐藏层构成，每个所述隐藏层包含若干个神经元；
在所述解码器最后一层隐藏层中使用ReLU激活函数对非线性特征进行建模，并构建均方差损失函数作为重构误差的计算公式；
所述重构误差的计算公式为：
式中，ReconstructionError表示重构误差，xi表示数据样本的第i个时间步，表示对应时间步的模型重构输出，N表示数据样本的个数。
进一步地，Transformer模型根据所述训练集对初始Transformer模型进行训练而来，具体为：
采用滑动窗口法对所述训练集的时间序列流量数据进行分割，采用自编码器AE对分割后的时间序列流量数据进行降维，获得降维后的时间序列流量数据作为初始Transformer模型的训练数据；
构建初始Transformer模型，所述初始Transformer模型包括多层的自注意力机制和前馈神经网络；
将训练数据作为输入，利用二元交叉熵损失函数对初始Transformer模型进行训练，使用反向传播算法优化更新模型参数，生成Transformer模型；
所述二元交叉熵损失函数的计算公式为：
式中，yi为第i个真实标签，p(yi)为初始Transformer模型的输出表示，所述输出表示为训练数据属于yi标签的概率；N为训练数据的个数；L为二元交叉熵损失函数。
作为优选方案，本发明利用了Transformer模型(基于自注意力机制的神经网络模型)来对电力物联网的流量信息进行分析和异常检测。首先对电力物联网采集到的网络流量数据包进行处理，得到降维后的时间序列流量数据。Transformer模型作为一种基于自注意力机制的模型，能够并行计算整个序列，不受时间步的依赖关系限制，从而显著提高计算效率。此外，Transformer模型通过自注意力机制捕捉全局依赖关系，通过滑动窗口法对所述降维后的时间序列流量数据进行分割后，将每个时间窗口的时间序列流量数据输入至Transformer模型中进行分析，使得Transformer模型不仅关注电力设备在序列中的相对位置，还能同时考虑各个时间点的综合信息，实现建模电力系统中的长期依赖关系，提高了电力物联网异常检测的计算精度，同时提高了电力物联网中的长序列数据和全局模式的计算效率。
相应地，本发明还提供一种电力物联网异常检测装置，包括：数据处理模块和异常检测模块；
所述数据处理模块用于采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；
所述异常检测模块用于采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
作为优选方案，本发明装置利用数据处理模块对电力物联网采集到的网络流量数据包进行处理，得到降维后的时间序列流量数据。利用异常检测模块利用了Transformer模型(基于自注意力机制的神经网络模型)来对电力物联网的流量信息进行分析和异常检测。Transformer模型作为一种基于自注意力机制的模型，能够并行计算整个序列，不受时间步的依赖关系限制，从而显著提高计算效率。此外，Transformer模型通过自注意力机制捕捉全局依赖关系，通过滑动窗口法对所述降维后的时间序列流量数据进行分割后，将每个时间窗口的时间序列流量数据输入至Transformer模型中进行分析，使得Transformer模型不仅关注电力设备在序列中的相对位置，还能同时考虑各个时间点的综合信息，实现建模电力系统中的长期依赖关系，提高了电力物联网异常检测的计算精度，同时提高了电力物联网中的长序列数据和全局模式的计算效率。
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如本发明内容所述的一种电力物联网异常检测方法。
附图说明
图1是本发明提供的电力物联网异常检测方法的一种实施例的流程示意图；
图2是本发明提供的电力物联网异常检测装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种电力物联网异常检测方法，包括步骤S101-S103：
步骤S101：采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；
进一步地，采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据，具体为：
从每个网络流量数据包中获取时间戳信息和网络流量字段信息；根据每个网络流量数据包的时间戳信息，对每个网络流量数据包的网络流量字段信息进行排序，生成时间序列流量数据。
进一步地，采用滑动窗口法对所述时间序列流量数据进行分割之前，还包括：
对时间序列流量数据进行数据清洗，检查所述时间序列流量数据中是否存在缺失值，删除缺失值所在行的数据内容；将所述时间序列流量数据对应的时间戳信息转换为日期时间类型；
对清洗和转换处理后的时间序列流量数据进行归一化处理，获得归一化的时间序列数据,归一化公式为：
其中，X为时间序列流量数据的任意一列数据值，Xmax为整列数据中的最大值，Xmin为整列数据中的最小值，Xi为归一化后第i列的数据值。
作为优选实施方案，由于时序流量数据中特征数据项数量级差距过大，直接训练可能会使神经网络出现梯度爆炸的情况，影响模型性能。因此对各样本做了max-min归一化处理，将样本数值映射到[0，1]区间，从而在训练中实现模型的快速稳定收敛。
进一步地，采用滑动窗口法对所述时间序列流量数据进行分割，具体为：
在归一化的时间序列数据上创建滑动窗口，将窗口按照预设步长的数据点进行滑动，每次滑动将归一化的时间序列数据按照预设的滑动窗口大小进行分割。
在本实施例中，设置滑动窗口的大小为，表示每次处理个连续的数据点。设置滑动窗口的步长为，表示每次滑动个数据点。根据定义的滑动窗口大小和步长，在时序序列数据上创建滑动窗口。将数据按照窗口大小进行分割，每次滑动个数据点。
作为优选实施方案，采用滑动窗口法可以捕捉到数据的时序特征和上下文信息，通过分析窗口内的数据来判断当前数据点是否异常，并且可以将数据按窗口进行处理，限制每个窗口的数据量，从而降低计算和存储的需求。这样可以更有效地处理大规模数据，并提高异常检测的效率。
步骤S102：对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；
进一步地，对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据，具体为：
将时间序列流量数据输入自编码器模型进行降维，输出降维后的时间序列流量数据；所述自编码器模型由训练集中的时间序列流量数据使用Adam优化算法和二元交叉熵损失函数对初始自编码模型进行训练而来；在训练过程中对所述自编码器模型进行反向传播和参数更新以最小化重构误差，将所述自编码器模型编码后的潜在表示，作为所述自编码器模型输入数据降维后的特征表示。
进一步地，自编码器模型包括编码器和解码器；
所述编码器和解码器根据深度神经网络构建而来；所述深度神经网络由若干个隐藏层构成，每个所述隐藏层包含若干个神经元；
在所述解码器最后一层隐藏层中使用ReLU激活函数对非线性特征进行建模，并构建均方差损失函数作为重构误差的计算公式；
所述重构误差的计算公式为：
式中，ReconstructionError表示重构误差，xi表示数据样本的第i个时间步，表示对应时间步的模型重构输出，N表示数据样本的个数。
作为优选实施方案，由于原始数据通常包含大量冗余信息或噪声，这些信息对异常检测可能没有太大的贡献；通过降维，可以过滤掉这些不必要的冗余信息，提取出数据中的关键特征；并且高维度数据可能会导致模型过拟合、计算复杂度增加等问题。利用自编码器模型对电力物联网时序流量数据进行降维能够提高神经网络的训练效率，大大提高预测性能。
步骤S103：采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
进一步地，Transformer模型根据所述训练集对初始Transformer模型进行训练而来，具体为：
采用滑动窗口法对所述训练集的时间序列流量数据进行分割，采用自编码器AE对分割后的时间序列流量数据进行降维，获得降维后的时间序列流量数据作为初始Transformer模型的训练数据；
构建初始Transformer模型，所述初始Transformer模型包括多层的自注意力机制和前馈神经网络；
将训练数据作为输入，利用二元交叉熵损失函数对初始Transformer模型进行训练，使用反向传播算法优化更新模型参数，生成Transformer模型；
所述二元交叉熵损失函数的计算公式为：
式中，yi为第i个真实标签，p(yi)为初始Transformer模型的输出表示，所述输出表示为训练数据属于yi标签的概率；N为训练数据的个数；L为二元交叉熵损失函数。
在本实施例中，将每个时间窗口的时序流量数据输入至训练完成后的Transformer模型中，Transformer模型通过softmax层输出窗口内时序流量数据的异常概率值，将滑动窗口向前滑动，移动的步长为之前定义的步长，直到处理完所有的滑动窗口。
在本实施例中，结合了自编码器和Transformer模型的优点，既能够学习到流量数据的紧凑表示，又能够有效地建模序列数据的特征。通过该方法，可以提高电力物联网异常检测的数据处理速度，并有效降低预测误差。
本发明通过AE-Transformer模型具有较强的非线性建模能力，AE可以通过编码器-解码器结构学习数据的非线性特征表示，对于复杂的电力物联网流量数据具有较强的建模能力，并且降维后的流量数据能够更好地捕捉数据的本质特征，减少了噪声干扰的影响，降低计算复杂度。
本发明通过Transformer模型可以利用自注意力机制来捕捉序列中的长距离依赖关系和全局上下文信息。对于电力物联网流量数据来说，往往存在着复杂的时间序列关系和上下文依赖，Transformer模型可以更好地建模这些关系，从而提高异常检测的准确性和鲁棒性。
作为优选实施方案，Transformer模型通过多头注意力机制，可以捕捉到序列数据中的长期依赖关系和全局上下文信息，通过多层前馈神经网络，Transformer模型可以增强对输入序列的表示能力。
实施本发明实施例，具有如下效果：
本发明利用了Transformer模型来对电力物联网的流量信息进行分析和异常检测。首先对电力物联网采集到的网络流量数据包进行处理，得到降维后的时间序列流量数据。Transformer模型作为一种基于自注意力机制的模型，能够并行计算整个序列，不受时间步的依赖关系限制，从而显著提高计算效率。此外，Transformer模型通过自注意力机制捕捉全局依赖关系，通过滑动窗口法对所述降维后的时间序列流量数据进行分割后，将每个时间窗口的时间序列流量数据输入至Transformer模型中进行分析，使得Transformer模型不仅关注电力设备在序列中的相对位置，还能同时考虑各个时间点的综合信息，实现建模电力系统中的长期依赖关系，提高了电力物联网异常检测的计算精度，同时提高了电力物联网中的长序列数据和全局模式的计算效率。
实施例二
请参照图2，为本发明实施例提供的一种电力物联网异常检测装置，包括：数据处理模块201和异常检测模块202；
所述数据处理模块201用于采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；
所述异常检测模块202用于采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
数据处理模块201包括：提取单元、预处理单元、分割单元和降维单元；
提取单元用于从每个网络流量数据包中获取时间戳信息和网络流量字段信息；根据每个网络流量数据包的时间戳信息，对每个网络流量数据包的网络流量字段信息进行排序，生成时间序列流量数据。
预处理单元用于对时间序列流量数据进行数据清洗，检查所述时间序列流量数据中是否存在缺失值，删除缺失值所在行的数据内容；将所述时间序列流量数据对应的时间戳信息转换为日期时间类型；
对清洗和转换处理后的时间序列流量数据进行归一化处理，获得归一化的时间序列数据,归一化公式为：
其中，X为时间序列流量数据的任意一列数据值，Xmax为整列数据中的最大值，Xmin为整列数据中的最小值，Xi为归一化后第i列的数据值。
分割单元用于在归一化的时间序列数据上创建滑动窗口，将窗口按照预设步长的数据点进行滑动，每次滑动将归一化的时间序列数据按照预设的滑动窗口大小进行分割。
降维单元用于将时间序列流量数据输入自编码器模型进行降维，输出降维后的时间序列流量数据；所述自编码器模型由训练集中的时间序列流量数据使用Adam优化算法和二元交叉熵损失函数对初始自编码模型进行训练而来；在训练过程中对所述自编码器模型进行反向传播和参数更新以最小化重构误差，将所述自编码器模型编码后的潜在表示，作为所述自编码器模型输入数据降维后的特征表示。
自编码器模型包括编码器和解码器；
所述编码器和解码器根据深度神经网络构建而来；所述深度神经网络由若干个隐藏层构成，每个所述隐藏层包含若干个神经元；
在所述解码器最后一层隐藏层中使用ReLU激活函数对非线性特征进行建模，并构建均方差损失函数作为重构误差的计算公式；
所述重构误差的计算公式为：
式中，ReconstructionError表示重构误差，xi表示数据样本的第i个时间步，表示对应时间步的模型重构输出，N表示数据样本的个数。
异常检测模块202还包括：训练单元；
训练单元用于采用滑动窗口法对所述训练集的时间序列流量数据进行分割，采用自编码器AE对分割后的时间序列流量数据进行降维，获得降维后的时间序列流量数据作为初始Transformer模型的训练数据；
构建初始Transformer模型，所述初始Transformer模型包括多层的自注意力机制和前馈神经网络；
将训练数据作为输入，利用二元交叉熵损失函数对初始Transformer模型进行训练，使用反向传播算法优化更新模型参数，生成Transformer模型；
所述二元交叉熵损失函数的计算公式为：
式中，yi为第i个真实标签，p(yi)为初始Transformer模型的输出表示，所述输出表示为训练数据属于yi标签的概率；N为训练数据的个数；L为二元交叉熵损失函数。
上述的电力物联网异常检测装置可实施上述方法实施例的电力物联网异常检测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
实施本发明实施例，具有如下效果：
本发明装置利用数据处理模块对电力物联网采集到的网络流量数据包进行处理，得到降维后的时间序列流量数据。利用异常检测模块利用了Transformer模型(基于自注意力机制的神经网络模型)来对电力物联网的流量信息进行分析和异常检测。Transformer模型作为一种基于自注意力机制的模型，能够并行计算整个序列，不受时间步的依赖关系限制，从而显著提高计算效率。此外，Transformer模型通过自注意力机制捕捉全局依赖关系，通过滑动窗口法对所述降维后的时间序列流量数据进行分割后，将每个时间窗口的时间序列流量数据输入至Transformer模型中进行分析，使得Transformer模型不仅关注电力设备在序列中的相对位置，还能同时考虑各个时间点的综合信息，实现建模电力系统中的长期依赖关系，提高了电力物联网异常检测的计算精度，同时提高了电力物联网中的长序列数据和全局模式的计算效率。
实施例三
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的电力物联网异常检测方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种电力物联网异常检测方法，其特征在于，包括：
采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
2.如权利要求1所述的一种电力物联网异常检测方法，其特征在于，所述采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据，具体为：
从每个网络流量数据包中获取时间戳信息和网络流量字段信息；根据每个网络流量数据包的时间戳信息，对每个网络流量数据包的网络流量字段信息进行排序，生成时间序列流量数据。
3.如权利要求2所述的一种电力物联网异常检测方法，其特征在于，所述采用滑动窗口法对所述时间序列流量数据进行分割之前，还包括：
对时间序列流量数据进行数据清洗，检查所述时间序列流量数据中是否存在缺失值，删除缺失值所在行的数据内容；将所述时间序列流量数据对应的时间戳信息转换为日期时间类型；
对清洗和转换处理后的时间序列流量数据进行归一化处理，获得归一化的时间序列数据,归一化公式为：
其中，X为时间序列流量数据的任意一列数据值，Xmax为整列数据中的最大值，Xmin为整列数据中的最小值，Xi为归一化后第i列的数据值。
4.如权利要求3所述的一种电力物联网异常检测方法，其特征在于，所述采用滑动窗口法对所述时间序列流量数据进行分割，具体为：
在归一化的时间序列数据上创建滑动窗口，将窗口按照预设步长的数据点进行滑动，每次滑动将归一化的时间序列数据按照预设的滑动窗口大小进行分割。
5.如权利要求1所述的一种电力物联网异常检测方法，其特征在于，所述对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据，具体为：
将时间序列流量数据输入自编码器模型进行降维，输出降维后的时间序列流量数据；所述自编码器模型由训练集中的时间序列流量数据使用Adam优化算法和二元交叉熵损失函数对初始自编码模型进行训练而来；在训练过程中对所述自编码器模型进行反向传播和参数更新以最小化重构误差，将所述自编码器模型编码后的潜在表示，作为所述自编码器模型输入数据降维后的特征表示。
6.如权利要求5所述的一种电力物联网异常检测方法，其特征在于，所述自编码器模型包括编码器和解码器；
所述编码器和解码器根据深度神经网络构建而来；所述深度神经网络由若干个隐藏层构成，每个所述隐藏层包含若干个神经元；
在所述解码器最后一层隐藏层中使用ReLU激活函数对非线性特征进行建模，并构建均方差损失函数作为重构误差的计算公式；
所述重构误差的计算公式为：
式中，ReconstructionError表示重构误差，xi表示数据样本的第i个时间步，表示对应时间步的模型重构输出，N表示数据样本的个数。
7.如权利要求5所述的一种电力物联网异常检测方法，其特征在于，所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来，具体为：
采用滑动窗口法对所述训练集的时间序列流量数据进行分割，采用自编码器AE对分割后的时间序列流量数据进行降维，获得降维后的时间序列流量数据作为初始Transformer模型的训练数据；
构建初始Transformer模型，所述初始Transformer模型包括多层的自注意力机制和前馈神经网络；
将训练数据作为输入，利用二元交叉熵损失函数对初始Transformer模型进行训练，使用反向传播算法优化更新模型参数，生成Transformer模型；
所述二元交叉熵损失函数的计算公式为：
式中，yi为第i个真实标签，p(yi)为初始Transformer模型的输出表示，所述输出表示为训练数据属于yi标签的概率；N为训练数据的个数；L为二元交叉熵损失函数。
8.一种电力物联网异常检测装置，其特征在于，包括：数据处理模块和异常检测模块；
所述数据处理模块用于采集电力物联网的若干个网络流量数据包，对若干个所述网络流量数据包进行关键字段提取，生成时间序列流量数据；对所述时间序列流量数据进行降维，获得降维后的时间序列流量数据；将降维后的时间序列流量数据划分为训练集和测试集；
所述异常检测模块用于采用滑动窗口法对所述测试集的时间序列流量数据进行分割，按照预设的步长将所述时间窗口向前滑动，将每个时间窗口的时间序列流量数据输入至Transformer模型，并依次输出每个所述时间窗口内时间序列流量数据的异常概率值；所述Transformer模型根据所述训练集对初始Transformer模型进行训练而来。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7中任意一项所述的一种电力物联网异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667474.7A CN117596191A (zh) | 2023-12-05 | 2023-12-05 | 一种电力物联网异常检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667474.7A CN117596191A (zh) | 2023-12-05 | 2023-12-05 | 一种电力物联网异常检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117596191A true CN117596191A (zh) | 2024-02-23 |
Family
ID=89911417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311667474.7A Pending CN117596191A (zh) | 2023-12-05 | 2023-12-05 | 一种电力物联网异常检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117596191A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117851920A (zh) * | 2024-03-07 | 2024-04-09 | 国网山东省电力公司信息通信公司 | 电力物联数据异常检测方法及系统 |
| CN118332268A (zh) * | 2024-06-14 | 2024-07-12 | 国网山东省电力公司滨州市沾化区供电公司 | 一种分布式电力数据的处理方法、系统、电子设备及介质 |
-
2023
- 2023-12-05 CN CN202311667474.7A patent/CN117596191A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117851920A (zh) * | 2024-03-07 | 2024-04-09 | 国网山东省电力公司信息通信公司 | 电力物联数据异常检测方法及系统 |
| CN118332268A (zh) * | 2024-06-14 | 2024-07-12 | 国网山东省电力公司滨州市沾化区供电公司 | 一种分布式电力数据的处理方法、系统、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117596191A (zh) | 一种电力物联网异常检测方法、装置及存储介质 | |
| Yang et al. | Fast economic dispatch in smart grids using deep learning: An active constraint screening approach | |
| Ji et al. | A novel deep learning approach for anomaly detection of time series data | |
| CN112381673B (zh) | 一种基于数字孪生的园区用电信息分析方法及装置 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN115576293B (zh) | 基于数据监控的压敏胶在线生产分析方法及系统 | |
| CN115694985A (zh) | 基于tmb的混合网络流量攻击预测方法 | |
| CN116663746A (zh) | 一种电力负荷预测方法、装置、计算机设备及存储介质 | |
| CN117313015A (zh) | 一种基于时序和多变量的时间序列异常检测方法及系统 | |
| CN116451081A (zh) | 数据漂移的检测方法、装置、终端及存储介质 | |
| CN117473275B (zh) | 一种数据中心的能耗检测方法 | |
| CN117933531A (zh) | 一种分布式光伏发电功率预测系统及方法 | |
| CN117827508A (zh) | 一种基于系统日志数据的异常检测方法 | |
| CN117131022A (zh) | 一种电力信息系统的异构数据迁移方法 | |
| Fan et al. | A Novel Ensemble Machine Learning Model for Oil Production Prediction with Two-Stage Data Preprocessing | |
| CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
| CN114357160B (zh) | 基于生成传播结构特征的早期谣言检测方法及装置 | |
| CN114580534A (zh) | 一种工业数据异常检测方法、装置、电子设备和存储介质 | |
| Anh et al. | A novel approach for anomaly detection in automatic meter intelligence system using machine learning and pattern recognition | |
| Li et al. | A review of data representation methods for vulnerability mining using deep learning | |
| CN117194576B (zh) | 一种电网客户信息数据整合处理方法及系统 | |
| CN116662160B (zh) | 基于代价敏感宽度学习的软件缺陷预测方法及处理装置 | |
| CN116708313B (zh) | 流量检测方法、流量检测装置、存储介质和电子设备 | |
| CN115063643B (zh) | 一种电力场景图像数据自动标注方法 | |
| CN116340864B (zh) | 一种模型漂移检测方法、装置、设备及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |