CN117272055B - 一种基于滤波增强自编码器的电能表异常检测方法及装置 - Google Patents
一种基于滤波增强自编码器的电能表异常检测方法及装置 Download PDFInfo
- Publication number
- CN117272055B CN117272055B CN202311567852.4A CN202311567852A CN117272055B CN 117272055 B CN117272055 B CN 117272055B CN 202311567852 A CN202311567852 A CN 202311567852A CN 117272055 B CN117272055 B CN 117272055B
- Authority
- CN
- China
- Prior art keywords
- time series
- series data
- data
- dimensional time
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 230000005856 abnormality Effects 0.000 title claims abstract description 50
- 238000001914 filtration Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims description 35
- 238000007781 pre-processing Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R35/00—Testing or calibrating of apparatus covered by the other groups of this subclass
- G01R35/04—Testing or calibrating of apparatus covered by the other groups of this subclass of instruments for measuring time integral of power or current
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Biomedical Technology (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Optimization (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及一种基于滤波增强自编码器的电能表异常检测方法及装置,属于电力设备检测技术领域。将预处理后的多维时间序列数据输入自编码器和滤波器,输出第一重构多维时间序列数据和第一噪声分量,将第一重构多维时间序列数据输入自编码器和滤波器,输出第二重构多维时间序列数据和第二噪声分量;构建自编码器损失函数和滤波器损失函数,并基于自编码器损失函数和滤波器损失函数构建电能表异常检测损失函数以对自编码器和滤波器进行迭代训练,将训练好的自编码器作为电能表异常检测模型以对待检测多维时间序列数据进行检测。本发明减小了噪声和异常对自编码器的干扰,提高了重构数据的准确性,从而提高了电能表异常检测模型的检测准确率。
Description
技术领域
本发明涉及电力设备检测技术领域,尤其是指一种基于滤波增强自编码器的电能表异常检测方法及装置。
背景技术
加快实现电力系统的数字化转型,构建以实现“双碳”为目标的智能电网,是电力系统的重要发展途径。智能电表是智能电网中最为重要的构件之一,其不仅需要起到计量、显示的基础作用,还需要实现电力用户和电力企业之间的双向通信。随着智能电网的发展,智能电表的功能日益丰富,及时排查和检修故障电表,对电网稳定运行和用户稳定用电具有重大意义。目前应用于智能电表等电力行业领域的多传感器实体设备在实际运行过程中会产生随时间变化的多元观测数据,即多维时间序列数据,这些多维时间序列反映了智能电表的整体运行状态,当电表发生老化或者存在人为不当操作,导致运行状态异常时,其产生的多维时间序列也表现出与其他大多数据不同的模式,这为智能电表运行状态的异常检测提供了重要的数据支撑。近年来,基于深度学习的时序异常检测已经成为一个重要方向,大量无监督深度异常检测方法已经问世,并表现出比传统异常检测更好的性能。
目前常用的基于深度学习的智能电表无监督多维时序异常检测方法主要为基于重构的方法,其通过训练一个自编码器先将正常数据压缩为低维的潜在表示,再重构原始输入数据,并利用测试数据的重构误差检测异常。然而,智能电表的多维时间序列数据中包含许多噪声和异常数据,而现有的基于重构的智能电表异常检测方法的重构任务是直接使用自编码器完全重构输入样本,包括数据中的噪声和异常,因此往往会获得较大的重构误差,导致自编码器难以专注于挖掘电能表多维时间序列的正常模式,使得电能表异常检测的准确性较低。
综上所述,现有的基于重构的电能表异常检测方法无法避免电能表的多维时间序列数据中的噪声和异常数据的干扰,使得重构的多维时间序列数据准确性较低,导致基于重构后的多维时间序列数据进行异常检测时的准确性较低。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中基于重构的电能表异常检测方法无法避免电能表的多维时间序列数据中的噪声和异常数据的干扰,使得重构的多维时间序列数据准确性较低,导致基于重构后的多维时间序列数据进行异常检测时的准确性较低的问题。
为解决上述技术问题,本发明提供了一种基于滤波增强自编码器的电能表异常检测方法,包括:
获取训练集中的多维时间序列数据,并对所述多维时间序列数据进行预处理;其中,所述多维时间序列数据为电能表的多个参数随时间变化的数据;
将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将所述第一重构多维时间序列数据分别输入至所述自编码器和所述滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第二重构多维时间序列数据和所述第一噪声分量构建自编码器损失函数;基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第一噪声分量和所述第二噪声分量构建滤波器损失函数;基于所述自编码器损失函数和所述滤波器损失函数构建电能表异常检测损失函数;
利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数的值最小,将训练好的自编码器作为电能表异常检测模型,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测。
在本发明的一个实施例中,所述自编码器损失函数为:
,
,
其中,表示自编码器损失函数,/>表示对多维时间序列数据预处理后得到的多维时间序列窗口数据的数量,mes(·)表示均方误差损失,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据,/>表示第/>个多维时间序列窗口数据,/>为噪声抑制比例,/>表示第/>个多维时间序列窗口数据的第一噪声分量,/>表示第/>个多维时间序列窗口数据的第二重构多维时间序列数据,/>表示多维时间序列窗口数据的时间步长度,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据在时间步/>处的向量,/>表示第个多维时间序列窗口数据在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据的第一噪声分量在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据的第二重构多维时间序列数据在时间步/>处的向量。
在本发明的一个实施例中,所述滤波器损失函数为:
,
,
其中,表示滤波器损失,/>表示对多维时间序列数据预处理后得到的多维时间序列窗口数据的数量,mes(·)表示均方误差损失,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据,/>表示第/>个多维时间序列窗口数据,/>表示第/>个多维时间序列窗口数据的第一噪声分量,/>表示第/>个多维时间序列窗口数据的第二噪声分量,/>表示L1正则损失,/>表示多维时间序列窗口数据的时间步长度,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据的第一噪声分量在时间步/>处的向量,/>表示多维时间序列窗口数据的维度,/>表示第/>个多维时间序列窗口数据的第一噪声分量在时间步/>处第/>维的值,/>表示第/>个多维时间序列窗口数据的第二噪声分量在时间步/>处第/>维的值。
在本发明的一个实施例中,所述电能表异常检测损失函数为:
,
其中,表示电能表异常检测损失函数,/>表示自编码器损失函数,/>为平衡超参数,/>表示滤波器损失。
在本发明的一个实施例中,利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数的值最小包括:
步骤1:获取训练集中第n个多维时间序列数据,并对所述第n个多维时间序列数据进行预处理;
步骤2:将预处理后的第n个多维时间序列数据输入至所述自编码器和所述滤波器中,输出第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量,将所述第n个多维时间序列数据的第一重构多维时间序列数据输入至所述自编码器和所述滤波器中,输出第n个多维时间序列数据的第二重构多维时间序列数据和第n个多维时间序列数据的第二噪声分量;
步骤3:基于所述预处理后的第n个多维时间序列数据、所述第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、所述第n个多维时间序列数据的第二重构多维时间序列数据计算所述自编码器损失函数的值,调整所述自编码器的参数;
步骤4:基于所述预处理后的第n个多维时间序列数据、所述第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、所述第n个多维时间序列数据的第二噪声分量计算所述滤波器损失函数的值,调整所述滤波器的参数;
步骤5:更新n=n+1,返回执行步骤1直到所述电能表异常检测损失函数的值最小。
在本发明的一个实施例中,对所述多维时间序列数据进行预处理包括:
计算所述多维时间序列数据中第个维度的时间序列数据的平均值和标准差;
基于所述平均值和所述标准差对所述第个维度的时间序列数据进行平移和缩放,得到平移和缩放后的时间序列数据,基于所有维度的平移和缩放后的时间序列数据得到平移和缩放后的多维时间序列数据;
利用长度为,滑动步幅为1的滑动窗口将所述平移和缩放后的多维时间序列数据划分为多个时间步长度为/>的多维时间序列窗口数据。
在本发明的一个实施例中,所述第个维度的时间序列数据的平均值和标准差的计算公式为:
,
,
其中,表示多维时间序列数据第/>个维度的时间序列数据的平均值,/>表示多维度时间序列数据第/>个维度的时间序列数据的标准差,/>表示多维时间序列数据的时间步长度,/>表示多维时间序列数据第/>个维度的时间序列数据在时间步/>处的特征值;
对所述第个维度的时间序列数据进行平移和缩放的公式为:
,
其中,表示平移和缩放后的多维时间序列数据中第/>个维度的时间序列数据在时间步/>处的数据。
在本发明的一个实施例中,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测包括:
实时获取待检测多维时间序列数据,并将所述待检测多维时间序列数据输入所述电能表异常检测模型中,输出重构多维时间序列数据;
计算所述重构多维时间序列数据和所述待检测多维时间序列数据的差值,并比较所述差值与预设阈值的大小,若所述差值大于所述预设阈值,则判断所述待检测多维时间序列数据对应的电能表为异常。
在本发明的一个实施例中,所述重构多维时间序列数据和所述待检测多维时间序列数据的差值的计算公式为:
,
其中,表示重构多维时间序列数据和待检测多维时间序列数据在最后一个时间步/>处的差值,/>表示重构多维时间序列数据在最后一个时间步/>处的向量,/>表示待检测多维时间序列数据在最后一个时间步/>处的向量。
本发明还提供了一种基于滤波增强自编码器的电能表异常检测装置,包括:
数据获取及预处理模块,用于获取训练集中的多维时间序列数据,并对所述多维时间序列数据进行预处理;其中,所述多维时间序列数据为电能表的多个参数随时间变化的数据;
数据重构及滤波模块,用于将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将所述第一重构多维时间序列数据分别输入至所述自编码器和所述滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
损失函数构建模块,用于基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第二重构多维时间序列数据和所述第一噪声分量构建自编码器损失函数;基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第一噪声分量和所述第二噪声分量构建滤波器损失函数;基于所述自编码器损失函数和所述滤波器损失函数构建电能表异常检测损失函数;
模型训练及获取模块,用于利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数的值最小,将训练好的自编码器作为电能表异常检测模型,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测。
本发明提供的基于滤波增强自编码器的电能表异常检测方法利用滤波器和自编码器共同训练得到电能表异常检测模型,由于基于电能表获取的多维时间序列数据中包含大量噪声和异常,导致仅使用自编码器获取的重构数据受噪声和异常的影响较大,因此,本发明设计了两阶段训练任务的滤波增强自编码器,使用滤波器分离多维时间序列数据中的噪声和异常,由自编码器对多维时间序列数据进行一次重构,将一次重构后的数据输入滤波器和自编码器中,以对多维时间序列数据进行二次重构,通过构建损失函数对滤波器和自编码器进行迭代训练,使得滤波器尽可能提取数据中的噪声和异常,减小噪声和异常对自编码器的干扰,从而提高自编码器获取的重构多维时间序列数据的准确性,提高电能表异常检测模型的检测准确率。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中
图1是本发明提供的一种基于滤波增强自编码器的电能表异常检测方法流程图;
图2是本发明提供的一种基于滤波增强自编码器的电能表异常检测原理示意图;
图3是本发明提供的一种基于滤波增强自编码器的电能表异常检测装置结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
请参阅图1,图1所示为本申请提供的一种基于滤波增强自编码器的电能表异常检测方法流程图,其包括:
S10:获取训练集中的多维时间序列数据,并对多维时间序列数据进行预处理;其中,多维时间序列数据为电能表的多个参数随时间变化的数据;
S20:将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将第一重构多维时间序列数据分别输入至自编码器和滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
S30:基于预处理后的多维时间序列数据、第一重构多维时间序列数据、第二重构多维时间序列数据和第一噪声分量构建自编码器损失函数;基于预处理后的多维时间序列数据、第一重构多维时间序列数据、第一噪声分量和第二噪声分量构建滤波器损失函数;基于自编码器损失函数和滤波器损失函数构建电能表异常检测损失函数;
S40:利用训练集中的多维时间序列数据对自编码器和所述滤波器进行迭代训练,直到电能表异常检测损失函数的值最小,将训练好的自编码器作为电能表异常检测模型,利用电能表异常检测模型对待检测多维时间序列数据进行检测。
由于基于传感器等设备获取到的电能表的多维时间序列数据中包含大量的噪声和异常,如果直接使用自编码器对于原始多维时间序列数据进行重构则会受原始数据中噪声和异常的影响,使得重构后的数据误差较大,导致基于重构数据与原始数据之间的误差判断电能表是否异常的准确性降低。因此,本申请中设计了滤波器增强自编码器的电能表异常检测训练模型,将多维时间序列数据输入至滤波器和自编码器中,由滤波器获取多维时间序列数据的第一噪声分量,由自编码器对多维时间序列数据进行第一次重构,将第一次重构获得的第一重构数据再次输入滤波器和自编码器中,由滤波器重构数据中的噪声分量,由自编码器对一次重构数据进行二次重构,通过对滤波器和自编码器进行迭代训练,使得自编码器仅关注多维时间序列数据中的正常数据,减小噪声和异常对自编码器的影响,提高自编码器获得的重构多维时间序列数据的准确性,从而提高基于重构数据的电能表异常检测结果的准确率。
单变量时间序列数据(univariate time series,UTS)是一个测量值随时间变化的有序记录,可以表示为,其中,/>表示序列的时间步长度,/>表示该变量在时间步/>处的特征值。进一步地,记录某个系统或设备的不同变量的UTS组成了多变量时间序列数据(MTS),即多维时间序列数据,可以用来描述系统或设备的整体状态,其可以表示为/>,/>表示MTS中UTS的数量或者多维时间序列数据的维度,该MTS表示由/>个时间步为/>的向量组成的观测数据;或者该MTS还可以表示为,/>表示时间步长度,该MTS表示由/>个/>维向量组成的观测数据。
具体地,在本申请的一些实施例中,多维时间序列数据包括电能表的电流、电压、电能示值、无功功率、功率因数随时间变化的数据,在本申请的其他实施例中,该多维时间序列数据还可以包括电能表的其他参数随时间变化的数据,电能表的参数数量即为该多维时间序列数据的维度。
示例地,在本申请的一些实施例中,三相电表的多维时间序列数据包括:A相电流、B相电流、C相电流、A相电压、B相电压、C相电压、正向有功电能示值、反向有功电能示值、正向无功电能示值、反向无功电能示值、A相有功功率、B相有功功率、C相有功功率、有功功率总值、A相无功功率、B相无功功率、C相无功功率、无功功率总值、A相功率因数、B相功率因数、C相功率因数和功率因数总值随时间的变化数据。
原始多维时间序列数据经过标准化处理才可以用于深度学习模型的训练,这是因为标准化处理可以消除特征间的单位和尺度差异,将数据的分布映射到神经网络激活函数的非饱和区附近,从而加快模型的训练速度,提高模型的泛化性能。
本申请中对MTS进行标准化处理是通过对原始序列进行平移和缩放来实现的,具体地,步骤S10中对多维时间序列数据进行预处理的具体步骤包括:
S100:计算多维时间序列数据中第个维度的时间序列数据的平均值和标准差,其具体计算公式为:
,
,
其中,表示多维时间序列数据第/>个维度的时间序列数据的平均值,/>表示多维度时间序列数据第/>个维度的时间序列数据的标准差,/>表示多维时间序列数据的时间步长度,/>表示多维时间序列数据第/>个维度的时间序列数据在时间步/>处的特征值;
S101:基于平均值和标准差对第个维度的时间序列数据进行平移和缩放,得到平移和缩放后的时间序列数据,基于所有维度的平移和缩放后的时间序列数据得到平移和缩放后的多维时间序列数据;
具体地,对第个维度的时间序列数据进行平移和缩放的公式为:
,
其中,表示平移和缩放后的多维时间序列数据中第/>个维度的时间序列数据在时间步/>处的数据;
S102:利用长度为,滑动步幅为1的滑动窗口将平移和缩放后的多维时间序列数据划分为多个时间步长度为/>的多维时间序列窗口数据。
请参阅图2,图2所示为本申请提供的一种基于滤波增强自编码器的电能表异常检测原理示意图。
将预处理后的多个多维时间序列窗口数据分别输入自编码器中,得到每个多维时间序列窗口数据对应的第一重构多维时间序列数据;将预处理后的多个多维时间序列窗口数据分别输入至滤波器中,得到多个第一噪声分量;
将多个第一重构多维时间序列数据分别输入至自编码器中,得到每个第一重构多维时间序列数据对应的第二重构多维时间序列数据;将多个第一重构多维时间序列数据分别输入至滤波器中,得到多个第二噪声分量。
在本申请的一些实施例中,自编码器可以为递归神经网络、长短时记忆网络(longshort term memory,LSTM)和门控记忆单元(gated memory unit,GRU)。
优选地,本申请实施例中的自编码器为GRU,这是因为递归神经网络往往会遭受梯度爆炸问题干扰,导致训练难度较大;而LSTM和GRU都可以很好地处理长时间序列,但是GRU相比LSTM参数更少,训练速度更快且过拟合风险更小。并且,由于Transformer模型在时序分析领域表现出强大的性能且具有输入和输出形状相等的特性,因此,本申请实施例中使用Transformer编码器实现滤波器。
自编码器由一个编码器和一个解码器/>构成,编码器/>用于将一个多维时间序列窗口数据/>映射为一个压缩潜向量/>,该过程可以表示为:
,
其中,,/>,对于潜向量空间维度/>的限制使得模型必须学会从输入数据中提取最相关的特征并将其压缩为较低维度的表示,然后解码器/>将潜向量生成与多维时间序列窗口数据尽可能相似的重构样本,该过程表示为:
。
通常基于电能表采集的多维时间序列数据种含有许多高频噪声,因此,输入的时间序列可以看作干净的时间序列数据和噪声数据的叠加,而且,重构的数据和输入的数据不可能完全一致,将数据输入自编码器可以看作一个时间序列分解的过程,自编码器将输入的时间序列分解为可以重构的时间序列和自编码器较难重构的损失分量。由于数据中的噪声和异常容易噪声较大的重构误差,随着自编码器的训练,这些噪声和异常也会被很好地重构,如果添加适当约束使得自编码器仅重构干净的时间序列而使数据中的噪声和异常分量恰好为重构损失分量,则可以获得更鲁棒的多维时间序列隐空间表示,使得正常和异常数据的重构损失差距增大,进而使异常更容易被检测。
为了使自编码器和滤波器能够相互指导完成任务,本申请中设计了交替优化策略,即基于预处理后的多个多维时间序列窗口数据、每个多维时间序列窗口数据对应的第一重构多维时间序列数据、每个多维时间序列窗口数据对应的第一噪声分量、每个第一重构多维时间序列数据对应的第二重构多维时间序列数据和每个第一重构多维时间序列数据对应的第二噪声分量分别构建自编码器损失函数和滤波器损失函数,并基于自编码器损失函数和滤波器损失函数构建电能表异常检测损失函数。
具体地,步骤S30中的自编码器损失函数为:
,
,
其中,表示自编码器损失函数,/>表示对多维时间序列数据预处理后得到的多维时间序列窗口数据的数量,mes(·)表示均方误差损失,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据,/>表示第/>个多维时间序列窗口数据,/>为噪声抑制比例,一般设置为接近1的值,/>表示第/>个多维时间序列窗口数据的第一噪声分量,/>表示第/>个多维时间序列窗口数据的第二重构多维时间序列数据,/>表示多维时间序列窗口数据的时间步长度,/>表示第/>个多维时间序列窗口数据的第一重构多维时间序列数据在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据的第一噪声分量在时间步/>处的向量,/>表示第/>个多维时间序列窗口数据的第二重构多维时间序列数据在时间步/>处的向量。
自编码器损失函数主要分为两个部分,即第一重构多维时间序列数据和第二重构多维时间序列数据的重构误差。在计算第一重构多维时间序列数据的重构误差时,多维时间序列窗口数据减去第一噪声分量,即减小数据中的噪声和异常的重构误差,缓解噪声和异常对自编码器的干扰;在计算第二重构多维时间序列数据的重构误差时,由于第一重构多维时间序列数据可以看作没有噪声和异常的正常多维时间序列数据,因此使用传统重构误差以约束第二重构多维时间序列数据与多维时间序列窗口数据尽可能相似。通过两个阶段的重构任务的对比,自编码器将学习多维时间序列窗口数据的整体趋势,从而判断哪些数据应该被重构,提高重构数据的准确性。
具体地,步骤S30中的滤波器损失函数为:
,
,
其中,表示滤波器损失,/>表示第/>个多维时间序列窗口数据的第二噪声分量,表示L1正则损失,/>表示多维时间序列窗口数据的维度,/>表示第/>个多维时间序列窗口数据的第一噪声分量在时间步/>处第/>维的值,/>表示第/>个多维时间序列窗口数据的第二噪声分量在时间步/>处第/>维的值。
由于自编码器在学习重构数据时,最初很容易学习到多维时间序列窗口数据的整体趋势,随着优化的进行,逐渐学习多维时间序列窗口数据的细节信息导致过拟合,因此,滤波器将从自编码器的重构误差中学习提取多维时间序列窗口数据的噪声和异常数据,即滤波器损失函数的第一部分约束滤波器的输出与自编码器的重构误差相似;其第二部分约束滤波器输出的噪声分量为个值且比较稀疏,捕获对自编码器影响较大的噪声和异常信号;由于第一重构多维时间序列数据可以看作没有噪声和异常的正常多维时间序列数据,因此其第三部分约束滤波器从第一重构多维时间序列数据中提取不到噪声分量。
具体地,基于上述的自编码器损失函数和滤波器损失函数,步骤S30中的电能表异常检测损失函数为:
,
其中,表示电能表异常检测损失函数,/>为平衡超参数。
由于自编码器损失函数中包含滤波器输出的第一噪声分量,而滤波器损失函数中又包含自编码器输出的第一重构多维时间序列数据,因此,交替地训练自编码器和滤波器,使得滤波器根据自编码器地重构误差学习输入数据中的噪声分量,同时,自编码器在滤波器的指导下学习如何仅重构干净的时间序列数据,以实现更鲁棒的异常检测。
具体地,步骤S40中,利用训练集中的多维时间序列数据对自编码器和滤波器进行迭代训练,直到电能表异常检测损失函数的值最小包括:
步骤1:获取训练集中第n个多维时间序列数据,并对第n个多维时间序列数据进行预处理;
步骤2:将预处理后的第n个多维时间序列数据输入至自编码器和滤波器中,输出第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量,将第n个多维时间序列数据的第一重构多维时间序列数据输入至自编码器和滤波器中,输出第n个多维时间序列数据的第二重构多维时间序列数据和第n个多维时间序列数据的第二噪声分量;
步骤3:基于预处理后的第n个多维时间序列数据、第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、第n个多维时间序列数据的第二重构多维时间序列数据计算自编码器损失函数的值,调整自编码器的参数;
步骤4:基于预处理后的第n个多维时间序列数据、第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、第n个多维时间序列数据的第二噪声分量计算滤波器损失函数的值,调整滤波器的参数;
步骤5:更新n=n+1,返回执行步骤1直到电能表异常检测损失函数的值最小。
进一步地,步骤S40中利用电能表异常检测模型对待检测多维时间序列数据进行检测包括:
实时获取待检测多维时间序列数据,并将待检测多维时间序列数据输入电能表异常检测模型中,输出重构多维时间序列数据;
计算重构多维时间序列数据和待检测多维时间序列数据的差值,并比较差值与预设阈值的大小,若差值大于预设阈值,则判断待检测多维时间序列数据对应的电能表为异常。
具体地,重构多维时间序列数据和待检测多维时间序列数据的差值的计算公式为:
,
其中,表示重构多维时间序列数据和待检测多维时间序列数据在最后一个时间步/>处的差值,/>表示重构多维时间序列数据在最后一个时间步/>处的向量,/>表示待检测多维时间序列数据在最后一个时间步/>处的向量。
由于电能表的各个参数是随时间不断变化的,对于电能表的异常检测也是实时的,只需要计算当前时间步电能表是否异常即可,因此,只计算多维时间序列数据在最后一个时间步的重构误差即可判断电能表当前的状态。
为了验证本申请实施例提供的基于滤波增强自编码器的电能表异常检测方法的有效性和准确性,本申请还将上述实施例构建的电能表异常检测模型(FAAE)与14个较为先进的模型在5个代表时序数据分布多样性的权威真实世界数据集和智能电表实际数据集上进行了对比。
本申请实施例选取AUC、Fc1和PA%K作为模型评价指标来评估模型的性能。其中,Area Under Curve(AUC)是最受欢迎的评估无监督异常检测任务的指标之一,是由受试者工作曲线(ROC)与坐标轴形成的面积,能够直接反映算法对于测试样本异常分数的排序质量,排除阈值的影响,其取值范围为0~1,完美的排序会导致AUC等于1,而随机猜测的平凡模型的AUC值接近0.5;Composite F-score(Fc1)是最近提出的模型评价指标,更关注模型对于异常时间的检测能力,且避免了点调整策略导致的模型性能高估的问题,其将原始F1分数中召回率的计算方式改为计算异常段的召回率,保持了原有计算逐点准确率的方式,一个异常段召回率更高而正常时间步误报更少的模型Fc1更高;Point Adjustmen%K(PA%K)同样针对点调整策略导致的模型性能高估问题,其计算所有时间步的F1分数,但只有当模型在某个连续的异常段中检测到的异常步占整个异常段长度的比例超过百分之K时,才应用点调整策略调整预测值,然后通过调整K并计算PA%K的曲线下面积以减少模型对于K的依赖性。
本申请实施例中提供的14个较为先进的模型分别为:
OCSVM,将数据样本通过核函数映射到高位特征空间并划分正异常边界;
LOF,通过计算给定数据点相对于其邻域的局部密度偏差进行异常检测;
iForest,通过随机选择特征并随机分割观测值来隔离异常;
MSCRED,基于卷积神经网络获得样本不同尺度的特征图,并使用基于注意力的卷积长短时记忆网络在多尺度下进行重构;
BeatGAN,基于对抗自编码器机构的模型,在原有自编码器结构上添加判别器以提高自编码器重构的真实性;
USAD,基于两个自动编码器的异常检测方法,两个自编码器以对抗的方式进行训练以重建数据,利用两个自动编码器的重建误差来计算异常分数;
InterFusion,基于两个分层的变分自编码器的重构模型,两个自编码器分别对多维时间序列的度量间相关性和时间相关性进行建模;
GDN,基于注意力机制和图神经网络学习多维时间序列的结构图并预测其未来值,利用预测的误差检测异常值;
GTA,结合图神经网络和Transformer挖掘多维时间序列特征的预测模型,使用预测值与观测值之间的误差计算异常分数;
TranAD,基于深度Transformer的重构模型,利用自我调节和对抗性训练放大误差并获得稳定的性能;
AT,基于Transformer建模并通过重构误差和序列之间的关联差异共同检测异常;
GAE_AD,端到端的结合对比学习的自编码器,同时进行上下文对比和实例对比以获得鲁棒的数据表示;
TSMAE,记忆模块增强的自编码器,引入记忆机制来重组样本的潜向量以增加自编码器的信息瓶颈效果从而抑制模型的泛化能力;
RAE,自编码器训练框架,通过优化提出的带有约束条件的损失函数以获得更清晰的重构样本。
本申请实施例中使用的5个代表时序数据分布多样性的权威真实世界数据集分别为:
Secure Water Treatment(SWaT),为连续运行的水处理系统的51个传感器收集的数据,其中记录了网络和物力攻击造成的异常事件;
Server Machine Dataset(SMD),为一家大型互联网公司收集并公开发布的为期5周的从具有38个监控指标的服务器机器收集的数据集;
Pooled Server Metrics(PSM),是从eBay的多个应用程序服务器节点内部收集的数据集,共有26个维度;
Mars Science Laboratory(MSL)和Soil Moisture Active Passive(SMAP),均为来自NASA的真实世界数据集,分别具有55和25个维度,其中包含航天检测系统的意外事件异常(Incident Surprise Anomaly,ISA)报告中导出的遥测异常数据;
如表1所示,为上述5个代表时序数据分布多样性的权威真实世界数据集的属性:
表1
具体地,本实施例基于Python 3.8和PyTorch1.12实现FAAE,其中自编码器使用单层GRU实现,滤波器使用Transfoemer编码器实现,其中,多头注意力的头数和层数均设置为4,自编码器损失函数中的噪声抑制比例设置为0.4,电能表异常检测损失函数中的平衡超参数/>设置为1;预处理过程中滑动窗口的大小为128,步长设置为8,数据批量大小为128,多维时间序列数据的维度也设置为128。将数据集按照8:2的比例划分为训练集和验证集,最大训练轮次设置为200,使用学习率和权重衰减均为1e-4的Adam优化器训练本实施例构建的FAAE模型,当验证集上的重构损失连续5轮没有下降时停止训练,并保留验证集上重构损失最低的模型。
上述的训练和验证均是在Linux工作站上进行,该工作站配有Intel120核CPU、128GB RAM和2个NVIDIA RT X3090 GPU,所有实验均是在不同的随机种子下重复了5次并报告了平均结果。
如表2所示为15个模型的AUC指标对比结果:
表2
如表3所示为15个模型的Fc1指标对比结果:
表3
如表4所示为15个模型的PA%K指标对比结果:
表4
从表2、表3和表4中可以看出,本申请实施例构建的FAAE模型在3个指标下的平均分数均明显高于其他14个模型,因此,使用本实施例提供的FAAE模型进行电能表异常检测有较高的准确率。
本申请实施例使用的智能电表实际数据集(ELE)中的数据来自多个台区的9台三相电表实体设备,每个设备包括电流(A相、B相、C相)、电压(A相、B相、C相)、电能示值(正向有功)、电能示值(反向有功)、电能示值(正向无功)、电能示值(反向无功)、有功功率(A相、B相、C相、总值)、无功功率(A相、B相、C相、总值)、功率因数(A相、B相、C相、总值)22个传感器数值,该数据集具体特点如表5所示:
表5
其中,这些三相电表实体设备在数据记录区间出现了潮流反向、电流过流、电流失流、电能表倒走、电能表飞走、电能表示值不平、电能表停走、反向电量异常等多种类型的异常。另外,该数据集中包含了个电表实体设备按照日采样96点采集的连续9-16个月的数据,其中包含了正常电能表测量数据和异常的电能表数据,本实施例中将包含正常数据的数据区间用于训练,将包含异常数据的数据区间用于测试。
如表6所示为15个模型在上述的智能电表数据集上的AUC、Fc1、PA%K评价指标对比结果:
表6
从表6可以看出,FAAE在3个评价指标下均取得了最高分数,因此,FAAE在实际电能表异常检测过程中的性能显著优于其他14种模型。
本申请实施例种还提供了一种基于滤波增强自编码器的电能表异常检测装置,如图3所示,其具体包括:
数据获取及预处理模块10,用于获取训练集中的多维时间序列数据,并对多维时间序列数据进行预处理;其中,多维时间序列数据为电能表的多个参数随时间变化的数据;
数据重构及滤波模块20,用于将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将第一重构多维时间序列数据分别输入至自编码器和所述滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
损失函数构建模块30,用于基于预处理后的多维时间序列数据、第一重构多维时间序列数据、第二重构多维时间序列数据和第一噪声分量构建自编码器损失函数;基于预处理后的多维时间序列数据、第一重构多维时间序列数据、第一噪声分量和第二噪声分量构建滤波器损失函数;基于自编码器损失函数和滤波器损失函数构建电能表异常检测损失函数;
模型训练及获取模块40,用于利用训练集中的多维时间序列数据对自编码器和滤波器进行迭代训练,直到电能表异常检测损失函数最小,将训练好的自编码器作为电能表异常检测模型,利用电能表异常检测模型对待检测多维时间序列数据进行检测。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的基于滤波增强自编码器的电能表异常检测方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (7)
1.一种基于滤波增强自编码器的电能表异常检测方法,其特征在于,包括:
获取训练集中的多维时间序列数据,并对所述多维时间序列数据进行预处理;其中,所述多维时间序列数据为电能表的多个参数随时间变化的数据;
将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将所述第一重构多维时间序列数据分别输入至所述自编码器和所述滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第二重构多维时间序列数据和所述第一噪声分量构建自编码器损失函数;基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第一噪声分量和所述第二噪声分量构建滤波器损失函数;基于所述自编码器损失函数和所述滤波器损失函数构建电能表异常检测损失函数;其中,所述自编码器损失函数为:
其中,表示自编码器损失函数,D表示对多维时间序列数据预处理后得到的多维时间序列窗口数据的数量,mes(·)表示均方误差损失,Xi′表示第i个多维时间序列窗口数据的第一重构多维时间序列数据,Xi表示第i个多维时间序列窗口数据,α为噪声抑制比例,Ni表示第i个多维时间序列窗口数据的第一噪声分量,Xi″表示第i个多维时间序列窗口数据的第二重构多维时间序列数据,w表示多维时间序列窗口数据的时间步长度,xi′t表示第i个多维时间序列窗口数据的第一重构多维时间序列数据在时间步t处的向量,xit表示第i个多维时间序列窗口数据在时间步t处的向量,nit表示第i个多维时间序列窗口数据的第一噪声分量在时间步t处的向量,x″it表示第i个多维时间序列窗口数据的第二重构多维时间序列数据在时间步t处的向量;
所述滤波器损失函数为:
其中,表示滤波器损失,N′i表示第i个多维时间序列窗口数据的第二噪声分量,‖·‖1表示L1正则损失,d表示多维时间序列窗口数据的维度,nitj表示第i个多维时间序列窗口数据的第一噪声分量在时间步t处第j维的值,n′itj表示第i个多维时间序列窗口数据的第二噪声分量在时间步t处第j维的值;
所述电能表异常检测损失函数为:
其中,表示电能表异常检测损失函数,λ为平衡超参数;
利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数的值最小,将训练好的自编码器作为电能表异常检测模型,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测。
2.根据权利要求1所述的基于滤波增强自编码器的电能表异常检测方法,其特征在于,利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数的值最小包括:
步骤1:获取训练集中第n个多维时间序列数据,并对所述第n个多维时间序列数据进行预处理;
步骤2:将预处理后的第n个多维时间序列数据输入至所述自编码器和所述滤波器中,输出第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量,将所述第n个多维时间序列数据的第一重构多维时间序列数据输入至所述自编码器和所述滤波器中,输出第n个多维时间序列数据的第二重构多维时间序列数据和第n个多维时间序列数据的第二噪声分量;
步骤3:基于所述预处理后的第n个多维时间序列数据、所述第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、所述第n个多维时间序列数据的第二重构多维时间序列数据计算所述自编码器损失函数的值,调整所述自编码器的参数;
步骤4:基于所述预处理后的第n个多维时间序列数据、所述第n个多维时间序列数据的第一重构多维时间序列数据和第一噪声分量、所述第n个多维时间序列数据的第二噪声分量计算所述滤波器损失函数的值,调整所述滤波器的参数;
步骤5:更新n=n+1,返回执行步骤1直到所述电能表异常检测损失函数的值最小。
3.根据权利要求1所述的基于滤波增强自编码器的电能表异常检测方法,其特征在于,对所述多维时间序列数据进行预处理包括:
计算所述多维时间序列数据中第j个维度的时间序列数据的平均值和标准差;
基于所述平均值和所述标准差对所述第j个维度的时间序列数据进行平移和缩放,得到平移和缩放后的时间序列数据,基于所有维度的平移和缩放后的时间序列数据得到平移和缩放后的多维时间序列数据;
利用长度为w,滑动步幅为1的滑动窗口将所述平移和缩放后的多维时间序列数据划分为多个时间步长度为w的多维时间序列窗口数据。
4.根据权利要求3所述的基于滤波增强自编码器的电能表异常检测方法,其特征在于,所述第j个维度的时间序列数据的平均值和标准差的计算公式为:
其中,μj表示多维时间序列数据第j个维度的时间序列数据的平均值,σj表示多维度时间序列数据第j个维度的时间序列数据的标准差,T表示多维时间序列数据的时间步长度,stj表示多维时间序列数据第j个维度的时间序列数据在时间步t处的特征值;
对所述第j个维度的时间序列数据进行平移和缩放的公式为:
xtj=(stj-μj)/σj,
其中,xtj表示平移和缩放后的多维时间序列数据中第j个维度的时间序列数据在时间步t处的数据。
5.根据权利要求1所述的基于滤波增强自编码器的电能表异常检测方法,其特征在于,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测包括:
实时获取待检测多维时间序列数据,并将所述待检测多维时间序列数据输入所述电能表异常检测模型中,输出重构多维时间序列数据;
计算所述重构多维时间序列数据和所述待检测多维时间序列数据的差值,并比较所述差值与预设阈值的大小,若所述差值大于所述预设阈值,则判断所述待检测多维时间序列数据对应的电能表为异常。
6.根据权利要求5所述的基于滤波增强自编码器的电能表异常检测方法,其特征在于,所述重构多维时间序列数据和所述待检测多维时间序列数据的差值的计算公式为:
ASt′=(xt″-xt′)2,
其中,ASt′表示重构多维时间序列数据和待检测多维时间序列数据在最后一个时间步t′处的差值,xt″表示重构多维时间序列数据在最后一个时间步t′处的向量,xt′表示待检测多维时间序列数据在最后一个时间步t′处的向量。
7.一种基于滤波增强自编码器的电能表异常检测装置,其特征在于,包括:
数据获取及预处理模块,用于获取训练集中的多维时间序列数据,并对所述多维时间序列数据进行预处理;其中,所述多维时间序列数据为电能表的多个参数随时间变化的数据;
数据重构及滤波模块,用于将预处理后的多维时间序列数据分别输入至自编码器和滤波器中,输出第一重构多维时间序列数据和第一噪声分量,将所述第一重构多维时间序列数据分别输入至所述自编码器和所述滤波器中,输出第二重构多维时间序列数据和第二噪声分量;
损失函数构建模块,用于基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第二重构多维时间序列数据和所述第一噪声分量构建自编码器损失函数;基于所述预处理后的多维时间序列数据、所述第一重构多维时间序列数据、所述第一噪声分量和所述第二噪声分量构建滤波器损失函数;基于所述自编码器损失函数和所述滤波器损失函数构建电能表异常检测损失函数;其中,所述自编码器损失函数为:
其中,表示自编码器损失函数,D表示对多维时间序列数据预处理后得到的多维时间序列窗口数据的数量,mes(·)表示均方误差损失,Xi′表示第i个多维时间序列窗口数据的第一重构多维时间序列数据,Xi表示第i个多维时间序列窗口数据,α为噪声抑制比例,Ni表示第i个多维时间序列窗口数据的第一噪声分量,Xi″表示第i个多维时间序列窗口数据的第二重构多维时间序列数据,w表示多维时间序列窗口数据的时间步长度,x′it表示第i个多维时间序列窗口数据的第一重构多维时间序列数据在时间步t处的向量,xit表示第i个多维时间序列窗口数据在时间步t处的向量,nit表示第i个多维时间序列窗口数据的第一噪声分量在时间步t处的向量,x″it表示第i个多维时间序列窗口数据的第二重构多维时间序列数据在时间步t处的向量;
所述滤波器损失函数为:
其中,表示滤波器损失,N′i表示第i个多维时间序列窗口数据的第二噪声分量,‖·‖1表示L1正则损失,d表示多维时间序列窗口数据的维度,nitj表示第i个多维时间序列窗口数据的第一噪声分量在时间步t处第j维的值,n′itj表示第i个多维时间序列窗口数据的第二噪声分量在时间步t处第j维的值;
所述电能表异常检测损失函数为:
其中,表示电能表异常检测损失函数,λ为平衡超参数;
模型训练及获取模块,用于利用训练集中的多维时间序列数据对所述自编码器和所述滤波器进行迭代训练,直到所述电能表异常检测损失函数值最小,将训练好的自编码器作为电能表异常检测模型,利用所述电能表异常检测模型对待检测多维时间序列数据进行检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311567852.4A CN117272055B (zh) | 2023-11-23 | 2023-11-23 | 一种基于滤波增强自编码器的电能表异常检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311567852.4A CN117272055B (zh) | 2023-11-23 | 2023-11-23 | 一种基于滤波增强自编码器的电能表异常检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117272055A CN117272055A (zh) | 2023-12-22 |
CN117272055B true CN117272055B (zh) | 2024-02-06 |
Family
ID=89212884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311567852.4A Active CN117272055B (zh) | 2023-11-23 | 2023-11-23 | 一种基于滤波增强自编码器的电能表异常检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117272055B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059357A (zh) * | 2019-03-19 | 2019-07-26 | 中国电力科学研究院有限公司 | 一种基于自编码网络的智能电能表故障分类检测方法及系统 |
WO2021137745A1 (en) * | 2019-12-30 | 2021-07-08 | Unibap Ab | A method for detection of imperfections in products |
CN115409091A (zh) * | 2022-08-08 | 2022-11-29 | 哈尔滨工业大学 | 基于tdrae的无监督卫星异常检测方法、装置、设备及介质 |
CN115688035A (zh) * | 2022-10-19 | 2023-02-03 | 江苏电力信息技术有限公司 | 一种基于自监督学习的时序电力数据异常检测方法 |
CN115733673A (zh) * | 2022-11-04 | 2023-03-03 | 中国人民解放军海军工程大学 | 一种基于多尺度残差分类器的数据异常检测方法 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN115914654A (zh) * | 2022-10-25 | 2023-04-04 | 西安电子科技大学 | 一种用于视频编码的神经网络环路滤波方法及装置 |
CN116628612A (zh) * | 2023-05-30 | 2023-08-22 | 南京信息工程大学 | 一种无监督异常检测方法、装置、介质及设备 |
CN116819423A (zh) * | 2023-06-20 | 2023-09-29 | 国网宁夏电力有限公司营销服务中心(国网宁夏电力有限公司计量中心) | 关口电能计量装置运行状态异常检测方法及系统 |
CN116840765A (zh) * | 2023-08-31 | 2023-10-03 | 武汉格蓝若智能技术股份有限公司 | 一种基于多元时序分析的电压互感器误差状态评估方法 |
CN117092581A (zh) * | 2023-08-08 | 2023-11-21 | 北京邮电大学 | 基于段一致性判别自编码器电能表异常检测方法及装置 |
CN117092582A (zh) * | 2023-08-08 | 2023-11-21 | 北京邮电大学 | 一种基于对抗对比自编码器的电能表异常检测方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4273564A1 (en) * | 2022-05-02 | 2023-11-08 | Siemens Aktiengesellschaft | Apparatus, system and method for detecting anomalies in a grid |
-
2023
- 2023-11-23 CN CN202311567852.4A patent/CN117272055B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059357A (zh) * | 2019-03-19 | 2019-07-26 | 中国电力科学研究院有限公司 | 一种基于自编码网络的智能电能表故障分类检测方法及系统 |
WO2021137745A1 (en) * | 2019-12-30 | 2021-07-08 | Unibap Ab | A method for detection of imperfections in products |
CN115409091A (zh) * | 2022-08-08 | 2022-11-29 | 哈尔滨工业大学 | 基于tdrae的无监督卫星异常检测方法、装置、设备及介质 |
CN115688035A (zh) * | 2022-10-19 | 2023-02-03 | 江苏电力信息技术有限公司 | 一种基于自监督学习的时序电力数据异常检测方法 |
CN115914654A (zh) * | 2022-10-25 | 2023-04-04 | 西安电子科技大学 | 一种用于视频编码的神经网络环路滤波方法及装置 |
CN115733673A (zh) * | 2022-11-04 | 2023-03-03 | 中国人民解放军海军工程大学 | 一种基于多尺度残差分类器的数据异常检测方法 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN116628612A (zh) * | 2023-05-30 | 2023-08-22 | 南京信息工程大学 | 一种无监督异常检测方法、装置、介质及设备 |
CN116819423A (zh) * | 2023-06-20 | 2023-09-29 | 国网宁夏电力有限公司营销服务中心(国网宁夏电力有限公司计量中心) | 关口电能计量装置运行状态异常检测方法及系统 |
CN117092581A (zh) * | 2023-08-08 | 2023-11-21 | 北京邮电大学 | 基于段一致性判别自编码器电能表异常检测方法及装置 |
CN117092582A (zh) * | 2023-08-08 | 2023-11-21 | 北京邮电大学 | 一种基于对抗对比自编码器的电能表异常检测方法及装置 |
CN116840765A (zh) * | 2023-08-31 | 2023-10-03 | 武汉格蓝若智能技术股份有限公司 | 一种基于多元时序分析的电压互感器误差状态评估方法 |
Non-Patent Citations (5)
Title |
---|
LSTM-Autoencoder for Vibration Anomaly Detection in Vertical Carousel Storage and Retrieval System;Jae Seok Do 等;《Sensors》;1-22 * |
基于无监督学习的网络异常流量检测研究;赵经宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;I139-159 * |
基于深度学习的复杂时间序列分析和预测;蔡木庆;《中国优秀硕士学位论文全文数据库 基础科学辑》;A002-922 * |
基于深度学习的客户用能分类及异常检测研究;白雅玲;《中国优秀硕士学位论文全文数据库 工程科技II辑》;C042-2856 * |
基于深度学习的脑电信号分类方法研究;曹帅;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;E080-17 * |
Also Published As
Publication number | Publication date |
---|---|
CN117272055A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427654B (zh) | 一种基于敏感状态的滑坡预测模型构建方法及系统 | |
CN110472729B (zh) | 基于综合cnn-lstm的岩爆状态预测方法 | |
CN110361778B (zh) | 一种基于生成对抗网络的地震数据重建方法 | |
CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
CN110087207B (zh) | 无线传感器网络缺失数据重建方法 | |
CN112766342A (zh) | 一种电气设备的异常检测方法 | |
WO2022121312A1 (zh) | 食品安全风险等级预测方法、装置及电子设备 | |
CN111046327B (zh) | 适用于低频振荡与次同步振荡辨识的Prony分析方法 | |
CN115828140B (zh) | 邻域互信息与随机森林相融合故障检测方法、系统及应用 | |
CN109948194B (zh) | 一种高压断路器机械缺陷集成学习诊断方法 | |
CN111859054B (zh) | 气象卫星数据的处理方法及装置 | |
CN111898644A (zh) | 一种无故障样本下航天液体发动机健康状态智能识别方法 | |
CN113723535A (zh) | 基于CycleGAN深度学习的细胞微核组学图像处理方法及存储介质 | |
Xiong et al. | A bearing fault diagnosis method based on improved mutual dimensionless and deep learning | |
Ge et al. | An improved PF remaining useful life prediction method based on quantum genetics and LSTM | |
Zhu et al. | A coupled model for dam foundation seepage behavior monitoring and forecasting based on variational mode decomposition and improved temporal convolutional network | |
CN117272055B (zh) | 一种基于滤波增强自编码器的电能表异常检测方法及装置 | |
CN107356431B (zh) | 基于admm与稀疏组合学习的滚动轴承性能退化评估方法 | |
CN117092582A (zh) | 一种基于对抗对比自编码器的电能表异常检测方法及装置 | |
CN117390635A (zh) | 一种基于大数据分析的安全监测方法和系统 | |
CN116595465A (zh) | 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统 | |
CN116776209A (zh) | 一种关口计量装置运行状态辨识方法、系统、设备及介质 | |
CN116484209A (zh) | 大坝结构监测异常识别方法及装置 | |
CN115795350A (zh) | 一种血流变测试杯生产过程中异常数据信息处理方法 | |
Liu et al. | Bearing failure diagnosis at time-varying speed based on adaptive clustered fractional Gabor transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |