CN115905823A - 一种时序数据异常检测的去噪方法及系统 - Google Patents

一种时序数据异常检测的去噪方法及系统 Download PDF

Info

Publication number
CN115905823A
CN115905823A CN202211449720.7A CN202211449720A CN115905823A CN 115905823 A CN115905823 A CN 115905823A CN 202211449720 A CN202211449720 A CN 202211449720A CN 115905823 A CN115905823 A CN 115905823A
Authority
CN
China
Prior art keywords
layer
time sequence
sequence data
denoising
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211449720.7A
Other languages
English (en)
Inventor
杨紫阳
李小翔
张燧
邸智
黄思皖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Clean Energy Research Institute
Huaneng Group Technology Innovation Center Co Ltd
Original Assignee
Huaneng Clean Energy Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Clean Energy Research Institute filed Critical Huaneng Clean Energy Research Institute
Priority to CN202211449720.7A priority Critical patent/CN115905823A/zh
Publication of CN115905823A publication Critical patent/CN115905823A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种时序数据异常检测的去噪方法及系统，方法如下：采用去噪模型对采集的时序数据进行检测，得到去除离群值的时序数据；所述去噪模型包括自动编码器和解码器，自动编码器有包括两个LSTM层，每个LSTM层之后都添加一个概率为p的dropout层；在每个dropout层生成一个随机数r；在网络训练期间，如果当前dropout层的随机数r小于概率p，则此LSTM层的输出设为0，反之则不进行变化；编码器用于通过LSTM层将长度为L的输入时序数据编码为若干组向量表示；解码器用于通过LSTM层和输出转换层将所述若干组向量表示解码为长度为L’的输出时序数据并输出，得到去除离群值的时序数据；能够有效地重建正常样本，允许更精确地定义异常样本，摆脱离群值带来的负面影响。

Description

一种时序数据异常检测的去噪方法及系统
技术领域
本发明属于时序数据处理技术领域，具体涉及一种时序数据异常检测的去噪方法及系统。
背景技术
目前针对光伏的故障诊断主要分为基于参数辨识、基于物理信号分析和人工智能三个方法。参数辨识和物理信号分析的方法对相关物理理论和特征提取技术要求高，方法需要的数据收集工作繁琐，结果不具备通用性。人工智能参与的方法不仅处理的问题类型单一，其精度还严重依赖于模型的数据质量，动态性能有待提升。目前针对人工智能方法，由于光伏相关设备，如逆变器和列阵，数据具有时间序列属性，应用针对时序数据的LSTM网络成为热门选择，通过使用此网络类型可以一定程度上解决某些无法直接获得系统中的故障数据情况下的故障诊断问题。目前针对在光伏领域的故障诊断，已有通过LSTM神经网络作为唯一应用神经网络类型或对主网络输出再处理型辅助神经网络进行识别与定位多种故障的研究。然而此类研究所使用的LSTM网络大多没有经过任何改进，对网络结构进行优化的方向也集中在结果准确率提升上，没有在其上加入针对时序数据异常值鲁棒的优化算法。这样的LSTM仅有对规则时序数据处理的能力，无法对导致数据集内的离群值精准判断并妥善处理。
发明内容
为了解决现有技术中存在的问题，本发明提供一种时序数据异常检测的去噪方法，使异常样本的更高重建误差，允许更精确地定义异常样本，摆脱离群值带来的负面影响。
为了实现上述目的，本发明采用的技术方案是：一种时序数据异常检测的去噪方法，采用去噪模型对采集的时序数据进行检测，得到去除离群值的时序数据；
所述去噪模型包括自动编码器和解码器，自动编码器包括两个循环神经网络层，每个循环神经网络层之后都添加一个概率为p的dropout层，每个循环神经网络层有多个节点；在每个dropout层生成一个随机数r；在网络训练期间，如果当前dropout层的随机数r小于概率p，则此循环神经网络层的输出设为0，反之则不进行变化；
编码器用于通过循环神经网络层将长度为L的输入时序数据编码为若干组向量表示；解码器用于通过循环神经网络层和输出转换层将所述若干组向量表示解码为长度为L’的输出时序数据并输出，所述输出时序数据为去除离群值的时序数据。
具体包括以下步骤：
采集的时序数据从自动编码器输入，自动编码器生成输入时序数据的固定长度的向量表示；自动编码器的最终隐藏层的最终状态输出数据的潜在表示用作解码器的初始状态；
解码器基于所述固定长度的向量表示，利用当前的隐藏状态和上一个时间步长上的估计值重建时间序列，将解码器第一隐藏层输出输入到下一隐藏层，直到最后一层，输出去除离群值的时序数据。
自动编码器生成输入时序数据的固定长度的向量表示时，对将长度为L的时间序列信号进行重构，计算每个节点的重构误差，通过指定重构误差阈值，如果重构误差超过所述指定阈值，则标记异常值。
采用历史时序数据训练去噪模型的模型参数，训练过程中自动调整模型参数，所述参数包括节点数u、网络深度以及超参数，将训练所得模型参数作为检测时所用。
自动编码器训练时最小化重建损失：
Figure BDA0003951105160000031
Figure BDA0003951105160000032
为此时刻输入x在监督学习情境下对应的真实值，
Figure BDA0003951105160000033
为此时刻输入x在监督学习情境下对应的预测值。
随机数r采用蒙特卡洛或随机数生成函数生成。
dropout层中使用标准dropout、DropConnect和Standout方法中的一种或两种结合。
所述循环神经网络为GRU、BiLSTM或LSTM网络结构。
另外，本发明还提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现所述时序数据异常检测的去噪方法。
同时可以提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现所述的时序数据异常检测的去噪方法。
与现有技术相比，本发明至少具有以下有益效果：
模型将能够有效地重建正常样本，同时努力重建异常样本，使异常样本的更高重建误差，允许更精确地定义异常样本，摆脱离群值带来的负面影响；每个LSTM层之后都添加一个dropout层，以切断两层之间的协同适应关系，使不稳定性质存在于所有特定隐藏单元中，进而防止循环神经网络层过拟合现象的产生，同时提升神经网络的整体性能；通过应用针对时序数据异常值鲁棒的优化算法，提升数据集内的离群值精准判断，对于光伏故障诊断领域广泛存在的时序数据提供具有更强泛用性的神经网络处理方案。
附图说明
图1为本发明所述神经网络示意图。
具体实施方式
针对离群值进行的异常检测应用广泛，包括传感器网络故障检测、网络入侵检测等各行业各方面。在光伏场景产出的时间序列数据中，一个离群值或异常值是一个明显偏离数据的总体趋势、季节性或周期性模式的数据点。识别时间序列数据中的离群值尤其具有挑战性，这样的离群值定义不精确，经常缺少标签，且此类数据中存在的复杂时间相关性对网络的所需数据数量质量、数据处理能力、运算速度、处理时序数据的能力和算法经济性等各方面都提出了极高的要求。
本发明使用基于LSTM的自动编码器-解码器对光伏场景产出的时序数据进行处理，采用包含异常检测和处理的去噪模型对光伏电站的故障诊断提供支持。本发明提出的去噪模型在训练过程中随机地将模型暴露于极端情况，即上层LSTM层输出为0，允许其更准确地概括正常样本，而不受异常样本的显著影响，从而其权重在异常样本存在时不会显著变化。在训练之后，模型将能够有效地重建正常样本，同时努力重建异常样本，使异常样本的更高重建误差(等式2)，从而允许更精确地定义异常样本，摆脱离群值带来的负面影响。
LSTM：长短期记忆网络(Long Short-Term Memory)是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题设计而来，一般用于解决时间序列数据的学习问题。离群值：又称异常值，是一个与其他数据有显著不同的数据点。瓶颈层：神经网络层的一种，通过改变网络维度，提升网络灵活度，并且减小计算量。Dropout策略：一种减少神经网络过拟合的策略，当使用dropout时，神经网络将删除包括隐藏和可见在内的一些单元。
本发明所述神经网络为一个具有两个LSTM层的LSTM自动编码器，在每个LSTM层之后都添加了一个dropout层，每个LSTM层有u个节点，后面是一个概率为p的dropout层。
自动编码器是一种生成式无监督深度学习模型，利用具有狭窄瓶颈层的神经网络重构高维输入数据，进而使该神经网络学习到编码器和解码器之间的数据的潜在表示；自动编码器训练过程包括尝试最小化重建损失，重建损失可以看作对离群值的处理情况，而重建损失的大小则可等同于检测离群的情况。
在训练过程中，数据从自动编码器输入，自动编码器生成输入时序数据的固定长度的向量表示。然后，LSTM解码器使用此向量表示，利用当前的隐藏状态(hidden state)和上一个时间步长上的估计值重建时间序列。设输入进神经网络的时间序列长度为L，
Figure BDA0003951105160000051
其中
Figure BDA0003951105160000052
属于n维向量空间，
Figure BDA0003951105160000053
是编码器的第k层在时间t∈{1,……,L}的隐藏状态，其中k∈{1,……,H}；H表示每个编码器和解码器中的隐藏层数，
Figure BDA0003951105160000054
u是编码器隐藏层k中的LSTM单位数。编码器的最终隐藏层
Figure BDA0003951105160000061
的最终状态输出数据的潜在表示将用作解码器的初始状态。
解码器使用输入x(i)重构原始输入以获得隐藏状态
Figure BDA0003951105160000062
然后进行第一层的所有隐藏状态的计算，然后将解码器第一隐藏层输出
Figure BDA0003951105160000063
输入到下一隐藏层，直到最后一层，当解码器利用
Figure BDA0003951105160000064
导出最终的隐藏状态
Figure BDA0003951105160000065
然后估计与xi-1对应的x′i-1；自动编码器的目的是最小化以下内容：
Figure BDA0003951105160000066
xi为此时刻输入x在监督学习情境下对应的真实值，x′i为此时刻输入x在监督学习情境下对应的预测值，
Figure BDA0003951105160000067
为解码器在第H-1隐藏层时间i时的输出。
在训练自动编码器后，将长度为L的时间序列信号I＝{x1,x2,……,xN}传递给解码器以重构向量表示，然后使用方程xi∈Xi计算每个节点的重构误差，Xi∈I可以用作异常分数，并且指定重建误差阈值，如果重建误差，如式(2)，超过值指定阈值，则可以标记异常值。
Figure BDA0003951105160000068
其中，
Figure BDA0003951105160000069
是重建误差，
Figure BDA00039511051600000610
为此时刻输入x在监督学习情境下对应的真实值，
Figure BDA00039511051600000611
为此时刻输入x在监督学习情境下对应的预测值。
综上所述，本发明在LSTM自动编码器中的每个LSTM层之后都添加一个dropout层，以切断两层之间的协同适应关系，使不稳定性质存在于所有特定隐藏单元中，进而防止LSTM网络过拟合现象的产生，同时提升神经网络的整体性能，编码器将会选择一个合适的概率p，并在每个dropout层生成一个随机数r；在网络训练期间，如果当前dropout层的随机数r小于概率p，则此LSTM层的输出被设为0，反之则不进行变化，如式3所示。
Figure BDA0003951105160000071
对于随机数r的取值，本发明使用蒙特卡洛算法，进行伪随机模拟数生成。对于概率p的取值，本发明可以做到训练过程中对此数值的自动调参，最终选出最优概率p输出针对当前光伏场景的最优解。
网络架构为图1所示，本发明所述神经网络包括一个具有两个LSTM层的LSTM自动编码器，每个LSTM层有u个单位，LSTM层后面是一个概率为p的dropout层。
本发明所述dropout方法可以只使用一种dropout方法类型，或用其他的组合方式，其他的dropout方法类型可以是标准dropout、DropConnect或Standout。
另外，本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述时序数据异常检测的去噪方法。
另一方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的时序数据异常检测的去噪方法。
所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。
处理器可以是中央处理器(CPU)、图形处理器(GPU)/数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。
对于本发明所述存储器，可以是笔记本电脑、桌面型计算机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。
计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。

Claims (10)

1.一种时序数据异常检测的去噪方法，其特征在于，采用去噪模型对采集的时序数据进行检测，得到去除离群值的时序数据；
所述去噪模型包括自动编码器和解码器，自动编码器包括两个循环神经网络层，每个循环神经网络层之后都添加一个概率为p的dropout层，每个循环神经网络层有多个节点；在每个dropout层生成一个随机数r；在网络训练期间，如果当前dropout层的随机数r小于概率p，则此循环神经网络层的输出设为0，反之则不进行变化；
编码器用于通过循环神经网络层将长度为L的输入时序数据编码为若干组向量表示；解码器用于通过循环神经网络层和输出转换层将所述若干组向量表示解码为长度为L’的输出时序数据并输出，所述输出时序数据为去除离群值的时序数据。
2.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，具体包括以下步骤：
采集的时序数据从自动编码器输入，自动编码器生成输入时序数据的固定长度的向量表示；自动编码器的最终隐藏层的最终状态输出数据的潜在表示用作解码器的初始状态；
解码器基于所述固定长度的向量表示，利用当前的隐藏状态和上一个时间步长上的估计值重建时间序列，将解码器第一隐藏层输出输入到下一隐藏层，直到最后一层，输出去除离群值的时序数据。
3.根据权利要求2所述的时序数据异常检测的去噪方法，其特征在于，自动编码器生成输入时序数据的固定长度的向量表示时，对将长度为L的时间序列信号进行重构，计算每个节点的重构误差，通过指定重构误差阈值，如果重构误差超过所述指定阈值，则标记异常值。
4.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，采用历史时序数据训练去噪模型的模型参数，训练过程中自动调整模型参数，所述参数包括节点数u、网络深度以及超参数，将训练所得模型参数作为检测时所用。
5.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，自动编码器训练时最小化重建损失：
Figure FDA0003951105150000021
Figure FDA0003951105150000022
为此时刻输入x在监督学习情境下对应的真实值，
Figure FDA0003951105150000023
为此时刻输入x在监督学习情境下对应的预测值。
6.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，随机数r采用蒙特卡洛或随机数生成函数生成。
7.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，dropout层中使用标准dropout、DropConnect和Standout方法中的一种或两种结合。
8.根据权利要求1所述的时序数据异常检测的去噪方法，其特征在于，所述循环神经网络为GRU、BiLSTM或LSTM网络结构。
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1至7中任一项所述时序数据异常检测的去噪方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1至7中任一项所述的时序数据异常检测的去噪方法。
CN202211449720.7A 2022-11-18 2022-11-18 一种时序数据异常检测的去噪方法及系统 Pending CN115905823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211449720.7A CN115905823A (zh) 2022-11-18 2022-11-18 一种时序数据异常检测的去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211449720.7A CN115905823A (zh) 2022-11-18 2022-11-18 一种时序数据异常检测的去噪方法及系统

Publications (1)

Publication Number Publication Date
CN115905823A true CN115905823A (zh) 2023-04-04

Family

ID=86495841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211449720.7A Pending CN115905823A (zh) 2022-11-18 2022-11-18 一种时序数据异常检测的去噪方法及系统

Country Status (1)

Country Link
CN (1) CN115905823A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776228A (zh) * 2023-08-17 2023-09-19 合肥工业大学 一种电网时序数据解耦自监督预训练方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776228A (zh) * 2023-08-17 2023-09-19 合肥工业大学 一种电网时序数据解耦自监督预训练方法与系统
CN116776228B (zh) * 2023-08-17 2023-10-20 合肥工业大学 一种电网时序数据解耦自监督预训练方法与系统

Similar Documents

Publication Publication Date Title
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN112101554A (zh) 异常检测方法及装置、设备、计算机可读存储介质
CN115905823A (zh) 一种时序数据异常检测的去噪方法及系统
Shaheryar et al. A denoising based autoassociative model for robust sensor monitoring in nuclear power plants
CN112734106A (zh) 用于预测能源负荷的方法及装置
CN113807396A (zh) 一种物联网高维数据异常检测方法、系统、装置及介质
CN115700494A (zh) 一种基于贝叶斯推理的轨道交通监测数据清洗方法及系统
Wang et al. Reliable label correction is a good booster when learning with extremely noisy labels
Yao et al. Continual recognition with adaptive memory update
CN117150402A (zh) 基于生成式对抗网络的电力数据异常检测方法及模型
Maru et al. Collective anomaly detection for multivariate data using generative adversarial networks
Huan et al. River dissolved oxygen prediction based on random forest and LSTM
CN114712643A (zh) 基于图神经网络的机械通气人机异步检测方法、装置
Bowie et al. Improving quality of observational streaming medical data by using long short-term memory networks (LSTMs)
Kang et al. Transformer-based multivariate time series anomaly detection using inter-variable attention mechanism
Li et al. Characterizing the Impacts of Semi-supervised Learning for Weak Supervision
CN113782187A (zh) 指标数据处理方法、相关设备及介质
Park et al. TCAE: temporal convolutional autoencoders for time series anomaly detection
Lim et al. Analyzing deep neural networks with noisy labels
CN115146689A (zh) 一种基于深度学习的动力系统高维测量数据降维方法
KR102514652B1 (ko) 뉴로모픽 소자를 위한 가중치 전사 장치 및 이를 이용한 가중치 전사 방법
Vaseqi et al. Label noise resiliency with self-supervised representations
Turck et al. Bayesian In-Memory Computing with Resistive Memories
KR102383411B1 (ko) 동적 분별 신호 학습을 통한 산업로봇의 적응적 예지보전 장치 및 방법
CN114925808B (zh) 一种基于云网端资源中不完整时间序列的异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230627

Address after: 102209 building a, Huaneng talent innovation and entrepreneurship base, Beiqijia future science and Technology City, Changping District, Beijing

Applicant after: HUANENG CLEAN ENERGY Research Institute

Applicant after: HUANENG GROUP TECHNOLOGY INNOVATION CENTER Co.,Ltd.

Address before: 102209 building a, Huaneng talent innovation and entrepreneurship base, Beiqijia future science and Technology City, Changping District, Beijing

Applicant before: HUANENG CLEAN ENERGY Research Institute