CN112989710B - 工控传感器数值异常检测方法及装置 - Google Patents

工控传感器数值异常检测方法及装置 Download PDF

Info

Publication number
CN112989710B
CN112989710B CN202110434598.5A CN202110434598A CN112989710B CN 112989710 B CN112989710 B CN 112989710B CN 202110434598 A CN202110434598 A CN 202110434598A CN 112989710 B CN112989710 B CN 112989710B
Authority
CN
China
Prior art keywords
sample
layer
error
test sample
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110434598.5A
Other languages
English (en)
Other versions
CN112989710A (zh
Inventor
唐玉维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Liandian Energy Development Co ltd
Original Assignee
Suzhou Liandian Energy Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Liandian Energy Development Co ltd filed Critical Suzhou Liandian Energy Development Co ltd
Priority to CN202110434598.5A priority Critical patent/CN112989710B/zh
Publication of CN112989710A publication Critical patent/CN112989710A/zh
Application granted granted Critical
Publication of CN112989710B publication Critical patent/CN112989710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请涉及一种工控传感器数值异常检测方法及装置,属于计算机技术领域,该方法包括:获取测试数据;对测试数据进行K级离散小波变换,得到多尺度时间序列;对多尺度时间序列进行切分处理得到测试样本;将测试样本输入预先训练的WAGAN模型中,得到异常检测结果;WAGAN包括生成器和判别器;生成器用于根据测试样本生成重构样本,并计算重构样本和测试样本间的误差,得到重构误差;判别器用于根据测试样本得到判别器误差;异常检测结果基于重构误差和判别器误差确定;采用多级离散小波变换分解重组的方式去除噪声并增强数据特征,结合重构误差和判别器误差判断测试样本是否异常,可以实现数值异常的检测。

Description

工控传感器数值异常检测方法及装置
【技术领域】
本申请涉及一种工控传感器数值异常检测方法及装置,属于计算机技术领域。
【背景技术】
在真实的工业生产中,ICS(工业生产中的控制系统,Industrial controlsystem)根据工业生产的实际流程设计HMI(人机界面(Human Machine Interaction,简称HMI))可视化界面,HMI通过SCADA系统(Supervisory Control And Data Acquisition系统,即数据采集与监视控制系统)实时与PLC通信(可编程逻辑控制器,Programmable LogicController)并将通信流量中的数据信息显示在HMI界面上,生产者可以通过HMI实时了解工业生产的实际情况。但是随着攻击的不断升级,攻击者为了隐藏攻击活动,会通过恶意软件劫持HMI和PLC间通信的流量包,阻止从PLC端发出的真实数据包,并将更改后的数据包发送到HMI端。
现有的攻击方式包括针对ICS的渗透攻击,它们在获取PLC的控制权后,会捕获PLC正常工作时的出站值并重播以掩盖对受控进程发起攻击时产生的异常,这使得生产者无法通过HMI来了解ICS真实的生产情况。
但是,针对PLC已经被攻击者入侵控制的问题,现有方法难以有效检测。
【发明内容】
本申请提供了一种工控传感器数值异常检测方法及装置,可以解决PLC已经被攻击者入侵控制时,无法检测数值异常的问题。本申请提供如下技术方案:
第一方面,提供一种工控传感器数值异常检测方法,所述方法包括:
获取工控传感器采集到的测试数据;
对所述测试数据进行K级离散小波变换,得到多尺度时间序列;所述K为正整数;
对所述多尺度时间序列进行切分处理,得到测试样本;
将所述测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,所述WAGAN包括生成器和判别器;
所述生成器用于根据所述测试样本生成重构样本,并计算所述重构样本和所述测试样本间的误差,得到重构误差;
所述判别器用于根据所述测试样本得到判别器误差;
所述异常检测结果基于所述重构误差和所述判别器误差确定。
可选地,所述根据所述测试样本生成重构样本,包括:
确定最接近所述测试样本的目标随机噪声;
生成所述目标随机噪声的重构样本。
可选地,所述确定最接近所述测试样本的目标随机噪声,包括:
生成初始随机噪声的初始重构样本;
最小化所述初始重构样本与所述测试样本之间的差值,得到所述目标随机噪声。
可选地,所述计算所述重构样本和所述测试样本间的误差,得到重构误差,通过下式表示:
其中, 表示测试样本Xtest中第i个样本,i∈[1,M],M为测试样本中的样本总数;/>是测试样本/>中时间为j的序列,j∈[1,w],w为切分处理时使用的滑动窗口的尺寸,Zi′表示与/>最接近的噪声,z′i,j为Zi′中时间为j的序列;/>为样本的重构误差。
可选地,所述根据所述测试样本得到判别器误差,通过下式表示:
其中,yi,j为所述测试样本的标签,为判别器D中sigmoid函数输出值,取值范围为[0,1]。
可选地,所述异常检测结果通过下式计算:
其中,λ为误差权重,w为切分处理时使用的滑动窗口的尺寸,ws表示向前第ws个样本,表示第i个测试样本的异常分数,τ为异常阈值。
可选地,所述生成器和所述判别器引入注意力机制,所述注意力机制的输入包括上下文内容和时间序列中每一个时刻的隐藏单元,输出为权值和。
可选地,所述生成器从前至后依次包括输入层、第一循环神经网络LSTM层、注意力机制层、第二LSTM层、tanh函数层和输出层;
所述判别器从前之后依次包括输出层、第三LSTM层、注意力机制层、第四LSTM层、sigmoid函数层和输出层。
可选地,所述WAGAN模型的训练过程包括:
获取真实样本,所述真实样本为对所述工控传感器采集到的正常数据进行经过K级离散小波变换和切分处理后得到的;
将生成随机噪声输入生成器中,得到生成样本;
将所述真实样本和所述生成样本输入判别器,得到样本输出结果;
根据所述样本输出结果更新所述生成器和所述判别器的参数,得到训练后的WAGAN模型。
第二方面,提供一种工控传感器数值异常检测装置,所述装置包括:
数据获取模块,用于获取工控传感器采集到的测试数据;
小波变换模块,用于对所述测试数据进行K级离散小波变换,得到多尺度时间序列;所述K为正整数;
数据切分模块,用于对所述多尺度时间序列进行切分处理,得到测试样本;
异常检测模块,用于将所述测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,所述WAGAN包括生成器和判别器;
所述生成器用于根据所述测试样本生成重构样本,并计算所述重构样本和所述测试样本间的误差,得到重构误差;
所述判别器用于根据所述测试样本得到判别器误差;
所述异常检测结果基于所述重构误差和所述判别器误差确定。
本申请的有益效果在于:通过获取工控传感器采集到的测试数据;对测试数据进行K级离散小波变换,得到多尺度时间序列;对多尺度时间序列进行切分处理,得到测试样本;将测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,WAGAN包括生成器和判别器;生成器用于根据测试样本生成重构样本,并计算重构样本和测试样本间的误差,得到重构误差;判别器用于根据测试样本得到判别器误差;异常检测结果基于重构误差和判别器误差确定;可以解决PLC已经被攻击者入侵控制时,无法检测数值异常的问题;根据生成器数值可能出现波动采用多级离散小波变换分解重组的方式去除噪声并增强数据特征,同时,生成器根据测试样本寻找与其最接近的随机噪声并得到重构误差,判别器根据测试样本得到判别器误差,结合重构误差和判别器误差判断测试样本是否异常,,可以实现数值异常的检测。
另外,使用注意力机制来提取有效特征,可以提高异常检测的准确性。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的工控传感器数值异常检测方法的流程图;
图2是本申请一个实施例提供的数值变化的示意图;
图3是本申请一个实施例提供的小波变换的示意图;
图4是本申请另一个实施例提供的小波变换的示意图;
图5是本申请一个实施例提供的WAGAN的训练过程和检测过程的示意图;
图6是本申请一个实施例提供的注意力机制的计算过程的示意图;
图7是本申请一个实施例提供的生成器的网络结构示意图;
图8是本申请一个实施例提供的判别器的网络结构示意图;
图9是本申请一个实施例提供的工控传感器数值异常检测装置的框图。
【具体实施方式】
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
本申请提供的工控传感器数值异常检测方法,绕过PLC与HMI通信的方式采集传感器数值信息,直接让传感器定时上传数据到服务器,通过对ICS正常运行下服务器采集的传感器数据进行建模来检测异常行为。
在ICS入侵检测中使用的异常检测方法可以大致分为有监督学习,无监督学习和半监督学习方法。有监督学习的方法包括支持向量机,随机森林和人工神经网络等,此类方法需要事先标记正常行为的样本和恶意行为的样本。在实践中很难获得准确且具有代表性的标记数据,并且该数据高度依赖于特定系统,使用该数据训练出的模型在异常检测方面普适性较差。无监督学习的方法是从未标记的真实数据中学习检测模型,比如:基于一类SVM和K-means聚类的方法进行无监督的入侵检测,但是无监督学习方法没有充分利用数据的空间-时间相关性以及检测异常系统中多个传感器变量之间的其他依赖性,其针对语义攻击的检测能力较弱。半监督学习方法是使用一组部分标记的数据(例如无异常的干净数据)进行训练,在ICS入侵检测中这些数据代表不包含任何攻击的系统正常行为。与无监督学习方法相比,半监督学习方法能有效学习ICS系统正常运行时数据的特征,此方法具有更低的假阳性率。
目前,大多数现有方法是将传感器当前状态和模型预测的正常范围做简单比较来进行异常检测,但是由于现在工业生产工艺越来越复杂,生产过程会涉及非常多的传感器且传感器的变化也呈现多样性,传统的基于阈值的异常检测方法无法有效检测异常。为了充分挖掘传感器之间的依赖关系来提高检测准确率,可以基于GAN的多元时间序列异常检测方法,此方法使用LSTM作为基础网络来构建GAN模型,将时间序列按多尺度进行划分来挖掘数据的潜在关联,模型训练完成以后通过利用GAN训练的生成器和鉴别器,以真实数据和生成数据的重建和误差损失来检测异常。
为了进一步提高模型准确率,本申请提出一个基于小波变换和注意力机制的生成对抗网络模型,首先使用离散小波变换来生成多个层次的传感器数值,增强了数据特征。同时小波变换能有效降低数据的波动性,防止数值波动带来的结果误判。然后通过注意力机制和LSTM网络学习小波变换后的多层次传感器数值中的关联特征,最后通过训练后的生成对抗网络来识别异常流量。
下面对本申请提供的工控传感器数值异常检测方法进行详细介绍。
可选地,本申请以各个实施例的执行主体为具有计算能力的电子设备为例进行说明,该电子设备可以为终端或服务器,该终端可以为计算机、笔记本电脑、平板电脑等,本实施例不对终端的类型和电子设备的类型作限定。
图1是本申请一个实施例提供的工控传感器数值异常检测方法的流程图。该方法至少包括以下几个步骤:
步骤101,获取工控传感器采集到的测试数据。
工控传感器是指安装在工业控制系统中的传感器,该测试数据是工控传感器在实际运行时采集到的数据,该测试数据包括正常数据和/或异常数据。
步骤102,对测试数据进行K级离散小波变换,得到多尺度时间序列。其中,K为正整数。
ICS依据工业传感器实时掌控工业生产流程,但是传感器的数值变化并不是线性的,存在一定的波动性和噪声。比如:在图2中示出了400个传感器数值样本的图,其中分界线前200个样本代表正常数值,后200个样本代表异常数值。在图2(a)中,根据分界线可以看到正常样本和异常样本中都存在到波动点。传统的机器学习分类方法仅根据当前时刻的状态做出决策,因此很有可能将正常样本中的波动点A判断为异常,异常样本中的波动点B判断为正常。但是如果检测异常时将波动点周围更多样本信息考虑进去,则可以发现波动点A周围的样本都是正常的,其实波动点A只是传感器的一个噪声点,属于正常样本。同理可知,波动点B是异常样本中的噪声,虽然从传感器数值上看是正常的,但依旧属于攻击行为。针对这种因传感器数值波动而使得模型检测准确率降低的情况,本申请引入离散小波变换来去除数值波动噪声和提取数据高维特征。
离散小波变换基本原理是选取一个基础的小波,通过对基波进行平移伸缩来拟合原始的离散数据。经过一级离散小波变换可以将原始序列Xn={x1,x2,…,xn}分解为近似部分A1和细节部分D1,其中近似部分即低频信息,表示原始数据的主要信息特征,细节部分即高频信息,表示原始数据的一些噪声信息或者特殊特征。
离散小波变换能不同尺度上对原始数据信号进行分解,分解的尺度可以根据不同的目标来确定。通过将原始信号与低通滤波器Hn卷积获得近似系数,而细节系数由高通滤波器Gn获得,这些系数都要通过降采样滤波器。
图3是离散小波变换的具体分解过程,一级变换就是将Xn分解为A1和D1,二级变换则是将A1再次分解为A2和D2,依次类推最多可以分解log2n层,其中n为序列Xn的长度。
不同级别离散小波变换生成的低频信息和高频信息,从多维度提供原始信号的特征信息,其中较高级别的低频信息能反映原始信号全局变化趋势。对于不同尺度级别的离散小波变换进行重构即进行逆离散小波变换,可以提取原始信号的多尺度特征。如图4所示,原始信号经过离散小波变换后会生成低频信息和高频信息,将高频信息经过阈值量化处理,再使用重构滤波器将处理后的高频信息和低频信息进行卷积,从而得到重构信号,重构信号可以让数据特征更加明显。比如:图2(b)中是经过一级离散小波变换再重构后的传感器时间序列图,从图中可以明显看到噪声点被去除,正常样本和异常样本被水平分界线清晰区分开。图2(c)是经过二级离散小波变换再重构后的传感器时间序列图,从图中可以看待原本在分界线处有较多重合的正负样本被进一步区分,多级小波变换可以进一步挖掘正常样本和异常样本各自的数据特征,可以反映序列的整体趋势。
数现有的异常检测方法仅根据当前数据来构建传统的异常检测模型,而忽略了时间序列间的前后关联。在真实的工业生产中各个生产环节前后关联,各传感器数值是反映工业生产的实际情况,因此当前传感器数值变化在时间维度上是有关联的。
本章所提的WAGAN模型不是单独处理每个数据流,而是同时考虑整个变量集,以便让模型捕获变量之间的潜在关联。对于数据进行多尺度处理的过程为:给定输入数据集其中d为xi的维度,n为序列总个数,将Xn经过K级离散小波变换分解和重构后可获得多尺度时间序列R:
其中Rk表示Xn经过第k级离散小波变换分解和重构后的值。
步骤103,对多尺度时间序列进行切分处理,得到测试样本。
具体地,将获得的多尺度序列使用长度为w的滑动窗口进行切分处理且步长为1,可以得到新的输入Xtrain其中N为Xtrain的总样本数且值为n-w+1,K为离散小波变换分解和重构等级,w为滑动窗口长度,d为序列维度。在实际实现时,滑动窗口的步长也可以为其它数值,本实施例不对步长的取值作限定。
步骤104,将测试样本输入预先训练的基于小波变换和注意力机制的GAN(WaveletAttention GAN,WAGAN)模型中,得到异常检测结果。其中,WAGAN包括生成器和判别器;生成器用于根据测试样本生成重构样本,并计算重构样本和测试样本间的误差,得到重构误差;判别器用于根据测试样本得到判别器误差;异常检测结果基于重构误差和判别器误差确定。
参考图5,WAGAN模型分为两个部分:WAGAN训练模型和WAGAN检测模型。在训练模型中,首先生成随机的噪声Z输入到生成器G中,G根据Z输出生成样本;然后从训练数据中选取真实样本(训练数据全为正常样本),将真实样本和生成样本一起输入给判别器D,D根据样本输出结果;最后根据D的输出更新D和G的参数,让G能生成以假乱真的样本,让D能准确辨别真假样本。D通过生成逼真的样本来捕获训练数据的异常特征,可以将其视为ICS正常运行下的运行规律。
具体地,训练过程包括:获取真实样本,真实样本为对工控传感器采集到的正常数据进行经过K级离散小波变换和切分处理后得到的;
将生成随机噪声输入生成器中,得到生成样本;
将真实样本和生成样本输入判别器,得到样本输出结果;
根据样本输出结果更新生成器和判别器的参数,得到训练后的WAGAN模型。
在检测模型中,检测所使用的生成器G和判别器D是训练模型训练所得。首先从测试数据中选出要测试的真实样本,并将测试样本映射到随机噪声Z所在的潜在向量空间来寻找最接近测试样本的随机噪声Z;然后将最接近测试样本的噪声Z输入到G中生成重构的测试样本,将重构样本和实际测试样本进行对比得到重构损失(Reconstruction loss);其次将测试样本输入到D中得到判别器损失(Discrimination loss);最后根据重构损失和判别器损失可以得到异常分数(Discrimination and Reconstruction Anomaly Score,DRS),根据DRS可以判断测试样本是否异常。
生成器和判别器引入注意力机制(Attention),该注意力机制的输入包括上下文内容和时间序列中每一个时刻的隐藏单元,输出为权值和。
注意力机制是指在神经网络过程中将训练的注意力从全局转移到目标关注的局部重点的一种机制,其原理就类似于人观察眼前画面的过程,人眼在观察某个画面时,人的注意力往往集中在感兴趣的区域并自动过滤掉画面中一些无关背景,从而迅速获取整个画面的有用信息。使用注意力机制帮助解码器获取所有输入状态的加权组合来进行输出。
为了进一步挖掘传感器数值的潜在特征,本文对原始的时间序列经过K级离散小波变换重构并对重构后的数据使用滑动窗口进行重新分组,让数据尺度扩大了K-1级,数据的复杂化使得模型变得难以训练。因此本申请引入注意力机制来学习多尺度重构数据每一级的特征权重,权重越大表示该特征向量对模型结果的影响力更大。根据权重确定多尺度信息的主导特征所在,充分利用主导特征的信息,抑制权重小的特征表示,从而过滤掉无用的信息、筛选出有价值的信息,使得模型有选择地学习这些输入样本。从解释性的层次来说,向量权值的获取对训练过程的可解释性有一定的提高,通过使用注意力机制能帮助模型选择出那一级或哪几级离散小波变换在WAGAN模型构建中起到决策作用。
参考图6,注意力机制输入为D和h,D指上下文内容,h指时间序列中每一个时刻的隐藏单元,a是表示经过softmax函数后的h和d的关联权重,c指用来做为下文LSTM网络输入的权值和。具体计算过程如下:
ut=tanh(W1D+W2ht);
at=softmax(ut);
c=∑tatht
参考图7,生成器从前至后依次包括输入层、第一循环神经网络LSTM层、注意力机制层、第二LSTM层、tanh函数层和输出层。
在WAGAN模型中,生成器的作用是模仿真实样本生成能欺骗判别器的假样本,因为在训练过程中使用的训练数据全是正常样本,使用经过训练后,生成器生成的假样本能准确包含真实样本的主要特征。生成器网络的具体结构如图7所示,包含两个LSTM层和一个Attention模块。生成器的输入为随机噪声Z,本章中随机样本Z和真实样本X维度一致且生成器是通过Z生成样本,因此按照真实样本含义来解释Z,其中K表示离散小波变换分解重构级数,w为时间步长即滑动窗口的大小,d为噪声序列维度,/>表示时间为t时第k级离散小波变换后的序列。先将随机噪声Z输入到第一个LSTM层得到隐藏单元/> 表示时间部分为t时第k级离散小波变换序列的特征;然后将隐藏单元/>输入到全连接层得到特征/>其中Wu为权重,bu为偏置;再通过/>和uw来计算每一层特征的注意力权重/>其中uw是训练过程中的一个随机向量。最后由注意力权重/>和输入的噪声序列/>得到注意力的权重和Ct其具体计算形式如下:
其中,Ct是经过注意力机制得到的参数,包含了所有时刻为t时数据的高维特征。将代表数据特征的Ct输入到下一层LSTM网络中,然后将输出送入tanh激活函数。因为生成器生成的结果需要和真实样本一致,所以在输出结果前需要将结果重构为G(z),通过不断训练生成器模型,从随机噪声Z的数据空间中学习到符合真实样本特征的生成样本。生成器的损失函数为交叉熵函数,具体公式如下,其中y为判别器判别结果:
L(G)=-[ylnG(z)+(1-y)ln(1-G(z))]。
参考图8,判别器从前之后依次包括输出层、第三LSTM层、注意力机制层、第四LSTM层、sigmoid函数层和输出层。
判别器D的作用是判断输入的样本是真实样本还是生成的假样本,输出的结果为0-1序列,“0”代表真实样本,“1”代表生成的假样本,然后根据输出的结果更新生成器和判别器。判别器的网络结构如图4-5所示,和生成器的结构类似,包括两层LSTM网络和一个Attention模块。判别器的输入为假样本G(z)或真样本x,x∈Xtrain,G(z)和x结构一致,G(z),判别器结果在输出前需要经过sigmoid激活函数将数值压缩到0和1之间,越接近“0”则越可能为真实样本,越接近“1”则越可能为生成样本。判别器D的损失函数和生成器一样都是交叉熵函数。
在训练过程中使用的训练数据集Xtrain均为不包含攻击行为正常样本,而测试所用的时间序列数据包含了攻击行为。将测试数据经过4.2章节中的数据预处理可以得到测试数据集Xtest∈RM×K×w×d,其中M为预处理后的测试数据集的样本数。WAGAN模型的检测流程如图5右侧部分所示,通过左侧的训练模型获得训练完成的生成器G和判别器D。基于GAN的异常检测大多是使用训练好的判别器来识别异常数据和正常数据,但是本申请采用生成器和判别器结合的方式来检测异常。生成器根据输入的测试样本生成重构样本,并计算重构样本和测试样本间的误差可以得到重构误差;判别器根据输入的测试样本可以得到判别器误差;根据两个误差相加之和是否大于阈值可以判断测试样本是否为异常,下面介绍具体检测流程。
根据测试样本生成重构样本,包括:确定最接近测试样本的目标随机噪声;生成目标随机噪声的重构样本。
在一个示例中,确定最接近测试样本的目标随机噪声,包括:生成初始随机噪声的初始重构样本;最小化初始重构样本与测试样本之间的差值,得到目标随机噪声。
生成器经过训练以后能够将随机噪声Z转换成真实样本:G(z):z→x。生成器在训练时所使用的训练数据全是正常样本,可以认为生成器G可以学习到正常状态下工控系统传感器数值的分布,而Z则是这些数值变化的向量空间。因此对于测试数据Xtest可以找到和它最接近的正常样本Z′,通过比较Xtest和Z′得到重构误差。如果测试样本Xtest是异常样本,由于训练过程中没有出现,所以重构误差会很大。为得到最优最接近测试样本的Z′,本文先生成一个随机噪声Z,通过计算G(Z)和测试样本Xtest的相似性,然后利用梯度下降来更新噪声Z,计算公式如下:
mZinfError(Xtest,G(Z))=1-fSimilar(Xtest,G(Z))
寻找最优最接近测试样本Z′的过程就是最小化Xtest和G(Z)的差值即求生成的样本中最接近Xtest的随机噪声。找到Z′后,可以通过比较G(Z′)和Xtest的差异来求重构误差。计算重构样本和测试样本间的误差,得到重构误差,通过下式表示:
其中, 表示测试样本Xtest中第i个样本,i∈[1,M],M为测试样本中的样本总数;/>是测试样本/>中时间为j的序列,j∈[1,w],w为切分处理时使用的滑动窗口的尺寸,Zi′表示与/>最接近的噪声,zi,j为Zi′中时间为j的序列;/>为样本的重构误差。
训练模型中所用的训练数据全是ICS正常运行下捕获的正常数据,因此通过训练模型获得的判别器D能学习到正常样本的特征来准确地识别出正常的真实样本。测试样本都是真实样本,对于判别器D而言标签都为“1”,当测试样本为异常样本时,由于异常样本不符合正常样本的特征,判别器D误差会将异常样本识别为假样本,判别结果经过sigmoid激活函数输出接近“0”,这使得判别器误差会很大,通过这种方式可以识别异常样本。具体地,根据测试样本得到判别器误差,通过下式表示:
其中,yi,j为测试样本的标签,为判别器D中sigmoid函数输出值,取值范围为[0,1],值越接近“0”则判断为假样本的可能性越大,值越接近“1”则判断为真样本的可能性越大。
由于测试样本全为真实样本所以标签全为“1”,上式可简化为下面公式:
检测异常时,根据重构误差和判别器误差来共同计算异常损失,通过参数λ来调节两部分误差权重。具体地,异常检测结果通过下式计算:
其中,λ为误差权重,w为切分处理时使用的滑动窗口的尺寸,ws表示向前第ws个样本,表示第i个测试样本的异常分数,τ为异常阈值。
WAGAN模型训练和检测时使用滑动窗口w将时间序列进行分组,可以充分挖掘时间序列前后关联。为了减小检测,误差检测时需要将前w个检测结果取平均值来确定最后检测结果,ws表示向前第ws个样本,表示第i个测试样本的异常分数。当i的值小于窗口w时,只统计前i个测试样本的平均值。
根据上式可知,若的值大于异常阈值τ则输出为异常,输出标签为“1”;若/>的值小于等于异常阈值τ则输出为正常,输出标签为“0”。
综上所述,本实施例提供的工控传感器数值异常检测方法,通过获取工控传感器采集到的测试数据;对测试数据进行K级离散小波变换,得到多尺度时间序列;对多尺度时间序列进行切分处理,得到测试样本;将测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,WAGAN包括生成器和判别器;生成器用于根据测试样本生成重构样本,并计算重构样本和测试样本间的误差,得到重构误差;判别器用于根据测试样本得到判别器误差;异常检测结果基于重构误差和判别器误差确定;可以解决PLC已经被攻击者入侵控制时,无法检测数值异常的问题;根据生成器数值可能出现波动采用多级离散小波变换分解重组的方式去除噪声并增强数据特征,同时,生成器根据测试样本寻找与其最接近的随机噪声并得到重构误差,判别器根据测试样本得到判别器误差,WAGAN模型将两者的权重和与阈值比较判断测试样本是否异常,可以实现数值异常的检测。
另外,使用注意力机制来提取有效特征,可以提高异常检测的准确性。
下面对本申请提供的工控传感器数值异常检测方法举一个实例进行说明。比如:工控系统为安全水处理平台(Secure Water Treatment,SWaT)所捕获的传感器数据集。SWaT是一个按照真实的水处理厂缩小的仿真平台,每分钟可产生5加仑的干净水资源。该仿真平台水处理过程主要分为六个步骤:(1)吸收需要处理的污水并将其存储在水箱中;(2)将污水进行预处理并评估水质,如果水质不在可接受的范围内,则执行化学处理;(3)使用滤膜去除水中的杂质;(4)使用紫外线灯在脱氯过程中去除化学反应产生的氯化胆碱;(5)将上面处理后的水使用水泵输送到反渗透系统中以减少无机杂质;(6)最后将处理后的水存储起来,以便在水分配系统中进行分配。
SWaT仿真平台是由HMI、PLC、SCADA系统、现场设备以及实时数据库组成。现场设备中包含51个传感器可以实时检测和控制设备运行情况,污水处理的六个过程分别由六个PLC设备控制,SCADA系统将传感器的状态通过PLC和HMI通信实时反馈在HMI界面上。传感器可以通过无线网络每隔一秒将传感器的数值上传到实时数据库中,传感器数值包括水位高度等浮点数值和代表阀门开关状态等整数。
SWaT数据集在十一天内共采集了946722个样本,包含51个传感器数值,其中前七天是SWaT仿真平台正常运行状态下采集的传感器数值信息,后四天是对SWaT平台进行多种类型攻击后采集的传感器信息。针对SWaT平台的攻击共有36种,包含传统的常规攻击,如侦查攻击;也包含语义攻击,通过劫持PLC的方式来修改传感器数值,或者打开传感器阀门等直接影响系统运行。攻击的持续时间为几分钟到一个小时不等。为了保证数据采集的准确性,系统在正常运行的前七天内稳定运行;在进行攻击时,需要在发起另一次攻击之前或连续发起攻击之前将系统运行至正常状态。SWaT数据集中,系统正常运行下收集的样本数为496800个,攻击开始后收集的样本数为449919。由于正常运行时的系统是从启动状态开始运行,考虑到系统运行到正常状态需要一定时间,本文在训练时将前六个小时的数据即21600条样本去除。本文中正常样本标记为负样本“0”,异常样本标记为正样本“1”。
图9是本申请一个实施例提供的工控传感器数值异常检测装置的框图。该装置至少包括以下几个模块:数据获取模块910、小波变换模块920、数据切分模块930和异常检测模块940。
数据获取模块910,用于获取工控传感器采集到的测试数据;
小波变换模块920,用于对所述测试数据进行K级离散小波变换,得到多尺度时间序列;所述K为正整数;
数据切分模块930,用于对所述多尺度时间序列进行切分处理,得到测试样本;
异常检测模块940,用于将所述测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,所述WAGAN包括生成器和判别器;
所述生成器用于根据所述测试样本生成重构样本,并计算所述重构样本和所述测试样本间的误差,得到重构误差;
所述判别器用于根据所述测试样本得到判别器误差;
所述异常检测结果基于所述重构误差和所述判别器误差确定。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的工控传感器数值异常检测装置在进行工控传感器数值异常检测时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将工控传感器数值异常检测装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的工控传感器数值异常检测装置与工控传感器数值异常检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的工控传感器数值异常检测方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的工控传感器数值异常检测方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
上述仅为本申请的一个具体实施方式,其它基于本申请构思的前提下做出的任何改进都视为本申请的保护范围。

Claims (8)

1.一种工控传感器数值异常检测方法,其特征在于,所述方法包括:
获取工控传感器采集到的测试数据;
对所述测试数据进行K级离散小波变换,得到多尺度时间序列;所述K为正整数;
对所述多尺度时间序列进行切分处理,得到测试样本;
将所述测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,所述WAGAN包括生成器和判别器;
所述生成器用于根据所述测试样本生成重构样本,并计算所述重构样本和所述测试样本间的误差,得到重构误差;
所述判别器用于根据所述测试样本得到判别器误差;
所述异常检测结果基于所述重构误差和所述判别器误差确定;
所述生成器和所述判别器引入注意力机制,所述注意力机制的输入包括上下文内容和时间序列中每一个时刻的隐藏单元,输出为权值和;
所述生成器从前至后依次包括输入层、第一循环神经网络LSTM层、注意力机制层、第二LSTM层、tanh函数层和输出层;
所述判别器从前至后依次包括输入层、第三LSTM层、注意力机制层、第四LSTM层、函数层和输出层;
生成器的输入为随机噪声,/>,随机样本/>和真实样本/>维度一致且生成器是通过/>生成样本,其中/>表示离散小波变换分解重构级数,/>为时间步长即滑动窗口的大小,/>为噪声序列维度,/>表示时间为/>时第/>级离散小波变换后的序列;将随机噪声/>输入到第一个LSTM层得到隐藏单元/>,/>表示时间部分为/>时第/>级离散小波变换序列的特征;将隐藏单元/>输入到全连接层得到特征/>,其中/>为权重,/>为偏置;通过/>和/>来计算每一层特征的注意力权重/>,其中/>是训练过程中的一个随机向量;最后由注意力权重/>和输入噪声序列/>得到的/>得到注意力的权重和/>,其具体计算形式如下:
其中,/>是经过注意力机制得到的参数,包含了所有时刻为/>时数据的高维特征;将代表数据特征的/>输入到下一层LSTM网络中,然后将输出送入tanh激活函数;在输出结果前需要将结果重构为/>,;通过不断训练生成器模型,从随机噪声/>的数据空间中学习到符合真实样本特征的生成样本;生成器的损失函数为交叉熵函数,具体公式如下,其中/>为判别器判别结果:
2.根据权利要求1所述的方法,其特征在于,所述根据所述测试样本生成重构样本,包括:
确定最接近所述测试样本的目标随机噪声;
生成所述目标随机噪声的重构样本。
3.根据权利要求2所述的方法,其特征在于,所述确定最接近所述测试样本的目标随机噪声,包括:
生成初始随机噪声的初始重构样本;
最小化所述初始重构样本与所述测试样本之间的差值,得到所述目标随机噪声。
4.根据权利要求1所述的方法,其特征在于,所述计算所述重构样本和所述测试样本间的误差,得到重构误差,通过下式表示:
其中,/>,/>表示测试样本/>中第i个样本,,M为测试样本中的样本总数;/>是测试样本/>中时间为j的序列,/>,/>为切分处理时使用的滑动窗口的尺寸,/>表示与/>最接近的噪声,/>为/>中时间为j的序列;/>为样本/>的重构误差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述测试样本得到判别器误差,通过下式表示:
其中,/>为所述测试样本的标签,/>为判别器/>中/>函数输出值,取值范围为[0,1]。
6.根据权利要求1所述的方法,其特征在于,所述异常检测结果通过下式计算:
其中,/>为误差权重,/>为切分处理时使用的滑动窗口的尺寸,/>表示向前第/>个样本,/>表示第i个测试样本的异常分数,/>为异常阈值,为样本/>的重构误差,/>为样本/>的判别器误差。
7.根据权利要求1所述的方法,其特征在于,所述WAGAN模型的训练过程包括:
获取真实样本,所述真实样本为对所述工控传感器采集到的正常数据进行经过K级离散小波变换和切分处理后得到的;
将生成随机噪声输入生成器中,得到生成样本;
将所述真实样本和所述生成样本输入判别器,得到样本输出结果;
根据所述样本输出结果更新所述生成器和所述判别器的参数,得到训练后的WAGAN模型。
8. 一种工控传感器数值异常检测装置,其特征在于, 所述装置包括:
数据获取模块,用于获取工控传感器采集到的测试数据;
小波变换模块,用于对所述测试数据进行K级离散小波变换,得到多尺度时间序列;所述K为正整数;
数据切分模块,用于对所述多尺度时间序列进行切分处理,得到测试样本;
异常检测模块,用于将所述测试样本输入预先训练的WAGAN模型中,得到异常检测结果;其中,所述WAGAN包括生成器和判别器;
所述生成器用于根据所述测试样本生成重构样本,并计算所述重构样本和所述测试样本间的误差,得到重构误差;
所述判别器用于根据所述测试样本得到判别器误差;
所述异常检测结果基于所述重构误差和所述判别器误差确定;
所述生成器和所述判别器引入注意力机制,所述注意力机制的输入包括上下文内容和时间序列中每一个时刻的隐藏单元,输出为权值和;
所述生成器从前至后依次包括输入层、第一循环神经网络LSTM层、注意力机制层、第二LSTM层、tanh函数层和输出层;
所述判别器从前至后依次包括输入层、第三LSTM层、注意力机制层、第四LSTM层、函数层和输出层;
生成器的输入为随机噪声,/> ,随机样本/>和真实样本/>维度一致且生成器是通过/>生成样本,其中/>表示离散小波变换分解重构级数,/>为时间步长即滑动窗口的大小,/>为噪声序列维度,/>表示时间为/>时第/>级离散小波变换后的序列;将随机噪声/>输入到第一个LSTM层得到隐藏单元/>,/>表示时间部分为/>时第/>级离散小波变换序列的特征;将隐藏单元/>输入到全连接层得到特征/>,其中/>为权重,/>为偏置;通过和/>来计算每一层特征的注意力权重/>,其中/>是训练过程中的一个随机向量;最后由注意力权重/>和输入噪声序列/>得到的/>得到注意力的权重和/>,其具体计算形式如下:
其中,/>是经过注意力机制得到的参数,包含了所有时刻为/>时数据的高维特征;将代表数据特征的/>输入到下一层LSTM网络中,然后将输出送入tanh激活函数;在输出结果前需要将结果重构为/>,;通过不断训练生成器模型,从随机噪声/>的数据空间中学习到符合真实样本特征的生成样本;生成器的损失函数为交叉熵函数,具体公式如下,其中/>为判别器判别结果:
CN202110434598.5A 2021-04-22 2021-04-22 工控传感器数值异常检测方法及装置 Active CN112989710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434598.5A CN112989710B (zh) 2021-04-22 2021-04-22 工控传感器数值异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434598.5A CN112989710B (zh) 2021-04-22 2021-04-22 工控传感器数值异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN112989710A CN112989710A (zh) 2021-06-18
CN112989710B true CN112989710B (zh) 2024-03-01

Family

ID=76339835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434598.5A Active CN112989710B (zh) 2021-04-22 2021-04-22 工控传感器数值异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN112989710B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297804B (zh) * 2021-06-24 2022-02-25 上海交通大学 基于U-Transformer多层次特征重构的异常检测方法及系统
CN113688890A (zh) * 2021-08-13 2021-11-23 上海商汤智能科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN114113516A (zh) * 2021-10-27 2022-03-01 内蒙古工业大学 一种基于gan的水质异常数据检测方法
CN114330486A (zh) * 2021-11-18 2022-04-12 河海大学 基于改进Wasserstein GAN的电力系统不良数据辨识方法
CN114189825B (zh) * 2021-12-09 2022-10-18 苏州捷布森智能科技有限公司 基于工业互联网和智能制造的数据处理方法及系统
CN114297454B (zh) * 2021-12-30 2023-01-03 医渡云(北京)技术有限公司 特征的离散化方法、装置、电子设备及计算机可读介质
CN115293244B (zh) * 2022-07-15 2023-08-15 北京航空航天大学 一种基于信号处理及数据约简的智能电网虚假数据注入攻击检测方法
CN115267541A (zh) * 2022-07-29 2022-11-01 中国汽车工程研究院股份有限公司 一种基于对抗学习的新能源汽车电池异常检测方法
CN115409131B (zh) * 2022-10-28 2023-02-17 武汉惠强新能源材料科技有限公司 基于spc过程管控系统的生产线异常检测方法
CN116186503B (zh) * 2022-12-05 2024-07-16 广州大学 一种面向工控系统的恶意流量检测方法、装置及计算机存储介质
CN116563169B (zh) * 2023-07-07 2023-09-05 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法
CN117494030B (zh) * 2024-01-02 2024-03-19 广东力创信息技术有限公司 基于分布式光纤声波传感的异常事件识别方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110690995A (zh) * 2019-09-29 2020-01-14 南京大学 一种基于多变量时间序列预测的鲁棒性异常检测方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392312B (zh) * 2017-06-01 2020-11-24 华南理工大学 一种基于dcgan性能的动态调整方法
US20210049452A1 (en) * 2019-08-15 2021-02-18 Intuit Inc. Convolutional recurrent generative adversarial network for anomaly detection
CN111047541B (zh) * 2019-12-30 2023-06-02 北京工业大学 一种基于小波变换注意力模型的图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110690995A (zh) * 2019-09-29 2020-01-14 南京大学 一种基于多变量时间序列预测的鲁棒性异常检测方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基于生成对抗网络的系统日志级异常检测算法";夏彬;《计算机应用》;第40卷(第10期);正文1-6页 *
Dan Li."MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks".《 Artificial Neural Networks and Machine Learning-ICANN 2019:Text and Time Series》.2019,703-716页. *
O·贝恩可.《高能物理数据分析》.中国科学技术大学出版社,2019,(第2019年第1版),160-161. *
李昭昱."基于attention机制的LSTM神经网络超短期负荷预测方法".《供用电》.2019,第36卷(第1期),正文2-4页. *

Also Published As

Publication number Publication date
CN112989710A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112989710B (zh) 工控传感器数值异常检测方法及装置
CN111753985B (zh) 基于神经元覆盖率的图像深度学习模型测试方法与装置
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN111241673A (zh) 用于噪声环境工业设备的健康状态预测方法
CN109813542A (zh) 基于生成式对抗网络的空气处理机组的故障诊断方法
CN113848417A (zh) 轨道交通供电设备故障预测方法及装置
CN109656818B (zh) 一种软件密集系统故障预测方法
CN116451142A (zh) 一种基于机器学习算法的水质传感器故障检测方法
Schneider et al. Detecting anomalies within time series using local neural transformations
CN117972547B (zh) 一种风电机组关键部件的故障预警方法、装置及介质
CN115983087A (zh) 一种注意力机制与lstm结合检测时序数据异常方法及终端机
Cornelius et al. Estimating and leveraging uncertainties in deep learning for remaining useful life prediction in mechanical systems
Qi et al. Mad-sgcn: Multivariate anomaly detection with self-learning graph convolutional networks
Badawi et al. Detecting gas vapor leaks using uncalibrated sensors
CN111881159A (zh) 一种基于代价敏感极端随机森林的故障检测方法及装置
CN117792750A (zh) 一种基于生成对抗网络的信息物理系统异常检测方法
Eo et al. Deep learning framework with essential pre-processing techniques for improving mixed-gas concentration prediction
CN117056678B (zh) 一种基于小样本的机泵设备运行故障诊断方法及装置
CN116192421B (zh) 一种基于溯源图和自注意力机制的apt攻击检测方法
CN115546689A (zh) 基于无监督下帧相关性的视频时间序列的异常帧探测方法
Sarker et al. A unified plug-and-play framework for effective data denoising and robust abstention
CN114618167A (zh) 反作弊检测模型构建方法以及反作弊检测方法
CN114510715B (zh) 模型的功能安全测试方法、装置、存储介质及设备
CN118332034B (zh) 一种基于机器学习的数据挖掘模型构建方法及系统
CN117792737B (zh) 一种网络入侵检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant