CN112418255A - 基于一维卷积生成式对抗网络的无监督异常检测方案 - Google Patents
基于一维卷积生成式对抗网络的无监督异常检测方案 Download PDFInfo
- Publication number
- CN112418255A CN112418255A CN201910773582.XA CN201910773582A CN112418255A CN 112418255 A CN112418255 A CN 112418255A CN 201910773582 A CN201910773582 A CN 201910773582A CN 112418255 A CN112418255 A CN 112418255A
- Authority
- CN
- China
- Prior art keywords
- generator
- dimensional convolution
- anomaly detection
- generated
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于一维卷积生成式对抗网络的无监督异常检测方案,基于生成的GZ我们定义了一个损失函数,用于将新数据映射到潜在空间,本发明是目前的铁路物理系统中可以采集到大量的道岔数据,这些数据可用于监控系统的行为以检测基于一维卷积生成式对抗网络的无监督异常检测方案的各种异常情况。在本文中,我们在生成式对抗网络基础上提出一种用于检测道岔异常的无监督框架,然后利用产生的异常分数检测异常。结果显示一维卷积与生成式网络的结合,在道岔检测问题上表现出优于其他基线方法的性能。此实时检测系统能在第一时间发现道岔的故障,在保证铁路的安全的方面具有重要的现实意义和社会意义。
Description
技术领域
本发明涉及基于一维卷积生成式对抗网络的无监督异常检测方案检测技术领域,具体为基于一维卷积生成式对抗网络的无监督异常检测方案。
背景技术
道岔是一种使机车车辆从一股道转入另一股道的线路连接设备,也是轨道的薄弱环节之一,通常在车站、编组站大量铺设。有了道岔,可以充分发挥线路的通过能力。即使是单线铁路,铺设道岔,修筑一段大于列车长度的叉线,就可以对开列车。道岔在铁路线路上起到重要作用。在铁路高速运营的大背景下,铁路运输的安全性日趋成为焦点,道岔是轨道结构中最薄弱的部分,是影响铁路运行安全的主要因素之一。随着铁路运输的飞速发展,道岔系统的检测工作日益受到重视。道岔作为铁路线路变更的转换设备,是工务线路技术指标最繁杂、对线路条件要求最高的关键环节,其可靠性成为了影响铁路运行安全的重要因素之一。对道岔主要性能参数的检测,是保障道岔设备安全和道岔维护的关键手段。因此道岔的检测技术成为了列车安全运行的重要保证。
通过分析大量的道岔电流曲线数据,可以判断出道岔的电器特性和机械特性,能够及时发现隐患。分析得知可能存在如下问题:解锁电流大,可能是锁闭圆弧缺油、解锁时有卡阻、压力大。动作电流大,可能是转换阻力大,如滑床板脏、吊板蹭枕木等。动作小或电流不稳定,可能是摩擦带松或固定不良、启动电路中节点接触不良。锁闭电流大,可能是密贴过紧、尖轨加异物等。同时随着神经网络的迅速发展,一些新的检测方法不断涌现出来。神经网络的出现简化了许多特征提取的工作,并且具有很强的学习能力和泛化能力。提出一种改进的BP算法,组建一个并行的神经网络进行信息融合,设置双阈值方法进行故障诊断。提出一种BP神经网络的算法,通过总结典型提速道岔故障动作电流曲线,提取动作电流曲线的特征向量值来进行故障诊断。采用LSTM网络来自动提取特征,再根据特征利用网络分类器进行故障分类。以上方法虽然充分利用了神经网络的自动提取特征优点,但是这些方法都没有能够很好采集到道岔时间序列中的局部信息,而异常通常就出现在局部信息中。上述方法都采用监督学习的方法,然而在我们实际的场景中异常情况是不可控的,且异常样本的数量是极其稀少。鉴于这种情况我们使用无监督的方法来进行异常检测是非常合理且有效的。
发明内容
本发明解决的技术问题在于克服现有技术的复杂特征工程以及异常样本稀少的所引起的监督学习模型的不准确性,提供基于一维卷积生成式对抗网络的无监督异常检测方案。所述基于一维卷积生成式对抗网络的无监督异常检测方案具有采集到大量的道岔数据和便于发现道岔的故障等特点。
为实现上述目的,本发明提供如下技术方案:基于一维卷积生成式对抗网络的无监督异常检测方案,包括生成器G、残差损失模块和鉴别器损失模块,包括以下步骤:
S1:基于生成的GZ定义了一个损失函数,用于将新数据映射到潜在空间,残差损失是度量生成样本空间中原始数据Q与生成数据G(Z)之间的数值差异,定义为LR=∑|Q-G(Z)| 式(2);
S2:给定真实样本Q,目标是在潜在空间中找到与特征信息G(z)相对应的点z,该特征G(z)在数值上最近似于真实样本Q;
S3:为了找到最佳点z,从潜在空间分布z开始随机采样z1,并将其馈送到训练的生成器中以获得生成信号G(z);
S4:残差损失增强了生成的数据G(Z)和真实数据Q之间的数值相似性;
S5:通过使用训练完毕的GAN两个模块,鉴别器D和发生器G来通过反向传播调整z的值,Z的系数通过反向传播进行自适应,发生器和鉴别器的训练参数保持不变。
优选的,所述生成器G是一个标准的一维卷积网络,其中生成器G通过学习训练集M(正常样本)上数据X的分布pG,将潜在空间变量Z通过生成器映射到原本数据空间,使用维度为1*10的向量Z,前四层网络的步长为2,卷积核的大小设为1*5,卷积核的个数分别为20、40、80、160,最后一层使用1*1的卷积核,鉴别器D同样使用一维卷积网络,鉴别器的输出D(·)可以解释为训练数据X采样的真实时间序列信息或由生成器G生成的G(z)的真假概率。
优选的,所述系统是真实的道岔数据维度分布在200-3000维之间。
优选的,所述系统基于Python3.6环境设置,使用Tensorflow2.0搭建异常检测模型。
优选的,所述系统的学习率设置为1e-4,使用Adam优化器进行优化。
优选的,所述系统在特征匹配技术中,采用优化生成器的目标函数来改进GAN的训练。
优选的,述生成器G生成的G(z)的真假概率,其中卷积核大小设定为1*5,步长为2,最后一层sigmoid激活函数,其余层使用Leakyrelu,D和G同时通过下面具有最值函数VG,D的双方博弈进行优化,请参考
min maxV(D,G)=EX~Pdata[logD(x)]+Ez~Pz(z)[log(1-D(G(Z)))] 式(1)。
优选的,所述生成器G中的激活函数设置为relu函数。
与现有技术相比,本发明的有益效果是:本发明是目前的铁路物理系统中可以采集到大量的道岔数据,这些数据可用于监控系统的行为以检测基于一维卷积生成式对抗网络的无监督异常检测方案的各种异常情况。在本文中,我们在生成式对抗网络基础上提出一种用于检测道岔异常的无监督框架,在道岔数据上训练我们的模型,然后利用产生的异常分数检测异常。结果显示一维卷积与生成式网络的结合,在道岔检测问题上表现出优于其他基线方法的性能。对于道岔故障的检测,此实时检测系统能在第一时间发现道岔的故障,在保证铁路的安全的方面具有重要的现实意义和社会意义。
附图说明
图1为本发明一维卷积生成式对抗网络结构示意图;
图2为本发明式(1)的示意图;
图3为本发明式(2)的示意图;
图4为本发明式(3)的示意图;
图5为本发明式(4)的示意图;
图6为本发明异常检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一,请参阅图1-5,基于一维卷积生成式对抗网络的无监督异常检测方案,基于一维卷积生成式对抗网络的无监督异常检测方案数据属于一维时间序列,我们借鉴前人的思想,使用一维卷积和GAN相结合的检测方法,这样可以高度保持数据的原本特征还能有效的提取到其重要的局部特征,网络结构如图四所示;
生成器G是一个标准的一维卷积网络,其中生成器G通过学习训练集M(正常样本)上数据X的分布pG,将潜在空间变量Z通过生成器映射到原本数据空间,使用维度为1*10的向量Z,前四层网络的步长为2,卷积核的大小设为1*5,卷积核的个数分别为20、40、80、160,最后一层使用1*1的卷积核,激活函数使用relu。鉴别器D同样使用一维卷积网络,鉴别器的输出D(·)可以解释为训练数据X采样的真实时间序列信息或由生成器G生成的G(z)的真假概率,其中卷积核大小设定为1*5,步长为2,最后一层sigmoid激活函数,其余层使用Leakyrelu。D和G同时通过下面具有最值函数VG,D的双方博弈进行优化,请参考minmaxV(D,G)=EX~Pdata[logD(x)]+Ez~Pz(z)[log(1-D(G(Z)))] 式(1);
下面,我们将述模型的损失,包含两部分:残差损失,鉴别器损失。基于生成的GZ我们定义了一个损失函数,用于将新数据映射到潜在空间,残差损失是度量生成样本空间中原始数据Q与生成数据G(Z)之间的数值差异,定义为LR=∑|Q-G(Z)| 式(2),给定真实样本Q,我们的目标是在潜在空间中找到与特征信息G(z)相对应的点z,该特征G(z)在数值上最近似于真实样本Q。为了找到最佳点z,我们从潜在空间分布z开始随机采样z1,并将其馈送到训练的生成器中以获得生成信号G(z)。残差损失增强了生成的数据G(Z)和真实数据Q之间的数值相似性。通过使用训练完毕的GAN两个模块,鉴别器D和发生器G来通过反向传播调整z的值,Z的系数通过反向传播进行自适应。发生器和鉴别器的训练参数保持不变。
假设在一个完美的生成器G一个完美的映射到潜在空间的条件下,数据Q和G(Z)是相同的。在这种极端情况下,残差损失为零。
因为我们在训练网络时都是使用无标签数据,所以我们的目标不是学习特定于类的鉴别特征,而是学习其良好的表示。Yeh等人提出了一种基于特征匹配技术的鉴别损失,在特征匹配技术中,采用优化生成器的目标函数来改进GAN的训练。因此,在对抗性训练中,我们并没有对生成器的训练目标进行调整,而是采用特征匹配的思想来改进对潜在空间的映射。我们不使用鉴别器输出的标量来计算鉴别损失,而是使用鉴别器的更丰富的中间特征表示,并将鉴别损失定义为式LD(z)=∑|f(x)-f(G(Z))| (3);这里我们使用鉴别器的第三层来计算鉴别器损失。我们将总损失定义为两个分量的加权和,在本实验中设定为0.3;在新数据上进行异常检测时,LD(z)=(1-λ)·LR(z)+λLD(z) 公式(4)用于将用于找到新数据映射到潜在空间的z,同时我们也是用这个公式的得分来判别异常。
实施例二,在正常的情况下,基于一维卷积生成式对抗网络的无监督异常检测方案会发生很少的故障,所以异常的数据对于我们来说就很稀少,但正常的数据我们能很容易获得。在本文中我们采集904条数据,其中17条为异常数据。为了保证样本的多样性及算法的有效性,我们随机的从904条样本中选取700条作为训练集,测试集204条其中17条属于异常样本。由于神经网络的输入需要数据维度的统一,但真实的道岔数据维度有可能分布在200-3000维之间,所以我们将所有数据进行简单补零和截取处理,使其具有统一的维度,因为我们使用一维卷积,它能很好的采集到各个部分的特征而不会丢失信息,所以不必进行这样的复杂预处理。我们还与之前的SVM【17】、LSTM【12】进行对比,同时将模型中的一维卷积网络换成普通的全连接层网络来与我们模型进行对比(F-GAN)。基于Python3.6环境,使用Tensorflow2.0搭建异常检测模型,学习率设置为1e-4,使用Adam优化器进行优化,最终实验结果如图6所示。
分析图6中的表格可以看出,LSTM架构的在此类问题上的表现要明显优于SVM框架,这也体下了LSTM对时间序列问题的优越性,F-GAN框架相比于LSTM略有提升,但是没有明显的优化,我们的模型与与其他三个相比有了显著的提升,这也表现出一维卷积的生成式对抗网络在道岔问题上具有优异的性能。
本发明研究的道岔电流数据属于一维时间序列范畴,而以往的基于生成式对抗网络的异常检测方法大多数是应用于图像识别领域的,不能很好的适用于道岔检测的问题,本身生成式对抗网络的架构能比自编码器等模型学习到更加细微的特征,并且一维卷积又能充分提取时间序列的局部特征,不会丢失其时间依赖性,使用一维卷积生成式对抗网络;(1D-GAN)对道岔电流曲线进行检测。我们的模型包含两个指标,第一,通过生成器寻找潜在样本空间与真实样本空间的重建误差计算残差损失,第二,利用鉴别器的得分计算鉴别损失。根据这两个指标的加权来进行检测。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于一维卷积生成式对抗网络的无监督异常检测方案,包括生成器G、残差损失模块和鉴别器损失模块,其特征在于:包括以下步骤:
S1:基于生成的GZ定义了一个损失函数,用于将新数据映射到潜在空间,残差损失是度量生成样本空间中原始数据Q与生成数据G(Z)之间的数值差异,定义为LR=∑|Q-G(Z)|式(2);
S2:给定真实样本Q,目标是在潜在空间中找到与特征信息G(z)相对应的点z,该特征G(z)在数值上最近似于真实样本Q;
S3:为了找到最佳点z,从潜在空间分布z开始随机采样z1,并将其馈送到训练的生成器中以获得生成信号G(z);
S4:残差损失增强了生成的数据G(Z)和真实数据Q之间的数值相似性;
S5:通过使用训练完毕的GAN两个模块,鉴别器D和发生器G来通过反向传播调整z的值,Z的系数通过反向传播进行自适应,发生器和鉴别器的训练参数保持不变。
2.根据权利要求1所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述生成器G是一个标准的一维卷积网络,其中生成器G通过学习训练集M(正常样本)上数据X的分布pG,将潜在空间变量Z通过生成器映射到原本数据空间,使用维度为1*10的向量Z,前四层网络的步长为2,卷积核的大小设为1*5,卷积核的个数分别为20、40、80、160,最后一层使用1*1的卷积核,鉴别器D同样使用一维卷积网络,鉴别器的输出D(·)可以解释为训练数据X采样的真实时间序列信息或由生成器G生成的G(z)的真假概率。
3.根据权利要求1所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述系统是真实的道岔数据维度分布在200-3000维之间。
4.根据权利要求1所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述系统基于Python3.6环境设置,使用Tensorflow2.0搭建异常检测模型。
5.根据权利要求1所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述系统的学习率设置为1e-4,使用Adam优化器进行优化。
6.根据权利要求1所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述系统在特征匹配技术中,采用优化生成器的目标函数来改进GAN的训练。
7.根据权利要求2所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述生成器G生成的G(z)的真假概率,其中卷积核大小设定为1*5,步长为2,最后一层sigmoid激活函数,其余层使用Leakyrelu,D和G同时通过下面具有最值函数VG,D的双方博弈进行优化,请参考
min maxV(D,G)=EX~Pdata[logD(x)]+Ez~Pz(z)[log(1-D(G(Z)))]式(1)。
8.根据权利要求2所述的基于一维卷积生成式对抗网络的无监督异常检测方案,其特征在于:所述生成器G中的激活函数设置为relu函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910773582.XA CN112418255A (zh) | 2019-08-21 | 2019-08-21 | 基于一维卷积生成式对抗网络的无监督异常检测方案 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910773582.XA CN112418255A (zh) | 2019-08-21 | 2019-08-21 | 基于一维卷积生成式对抗网络的无监督异常检测方案 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112418255A true CN112418255A (zh) | 2021-02-26 |
Family
ID=74779727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910773582.XA Pending CN112418255A (zh) | 2019-08-21 | 2019-08-21 | 基于一维卷积生成式对抗网络的无监督异常检测方案 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418255A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112948897A (zh) * | 2021-03-15 | 2021-06-11 | 东北农业大学 | 一种基于drae与svm相结合的网页防篡改检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563355A (zh) * | 2017-09-28 | 2018-01-09 | 哈尔滨工程大学 | 基于生成对抗网络的高光谱异常检测方法 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
-
2019
- 2019-08-21 CN CN201910773582.XA patent/CN112418255A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563355A (zh) * | 2017-09-28 | 2018-01-09 | 哈尔滨工程大学 | 基于生成对抗网络的高光谱异常检测方法 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
王守相,等: ""采用改进生成式对抗网络的电力系统量测缺失数据重建方法"", 《中国电机工程学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112948897A (zh) * | 2021-03-15 | 2021-06-11 | 东北农业大学 | 一种基于drae与svm相结合的网页防篡改检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914873B (zh) | 一种两阶段云服务器无监督异常预测方法 | |
CN111046583B (zh) | 基于DTW算法和ResNet网络的转辙机故障诊断方法 | |
Hao et al. | An insulator defect detection model in aerial images based on multiscale feature pyramid network | |
WO2015158198A1 (zh) | 一种基于神经网络自学习的故障识别方法及系统 | |
Fan et al. | Deep mixed domain generalization network for intelligent fault diagnosis under unseen conditions | |
Zhou et al. | Fault diagnosis of high-speed railway turnout based on support vector machine | |
CN117421684A (zh) | 基于数据挖掘和神经网络的异常数据监测与分析方法 | |
CN110020637B (zh) | 一种基于多粒度级联森林的模拟电路间歇故障诊断方法 | |
CN109765332A (zh) | 基于隔离森林的变压器异常值实时检测和故障诊断方法 | |
CN111325233A (zh) | 一种变压器故障检测方法及装置 | |
CN115865483A (zh) | 一种基于机器学习的异常行为分析方法和装置 | |
Li et al. | Intelligent fault diagnosis of aeroengine sensors using improved pattern gradient spectrum entropy | |
CN114998294A (zh) | 一种基于知识蒸馏的高铁绝缘子缺陷检测方法 | |
CN115293383A (zh) | 融合博弈论的变压器风险致因分析方法 | |
CN114742165B (zh) | 基于深度自编码器的航空发动机气路性能异常检测系统 | |
Hallaji et al. | Detection of malicious SCADA communications via multi-subspace feature selection | |
CN116909788A (zh) | 一种任务导向和视角不变的多模态故障诊断方法及系统 | |
CN114462475A (zh) | 一种基于单分类算法的无监督机器异常声检测方法和装置 | |
CN117786507B (zh) | 全局和局部特征耦合指导的滚动轴承未知故障检测方法 | |
CN117726436B (zh) | 基于知识图谱的企业信用涉信信息链路分析方法 | |
CN115314287A (zh) | 一种基于深度聚类的对抗异常检测系统 | |
CN112418255A (zh) | 基于一维卷积生成式对抗网络的无监督异常检测方案 | |
CN106355187A (zh) | 视觉信息在电力设备监测中的应用 | |
CN117667495A (zh) | 一种基于关联规则与深度学习集成模型的应用系统故障预测方法 | |
Yang et al. | LLD-MFCOS: A Multi-scale Anchor-Free Detector Based on Label Localization Distillation for Wheelset Tread Defect Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |
|
RJ01 | Rejection of invention patent application after publication |