CN109447263A

CN109447263A - 一种基于生成对抗网络的航天异常事件检测方法

Info

Publication number: CN109447263A
Application number: CN201811319172.XA
Authority: CN
Inventors: 任元; 张克明; 蔡远文; 陈晓岑; 王卫杰; 吴昊; 王丽芬; 李磊; 满万鑫
Original assignee: Individual
Current assignee: Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date: 2018-11-07
Filing date: 2018-11-07
Publication date: 2019-03-08
Anticipated expiration: 2038-11-07
Also published as: CN109447263B

Abstract

本发明涉及一种基于生成对抗网络的航天异常事件检测方法。利用正生成对抗网络模拟生成正常事件样本，同时利用反生成对抗网络模拟生成异常事件样本；通过设计合理的算法利用检测器计算输入事件与正生成器生成的模拟正常事件，以及与反生成器生成的模拟异常事件的重构误差，求出异常分，按照异常分大小，大于阈值时判定为异常事件检出；对样本稀少、复杂多变、无法准确观察到的航天异常事件实现无监督异常事件检测，开展航天常态化事故预防和异常事件提前预警。本发明属于人工智能技术领域，可应用于使用生成对抗网络异常事件检测及故障诊断的航天分系统及部件设计。

Description

一种基于生成对抗网络的航天异常事件检测方法

技术领域

本发明涉及一种基于生成对抗网络的航天异常事件检测方法，适用于采用GAN作为航天异常事件检测及故障诊断的航天分系统及部(器)件设计。

技术背景

由于航天领域环境复杂、技术难、风险高、投入大，航天异常事件及故障具有不确定性、发展性和分散性等典型特性。故障预警和异常事件检测成为保障、维护航天安全的关键。

异常事件检测传统方法主要包括信号分析、信息熵、统计分析和聚类等。信号分析主要用于时域信号有关异常检测，优点是无监督，不需要标记样本，困难在于正常、异常边界难以明确定义。信息熵用于称量信息、事件的无序程度，多用于对网络流量、信号异常检测，优点是无监督，不需要标记样本，不足是需要严谨的信息论方法。统计分析法是基于数据的经验分布进行异常检测，优点在于无监督，可以对任意分布数据进行异常检测，问题在于现实中数据不一定符合某种分布，检测结果不确定。聚类方法假设稀疏样本或远离正常样本的数据为异常样本。优点是识别精度较高，缺点是需要标记数据，对于未搜集到的正常样本会产生误报。

随着深度神经网络技术的发展，国际上开始采用卷积网络、自动编码器、生成对抗网络等方法开展异常事件检测研究。但还存在需要进行数据标记、精度不够高等问题。Jinwon An等人提出基于变分自动编码器(简称VAE)使用重构概率进行异常检测，但存在部分关键性能不佳问题。

自从Goodfellow等人提出生成对抗网络(Genertive Adversity Networks，简称GAN)以来，被迅速用于声音、图像处理，数据增强和事件检测方面。 Thomas Schlegl等人开展GAN无监督异常监测，进行医学图像异常病变诊断标记研究。Houssam Zenati等人从事基于GAN的有效异常检测研究。

由于GAN是一种新型的深度学习模型，同时训练捕获数据分布的生成模型G，和估计样本来自训练数据概率的判别模型D。G的训练程序是将D 错误的概率最大化，使得G重现训练数据分布。因此通过设计正反生成对抗网络，在只有正常事件的条件下，同时模拟重现正常事件和异常事件的分布，具备良好的适应性和灵活性。

发明内容

本发明的技术解决问题是：针对航天环境复杂、技术难度大，风险高，安全可靠性要求苛刻，训练用异常事件极少甚至没有，故障诊断和维护保障困难。提出一种基于生成对抗网络的航天异常事件检测模型。开拓生成对抗网络使用方式，使用正生成器模拟生成正常事件样本，同时利用反生成器模拟生成异常事件样本，设计合理算法训练测试，通过计算输入事件与正生成器生成的模拟正常事件，以及与反生成器生成的模拟异常事件距离差，实现航天异常事件精确检测，预防航天事故，保障航天系统安全。既拓展了故障诊断和维修保障方式，又是航天安全保障的一种全新技术途径。

本发明的技术解决方案：

一种基于生成对抗网络的航天异常事件检测的方法，其特征在于：利用正生成对抗网络模拟生成正常事件样本，同时利用反生成对抗网络模拟生成异常事件样本，具体包括以下步骤：

(1)考虑航天异常事件检测，使用正生成对抗网络进行模拟生成正常事件样本训练

输入正常事件进行正生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

更新参数使正生成器随剃度下降方向优化:

其中，D_n代表判决器，G_n代表正生成器，Θ_d代表判决器参数，是自变量，D_n(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_n(z⁽ⁱ⁾)代表正生成器的输出， D_n(G_n(z⁽ⁱ⁾))代表输入为正生成器的输出时，判决器的输出，V(D_n,G_n,Θ_d)代表随判决器、正生成器参数变化的函数，是因变量，也是要优化的目标函数，是对目标函数V(D_n,G_n,Θ_d)自变量Θ_d求偏导数(梯度) 代表目标函数在某一点随自变量Θ_d正方向的变化率，η是学习因子，调整梯度变化的大小；Θ_g代表正生成器参数，是自变量， V(D_n,G_n,Θ_g)代表随判决器、正生成器参数变化的函数，是因变量，也是要优化的目标函数；是对目标函数V(D_n,G_n,Θ_g)自变量Θ_g求偏导数(梯度)代表目标函数在某一点随自变量Θ_g正方向的变化率；

(2)考虑航天异常事件检测，使用反生成对抗网络进行模拟生成异常事件样本训练

输入正常事件进行反生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化：

更新参数使反生成器随剃度下降方向优化：

其中，D_a代表判决器，G_a代表反生成器，D_a(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_a(z⁽ⁱ⁾)代表反生成器的输出，D_a(G_a(z⁽ⁱ⁾))代表输入为反生成器的输出时，判决器的输出，V(D_a,G_a,Θ_d)代表随判决器、反生成器参数变化的函数，是因变量，也是待优化的目标函数，是对目标函数V(D_a,G_a,Θ_d)自变量Θ_d求偏导数(梯度)代表目标函数在某一点随自变量Θ_d正方向的变化率；V(D_a,G_a,Θ_g)代表随判决器、反生成器参数变化的函数，是因变量，也是待优化的目标函数，是对目标函数 V(D_a,G_a,Θ_g)自变量Θ_g求偏导数(梯度)代表目标函数在某一点随自变量Θ_g正方向的变化率；

(3)航天异常事件检测

采用检测器计算异常分A(x,Θ)：

输入测试事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

计算输入向量与模拟正常事件误差A_n(x,Θ):

A_n(x,Θ)＝||x-G_n(z)||₂

计算输入向量与模拟异常事件误差A_a(x,Θ):

A_a(x,Θ)＝||x-G_a(z)||2

计算异常分A_(x,Θ)：

A(x,Θ)＝A_n(x,Θ)-A_a(x,Θ)

如果异常分大于门限阈值φ，结果判为异常事件检出，否则判为正常事件。

在上述的一种基于反生成对抗网络的航天异常事件检测方法中，利用生成对抗和拒绝抽样原理，输入正常事件，训练反生成器生成模拟异常事件样本，具体包括以下步骤：

(1)考虑航天异常事件检测，对反生成对抗网络的判决器进行训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

其中调整梯度变化的大小，梯度上升就是沿着梯度变化最快的正方向，故求偏导确定大小后相加；

(2)考虑航天异常事件检测，对反生成对抗网络的反生成器进行训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使反生成器随剃度下降方向优化:

其中梯度下降就是沿着梯度变化最快的反方向，故求偏导确定大小后相减。

本发明的结构原理框图如下图1所示。GAN结构由一个生成器和一个判决器构成。生成器输入随机变量，通过捕获真实数据样本潜在分布，生成新的假数据样本。判决器是一个二分类器，判别输入是真实数据还是生成的假数据样本。生成器输入随机变量z，G(z)为由生成器生成的尽量服从真实数据分布的假数据。判决器输入真实数据z或生成器生成的假数据D(x⁽ⁱ⁾)，输出真假数据概率。生成器的目的是尽量去学习真实的数据分布，而判决器的目的是尽量正确判别输人数据是来自真实数据还是来自生成器生成的假数据。实现生成器和判决器的同步训练。

为了训练这一生成对抗网络，首先要优化判决器，在给定生成器的情况下，D(x)相当于真样本输入时的输出，期望结果最大，预测结果越接近1越好。D(G(z))相当于输入假样本时的输出，期望结果越小越好，即D(G(z))越小越好，预测结果越接近0越好。但是D(x)越大与D(G(z))越小矛盾，因而把 D(G(z))改为求1-D(G(z))越大越好，合起来就是求下式(1)越大越好。

其次，我们优化生成器，这时候输入随机变量，输出假样本。希望假样本D(G(z))越大越好，1-D(G(z))越小越好，如下式(2)所示：

合并(1)式和(2)为下式(3)即最大最小化目标函数。

基于生成对抗网络的航天异常事件检测主要由正反两个生成对抗网络和检测器组成，结构如下图2所示。正生成对抗网络由正生成器和判决器组成，先训练判决器对事件是来自输入事件x还是来自正生成器生成事件G_n(z) 的判决能力。随后训练正生成器对输入随机变量z生成模拟事件G_n(z)的能力，系统不断迭代，循环训练，持续提高生成器的事件生成能力和判决器的判决能力。

反生成对抗网络由反生成器和判决器组成。反生成器利用拒绝抽样原理，最大可能生成不是输入的正常事件，即努力模拟异常事件。先训练判决器对事件是来自输入事件x还是来自反生成器生成事件G_a(z)的判决能力。随后训练反生成器对输入随机变量z生成模拟异常事件G_a(z)的能力，系统不断迭代，循环训练，持续提高生成器的事件生成能力和判决器的判决能力。

测试时，主要通过检测器，计算输入事件z与正生成器生成的模拟正常事件G_n(z)，以及与反生成器生成的模拟异常事件G_a(z)的重构误差，计算异常事件分值，设置合理的阈值，将分值高的事件作为异常事件检出。

该方法不仅能应用于航天领域，还可以应用于其它领域进行异常事件检测。也可实现基于生成对抗网络的异常事件检测。至此，实现了基于GAN 的航天异常事件检测。

本发明的方案与现有方案比，主要优点在于：拓展了生成对抗网络的应用范围，用于航天异常事件检测，在输入正常事件时，生成器不仅能模拟正常事件样本分布，还能模拟异常事件样本分布。为预防航天事故，尽早发现可能导致故障的异常事件提供了一种全新手段，与基于变分自动编码器(简称VAE)的异常检测指标相比，有明显的性能提升。同时计算简便，有利于工程化实现。

附图表说明

图1生成对抗网络原理框图。

图2基于生成对抗网络的航天异常事件检测方法结构图。

图3具体实施方案图。

图4基于生成对抗网络的航天异常事件检测性能表

图5基于生成对抗网络的航天异常事件检测部分性能与VAE方法性能比较表。

具体实施方案

本发明的实施对象是基于GAN作为异常事件检测的航天器，在大数据条件下，生成对抗网络的事件分布学习和重构能力使预防航天事故，尽早发现可能导致故障的异常事件成为可能。

本发明的具体实施方案如下图3所示，具体实施步骤如下：

输入正常事件进行正生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

更新参数使正生成器随剃度下降方向优化:

其中，D_n代表判决器，G_n代表正生成器，Θ_d代表判决器参数，是自变量，D_n(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_n(z⁽ⁱ⁾)代表正生成器的输出， D_n(G_n(z⁽ⁱ⁾))代表输入为正生成器的输出时，判决器的输出，V(D_n,G_n,Θ_d)代表随判决器、正生成器参数变化的函数，是因变量，也是我们要优化的目标函数，是对目标函数V(D_n,G_n,Θ_d)自变量Θ_d求偏导数(梯度) 代表目标函数在某一点随自变量Θ_d正方向的变化率，η是学习因子，调整梯度变化的大小；Θ_g代表正生成器参数，是自变量， V(D_n,G_n,Θ_g)代表随判决器、正生成器参数变化的函数，是因变量，也是我们要优化的目标函数，是对目标函数V(D_n,G_n,Θ_g)自变量Θ_g求偏导数 (梯度)代表目标函数在某一点随自变量Θ_g正方向的变化率；

输入正常事件进行反生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

更新参数使反生成器随剃度下降方向优化:

其中，D_a代表判决器，G_a代表反生成器，Θ_d代表判决器参数，是自变量，D_a(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_a(z⁽ⁱ⁾)代表反生成器的输出， D_a(G_a(z⁽ⁱ⁾))代表输入为反生成器的输出时，判决器的输出，V(D_a,G_a,Θ_d)代表随判决器、反生成器参数变化的函数，是因变量，也是我们要优化的目标函数，是对目标函数V(D_a,G_a,Θ_d)自变量Θ_d求偏导数(梯度) 代表目标函数在某一点随自变量Θ_d正方向的变化率，η是学习因子，调整梯度变化的大小；Θ_g代表反生成器参数，是自变量， V(D_a,G_a,Θ_g)代表随判决器、反生成器参数变化的函数，是因变量，也是我们要优化的目标函数，是对目标函数V(D_a,G_a,Θ_g)自变量Θ_g求偏导数 (梯度)代表目标函数在某一点随自变量Θ_g正方向的变化率；

(3)航天异常事件检测

采用检测器计算异常分A(x,Θ)：

输入测试事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

计算输入向量与模拟正常事件误差A_n(x,Θ):

A_n(x,Θ)＝||x-G_n(z)||₂

计算输入向量与模拟异常事件误差A_a(x,Θ):

A_a(x,Θ)＝||x-G_a(z)||₂

计算异常分A_(x,Θ):

A(x,Θ)＝A_n(x,Θ)-A_a(x,Θ)

为验证该测量方法的效果，利用本发明所提出的异常检测方法进行试验验证，我们用tensorflow语言编写航天异常事件检测试验验证程序，采用美国国家标准与技术研究所数据集(简称MNIST)进行测试。MNIST由训练集和测试集组成：训练集由来自250个不同人手写的数字构成，其中50％来自高中学生，50％来自人口普查局的工作人员。测试集也是同样比例的手写数字。

我们从MNIST中生成10个不同数字的数据集，将其中一个数字的出现作为异常事件，其余9个数字的出现作为正常事件。训练集由80％的正常事件组成，测试集由剩余20％的正常事件和所有异常事件组成。试验部分性能结果如图4所示。

其中精确率(Precision，简称P)：P＝TP/(TP+FP)。就是预测正确的正例数据占预测为正例数据的比例。

召回率(Recall，简称R)：R＝TP/(TP+FN)。就是预测为正例的数据占实际为正例数据的比例。

F1值是由于在实际应用中精确率与召回率这两个指标是相互制约的，我们通常会根据任务需要选择一个合适的度，寻求在召回率和精确率中间的一个平衡点。定义为：F1＝2*P*R/(P+R)。

虚警率(False Alarm，简称FA)：FA＝FP/(TP+FP)。反映被判为正例样本中，有多少个是负例，即被误判为异常事件的概率。

接受器工作特性曲线下面积(简称AUC)是以假正率(简称FPR)为横坐标，这里FPR＝FP/(FP+TN))，召回率为纵坐标绘制的曲线下的面积,是反映接受器工作特征的综合指标，面积越大，性能越好。

精确率_召回率曲线(简称PRC)是以召回率为横轴，精确率为纵轴的曲线下的面积。面积越大，性能越好。

通过上述试验结果可以看出，本发明提出的方法，在保证生成对抗网络正常收敛的情况下，提高了异常事件检测的性能和效率。我们提出发明的 F1和PRC测试指标，与基于变分自动编码器(简称VAE)异常检测方法部分指标相比，有明显的性能提升。其中最好的F1值提升了273％，最差的提升了31％，最好的PRC性能提升了770％，最差的也提升了11％。与VAE方法性能比较结果如图5所示。试验结果表明本发明提出的方法能很好地检出未出现过，难以准确观察定义的航天异常事件，可事前发现可能导致故障的异常事件，预防航天事故，且计算简单，易于工程化实现。

本发明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims

1.一种基于生成对抗网络的航天异常事件检测方法，其特征在于：利用正生成对抗网络模拟生成正常事件样本，同时利用反生成对抗网络模拟生成异常事件样本，具体包括以下步骤：

输入正常事件进行正生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

Θd←Θ_d+η▽V(D_n,G_n,Θ_d)

更新参数使正生成器随剃度下降方向优化:

Θ_g←Θ_g-η▽V(D_n,G_n,Θ_g)

其中，D_n代表判决器，G_n代表正生成器，Θ_d代表判决器参数，是自变量，D_n(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_n(z⁽ⁱ⁾)代表正生成器的输出，D_n(G_n(z⁽ⁱ⁾))代表输入为正生成器的输出时，判决器的输出，V(D_n,G_n,Θ_d)代表随判决器、正生成器参数变化的函数，是因变量，也是要优化的目标函数，▽V(D_n,G_n,Θ_d)是对目标函数V(D_n,G_n,Θ_d)自变量Θ_d求偏导数代表目标函数在某一点随自变量Θ_d正方向的变化率，η是学习因子，调整梯度变化的大小；Θ_g代表正生成器参数，是自变量，V(D_n,G_n,Θ_g)代表随判决器、正生成器参数变化的函数，是因变量，也是要优化的目标函数；▽V(D_n,G_n,Θ_g)是对目标函数V(D_n,G_n,Θ_g)自变量Θ_g求偏导数代表目标函数在某一点随自变量Θ_g正方向的变化率；

输入正常事件进行反生成对抗网络训练：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

Θd←Θ_d+η▽V(D_a,G_a,Θ_d)

更新参数使反生成器随剃度下降方向优化:

Θ_g←Θ_g-η▽V(D_a,G_a,Θ_g)

其中，D_a代表判决器，G_a代表反生成器，D_a(x⁽ⁱ⁾)代表判决器输入x⁽ⁱ⁾时的输出，G_a(z⁽ⁱ⁾)代表反生成器的输出，D_a(G_a(z⁽ⁱ⁾))代表输入为反生成器的输出时，判决器的输出，V(D_a,G_a,Θ_d)代表随判决器、反生成器参数变化的函数，是因变量，也是待优化的目标函数，▽V(D_a,G_a,Θ_d)是对目标函数V(D_a,G_a,Θ_d)自变量Θ_d求偏导数代表目标函数在某一点随自变量Θ_d正方向的变化率；V(D_a,G_a,Θ_g)代表随判决器、反生成器参数变化的函数，是因变量，也是待优化的目标函数，▽V(D_a,G_a,Θ_g)是对目标函数V(D_a,G_a,Θ_g)自变量Θ_g求偏导数代表目标函数在某一点随自变量Θ_g正方向的变化率；

(3)航天异常事件检测

采用检测器计算异常分A(x,Θ)：

输入测试事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

计算输入向量与模拟正常事件误差A_n(x,Θ):

A_n(x,Θ)＝||x-G_n(z)||₂

计算输入向量与模拟异常事件误差A_a(x,Θ):

A_a(x,Θ)＝||x-G_a(z)||₂

计算异常分A_(x,Θ):

A(x,Θ)＝A_n(x,Θ)-A_a(x,Θ)

2.根据权利要求1所述的一种基于反生成对抗网络的航天异常事件检测方法，其特征在于：利用生成对抗和拒绝抽样原理，输入正常事件，训练反生成器生成模拟异常事件样本，具体包括以下步骤：

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使判决器随梯度上升方向优化:

Θ_d←Θ_d+η▽V(D_a,G_a,Θ_d)

其中，梯度上升就是沿着梯度变化最快的正方向，故求偏导确定大小后相加；

输入正常事件样本{x⁽¹⁾,······,x^(N)}

输入随机变量样本{z⁽¹⁾,······,z^(N)}

更新参数使反生成器随剃度下降方向优化:

Θ_g←Θ_g-η▽V(D_a,G_a,Θ_g)

其中，梯度下降就是沿着梯度变化最快的反方向，故求偏导确定大小后相减。