CN117610614B - 基于注意力引导的生成对抗网络零样本核电密封检测方法 - Google Patents
基于注意力引导的生成对抗网络零样本核电密封检测方法 Download PDFInfo
- Publication number
- CN117610614B CN117610614B CN202410038426.XA CN202410038426A CN117610614B CN 117610614 B CN117610614 B CN 117610614B CN 202410038426 A CN202410038426 A CN 202410038426A CN 117610614 B CN117610614 B CN 117610614B
- Authority
- CN
- China
- Prior art keywords
- class
- attribute
- invisible
- vector
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012795 verification Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000007789 sealing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 176
- 230000008569 process Effects 0.000 claims description 22
- 239000003795 chemical substances by application Substances 0.000 claims description 16
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 39
- 230000006870 function Effects 0.000 description 24
- 238000003745 diagnosis Methods 0.000 description 13
- 230000003068 static effect Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 239000002826 coolant Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
- G21C—NUCLEAR REACTORS
- G21C17/00—Monitoring; Testing ; Maintaining
- G21C17/002—Detection of leaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- High Energy & Nuclear Physics (AREA)
- Plasma & Fusion (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
Abstract
本发明公开了一种基于注意力引导的生成对抗网络零样本核电密封检测方法，该方法采用了深度学习的方法及时诊断密封故障，为了解决样本不全的零样本问题，设计了基于多头自注意力机制和直推式学习的生成对抗网络来生成样本。多头自注意力机制用于提取关键特征，直推式学习是指添加一个注意力引导的验证模块来捕捉不可见类的分布。此网络采用特征空间和属性空间之间的映射来实现训练，以解决不可见类样本无标签的问题。其中的属性矩阵是依据故障的语义描述用one‑hot编码的。该方法在核电主泵轴的静环上进行了实验验证。结果表明，在模型性能最优时25组重复实验的平均准确率可达99.79%。
Description
技术领域
本发明涉及核电密封检测技术领域，具体涉及一种基于注意力引导的生成对抗网络零样本核电密封检测方法。
背景技术
核电是利用核反应堆中的核能量来产生电能的一种能源，大约20％的全球电力是由核电站产生的。近年来，随着核电的广泛应用，核电的安全性也愈发受到人们关注，其中因核泄漏而引发的安全隐患最令人们感到担忧。
百万千瓦级核电站反应堆主冷却剂泵（简称核主泵）是压水堆核电站冷却剂系统中的关键元件，核主泵被设置于反应堆与蒸汽发生器之间的回路上，其作用是使冷却剂在反应堆主管道和蒸汽发生器所组成的密闭系统中循环，将反应过程中的产热从反应堆传递到蒸发器，再使冷却剂循环回反应堆主管道。核主泵的泄漏量若发生异常则会影响核电设备的正常运行，容易造成严重的核事故。
常见的密封检测主要有流量补充法、流量收集法、压力衰减法、皂泡检漏法、水泡检漏法、超声波检漏法、示踪检漏法、抽真空升压检漏法和各种无损探伤等。然而现在的这些核电密封检测方法多依赖专业的检测人员对核心密封件进行定期检测，此过程费时费力且无法随时监测密封情况，这样会浪费大量的人力物力成本，并且在无人监测期间容易发生泄漏，可能造成灾难性事故发生。而利用深度学习来进行核电密封的故障诊断则可以实现无需专家经验的随时监测。
常见的深度学习需要大量的有标签的样本用来训练深度学习网络，但在实际应用中，一些故障由于时间和成本等限制，很难获得大量标注数据，从而难以通过传统的深度学习方法来完成任务；此外，尤其在核电密封故障诊断领域极其常见到这样的情况，很多会造成严重安全事故的故障没有办法通过实验来获得大量的可用的样本数据，甚至无法获得样本数据，但是核电设备实际运行过程中的又需要在这类故障发生时能够做出诊断。这种需要在没有训练数据的情况下实现预测的问题被称为零样本问题，而解决方法被称为零样本学习。
目前，零样本学习方法已经被用于工业故障诊断，Feng等人将故障描述作为辅助知识源，利用训练故障到目标故障的属性迁移实现了零样本的工业故障诊断；Xu等人提出的ZLCFDM模型可以用单故障的振动信号训练来实现零样本的复合故障诊断；这些方法都是基于属性的零样本学习方法，最近，基于生成的零样本学习方法也开始出现于故障诊断。Zhuo等人引入了生成对抗网络，以此设计了一个带有故障属性空间的生成模型，可以用于零样本和少样本的故障诊断；Wang等人提出了的SRDGAN首次将广义零样本学习应用于局部放电领域，并设计SR模块解决了生成模型生成样本缺乏足够判别属性和真实性的问题。但是这些方法仍然存在瓶颈，其问题主要是零样本学习的领域漂移问题导致的特征空间与属性空间之间的对齐较差。
发明内容
本发明的目的在于提供一种基于注意力引导的生成对抗网络零样本核电密封检测方法，该方法采用了深度学习的方法及时诊断核电密封故障。
为实现上述目的，本发明采用如下技术方案：
一种基于注意力引导的生成对抗网络零样本核电密封检测方法，包括如下步骤：
步骤1：建立基于双向注意力引导的生成对抗网络；
所述基于双向注意力引导的生成对抗网络包括编码器、AGAN网络和验证网络；
所述编码器用于将数据的属性向量和特征向量编码输出一个隐向量；
所述AGAN网络是在生成对抗网络的生成器中融合多头注意力机制，AGAN网络包括注意力引导的条件生成器AG和条件判断器D，条件生成器AG根据输入的隐向量以数据的属性向量为条件通过多头自注意力机制引导生成伪特征向量；再通过条件判断器判断伪特征向量的真伪；
所述验证网络包括注意力引导的验证生成器AV和验证判别器DV，验证生成器AV用于验证注意力引导的条件生成器AG生成的伪特征向量的准确性，并通过验证判别器判断验证结果的准确性；
步骤2：训练数据的获取及处理；
通过全尺寸单级密封故障影响规律试验台获取步骤1建立的基于双向注意力引导的生成对抗网络的训练数据；
将训练数据按照零样本的类别分为可见类和不可见类，其中可见类数据具有标签
信息，不可见类数据不具有标签信息，可见类特征向量集为，不可见类特征
向量集为，和分别为可见类和不可见类中特征向量和的数量；
其中，可见类的标签信息集；
利用属性向量来描述可见类和不可见类的故障属性，可见类属性向量集为，不可见类属性向量集为，其中，和分别为可见类属性
向量集和不可见类属性向量集中属性向量和的数量；
利用故障属性对每一种核电密封故障进行了故障描述，按照故障描述利用one-hot编码获取稀疏矩阵来表示属性向量，故障属性包括故障的原因、故障的影响和故障发生的位置；
步骤3：训练基于双向注意力引导的对抗网络；
步骤3-1：采用编码器将可见类和不可见类的特征向量集和属性向量集编码生成
可见类隐向量和不可见类隐向量，用于作为AGAN网络的条件输入；
步骤3-2：对AGAN网络的训练，其过程如下：
首先，采用可见类的特征向量集和属性向量集对AGAN网络训练，隐向量作为条
件和属性向量集为输入一同输入到条件生成器AG生成伪特征向量；
可见类特征向量与其对应输出的伪特征向量的损失函数为：
，
式中，为Kullback-Leibler散度，En为编码器的映射函
数，是范数归一化后特征的绝对平均误差MAE，E为统计学中的求平均
值；
再利用条件判别器区分伪特征向量的真伪，使用的WGAN-GP的损失函数对真
伪特征的度量；
，
式中，为可见类的损失函数，D为可见类的条件判别器的映射函数，为
可见类的特征向量，为可见类的属性向量，为特征向量对应输出的伪特征向量，，α为权重系数，取值在0到1之间；为梯度算子；
然后，采用不可见类的属性向量和隐向量一同属于到AGAN网络训练输出伪
特征向量，条件判别器判断为的真伪的损失为：
，
式中，为不可见类的损失函数，为不可见类的条件判别器的映射函
数，为不可见类的特征向量，为不可见类特征向量对应输出的伪特征向量，，α为权重系数，取值在0到1之间；
对于不可见类训练数据不使用条件损失；
步骤3-3：验证网络的训练，
首先，采用可见类的特征向量集输入到验证生成器AV中生成为伪属性向量，伪属
性向量与属性向量之间的损失为，
；
式中，为验证生成器的映射函数，为可见类特征向量，为可见类属性向
量；
然后，不可见类特征向量输入至验证生成器AV，输出为伪属性向量，再通过
判别器来判断为属性的真伪，以随机的不可见类属性向量为条件，获得损失函数；
；
式中，，α为权重系数，取值在0到1之间，为不可见类
的验证判别器的映射函数，为不可见类的属性向量，为对应的伪属性向量，为梯
度算子；
当验证生成器AV训练好后，冻结其参数，再利用验证生成器AV验证条件生成器AG
生成的伪特征向量；伪特征向量与特征向量之间的损失为：
；
式中，AV为验证生成器的映射函数，G为条件生成器的映射函数，为不可见类的
属性向量；为不可见类的隐向量；
最后利用训练好的验证判别器的损失来训练AGAN网络；
，
式中，为验证判别器的损失，为验证判别器的映射函数，为不
可见类的属性向量，为对应的伪属性向量，，α为权重系数，
取值在0到1之间，；
验证生成器AV的总损失为：；
网络的总损失为：
；
训练后测试最终的基于双向注意力机制引导的对抗网络的有效性，即获得可用于检测核电密封性的基于双向注意力机制引导的对抗网络。
本发明为了解决样本不全的零样本问题，设计了基于多头自注意力机制和直推式学习的生成对抗网络来生成样本；多头自注意力机制用于提取关键特征，直推式学习是指添加一个注意力引导的验证模块来捕捉不可见类的分布；本发明采用特征空间和属性空间之间的映射来实现训练，以解决不可见类样本无标签的问题；其中的属性矩阵是依据故障的语义描述用one-hot编码的；最后利用生成的样本训练一个基于交叉熵损失分类器来实现零样本分类；本发明在核电主泵轴的静环上进行了实验验证。结果表明，在模型性能最优时25组重复实验的平均准确率可达99.79%。
附图说明
图1为本发明的结构示意图。
图2为本发明与其他网络模型实验对比示意图，（A）为A组实验各个网络模型准确率，（B）为B组实验各个网络模型准确率，（C）为C组实验各个网络模型准确率，（D）为D组实验各个网络模型准确率，（E）为E组实验各个网络模型准确率。
图3为本发明网络模型不同参数的影响示意图，（a）为α超参数对A组实验的影响，（b）为β超参数对A组实验的影响，（c）为γ超参数对A组实验的影响，（d）为δ超参数对A组实验的影响。
图4为验证本发明有效性和准确性结果示意图，（a）为多头注意力机制引导的生成对抗网络和单头注意力机制的生成对抗网络对比图；（b）为直推式的生成对抗网络和归纳式的生成对抗网络对比图。
具体实施方式
如图1所示，本实施例提供的一种基于注意力引导的生成对抗网络零样本核电密封检测方法包括如下步骤：
步骤1：建立基于双向注意力引导的生成对抗网络；
所述基于双向注意力引导的生成对抗网络包括编码器、AGAN网络和验证网络；
所述编码器用于将数据的属性向量和特征向量编码输出一个隐向量；用于增强生成特征的准确性。
所述AGAN网络是在生成对抗网络（GAN）的生成器中融合多头注意力机制，即AGAN网络包括注意力引导的条件生成器AG和条件判断器D，输入的隐向量以数据的属性向量为条件通过多头自注意力机制引导生成伪特征向量；再通过条件判断器判断伪特征向量的真伪。
所述验证网络包括注意力引导的验证生成器AV和验证判别器DV，注意力引导的验证生成器AV用于验证注意力引导的条件生成器AG生成的伪特征向量的准确性，并通过验证判别器判断验证结果的准确性。
步骤2：训练数据的获取及处理
将创建的生成对抗网络应用于检测主泵轴的密封，主要是以密封运动件中的静环产生缺陷而导致的密封故障，本实施例的数据来源于全尺寸单级密封故障影响规律试验台，在全尺寸单级密封故障影响规律试验中，传感器直接安装在静环座上，静环压紧在静环座上，可以直接采集到运行过程中整个静环组件的频率；将导杆固定在静环座上，安装好传感器，测量的是传感器与导杆的相对距离。试验过程中通过此测量值变化可分析静环座上下浮动值，并以此推算膜厚变化。
本实施例将数据按照零样本的类别分为可见类和不可见类，其中可见类数据具有
标签信息，不可见类数据不具有标签信息，可见类特征向量集为，不可见类
特征向量集为，和分别为可见类和不可见类中特征向量和的数
量；其中，可见类的标签信息集。
利用属性向量来描述可见类和不可见类的故障属性，可见类属性向量集为，不可见类属性向量集为，其中，和分别为可见类属性
向量集和不可见类属性向量集中属性向量和的数量。
本实施例利用故障的原因、故障的影响和故障发生的位置等故障属性对每一种核电密封故障进行了故障描述，按照故障描述利用one-hot编码获取稀疏矩阵来表示属性向量，如表1所示。
表1 利用one-hot编码获取稀疏矩阵
| 名称 | 属性1 | 属性2 | 属性3 | 属性4 | 属性5 |
| 故障1 | 0 | 1 | 1 | 0 | 0 |
| 故障2 | 1 | 0 | 1 | 1 | 0 |
| 故障3 | 0 | 1 | 1 | 0 | 1 |
| 故障4 | 0 | 1 | 0 | 1 | 1 |
| 故障5 | 0 | 0 | 1 | 1 | 1 |
步骤3：训练基于双向注意力引导的对抗网络
（3-1）采用编码器将可见类和不可见类的特征向量集和属性向量集编码生成可见
类隐向量和不可见类隐向量，用于作为AGAN网络的条件输入。
（3-2）对AGAN网络的训练，其过程如下：
首先，采用可见类的特征向量集和属性向量集对AGAN网络训练，隐向量作为条
件和属性向量集为输入一同输入到条件生成器AG生成伪特征向量，通过条件生成器
AG中多头自注意力机制加强属性向量的关注。
可见类特征向量与其对应输出的伪特征向量的损失为：
；
式中，为Kullback-Leibler散度，En为编码器的映射函
数，是范数归一化后特征的绝对平均误差MAE，E为统计学中的求平均
值；利用Kullback-Leibler散度和对数误差来构建损失来防止模型崩溃，用于增强网络的
性能。
再利用条件判别器D区分伪特征向量的真伪，本实施例使用的WGAN-GP的损失
函数对真伪特征的度量，即；输入伪特征向量以属性向量为条件，获得损失；
；
式中，为可见类的损失函数，D为可见类的条件判别器的映射函数，为
可见类的特征向量，为可见类的属性向量，为特征向量对应输出的伪特征向量，，α为权重系数，取值在0到1之间；为梯度算子。
然后，采用不可见类的属性向量和隐向量一同属于到AGAN网络训练输出伪
特征向量，以随机的不可见类特征向量为条件，条件判别器判断为的真伪的损失为：
，
式中，为不可见类的损失函数，为不可见类的条件判别器的映射函
数，为不可见类的特征向量，为不可见类特征向量对应输出的伪特征向量，，α为权重系数，取值在0到1之间。
需要说明的是，本实施例条件判别器结构相同，之所有采用和仅仅用于区分
训练时采用不可见类数据和可见类数据。
对于不可见类，属性和特征并不是匹配数据，因此没有使用条件损失。
（3-3）验证网络的训练，
验证网络用于验证生成的不可见类的伪特征向量的准确性，具体地，通过训练
好的验证生成器AV将投影到属性空间得到对应的伪属性，其训练同样采用直推式学
习的思路。
首先，采用可见类的特征向量集输入到验证生成器AV中生成为伪属性向量，伪
属性向量与实际属性向量之间的损失为：
式中，为验证生成器的映射函数，为可见类特征向量，为可见类属性向
量；
然后，对于不可见类，不可见类特征向量输入至验证生成器AV，输出为伪属性向量，再通过判别器来判断伪属性向量的真伪，以随机的不可见类属性向量为条件，获
得损失：
；
式中，，α为权重系数，取值在0到1之间，为不可见类
的验证判别器的映射函数，为不可见类的属性向量，为对应的伪属性向量，为梯
度算子。
当验证生成器训练好后，冻结其参数，用于验证伪特征向量的准确性。利用
设计的回归器添加了回归量与属性向量的损失来训练网络，本实施例将此方法
应用于验证生成的伪特征向量，即输入为条件生成器AG的伪特征向量，输出为
伪属性向量，伪属性向量与输入AG的属性向量之间的差距表示为损失；
；
式中，AV为验证生成器的映射函数，G为条件生成器的映射函数，为不可见类的
属性向量；为不可见类的隐向量；
为了提高特征空间与属性空间的对齐效果，利用训练好的的损失来训练网络；
；
式中，为验证判别器的损失，为验证判别器的映射函数，为不
可见类的属性向量，为对应的伪属性向量，，α为权重系数，
取值在0到1之间，；
综上，验证生成器AV的总损失为：。
网络的总损失为：
。
测试上述最终的基于双向注意力机制引导的对抗网络的有效性。
作为实验的数据来源的信号传感器将采集一维的振动信号，当冷却水泄漏量超过泄漏基准时认为是发生了故障。本实施例包括5组实验数据，分别为4种故障情况下数据和健康情况下的数据，每种情况采集了500个样本，并以3:1:1的比例划分为了训练集、可见类测试集和不可见类测试集。4种不同的故障会之间有相似之处，因此某些情况下用传统的数据处理方法很难进行故障诊断，且每种故障都会在核电设备的实际运行情况下造成不同程度的泄漏影响。因此本实施例提出的诊断方法是具有实际意义和实用性的。
表2 故障类型
| 故障序号 | 故障类型 |
| 故障1 | 静环径向一条划痕 |
| 故障2 | 静环径向多条划痕 |
| 故障3 | 静环周向多条划痕 |
| 故障4 | 静环表面凹坑 |
| 故障5 | 基准情况 |
本实施例采用的零样本诊断方法依赖于按照故障描述利用one-hot编码的属性描述矩阵，如表1和表3所示针对5种不同的情况，本实施例设置了7个细粒度属性描述以便于充分描述不同的故障情况。
表3 故障属性描述
| 属性编号 | 属性 |
| 属性1 | 介质A温度升高 |
| 属性2 | 介质B发生变化 |
| 属性3 | 实验压力发生变化 |
| 属性4 | 泄漏量无波动 |
| 属性5 | 振动不明显 |
| 属性6 | 系统温度正常 |
| 属性7 | 泄漏量不发生突变 |
为了验证模型的实用性同时防止偶然性，本实施例设计了如表4所示的五个分组实验，每组实验的可见类和不可见类各不相同，以模拟复杂不定的实际工况。为了验证网络的优越性，设计了诸多对比实验，用三个经典的ZSL模型：DAP、IAP、ESZSL，以及最先进的零样本和零样本故障诊断模型：f-CLSWGAN、Bi-VAEGAN、FDAT、SCE进行实验，其中CLSWGAN、Bi-VAEGAN和本实施例提出的基于双向注意力机制引导生成的对抗网络为基于属性的零样本学习模型。
实验期间记录下每种模型每组实验多次实验后的最大值，对比结果如表5和图2所示。为了让实验更加公平，对于基于GAN的模型，每次迭代都生成25组伪样本分别训练分类器，然后用相同的测试集来验证25组的准确率并记录其最大值与平均值。
表4 验证模型的分组实验
| 实验分组 | 可见类 | 不可见类 |
| A | 0, 1, 3 | 2, 4 |
| B | 0, 2, 4 | 1, 3 |
| C | 0, 1, 2 | 3, 4 |
| D | 2, 3, 4 | 0, 1 |
| E | 1, 3, 4 | 0, 2 |
表5 网络模型对比实验结果
对于每个实验的准确率最大值来说，如图2所示，在实验A、B、C、E中，本实施例的模型优于其他模型。但是在D组实验占优的两个基于GAN的模型每一次迭代后的25个实验结果差异较大，且大多数的准确率与最大值差距较大，导致其准确率平均值较低，这是由于GAN生成伪样本的不稳定性导致的。然而，本实施例的模型通过双关注机制加强了GAN生成伪样本的稳定性和准确性，使其准确率的平均值能优于所有模型，甚至在实验A、B、C、E中，本实施例的准确率平均值（97.92~99.79）优于其他模型的最大值（80.50~99.00）。
除DAP和IAP外，其他模型在B、C组实验中的表现相对较差。B组中FDAT的准确率41.50%低于了概率水平（50%）。除此之外B、C组中的ESZSL、FDAT和SCE模型的准确率都接近概率水平，说明这些方法几乎没有零样本分类能力。这是由于B、C组的实验存在更为严重的领域漂移问题。除了C组中CLSWGAN表现较差外，在这两组实验中基于GAN的三种方法整体优于基于属性的零样本学习方法，这展现了基于GAN的零样本学习方法在领域漂移问题上有更好的表现。这其中Bi-VAEGAN模型和本实施例提出的模型都采用了直推式学习的思路并且其准确率整体高于CLSWGAN。这又能说明了直推式零样本学习方法能更好的解决领域漂移问题。
为了确保模型中超参数的合理性，还针对AGAN的总损失中的α、β、γ和δ超参数，研究了不同超参数对模型的影响。本实施例研究超参数的目的是为了激发模型的最佳性能，而由上述实验可知A组实验的准确率最高。因此超参数的研究是建立在A组实验的基础上进行的，每次实验都只改变单个超参数的值，其结果如图3所示，α和β对模型的影响相对较大。所有超参数对准确率的最大值的影响较小，对平均值的影响较大，说明这些超参数的大小主要影响了生成模型的稳定性。由如图3所示的折线图可以看出在α=1000、β=1000、γ=1、δ=10000时模型得到了最佳性能。
基于多头注意力机制和直推式零样本学习思想提出的Dual attention-guideGAN模型。为了验证多头注意力机制和直推式学习对于零样本学习的有效性，此实验是基于最具有挑战性的B组实验来进行的。
（1）多头注意力机制
如图4（a）所示，本实施例通过实验记录了本实施例的模型（DAGAN）和消去多头注意力机制后的模型（DGAN）的最佳结果。从图上可知DAGAN在稳定性和准确性上都明显优于DGAN。DAGAN的零样本识别精度最高可达98%（平均值为97.92），而DGAN仅可达到89.5%（平均值为66.76%）。并且DGAN性能最佳的时候生成的25组伪特征差异较大，严重影响了分类准确性。而DAGAN的25组伪特征差异较小，稳定性较好，仅有一组准确率不能维持在98%。可见多头注意力机制提高了GAN生成伪特征的性能，使其能够更好的从属性空间映射到特征空间。
（2）直推式学习
本实施例利用直推式学习的思想在AGAN的基础上添加了AV。为了验证AV的有效性，本实施例单独使用不补充未见类信息的AGAN来进行试验并与DAGAN做对比。这里本实施例将消去直推式学习后的模型成为归纳式AGAN（IAGAN）。实验结果如图4（b）所示。相比本实施例的最高准确率（98%），IAGAN的最高准确率为97.5%，并没有很大的降低。但是相比本实施例的最大平均值（97.92%），IAGAN仅为84.7%。说明不使用直推式学习的思路，严重影响了生成未见类特征的能力，使得分类准确性波动较大。
综合两个消融实验本实施例可以看到：消去多头注意力机制，最高准确率下降了8.5%、最大平均准确率下降了31.16%；消去直推式学习，最高准确率下降了0.5%，最大平均准确率下降了13.22%。由此可见这两个模块都对模型性能有着很大的提升。其中多头注意力机制对性能的提升明显优于直推式学习。
本实施例提供出了一种基于双向注意力引导GAN模型的核密封智能诊断方法，该方法利用已知的主泵轴静环密封故障的振动信号进行训练，识别未知的密封故障，以解决实际核电工业场景中密封故障样本的稀缺。
本实施例对核电密封故障分类的准确率最高达到了99.99%，25组重复实验的平均准确率达到了99.79%。多种零样本方法对比实验结果表明，基于双向注意力引导的GAN模型可以有更好的零样本分类能力。参数敏感性分析反应了各损失对模型性能的影响。消融实验证明了多头自注意力机制和直推式零样本学习可以有效的缓解领域漂移问题。本实施例主要研究传统的零样本故障诊断问题，即利用已知的故障进行训练来识别未知的故障。在未来的工作中，本实施例将探索更具挑战性的广义零样本方法，该方法由已知样本训练，并使用所有已知和未知样本进行测试。这将有助于准确识别和分类各种故障，并促进智能诊断方法的应用。
以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。
Claims (1)
1.一种基于注意力引导的生成对抗网络零样本核电密封检测方法，其特征在于，包括如下步骤：
步骤1：建立基于双向注意力引导的生成对抗网络；
所述基于双向注意力引导的生成对抗网络包括编码器、AGAN网络和验证网络；
所述编码器用于将数据的属性向量和特征向量编码输出一个隐向量；
所述AGAN网络是在生成对抗网络的生成器中融合多头注意力机制，AGAN网络包括注意力引导的条件生成器AG和条件判断器D，条件生成器AG根据输入的隐向量以数据的属性向量为条件通过多头自注意力机制引导生成伪特征向量；再通过条件判断器判断伪特征向量的真伪；
所述验证网络包括注意力引导的验证生成器AV和验证判别器DV，验证生成器AV用于验证注意力引导的条件生成器AG生成的伪特征向量的准确性，并通过验证判别器判断验证结果的准确性；
步骤2：训练数据的获取及处理；
通过全尺寸单级密封故障影响规律试验台获取步骤1建立的基于双向注意力引导的生成对抗网络的训练数据；
将训练数据按照零样本的类别分为可见类和不可见类，其中可见类数据具有标签信息，不可见类数据不具有标签信息，可见类特征向量集为，不可见类特征向量集为/>，/>和/>分别为可见类和不可见类中特征向量/>和/>的数量；其中，可见类的标签信息集/>；
利用属性向量来描述可见类和不可见类的故障属性，可见类属性向量集为，不可见类属性向量集为/>，其中，/>和/>分别为可见类属性向量集和不可见类属性向量集中属性向量/>和/>的数量；
利用故障属性对每一种核电密封故障进行了故障描述，按照故障描述利用one-hot编码获取稀疏矩阵来表示属性向量，故障属性包括故障的原因、故障的影响和故障发生的位置；
步骤3：训练基于双向注意力引导的对抗网络；
步骤3-1：采用编码器将可见类和不可见类的特征向量集和属性向量集编码生成可见类隐向量和不可见类隐向量/>，用于作为AGAN网络的条件输入；
步骤3-2：对AGAN网络的训练，其过程如下：
首先，采用可见类的特征向量集和属性向量集对AGAN网络训练，隐向量作为条件和属性向量集/>为输入一同输入到条件生成器AG生成伪特征向量/>；
可见类特征向量与其对应输出的伪特征向量的损失函数为：
，
式中，为Kullback-Leibler散度，En为编码器的映射函数，是/>范数归一化后特征的绝对平均误差MAE，E为统计学中的求平均值；
再利用条件判别器区分伪特征向量/>的真伪，使用的WGAN-GP的损失函数对真伪特征的度量；
，
式中，为可见类的损失函数，D为可见类的条件判别器的映射函数，/>为可见类的特征向量，/>为可见类的属性向量，/>为特征向量/>对应输出的伪特征向量，，α为权重系数，取值在0到1之间；/>为梯度算子；
然后，采用不可见类的属性向量和隐向量/>一同属于到AGAN网络训练输出伪特征向量/>，条件判别器/>判断为/>的真伪的损失为：
，
式中，为不可见类的损失函数，/>为不可见类的条件判别器的映射函数，为不可见类的特征向量，/>为不可见类特征向量/>对应输出的伪特征向量，，α为权重系数，取值在0到1之间；
对于不可见类训练数据不使用条件损失；
步骤3-3：验证网络的训练，
首先，采用可见类的特征向量集输入到验证生成器AV中生成为伪属性向量，伪属性向量与属性向量/>之间的损失为/>，
；
式中，为验证生成器的映射函数，/>为可见类特征向量，/>为可见类属性向量；
然后，不可见类特征向量输入至验证生成器AV，输出为伪属性向量/>，再通过判别器/>来判断为属性的真伪，以随机的不可见类属性向量为条件，获得损失函数；
；
式中，，α为权重系数，取值在0到1之间，/>为不可见类的验证判别器的映射函数，/>为不可见类的属性向量，/>为/>对应的伪属性向量，/>为梯度算子；
当验证生成器AV训练好后，冻结其参数，再利用验证生成器AV验证条件生成器AG生成的伪特征向量；伪特征向量/>与特征向量/>之间的损失/>为：
；
式中，AV为验证生成器的映射函数，G为条件生成器的映射函数，为不可见类的属性向量；/>为不可见类的隐向量；
最后利用训练好的验证判别器的损失来训练AGAN网络；
；
式中，为验证判别器/>的损失，/>为验证判别器的映射函数，/>为不可见类的属性向量，/>为/>对应的伪属性向量，/>，α为权重系数，取值在0到1之间，/>；
验证生成器AV的总损失为：；
网络的总损失为：
；
训练后测试最终的基于双向注意力机制引导的对抗网络的有效性，即获得可用于检测核电密封性的基于双向注意力机制引导的对抗网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038426.XA CN117610614B (zh) | 2024-01-11 | 2024-01-11 | 基于注意力引导的生成对抗网络零样本核电密封检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038426.XA CN117610614B (zh) | 2024-01-11 | 2024-01-11 | 基于注意力引导的生成对抗网络零样本核电密封检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117610614A CN117610614A (zh) | 2024-02-27 |
| CN117610614B true CN117610614B (zh) | 2024-03-22 |
Family
ID=89953786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410038426.XA Active CN117610614B (zh) | 2024-01-11 | 2024-01-11 | 基于注意力引导的生成对抗网络零样本核电密封检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117610614B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
| CA3076646A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for generation of unseen composite data objects |
| WO2023044979A1 (zh) * | 2021-09-27 | 2023-03-30 | 苏州大学 | 类不平衡数据集下的机械故障智能诊断方法 |
| CN116129174A (zh) * | 2022-12-08 | 2023-05-16 | 河北工业大学 | 基于特征细化自监督学习的广义零样本图像分类方法 |
| WO2023095460A1 (en) * | 2021-11-25 | 2023-06-01 | Mitsubishi Electric Corporation | System and method for automated transfer learning with domain disentanglement |
| CN116628592A (zh) * | 2023-06-01 | 2023-08-22 | 未必然数据科技(北京)有限公司 | 一种基于改进型生成式对抗网络的动设备故障诊断方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10551826B2 (en) * | 2016-03-24 | 2020-02-04 | Andrei Popa-Simil | Method and system to increase operator awareness |
| US20230162023A1 (en) * | 2021-11-25 | 2023-05-25 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Automated Transfer Learning with Domain Disentanglement |
-
2024
- 2024-01-11 CN CN202410038426.XA patent/CN117610614B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3076646A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for generation of unseen composite data objects |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
| WO2023044979A1 (zh) * | 2021-09-27 | 2023-03-30 | 苏州大学 | 类不平衡数据集下的机械故障智能诊断方法 |
| WO2023095460A1 (en) * | 2021-11-25 | 2023-06-01 | Mitsubishi Electric Corporation | System and method for automated transfer learning with domain disentanglement |
| CN116129174A (zh) * | 2022-12-08 | 2023-05-16 | 河北工业大学 | 基于特征细化自监督学习的广义零样本图像分类方法 |
| CN117095196A (zh) * | 2022-12-08 | 2023-11-21 | 河北工业大学 | 基于特征细化自监督学习的广义零样本图像分类方法 |
| CN116628592A (zh) * | 2023-06-01 | 2023-08-22 | 未必然数据科技(北京)有限公司 | 一种基于改进型生成式对抗网络的动设备故障诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117610614A (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107907778B (zh) | 一种基于多特征参量的变压器综合故障诊断方法 | |
| CN110543903A (zh) | 一种gis局部放电大数据系统的数据清洗方法及系统 | |
| Fu et al. | Anomaly detection of complex MFL measurements using low-rank recovery in pipeline transportation inspection | |
| CN107842713A (zh) | 基于knn‑svr的海底管道漏磁数据缺失插补方法 | |
| Zhang et al. | Data recovery of magnetic flux leakage data gaps using multifeature conditional risk | |
| Feng et al. | A single-stage enhancement-identification framework for pipeline MFL inspection | |
| CN113887136A (zh) | 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法 | |
| CN112766301A (zh) | 一种采油机示功图相似性判断方法 | |
| Liu et al. | An intelligent defect detection approach based on cascade attention network under complex magnetic flux leakage signals | |
| Qiu et al. | Resisting out-of-distribution data problem in perturbation of xai | |
| CN117610614B (zh) | 基于注意力引导的生成对抗网络零样本核电密封检测方法 | |
| CN112836719A (zh) | 一种融合二分类和三元组的示功图相似性检测方法 | |
| Jiang et al. | THMS-Net: A two-stage heterogeneous signals mutual supervision network for MFL weak defect detection | |
| Yuksel et al. | A novel cascaded deep learning model for the detection and quantification of defects in pipelines via magnetic flux leakage signals | |
| Yang et al. | A Fault Identification Method for Electric Submersible Pumps Based on DAE‐SVM | |
| Shi et al. | Internal leakage rate prediction and failure diagnosis of buried pipeline ball valve based on valve cavity pressure detection | |
| Zaman et al. | Fault Diagnosis in Centrifugal Pumps: A Dual-Scalogram Approach with Convolution Autoencoder and Artificial Neural Network | |
| CN116415201A (zh) | 基于深度同心学习的船舶主动力异常检测方法 | |
| Wang et al. | Dual Branch Learning with Prior Information for Surface Anomaly Detection | |
| CN115392109A (zh) | 一种基于生成模型的lstm多变量时间序列异常检测方法 | |
| CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 | |
| Kim et al. | Damage detection with an ultrasound array and deep convolutional neural network fusion | |
| CN114120043A (zh) | 一种基于生产动态数据和示功图检测异常抽油井的方法 | |
| CN111881988A (zh) | 基于少数类过采样方法的异质不平衡数据故障检测方法 | |
| Ferreira et al. | Corrosion-like defect severity estimation in pipelines using convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |