CN113283577A - 一种基于元学习和生成对抗网络的工业平行数据生成方法 - Google Patents

一种基于元学习和生成对抗网络的工业平行数据生成方法 Download PDF

Info

Publication number
CN113283577A
CN113283577A CN202110250166.9A CN202110250166A CN113283577A CN 113283577 A CN113283577 A CN 113283577A CN 202110250166 A CN202110250166 A CN 202110250166A CN 113283577 A CN113283577 A CN 113283577A
Authority
CN
China
Prior art keywords
data
meta
learning
generation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110250166.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202110250166.9A priority Critical patent/CN113283577A/zh
Publication of CN113283577A publication Critical patent/CN113283577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出了一种基于元学习和生成对抗网络的工业平行数据生成方法，基于元学习中的MAML模型和生成对抗网络(GAN)思想，结合自注意力机制，设计一种工业平行数据生成对抗网络MT‑GAN(MAML+Transformer+GAN)。MT‑GAN的基学习器使用部分Transformer模型结构设计生成器，学习工业设备传感器数据之间的时间依赖关系，生成符合工业设备运行规律的数据，基于自注意力机制设计鉴别器SAMT(Self Attention Mechanism Discriminator)，判断生成的数据是否具备真实性。MT‑GAN的元学习器从不同设备的数据生成任务中学习设备的物理共性，对数据生成网络初始化参数进行迭代训练，使得初始化参数能够快速适应新设备。

Description

一种基于元学习和生成对抗网络的工业平行数据生成方法
技术领域
本发明涉及工业互联网领域、深度学习领域，具体涉及到一种基于元学习和生成对抗网络的工业平行数据生成方法。
背景技术
MT-GAN主要基于元学习和生成对抗网络的思想，通过元学习机制，使得生成对抗网络降低了对数据集大小的依赖。生成对抗网络中结合自注意力机制的特点，能够有效学习工业设备的运行数据特征和同种类工业设备间的物理共性，使得生成的数据能够为相关深度学习任务提供支撑。设最接近本发明的技术有：
(1)基于Few Shot Learning和GAN的新网络模型FSGAN，FSGAN能够在新的目标域生成新的高质量的样本图片，该模型首先将预训练GAN的网络参数进行奇异值分解，然后在目标域上使用GAN优化器来更新奇异值，通过网络参数的奇异值分解能够将可训练的参数空间限制到高度表达的小部分参数。
基于Few Shot Learning和GAN的新网络模型FSGAN被用于图像生成相关领域，相比于工业设备领域，图像生成领域内具备较为完善的数据集，能够使 FSGAN模型有足够的数据支撑将复杂的参数空间限制到高度表达的小部分参数，此外工业数据还具备有时序的特点，FSGAN的模型结构还不具备提取时序数据特征的能力。
发明内容
为解决现有技术中的缺点和不足，本发明提出了一种基于元学习和生成对抗网络的工业平行数据生成方法，根据工业设备间的物理特性和时序特征来对抗生成工业平行数据。
本发明的技术方案为：
一种基于元学习和生成对抗网络的工业平行数据生成方法，包括基学习器的生成器、判别器设计，元学习器的参数更新方式，包括以下部分：
(1)元学习中的生成器网络。对二维高斯分布进行采样生成噪音
Figure BDA0002965234530000021
其中t为固定时长内传感器数据的个数，n为在同一时间点内所有传感器数据的个数。将Z输入到Encoder网络，经过3个Encoder模块后生成特征
Figure BDA0002965234530000022
随后特征TG与Decoder网络的输出一起输入的Decoder网络中，生成下一时刻的传感器数据。生成器目的在有限的训练样本和迭代次数内生成尽量真实的数据，其目标函数如公式(1)所示。
L(G)＝Ez～p(z)log(1-D(G(z))) (1)
D代表判别器，D(x)表示数据x为真实数据的概率，G代表生成器，z表示噪音，G(z)表示生成器网络生成的数据，等于x，E表示数学期望。
(2)元学习中的判别器网络。将生成器生成的数据和真实数据进行混合作为判别器的训练数据，首先需要对数据按照公式(2)进行位置编码，将位置编码与原传感器数据进行相加作为判别器的输入，经过Encoder编码层输出特征向量
Figure BDA0002965234530000023
TD经过扁平化处理后输入到Soffmax层进行分类，判断数据是生成数据还是真实数据。判别器网络的目标函数如(4)。
Figure BDA0002965234530000031
Figure BDA0002965234530000032
j表示第几个时间点的传感器数据，n表示传感器数据的维度，i表示第i个维度，i＝1，2，…n。
L(D)＝Ex～p(x)logD(x)+Ez～p(z)log(1-D(G(z))) (4)
(3)基学习器训练方式和损失函数。基学习器的生成器和判别器采用交替训练的方式，生成器的损失函数如公式(5)所示，θ表示网络的参数，目的在于让生成器生成的数据能够让判别器识别不出来。判别器的损失函数如公式(6) 所示，这样做是为了让判别器能够尽可能的辨别出真实数据和生成器生成的数据。基学习器的参数更新规则如公式(7)。α表示学习率。
Figure BDA0002965234530000033
Figure BDA0002965234530000034
Figure BDA0002965234530000035
元学习器的目的是平衡各基学习器的学习效果，找到适合于所有任务的最优初始化模型，从而在面对新任务时仅需少量数据便可取得较好的生成效果。元学习的生成器损失函数如公式(8)，判别器函数如公式(9)，参数更新规则如公式 (10)。β表示学习率。
Figure BDA0002965234530000036
Figure BDA0002965234530000037
Figure BDA0002965234530000041
本发明的有益效果：
(1)使用生成对抗生成网络加Transformer作为数据的生成器，有效地对工业设备运行数据地内在关系进行学习；
(2)使用基于元学习的方法能够通过小样本数据有效生成大样本数据，为深度学习提供数据支持；
(3)使用位置编码将时间信息编码进数据的特征当中，使得判别器对生成数据和真实数据实现更准确判别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明生成对抗网络的生成器模块；
图2为本发明生成对抗网络的判别器模块；
图3为本发明生成对抗网络中的Encoder和Decoder结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的基于元学习和生成对抗网络的工业平行数据生成方法的系统结构包含四个模块：数据生成模块、位置编码模块、数据判别模块、迭代更新模块。
下面结合图1、2和3，对元学习和生成对抗网络的工业平行数据生成方法的具体流程进行详细说明：
步骤(1)：将不同工业设备的数据划分为不同的任务，每个任务中再划分支持集和查询集；
步骤(2)：如图1所示，使用元学习器对基学习器进行参数初始化，对二维高斯分布进行采样，获取噪音，输入基学习器的生成器网络中，经过编码和解码层，输出生成数据；
步骤(3)：如图2所示，将生成的数据经过位置编码后作为判别器网络的输入，判别数据的真实性；
步骤(4)：生成器和判别器交替训练，每个任务中的支持集作为训练数据，查询集作为测试数据，计算基学习器在该任务上的损失；
步骤(5)：将每个任务的损失进行累加，计算元学习器的损失和梯度，更新元学习器的网络参数。
本发明的基于元学习和生成对抗网络的工业平行数据生成方法，结合元学习的特点，能够在样本数据少的情况下，生成具备一定质量的工业设备的平行数据，结合自注意力机制作为对抗生成网络的生成器和判别器，能够有效学习工业设备连续运行时的数据之间的潜在特征。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于元学习和生成对抗网络的工业平行数据生成方法，其特征在原有的元学习基础上，将自注意力机制添加进生成对抗网络中，使得元学习训练得到的生成对抗网络初始化参数，在目标设备上少量迭代后，具备生成平行数据的能力。该方法共包含四个模块：数据生成模块、位置编码模块、数据判别模块、迭代更新模块。具体有以下步骤：
步骤(1)：将同种类不同工业设备的运行数据划分为不同的任务，每个任务包含支持集和查询集；
步骤(2)：在数据生成模块中，包含数据编码层和解码层，数据编码层对数据进行编码，生成数据的特征矩阵，在解码层，输入当前提取的特征和历史生成数据，生成当前数据，使得生成的数据具备时间序列特征；
步骤(3)：在位置编码模块中，将生成数据的时间序列信息编码进数据的特征当中，使得数据含有时间序列特征；
步骤(4)：在数据判别模块中，混合真实数据和生成数据，结合自注意力机制提取输入的特征，鉴别输入数据是否是真实数据，并进行反向传播，调整生成器的网络参数。
步骤(5)：在迭代更新模块，用于整个框架体系的更新和运行，调度基学习器的生成器和判别器的训练过程，以及元学习器的训练过程。
CN202110250166.9A 2021-03-08 2021-03-08 一种基于元学习和生成对抗网络的工业平行数据生成方法 Pending CN113283577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110250166.9A CN113283577A (zh) 2021-03-08 2021-03-08 一种基于元学习和生成对抗网络的工业平行数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110250166.9A CN113283577A (zh) 2021-03-08 2021-03-08 一种基于元学习和生成对抗网络的工业平行数据生成方法

Publications (1)

Publication Number Publication Date
CN113283577A true CN113283577A (zh) 2021-08-20

Family

ID=77276208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110250166.9A Pending CN113283577A (zh) 2021-03-08 2021-03-08 一种基于元学习和生成对抗网络的工业平行数据生成方法

Country Status (1)

Country Link
CN (1) CN113283577A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743363A (zh) * 2021-09-17 2021-12-03 中国人民解放军国防科技大学 一种基于无人机系统小样本的遮挡目标识别方法
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743363A (zh) * 2021-09-17 2021-12-03 中国人民解放军国防科技大学 一种基于无人机系统小样本的遮挡目标识别方法
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Similar Documents

Publication Publication Date Title
CN113283577A (zh) 一种基于元学习和生成对抗网络的工业平行数据生成方法
CN106570464B (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN109635763B (zh) 一种人群密度估计方法
CN113571124B (zh) 一种配体-蛋白质相互作用的预测方法及装置
CN113381828B (zh) 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法
CN110728629A (zh) 一种用于对抗攻击的图像集增强方法
CN114662788B (zh) 一种海水水质三维时空序列多参数精准预测方法及系统
CN111967573A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN111898482A (zh) 基于渐进型生成对抗网络的人脸预测方法
CN111046757A (zh) 人脸画像生成模型的训练方法、装置及相关设备
CN113627597A (zh) 一种基于通用扰动的对抗样本生成方法及系统
CN117291232A (zh) 一种基于扩散模型的图像生成方法与装置
CN108959512B (zh) 一种基于属性增强注意力模型的图像描述网络及技术
CN115630612A (zh) 一种基于vae与wgan的软件度量缺陷数据增广方法
CN115496134A (zh) 基于多模态特征融合的交通场景视频描述生成方法和装置
CN110909254B (zh) 基于深度学习模型针对问答社区进行问题热度预测的方法和系统
CN114492944A (zh) 基于TLBO-Elman的光伏电站短期发电功率预测方法、装置及存储介质
CN114139655A (zh) 一种蒸馏式竞争学习的目标分类系统和方法
Padmasiri et al. Impact on JPEG Image Steganalysis using Transfer Learning
Wu et al. A Steganalysis framework based on CNN using the filter subset selection method
Kim et al. Optimized quantization for convolutional deep neural networks in federated learning
Wei et al. A variational auto-encoder model for underwater acoustic channels
CN116610770B (zh) 一种基于大数据的司法领域类案推送方法
CN114638365B (zh) 一种机器阅读理解推理方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination