CN113469263A - 适于小样本的预测模型训练方法、装置及相关设备 - Google Patents
适于小样本的预测模型训练方法、装置及相关设备 Download PDFInfo
- Publication number
- CN113469263A CN113469263A CN202110789134.6A CN202110789134A CN113469263A CN 113469263 A CN113469263 A CN 113469263A CN 202110789134 A CN202110789134 A CN 202110789134A CN 113469263 A CN113469263 A CN 113469263A
- Authority
- CN
- China
- Prior art keywords
- sample
- attention
- full
- samples
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 title claims abstract description 41
- 238000006068 polycondensation reaction Methods 0.000 claims abstract description 30
- 239000002356 single layer Substances 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 239000010410 layer Substances 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了适于小样本的预测模型训练方法、装置及相关设备。该方法包括获取终缩聚反应器的特征数据，并根据位置算法对每一个特征数据进行采样位序计算，得到位序序列；将位序序列和特征数据的时间序列进行合并，得到样本序列；通过预设多层自注意力网络对样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；获取终缩聚反应器不同运行状态的全注意力特征，从任意两种运行状态的全注意力特征中提取出标量样本、正样本以及负样本进行组合，得到组合特征；基于全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。该方法大幅降低对样本数据量的需求。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种适于小样本的预测模型训练方法、装置及相关设备。
背景技术
SSP(聚酯固相缩聚)生产线中，搅拌器作为主反应器的主要组件，体积最大并且结构也是相对最复杂，而且与其他设备是串联关系。如果发生故障，一方面需要停掉整个生产线对其进行故障诊断与维修，从而造成非计划停机的设备闲置损失；另一方面，突发性的非计划停机，也会造成设备中的化学材料反应物质由于反应不充分，而造成原材料浪费。
故障预测现在是工业互联网应用的核心内容，而传统的支持向量机(SVM)，随机森林算法(RF)，梯度下降树(GBDT)等机器学习算法，对高维非线性的模型处理效果不是很理想；卷积神经网络(CNN)考虑不到时间序列数据的前后关系，对结果预测不准确；循环神经网络(RNN)对长时间序列的数据大概率会出现梯度消失的风险；长短期记忆人工神经网络(LSTM)对高纬度小样本数据的分类效果比较差极易出现过拟合的状况。没有考虑到化学材料生产环境，设置具有针对性的算法机理模型，并且作为工业传感器采集的数据，数据存在变化量少，数据样本少的特点。因此迫切需要一种应对数据样本少时的故障预测模型训练方法。
发明内容
本发明实施例提供了一种适于小样本的预测模型训练方法、装置及相关设备，旨在解决现有技术中数据样本数量少时终缩聚反应器故障预测不准确的问题。
第一方面，本发明实施例提供了一种适于小样本的预测模型训练方法，其包括：
获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
第二方面，本发明实施例提供了一种适于小样本的预测模型训练装置，其包括：
计算模块，用于获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
合并模块，用于获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
提取模块，用于通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
拼接模块，用于获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
训练模块，用于基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的适于小样本的预测模型训练方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的适于小样本的预测模型训练方法。
本发明实施例提供了一种适于小样本的预测模型训练方法、装置及相关设备。该方法包括获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。该方法通过对终缩聚反应器的特征数据进行特征增强，得到全注意力特征后进行随机组合，形成组合特征，利用组合特征的构建增加样本数据的数量，大幅降低终缩聚反应器的故障预测模型对样本数据量的需求，保证样本数据量不高时故障预测模型对终缩聚反应器进行故障预测的准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的适于小样本的预测模型训练方法一实施例的流程示意图；
图2为本发明实施例提供的适于小样本的预测模型训练方法另一实施例步骤S140的子流程示意图；
图3为本发明实施例提供的适于小样本的预测模型训练装置的示意性框图；
图4为本发明实施例提供的适于小样本的预测模型训练方法中自注意力网络的网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1为本发明实施例提供的适于小样本的预测模型训练方法的流程示意图，该方法包括步骤S110～S150。
步骤S110、获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
本实施例中，通过在终缩聚反应器的搅拌机上搅拌箱安装传感器或自动控制(DCS)系统，从传感器或从自动控制(DCS)系统上提取终缩聚反应器上获取终缩聚反应器的特征数据。其中，特征数据至少包括终缩聚反应器中搅拌器的震动、设备内部的温度、噪音、输入扭矩和输出扭矩等。为了加快计算速度，可以对提取的特征数据进行批标准化(BatchNormalization)操作。为了减少计算层数，并且根据特征数据的采集时间排序，因此特征数据为一个时间序列，利用位置算法对每一个特征数据进行采样位序计算，得到特征数据的位序序列。采样位序包括奇数位和偶数位，具体的，位置算法如下：
在同一运行状态中处于偶数位的特征数据按以下公式计算:
p＝sin(pos/10002i)，
在同一运行状态中处于奇数位的特征数据按以下公式计算:
p＝cos(pos/10002i)
其中，p表示数据的采样位序，pos表示当前时段在整个采集周期内的位置，i表示同一时间内采集数据向量内当前数据所处的位置。
步骤S120、获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
本实施例中，为了获取特征数据的相对位置和绝对位置，对所获得的位置序列和特征数据对应的时间序列进行求和，得到具有相对位置信息和绝对位置信息的样本序列。
步骤S130、通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
本实施例中，通过预设多层自注意力网络对样本序列进行注意力特征提取，每一层自注意力特征网络得到一个单层注意力特征，最后将多个单词注意力特征进行拼接，得到样本序列的全注意力特征。
例如，使用8层自注意力网络，以第一层为例，存在：
K1＝XWk1，
V1＝XWv1，
Q1＝XWq1，
其中，X表示样本序列，K1、V1、Q1表示单层自注意力网络的系数矩阵，Wk1、Vk1、Qk1表示系数矩阵的权重矩阵。
接着可以得到单层自注意力特征：
其中，||d||为向量的模。需要指的的是，由于采集的特征数据量值变化较大，为了保证数据的平稳因而需要除以向量的模。
按第一层的计算方法可以依次得到其余7层自注意力网络的自注意力特征提取结果(单层注意力特征)Z2至Z8。
接着对8个自注意力网络的单层注意力特征进行拼接，得到自注意力机制的最终结果：
Z＝concate(Z1，Z2，Z3，Z4，Z5，Z6，Z7，Z8)，其中concate表示矩阵拼接函数。
进一步的，为了加快计算速度，可以对Z进行归一化处理，则有：
其中，z为全注意力特征，m为z的列数，
为归一化结果，δ为方差，ε为极小值。
此外，为了减少梯度消失需要，对归一化后的全注意力特征进行变换：
为了方便实现多层自注意力机制，在残差处理完成后，加入了一个前馈神经网络，将样本序列的维数大小转换成特征数据的维数大小，激活函数为relu，表达式如下：
其中，
为转换后的矩阵的值，zi为样本序列的值，W1、W2为权重矩阵，b1、b2为偏置项。
需要知道的是，如图4的网络重复进行N次，得到特征数据的全注意力特征，N的值与自注意力网络的层数一致。
步骤S140、获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
本实施例中，获取终缩聚反应器不同运行状态的全注意力特征，运行状态如终缩聚反应器正常运行状态、亚正常运行状态及故障状态。随机从不同运行状态中选择两种运行状态，在两种运行状态中的全注意力特征中选取标量样本、正样本和负样本，并基于标量样本、正样本和负样本进行组合，得到组合特征，将组合特征也作为训练网络的数据特征，增加特征数据的特征数量。
如图2所示，在一实施例中，步骤S140包括：
步骤S141、获取终缩聚反应器不同运行状态的所述全注意力特征，得到至少三个运行状态的全注意力特征；
步骤S142、随机从所有全注意力特征中选择两种运行状态的全注意力特征，从其中一个全注意力特征中随机选取不同时间的两个全注意力特征分别作为所述标量样本和正样本，从另一个全注意力特征中随机选取一个全注意力特征作为所述负样本。
本实施例中，获取终缩聚反应器不同运行状态的所述全注意力特征，得到至少三个运行状态的全注意力特征；随机从所有全注意力特征中选择两种运行状态的全注意力特征，从其中一个全注意力特征中随机选取不同时间的两个全注意力特征分别作为标量样本和正样本，从另一个全注意力特征中随机选取一个全注意力特征作为负样本。
例如，从三种运行状态的全注意力特征中选取正常运行状态和故障状态的全注意力特征，接着随机从正常运行状态中选择一个时间对应的全注意力特征作为标量样本，再选取另一个时间对应的全注意力特征作为正样本；接着从故障状态中选取一个时间对应的全注意力特征作为负样本。
在标量样本、正样本以及负样本的选择完成后，使用二范式计算样本间的距离，具体如下：
其中，x+表示正样本，表示负样本，xa表示标量样本，d+为所述标量样本与正样本之间的距离，d-为所述标量样本与负样本之间的距离。
步骤S150、基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
本实施例中，基于全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。其中，预设损失函数，通过计算损失函数对故障预测网络进行反向传播，优化整个故障预测网络，损失函数如下：
Loss(xa,x+,x-)＝max{0,d++a-d-}，
其中，x+表示正样本，表示负样本，xa表示标量样本，d+为所述标量样本与正样本之间的距离，d-为x-所述标量样本与负样本之间的距离，a为预设参数。
进一步的，通过预设损失函数优化整个故障预测网络后，测试集中的向量对每个分类向量求二范式距离，距离值最小即为该判定值，如果距离值量级一致，则为新的故障类型。最后根据预设误差函数检验所述最终预测值与实际值的误差，其中，所述误差函数如下：
其中，X为误差值，
为最终预测值，yi为实际值。
该方法通过对终缩聚反应器的特征数据进行特征增强，得到全注意力特征后进行随机组合，形成组合特征，利用组合特征的构建增加样本数据的数量，大幅降低终缩聚反应器的故障预测模型对样本数据量的需求，保证样本数据量不高时故障预测模型对终缩聚反应器进行故障预测的准确率。
如图3所示，适于小样本的预测模型训练装置100包括计算模块110、合并模块120、提取模块130、拼接模块140、训练模块150。
计算模块110，用于获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
合并模块120，用于获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
提取模块130，用于通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
拼接模块140，用于获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
训练模块150，用于基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
在一实施例中，拼接模块140包括：
获取单元，用于获取终缩聚反应器不同运行状态的所述全注意力特征，得到至少三个运行状态的全注意力特征；
选取单元，用于随机从所有全注意力特征中选择两种运行状态的全注意力特征，从其中一个全注意力特征中随机选取不同时间的两个全注意力特征分别作为所述标量样本和正样本，从另一个全注意力特征中随机选取一个全注意力特征作为所述负样本。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的适于小样本的预测模型训练方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的适于小样本的预测模型训练方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种适于小样本的预测模型训练方法，其特征在于，包括：
获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
2.根据权利要求1所述的适于小样本的预测模型训练方法，其特征在于，所述位置算法如下：
在同一运行状态中处于偶数位的特征数据按以下公式计算:
p＝sin(pos/10002i)，
在同一运行状态中处于奇数位的特征数据按以下公式计算:
p＝cos(pos/10002i)
其中，p表示数据的采样位序，pos表示当前时段在整个采集周期内的位置，i表示同一时间内采集数据向量内当前数据所处的位置。
3.根据权利要求1所述的适于小样本的预测模型训练方法，其特征在于，在所述通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征之后，还包括：
对所述全注意力特征进行归一化处理，归一化计算方式如下：
其中，z为全注意力特征，m为z的列数，
为归一化结果，δ为方差，ε为极小值。
4.根据权利要求1所述的适于小样本的预测模型训练方法，其特征在于，所述多层注意力网络中设有前馈神经网络，所述前馈神经网络转换表达式如下：
其中，
为转换后的矩阵的值，zi为所述样本序列的值，W1、W2为权重矩阵，b1、b2为偏置项。
5.根据权利要求1所述的适于小样本的预测模型训练方法，其特征在于，所述获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，包括：
获取终缩聚反应器不同运行状态的所述全注意力特征，得到至少三个运行状态的全注意力特征；
随机从所有全注意力特征中选择两种运行状态的全注意力特征，从其中一个全注意力特征中随机选取不同时间的两个全注意力特征分别作为所述标量样本和正样本，从另一个全注意力特征中随机选取一个全注意力特征作为所述负样本。
6.根据权利要求5所述的适于小样本的预测模型训练方法，其特征在于，在所述将所述标量样本、正样本以及负样本进行组合，得到组合特征之后，包括：
使用二范式计算所述正样本和负样本的距离，具体如下：
其中，x+表示正样本，表示负样本，xa表示标量样本，d+为所述标量样本与正样本之间的距离，d-为所述标量样本与负样本之间的距离。
7.根据权利要求1所述的适于小样本的预测模型训练方法，其特征在于，在所述基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络之后，包括：
预设损失函数，通过计算所述损失函数对所述故障预测网络进行反向传播，优化所述故障预测网络；
其中所述损失函数表达式如下：
Loss(xa,x+,x-)＝max{0,d++a-d-}，
其中，x+表示正样本，表示负样本，xa表示标量样本，d+为所述标量样本与正样本之间的距离，d-为x-所述标量样本与负样本之间的距离，a为预设参数。
8.一种适于小样本的预测模型训练装置，其特征在于，包括：
计算模块，用于获取终缩聚反应器的特征数据，并根据位置算法对每一个所述的特征数据进行采样位序计算，得到位序序列；
合并模块，用于获取所述特征数据对应的时间序列，将所述位序序列和时间序列进行合并，得到样本序列；
提取模块，用于通过预设多层自注意力网络对所述样本序列进行注意力特征提取得到多个单层注意力特征，并对所有单层注意力特征进行拼接，得到全注意力特征；
拼接模块，用于获取终缩聚反应器不同运行状态的所述全注意力特征，从任意两种运行状态的所述全注意力特征中提取出标量样本、正样本以及负样本，并将所述标量样本、正样本以及负样本进行组合，得到组合特征；
训练模块，用于基于所述全注意力特征和组合特征对预设的故障预测网络进行训练，得到目标故障预测网络。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的适于小样本的预测模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的适于小样本的预测模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789134.6A CN113469263B (zh) | 2021-07-13 | 2021-07-13 | 适于小样本的预测模型训练方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789134.6A CN113469263B (zh) | 2021-07-13 | 2021-07-13 | 适于小样本的预测模型训练方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469263A true CN113469263A (zh) | 2021-10-01 |
| CN113469263B CN113469263B (zh) | 2024-06-14 |
Family
ID=77880013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110789134.6A Active CN113469263B (zh) | 2021-07-13 | 2021-07-13 | 适于小样本的预测模型训练方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469263B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114822027A (zh) * | 2022-04-22 | 2022-07-29 | 青岛科技大学 | 一种基于注意力机制的交通流量预测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111721535A (zh) * | 2020-06-23 | 2020-09-29 | 中国人民解放军战略支援部队航天工程大学 | 一种基于卷积多头自注意力机制的轴承故障检测方法 |
| CN111737476A (zh) * | 2020-08-05 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 文本处理方法、装置、计算机可读存储介质及电子设备 |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| CN112436956A (zh) * | 2020-10-23 | 2021-03-02 | 苏州浪潮智能科技有限公司 | 一种网络设备故障预测的方法、装置、设备及可读介质 |
| CN112685642A (zh) * | 2021-01-06 | 2021-04-20 | 北京三快在线科技有限公司 | 一种标签推荐方法、装置、电子设备及存储介质 |
| CN112733692A (zh) * | 2021-01-04 | 2021-04-30 | 润联智慧科技(西安)有限公司 | 基于集成混合模型的故障预测方法、装置及相关设备 |
| CN113255780A (zh) * | 2021-05-28 | 2021-08-13 | 润联软件系统(深圳)有限公司 | 一种减速箱故障预测方法、装置、计算机设备及存储介质 |
| CN116010863A (zh) * | 2022-12-28 | 2023-04-25 | 江西师范大学 | 一种齿轮减速箱的故障混合预测分析方法及系统 |
-
2021
- 2021-07-13 CN CN202110789134.6A patent/CN113469263B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111721535A (zh) * | 2020-06-23 | 2020-09-29 | 中国人民解放军战略支援部队航天工程大学 | 一种基于卷积多头自注意力机制的轴承故障检测方法 |
| CN111737476A (zh) * | 2020-08-05 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 文本处理方法、装置、计算机可读存储介质及电子设备 |
| CN112436956A (zh) * | 2020-10-23 | 2021-03-02 | 苏州浪潮智能科技有限公司 | 一种网络设备故障预测的方法、装置、设备及可读介质 |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| CN112733692A (zh) * | 2021-01-04 | 2021-04-30 | 润联智慧科技(西安)有限公司 | 基于集成混合模型的故障预测方法、装置及相关设备 |
| CN112685642A (zh) * | 2021-01-06 | 2021-04-20 | 北京三快在线科技有限公司 | 一种标签推荐方法、装置、电子设备及存储介质 |
| CN113255780A (zh) * | 2021-05-28 | 2021-08-13 | 润联软件系统(深圳)有限公司 | 一种减速箱故障预测方法、装置、计算机设备及存储介质 |
| CN116010863A (zh) * | 2022-12-28 | 2023-04-25 | 江西师范大学 | 一种齿轮减速箱的故障混合预测分析方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| AI算法与图像处理: "综述：解决目标检测中的样本不均衡问题 转载", Retrieved from the Internet <URL:https://blog.51cto.com/u_15279692/2944899> * |
| TOAN Q. NGUYEN等: "Transformers without Tears: Improving the Normalization of Self-Attention", HTTPS://ARXIV.ORG/ABS/1910.05895, 14 October 2019 (2019-10-14), pages 1 - 11 * |
| 邱陵腾: "基于正样本参考的小样本图像缺陷检测方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 January 2021 (2021-01-15), pages 138 - 1864 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114822027A (zh) * | 2022-04-22 | 2022-07-29 | 青岛科技大学 | 一种基于注意力机制的交通流量预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469263B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Deep multi-scale convolutional transfer learning network: A novel method for intelligent fault diagnosis of rolling bearings under variable working conditions and domains | |
| US11687786B2 (en) | Pre-processing for data-driven model creation | |
| CN108780315B (zh) | 用于优化旋转设备的诊断的方法和装置 | |
| Liu et al. | Wind turbine fault detection based on deep residual networks | |
| Ayodeji et al. | Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction | |
| Gao et al. | ASM1D-GAN: An intelligent fault diagnosis method based on assembled 1D convolutional neural network and generative adversarial networks | |
| Al-Dulaimi et al. | NBLSTM: Noisy and hybrid convolutional neural network and BLSTM-Based deep architecture for remaining useful life estimation | |
| Barakat et al. | Parameter selection algorithm with self adaptive growing neural network classifier for diagnosis issues | |
| KR20200116831A (ko) | 학습 데이터 관리 방법 | |
| Shahin et al. | Using machine learning and deep learning algorithms for downtime minimization in manufacturing systems: An early failure detection diagnostic service | |
| KR20210056296A (ko) | 입력 데이터의 처리를 위한 최적의 어노말리 감지 모델 결정 방법 | |
| CN112733692B (zh) | 基于集成混合模型的故障预测方法、装置及相关设备 | |
| Nie et al. | A fault diagnosis framework insensitive to noisy labels based on recurrent neural network | |
| Nasser et al. | A hybrid of convolutional neural network and long short-term memory network approach to predictive maintenance | |
| Sun et al. | Fine‐Grained Fault Diagnosis Method of Rolling Bearing Combining Multisynchrosqueezing Transform and Sparse Feature Coding Based on Dictionary Learning | |
| Monteiro et al. | Using a support vector machine based decision stage to improve the fault diagnosis on gearboxes | |
| JP2023106037A (ja) | 運転支援装置、運転支援方法及びプログラム | |
| CN115769235A (zh) | 提供与训练函数的准确度有关的警报的方法和系统 | |
| CN114444701B (zh) | 训练量子线路及数据嵌入的方法 | |
| Osman et al. | Soft Sensor Modeling of Key Effluent Parameters in Wastewater Treatment Process Based on SAE‐NN | |
| Yan et al. | Rotating machinery fault diagnosis based on a novel lightweight convolutional neural network | |
| He et al. | Learning with supervised data for anomaly detection in smart manufacturing | |
| CN112966770B (zh) | 基于集成混合模型的故障预测方法、装置及相关设备 | |
| CN113469263B (zh) | 适于小样本的预测模型训练方法、装置及相关设备 | |
| Mubarak et al. | Machine health management system using moving average feature with bidirectional long-short term memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Applicant after: China Resources Digital Technology Co.,Ltd. Address before: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Applicant before: Runlian software system (Shenzhen) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221226 Address after: 528000 Floor 11, Block 1, Foshan Hi tech Industrial Park, No. 70, Guxin Road, Chancheng District, Foshan City, Guangdong Province (application for residence) Applicant after: Runlian Intelligent Technology Co.,Ltd. Address before: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Applicant before: China Resources Digital Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |