CN111352977B - 基于自注意力双向长短期记忆网络的时序数据监测方法 - Google Patents

基于自注意力双向长短期记忆网络的时序数据监测方法 Download PDF

Info

Publication number
CN111352977B
CN111352977B CN202010159544.8A CN202010159544A CN111352977B CN 111352977 B CN111352977 B CN 111352977B CN 202010159544 A CN202010159544 A CN 202010159544A CN 111352977 B CN111352977 B CN 111352977B
Authority
CN
China
Prior art keywords
data
short term
term memory
memory network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010159544.8A
Other languages
English (en)
Other versions
CN111352977A (zh
Inventor
卢建刚
罗轶凡
陈金水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010159544.8A priority Critical patent/CN111352977B/zh
Publication of CN111352977A publication Critical patent/CN111352977A/zh
Application granted granted Critical
Publication of CN111352977B publication Critical patent/CN111352977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Manufacturing & Machinery (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于自注意力双向长短期记忆网络的时序数据监测方法，包括：S1，获取预设时间段内待监测设备的时序数据，并采用数据预处理算法转化为可输入自注意力双向长短期记忆网络模型的标准数据；S2，将处理后数据输入双向长短期记忆网络，将输入序列转化为两个特征向量，拼接得到输出特征向量；S3，S2中的输出特征向量经自注意力网络得到各时刻的注意力分数，将该分数赋权到输出特征向量上，得到最终的输出特征向量；S4，最终的输出特征向量经全连接分类器网络得到预测概率；S5，获取非预设时间段内待监测设备的时序数据并转化为标准数据，输入到训练完成的模型中，得到预测结果，实现基于自注意力双向长短期记忆网络的时序数据监测。

Description

基于自注意力双向长短期记忆网络的时序数据监测方法
技术领域
本发明涉及工业时间序列处理和工业大数据应用领域，具体来说是一种基于自注意力双向长短期记忆网络的时序数据监测方法。
背景技术
目前，对于工业领域时序数据建模策略主要可以分为两大类，第一类为机理建模，主要利用物理或化学机理进行理论分析和研究，建立机理模型。第二类主要以传感器采集的实时工况数据建立数据驱动模型，建模目标在于建立从以工况参数为主要变量，其他环境因素为辅助变量到相关目标预测的函数关系。
对比机理建模的思路，基于数据驱动建模的方法弱化了对复杂机理模型的研究，在充足数据的前提下，即使对某些很难建立机理模型的复杂系统，数据驱动模型也能够取得非常好的效果。先进控制系统的发展和普及，使得复杂系统能够记录各种工况下的大量数据，一定程度上也为数据驱动建模发展打下了坚实的基础，基于统计学习的数据驱动建模方法已经应用于化工、控制、计算机等多个领域。
但是对于统计学习模型而言，其捕捉特征的维度仅是数据的输入特征维度，而对于时间序列数据，随着时间变化而导致数据状态的变化是非常明显的，在时间维度上前后存在关联，统计学习模型对此无能为力。因此，可以利用深度学习中的时间序列模型对当前存在的算法做进一步的改进，充分利用数据中的时序信息提高检测精度。
发明内容
针对现有工业时序数据模型存在的上述问题，本发明提供了一种基于自注意力双向长短期记忆网络的时序数据监测方法，对工业时序工况数据建立深度时序学习模型，提高了检测精度。
为此，本发明采用如下解决方案：
S1，获取预设时间段内由待监测生产设备的工况数据构成的时序数据X＝{x1，x2…xt}和对应的数据标签Y＝{y1，y2…yt}，并将所述时序数据采用数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型的标准数据
Figure BDA0002405268220000021
所述数据预处理算法包括PauTa准则法、标准差标准化法与数据划分法，所述自注意力双向长短期记忆网络模型包括双向长短期记忆网络、自注意力网络与分类器网络；
S2，所述双向长短期记忆网络，包括正向长短期记忆网络与逆向长短期记忆网络，所述正向长短期记忆网络的输入为所述标准数据的正向序列{x′1，x′2…x′k}，所述逆向长短期记忆网络的输入为所述标准数据的逆向序列{x′k，x′k-1…x′1}，所述正向序列与所述逆向序列通过双向长短期记忆网络转化为两个稠密的特征向量，将两个特征向量进行拼接，得到所述双向长短期记忆网络的输出特征向量；
S3，将所述双向长短期记忆网络的输出特征向量输入到S1所述的自注意力网络中，经全连接神经网络和Softmax层可以计算输入序列中每个时刻与输入序列中其他时刻的注意力分数，所述注意力分数的数值范围在[0，1]之间，数值越大，表明输入序列中该时刻对最终结果的贡献越大，将计算得到的所述注意力分数通过矩阵点乘的方式赋权到所述双向长短期记忆网络的输出特征向量上，得到所述自注意力双向长短期记忆网络的最终输出特征向量；
S4，采用所述分类器网络，将所述自注意力双向长短期记忆网络得到的最终输出特征向量输入到全连接分类器网络中，输出为2维的向量，并经多分类Softmax层输出得到待预测类别的概率；
S5，获取非所述预设时间段内由待监测生产设备的工况数据构成的时序数据，采用S1 所述的数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型中的标准数据，将该批数据输入到训练完成的自注意力双向长短期记忆网络中，得到模型的预测结果，实现基于自注意力双向长短期记忆网络的时序数据监测。
进一步地，步骤S1中获取的预设时间段内由待监测生产设备的工况数据构成的时序数据，是样本个数为m、工况字段个数为n的样本集，建立实验数据矩阵X＝{x1，x2…xt}，
Figure BDA0002405268220000022
Figure BDA0002405268220000031
每一条工况数据对应的类别为Y＝{y1，y2…yt}，yt∈{0，1}，其中yt＝0表示负样本，yt＝1表示正样本，其中每相邻两条工况数据xt-1和xt之间的采样间隔为固定值Δt。
进一步地，步骤S1中，在将所述时序数据转化为可以输入到自注意力双向长短期记忆网络模型的标准数据
Figure BDA0002405268220000032
时，依次采用PauTa准则法、标准差标准化法与数据划分法；
PauTa准则法：假设随机变量x服从正态分布N(μ，σ2)，则依据PauTa准则随机变量x在区间(μ-3σ，μ+3σ)外的概率为0.0027，则可以认为x产生是小概率事件，因此可以将区间(μ-3σ，μ+3σ)视为随机变量的真实取值区间。对于超出这个区间实验数据样本，将其直接剔除；
标准差标准化法：经该种数据标准化方法处理后的变量数据服从均值为0，标准差为1 的标准正态分布；
数据划分法：将预处理完成的数据X′＝{x′1，x′2…x′t}以固定时间窗口划分为批数据大小为k，时间步长为1的可用于模型训练的批数据集，划分后的数据集为
Figure BDA0002405268220000033
进一步地，步骤S2中的双向长短期记忆网络的正向序列和逆向序列的隐藏层应采用相同数量的神经元节点，并且采用行拼接的方式拼接正向长短期记忆网络的输出向量和逆向长短期记忆网络的输出向量。
进一步地，步骤S3中的自注意力网络的全连接层神经元节点应与双向长短期记忆网络的隐藏层神经元节点个数相同。
进一步地，步骤S4中的分类器网络采用梯度下降法对所述模型进行训练，并采用交叉熵函数定义的损失函数求取梯度。
本发明所提供的一种基于自注意力双向长短期记忆网络的时序数据监测方法，在模型训练时不仅捕捉到工业时序数据中各个字段的特征信息，还能基于双向长短期记忆网络模型捕捉时间维度的信息，同时引入自注意力网络使得模型可以关注输入序列中某些重要时刻，最终根据加权的特征向量得到最终结果，具有以下优点：
1)基于深度学习的工业时序数据检测方法可以避免传统基于传感器检测方法效率低下、检测误差大等问题；
2)充分利用时序数据中的时间信息，捕捉历史每个时刻的工况对当前结果的影响，提高了模型的检测精度。
附图说明
图1为本发明实施例提供的基于自注意力双向长短期记忆网络的时序数据监测方法的流程图；
图2为本发明实施例提供的基于自注意力机制网络的双向长短期记忆网络算法的模型结构示意图；
图3为本发明实施例提供的基于自注意力双向长短期记忆网络的时序数据监测方法的检测方法架构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
如图1所示，所述方法包括：S1，获取预设时间段内由待监测生产设备的工况数据构成的时序数据并将所述时序数据采用数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型的标准数据；S2，将处理后数据输入双向长短期记忆网络，包括正向长短期记忆网络与逆向长短期记忆网络，分别将输入序列的正向序列和逆向序列转化为两特征向量并将其拼接，得到输出特征向量；S3，将S2中的输出特征向量输入到自注意力网络中，得到输入序列中每个时刻的注意力分数，并将注意力分数赋权到S2的输出特征向量上，得到最终的输出特征向量；S4，采用分类器网络将S3中的最终输出特征向量输入到全连接分类器网络中，并经多分类Softmax层输出得到待预测类别的概率；S5，获取非所述预设时间段内由待监测生产设备的工况数据构成的时序数据，采用S1所述的数据预处理算法转化为标准数据，并输入到训练完成的自注意力双向长短期记忆网络中，得到模型的预测结果，实现基于自注意力双向长短期记忆网络的时序数据监测。本实例旨在按本发明实现对风机叶片覆冰状态检测。该方法流程包括数据收集、数据预处理、模型训练等步骤，如图2示，具体实现过程如下：
在步骤S1中，所述预设时间段内由待监测的实际运行大型风机的工况数据构成的时序数据是从SCADA系统中采集了自2015年11月1日至2015年12月31日近50万条数据，其中35万条数据为训练数据，15万条数据为测试数据。初步采集了环境数据、工况数据和风机状态数据，包括时间、发电机转速、环境温度、风机叶片角度、风机叶片速度等在内的28个连续数值型变量，具体工况字段类型见表1。建立实验数据矩阵X＝{x1，x2…xt}，
Figure BDA0002405268220000051
Figure BDA0002405268220000052
每一条工况数据对应的类别为Y＝{y1，y2…yt}，yt∈{0，1}，其中：yt＝0 表示叶片处于正常状态样本，作为负样本；yt＝1表示叶片处于覆冰状态样本，作为正样本。其中每相邻两条工况数据xt-1和xt之间的采样间隔为固定值7秒，通过PauTa准则和标准差标准化对数据进行处理，并将处理完成的数据通过数据划分法划分为可输入模型训练的标准数据，处理后的数据为数据集为
Figure BDA0002405268220000053
Figure BDA0002405268220000054
在本实例中k的取值为32。
在步骤S2中，由于时序深度学习对时序任务有较好的处理能力和信息提取能力，因此搭建双向长短期记忆网络层对输入数据进行抽取，双向长短期记忆网络分为正向和逆向长短期记忆网络，在本实例中双向长短期记忆网络的隐藏层神经元数目为32。假设输入模型的数据为
Figure BDA0002405268220000055
其中正向长短期记忆网络处理输入数据的正向序列{x′1，x′2…x′k}，逆向长短期记忆网络则处理输入数据的逆向序列{x′k，x′k-1…x′1}。每一个长短期记忆网络模型可以将输入序列转化为一个稠密的特征向量，将两个稠密向量进行行拼接，得到双向长短期记忆网络的输出特征向量V＝{v1，v2…vk}，
Figure BDA0002405268220000056
表1实验采集数据某三叶风机字段说明
Figure BDA0002405268220000061
在步骤S3中，将步骤S2中双向长短期记忆网络的输出特征向量V输入到自注意力网络中，经全连接神经网络和Softmax层可以计算输入序列中每个时刻与输入序列中其他时刻的注意力分数s＝{s1，s2…sk}，
Figure BDA0002405268220000071
其中注意力分数sk的数值范围在[0，1]之间，数值越大，表明输入序列中该时刻对最终结果的贡献越大，将计算得到的注意力分数通过矩阵点乘的方式赋权到所述双向长短期记忆网络的输出特征向量上，得到所述自注意力双向长短期记忆网络的最终输出特征向量Vout＝{v1*s1，v2*s2…vk*sk}；
在步骤S4中，将最终的输出特征向量Vout输入到分类器网络中，输出为2维的向量，经分类器的Softmax层得到风机在该工况下处于正常状态和覆冰状态的概率。如果覆冰状态的概率大于正常状态则表示处于覆冰状态，反之，则处于正常状态。
在步骤S5中，将获取得到的非所述预设时间段内由待监测生产设备的工况数据构成的时序数据，采用S1所述的数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型中的标准数据，将该批数据输入到训练完成的自注意力双向长短期记忆网络中，将最终模型输出两个概率值，分别代表风机叶片处于正常状态的概率和覆冰状态的概率，输出的两个概率值之和为1；正常状态的概率值若大于覆冰状态的概率值，则判断为风机叶片处于正常状态，计为预测负样本；正常状态的概率值若小于覆冰状态的概率值，则判断为风机叶片处于覆冰状态，计为预测正样本；表2是预测结果的混淆矩阵表，实际总样本数为157977，其中：代表风机叶片处于覆冰状态的实际正样本数为10611，代表风机叶片处于正常状态的实际负样本数147366；根据本发明的模型预测结果，覆冰状态漏报率＝1964/10611＝18.5％，覆冰状态误报率＝20878/147366＝14.2％，覆冰状态漏报率与误报率均较低，验证了模型的可靠性和准确性。
表2预测结果的混淆矩阵表
Figure BDA0002405268220000081
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (3)

1.一种基于自注意力双向长短期记忆网络的时序数据监测方法，其特征在于，所述方法包括：
S1，获取预设时间段内由待监测生产设备的工况数据构成的时序数据X＝{x1,x2…xt}和对应的数据标签Y＝{y1,y2…yt}，并将所述时序数据采用数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型的标准数据
Figure FDA0003589867000000011
所述数据预处理算法包括PauTa准则法、标准差标准化法与数据划分法，所述自注意力双向长短期记忆网络模型包括双向长短期记忆网络、自注意力网络与分类器网络；
S2，所述双向长短期记忆网络，包括正向长短期记忆网络与逆向长短期记忆网络，所述正向长短期记忆网络的输入为所述标准数据的正向序列{x′1,x′2…x′k}，所述逆向长短期记忆网络的输入为所述标准数据的逆向序列{x′k,x′k-1…x′1}，所述正向序列与所述逆向序列通过双向长短期记忆网络转化为两个稠密的特征向量，将两个特征向量进行拼接，得到所述双向长短期记忆网络的输出特征向量；
S3，将所述双向长短期记忆网络的输出特征向量输入到S1所述的自注意力网络中，经全连接神经网络和Softmax层可以计算输入序列中每个时刻与输入序列中其他时刻的注意力分数，所述注意力分数的数值范围在[0,1]之间，数值越大，表明输入序列中该时刻对最终结果的贡献越大，将计算得到的所述注意力分数通过矩阵点乘的方式赋权到所述双向长短期记忆网络的输出特征向量上，得到所述自注意力双向长短期记忆网络的最终输出特征向量；
S4，采用所述分类器网络，将所述自注意力双向长短期记忆网络得到的最终输出特征向量输入到全连接分类器网络中，输出为2维的向量，并经多分类Softmax层输出得到待预测类别的概率；
S5，获取非所述预设时间段内由待监测生产设备的工况数据构成的时序数据，采用S1所述的数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型中的标准数据，将该批数据输入到训练完成的自注意力双向长短期记忆网络中，得到模型的预测结果，实现基于自注意力双向长短期记忆网络的时序数据监测；
所述步骤S1中获取的预设时间段内由待监测生产设备的工况数据构成的时序数据，是样本个数为m、工况字段个数为n的样本集，建立实验数据矩阵X＝{x1,x2…xt},
Figure FDA0003589867000000021
Figure FDA0003589867000000022
每一条工况数据对应的类别为Y＝{y1,y2…yt},yt∈{0,1}，其中yt＝0表示正样本，yt＝1表示负样本，其中每相邻两条工况数据xt-1和xt之间的采样间隔为固定值Δt；
所述步骤S1中，在将所述时序数据转化为可以输入到自注意力双向长短期记忆网络模型的标准数据
Figure FDA0003589867000000023
时，依次采用PauTa准则法、标准差标准化法与数据划分法；
所述PauTa准则法：假设随机变量x服从正态分布N(μ,σ2)，则依据PauTa准则随机变量x在区间(μ-3σ,μ+3σ)外的概率为0.0027，则可以认为x产生是小概率事件，因此可以将区间(μ-3σ,μ+3σ)视为随机变量的真实取值区间；对于超出这个区间实验数据样本，将其直接剔除；
所述标准差标准化法：经该种数据标准化方法处理后的变量数据服从均值为0，标准差为1的标准正态分布；
所述数据划分法：将预处理完成的数据X′＝{x′1,x′2…x′t}以固定时间窗口划分为批数据大小为k，时间步长为1的可用于模型训练的批数据集，划分后的数据集为
Figure FDA0003589867000000024
Figure FDA0003589867000000025
Figure FDA0003589867000000026
所述步骤S3中的自注意力网络的全连接层神经元节点应与双向长短期记忆网络的隐藏层神经元节点个数相同；先将双向长短期记忆网络的输出特征向量输入3个全连接神经网络中，得到3个与长短期记忆网络输出特征向量维度相同的输出矩阵分别记为K、Q、V，其中K、Q、V矩阵的维度相同，记为dk；所述的自注意力分数计算方式为
Figure FDA0003589867000000027
Figure FDA0003589867000000028
然后再将attention_score以矩阵点乘的方式赋权到长短期记忆网络的输出特征向量上。
2.根据权利要求1所述方法，其特征在于，步骤S2中的双向长短期记忆网络的正向序列和逆向序列的隐藏层应采用相同数量的神经元节点，并且采用行拼接的方式拼接正向长短期记忆网络的输出向量和逆向长短期记忆网络的输出向量。
3.根据权利要求1所述方法，其特征在于，步骤S4中的分类器网络采用梯度下降法对所述模型进行训练，并采用交叉熵函数定义的损失函数求取梯度。
CN202010159544.8A 2020-03-10 2020-03-10 基于自注意力双向长短期记忆网络的时序数据监测方法 Active CN111352977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010159544.8A CN111352977B (zh) 2020-03-10 2020-03-10 基于自注意力双向长短期记忆网络的时序数据监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010159544.8A CN111352977B (zh) 2020-03-10 2020-03-10 基于自注意力双向长短期记忆网络的时序数据监测方法

Publications (2)

Publication Number Publication Date
CN111352977A CN111352977A (zh) 2020-06-30
CN111352977B true CN111352977B (zh) 2022-06-17

Family

ID=71197539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010159544.8A Active CN111352977B (zh) 2020-03-10 2020-03-10 基于自注意力双向长短期记忆网络的时序数据监测方法

Country Status (1)

Country Link
CN (1) CN111352977B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259260B (zh) * 2020-11-18 2023-11-17 中国科学院自动化研究所 基于智能穿戴设备的智能医疗问答方法、系统及装置
CN112712117B (zh) * 2020-12-30 2024-03-26 银江技术股份有限公司 一种基于全卷积注意力的多元时间序列分类方法及系统
CN112990584B (zh) * 2021-03-19 2022-08-02 山东大学 一种基于深度强化学习的自动生产决策系统及方法
CN114021140B (zh) * 2021-10-20 2022-10-21 深圳融安网络科技有限公司 网络安全态势的预测方法、装置及计算机可读存储介质
CN115469627B (zh) * 2022-11-01 2023-04-04 山东恒远智能科技有限公司 基于物联网的智能工厂运行管理系统
CN115438102B (zh) * 2022-11-09 2023-03-24 成都新希望金融信息有限公司 时空数据异常识别方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388807A (zh) * 2018-10-30 2019-02-26 中山大学 电子病历命名实体识别的方法、装置及存储介质
CN109670050A (zh) * 2018-12-12 2019-04-23 科大讯飞股份有限公司 一种实体关系预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303535A1 (en) * 2018-04-03 2019-10-03 International Business Machines Corporation Interpretable bio-medical link prediction using deep neural representation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388807A (zh) * 2018-10-30 2019-02-26 中山大学 电子病历命名实体识别的方法、装置及存储介质
CN109670050A (zh) * 2018-12-12 2019-04-23 科大讯飞股份有限公司 一种实体关系预测方法及装置

Also Published As

Publication number Publication date
CN111352977A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111352977B (zh) 基于自注意力双向长短期记忆网络的时序数据监测方法
CN112783940B (zh) 基于图神经网络的多源时序数据故障诊断方法和介质
CN109766992B (zh) 基于深度学习的工控异常检测及攻击分类方法
CN104914723B (zh) 基于协同训练偏最小二乘模型的工业过程软测量建模方法
CN111815806B (zh) 一种基于野值剔除和特征提取的飞参数据预处理方法
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
Miao et al. A novel real-time fault diagnosis method for planetary gearbox using transferable hidden layer
Yue et al. An end-to-end model based on cnn-lstm for industrial fault diagnosis and prognosis
CN115758290A (zh) 一种基于lstm的风机齿轮箱高速轴温度趋势预警方法
Zhang et al. A novel fault diagnosis method based on stacked lstm
CN113486578A (zh) 一种工业过程中设备剩余寿命的预测方法
CN116738868B (zh) 一种滚动轴承剩余寿命预测方法
CN113158722A (zh) 基于多尺度深度神经网络的旋转机械故障诊断方法
Li et al. Deep spatio-temporal wind power forecasting
Wang et al. Life prediction for machinery components based on CNN-BiLSTM network and attention model
CN113722140B (zh) 基于小样本学习的工业报警泛滥根源诊断方法及存储介质
Raihan et al. A Bi-LSTM Autoencoder Framework for Anomaly Detection-A Case Study of a Wind Power Dataset
CN112183624A (zh) 一种基于集成学习的大坝监测数据异常检测方法
CN111461184A (zh) 基于多元特征矩阵的xgb多维运维数据异常检测方法
CN116070128A (zh) 一种基于对比自监督学习的时间序列设备故障诊断方法
Sun et al. An environmentally adaptive and contrastive representation learning method for condition monitoring of industrial assets
Chen et al. Wind turbine blade icing diagnosis using convolutional LSTM-GRU with improved African vultures optimization
Duan et al. TCAD: unsupervised anomaly detection based on global local representation differences
Zhang et al. A Flexible Monitoring Framework via Dynamic-Multilayer Graph Convolution Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant