CN117828407A - 双向跳跃存储的双阶段门控注意力时序分类方法及系统 - Google Patents
双向跳跃存储的双阶段门控注意力时序分类方法及系统 Download PDFInfo
- Publication number
- CN117828407A CN117828407A CN202410239348.XA CN202410239348A CN117828407A CN 117828407 A CN117828407 A CN 117828407A CN 202410239348 A CN202410239348 A CN 202410239348A CN 117828407 A CN117828407 A CN 117828407A
- Authority
- CN
- China
- Prior art keywords
- time
- attention
- representing
- representation
- gating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 45
- 230000002441 reversible effect Effects 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000015654 memory Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 4
- 230000007774 longterm Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请提出一种双向跳跃存储的双阶段门控注意力时序分类方法及系统，应用于机器故障检测，该方法包括：获取目标机器的多元时间序列数据集，分别提取以时间顺序和逆序输入的多元时间序列数据，输入双向跳跃存储编码器，再进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示，再分别输入双阶段门控注意力学习器中的门控循环注意力层和多尺度门控注意力层，获得第一特征表示和第二特征表示，再进行融合得到融合特征后，输入分类函数得到分类结果。本申请能够解决现有的回声状态网络由于难以捕获时间数据的长期相关性和只能从一个方向捕获序列信息等局限造成对多元时序的预测分类不够精确的问题。
Description
技术领域
本申请涉及多元时间序列数据处理技术领域，特别涉及一种双向跳跃存储的双阶段门控注意力时序分类方法及系统。
背景技术
随着工业生产力的发展，各式各样的机器生产设备为社会生产力发展做出了重要的贡献。在实际的生产环境中，如果能在机器故障发生之前进行故障预测分类，提前维修更换即将出现问题的零部件，这样就可以提高工业设备的寿命以及避免某个设备突然出现故障对整个工业生产带来严重的影响。常用的多元时间序列分类是指针对包含多个变量随时间变化的时间序列数据进行分类任务。在这种情况下，每个样本都是由多个特征组成，并且这些特征在连续的时间点上有序排列。多元时间序列分类旨在利用这些时间序列数据的时序性质，将其正确分类到预定义的类别或标签中。
目前，回声状态网络（ESN）凭借其高维随机投影能力和训练效率的特点，在时间序列预测方面的显著改进，研究人员开始将其应用于时间序列分类任务中。大致可以分为两类。第一类是储备池用作深度特征提取器，通过其隐藏状态捕获数据中的动态特征为后续分类提供信息，提高模型对时间序列数据的分类能力。第二类是利用回声状态网络的读出权重进行时间序列分类。
尽管基于回声状态网络构建的分类器在某些情况下取得了一定的改进，但现有的回声状态网络模型在处理复杂的时间序列建模任务时，由于回声状态网络当前步长的回波状态主要受前一个时间步长的影响，导致回声状态网络无法捕获远离当前时间步长的历史信息，故可能难以捕获时间数据的长期相关性。此外，目前采用回声状态网络进行时间序列建模任务都是利用的单向存储，使得只能从一个方向捕获序列信息，无法充分考虑前后时刻同时对当前时刻的影响。因此，现有的回声状态网络由于难以捕获时间数据的长期相关性和只能从一个方向捕获序列信息等局限造成对多元时序的精确预测分类任务还存在一定挑战。
发明内容
基于此，本申请提出一种双向跳跃存储的双阶段门控注意力时序分类方法及系统，旨在能够解决现有的回声状态网络由于难以捕获时间数据的长期相关性和只能从一个方向捕获序列信息等局限造成对多元时序的预测分类不够精确的问题。
实施例的第一方面提供了一种双向跳跃存储的双阶段门控注意力时序分类方法，应用于机器故障检测，通过双向跳跃存储的双阶段门控注意力模型实现，所述模型包括双向跳跃存储编码器和双阶段门控注意力学习器，所述双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层,所述方法包括：
获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据；
将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示；
将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征；
将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
与现有技术相比，本申请提供的双向跳跃存储的双阶段门控注意力时序分类方法，该方法通过双向跳跃存储的双阶段门控注意力模型对机器的故障问题进行检测或预测，首先获取机器样本的多元时间序列数据，从获取的这些序列数据中提取双向序列数据，即顺序数据和逆序数据，来分别代表机器样本中的过去和未来的信息，再通过双向跳跃存储编码器对顺序数据和逆序数据进行存储，使得可以从两个方向捕获序列信息，充分考虑了前后时刻同时对当前时刻的影响，并且可以进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示，能够捕获远离当前时间步长的历史信息，使捕获得时间数据有长期相关性；再通过双阶段门控注意力学习器中的门控循环注意力层，可以有效解决长序列处理过程中的长期依赖问题，并通过动态的位置加权获得重要特征，同时通过双阶段门控注意力学习器中的多尺度门控注意力层，能够有效的从回声状态表示中更全面、更有效地学习到多粒度、多尺度的复杂特征，提高了模型在数据建模和处理过程中的精确性和泛化能力。由此，本申请提出的方法能够解决现有的回声状态网络由于难以捕获时间数据的长期相关性和只能从一个方向捕获序列信息等局限造成对多元时序的预测分类不够精确的问题。
作为第一方面的一种可选实施方式，所述获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据的步骤包括：
定义一个多元时间序列数据集中包含N个机器样本，每个机器样本表示为：
，
特征维度为B时，，/>，/>，
其中，表示机器样本，j表示样本索引，T表示时间步长，/>表示在t时刻的多维特征向量。
作为第一方面的一种可选实施方式，所述将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器的步骤包括：
双向跳跃存储编码器对所述以时间顺序和逆序输入的多元时间序列数据进行存储的公式为：
，
，
其中，表示t时刻以时间顺序输入的多元时间序列数据，/>表示t时刻以时间逆序输入多元时间序列数据，/>表示/>的回声状态表示，/>表示的回声状态表示，f表示储备池中的激活函数，/>表示从输入层到第i个储层的连接权重，/>表示从第i个储层到内部神经元之间的连接权重,/>表示第i个储层的跳跃长度，跳跃长度/>在储备池中的增加方式为。
作为第一方面的一种可选实施方式，所述在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示的步骤包括：
根据所述以时间顺序和逆序输入的多元时间序列数据获得每个时间步长的回声状态表示：
，
其中，为回声状态表示,/>表示权重矩阵,/>表示偏差项。
作为第一方面的一种可选实施方式，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
所述门控循环注意力层包括门控循环子层和自注意力子层；
将回声状态表示输入所述门控循环子层，获得t时刻时间步的隐藏状态：
，
其中，表示t时刻时间步的隐藏状态，/>表示t-1时刻时间步的隐藏状态，/>表示逐元素相乘，/>表示更新门的输出，/>表示候选记忆状态，其中：
，
，
，
其中，为重置门的输出，/>表示sigmoid函数，/>表示当前的输入,为回声状态的动态表示，/>表示在重置门中用来控制模型在当前时间步长是否应该重置内部状态，/>表示在重置门中的当前输入对重置门的影响，/>表示在更新门中用来控制模型在当前时间步长是否应该更新内部状态，/>表示在更新门中当前输入对更新门的影响，/>表示在更新门中用于调整更新门阈值的偏置项，/>表示在重置门中用于调整重置门阈值的偏置项，表示更新的权重矩阵，/>表示更新后的输入权重矩阵，/>表示更新后的偏置项。
将所述隐藏状态输入所述自注意力子层，得到时间序列中的每个时间点进行加权后的第一特征表示：
，
其中，，Att表示注意力权重，/>表示时间序列中的每个时间点加权后的第一特征表示，/>表示K对应的维度，V表示时间序列中的每个时间点信息，Q表示查询与键之间的相似性，K表示输入序列中各个元素的特征。
作为第一方面的一种可选实施方式，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
所述多尺度门控注意力层包括多尺度门控子层和通道注意力子层；
将回声状态表示输入所述多尺度门控子层，获得拼接特征图，该过程用计算公式表述为：
，
，
其中，feaX是从双向跳跃存储编码器获得的特征图，Conv表示卷积操作，Concat表示拼接操作，表示第s个滤波器，/>表示第s个滤波器的多尺度卷积特征，/>表示多个滤波器的卷积特征拼接特征图，/>表示相应门控的输出，，/>表示第s-1个滤波器的多尺度卷积特征，M表示乘法操作，D表示全连接层，GAP表示全局平均池化层。
通道注意力子层包括全局平均池化操作和全连接操作；
将所述拼接特征图输入所述通道注意力子层，先进行全局平均池化操作获得全局性的特征向量，特征向量通过全连接操作获得带有注意力机制的权重参数，逐维度乘以权重参数获得每个维度进行加权后的第二特征表示。
本申请实施例的第二方面提供了一种双向跳跃存储的双阶段门控注意力时序分类系统，应用于机器故障检测，通过双向跳跃存储的双阶段门控注意力模型实现，所述模型包括双向跳跃存储编码器和双阶段门控注意力学习器，所述双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层，所述系统包括：
获取模块，用于获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据；
双向特征提取模块，用于将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示；
特征增强模块，用于将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征；
分类模块，用于将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
本申请实施例的第三方面提供了一种计算机设备，所述计算机设备包括存储器和处理器，其中：所述存储器用于存放计算机程序；所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述双向跳跃存储的双阶段门控注意力时序分类方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施例了解到。
附图说明
图1为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法的流程图；
图2为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的BSDSGANet模型框架图；
图3为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的门控循环子层GRU结构图；
图4为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的自注意力计算过程图；
图5为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的多尺度门控子层MSG结构图；
图6为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的门控机制结构图；
图7为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的通道注意力子层SE_Block结构图；
图8为本申请第二实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法系统的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的若干个实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，所示为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法的流程图，所述方法如下：
步骤S01:获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据。
需要说明的是，多元时间序列分类是指针对包含多个变量随时间变化的时间序列数据进行分类任务。在这种情况下，每个样本都是由多个特征组成，并且这些特征在连续的时间点上有序排列。多元时间序列分类旨在利用这些时间序列数据的时序性质，将其正确分类到预定义的类别或标签中。
具体地，定义一个多元时间序列数据集中包含N个机器样本，每个机器样本表示为：
，
特征维度为B时，，/>，/>，
其中，表示机器样本，j表示样本索引，T表示时间步长，/>表示在t时刻的多维特征向量。
每个机器样本都有一个相应的故障类别标签/>，表示该样本所属的故障类别。因此，多元时间序列分类（MTSC）的目标是训练一个模型，通过学习从特征序列/>到故障类别标签/>的映射。
具体地，如图2所示，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的BSDSGANet模型框架图，即双向跳跃存储的双阶段门控注意力模型框架图。
步骤S02：将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示。
需要说明的是，为了更充分地捕获时间序列中的丰富信息，本申请提出了双向跳跃存储编码器。传统的ESN在状态空间构建时通常采用单向且连续的连接模式。然而，这种模式存在着对相邻时间步的过度依赖，仅能单向获取信息的局限性。因此，本申请提出了双向跳跃存储的状态空间，旨在优化时间信息的特征提取过程。该方法旨在通过跳跃式连接的方式，使得模型能够更全面地捕获时间序列中的关键特征，同时弥补传统模式对单一方向信息获取的不足。
双向存储的状态空间中包括了来自过去和未来的信息。通过在状态空间中存储不同长度的序列，利用储备池中的单元，将不同长度的序列存储与状态空间中，更全面地捕获序列中的时序特征。
双向跳跃存储编码器的双向性是通过所述以时间顺序和逆序输入的多元时间序列数据输入到同一储备池中来实现的。在本实施例中，可以用时间顺序输入的多元时间序列数据来表示利用过去信息对当前状态的分析，用逆序输入的多元时间序列数据来表示利用未来信息对当前状态的分析。
首先，现有的单向连接的存储公式为：
，
，
其中,T表示时间步长，表示t时刻以时间顺序输入的多元时间序列数据，表示t时刻以时间逆序输入多元时间序列数据，/>表示/>的回声状态表示，表示/>回声状态表示，矩阵/>与/>分别是输入连接和递归连接的权重，f表示储备池中的激活函数。
跳跃连接允许信息以不同时间步长在状态空间中传播，而不仅仅依赖于连续的相邻单元，即单元不仅仅与其前一时刻的单元相连，还可能与更早之前的单元进行连接，而这些连接的步长是跳跃的。这种机制可以解决传统ESN模型中存在的依赖于局部连接的问题，使模型更好地捕捉序列中不同时间尺度下的特征和模式，降低状态空间中冗余信息的存在。
其次，根据现有的单向连接的存储公式更新双向跳跃存储编码器对所述以时间顺序和逆序输入的多元时间序列数据进行存储的公式为：
，
，
其中，表示t时刻以时间顺序输入的多元时间序列数据，/>表示t时刻以时间逆序输入多元时间序列数据，/>表示/>的回声状态表示，/>表示的回声状态表示，f表示储备池中的激活函数，/>表示从输入层到第i个储层的连接权重，/>表示从第i个储层到内部神经元之间的连接权重,/>表示第i个储层的跳跃长度，跳跃长度/>在储备池中的增加方式为。在本实施例中，跳跃长度（即时间步长）选用1、3和5。
具有不同跳跃长度的循环连接的储备池捕获不同时间尺度的时间相关性，跳跃长度越长，时间尺度就越大，时间相关性的范围就越宽。进一步地，可以根据顺序数据和逆序数据获得每个时间步长的回声状态表示。
最后，根据所述以时间顺序和逆序输入的多元时间序列数据获得每个时间步长的回声状态表示：
，
其中，为回声状态表示,/>表示权重矩阵,/>表示偏差项。
步骤S03：将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征。
需要说明的是，双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层，门控循环注意力层包括门控循环子层（GRU）和自注意力子层（SAM），多尺度门控注意力层包括多尺度门控子层（MSG）和通道注意力子层（SE_Block）。
双向跳跃的回声状态空间捕捉到丰富时间序列信息，但其中存在一些冗余或不够突出的特征，GRU通过更新门、重置门等机制，可以有效地保留和更新状态信息，有助于进一步提炼和抽象特征，捕捉长短时记忆和序列中的时序依赖关系，增强时间序列的表征信息。SAM则使模型更加关注序列中不同时间点位置的重要信息，根据不同时间点位置的重要性动态调整注意力权重，聚焦于序列中的关键特征，最后获得每个时间点进行加权后的第一特征表示。
而多尺度门控注意力层用于从状态空间特征表示中学习到多尺度、多层级的多样特征。传统的CNN主要利用一组滤波器来处理所有的信道，而MSG则采用滤波器组以分层的方式对所有信道进行处理，并将从每层提取到的特征传递到下一层级中，每一层级采用不同大小的卷积核进行特征学习，从而实现了从多个尺度、多个层级进行特征的学习，输出相应的特征图，随后将所输出的特征图进行拼接传输到SE_Block层中。通过SE_Block，将拼接特征图输入多尺度门控注意力层中的通道注意力子层中，先进行全局平均池化操作获得全局性的特征向量，特征向量通过全连接操作获得带有注意力机制的权重参数，逐维度乘以权重参数获得每个维度进行加权后的第二特征表示。
具体地，在门控循环注意力层中，GRU中的每个时间步都有一个重置门与更新门，用sigmoid函数计算，其输出值在0到1之间。当重置门的输出接近于1时，表示网络需要从之前的状态中获取更多的信息；当输出接近于0时，表示网络需要更加依赖当前的输入信息，从而达到选择性地忘记或记住之前的状态信息。
当更新门输出接近1时，表示网络需要完全记住之前的状态信息；当输出接近0时，网络需要完全忽略之前的状态信息，只依赖于当前的输入信息，从而选择性地记住或忘记之前的状态信息。
可以用公式表示：
，
,
其中，表示重置门的输出，/>表示更新门的输出，/>是sigmoid函数，/>表示当前的输入（回声状态的动态表示），/>表示上一个时间步的隐藏状态，/>表示重置门的权重矩阵，这个矩阵用来控制模型在当前时间步长是否应该重置内部状态，即确定了前一时刻信息对当前时刻的影响程度。/>表示重置门的输入权重矩阵，这个矩阵用来确定当前输入对重置门的影响，即确定了当前时刻输入对重置内部状态的影响程度。/>表示更新门的权重矩阵，这个矩阵用来控制模型在当前时间步长是否应该更新内部状态，即确定了前一时刻信息对当前时刻的重要性。/>表示更新门的输入权重矩阵，这个矩阵用来确定当前输入对更新门的影响，即确定了当前时刻输入对更新内部状态的重要性。/>表示更新门的偏置项，用于调整更新门的阈值，即确定了模型对于更新的倾向性。/>表示重置门的偏置项，用于调整重置门的阈值，即确定了模型对于重置的倾向性。
在更新门和重置门的作用下，根据当前输入和上一个时间步的隐藏状态以及重置门的输出生成一个新的候选记忆状态/>。结合更新门的输出/>和上一个时间步的隐藏状态以及候选记忆状态/>生成当前时间步的隐藏状态/>。
可以用公式表示：
，
其中，，
表示更新后的权重矩阵，这个矩阵用于计算候选状态，其中将考虑更新门的结果，以确定是否将当前时间步长的信息纳入候选状态中。/>表示更新后的输入权重矩阵，这个矩阵用于计算候选状态，其中将考虑输入对应的权重，以确定当前时间步长的输入对于候选状态的贡献。/>表示更新后的偏置项，用于调整候选状态的阈值，以确定是否激活当前时间步长的信息，/>表示逐元素相乘。
从公式可以看出，每当更新门接近1时，模型就倾向只保留旧状态，来自当前时间步的信息就会被忽略，从而有效的跳过了对当前时间步t的依赖。反之，新的隐藏状态就会接近候选隐藏状态。于是更好地实现了对时间步长距离很长的序列的依赖关系地捕获。
可参见图3，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的门控循环子层GRU结构图。
GRU通过学习时间序列的内在模式，产生了能够在时间步之间传递重要信息的隐藏状态序列。这些隐藏状态反映了序列中不同时间点的关键特征。将这些隐藏状态作为自注意力的输入，通过动态调整注意力权重，关注隐藏状态序列中不同位置的重要性，进一步对关键特征进行识别和利用。GRU自身虽然能够一定程度上捕捉序列中的长期依赖关系，但引入自注意力机制可以增强模型对序列中更远处信息的感知。其次，在序列中，一些位置的信息可能更容易被遗忘或丢失。自注意力机制可以帮助模型更有效地保留和利用序列中的重要信息，减少信息的丢失。
进一步地，可参见图4，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的自注意力计算过程图。Bh表示输入数据的维度。Bq表示查询的维度，Bk表示键的维度，Bv表示值的维度。Wq、Wk、Wv是三个可学习的参数矩阵。Wq通过对输入序列进行线性变换得到查询的表示，用于计算查询与键之间的相似性，从而确定每个位置对其他位置的注意力权重。Wk通过线性变换得到键的表示，用于表示输入序列中各个元素的特征，以便与查询进行比较，确定每个位置对其他位置的注意力权重。Wv通过线性变换得到数值的表示，包含了每个位置的值信息，用于根据注意力权重计算加权平均值，生成最终的自注意力输出表示。
自注意力的具体计算过程：首先将GRU的输出Bh经过线性变换得到Bq、Bk和Bv三种表示，其次，对Bq与Bk进行点积操作，再经过softmax函数得到注意力权重Att，最后，将Att与Bv进行加权求和得到自注意力的输出第一特征表示。
可以用公式表示：
，
其中，，Att表示注意力权重，/>表示时间序列中的每个时间点加权后的第一特征表示，/>表示K对应的维度，V表示时间序列中的每个时间点信息，Q表示查询与键之间的相似性，K表示输入序列中各个元素的特征。
在多尺度门控注意力层中，MSG的具体工作方式：首先，通过卷积核的滑动窗口在时间和变量两个维度上进行操作，从而有效地捕捉不同变量之间的时序关联并生成相应的输出。随后将该层提取到的特征经过门控单元传递给下一层并与输入数据进行拼接，进行下一层级的滤波器特征提取并生成相应的输出，整个过程重复进行，直到整个滤波器组全部完成特征提取功能并输出相应的特征图，随后将所输出的输出特征图进行拼接传输到SE_Block层中。
假设feaX是从双向跳跃存储编码器获得的特征图，Conv表示卷积操作，表示第s个滤波器，/>表示第s个滤波器的多尺度卷积特征，/>表示第s-1个滤波器的多尺度卷积特征，计算过程如下：
，
通过将所有输出的级联馈送到卷积层，MSG实现了多尺度的感受野，以促进多变量时间序列分类。然而，在每一步总是被完全传递到下一个卷积层，导致下一层级得到的特征信息冗余度较高。此外，由于缺乏对信息流的控制，可能出现梯度消失或梯度爆炸问题，增加了模型训练的复杂性。
示例地，可参见图5，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的多尺度门控子层MSG结构图。
解决这一问题则变得至关重要，不仅能够控制先前输出特征图对当前卷积层进行指导，而且能够缓解梯度消失问题。为此，在卷积阶段引入类似门控机制控制信息流，以增强特征提取。具体而言，如图6所示，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的门控机制结构图。在门控机制中，所有的输入都来自卷积层提取到的特征，先通过全局平均池化得到每个通道上的平均值，随后进行全连接层对特征进行线性变换，根据传入的参数进行特征映射，通过激活函数获得激活后的输出，最后将原始输入与经过激活后的全连接层输出进行逐元素相乘，决定了每个维度的权重，从而实现了对每个维度信息流的加权控制，关注和筛选特定通道的信息。
给定输入特征映射，用/>表示对应门控的输出，计算如下：
，
其中，GAP表示全局平均池化层，D表示全连接层，M表示乘法操作，sigmoid是门控常用的激活函数。
当引入门控机制后，MSG模块的计算由公式变为：
，
，
其中，feamap表示多个滤波器的卷积特征拼接图，Concat表示拼接操作。
MSG模块的每个学习到的卷积核都有一个局部感受野，因此卷积单元只能够关注到它所在区域内的空间信息，对于感受野之外的信息就无法利用，输出特征图就很难获得足够的信息来提取通道之间的关系。为此，引入通道注意力使其自适应地调节各个通道之间的重要性，学习使用全局信息，选择性地强调信息特征和抑制无用特征。
进一步地，可参见图7，为本申请第一实施例提出的双向跳跃存储的双阶段门控注意力时序分类方法中的通道注意力子层SE_Block结构图。
SE_Block由一个全局平均池化层和两个全连接层组成。全局平均池化层对各个维度的特征图进行汇总，得到一个全局性的特征向量，以概括来自不同维度的特征信息。全连接层则捕捉特征图之间的相互关系，通过学习特征图的权重，突出并强调关键信息，以优化特征的表征和分类效果。第一个全连接层将C个维度变成C/r，r表示缩放因子，同时利用激活函数ReLU，更好地拟合了维度间复杂的相关性，同时减少了参数量和计算量。第二个全连接层则通过Sigmoid激活函数将维度缩放为原来尺寸，得到带有注意力机制的权重参数。最后，逐维度乘以权重参数得到每个维度进行加权后的第二特征表示，完成对原始特征的重校准。
步骤S04：将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
具体地，将所述融合特征进行全局池化操作，得到低维特征表示，再将所述低维特征表示输入分类函数，得到类别概率分布，根据所述类别概率分布输出最终预测分类结果。
需要说明的是，将得到的最终特征通过全局最大池化操作提取出最显著的特征，降低特征维度的同时保留了最重要的信息。Softmax函数将全局最大池化后的特征向量转换为类别概率分布，使模型以概率化的形式输出预测结果。
综上，本申请提供的一种双向跳跃存储的双阶段门控注意力时序分类方法及系统，首先获取机器样本的多元时间序列数据，从获取的这些序列数据中提取双向序列数据，即顺序数据和逆序数据，来分别代表机器样本中的过去和未来的信息，再通过双向跳跃存储编码器对顺序数据和逆序数据进行存储，使得可以从两个方向捕获序列信息，充分考虑了前后时刻同时对当前时刻的影响，并且可以进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示，能够捕获远离当前时间步长的历史信息，使捕获得时间数据有长期相关性；再通过双阶段门控注意力学习器中的门控循环注意力层，可以有效解决长序列处理过程中的长期依赖问题，并通过动态的位置加权获得重要特征，同时通过双阶段门控注意力学习器中的多尺度门控注意力层，能够有效的从回声状态表示中更全面、更有效地学习到多粒度、多尺度的复杂特征，提高了模型在数据建模和处理过程中的精确性和泛化能力。由此，本申请提出的方法能够解决现有的回声状态网络由于难以捕获时间数据的长期相关性和只能从一个方向捕获序列信息等局限造成对多元时序的预测分类不够精确的问题。
请参阅图8，所示为本申请第二实施例提出的双向跳跃存储的双阶段门控注意力时序分类系统的结构示意图，应用于机器故障检测，通过双向跳跃存储的双阶段门控注意力模型实现，所述模型包括双向跳跃存储编码器和双阶段门控注意力学习器，所述双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层，所述系统包括：
获取模块10，用于获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据；
双向特征提取模块20，用于将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示；
特征增强模块30，用于将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征；
分类模块40，用于将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.双向跳跃存储的双阶段门控注意力时序分类方法，其特征在于，应用于机器故障检测，通过双向跳跃存储的双阶段门控注意力模型实现，所述模型包括双向跳跃存储编码器和双阶段门控注意力学习器，所述双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层,所述方法包括：
获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据；
将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示；
将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征；
将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
2.根据权利要求1所述的时序分类方法，其特征在于，所述获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据的步骤包括：
定义一个多元时间序列数据集中包含N个机器样本，每个机器样本表示为：
，
特征维度为B时，，/>，/>，
其中，表示机器样本，j表示样本索引，T表示时间步长，/>表示在t时刻的多维特征向量。
3.根据权利要求2所述的时序分类方法，其特征在于，所述将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器的步骤包括：
双向跳跃存储编码器对所述以时间顺序和逆序输入的多元时间序列数据进行存储的公式为：
，
，
其中，表示t时刻以时间顺序输入的多元时间序列数据，/>表示t时刻以时间逆序输入多元时间序列数据，/>表示/>的回声状态表示，/>表示/>的回声状态表示，f表示储备池中的激活函数，/>表示从输入层到第i个储层的连接权重，/>表示从第i个储层到内部神经元之间的连接权重, />表示第i个储层的跳跃长度，跳跃长度/>在储备池中的增加方式为/>。
4.根据权利要求3所述的时序分类方法，其特征在于，所述在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示的步骤包括：
根据所述以时间顺序和逆序输入的多元时间序列数据获得每个时间步长的回声状态表示：
，
其中，为回声状态表示,/>表示权重矩阵,/>表示偏差项。
5.根据权利要求1所述的时序分类方法，其特征在于，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
所述门控循环注意力层包括门控循环子层和自注意力子层；
将回声状态表示输入所述门控循环子层，获得t时刻时间步的隐藏状态：
，
其中，表示t时刻时间步的隐藏状态，/>表示t-1时刻时间步的隐藏状态，/>表示逐元素相乘，/>表示更新门的输出，/>表示候选记忆状态，其中：
，
，
，
其中，为重置门的输出，/>表示sigmoid函数，/>表示当前的输入,为回声状态的动态表示，/>表示在重置门中用来控制模型在当前时间步长是否应该重置内部状态，/>表示在重置门中的当前输入对重置门的影响，/>表示在更新门中用来控制模型在当前时间步长是否应该更新内部状态，/>表示在更新门中当前输入对更新门的影响，/>表示在更新门中用于调整更新门阈值的偏置项，/>表示在重置门中用于调整重置门阈值的偏置项，/>表示更新的权重矩阵，/>表示更新后的输入权重矩阵，/>表示更新后的偏置项。
6.根据权利要求5所述的时序分类方法，其特征在于，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
将所述隐藏状态输入所述自注意力子层，得到时间序列中的每个时间点进行加权后的第一特征表示：
，
其中，，Att表示注意力权重，/>表示时间序列中的每个时间点加权后的第一特征表示，/>表示K对应的维度，V表示时间序列中的每个时间点信息，Q表示查询与键之间的相似性，K表示输入序列中各个元素的特征。
7.根据权利要求1所述的时序分类方法，其特征在于，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
所述多尺度门控注意力层包括多尺度门控子层和通道注意力子层；
将回声状态表示输入所述多尺度门控子层，获得拼接特征图，该过程用计算公式表述为：
，
，
其中，feaX是从双向跳跃存储编码器获得的特征图，Conv表示卷积操作，Concat表示拼接操作，表示第s个滤波器，/>表示第s个滤波器的多尺度卷积特征，/>表示多个滤波器的卷积特征拼接特征图，/>表示相应门控的输出，，/>表示第s-1个滤波器的多尺度卷积特征，M表示乘法操作，D表示全连接层，GAP表示全局平均池化层。
8.根据权利要求7所述的时序分类方法，其特征在于，所述将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示的步骤包括：
通道注意力子层包括全局平均池化操作和全连接操作；
将所述拼接特征图输入所述通道注意力子层，先进行全局平均池化操作获得全局性的特征向量，特征向量通过全连接操作获得带有注意力机制的权重参数，逐维度乘以权重参数获得每个维度进行加权后的第二特征表示。
9.双向跳跃存储的双阶段门控注意力时序分类系统，其特征在于，应用于机器故障检测，通过双向跳跃存储的双阶段门控注意力模型实现，所述模型包括双向跳跃存储编码器和双阶段门控注意力学习器，所述双阶段门控注意力学习器包括门控循环注意力层和多尺度门控注意力层，所述系统包括：
获取模块，用于获取目标机器的多元时间序列数据集，从所述多元时间序列数据集中分别提取以时间顺序和逆序输入的多元时间序列数据；
双向特征提取模块，用于将所述以时间顺序和逆序输入的多元时间序列数据输入所述双向跳跃存储编码器，在所述双向跳跃存储编码器中进行不同时间步长的跳跃连接，获得不同时间尺度的回声状态表示；
特征增强模块，用于将所述回声状态表示分别输入所述双阶段门控注意力学习器中的所述门控循环注意力层和所述多尺度门控注意力层，获得每个时间点进行加权后的第一特征表示和每个维度进行加权后的第二特征表示，再将所述第一特征表示与所述第二特征表示进行融合得到融合特征；
分类模块，用于将所述融合特征进行全局池化操作后输入分类函数，得到最终预测分类结果。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现如权利要求1-8任一项所述双向跳跃存储的双阶段门控注意力时序分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410239348.XA CN117828407B (zh) | 2024-03-04 | 2024-03-04 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410239348.XA CN117828407B (zh) | 2024-03-04 | 2024-03-04 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117828407A true CN117828407A (zh) | 2024-04-05 |
| CN117828407B CN117828407B (zh) | 2024-05-14 |
Family
ID=90508052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410239348.XA Active CN117828407B (zh) | 2024-03-04 | 2024-03-04 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117828407B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160124864A1 (en) * | 2014-11-04 | 2016-05-05 | Futurewei Technologies, Inc. | Memory addressing mechanism using a buffer of a hierarchy of collision free hash tables |
| CN108830295A (zh) * | 2018-05-10 | 2018-11-16 | 华南理工大学 | 基于多时间尺度回声状态网络的多变量时间序列分类方法 |
| CN109598329A (zh) * | 2018-11-09 | 2019-04-09 | 上海交通大学 | 一种基于进化混沌边缘的卷积储备池优化方法 |
| CN110378398A (zh) * | 2019-06-27 | 2019-10-25 | 东南大学 | 一种基于多尺度特征图跳跃融合的深度学习网络改进方法 |
| US20200334516A1 (en) * | 2019-04-19 | 2020-10-22 | Hitachi, Ltd. | Computer and data processing method |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN114091745A (zh) * | 2021-11-15 | 2022-02-25 | 国网重庆市电力公司市北供电分公司 | 基于改进多存储池回声状态网络的行业用电量预测方法 |
| CN115118326A (zh) * | 2022-06-17 | 2022-09-27 | 凯睿星通信息科技(南京)股份有限公司 | 基于双向跳跃式搜索的卫星通信路由选择方法、系统及装置 |
| CN115146842A (zh) * | 2022-06-24 | 2022-10-04 | 沈阳建筑大学 | 基于深度学习的多元时间序列趋势预测方法和系统 |
| WO2023124110A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳市检验检疫科学研究院 | 基于标签感知的门控循环采集方法 |
| CN116824317A (zh) * | 2023-05-12 | 2023-09-29 | 海南大学 | 一种基于多尺度特征自适应融合的水上红外目标检测方法 |
| CN117194918A (zh) * | 2023-08-31 | 2023-12-08 | 济南大学 | 基于自注意力回声状态网络的气温预测方法及系统 |
| CN117407772A (zh) * | 2023-12-13 | 2024-01-16 | 江西师范大学 | 监督对比学习网络模型训练多元时序数据分类方法及系统 |
| US20240062347A1 (en) * | 2022-08-22 | 2024-02-22 | Nanjing University Of Posts And Telecommunications | Multi-scale fusion defogging method based on stacked hourglass network |
-
2024
- 2024-03-04 CN CN202410239348.XA patent/CN117828407B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160124864A1 (en) * | 2014-11-04 | 2016-05-05 | Futurewei Technologies, Inc. | Memory addressing mechanism using a buffer of a hierarchy of collision free hash tables |
| CN108830295A (zh) * | 2018-05-10 | 2018-11-16 | 华南理工大学 | 基于多时间尺度回声状态网络的多变量时间序列分类方法 |
| CN109598329A (zh) * | 2018-11-09 | 2019-04-09 | 上海交通大学 | 一种基于进化混沌边缘的卷积储备池优化方法 |
| US20200334516A1 (en) * | 2019-04-19 | 2020-10-22 | Hitachi, Ltd. | Computer and data processing method |
| CN110378398A (zh) * | 2019-06-27 | 2019-10-25 | 东南大学 | 一种基于多尺度特征图跳跃融合的深度学习网络改进方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN114091745A (zh) * | 2021-11-15 | 2022-02-25 | 国网重庆市电力公司市北供电分公司 | 基于改进多存储池回声状态网络的行业用电量预测方法 |
| WO2023124110A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳市检验检疫科学研究院 | 基于标签感知的门控循环采集方法 |
| CN115118326A (zh) * | 2022-06-17 | 2022-09-27 | 凯睿星通信息科技(南京)股份有限公司 | 基于双向跳跃式搜索的卫星通信路由选择方法、系统及装置 |
| CN115146842A (zh) * | 2022-06-24 | 2022-10-04 | 沈阳建筑大学 | 基于深度学习的多元时间序列趋势预测方法和系统 |
| US20240062347A1 (en) * | 2022-08-22 | 2024-02-22 | Nanjing University Of Posts And Telecommunications | Multi-scale fusion defogging method based on stacked hourglass network |
| CN116824317A (zh) * | 2023-05-12 | 2023-09-29 | 海南大学 | 一种基于多尺度特征自适应融合的水上红外目标检测方法 |
| CN117194918A (zh) * | 2023-08-31 | 2023-12-08 | 济南大学 | 基于自注意力回声状态网络的气温预测方法及系统 |
| CN117407772A (zh) * | 2023-12-13 | 2024-01-16 | 江西师范大学 | 监督对比学习网络模型训练多元时序数据分类方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| CHANGLU GUO; MÁRTON SZEMENYEI; YUGEN YI; WENLE WANG; BUER CHEN; CHANGQI FAN: "SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation", 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 15 January 2021 (2021-01-15) * |
| S. WILLIS; BAYNETWORKS;J. BURRUSS; BAYNETWORKS;J. CHU; IBM CORPORATION;J. JOHNSON; CISCO SYSTEMS;: "Definitions of Managed Objects for the Fourth Version of Border Gateway Protocol (BGP-4)", IETF, 31 January 1996 (1996-01-31) * |
| 崔昕阳;龙华;熊新;邵玉斌;杜庆治;: "基于并行双向门控循环单元与自注意力机制的中文文本情感分类", 北京化工大学学报(自然科学版), no. 02, 20 March 2020 (2020-03-20) * |
| 李俊伟;朱涛;潘堋;闫文棋: "基于MTGNN的多元气象信息多步长预测研究", 水利水电技术(中英文), 27 June 2023 (2023-06-27) * |
| 石艳娇;张晴;崔柳;易玉根: "基于复合运动特征的视频异常事件检测", 计算机工程与设计, 16 October 2020 (2020-10-16) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117828407B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101880907B1 (ko) | 비정상 세션 감지 방법 | |
| CN112507898B (zh) | 一种基于轻量3d残差网络和tcn的多模态动态手势识别方法 | |
| CN111310672A (zh) | 基于时序多模型融合建模的视频情感识别方法、装置及介质 | |
| Shiri et al. | A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU | |
| CN112733656B (zh) | 基于多流空间注意力图卷积sru网络的骨架动作识别方法 | |
| WO2017176511A1 (en) | On-line action detection using recurrent neural network | |
| CN113905391A (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
| CN114519469A (zh) | 一种基于Transformer框架的多变量长序列时间序列预测模型的构建方法 | |
| CN115994630B (zh) | 基于多尺度自注意力的设备剩余使用寿命预测方法及系统 | |
| CN112763967B (zh) | 一种基于BiGRU的智能电表计量模块故障预测与诊断方法 | |
| CN112508265A (zh) | 面向业务流程管理的时间与活动多任务预测方法及系统 | |
| JP7499360B2 (ja) | 深層学習によるコンパクトな表現と時系列セグメントの取得 | |
| CN115587335A (zh) | 异常值检测模型的训练方法、异常值检测方法及系统 | |
| Wang et al. | A pseudoinverse incremental algorithm for fast training deep neural networks with application to spectra pattern recognition | |
| CN116612396A (zh) | 基于时空双流非平稳感知的海洋表面温度序列预测方法 | |
| CN115688871A (zh) | 基于预训练增强的多元时间序列预测方法及系统 | |
| CN115018193A (zh) | 基于lstm-ga模型的时间序列风能数据预测方法 | |
| CN114004383A (zh) | 时间序列预测模型的训练方法、时间序列预测方法及装置 | |
| CN117175588B (zh) | 基于时空相关性的用电负荷预测方法及装置 | |
| Zhong et al. | Face expression recognition based on NGO-BILSTM model | |
| CN117154256A (zh) | 锂电池的电化学修复方法 | |
| CN117828407B (zh) | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 | |
| Kaur | Implementation of backpropagation algorithm: A neural net-work approach for pattern recognition | |
| CN117197632A (zh) | 一种基于Transformer的电镜花粉图像目标检测方法 | |
| CN116434569A (zh) | 基于stnr模型的交通流量预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |