CN116378120A - 一种基于自注意力机制的变形监测方法 - Google Patents

一种基于自注意力机制的变形监测方法 Download PDF

Info

Publication number
CN116378120A
CN116378120A CN202310426035.0A CN202310426035A CN116378120A CN 116378120 A CN116378120 A CN 116378120A CN 202310426035 A CN202310426035 A CN 202310426035A CN 116378120 A CN116378120 A CN 116378120A
Authority
CN
China
Prior art keywords
self
deformation
points
attention
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310426035.0A
Other languages
English (en)
Inventor
曹久慧
卞桂荣
陈剑
李宝枝
顾晓彬
徐士月
夏显文
张旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No3 Engineering Co Ltd Of Cccc Third Harbor Engineering Co ltd
CCCC Third Harbor Engineering Co Ltd
Original Assignee
No3 Engineering Co Ltd Of Cccc Third Harbor Engineering Co ltd
CCCC Third Harbor Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No3 Engineering Co Ltd Of Cccc Third Harbor Engineering Co ltd, CCCC Third Harbor Engineering Co Ltd filed Critical No3 Engineering Co Ltd Of Cccc Third Harbor Engineering Co ltd
Priority to CN202310426035.0A priority Critical patent/CN116378120A/zh
Publication of CN116378120A publication Critical patent/CN116378120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D33/00—Testing foundations or foundation structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本发明公开了一种基于自注意力机制的变形监测方法，包括获取点位监测位移数据；计算预测点与一定空间范围内其余点的相关性，若周围点与该预测点的Copula熵大于阈值，即认为这些点属于同一类型的点，将满足要求的周围点作为一个数据集；利用数据集对以自注意力机制为核心的机器学习模型进行训练；利用训练好的机器学习模型进行预测点的变形预测。本发明能够实现同类监测点长时间序列变形预测，为施工过程及运营管理提供指导。

Description

一种基于自注意力机制的变形监测方法
技术领域
本发明涉及工程变形监测，具体涉及一种基于自注意力机制的变形监测方法。
背景技术
大型工程，例如围堰、边坡等，在施工和运营期间，会受到多种内在、外在因素的影响，从而发生变形。如变形超过极限，则会危及工程的安全。
变形监测分析一直是工程测量领域的热点之一。常见的变形监测分析方法主要是针对单一监测点的建模与预测，但实际上变形体内部的多个监测点之间存在相关性，每个监测点的变形都不是孤立的，因而单点监测的预测结果精度不高。此外，常见的变形监测分析方法一般是针对1～3天内的变形进行短期的预测，在中长期时间跨度的预测中，精度不高。
发明内容
发明目的：本发明的目的是提供一种基于自注意力机制的变形监测方法，能够实现同类监测点的长期变形监测，并保证监测精度。
技术方案：本发明提供一种基于自注意力机制的变形监测方法，包括：
(1)获取点位监测位移数据；
(2)计算预测点与一定空间范围内其余点的相关性，若周围点与该预测点的Copula熵大于阈值，即认为这些点属于同一类型的点，将满足要求的周围点作为一个数据集；
(3)利用数据集对以自注意力机制为核心的机器学习模型进行训练；
(4)利用训练好的机器学习模型进行预测点的变形预测。
进一步地，步骤(1)中，对实际测得的点位监测位移数据进行去噪处理。
进一步地，采用小波阈值去噪法进行去噪。
进一步地，小波阈值去噪法包括小波分解、阈值量化处理和小波重建。
进一步地，步骤(2)中，结合实际情况，将其他可能导致变形的因素纳入到数据集中，其他可能导致变形的因素包括温度和水压。
进一步地，步骤(2)中，计算不同点之间相关性的公式为：
Figure BDA0004188150340000011
HC表示多个观测点位之间的相关性指标，通过积分计算得到；时间序列xi∈Rd是d维随机变量，Ui是xi的边缘分布函数；ui是边缘分布函数Ui的具体数值，计算出的c(u1,u2,,ud)是概率密度。
进一步地，步骤(3)中，将数据集分为训练集、验证集和测试集，利用训练集的数据对以自注意力机制为核心的机器学习模型进行训练，记录使验证集的损失函数值达到最小时的模型参数，当训练完成后，使用保存好的模型参数对测试集数据进行预测，验证模型预测准确度，准确度满足要求后确定为最终模型。
进一步地，步骤(3)中，数据集中的数据按70％、15％、15％的比例分为训练集、验证集和测试集。
进一步地，步骤(3)中，机器学习模型分为编码器模块和解码器模块，其中编码器模块核心为自注意力机制；
度量Query的稀疏性时，采用KL散度，第i个Query的稀疏性的评价公式为：
Figure BDA0004188150340000021
其中qi、kl是向量Q和K的具体值，d为输入的矩阵维度，n为观测序列的长度；第一项
Figure BDA0004188150340000022
是qi对于所有K的一个最大值，l是矩阵K的维度；
为每个qi随机采样长度为u的K，选择其中计算结果中最大u个M(qi,K)，只计算这u个qi和K的点积结果；推导得出稀疏概率自注意力的公式为：
Figure BDA0004188150340000023
其中
Figure BDA0004188150340000024
为稀疏采样后的Q矩阵向量，稀疏概率自注意力对于每个Q、K向量只需要进行O(u)的点积计算操作；编码器模块作为稀疏概率自注意力机制的结果，其特征映射存在值V的冗余组合，因此可以进行提取将更高权重赋予给具有主导的优势特征，并在下一层生成自注意力特征映射，从j到j+1层的提取过程为：
Figure BDA0004188150340000025
其中
Figure BDA0004188150340000026
包含注意块的关键操作和多头问题稀疏的自注意力，Convld表示时间序列上的一维卷积操作。
进一步地，步骤(4)中，选择预测时间段为7天，Encoder层输入序列长度为28，层数为2层，Decoder层中token序列长度为14，层数为1层。
有益效果：本发明与现有技术相比，具有如下显著优点：本发明通过计算监测点与一定空间范围内其他点的相关性，对监测点进行分类用于变形分析的模型中；利用自注意力机制捕获输入序列不同位置信息间的关系，构建基于自注意力机制为核心的神经网络模型，用于处理非平稳的长时间序列的变形监测数据。本发明构建的变形预测模型更精确，能够实现同类监测点长时间序列变形预测，为施工过程及运营管理提供指导。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对本发明实施例中所需要使用的附图作简单介绍，显而易见地，下面所描述的附图仅仅是本发明的实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中变形监测方法的流程框图；
图2是本申请实施例中小波阈值法去除噪声的流程框图；
图3是本申请实施例中预测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本申请实施例采用某隧道施工段2020年12月至2021年10月间围堰上采样频率为1天的共计303期点位监测位移数据进行分析。
图1所示为申请实施例提供的一种基于自注意力机制的变形监测方法流程框图，该变形监测方法具体包括如下的步骤。
(1)采用小波阈值去噪法，对实际测得的点位监测位移数据进行去噪处理。
小波阈值去噪法利用信号与噪声的小波变换特性不一样的原理，主要分为小波分解、阈值量化处理和小波重建三步，图2所示为小波阈值去噪法去除噪声的流程图。
小波分解：依据数据选择合适的小波基函数，再选择合适的分解层数N对原始信号进行分解。
阈值量化处理：对小波分解高频系数进行处理，方便从高频信号中提取出有用的部分，防止在去除噪声时删除真实有用的信号。
小波重建：利用第N层的低频系数与第1到N层修改后的高频系数，经过信号重构就可获得去噪后的真实值的近似值。
基于上述三步，即可获取去除噪声后的信号。
本实施例中，通过比较使用不同小波基函数及分解层数后结果的信噪比以及均方根误差，选择使用无偏风险估计阈值的小波基，分解层数为5层。
(2)计算预测点与一定空间范围内其余点的相关性，若周围点与该预测点的Copula熵大于阈值，即可认为这些点属于同一类型的点，同一类型的点具有相同的变形趋势，将满足要求的周围点作为一个数据集，在变形分析时加入参与建模。此外，还可结合实际情况，把其他可能导致变形的因素纳入到数据集中，其他可能导致变形的因素包括温度、水压等。
步骤(2)中，计算不同点之间相关性的公式为：
Figure BDA0004188150340000031
HC表示多个观测点位之间的相关性指标，通过积分计算得到；时间序列xi∈Rd是d维随机变量，Ui是xi的边缘分布函数，ui是边缘分布函数Ui的具体数值，计算出的c(u1,u2,,ud)是概率密度。
(3)将数据集中的数据X按70％、15％、15％的比例分为训练集、验证集和测试集，利用训练集的数据对以自注意力机制为核心的机器学习模型进行训练，最终输入的数据为
Figure BDA0004188150340000041
n为观测数据的数量，p为空间范围内相关点的个数，xi是观测值(即观测得到的时间序列)，tempi为温度向量，Mpai代表水压。
记录使验证集的损失函数值达到最小时的模型参数，当训练完成后，使用保存好的模型参数对测试集数据进行预测，当训练完成后，使用保存好的模型参数对测试集数据进行预测，得到t～t+k时间段内的预测值X。验证模型预测准确度，准确度满足要求后确定为最终模型。
具体地，机器学习模型分为编码器模块和解码器模块，编码器模块核心为自注意力机制，其作用为提取长时间序列中的远期依赖性。
传统自注意力进行缩放点积的表达式为：
Figure BDA0004188150340000042
其中Q、K和V为表征输入的矩阵向量；softmax是归一化函数；d为输入的矩阵维度，矩阵可以通过对X进行不同的线性变换后得到。
第i个Query的注意力系数的概率形式为：
Figure BDA0004188150340000043
其中qi、kl、kj是向量Q和K的具体值，k(qi,kj)的计算公式为
Figure BDA0004188150340000044
vj是矩阵向量V的第j个元素的值，/>
Figure BDA0004188150340000045
[·]表示求和，E表示求均值。
在本实施例中，由于自注意力的结构分布为长尾式的分布，少数的点积的贡献比重大，而其余点积的贡献可以忽略不计。因此，为了度量Query的稀疏性，选择采用KL散度。第i个Query的稀疏性的评价公式为：
Figure BDA0004188150340000046
其中第一项
Figure BDA0004188150340000047
是qi对于所有K的一个最大值，l是矩阵K的维度，n为观测序列的长度。
为每个qi随机采样长度为u的K，选择其中计算结果中最大u个M(qi,K)，只计算这u个qi和K的点积结果。于是，推导得出稀疏概率自注意力的公式为：
Figure BDA0004188150340000048
其中
Figure BDA0004188150340000049
为稀疏采样后的Q矩阵向量。因此稀疏概率自注意力对于每个Q、K向量就只需要进行O(u)的点积计算操作。编码器模块作为稀疏概率自注意力机制的结果，其特征映射存在值V的冗余组合，因此可以进行提取将更高权重赋予给具有主导的优势特征，并在下一层生成自注意力特征映射，从j到j+1层的提取过程为：
Figure BDA0004188150340000051
其中
Figure BDA0004188150340000052
包含注意块的关键操作和多头问题稀疏的自注意力，Convld表示时间序列上的一维卷积操作，并通过使用ELU作为激活函数，最后经过MaxPool最大池化便可计算得出下一层的输入，使得每层解码器都将输入长度缩短一半，从而节约编码器模块上的内存开销和计算时间，并且不丢失重要的信息。
本实施例中，解码器模块使用标准的结构，它由两个一样的多头注意力层组成。隐藏多头注意力机制不会使每个位置都注意下一个位置，从而避免了自回归现象。在全连接层获取到最终的输出，并且由预测是单变量预测还是多变量预测决定其输出维度。同时在解码器模块中采用生成式的结构，能够一次生成全部的预测序列，使得预测解码时间大大缩短。
(4)利用步骤(3)确定的模型进行预测点的变形预测。
本实施例中，选择预测时间段为7天，Encoder层输入序列长度为28，层数为2层，Decoder层中token序列长度为14，层数为1层。通过调整学习率降低训练集的损失值，当验证集的损失值小于保存的值时，记录对应的模型参数。当达到训练次数设置上限时，选择保存的模型参数对测试集进行预测，最终得到结果如图3所示。可以发现，对长时间的预测达到较好的效果。
从实施例结果中可看出，本发明提供的变形监测方法具有良好的应用价值，对实际工程中围堰预警等长时间序列变形预测应用具有重要的意义。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于自注意力机制的变形监测方法，其特征在于，包括：
(1)获取点位监测位移数据；
(2)计算预测点与一定空间范围内其余点的相关性，若周围点与该预测点的Copula熵大于阈值，即认为这些点属于同一类型的点，将满足要求的周围点作为一个数据集；
(3)利用数据集对以自注意力机制为核心的机器学习模型进行训练；
(4)利用训练好的机器学习模型进行预测点的变形预测。
2.根据权利要求1所述的变形监测方法，其特征在于，步骤(1)中，对实际测得的点位监测位移数据进行去噪处理。
3.根据权利要求2所述的变形监测方法，其特征在于，采用小波阈值去噪法进行去噪。
4.根据权利要求3所述的变形监测方法，其特征在于，小波阈值去噪法包括小波分解、阈值量化处理和小波重建。
5.根据权利要求1所述的变形监测方法，其特征在于，步骤(2)中，结合实际情况，将其他可能导致变形的因素纳入到数据集中，其他可能导致变形的因素包括温度和水压。
6.根据权利要求1或5所述的变形监测方法，其特征在于，步骤(2)中，计算不同点之间相关性的公式为：
Figure FDA0004188150320000011
HC表示多个观测点位之间的相关性指标，通过积分计算得到；时间序列xi∈Rd是d维随机变量，Ui是xi的边缘分布函数；ui是边缘分布函数Ui的具体数值，计算出的c(u1,u2,…,ud)是概率密度。
7.根据权利要求1所述的变形监测方法，其特征在于，步骤(3)中，将数据集分为训练集、验证集和测试集，利用训练集的数据对以自注意力机制为核心的机器学习模型进行训练，记录使验证集的损失函数值达到最小时的模型参数，当训练完成后，使用保存好的模型参数对测试集数据进行预测，验证模型预测准确度，准确度满足要求后确定为最终模型。
8.根据权利要求7所述的变形监测方法，其特征在于，步骤(3)中，数据集中的数据按70％、15％、15％的比例分为训练集、验证集和测试集。
9.根据权利要求7或8所述的变形监测方法，其特征在于，步骤(3)中，机器学习模型分为编码器模块和解码器模块，其中编码器模块核心为自注意力机制；
度量Query的稀疏性时，采用KL散度，第i个Query的稀疏性的评价公式为：
Figure FDA0004188150320000012
其中qi、kl是向量Q和K的具体值，d为输入的矩阵维度，n为观测序列的长度；第一项
Figure FDA0004188150320000021
是qi对于所有K的一个最大值，l是矩阵K的维度；
为每个qi随机采样长度为u的K，选择其中计算结果中最大u个M(qi,K)，只计算这u个qi和K的点积结果；推导得出稀疏概率自注意力的公式为：
Figure FDA0004188150320000022
其中
Figure FDA0004188150320000023
为稀疏采样后的Q矩阵向量，稀疏概率自注意力对于每个Q、K向量只需要进行O(u)的点积计算操作；编码器模块作为稀疏概率自注意力机制的结果，其特征映射存在值V的冗余组合，因此可以进行提取将更高权重赋予给具有主导的优势特征，并在下一层生成自注意力特征映射，从j到j+1层的提取过程为：
Figure FDA0004188150320000024
其中
Figure FDA0004188150320000025
包含注意块的关键操作和多头问题稀疏的自注意力，Convld表示时间序列上的一维卷积操作。
10.根据权利要求1所述的变形监测方法，其特征在于，步骤(4)中，选择预测时间段为7天，Encoder层输入序列长度为28，层数为2层，Decoder层中token序列长度为14，层数为1层。
CN202310426035.0A 2023-04-20 2023-04-20 一种基于自注意力机制的变形监测方法 Pending CN116378120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310426035.0A CN116378120A (zh) 2023-04-20 2023-04-20 一种基于自注意力机制的变形监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310426035.0A CN116378120A (zh) 2023-04-20 2023-04-20 一种基于自注意力机制的变形监测方法

Publications (1)

Publication Number Publication Date
CN116378120A true CN116378120A (zh) 2023-07-04

Family

ID=86961547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310426035.0A Pending CN116378120A (zh) 2023-04-20 2023-04-20 一种基于自注意力机制的变形监测方法

Country Status (1)

Country Link
CN (1) CN116378120A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117172232A (zh) * 2023-11-02 2023-12-05 深圳市迪博企业风险管理技术有限公司 审计报告生成方法、装置、设备和存储介质
CN117198028A (zh) * 2023-09-01 2023-12-08 中国建筑第二工程局有限公司 基于注意力机制的施工过程中危险位移监测与预警方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198028A (zh) * 2023-09-01 2023-12-08 中国建筑第二工程局有限公司 基于注意力机制的施工过程中危险位移监测与预警方法
CN117172232A (zh) * 2023-11-02 2023-12-05 深圳市迪博企业风险管理技术有限公司 审计报告生成方法、装置、设备和存储介质
CN117172232B (zh) * 2023-11-02 2024-01-26 深圳市迪博企业风险管理技术有限公司 审计报告生成方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN116378120A (zh) 一种基于自注意力机制的变形监测方法
CN111091233B (zh) 一种风电场短期风电预测建模方法
JP5186322B2 (ja) 時系列データ解析システム、方法及びプログラム
Lai et al. Online pattern matching and prediction of incoming alarm floods
CN110083125B (zh) 一种基于深度学习的机床热误差建模方法
CN112712209B (zh) 水库入库流量预测方法、装置、计算机设备及存储介质
JP2001502831A (ja) 測定可能な時系列の統計的依存性の分類方法
CN108168924B (zh) 一种基于vmd和mfss模型的往复压缩机寿命预测方法
CN115510748A (zh) 基于变分模态分解和cnn-gru的滑坡位移预测方法
CN115982141A (zh) 一种针对时序数据预测的特征优化方法
CN116796275A (zh) 一种工业设备多模态时序异常检测方法
CN115422687A (zh) 一种滚动轴承的寿命预测方法
CN115146700A (zh) 一种基于Transformer序列到序列模型的径流预测方法
CN109242166B (zh) 一种基于多尺度深度神经网络的环境预测防控系统
CN116908684A (zh) 电机故障预测方法、装置、电子设备及存储介质
CN116630728A (zh) 基于注意力残差孪生网络的加工精度预测方法
CN114674511B (zh) 一种用于剔除时变环境因素影响的桥梁模态异常预警方法
CN116226770A (zh) 一种时间序列数据异常检测方法及装置
CN115983370A (zh) 散乱数据插值模型训练方法、插值方法及装置
Huang et al. A deep learning approach for predicting critical events using event logs
Lu et al. Weak monotonicity with trend analysis for unsupervised feature evaluation
CN113742911B (zh) 混沌时间序列的高精度自适应盲估计方法
CN116089822B (zh) 一种基于时空注意力网络的设备rul预测方法及系统
Liu et al. Performance similarity based method for enhanced prediction of manufacturing process performance
CN116882538B (zh) 一种海洋环境预测模型的训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination