CN116665130B - 基于时空图的大坝安全监测多元时间序列异常检测方法 - Google Patents
基于时空图的大坝安全监测多元时间序列异常检测方法 Download PDFInfo
- Publication number
- CN116665130B CN116665130B CN202310670442.6A CN202310670442A CN116665130B CN 116665130 B CN116665130 B CN 116665130B CN 202310670442 A CN202310670442 A CN 202310670442A CN 116665130 B CN116665130 B CN 116665130B
- Authority
- CN
- China
- Prior art keywords
- time
- variable
- attention
- safety monitoring
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000010586 diagram Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000012512 characterization method Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 28
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 11
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于时空图的大坝安全监测多元时间序列异常检测方法，包括：1)利用图结构对大坝安全监测多元时间序列时间和变量维度进行显式建模，构建变量特征图和时间特征图；2)采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系；3)使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况。本发明用于检测大坝安全监测数据中的异常情况，提高了大坝安全监测多元时间序列异常检测的精确率和召回率，并能对异常现象进行合理解释，辅助大坝的安全性评判。
Description
技术领域
本发明涉及一种大坝安全监测多元时间序列异常检测方法和系统，特别涉及一种基于时空图的大坝安全监测多元时间序列异常检测方法和系统，属于大坝安全异常检测技术领域。
背景技术
大坝是一项至关重要的水利工程，可用于防洪、发电和蓄水等用途。由于其安全性直接关系到周围地区和民众的生命财产安全，因此必须高度重视大坝的安全监测。通过分析大坝安全监测数据，可以实时、准确地监测大坝结构的变化和异常情况，及时发现并预警潜在的安全风险，避免大坝破坏造成的灾害和损失。
近年来，研究人员使用图结构对时间序列变量间的依赖关系进行显式建模，在此基础上利用图神经网络挖掘图结构数据中的特征和模式，以支持大坝安全监测多元时间序列的异常检测。然而，现有研究仍然存在一些问题：模型无法考虑不同变量间时空依赖关系的强弱、基于预测和基于重构的模型存在各自的弊端，以及深度图神经网络容易产生过拟合，影响了大坝安全监测多元时间序列异常检测的精确率和召回率。
发明内容
发明目的：针对现有技术的问题与不足，本发明提供了一种基于时空图的大坝安全监测多元时间序列异常检测方法和系统，旨在使用图结构对大坝安全监测多元时间序列的非线性时空依赖关系进行显式建模。针对大坝异常检测任务，使用图神经网络等深度学习技术，利用图结构进行信息传播，提高异常检测的精确率和召回率。
技术方案：一种基于时空图的大坝安全监测多元时间序列异常检测方法，为适用于检测大坝安全性的多元时间序列异常检测方法，包括如下步骤：
(1)利用图结构对大坝安全监测的多元时间序列数据的时间和变量维度进行显式建模，构建变量特征图和时间特征图；
(2)采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系；
(3)使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况。
进一步的，所述步骤(1)中利用图结构对大坝安全监测的多元时间序列数据的时间和变量维度进行显式建模，构建变量特征图和时间特征图的具体步骤如下：
(1.1)构建变量特征图：首先为每个大坝安全监测点的监测变量都设置一个嵌入向量，变量i1的嵌入向量为 其中d表示向量的维度，N表示大坝安全监测变量的总维数；计算不同变量之间的相似性构造变量特征图，变量相关性由嵌入向量计算得出，对于变量i1和变量j1，相关性/>的计算公式如下所示：
其中，表示为余弦相似度方法；将所有变量两两组合计算相似性后，针对任意变量i1，选择与其相似性最大的前K个邻居变量(TopK)，在空间图中将变量i1和邻居变量j1用边连接起来，j1∈TopK，对应空间邻接矩阵A中i1所在的列，可用如下公式表示：
(1.2)构建时间特征图：首先为输入滑动窗口内的时间序列每个时间点设置一个嵌入向量，时间点i的嵌入向量为ω表示输入时间序列的滑动窗口大小，其次对任一时间戳j处的嵌入向量给定一个位置编码/>具体形式如下所示：
其中d是位置编码的维数，与当前位置的大坝安全监测变量维数相同，即d＝N；n用来判断时间点i具体映射到正弦还是余弦函数，在为每个时间点赋予位置编码后，计算不同时间点嵌入向量之间的相似性构造时间特征图，具体计算如下公式：
不同时间点嵌入向量之间的两两相似性ej′i表示了不同时间戳之间的相似程度，针对任一时间戳的数据i，选择与其相似性最大的K个邻居时间点(TopK)，用边进行连接，构造时间邻接矩阵如下所示，其中，ω表示时间序列的滑动窗口大小，即参与计算的时间序列的长度。
进一步的，所述步骤(2)中采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系的具体步骤如下：
(2.1)变量图注意力层：将已构建的变量特征图作为输入，经过多头注意力、指标内注意力和指标间注意力三个模块挖掘图中信息；
多头注意力模块通过聚合邻居节点的信息更新每个节点的特征表示，节点i在第l+1层的特征表示是其邻居节点j在第l层所有特征表示的加权求和；
指标内注意力模块将与节点i属于相同指标的节点作为候选集mi表示节点i的指标，mj表示节点j的指标，通过关系注意力模块明确大坝安全监测多元时间序列相同指标间的相关性，节点i在第l+1层的特征表示为/>
指标间注意力模块将与节点i属于不同检测指标的节点作为候选集同样使用关系注意力模块明确大坝安全监测多元时间序列相不同指标间的相关性，节点i在第l+1层的特征表示为/>
变量图注意力层的最终输出由上述三个模块的输出拼接得到，即 ||为拼接操作。
(2.2)时间图注意力层：将已构建的时间特征图作为输入，结合位置编码，利用多头注意力模块，聚合邻居节点的信息以更新每个时间点的特征表示，计算公式如下所示；其中，是节点i在第l+1层的特征表示，||为拼接操作，S表示注意力头的个数，是时间图的临界矩阵A′中节点i的邻居节点集合，/>是节点i和j在第l层中第s个注意力头处的注意力分数，/>是第l层中第s个注意力头的权重矩阵，/>是节点j在第l层的特征表示，Zl表示所有节点在第l层的特征表示，/>表示时间戳j处的位置编码。
综合所有节点的最终输出，变量图注意力层的输出是一个N×ω维的矩阵，时间图注意力层的输出是一个ω×N维的矩阵；将上述两个图注意力层的输出与输入滑动窗口内的时间序列进行拼接，构成一个ω×N维的矩阵，并将该矩阵作为联合优化网络的输入，捕获数据中的序列模式信息，计算异常得分。
进一步的，所述步骤(3)中使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况的具体步骤如下：
(3.1)使用两个判别器DE(·)和DD(·)对自编码器GA进行对抗训练作为基于重构的模型，自编码器GA的编码器GE(·)和解码器GD(·)被视为两个生成器；判别器DE(·)和DD(·)对分别接收到来自生成器GE(·)和GD(·)的大坝监测数据进行真假判断，计算对应的损失函数和/>经过训练不断调整参数，优化生成网络和判别网络，最终得到整个重构模型的损失函数/>
(3.2)运用多层感知机(MLP)作为预测模块，使用在时间t处的输入来预测下一个时间戳处的大坝监测数据，计算t+1处预测值与真实值之间的损失函数/>计算公式如下所示，其中，xi,t+1是第i个时间序列在t+1处的实测值，/>是第i个序列在t+1时刻的预测值；
结合步骤(3.1)中得到的重构损失函数，联合优化的损失函数为 其中，/>为重构模块的损失函数，/>为预测模块的损失函数，γ1为平衡两个模块权重的超参数。
(3.3)对于第i个大坝安全监测单变量时间序列，在任一时间戳t处，预测模块生成预测值重构模型生成重构概率pi；计算最终的异常得分，计算公式如下，其中，xi为实测值，γ2为平衡两个模块的超参数。
一种基于时空图的大坝安全监测多元时间序列异常检测系统，包括：构建变量特征图、构建时间特征图、变量图注意力层、时间图注意力层和联合优化五个模块；
所述构建变量特征图模块，为大坝安全监测多元时间序列中的每个变量设置一个嵌入向量，根据嵌入向量计算变量间的相关性后，针对任意一个变量i1选择与其相似度最大的前K个邻居变量，在空间图中将变量i1与邻居变量进行连接，构建变量特征图；
所述构建时间特征图模块，为输入滑动窗口内时间序列的每个时间点设置一个嵌入向量并引入位置编码，计算不同时间点嵌入向量之间的相似性后，针对任一时间戳的数据，选择与其相似度最大的前K个邻居时间点，用边连接起来，构建时间特征图；
所述变量图注意力层模块，输入变量特征图，利用多头注意力对大坝安全监测时间序列之间的变量依赖性进行建模，加入指标内和指标间注意力捕捉不同时间序列之间的指标相关性；
所述时间图注意力层模块，输入时间特征图，结合位置编码并利用多头注意力聚合邻居节点的信息更新每个时间点的特征表示；
变量图注意力层模块的输出是一个N×ω维的矩阵，时间图注意力层模块的输出是一个ω×N维的矩阵；将上述变量图注意力层模块和时间图注意力层模块的输出与输入滑动窗口内的时间序列进行拼接，构成一个ω×N维的矩阵，并将该矩阵作为联合优化模块的输入，捕获数据中的序列模式信息，计算异常得分。
所述联合优化模块，结合基于重构和基于预测模型的优点，在重构模块捕获大坝安全监测输入数据的分布并在预测模块预测下一个时间戳处的值，联合优化损失函数并计算大坝当前部位的异常分数。
基于时空图的大坝安全监测多元时间序列异常检测系统实现方法和方法一样，不再赘述。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于时空图的大坝安全监测多元时间序列异常检测方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于时空图的大坝安全监测多元时间序列异常检测方法的计算机程序。
有益效果：与现有技术相比，本发明提供的基于时空图的大坝安全监测多元时间序列异常检测方法和系统，具有如下优点：利用图结构对大坝安全监测多元时间序列的非线性时空依赖关系进行显式建模，分别构建时间特征图和变量特征图，利用两个并行的图注意力层作为核心模块，捕获大坝安全监测多元时间序列的时空依赖关系。并通过一个联合优化函数结合基于预测和基于重构模型的优势，根据重构概率和预测误差来检测和定位大坝异常，提高了异常检测的精确率与召回率。
附图说明
图1为本发明实施例的基于时空图的大坝安全监测多元时间序列异常检测方法(MTS-GAT)的框架图。
图2为本发明实施例的大坝异常检测结果示例。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
图1为基于时空图的大坝安全监测多元时间序列异常检测方法的总体流程图，分为5个部分，包括构建变量特征图、构建时间特征图、变量图注意力层、时间图注意力层和联合优化模块。首先，根据大坝安全监测传感器的监测数据(N个单变量时间序列)形成多元时间序列，考虑到各个传感器形成的单变量时间序列间可能存在相似性，将大坝安全监测的每个变量作为图中的节点，利用节点相似性建立变量特征图中的连边关系。为显式捕获大坝监测数据中的时间信息，使用与构建变量特征图相似的方法构建时间特征图。之后，使用图注意力网络分别构建大坝监测数据的变量图注意力层和时间图注意力层。变量图注意力层中通过多头注意力模块和附加的关系注意力模块捕获指标内和指标间关系，时间图注意力模块则捕获输入时间窗口ω内各时间戳之间的依赖关系。最后，根据基于预测和基于重构模型的互补性，使用一个联合网络来整合两个模型的优点，并计算异常分数来检测大坝异常。
图2为大坝异常检测结果示例，左图(a)中阴影部分为已知某一坝段存在异常情况的时间区间，属于同一指标的时间序列拥有相同的后缀。可以发现，大坝垂线径向位移相关指标C4-A19-PL-01-R和C4-A19-PL-02-R的值在正常范围内变化，大坝垂线切向位移相关指标C4-A19-PL-01-T和C4-A19-PL-02-T的值也在正常范围内变化，操作人员难以直接找到引发异常的指标。右图(b)为使用基于时空图的大坝安全监测多元时间序列异常检测方法计算得到的每个变量的异常情况可视化，异常分数越大的大坝安全监测变量颜色越深。可以看出，测量大坝缝隙开合度的传感器C4-A19-J-33的异常分数最大，测量表观切向位移的传感器C4-A19-GTP-02-T次之，因此可以推断C4-A19-J-33是最可能发生异常的传感器，需要工作人员及时进行检修。从左图也能看出C4-A19-J-33数据的变化严重偏离历史时间模式。
使用基于时空图的大坝安全监测多元时间序列异常检测方法在大坝安全监测数据集中进行实验，包括如下步骤：
(1)利用图结构对大坝安全监测多元时间序列时间和变量维度进行显式建模，构建变量特征图和时间特征图的具体步骤如下：
(1.1)构建变量特征图：首先为大坝安全监测数据集中的每个变量都设置一个嵌入向量其中d表示监测向量的维度，设置为64；在嵌入向量构成的空间中，向量相似性代表了不同监测变量间的相似性；变量相关性由嵌入向量计算得出，对于变量i和变量j，相关性的计算公式如下所示：
其中，f(vi,vj)表示为余弦相似度方法；将数据集中的所有监测变量两两组合计算相似性后，针对任意变量i，选择与其相似性最大的前K个邻居变量(TopK)，K值设置为30，在空间图中将i和j用边连接起来，对应空间邻接矩阵A中i所在的列，可用如下公式表示：
(1.2)构建时间特征图：首先为输入滑动窗口ω内的时间序列每个时间点设置一个嵌入向量通过控制变量，对比模型在ω＝{30，50，70，90，110}时的结果，当滑动窗口ω为70时效果最好；其次对任一时间戳j处的向量给定一个位置编码具体形式如下所示：
其中d是位置编码的维数，与当前位置的大坝安全监测变量维数相同，即d＝N；在为每个时间点赋予位置编码后，计算不同时间点的嵌入向量之间的相似性构造时间特征图，具体计算如下公式：
不同时间点嵌入向量之间的两两相似性e′ji表示了不同时间戳之间的相似程度，针对任一时间戳的数据i，选择与其相似性最大的K个邻居时间点(TopK)，K值设置为30，用边进行连接，构造时间邻接矩阵如下所示，其中，
(2)采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系的具体步骤如下：
(2.1)变量图注意力层：将已构建的变量特征图作为输入，经过多头注意力、指标内注意力和指标间注意力三个模块进一步挖掘图中信息；多头注意力模块通过聚合邻居节点的信息更新每个节点的特征表示，节点i在第l+1层的特征表示是其邻居节点j在第l层所有特征表示的加权求和；指标内注意力模块将与节点i属于相同指标的节点作为候选集/> 通过关系注意力模块明确大坝安全监测多元时间序列相同指标间的相关性，节点i在第l+1层的特征表示为/>指标间注意力模块将与节点i属于不同监测指标的节点作为候选集/>同样使用关系注意力模块明确大坝安全监测多元时间序列不同指标间的相关性,节点i在第l+1层的特征表示为/>变量图注意力层的最终输出/>由三个注意力模块的输出拼接得到，即/>||为拼接操作；
(2.2)时间图注意力层：将已构建的时间特征图作为输入，结合位置编码，利用多头注意力模块，聚合邻居节点的信息以更新每个时间点的特征表示，计算公式如下所示；其中，是节点i在第l+1层的特征表示，||为拼接操作，S表示注意力头的个数，是时间图的临界矩阵A′中节点i的邻居节点集合，/>是节点i和j在第l层中第s个注意力头处的注意力分数，/>是第l层中第s个注意力头的权重矩阵，/>是节点j在第l层的特征表示。
综合所有节点的最终输出，变量图注意力层的输出是一个N×ω维的矩阵，时间图注意力层的输出是一个ω×N维的矩阵；将上述两个图注意力层的输出与输入滑动窗口内的时间序列进行拼接，构成一个ω×N维的矩阵，并将该矩阵作为联合优化网络的输入，捕获数据中的序列模式信息，计算异常得分。
(3)使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况的具体步骤如下：
(3.1)使用两个判别器DE(·)和DD(·)对自编码器GA进行对抗训练作为基于重构的模型，自编码器GA的编码器GE(·)和解码器GD(·)被视为两个生成器；判别器DE(·)和DD(·)对分别接收到来自生成器GE(·)和GD(·)的大坝监测数据进行真假判断，计算对应的损失函数和/>经过训练不断调整参数，优化生成网络和判别网络，Adam优化器的初始学习率为0.001。最终得到整个重构模型的损失函数/>
(3.2)运用多层感知机(MLP)作为预测模块，使用在时间t处的输入来预测下一个时间戳处的大坝监测数据，计算t+1处预测值与真实值之间的损失函数/>计算公式如下所示，其中,xi,t+1是第i个时间序列在t+1处的实测值，/>是第i个序列在t+1时刻的预测值；
结合步骤(3.1)中得到的重构损失函数，联合优化的损失函数为其中，/>为重构模块的损失函数，/>为预测模块的损失函数，γ1为平衡两个模块权重的超参数，通过网格搜索选择模型超参数γ1的值为0.5；
(3.3)对于第i个大坝安全监测单变量时间序列，在任一时间戳t处，预测模块生成预测值重构模块生成重构概率pi；计算最终的异常得分，计算公式如下，其中，xi为实测值，γ2为平衡两个模块的超参数，通过网格搜索选择模型超参数γ2的值为0.8。
基于时空图的大坝安全监测多元时间序列异常检测系统，包括：构建变量特征图、构建时间特征图、变量图注意力层、时间图注意力层和联合优化五个模块；
构建变量特征图模块，为大坝安全监测多元时间序列中的每个变量设置一个嵌入向量，根据嵌入向量计算变量间的相关性后，针对任意一个变量i选择与其相似度最大的前K个邻居变量，在空间图中将变量i与邻居变量进行连接，构建变量特征图；
构建时间特征图模块，为输入滑动窗口内时间序列的每个时间点设置一个嵌入向量并引入位置编码，计算不同时间点嵌入向量之间的相似性后，针对任一时间戳的数据，选择与其相似度最大的前K个邻居时间点，用边连接起来，构建时间特征图；
变量图注意力层模块，输入变量特征图，利用多头注意力对大坝安全监测时间序列之间的变量依赖性进行建模，加入指标内和指标间注意力捕捉不同时间序列之间的指标相关性；
时间图注意力层模块，输入时间特征图，结合位置编码并利用多头注意力聚合邻居节点的信息更新每个时间点的特征表示；
变量图注意力层模块的输出是一个N×ω维的矩阵，时间图注意力层模块的输出是一个ω×N维的矩阵；将上述变量图注意力层模块和时间图注意力层模块的输出与输入滑动窗口内的时间序列进行拼接，构成一个ω×N维的矩阵，并将该矩阵作为联合优化模块的输入，捕获数据中的序列模式信息，计算异常得分。
联合优化模块，结合基于重构和基于预测模型的优点，在重构模块捕获大坝安全监测输入数据的分布并在预测模块预测下一个时间戳处的值，联合优化损失函数并计算大坝当前部位的异常分数。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于时空图的大坝安全监测多元时间序列异常检测方法各步骤或基于时空图的大坝安全监测多元时间序列异常检测系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
参数设置和实验评价指标如下：
A参数设置
以下为影响模型性能的参数：图结构邻居节点数目K，数据集嵌入向量的维度d设置，滑动窗口大小w，超参数γ1和γ2，Adam优化器学习率，迭代轮次和模型批尺寸。
构造图结构时，邻居节点个数K值均设置为30；滑动窗口大小与时间序列的长度和采样频率等有关，滑动窗口大小为70时效果最好；联合优化模块超参数γ1和γ2的值分别取0.5和0.8；Adam优化器的初始学习率为0.001；整个模型使用大小为32的批次和100个迭代轮次(Epoch)训练。
B实验评价指标
以下为本发明实施例的具体评价指标：使用异常检测任务中的标准评估指标，即精确率(Precision)、召回率(Recall)和F1分数(F1-score)，来比较本发明提出方法与其他异常检测算法之间的差别。
根据以上实施例可知，本发明的方法利用图结构学习层通过嵌入向量来表征图中每个节点的固有属性，分别构建大坝安全监测多元时间序列时间维度和变量维度上的图结构，显式地捕获时间维度和变量维度的依赖关系。图注意力层则进一步学习和表征这种关系，通过改进的注意力机制捕获大坝安全监测指标内和指标间的线性和非线性依赖。最后，联合优化基于预测和重构两种模型的优点，提高模型稳健性，使用异常分数来识别和定位大坝异常。本发明的方法可以提高大坝安全监测多元时间序列异常检测的精确率与召回率。
Claims (6)
1.一种基于时空图的大坝安全监测多元时间序列异常检测方法，其特征在于，包括如下步骤：
(1)利用图结构对大坝安全监测的多元时间序列数据的时间和变量维度进行显式建模，构建变量特征图和时间特征图；
(2)采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系；
(3)使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况；
所述步骤(1)中利用图结构对大坝安全监测的多元时间序列数据的时间和变量维度进行显式建模，构建变量特征图和时间特征图的具体步骤如下：
(1.1)构建变量特征图：首先为每个大坝安全监测点的监测变量都设置一个嵌入向量，变量i1的嵌入向量为其中r表示向量的维度，N表示大坝安全监测变量的总维数；计算不同变量之间的相似性构造变量特征图，变量相关性由嵌入向量计算得出，对于变量i1和变量j1，相关性/>的计算公式如下所示：
其中，表示为余弦相似度方法；将所有变量两两组合计算相似性后，针对任意变量i1，选择与其相似性最大的前K个邻居变量TopK，在空间图中将变量i1和邻居变量j1用边连接起来，j1∈TopK，对应空间邻接矩阵A中i1所在的列，可用如下公式表示：
(1.2)构建时间特征图：首先为输入滑动窗口内的时间序列每个时间点设置一个嵌入向量，时间点i的嵌入向量为ω表示输入时间序列的滑动窗口大小，其次对任一时间戳j处的嵌入向量给定一个位置编码/>具体形式如下所示：
其中d是位置编码的维数，与当前位置的大坝安全监测变量维数相同，即d＝N；n用来判断时间点i具体映射到正弦还是余弦函数，在为每个时间点赋予位置编码后，计算不同时间点嵌入向量之间的相似性构造时间特征图，具体计算如下公式：
不同时间点嵌入向量之间的两两相似性e′ji表示了不同时间戳之间的相似程度，针对任一时间戳的数据i，选择与其相似性最大的K个邻居时间点TopK，用边进行连接，构造时间邻接矩阵如下所示，其中，
2.根据权利要求1所述的基于时空图的大坝安全监测多元时间序列异常检测方法，其特征在于，所述步骤(2)中采用图注意力网络并行学习时间和变量维度信息，得到更好的表征向量以捕获数据深层依赖关系的具体步骤如下：
(2.1)变量图注意力层：将已构建的变量特征图作为输入，经过多头注意力、指标内注意力和指标间注意力三个模块挖掘图中信息；
多头注意力模块通过聚合邻居节点的信息更新每个节点的特征表示，节点i在第l+1层的特征表示是其邻居节点j在第l层所有特征表示的加权求和；
指标内注意力模块将与节点i属于相同指标的节点作为候选集mi表示节点i的指标，通过关系注意力模块明确大坝安全监测多元时间序列相同指标间的相关性，节点i在第l+1层的特征表示为/>
指标间注意力模块将与节点i属于不同检测指标的节点作为候选集同样使用关系注意力模块明确大坝安全监测多元时间序列相不同指标间的相关性，节点i在第l+1层的特征表示为/>
变量图注意力层的最终输出由上述三个模块的输出拼接得到，即/> ||为拼接操作；
(2.2)时间图注意力层：将已构建的时间特征图作为输入，结合位置编码，利用多头注意力模块，聚合邻居节点的信息以更新每个时间点的特征表示，计算公式如下所示；其中，是节点i在第l+1层的特征表示，||为拼接操作，S表示注意力头的个数，是时间图的邻接矩阵A′中节点i的邻居节点集合，/>是节点i和j在第l层中第s个注意力头处的注意力分数，/>是第l层中第s个注意力头的权重矩阵，/>是节点j在第l层的特征表示，/>表示时间戳j处的位置编码；
3.根据权利要求1所述的基于时空图的大坝安全监测多元时间序列异常检测方法，其特征在于，进一步的，所述步骤(3)中使用联合基于预测和基于重构模型的优化网络计算异常分数，得到大坝部位异常情况的具体步骤如下：
(3.1)使用两个判别器DE(·)和DD(·)对自编码器GA进行对抗训练作为基于重构的模型，自编码器GA的编码器GE(·)和解码器GD(·)被视为两个生成器；判别器DE(·)和DD(·)对分别接收到来自生成器GE(·)和GD(·)的大坝监测数据进行真假判断，计算对应的损失函数和/>经过训练不断调整参数，优化生成网络和判别网络，最终得到整个重构模型的损失函数/>
(3.2)运用多层感知机(MLP)作为预测模块，使用在时间t处的输入来预测下一个时间戳处的大坝监测数据，计算t+1处预测值与真实值之间的损失函数/>计算公式如下所示，其中，xi，t+1是第i个时间序列在t+1处的实测值，/>是第i个序列在t+1时刻的预测值；
结合步骤(3.1)中得到的重构损失函数，联合优化的损失函数为 其中，/>为重构模块的损失函数，/>为预测模块的损失函数，γ1为平衡两个模块权重的超参数；
(3.3)对于第i个大坝安全监测单变量时间序列，在任一时间戳t处，预测模块生成预测值重构模型生成重构概率pi；计算最终的异常得分，计算公式如下，其中，xi为实测值，γ2为平衡两个模块的超参数；
4.一种基于时空图的大坝安全监测多元时间序列异常检测系统，其特征在于，包括：构建变量特征图模块、构建时间特征图模块、变量图注意力层模块、时间图注意力层模块和联合优化模块；
所述构建变量特征图模块，为大坝安全监测多元时间序列中的每个变量设置一个嵌入向量，根据嵌入向量计算变量间的相关性后，针对任意一个变量i1选择与其相似度最大的前K个邻居变量，在空间图中将变量i1与邻居变量进行连接，构建变量特征图；
所述构建时间特征图模块，为输入滑动窗口内时间序列的每个时间点设置一个嵌入向量并引入位置编码，计算不同时间点嵌入向量之间的相似性后，针对任一时间戳的数据，选择与其相似度最大的前K个邻居时间点，用边连接起来，构建时间特征图；
所述变量图注意力层模块，输入变量特征图，利用多头注意力对大坝安全监测时间序列之间的变量依赖性进行建模，加入指标内和指标间注意力捕捉不同时间序列之间的指标相关性；
所述时间图注意力层模块，输入时间特征图，结合位置编码并利用多头注意力聚合邻居节点的信息更新每个时间点的特征表示；
变量图注意力层模块的输出是一个N×ω维的矩阵，时间图注意力层模块的输出是一个ω×N维的矩阵；将上述变量图注意力层模块和时间图注意力层模块的输出与输入滑动窗口内的时间序列进行拼接，构成一个ω×N维的矩阵，并将该ω×N矩阵作为联合优化模块的输入，捕获数据中的序列模式信息，计算异常得分；
所述联合优化模块，结合基于重构和基于预测模型的优点，在重构模块捕获大坝安全监测输入数据的分布并在预测模块预测下一个时间戳处的值，联合优化损失函数并计算大坝当前部位的异常分数；
所述构建变量特征图模块，利用图结构对大坝安全监测的多元时间序列数据的时间和变量维度进行显式建模，构建变量特征图和时间特征图的具体步骤如下：
(1.1)构建变量特征图：首先为每个大坝安全监测点的监测变量都设置一个嵌入向量，变量i1的嵌入向量为其中r表示向量的维度，N表示大坝安全监测变量的总维数；计算不同变量之间的相似性构造变量特征图，变量相关性由嵌入向量计算得出，对于变量i1和变量j1，相关性/>的计算公式如下所示：
其中，表示为余弦相似度方法；将所有变量两两组合计算相似性后，针对任意变量i1，选择与其相似性最大的前K个邻居变量TopK，在空间图中将变量i1和邻居变量j1用边连接起来，j1∈TopK，对应空间邻接矩阵A中i1所在的列，可用如下公式表示：
(1.2)构建时间特征图：首先为输入滑动窗口内的时间序列每个时间点设置一个嵌入向量，时间点i的嵌入向量为ω表示输入时间序列的滑动窗口大小，其次对任一时间戳j处的嵌入向量给定一个位置编码/>具体形式如下所示：
其中d是位置编码的维数，与当前位置的大坝安全监测变量维数相同，即d＝N；n用来判断时间点i具体映射到正弦还是余弦函数，在为每个时间点赋予位置编码后，计算不同时间点嵌入向量之间的相似性构造时间特征图，具体计算如下公式：
不同时间点嵌入向量之间的两两相似性e′ji表示了不同时间戳之间的相似程度，针对任一时间戳的数据i，选择与其相似性最大的K个邻居时间点TopK，用边进行连接，构造时间邻接矩阵如下所示，其中，
5.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-3中任一项所述的基于时空图的大坝安全监测多元时间序列异常检测方法。
6.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-3中任一项所述的基于时空图的大坝安全监测多元时间序列异常检测方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670442.6A CN116665130B (zh) | 2023-06-07 | 2023-06-07 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310670442.6A CN116665130B (zh) | 2023-06-07 | 2023-06-07 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116665130A CN116665130A (zh) | 2023-08-29 |
| CN116665130B true CN116665130B (zh) | 2024-04-02 |
Family
ID=87711498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310670442.6A Active CN116665130B (zh) | 2023-06-07 | 2023-06-07 | 基于时空图的大坝安全监测多元时间序列异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665130B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117235572B (zh) * | 2023-09-06 | 2024-02-27 | 电子科技大学 | 基于时空信息的多元时间序列异常检测方法 |
| CN117237165B (zh) * | 2023-09-22 | 2024-05-07 | 中节能数字科技有限公司 | 一种检测造假数据的方法 |
| CN117074627B (zh) * | 2023-10-16 | 2024-01-09 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
| CN117520779A (zh) * | 2023-11-17 | 2024-02-06 | 河海大学 | 基于多指标图注意力网络的水电机转轮状态关联分析方法 |
| CN117290800B (zh) * | 2023-11-24 | 2024-01-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115039045A (zh) * | 2019-11-25 | 2022-09-09 | 强力物联网投资组合2016有限公司 | 用于工业环境的智能振动数字孪生系统和方法 |
| WO2022236064A2 (en) * | 2021-05-06 | 2022-11-10 | Strong Force Iot Portfolio 2016, Llc | Quantum, biological, computer vision, and neural network systems for industrial internet of things |
| CN115618296A (zh) * | 2022-10-26 | 2023-01-17 | 河海大学 | 一种基于图注意力网络的大坝监测时序数据异常检测方法 |
| CN115618196A (zh) * | 2022-10-18 | 2023-01-17 | 湖北工业大学 | 基于时空特征下的Transformer异常检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210406603A1 (en) * | 2020-06-26 | 2021-12-30 | Tata Consultancy Services Limited | Neural networks for handling variable-dimensional time series data |
| CN112215223B (zh) * | 2020-10-16 | 2024-03-19 | 清华大学 | 基于多元注意力机制的多方向场景文字识别方法及系统 |
| CN113935502B (zh) * | 2021-10-15 | 2022-04-22 | 河海大学 | 基于双重注意力机制的面向大坝应急工况事件抽取方法 |
-
2023
- 2023-06-07 CN CN202310670442.6A patent/CN116665130B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115039045A (zh) * | 2019-11-25 | 2022-09-09 | 强力物联网投资组合2016有限公司 | 用于工业环境的智能振动数字孪生系统和方法 |
| WO2022236064A2 (en) * | 2021-05-06 | 2022-11-10 | Strong Force Iot Portfolio 2016, Llc | Quantum, biological, computer vision, and neural network systems for industrial internet of things |
| CN115618196A (zh) * | 2022-10-18 | 2023-01-17 | 湖北工业大学 | 基于时空特征下的Transformer异常检测方法 |
| CN115618296A (zh) * | 2022-10-26 | 2023-01-17 | 河海大学 | 一种基于图注意力网络的大坝监测时序数据异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Long-term dam behavior prediction with deep learning on graphs;Peng He等;Journal of Computational Design and Engineering;第9卷;第1230–1245页 * |
| 基于时间序列SAR影像分析方法的三峡大坝稳定性监测;王腾;Daniele PERISSIN;Fabio ROCCA;廖明生;;中国科学:地球科学(01);第110-123页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116665130A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116665130B (zh) | 基于时空图的大坝安全监测多元时间序列异常检测方法 | |
| Li et al. | The emerging graph neural networks for intelligent fault diagnostics and prognostics: A guideline and a benchmark study | |
| JP2020119605A (ja) | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 | |
| US8489247B1 (en) | Agent-based chaotic control of wind turbines | |
| CN115578015A (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
| CN112528365B (zh) | 一种地下基础设施结构健康演化趋势预测方法 | |
| Shan et al. | A combined multi-objective optimization model for degradation trend prediction of pumped storage unit | |
| CN115618296A (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
| Liu et al. | Application of temperature prediction based on neural network in intrusion detection of IoT | |
| CN112257263B (zh) | 基于自注意力机制的设备剩余寿命预测系统 | |
| CN111881413B (zh) | 基于矩阵分解的多源时间序列缺失数据恢复方法 | |
| Liu et al. | Predictive model for water absorption in sublayers using a machine learning method | |
| CN116557787A (zh) | 管网状态智能评估系统及其方法 | |
| CN117371207A (zh) | 一种特高压换流阀状态评价方法、介质及系统 | |
| Tang et al. | Prediction of bearing performance degradation with bottleneck feature based on LSTM network | |
| CN117725491B (zh) | 一种基于SCINet的电力系统故障状态检测分类方法 | |
| Zhou et al. | Multi-expert attention network for long-term dam displacement prediction | |
| Chen et al. | Research on prediction algorithm of ship equipment heath condition | |
| Alamaniotis et al. | Optimal assembly of support vector regressors with application to system monitoring | |
| CN112560252A (zh) | 一种航空发动机剩余寿命预测方法 | |
| Kumar et al. | Multiple layer radial basis neural network with remora regression tree optimum feature extraction for structural health monitoring | |
| KR102667862B1 (ko) | 정보 시각화를 이용한 중전기기 모니터링 시스템 및 그 방법 | |
| CN117216722B (zh) | 基于传感器时序数据多源异构数据融合系统 | |
| CN116933192A (zh) | 混凝土坝运行关键部位分区监控方法及模型 | |
| CN116259161B (zh) | 一种电力故障预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |