CN115759409A - 多时间模式注意力机制优化lstm模型的水闸形变预测方法 - Google Patents

Abstract

本发明公开了一种多时间模式注意力机制优化LSTM模型的水闸形变预测方法，包括：先选取影响水闸形变的时序数据和实测形变数值，构建水闸形变预测样本集，并基于狄克逊准则的极差比法进行数据处理，同时融合卡尔曼滤波估计数据，对时序数据进行估计填充；然后利用多时间模式注意力机制优化LSTM模型，通过分析影响水闸形变的多源时序数据特征，设计一组滤波器对传统注意力机制进行改进，更加有效的提取具有不同时间模式的多源时序数据特征，同时设计分位数损失函数提高算法的收敛速度和预测精度，并对预测模型进行训练优化。本发明能提高水闸形变预测精度，从而有效地实现对水闸运行现状的评价，以满足实际工程应用需要。

Description

多时间模式注意力机制优化LSTM模型的水闸形变预测方法

技术领域

本发明涉及水利工程领域的一种多时间模式注意力机制优化LSTM模型的水闸形变预测方法。

背景技术

水闸形变监测反映了水闸整体变形和受力性态是水闸安全状态的重要体现。虽然，水闸安全监测数据分析理论和方法的研究应用已经取得了一定进展，为保证水闸安全运行发挥了巨大的作用。但是，现有分析模型和预测方法往往注重模型本身的优化，忽视了造成水闸形变的各要素本身。考虑水闸形变各变量之间可能存在复杂的非线性内在联系，且考虑到每个变量序列都有各自的特征和周期，难以用传统的线性回归方法实现较为精确的预测效果。然而基于深度学习模型广泛的应用于混凝土大坝和水闸等水利工程项目的预测，但是利用传统注意力机制只能实现具有相同时间步的时序数据的预测效果，难以捕获跨多个时间模式的特征。

发明内容

本发明是为了解决上述现有技术存在的问题和不足，提出一种多时间模式注意力机制优化LSTM模型的水闸形变预测方法，以期能在充分分析水闸形变要素及其时间模式的前提下，给出能够满足实际工程应用的水闸形变预测模型，并提高监测数据分析时模型的预测精度，从而实现对水闸形变的实时监测预警，并保证预警准确性和时效性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种多时间模式注意力机制优化LSTM模型的水闸形变预测方法的特点在于，包括以下步骤：

步骤1：利用m种传感器节点分别采集m种影响水闸形变的n个历史观测时间序列数据，并与实测的n个时刻闸体径向形变值Y＝{y₁,y₂,...,y_n}构成水闸形变样本集；其中，y_n表示n时刻闸体径向形变值；

步骤2、采用基于狄克逊准则的极差比法对所述水闸形变样本集进行预处理：

步骤2.1：对任意第j种影响水闸形变的n个时间序列数据进行升序排序，得到排序后的时间序列数据，记为x_j＝{x_j,1,x_j,2,...,x_j,n}；其中，x_j,n表示排序后的第j种影响水闸形变的第n个时间序列数据；

步骤2.2：根据m种影响水闸形变的n个时间序列数据，计算狄克逊检验临界值D(α,n)，其中，α为显著性水平；

步骤2.3：利用式(1)和式(2)分别计算第j种影响水闸形变的时间序列数据的第一级差比γ_j及第二级差比γ′_j：

式(1)和式(2)中，x_j,n-1表示排序后的第j种影响水闸形变的第n-1个时间序列数据；

步骤2.4：若γ_j＞γ′_j且γ_j＞D(α,n)，则表示排序后的第j种影响水闸形变的第1个时间序列数据x_j,1为异常值并剔除；

若γ_j＜γ′_j且γ_j＜D(α,n)，则表示排序后的第j种影响水闸形变的第n个时间序列数据x_j,n为异常值并剔除，从而得到更新后的第j种影响水闸形变的时间序列数据；

步骤2.5：按照步骤2.3-步骤2.4对更新后的第j种影响水闸形变的时间序列数据进行处理，最终得到预处理后的第j种影响水闸形变的时间序列数据；

步骤3、基于卡尔曼滤波方法对预处理后的第j种影响水闸形变的时间序列数据进行估计和填充，得到填充后的第j种影响水闸形变的n个时间序列数据；

步骤4、对填充后的第j种影响水闸形变的n个时间序列数据进行归一化处理，得到归一化的第j种影响水闸形变的n个水闸形变特征序列x′_j，从而得到维度为m×n的水闸形变特征集合

其中，x′_j,t表示归一化的第j种影响水闸形变的第t个水闸形变特征值；

步骤5：利用多时间模式注意力机制优化LSTM模型，包括：LSTM网络层、CNN卷积网络层、时间注意力层；

步骤5.1、将所述水闸形变特征集合X_m×n输入基于LSTM网络中进行处理，得到水闸形变特征矩阵

其中，h_j,t表示第t时间步的第j种状态特征；

步骤5.2：CNN卷积网络的处理；

步骤5.2.1：以长度为k的滑动窗口对所述水闸形变特征矩阵H_m×n进行截取，从而得到隐状态矩阵H′_m×k，k≤n；

步骤5.2.2：利用式(3)对所述隐状态矩阵H′_m×k进行CNN卷积计算，从而得到多时间模式矩阵

式(3)中，C_i表示第i个长度为L的一维卷积核，H_j,(t-L-1+l)表示第t-L-1+l个时间步的第j种状态特征；

表示经过第i个长度为L的一维卷积核后的第j种影响水闸形变的时间模式特征；1≤i≤k，k表示一维卷积核的个数；

步骤5.3：时间注意力层的处理；

步骤5.3.1：将多时间模式矩阵H^C逐行进行抽取，得到第j种影响水闸形变的时间模式特征记为

将t时刻的m种影响水闸形变特征矩阵记为

从而利用式(4)计算t时刻的第j种影响水闸形变的注意力得分函数f(Α_j,B_t)：

f(Α_j,B_t)＝(Α_j)^TW_aB_t (4)

式(4)中，T表示转置；

为时间注意力层的权重；

步骤5.3.2：利用式(5)计算t时刻的第j种影响水闸形变的注意力权重a_j,t，并式(6)计算t时刻的上下文向量v_t：

a_j,t＝sigmoid(f(Α_j,B_t)) (5)

步骤5.3.3：利用式(7)得到第t时间步的状态估计值B′_t：

B′_t＝W_BB_t+W_vv_t (7)

式(7)中，

为学习参数，

为另一个学习参数；

步骤5.3.4：利用式(8)得到t时刻的水闸形变预测值

式(7)中，

为第三个学习参数；

步骤6：利用式(9)构建模型的分位数损失函数

式(9)中，Q表示分位数；y_t表示t时刻的闸体径向形变值；

步骤7、利用梯度下降法对所述模型进行训练，并计算所述分位数损失函数

用于更新网络参数，直到分位数损失函数

收敛为止，从而得到最优水闸形变多源时间序列预测模型，用于对水闸监测数据进行预测。

本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行上述水闸形变预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行上述水闸形变预测方法的步骤。

与现有技术相比，本发明的有益效果在于：

1、本发明根据影响水闸形变以往的监测数据去预测未来的水闸形变情况，解决了以往检测设备只能实时监测，不能预测数据的局限，实现了不仅可以实时监测，精度高，而且时效性强。

2、本发明考虑到水闸监测区域检测设备布点较多，多传感器节点的数据在传输过程中易受到外界环境干扰，造成采集数据出现较大波动且易丢失现象。为此提出了基于狄克逊准则的极差比法对监测数据逆袭进行数据预处理，同时融合卡尔曼滤波估计数据完善预处理后的时间序列数据，为形变预测模型训练提供了高质量的数据来源。

3、本发明考虑水闸形变各变量之间可能存在复杂的非线性内在联系，且考虑到每个变量序列都有各自的特征和周期。为此提出的MTPA-LSTM水闸形变预测方法，基于CNN卷积网络的优势，通过卷积设计一组滤波器来提取具有不同时间模式的多源时序数据特征，更加适合于多源时间序列数据的预测。

4、本发明使用范围广：不需要增加额外的辅助信息，该方法可广泛应用于混凝土大坝、水闸等水利工程项目的形变监测中，具有广阔的应用前景。

附图说明

图1为本发明水闸形变多源时间序列预测方法的流程图；

图2为本发明MTPA-LSTM模型的结构图；

图3为本发明中不同分位数下两种模型的预测值分布与预测精度图。

具体实施方式

本实施例中，参照图1，一种多时间模式注意力机制优化LSTM模型(MultipleTemporal PatternsAttention-Long ShortTermMemory，简称“MTPA-LSTM”)的水闸形变预测方法，主要通过优化传统注意力机制，基于CNN卷积网络的优势，通过卷积设计一组滤波器来提取具有不同时间模式的多源时序数据特征，提出一种融合多时间模式的新注意机制，来提高监测数据分析时模型的预测精度，具体的说，该方法包括以下步骤：

步骤1：利用m种传感器节点分别采集m种影响水闸形变的n个历史观测时间序列数据，并与实测的n个时刻闸体径向形变值Y＝{y₁,y₂,...,y_n}构成水闸形变样本集；其中，y_n表示n时刻闸体径向形变值；

步骤2、采用基于狄克逊准则的极差比法对水闸形变样本集进行预处理：

因水闸监测区域布点较多，多传感器节点的数据传输易受到外界环境干扰，造成采集数据出现较大波动且易丢失现象。

为了提升水闸安全监测中北斗监测数据和传感器数据的完整性和可靠性，对时间序列逆袭进行数据预处理和卡尔曼滤波估计融合。

步骤2.1：对任意第j种影响水闸形变的n个时间序列数据进行升序排序，得到排序后的时间序列数据，记为x_j＝{x_j,1,x_j,2,...,x_j,n}；其中，x_j,n表示排序后的第j种影响水闸形变的第n个时间序列数据；

步骤2.2：根据m种影响水闸形变的n个时间序列数据，计算狄克逊检验临界值D(α,n)，其中，α为显著性水平；

步骤2.3：利用式(1)和式(2)分别计算第j种影响水闸形变的时间序列数据的第一级差比γ_j及第二级差比γ′_j：

式(1)和式(2)中，x_j,n-1表示排序后的第j种影响水闸形变的第n-1个时间序列数据；

步骤2.4：若γ_j＞γ′_j且γ_j＞D(α,n)，则表示排序后的第j种影响水闸形变的第1个时间序列数据x_j,1为异常值并剔除；

若γ_j＜γ′_j且γ_j＜D(α,n)，则表示排序后的第j种影响水闸形变的第n个时间序列数据x_j,n为异常值并剔除，从而得到更新后的第j种影响水闸形变的时间序列数据；

步骤2.5：按照步骤2.3-步骤2.4对更新后的第j种影响水闸形变的时间序列数据进行处理，最终得到预处理后的第j种影响水闸形变的时间序列数据；

步骤3、基于卡尔曼滤波方法对预处理后的第j种影响水闸形变的时间序列数据进行估计和填充，得到填充后的第j种影响水闸形变的n个时间序列数据；

步骤4、对填充后的第j种影响水闸形变的n个时间序列数据进行归一化处理，得到归一化的第j种影响水闸形变的n个水闸形变特征序列x′_j，从而得到维度为m×n的水闸形变特征集合

其中，x′_j,t表示归一化的第j种影响水闸形变的第t个水闸形变特征值；

步骤5：传统的分析模型和预测方法往往注重模型本身的优化，忽视了水闸形变各变量之间可能存在复杂的非线性内在联系，且考虑到每个变量序列都有各自的特征，难以用传统的线性回归方法实现较为精确的预测效果。然而基于传统注意力机制优化的深度学习模型只能实现具有相同时间步的时序数据的预测效果，难以捕获跨多个时间模式的特征。通过引入设计一组滤波器对传统注意力机制进行改进，提出一种新的注意力机制，更加有效的提取具有不同时间模式的多源时序数据特征，进而构建MTPA-LSTM模型，如图2所示，包括：LSTM网络层、CNN卷积网络层、时间注意力层；

步骤5.1、将水闸形变特征集合X_m×n输入基于LSTM网络中进行处理，得到水闸形变特征矩阵

其中，h_j,t表示第t时间步的第j种状态特征；

步骤5.2：CNN卷积网络的处理；

步骤5.2.1：以长度为k的滑动窗口对水闸形变特征矩阵H_m×n进行截取，从而得到隐状态矩阵H′_m×k，k≤n；

步骤5.2.2：利用式(3)对隐状态矩阵H′_m×k进行CNN卷积计算，从而得到多时间模式矩阵

式(3)中，C_i表示第i个长度为L的一维卷积核，H_j,(t-L-1+l)表示第t-L-1+l个时间步的第j种状态特征；

表示经过第i个长度为L的一维卷积核后的第j种影响水闸形变的时间模式特征；1≤i≤k，k表示一维卷积核的个数；

步骤5.3：时间注意力层的处理；

步骤5.3.1：将多时间模式矩阵H^C逐行进行抽取，得到第j种影响水闸形变的时间模式特征记为

将t时刻的m种影响水闸形变特征矩阵记为

从而利用式(4)计算t时刻的第j种影响水闸形变的注意力得分函数f(Α_j,B_t)：

f(Α_j,B_t)＝(Α_j)^TW_aB_t (4)

式(4)中，T表示转置；

为时间注意力层的权重；

步骤5.3.2：利用式(5)计算t时刻的第j种影响水闸形变的注意力权重a_j,t，并式(6)计算t时刻的上下文向量v_t：

a_j,t＝sigmoid(f(Α_j,B_t)) (5)

步骤5.3.3：利用式(7)得到第t时间步的状态估计值B′_t：

B′_t＝W_BB_t+W_vv_t (7)

式(7)中，

为学习参数，

为另一个学习参数；

步骤5.3.4：利用式(8)得到t时刻的水闸形变预测值

式(7)中，

为第三个学习参数；

步骤6：为提高算法的收敛速度和预测精度，利用式(9)构建MTPA-LSTM模型的分位数损失函数

如图3所示，当分位数Q取值分别为10％，50％和90％时，计算并给出了LSTM-ATT和MTPA-LSTM两种模型预测值分布与预测精度情况。根据表1的实验数据对比分析，最终设置分位数Q＝90％：

式(9)中，y_t表示t时刻的闸体径向形变值；

若

即模型预测偏小，loss增加会更多；若

即模型预测偏大，loss增加会更少。最终通过调节分位数Q值，观察loss值变化来校正预测误差。

表1

步骤7、利用梯度下降法对MTPA-LSTM模型进行训练，并计算分位数损失函数

用于更新网络参数，直到分位数损失函数

收敛为止，从而得到最优水闸形变多源时间序列预测模型，用于对水闸监测数据进行预测。同时，基于相同样本集分别采用差分自回归ARIMAX模型，循环神经网络时序预测DeepAR分布模型，传统神经网络BP算法、基于传统注意力机制改进LSTM模型(简称“LSTM-ATT”)以及基于多时间模式注意力机制优化LSTM模型(简称“MTPA-LSTM”)，通过表2实验结果对比分析能够看出MTPA-LSTM模型在水闸形变预测方面具有很好的预测效果。

表2

序号	模型	MSE
			1	ARIMAX	0.4595
2	DeepAR	0.2030
			3	BP	0.2667
4	LSTM-ATT	0.1009
			5	MTPA-LSTM	0.0781

本方法的目标是针对水闸监测数据进行预测、分析与评估，致力于提高水闸形变的预测精度，更加有效合理地实现对水闸运行现状进行评价，以满足实际工程应用的需要。

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述水闸形变预测方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述水闸形变预测方法的步骤。

Claims (3)

1.一种多时间模式注意力机制优化LSTM模型的水闸形变预测方法，其特征在于，包括以下步骤：

步骤1：利用m种传感器节点分别采集m种影响水闸形变的n个历史观测时间序列数据，并与实测的n个时刻闸体径向形变值Y＝{y₁,y₂,...,y_n}构成水闸形变样本集；其中，y_n表示n时刻闸体径向形变值；

步骤2、采用基于狄克逊准则的极差比法对所述水闸形变样本集进行预处理：

步骤2.1：对任意第j种影响水闸形变的n个时间序列数据进行升序排序，得到排序后的时间序列数据，记为x_j＝{x_j,1,x_j,2,...,x_j,n}；其中，x_j,n表示排序后的第j种影响水闸形变的第n个时间序列数据；

步骤2.2：根据m种影响水闸形变的n个时间序列数据，计算狄克逊检验临界值D(α,n)，其中，α为显著性水平；

步骤2.3：利用式(1)和式(2)分别计算第j种影响水闸形变的时间序列数据的第一级差比γ_j及第二级差比γ′_j：

式(1)和式(2)中，x_j,n-1表示排序后的第j种影响水闸形变的第n-1个时间序列数据；

步骤2.4：若γ_j＞γ′_j且γ_j＞D(α,n)，则表示排序后的第j种影响水闸形变的第1个时间序列数据x_j,1为异常值并剔除；

若γ_j＜γ′_j且γ_j＜D(α,n)，则表示排序后的第j种影响水闸形变的第n个时间序列数据x_j,n为异常值并剔除，从而得到更新后的第j种影响水闸形变的时间序列数据；

步骤2.5：按照步骤2.3-步骤2.4对更新后的第j种影响水闸形变的时间序列数据进行处理，最终得到预处理后的第j种影响水闸形变的时间序列数据；

步骤3、基于卡尔曼滤波方法对预处理后的第j种影响水闸形变的时间序列数据进行估计和填充，得到填充后的第j种影响水闸形变的n个时间序列数据；

步骤4、对填充后的第j种影响水闸形变的n个时间序列数据进行归一化处理，得到归一化的第j种影响水闸形变的n个水闸形变特征序列x′_j，从而得到维度为m×n的水闸形变特征集合

其中，x′_j,t表示归一化的第j种影响水闸形变的第t个水闸形变特征值；

步骤5：利用多时间模式注意力机制优化LSTM模型，包括：LSTM网络层、CNN卷积网络层、时间注意力层；

步骤5.1、将所述水闸形变特征集合X_m×n输入基于LSTM网络中进行处理，得到水闸形变特征矩阵

其中，h_j,t表示第t时间步的第j种状态特征；

步骤5.2：CNN卷积网络的处理；

步骤5.2.1：以长度为k的滑动窗口对所述水闸形变特征矩阵H_m×n进行截取，从而得到隐状态矩阵H′_m×k，k≤n；

步骤5.2.2：利用式(3)对所述隐状态矩阵H′_m×k进行CNN卷积计算，从而得到多时间模式矩阵

式(3)中，C_i表示第i个长度为L的一维卷积核，H_j,(t-L-1+l)表示第t-L-1+l个时间步的第j种状态特征；

表示经过第i个长度为L的一维卷积核后的第j种影响水闸形变的时间模式特征；1≤i≤k，k表示一维卷积核的个数；

步骤5.3：时间注意力层的处理；

步骤5.3.1：将多时间模式矩阵H^C逐行进行抽取，得到第j种影响水闸形变的时间模式特征记为

将t时刻的m种影响水闸形变特征矩阵记为

从而利用式(4)计算t时刻的第j种影响水闸形变的注意力得分函数f(A_j,B_t)：

f(A_j,B_t)＝(A_j)^TW_aB_t (4)

式(4)中，T表示转置；

为时间注意力层的权重；

步骤5.3.2：利用式(5)计算t时刻的第j种影响水闸形变的注意力权重a_j,t，并式(6)计算t时刻的上下文向量v_t：

a_j,t＝sigmoid(f(A_j,B_t)) (5)

步骤5.3.3：利用式(7)得到第t时间步的状态估计值B′_t：

B′_t＝W_BB_t+W_vv_t (7)

式(7)中，

为学习参数，

为另一个学习参数；

步骤5.3.4：利用式(8)得到t时刻的水闸形变预测值

式(7)中，

为第三个学习参数；

步骤6：利用式(9)构建模型的分位数损失函数

式(9)中，Q表示分位数；y_t表示t时刻的闸体径向形变值；

步骤7、利用梯度下降法对所述模型进行训练，并计算所述分位数损失函数

用于更新网络参数，直到分位数损失函数

收敛为止，从而得到最优水闸形变多源时间序列预测模型，用于对水闸监测数据进行预测。

2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述水闸形变预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述水闸形变预测方法的步骤。

Images