CN115293197A - 一种基于长短期记忆网络的钻孔应变数据异常检测方法 - Google Patents

Abstract

本发明属于数据为钻孔应变观测数据处理技术领域，具体地而言为一种基于长短期记忆网络的钻孔应变数据异常检测方法，将钻孔应变数据归一化处理，划分合适时间跨度的训练集与测试集，根据研究需要，确定网络的输入应变与输出应变；搭建长短期记忆网络，利用训练集数据迭代训练网络；判断每次训练得到的损失函数，直至损失收敛并基本稳定为零，网络训练完成；选择同样大小的输入与输出，通过评价指标，测试网络的性能；基于训练好的长短期记忆网络，针对任意时间段的钻孔应变数据，预测其正常状态的应变变化；计算真实应变与预测应变的差值，采用3倍标准差原则法，检测应变异常。本发明实现了钻孔应变数据异常的深度挖掘，避免了传统方法的主观性与特殊性，前兆异常检测更加可靠。

Description

一种基于长短期记忆网络的钻孔应变数据异常检测方法

技术领域

本发明属于数据为钻孔应变观测数据处理技术领域，具体地而言为一种基于长短期记忆网络的钻孔应变数据异常检测方法。

背景技术

地震是地下岩石受到应力超过其极限而突然破裂的现象，因而以岩石层为主的地面观测与地震有直接关系。近年来，我国逐步建成覆盖全国的数字化地震台网、强震台网、前兆台网及多学科观测台阵等。其中，四分量钻孔应变仪作为地壳形变的重要观测手段，自“十五”期间建立以来，一直运行良好，在数秒至数十年的时间尺度内，连续记录着岩石层应变的变化。随着观测技术的不断发展，台站布设越来越密集，经过多年的积累，钻孔应变观测资料目前已表现出“地震大数据”的4V特征，即Volume(容量大)、Variety(种类多)、Velocity(速度快)及Value(价值密度低)特征。

国内外学者对于钻孔应变数据的地震前兆异常提取研究，一般采用传统时间序列分析等手段，如主成分分析、变分模态分解等；频率域或时频域，如小波分析等；统计方法如高阶累积量、累积分布函数等，将异常信息与背景信息分离。CN111694047B提出了一种基于多通道奇异谱的钻孔应变数据的网络拓扑结构异常检测方法，将多个台站的钻孔应变观测网络化，通过评估网络的拓扑性质，提取观测网络中与地震相关的异常。CN109031403B公开了一种基于S-K特征的钻孔应变数据异常提取方法，利用统计学中偏度和峰度的计算，分析了每一天应变差分数据与正常背景的偏移程度，实现了震前应变观测异常的有效提取。CN106918836A公开了一种基于主成分分析的钻孔应变数据异常提取方法，利用主成分分析法，通过分解后的特征值和特征向量表征地下应变的微小变化，避免了固体潮等较强的背景干扰，实现了异常的精确提取。然而，地震孕育过程的内部物理性质是极其复杂的，传统方法只是对数据孤立特征的分析，特征选择与异常定义往往受限于经验物理模型与特殊方法，缺乏客观性与一般性。

发明内容

本发明所要解决的技术问题在于提供一种基于长短期记忆网络的钻孔应变数据异常检测方法，实现了钻孔应变数据异常的深度挖掘，避免了传统方法的主观性与特殊性，前兆异常检测更加可靠。

本发明是这样实现的，

一种基于长短期记忆网络的钻孔应变数据异常检测方法，该方法包括：

1)采集钻孔应变数据并归一化处理；

2)将划分钻孔应变数据的训练集与测试集；

3)在训练集中确定输入网络和输出网络的数据格式，以规定N天的应变数据作为网络输入，其后的1天应变数据为输出，以此作为一组，每组之间滑动间隔为一天，依次进入网路，实现以N天的钻孔应变数据预测未来1天的应变；

4)采用长短期记忆网络结构，以训练集对网络进行训练，将步骤3)中的每组数据滑动进入步骤长短期记忆网络结构中迭代训练；

5)通过损失函数判断网络是否训练完成，步骤4)中的每组输入数据经长短期记忆网络都会产出输出y′_t，该输出与步骤3)中的实际输出y_t存在的差距通过损失函数判断；

6)采用测试集对训练完成的网络的性能的测试；

7)采用训练好的网络对待研究时间的钻孔应变数据进行预测；

8)求解预测应变值与真实应变差值，并提取异常数据。

进一步地，所述长短期记忆网络结构包括：

设输入应变为x_t，前一时间的隐状态为h_t-1，时间t的门包括如下：输入门i_t，遗忘门f_t，输出门o_t，计算如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)， (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)， (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)， (3)

其中，σ表示sigmoid激活函数，将函数范围转换到(0，1)，W_xi、W_xf、W_xo和W_hi、W_hf、W_ho是权重参数，b_i、b_f、b_o是偏置参数；

构建候选记忆元

使用tanh函数作为激活函数，激活函数的值范围为(-1，1)，时刻t处的候选记忆元表示为：

其中，W_xc和W_hc是权重参数，b_c是偏置参数。

设计控制输入和遗忘的机制，输入门i_t控制采用多少来自

的新数据，而遗忘门f_t控制保留多少过去的记忆元c_t-1的内容，当前时刻记忆单元状态值c_t为：

其中，⊙表示逐点乘机运算符；

计算隐状态h_t，确保隐状态h_t的值始终在区间(-1，1)内，t时刻的隐状态表示为：

h_t＝o_ttann(c_t) (6)。

进一步地，所述损失函数表示为：

进一步地，选择评价指标均方根误差rmse衡量网络对时间序列的预测能力，表示为：

其中，y_i为测试集中第i个数据的真实值，y′_i为测试集中第i个数据的网络预测值，rmse值越小，网络性能最好，反之，性能较差。

进一步地，异常数据指的是根据三倍标准差原则，设计阈值，超出预测的应变值为要提取的异常值。

本发明与现有技术相比，有益效果在于：本发明公开的基于多通道奇异谱的钻孔应变数据的网络拓扑结构异常检测方法，第一次从深度学习的角度，首次采用以钻孔应变数据作为驱动的方法，捕捉与提取数据中的复杂特征与异常；通过长短期记忆网络结构，第一次在提取技术中考虑并记忆钻孔应变数据中的远、长程复杂特征，进而实现更精确的预测。本发明可以更加可靠的提取钻孔应变数据的异常特征。

本发明数据驱动方法以海量数据为基础，将数据进行组织与学习，形成信息，近年来，在计算机视觉、语音识别、控制等领域取得了巨大成功，而在地震前兆研究中，尚在起步阶段。目前，钻孔应变多年连续的观测资料已经具备了数据驱动的数据基础。从时间序列的角度分析，长短期记忆网络结构具备判断信息是否有用的处理过程，该过程依靠三个门控状态，留下或者舍弃上一个时间点的信息。这种时间递归结构，特别适合挖掘长序时间序列的异常特征。

结合长短期记忆网络的优点和海量钻孔应变时序数据有待研究的必要性，本发明提出了一种基于长短期记忆网络的钻孔应变数据异常检测方法，可以减少传统方法带来的认知主观，提高对前兆异常的进一步理解，具有重大社会需求和深远的科学意义。到目前为止，尚未见有关于长短期记忆网络对钻孔应变数据进行异常提取的报道与研究。

附图说明

图1是基于长短期记忆网络的钻孔应变数据异常检测方法的流程图；

图2是长短期记忆网络模型结构示意图；

图3是训练长短期记忆网络过程的损失函数Loss图；

图4是2012年10月25至2013年4月30的预测应变与实际应变对比图；

图5是基于长短期记忆网络的钻孔应变数据异常检测的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

针对芦山地震，以中国四川省内姑咱台的钻孔应变数据为例。数据由四分量钻孔应变仪测得，采样时间间隔为一分钟，本实施例中，参与研究的时间段为2010年12月1日到2013年4月25日。

采用的方法包括：

步骤1)，针对姑咱台2010年12月1日到2013年4月25日的钻孔应变数据，选择最大最小归一化方法对该时间段数据归一化处理。设钻孔应变数据x’，则标准化后表示为：

其中，x表示归一化后数据，min是数据的最小值，max是数据的最大值。

步骤2)、划分钻孔应变数据的训练集和测试集。将所有钻孔应变数据按8:2的比例划分，即2010年12月1日-2012年10月24日为训练集，2012年10月25至2013年4月25日为测试集。

步骤3)确定输入网络和输出网络的数据格式。规定30天的应变数据作为网络输入，其后的1天应变数据为输出，以此作为一组，每组之间滑动间隔为一天，依次进入网路，以期实现以30天的钻孔应变数据预测未来1天的应变。

步骤4)搭建长短期记忆网络结构(LSTM神经网络模型)，结构如图1。设输入应变为x_t，前一时间的隐状态为h_t-1。相应地，时间t的门定义如下：输入门i_t，遗忘门f_t，输出门o_t，计算如下：

i_t＝σ(W_xx_t+W_hih_t-1+b_i)， (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)， (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)， (3)

其中，σ表示sigmoid激活函数，将函数范围转换到(0，1)，W_xi、W_xf、W_xo和W_hi、W_hf、W_ho是权重参数，b_i、b_f、b_o是偏置参数。

然后构建候选记忆元

它的计算与上述三个门的计算类似，使用tanh函数作为激活函数，函数的值范围为(-1，1)。时刻t处的候选记忆元表示为：

其中，W_xc和W_hc是权重参数，b_c是偏置参数。

其次设计控制输入和遗忘的机制，输入门i_t控制采用多少来自

的新数据，而遗忘门f_t控制保留多少过去的记忆元c_t-1的内容。当前时刻记忆单元状态值c_t为：

其中，⊙表示逐点乘机运算符。

最后，计算隐状态h_t，它确保了h_t的值始终在区间(-1，1)内，t时刻的隐状态表示为：

h_t＝o_ttanh(c_t) (6)

至此，网络搭建完成。

步骤5)、采用步骤2)的训练集训练网络。将步骤3)中的每组数据滑动进入步骤四中搭建完成的LSTM神经网络模型中迭代训练。

步骤6)、通过损失函数判断网络是否训练完成。步骤5)中的每组输入数据经LSTM神经网络模型都会产出输出y′_t，该输出与步骤3)中的实际输出y_t存在一个差距，这个差距用损失函数Loss衡量，表示为：

当损失函数Loss下降到足够小，且几乎稳定在零附近，认为LSTM钻孔应变预测模型训练完成，本实例中，损失函数Loss如图3所示。

步骤7)、测试网络，评价步骤6)中训练完成的网络的性能。选择评价指标均方根误差(rmse)衡量网络对时间序列的预测能力，表示为：

其中，y_i为测试集中第i个数据的真实值，y′_i为测试集中第i个数据的网络预测值。rmse值越小，网络性能最好，反之，性能较差。

步骤8)、采用LSTM网络预测钻孔应变数据。选择2012年10月25日至2013年4月25日的钻孔应变数据作为研究对象，经步骤4～7测试好的LSTM网络预测之后对应时间段的钻孔应变数据，经计算，本实例中，网络测试的rmse值为0.041，预测数据如图4所示。

步骤9)，提取应变异常，首先计算2012年10月25日至2013年4月25日的网络预测应变值与该时间段的真实应变值的差，然后根据三倍标准差原则，设计阈值，超出预测的应变值就是要提取的异常值。

步骤10)、输出钻孔应变异常的结果图，如图5所示。

本发明方法以钻孔应变数据作为驱动的方法，捕捉与提取数据中的复杂特征与异常。首先是将钻孔应变数据归一化处理，划分合适时间跨度的训练集与测试集，根据研究需要，确定网络的输入应变与输出应变；搭建长短期记忆网络，利用训练集数据迭代训练网络；判断每次训练得到的损失函数，直至损失收敛并基本稳定为零，网络训练完成；选择同样大小的输入与输出，通过评价指标，测试网络的性能；基于训练好的长短期记忆网络，针对任意时间段的钻孔应变数据，预测其正常状态的应变变化；计算真实应变与预测应变的差值，采用3倍标准差原则法，检测应变异常。本发明实现了钻孔应变数据异常的深度挖掘，避免了传统方法的主观性与特殊性，前兆异常检测更加可靠。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于长短期记忆网络的钻孔应变数据异常检测方法，其特征在于，该方法包括：

1)采集钻孔应变数据并归一化处理；

2)将划分钻孔应变数据的训练集与测试集；

3)在训练集中确定输入网络和输出网络的数据格式，以规定N天的应变数据作为网络输入，其后的1天应变数据为输出，以此作为一组，每组之间滑动间隔为一天，依次进入网路，实现以N天的钻孔应变数据预测未来1天的应变；

4)采用长短期记忆网络结构，以训练集对网络进行训练，将步骤3)中的每组数据滑动进入步骤长短期记忆网络结构中迭代训练；

5)通过损失函数判断网络是否训练完成，步骤4)中的每组输入数据经长短期记忆网络都会产出输出y′_t，该输出与步骤3)中的实际输出y_t存在的差距通过损失函数判断；

6)采用测试集对训练完成的网络的性能的测试；

7)采用训练好的网络对待研究时间的钻孔应变数据进行预测；

8)求解预测应变值与真实应变差值，并提取异常数据。

2.按照权利要求1所述的基于长短期记忆网络的钻孔应变数据异常检测方法，其特征在于，所述长短期记忆网络结构包括：

设输入应变为x_t，前一时间的隐状态为h_t-1，时间t的门包括如下：输入门i_t，遗忘门f_t，输出门o_t，计算如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)， (1)

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)， (2)

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)， (3)

其中，σ表示sigmoid激活函数，将函数范围转换到(0,1)，W_xi、W_xf、W_xo和W_hi、W_hf、W_ho是权重参数，b_i、b_f、b_o是偏置参数；

构建候选记忆元

使用tanh函数作为激活函数，激活函数的值范围为(-1,1)，时刻t处的候选记忆元表示为：

其中，W_xc和W_hc是权重参数，b_c是偏置参数。

设计控制输入和遗忘的机制，输入门i_t控制采用多少来自

的新数据，而遗忘门f_t控制保留多少过去的记忆元c_t-1的内容，当前时刻记忆单元状态值c_t为：

其中，⊙表示逐点乘机运算符；

计算隐状态h_t，确保隐状态h_t的值始终在区间(-1,1)内，t时刻的隐状态表示为：

h_t＝o_ttanh(c_t) (6)。

3.按照权利要求1所述的基于长短期记忆网络的钻孔应变数据异常检测方法，其特征在于，所述损失函数表示为：

4.按照权利要求1所述的基于长短期记忆网络的钻孔应变数据异常检测方法，其特征在于，

选择评价指标均方根误差rmse衡量网络对时间序列的预测能力，表示为：

其中，y_i为测试集中第i个数据的真实值，y′_i为测试集中第i个数据的网络预测值，rmse值越小，网络性能最好，反之，性能较差。

5.按照权利要求1所述的基于长短期记忆网络的钻孔应变数据异常检测方法，其特征在于，异常数据指的是根据三倍标准差原则，设计阈值，超出预测的应变值为要提取的异常值。

Images