CN106405640B - 基于深度信念神经网络的微震信号到时自动拾取方法 - Google Patents

Abstract

本发明公开一种基于深度信念神经网络的微震信号到时拾取方法。该方法把每一个微震记录按照统一固定的维数采样，再人为的拾取部分记录的信号到时作为对应记录的标签信息，已拾取信息的记录及其标签作为网络构建时的总数据集，分成三个部分：训练数据集、验证数据集、测试数据集；通过把数据输入到深度信念神经网络中进行训练和测试，构建深度信念神经网络；最后把实际采集的待处理的数据输入到训练好的网络模型中进行微震信号的识别和到时自动拾取，该网络输出即为微震数据的到时位置点。

Description

基于深度信念神经网络的微震信号到时自动拾取方法

技术领域

本发明属于地球物理探测技术领域，涉及一种基于深度信念神经网络的微震信号到时自动拾取方法。

背景技术

微震是地震等级大于一级并且小于三级的地震，这样小的等级地震人们不易觉察到，只能用仪器监测。但是即使是很微小的地下震动，也会给地下的介质产生相应的激励，这样的激励可能改变地下介质的力学状态。在矿山安全监测领域，微震作为矿山动力灾害的前兆，对微震进行实时监测，可以有效的预测、预防动力灾害。另外在页岩气、煤层气等非常规油气勘探开发过程中，基于微震的裂缝监测技术已成为是国内外应用于压裂裂缝监测最准确的技术之一。

有效微震事件的识别问题是微震监测时需要解决的关键问题之一。由于大多数微震事件能量较弱、信噪比较低，如何能快速且准确地识别和拾取微震事件成为影响微震监测成功与否的关键技术之一。

目前，微震信号到时拾取方法很多，最常见的是基于短长时窗能量比的方法及其改进算法，这些算法都能在一定程度上有效的解决微震信号到时拾取问题。

但是，这些算法有存在着一些局限性，短长时窗能量比拾取法对人工设置的阈值依赖很大，在信噪比不高的情况下拾取精度很低。

发明内容

本发明是为了解决微震信号到时拾取时，传统的短长时窗能量比方法在拾取时过程中需要一定的人为干预从而导致拾取方法性能不够稳健的问题。

基于深度信念神经网络方法的微震信号到时拾取方法，通过构建深度信念网络模型实现微震信号的识别及到时自动拾取，具体实现步骤如下：

步骤一：对原始数据按照固定的维数进行采样；

步骤二：对用于网络模型训练的原始数据进行人工到时拾取，作为对应样本数据的标签信息；

步骤三：把数据和标签放到数据集中，并通过添加高斯噪声产生新的样本数据；

步骤四：把数据集划分为训练数据集、验证数据集和测试数据集；

步骤五：搭建深度信念网络模型；

步骤六：把数据集输入到网络，两个相邻层之间视为一个受限玻尔兹曼机，下层为可视层，上层为隐藏层；

步骤七：逐个训练受限玻尔兹曼机，把多个训练好的受限玻尔兹曼机依次堆叠，并在最后一个受限玻尔兹曼机的隐藏层上加入一个多分类的逻辑回归层作为分类器；

步骤八：进行无监督预训练，预训练完成后计算无监督学习到的输出与期望输出之间的误差，并进行误差反向传播；

步骤九：利用误差反向传播微调整个网络，在微调过程中添加验证数据集和测试数据集，设置一个数据批量，当训练完该批量数据后进行一次交叉验证和测试；

步骤十：当验证误差趋于某值长期不变，且测试误差高于验证误差时，网络训练完成，即基于深度信念神经网络的微震信号到时自动拾取模型构建完成，否则返回步骤八，继续网络微调；

步骤十一：把未经过到时拾取的数据集输入到训练好的网络模型中，网络输出即为微震信号到时。

进一步地，所述步骤一中，原始数据按照统一长度，切割为相同维度的数据。

进一步地，所述步骤四中，训练数据集占总数据集的70％，验证集和测试集各占总数据集的15％。

进一步地，所述步骤五中，搭建深度信念神经网络部分，网络包括：一个输入层、多个隐层和一个分类层，层与层之间的神经元节点全连接，输入层的神经元节点数与每个样本数据的维度一致，每一层隐层的神经元节点个数要比上一层的神经元节点个数少。

进一步地，所述步骤六中，受限玻尔兹曼机的可视层节点与隐藏层节点之间全连接，但可视层和隐藏层层内的神经元节点无连接。

进一步地，所述步骤七中，受限玻尔兹曼机训练过程具体为：

首先给定每一个受限玻尔兹曼机的训练迭代次数J和学习率α，初始化可视层的偏置向量a∈Rⁿ和隐层的偏置向量b∈R^m都为0向量，两个层之间的连接权值矩阵W∈R^n×m的所有元素初始为上的随机数。

其中，Rⁿ表示n维欧氏空间，a∈Rⁿ表示a为一个1行n列的向量，n的个数对应可视层的节点数；R^m表示m维欧氏空间，b∈R^m表示b为一个1行m列的向量，m的个数对应隐藏层的节点数；R^n×m表示n×m维欧氏空间，W∈R^n×m表示W是一个n行m列的矩阵。

然后，通过对比散度算法来更新参数a、b和W，这一过程分为两步：

第一部分是吉布斯采样过程：首先把输入层的输入向量V通过转换函数求得隐藏层的激活值h；然后随机产生[0,1)之间的随机数r，把r作为判定条件，当h向量中的值大于r时，h的一个子样本h^s的值为1，否则为0，这样就得到一个二值的子样本；把h^s作为输入向量，同样做法得到可视层激活值的一个子样本最后再把输入得到隐藏层激活值的一个子样本

第二部分是参数更新，当输入样本个数为N、学习率为α时，更新公式如下：

其中，表示原连接权值矩阵W更新后的值，表示原可视层的偏置向量b更新后的值，表示原隐藏层的偏置向量a更新后的值。

然后，对输入测试样本数据进行测试重构，得到隐藏层的输出值，具体做法为：利用更新过后的参数，通过转换公式计算隐藏层的激活值：其中X^(l)为测试样本第l个样本；然后计算受限玻尔兹曼机对测试样本数据的重构结果：最后把重构结果与测试样本数据进行作差比较，如果误差在合理的范围则认为该受限玻尔兹曼机训练结束，否则增加迭代次数训练直至满足。

进一步地，所述步骤七中，多分类逻辑回归的方程为：

其中x⁽ⁱ⁾表示数据集的第i个样本数据，p(y⁽ⁱ⁾＝1|x⁽ⁱ⁾；θ)表示第i个样本在参数θ下为第一类的概率，参数θ为一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行，每一行代表一个类别。

进一步地，所述步骤九中，把误差定义为网络预测输出h_θ(xⁱ)与期望输出yⁱ之间差的平方，则代价函数为：

其中，m为输入样本总数，yⁱ表示第i个样本的期望类别。然后采用随机梯度下降法来对目标函数进行优化，其算法具体为：

首先建立目标函数：

其中参数θ＝{W,a,b}。

然后通过随机梯度下降来更新参数，步骤如下：从M个总样本{X,Y}随机抽取出N个子样本{X_i,Y_i}；计算子样本的目标函数L(f(X_i；θ),Y_i)；求取目标函数对参数θ的梯度：通过梯度更新参数：迭代更新完N个子样本的参数。

最后，通过误差反向传播的方法来微调整个网络参数：通过上个步骤中更新的参数θ的转置，与逻辑回归层的输出相乘得到重构值，并把重构值与原先的输出值建立代价函数，同样通过随机梯度下降方法来更新逻辑回归层与前一层隐层之间的参数，往后的隐层之间参数更新与此同理，直至更新完第一层隐层与输入层之间的参数。

进一步地，所述步骤十一中，网络模型对输入数据的输出为Y＝(0,1,2,...,N)中的一个值，对应于输入数据序列对应的点的，也就是波到时对应的采样点位置。

附图说明

图1为应用深度信念神经网络拾取微震信号到时的流程框图；

图2为深度信念神经网络模型图。

具体实施方式

以下结合具体的方法实施过程对本发明的原理进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

一种基于深度信念神经网络的微震信号到时拾取方法，实施例可以为：

步骤一：对原始数据按照固定的维数进行采样，选取维度为1024。

步骤二：对部分数据进行人工到时拾取，作为对应样本数据的标签信息。

步骤三：把数据和标签放到数据集中，并通过添加高斯噪声产生新的样本数据，并使每一类标签对应的样本个数一致。

步骤四：总数据集为30万个样本，每个数据样本包含1024个数据特征和1个对应的波到时标签；把数据集划分为训练数据集、验证数据集和测试数据集，其中训练数据集占总数据集的70％，验证数据集和测试数据集分别占15％。

步骤五：搭建深度信念网络，具体做法为：网络输入层的神经元节点个数与每一个样本数据的维度一致，为1024；第一层隐层的神经元节点个数小于输入层的神经元节点个数，往后的隐层神经元节点数依次比前一层少，在最后一层隐层上添加一层可多分类的逻辑回归层。

步骤六：把数据集输入到网络，两个相邻层之间视为一个受限玻尔兹曼机，下层为可视层，可视层节点与输入数据的维度一致，上层为隐藏层，隐藏层节点数要比可视层节点数要少。

步骤七：逐个训练受限玻尔兹曼机，并把多个训练好的受限玻尔兹曼机依次堆叠，具体做法为：

首先给定每一个受限玻尔兹曼机的训练迭代次数J和学习率α，初始化可视层的偏置向量a∈Rⁿ和隐层的偏置向量b∈R^m都为0向量，两个层之间的连接权值矩阵W∈R^n×m初始为上的随机数；

其次，通过对比散度算法来更新参数a、b和W，这一过程分为两步，第一部分是吉布斯采样过程：首先把输入层的输入向量V通过转换函数求得隐藏层的激活值h；其次随机产生[0,1)之间的随机数r，把r作为判定条件，当h向量中的值大于r时，h的一个子样本h^s的值为1，否则为0，这样就得到一个二值的子样本；把h^s作为输入向量，同样做法得到可视层激活值的一个子样本最后再把输入得到隐藏层激活值的一个子样本第二部分是参数更新，当输入样本个数为N时，更新公式如下：

然后，对输入测试样本数据进行测试重构，得到隐藏层的输出值，具体做法为：利用更新过后的参数，通过转换公式计算隐藏层的激活值：其中X^(l)为测试样本第l个样本；然后计算受限玻尔兹曼机对测试样本数据的重构结果：最后把重构结果与测试样本数据进行作差比较，如果误差在合理的范围则认为该受限玻尔兹曼机训练结束，否则增加迭代次数训练直至满足。

把训练好的限制玻尔兹曼机的隐藏层输出作为下一个限制玻尔兹曼机可视层的输入并训练好，随后依次堆叠多个受限玻尔兹曼机。

在最后一个受限玻尔兹曼机的隐藏层上加入一个多分类的逻辑回归层作为分类器，其函数表达式为：

其中x⁽ⁱ⁾表示数据集的第_i个样本数据，p(y⁽ⁱ⁾＝1|x⁽ⁱ⁾；θ)表示第i个样本在参数θ下为第一类的概率，参数θ为一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行，每一行代表一个类别。

步骤八：建立目标函数，通过随机梯度下降来进行优化和更新参数θ，其具体做法如下：

首先建立目标函数：其中yⁱ表示第i个样本的期望输出，h_θ(xⁱ)表示第i个样本在参数θ下的网络预测输出。

其次通过随机梯度下降来更新参数，步骤如下：从M个总样本{X,Y}随机抽取出N个子样本{X_i,Y_i}；计算子样本的目标函数L(f(X_i；θ),Y_i)；求取目标函数对参数θ的梯度：通过梯度更新参数：迭代更新完N个子样本的参数。

最后，通过误差反向传播的方法来微调整个网络参数：通过上个步骤中更新的参数θ的转置，与逻辑回归层的输出相乘得到重构值，并把重构值与原先的输出值建立代价函数，同样通过随机梯度下降方法来更新逻辑回归层与前一层隐层之间的参数，往后的隐层之间参数更新与此同理，直至更新完第一层隐层与输入层之间的参数。

步骤九：在微调过程中添加验证数据集和测试数据集，设置一个数据批量为2000，当训练完该批量数据后进行一次交叉验证和测试。

步骤十：当验证误差趋于某值长期不变，且测试误差高于验证误差时，停止网络训练。

步骤十一：把数据集之外的数据输入到训练好的网络模型中，网络模型对输入数据的输出为Y＝(0,1,2,...,N)中的一个值，对应于输入数据序列对应的点的，也就是波到时点。

下面分别采用短长时窗能量比拾取法(简称：比值法)和本发明方法对不同信噪比下声发射数据进行波达时间拾取，并对其性能进行比较。

对同样的数据样本，分别用短长时窗能量比对数据进行处理，并设置一个合适的波达阈值，当大于这个值时认为该点为波达点；对于深度信念神经网络，把数据样本直接输入到已经训练好的网络模型中，网络模型输出即为波达点。对数据样本添加不同强度的高斯噪声，再用两种方法进行比较，结果如表1所示：

总结分析：如表1所示，虽然传统的拾取方法更容易实现，但是对于低信噪比的情况(低于-10dB)，本发明方法具有更高的识别精度，性能更加稳健。

综上，基于深度信念神经网络的微震信号到时自动拾取方法是一种有效改善低信噪比下微震信号到时拾取精度的方法。

以上所述仅为实现本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度信念神经网络的微震信号到时自动拾取方法，其特征在于，通过构建深度信念网络模型实现微震信号的识别及到时自动拾取，具体实现步骤如下：

步骤一：对微震数据按照固定的维数进行采样；

步骤二：对用于网络模型训练的原始数据进行人工信号到时拾取，作为对应样本数据的标签信息；

步骤三：把数据和标签放到同一数据集中，并通过添加高斯噪声产生新的样本数据；

步骤四：把数据集划分为训练数据集、验证数据集和测试数据集；

步骤五：搭建深度信念网络模型；

步骤六：把数据集输入到网络，两个相邻层之间视为一个受限玻尔兹曼机，下层为可视层，上层为隐藏层；

步骤七：逐个训练受限玻尔兹曼机，把多个训练好的受限玻尔兹曼机依次堆叠，并在最后一个受限玻尔兹曼机的隐藏层上加入一个多分类的逻辑回归层作为分类器；受限玻尔兹曼机训练过程具体为：

首先给定每一个受限玻尔兹曼机的训练迭代次数J和学习率α，初始化可视层的偏置向量a∈Rⁿ和隐层的偏置向量b∈R^m都为0向量，两个层之间的连接权值矩阵W∈R^n×m初始为上的随机数；其中，Rⁿ表示n维欧氏空间，a∈Rⁿ表示a为一个1行n列的向量，n的个数对应可视层的节点数；R^m表示m维欧氏空间，b∈R^m表示b为一个1行m列的向量，m的个数对应隐藏层的节点数；R^n×m表示n×m维欧氏空间，W∈R^n×m表示W是一个n行m列的矩阵；

其次，通过对比散度算法来更新参数a、b和W，这一过程分为两步：第一部分是吉布斯采样过程：首先把输入层的输入向量V通过转换函数求得隐藏层的激活值h；其次随机产生[0,1)之间的随机数r，把r作为判定条件，当h向量中的值大于r时，h的一个子样本h^s的值为1，否则为0，这样就得到一个二值的子样本；把h^s作为输入向量，同样做法得到可视层激活值的一个子样本最后再把输入得到隐藏层激活值的一个子样本第二部分是参数更新，当输入样本个数为N时，更新公式如下：

其中，表示原连接权值矩阵W更新后的值，表示原可视层的偏置向量b更新后的值，表示原隐藏层的偏置向量a更新后的值；

然后对输入测试样本数据进行测试重构，得到隐藏层的输出值，具体做法为：利用更新过后的参数，通过转换公式计算隐藏层的激活值：其中X^(l)为测试样本第l个样本；然后计算受限玻尔兹曼机对测试样本数据的重构结果：

最后把重构结果与测试样本数据进行作差比较，如果误差在合理的范围则认为该受限玻尔兹曼机训练结束，否则增加迭代次数训练直至满足；

步骤八：进行无监督预训练，预训练完成后计算无监督学习到的输出与期望输出之间的误差，并进行误差反向传播；具体地包括：把误差定义网络预测输出h_θ(xⁱ)与期望输出yⁱ之间平方差，则代价函数为：其中，m为输入样本总数，yⁱ表示第i个样本的期望类别；然后采用随机梯度下降法来对目标函数进行优化，其算法具体为：

首先建立目标函数：其中参数θ＝{W,a,b}；

其次通过随机梯度下降来更新参数，步骤如下：从M个总样本{X,Y}随机抽取出N个子样本{X_i,Y_i}，计算子样本的目标函数L(f(X_i；θ),Y_i)，求取目标函数对参数θ的梯度：通过梯度更新参数：迭代更新完N个子样本的参数；

最后，通过误差反向传播的方法来微调整个网络参数：通过上个步骤中更新的参数θ的转置，与逻辑回归层的输出相乘得到重构值，并把重构值与原先的输出值建立代价函数，同样通过随机梯度下降方法来更新逻辑回归层与前一层隐层之间的参数，往后的隐层之间参数更新与此同理，直至更新完第一层隐层与输入层之间的参数；

步骤九：利用误差反向传播微调整个网络，在微调过程中添加验证数据集和测试数据集，设置一个数据批量，当训练完该批量数据后进行一次交叉验证和测试；

步骤十：当验证误差趋于某值长期不变，且测试误差高于验证误差时，网络训练完成，即基于深度信念神经网络的微震信号到时自动拾取模型构建完成，否则返回步骤八，继续网络微调；

步骤十一：把未经过到时拾取的数据集输入到训练好的网络模型中，网络输出即为微震信号到时。

2.如权利要求1所述的方法，其特征在于，所述步骤一中，原始数据按照统一长度，切割为相同维度的数据。

3.如权利要求1所述的方法，其特征在于，所述步骤四中，训练集占总数据集的70％，验证集和测试集各占总数据集的15％。

4.如权利要求1所述的方法，其特征在于，所述步骤五中，搭建深度信念神经网络部分，网络包括：一个输入层、多个隐层和一个分类层，层与层之间的神经元节点全连接，输入层的神经元节点数与输入的样本数据的维度一致，每一层隐层的神经元节点个数要比上一层的神经元节点个数少。

5.如权利要求1所述的方法，其特征在于，所述步骤六中，受限玻尔兹曼机的可视层节点与隐藏层节点全连接，但可视层和隐藏层层内的神经元节点无连接。

6.如权利要求1所述的方法，其特征在于，所述步骤七中，多分类逻辑回归的方程为：

其中x⁽ⁱ⁾表示数据集的第i个样本数据，p(y⁽ⁱ⁾＝1|x⁽ⁱ⁾；θ)表示第i个样本在参数θ下为第一类的概率，参数θ为一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行，每一行代表一个类别。

7.如权利要求1所述的方法，其特征在于，所述步骤十一中，把数据集之外的数据输入到训练好的网络模型中，网络模型对输入数据的输出为Y＝(0,1,2,...,N)中的一个值，对应于输入数据序列对应的点的，也就是波到时对应的采样点位置。