CN112183638B - 基于声纹深度特征的硬岩拉剪破裂识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于声纹深度特征的硬岩拉剪破裂识别方法及装置，主要解决了现场下硬岩拉剪破裂识别不易性的问题。包括步骤S1：获取硬岩张拉破裂和剪切破裂的声音信号，并绘制成相应的Wigner‑Ville声纹图；步骤S2：利用预训练深度神经网络提取张拉和剪切两类破裂声纹图的深度特征；步骤S3：将张拉和剪切两类破裂信号声纹图的深度特征作为训练样本训练IVM；步骤S4：监测硬岩的破裂声音信号，获取相应破裂声音的声纹图；步骤S5：利用同样的预训练网络提取待预测的声纹深度特征，根据IVM分类结果，确定硬岩破裂类型；步骤S6：将IVM分类结果良好的预测样本也一同作为训练样本加入到训练集合中，对之后监测所得的声音进行预测。

Description

基于声纹深度特征的硬岩拉剪破裂识别方法及装置

技术领域

本发明属于岩土工程灾害防治技术领域，涉及一种基于声纹深度特征的硬岩拉剪破裂识别方法及装置。

背景技术

我国三分之二以上的国土面积为山区，极易受到山区危岩所带来的自然灾害。受限于危岩灾害的突发性和快速性等，对于危岩灾害的及时预警还存在巨大的改善空间。

已有研究表明，硬岩的宏观破坏均从微小的脆性破裂逐渐发育而成，加深对于脆性破裂的研究对于硬岩宏观破坏机理的揭示具有重要的意义，因此如何监测硬岩的破裂行为是研究的热点。

硬岩的脆性破裂可分为张拉破裂和剪切破裂，拉剪破裂的研究对于再现硬岩内部的破坏演化以及对危岩的破坏预警具有重要的意义。通过研究硬岩的拉剪演化，从拉剪破裂的角度进一步的揭示岩石破坏的机理。因此，对硬岩拉剪破裂进行分类识别，可以实现对硬岩宏观破坏的及时预警，减少硬岩破坏造成的人员伤亡和财产的损失。

张拉破裂是硬岩在外荷载状态下，当硬岩某一承载面达到抗拉强度时，硬岩产生张拉破裂，张拉破裂是在能量急剧情况下，最后能量快速释放所表现出的急剧性宏观破裂；剪切破裂是指硬岩在外荷载状态下，硬岩某一接触面达到最大抗剪强度，硬岩产生剪切破裂，剪切破裂是硬岩是内部不同尺寸颗粒接触间相互摩擦产生的连续性破裂事件，相较于张拉破裂所表现出急剧短促的特点，剪切破裂属于连续，较长时间的破裂。由于上述两种破裂过程的根本性不同，因此通过分析硬岩张拉破裂和剪切破裂时所表现出的较为明显地特征，即能做到对两种不同破裂类型的显著区分。

当前对硬岩张拉破裂和剪切破裂传统区分手段包括：数值模型分析，现场的观测等手段，但是上述等监测手段存在着诸多的问题。数值模型的计算方法耗时较大，且数学模型的建立需要较多的假设，因此对于现场硬岩的真实情况反映还有所欠缺。基于现场的监测方法手段常借助于声发射、微震等设备，但是此类监测设备的使用成本较高，经济性较差，在现场环境下难以获得较大范围的使用。针对上述分析手段的不足，需要一种新的岩石拉剪破裂识别的方法，既能准确地进行岩石拉剪破裂机制的分析，同时还具有操作上的便利性。

当硬岩发生脆性破裂时，伴随着硬岩的宏观破裂，会发出人耳可听见的声响，能够在不利用传感器器进行接触条件下完成信号的接收，与传统的声发射。微震监测相比，具有极高的经济价值。然而，当前对于生物语音的智能识别已经获得了巨大的突破，各种商业语音识别产品已经日臻成熟，但如何借鉴已有的语音识别技术，建立岩石力学领域的声音信号监测还尚待研究。

深度学习是一种近年来依据大数据兴起的智能学习算法，具有无监督学习和监督学习下的自适应学习能力，已经被广泛用于计算机视觉中的多项任务，尤其是图像分类。与在训练中重新调整深度神经网络中的参数不同，经过大数据集预训练的深度神经网络往往充当深度提取器的作用。

与传统人工描述固定的纹理、颜色、边缘等特征不同，使用预训练的深度学习网络通过不同位置的网络层具有从不同深度提取描述声纹图形特征的优势。在深度学习方法中，通过大数据集建立的预训练深度学习模型，经过适当的微调后，可以用来对其他数据集中的图形进行更好地特征迁移，所提取出的图像特征虽然会抽象但是具有更好的代表性。并且相较于传统人工描述的特征，具有自动处理的优势，极大地提高了图像识别的效率。

虽然深度学习具有对图像自动分类的优势，但是深度学习对于图像分类的解释全部来源于大数据的训练，从现场环境下获取的破裂声音数据数量较少，而在深度学习的模型训练中，数据收集十分重要，取得足够的数据集对于最终模型的表现有十分重要的意义。数据集小，则深度学习模型难以从中学习到足够的信息，导致模型训练无法收敛，或者出现过拟合。使用深度学习方法进行分类无法适用于当前数据集，而浅层的机器学习方法无需大量的训练数据，并且可解释行强，也不需要过高的硬件需求。

因此，本专利以岩石破裂的声音信号为研究对象，结合深度学习和机器学习的双重优势建立一种新的硬岩的拉剪破裂识别方法和装置。通过对现场岩石破裂声音信号收集，实现对危岩破裂类型的定量化的精准区分，对岩溶地区危岩自然灾害的防止具有重要实用价值。

发明内容

针对上述获取参数方法的不足，本发明提出了基于声纹深度特征的硬岩拉剪破裂识别方法，包括以下步骤：

步骤S1：获取硬岩张拉破裂和剪切破裂的声音信号，并绘制成相应的Wigner-Ville声纹图；

步骤S2：利用预训练深度神经网络提取张拉和剪切破裂两类声纹图形的深度特征；

步骤S3：将张拉和剪切两类破裂信号声纹图的深度特征作为训练样本训练IVM；

步骤S4：监测硬岩的破裂声音信号，获取相应破裂的声音声纹图；

步骤S5：利用同样的预训练深度神经网络对预测的声音声纹图进行深度特征提取，并根据IVM分类结果，确定此时刻硬岩破裂类型；

步骤S6：将IVM分类结果良好的预测样本也一同作为训练样本加入到训练集合中，对之后监测所得的声音进行预测。

对上述各个步骤进行进一步的说明：

步骤S1，包括步骤S1-1、步骤S1-2和步骤S1-3，具体方法如下：

步骤S1-1：选取硬岩中代表性岩样；

本发明方法首先考虑提取硬岩的张拉破裂和剪切破裂声音信号，因此首先对现场的硬岩中岩样进行取样，并且制作成张拉破裂试验试样和剪切破裂试验试样，张拉破裂试样可以用来做张拉破裂试验，获取张拉破裂的声音信号，剪切破裂试样用于开展剪切破裂实验，获取剪切破裂的声音信号。通过获取得纯张拉和纯剪切时的典型声音信号，为下一步能够实现对硬岩张拉破裂和剪切破裂声音信号的区分奠定样本基础。

步骤S1-2：开展张拉破裂试验和剪切破裂试验，获取两类典型破裂时的声音信号。

开展张拉破裂实验，获取岩样张拉破裂时纯净的声音信号；

开展剪切破裂实验，获取岩样剪切破裂时纯净的声音信号。

步骤S1-3：绘制破裂声音信号的声纹图；

将步骤S1-2中获取的张拉破裂声音信号和剪切破裂的声音信号进行Wigner-Ville声纹图的绘制。

步骤S2，具体方法如下：将获取的硬岩张拉破裂和剪切破裂的声纹图尺寸编辑至统一大小。将预训练的深度神经网络作为深度特征的提取器，对输入的声纹图深度特征进行提取。

下面对于Wigner-Ville声纹图的相关概念进行描述：

在信号的描述中，声音的波形分析可以表现出声音信号的幅值随时间变化的特征，频率分析仅可以表现出声音信号的频率的分布，而声纹图能够将单纯的一维时间函数和频率综合成同时反映时间和频率共变化特征的三维图像能够从时间和频率的角度体现信号能量的变化特征，对于一类声音信号具有较强的特征变化归纳能力，因此被广泛用于声音信号的识别任务中。通常能够反应声音信号时域-频域-幅值变化的计算方法有多种，如：短时傅里叶变化(STFFT)、梅尔倒谱变化(MFCC)、Wigner-Ville变化等，其中Wigner-Ville变化由于其在克服了信号分析过程中窗函数选取过长或者过短造成的时频分析不准确的影响，因此被广泛地用于声音信号声纹特征的提取分析中。Wigner-Ville变化的原理为：

设连续时间信号为x∈C,t∈R，则信号的WVD定义为：

其中t表示时间，ω表示频率，定义表示为过去某一时刻的信号与未来某一时刻的信号相乘再对其时间差τ求傅里叶变换。

步骤S3，将上述的全部张拉破裂和剪切破裂声纹图的深度特征向量x组合作为训练集合D，将其用来训练IVM模型，在训练模型中两类破裂类型的标签y规定如下：张拉破裂信号的标签y＝+1；剪切破裂信号的标签y＝-1，并在IVM的训练中，使用交叉验证提取模型对样本的泛化能力。

下面对于IVM模型的相关概念进行描述；

信息向量机(Informative Vector Machine,IVM)是一种新的机器学习方法。该方法采用基于信息熵理论的方法，从大量的训练样本中优选出部分的最具信息性的样本组成有效集，通过对有效集的学习可以达到与原训练样本集相同的学习效果，同时结合稀疏化核矩阵表示，从而大大简化学习的时间复杂度和空间复杂度。另外，IVM通过假定密度筛选与最小化KL散度(相对信息熵)实现了对非高斯分布噪声模型后验分布的近似逼近。IVM具有优异的回归性能，其超参数可自适应获取，对高度非线性回归问题具有较强的适用性。本发明方法中，GOA进入局部寻优状态后，采用IVM拟合局部最优解附近的真实目标函数，利用IVM回归代理模型对目标函数进行分类的关键环节有：

(1)IVM代理模型的学习过程：

IVM回归代理模型在学习过程中，维持了两个样本索引集I与J，其中I是有效集，J是待选集，初始时，

J＝{1，2，…，N}，且在任意时刻，

I∪J＝{1，2，…，N}(假定要从初始N训练样本中，筛选d个信息向量)，信息向量是以一种连续的、类似在线学习的方式获取：首先，应用ADF近似具有i个信息向量，即I_i时的后验分布及似然分布：

式中：p表示概率分布，q表示近似分布，μ表示高斯分布均值，Σ为协方差矩阵m表示似然替代变量，β表示噪声分布方差，

为有效训练样本的输入向量，θ表示协方差函数超参数。之后，依照如下方法选择i+1个信息向量

上式表示：选择当前待选集J中能够最大化减小后验分布信息熵的一个样本j，作为第i+1个信息向量。循环执行上述过程，直至完成d个信息向量的选择(即I＝I_d)。此时，可得

式中B表示噪声分布方差，K或Σ表示高斯分布协方差矩阵。在IVM代理模型中，协方差函数超参数θ的最优解正是通过最大化边缘似然p(y_I|X_I,:,θ)而自适应获取的。具体的，通过取负对数-log(p(y_I|X_I,:,θ))，将最大化问题转化为最小化问题，进而利用共轭梯度下降法实现最优超参数

的自适应获取。

(2)IVM代理模型的分类：

过程上述过程实现了以有效集I替代原始样本数据集的学习，之后的回归过程同贝叶斯回归学习过程中的做法一致，代入对应的变量、向量或矩阵，即得IVM回归后验分布：

根据二元分类问题，二元分类结果可以通过响应函数可以压缩至区间[0,1]：

π(x)＝p(f_*＝+1|x_*)＝Φ(f)

因此经过特征提取获得声谱图的特征向量后，使用IVM机器学习方法构建分类模型。综上，本文提出将深度学习方法与浅层机器学习方法相结合，使用深度学习方法自动提取声音图像的特征，减少人工提取特征的负担，然后将这些特征用作浅层机器学习方法的输入，训练分类模型。

步骤S4，开始对现场环境下的硬岩破裂声音信号进行监测，并同样根据步骤S2中已获得噪声，对现场监测的硬岩破裂声音信号绘制成声纹图，作为预测样本。

步骤S5：对硬岩破裂的声信号的进行声纹图深度特征的提取，然后将提取后的特征成一个特征向量，作为预测样本带入到已经训练好的IVM模型中进行分类，根据二元分类准则，当分类预测概率p^*>0.5时，识别为张拉破裂；当分类预测概率p^*<0.5时，识别为剪切破裂。

步骤S6：根据上述利用IVM模型的分类概率值，将预测结果良好的样本，作为新的训练样本加入到训练样本集合中，预测结果良好的定义为：当预测结果0<p*<0.2时，可以认为是良好的预测剪切样本值，当预测结果0.8<p*<1时，作为张拉破裂的新的训练样本加入到训练集合D中，并且按照步骤S4的定义，张拉破裂的标签y＝+1，剪切破裂的标签y＝-1作为新的训练样本x加入到训练集合D中，对IVM模型进行重新训练；

优选地，本发明的分类识别方法，所述的训练样本Wigner-Ville声纹图形的绘制，预训练网络对声纹深度特征的提取，训练样本集合的生成、IVM模型的训练、预测样本音频声纹图生成和声纹深度特征的提取、IVM的预测分类，均通过编写自动化运维处理指令流程，使得各步骤之间自动化运行。

本发明专利还提供一种基于声响特征的硬岩拉剪破裂识别装置，包括：

拉剪采样模块Z1，用于对现场监测硬岩中的代表性岩样开展张拉破裂实验和剪切破裂试验获取相关的张拉破裂声音和剪切破裂声音；

声纹深度特征提取模块Z2，用于绘制声音信号Wigner-Ville声纹图和利用预训练深度神经网络提取声纹深度特征；

IVM计算模块Z3，用于将已经提取出的声纹深度特征训练IVM模型，并且对预测样本做出分类结果；

现场声音信号监测模块Z4，用于对现场硬岩的破裂声音信号进行监测提取，并作为预测样本交给声纹深度特征提取模块Z2和IVM计算模块Z3进行分类识别；

显示模块Z5，用于显示上述各模块之间的计算结果，并且可以用来控制各个模块的进程；

传输模块Z6，用于实现对各模块之间的信息通信，实现各模块间信息的储存和传递。

进一步的，拉剪采样模块Z1包括张拉采样单元，包括：

张拉采样单元Z1-1，用于开展岩样张拉破裂试验，获取张拉破裂时的声音信号；

剪切采样单元Z1-2，用于开展岩样剪切破裂试验，获取剪切破裂时的声音信号；

声音记录单元Z1-3，用于记录在进行张拉破裂试验和剪切破裂实验进行时，记录两种破裂类型的声音信号。

进一步的，声纹深度特征提取模块Z2包括：声纹图形生成单元Z2-1、声纹图形深度特征提取单元Z2-2

声纹图生成单元Z2-1，用于计算生成声音信号的Wigner-Ville声纹图；

声纹图深度特征提取单元Z2-2，用于对单元Z2-1中生成的声纹图形进行深度特征的提取，在本单元中，内置的预训练网络包括：VGG、Resent、Inception–X等常用网络，可根据用户需要自己选择预训练网络；

进一步的，所述IVM计算模块Z3块包括：均匀化样本单元Z3-1、交叉验证单元Z3-2、模型参数调整单元Z3-3、预测样本显示单元Z3-4。

均匀化样本单元Z3-1，对于IVM模型的机器学习方法而言，模型训练的好坏极大的取决于训练样本的构成，在IVM模型的预测概率值，是在不断地通过对训练样本的学习中提高的。为了提高机器学习模型对训练样本的学习能力，常用的训练样本预处理的方法有如下：

归一化处理

归一化的目的是训练样本的各维度转换到[0,1]或者[1-,1]区间，方法如下所示：

或者

式中，i为样本特征向量的维数，t为哪一项样本，

为第t个样本的第i维特征数以及标准化的值，x_i-max表示所有样本第i维的最大数值，x_i-min表示所有样本的第i维的最小值。

标准化处理，根据正态分布理论，所有的分布都可以将其标准化。根据在正态标准化的公式，训练样本进行标准化的公式如下：

或者

上述两种处理样本的方式可供根据实际需求选择。

交叉验证单元Z3-2，其用于交叉验证样本，提高IVM模型的泛化能力；

经过对训练样本学习的IVM模型已经具有了初步分类的能力，训练后的IVM模型的对已知样本学习能力的好坏称为模型的性能，对于有未知样本的预测效果称为泛化能力。根据机器学习理论，机器学习IVM模型的性能的好坏决于模型在自身的理论的指导下对于样本的学习程度，因此对于训练样本学习程度的不同，机器学习可能会出现“过学习”和“欠学习”的现象，针对“过学习”和“欠学习”，可以通过调整样本的布局，或者调整模型的参数进行改进，比如针对“过学习”的出现可以在训练过程中增加惩罚项加以控制，对于“欠学习”，可以通过设置损失函数加以弥补。因此为了检验模型的学习效果，在对训练样本外的预测样本进行预测估计之前，尚需要对已有的IVM模型的学习效果进行检验，因此交叉验证单元必不可少；

交叉验证的概念为将原训练样本集合D分成两类，一部分作为训练样本进行训练，一部分作为预测样本进行也测，这样做的目的：既可以检测模型对于样本群的学习性能，也可以用来减少样本“过学习”和“欠学习”的出现，避免模型在一次学习过程中，会出现对于样本学习权重不平衡的出现。

交叉验证的训练的方法是有两种分别是留出法和k-折训练法。这两种方法的训练单元Z5-2均有保留，可根据实际需求选择。

留出法；是将训练样本集合D分成，三部分，训练集、验证集和测试集。不过如果只做一次分割，它对训练集、验证集和测试集的样本数比例，还有分割后数据的分布是否和原始数据集的分布相同等因素比较敏感，不同的划分会得到不同的最优模型，而且分成三个集合后，用于训练的数据更少了。

k-折训练法；顾名思义，是将是将训练样本均分成k个训练样本子集，并且对k个子集循环往复训练测试k次，在每一次的训练过程中，首先选用1个子集作为测试样本，剩下的k-1个作为训练样本，整个循环反复k次，最后取所有k次的均值作为模型学习性能的评价。这样一来，对于整个集合D，所有的子集都有机会在参与到模型的学习和预测中，平衡了模型对于训练样本的学习均匀度。在一般的计算，可以取k为10、20、30。

模型参数调整单元Z3-3，其用于对IVM模型训练较差的情况，调整IVM模型的参数，以适应训练。在上述的单元的测试过程中，如果出现IVM模型训练较差的情况，则可以对模型进行调整，调整的方法包括：改变训练样本的均匀程度，改变模型中的参数数值。

预测样本显示单元Z3-4，用于利用已经建立好的IVM模型对预测样本进行分类识别，识别现场硬岩破裂的声音信号为张拉破裂还是剪切破裂。

进一步的，现场声音信号监测模块Z4包括：包括现场声音监测单元Z4-1，声音放大单元Z4-2；

现场声音信号监测单元Z4-1：用于将硬岩破裂的声音信号进行监测、收集；

声音放大单元Z4-2：用于对声音信号进行放大处理，以便于对硬岩的声音信号分析处理。

进一步的，显示模块Z5包括：

信息显示单元Z5-1，用于显示上述所有模块的计算结果；

时控单元Z5-2，整个模型的运维处于自动化运行指令下，但是允许管理人员的交互式控制，根据管理者需要可以进行实时控制计算，在管理员的指令下，可以暂停进程，进入任意模块指挥进程。

上述各个模块的参数设定值，模型生成，均由显示模块Z5呈现出，方便管理者实时管理管理计算的过程。

进一步的，还传输模块包括Z6：本地存储单元，备份存储单元和传输单元；

本地存储单元Z6-1，用于将计算出的数据存储至本地数据中心集中装置；

备份存储单元Z6-2，用于将数据进行备份存储至云端；

传输单元Z6-3，用于将计算出的数据通过通用无线、有线、选择性传输方式发送到接收平台或者相应的客户端。

优选地，上述各模块之间的交互性链接，反馈均是通过传输模块进行，因此为保证链接的稳定可以根据现场条件需求实现无线、有线、或者混合方式传导。

与现有技术相比，本发明的有益效果是：

利用硬岩破裂的声音信号作为新的无损监测方式进行张拉破裂和剪切破裂的区分；

利用预训练的深度神经网络从硬岩破裂的Wigner-Ville声纹图中提取深度特征，作为硬岩拉剪破裂识别新的特征指标。具有极大地便利性和自动性，提高了识别的效率。

利用硬岩破裂的张拉信号和剪切信号声纹深度的显著区别，结合IVM机器学习二元分类方法的理论，实现了对硬岩张拉破裂和剪切破裂的自动分类识别。

本发明与传统识别拉剪破裂的方法相比，降低了拉剪破裂识别的复杂程度，为有效解决当前对于硬岩破裂识别方法的不便利性和低经济性提供了一条有效的途径。

本发明中的智能化装置平台实现了从声音获取、训练、建模、参数修改、预测、反馈信息一体化的过程，使整个参数获取流程更加智能化，及时地信息参数修正和属性的设置，提高了模型的适应性和高效性。

附图说明

图1为本发明方法的流程图；

图2为本发明实施例1中硬岩位置；

图3为本发明实施例1的张拉岩样和剪切岩样；

图4为本发明实施方法的装置模块图；

图5为本发明实施方法的装置单元图；

图6为本发明实施例2硬岩拉剪破裂识别装置布置图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施案例中，所监测岩溶山区拉裂-压剪坠落型硬岩为均值岩性，硬岩两侧分别为第一和第二主控结构面，硬岩大小10万m³，高度30m，如图2所示。所需监测的硬岩常规物理参数等见表1。

表1硬岩力学参数

本专利中一种基于声响特征的硬岩拉剪破裂识别方法，如图1所示，其具体实施方案包括以下步骤：

步骤S1，选取硬岩上的岩样进行加工，并进行张拉破裂试验和剪切破裂试验，获取典型的张拉破裂Wigner-Ville声纹图和剪切破裂Wigner-Ville声纹图，

步骤S1-1：选取硬岩上代表性岩样；

本发明方法首先考虑硬岩张拉破裂和剪切破裂声音信号的样本，因此首先对现场的硬岩的代表性岩样进行取样，并且制作成便于开展实验的试样，包括张拉破裂试验试样和剪切破裂试验试样，图3为本实施案例中的张拉岩样和剪切岩样，张拉岩样以用来做单纯的张拉破裂试验，获取岩样张拉破裂的声音信号，剪切试样用于开展剪切破裂实验，获取岩样剪切破裂的声音信号。通过获取得纯拉破裂和纯剪破裂时典型的破裂声音信号，为下一步能够实现对硬岩张拉破裂和剪切破裂声音信号的区分奠定样本的基础。

步骤S1-2：开展张拉破裂试验和剪切破裂试验，获取典型破裂时的声音信号：

开展张拉破裂实验，获取岩样张拉破裂时的声音信号；

开展剪切破裂实验，获取岩样剪切破裂时的声音信号；

步骤S1-3：绘制张拉破裂和剪切破裂的声音Wigner-Ville声纹图；

按照Wigner-Ville声纹图的计算方法绘制声纹图。

步骤S2，利用预训练深度神经网络提取拉剪破裂两类声纹图形的深度特征；

在本实施案例中，利用预训练的VGG-19网络提取声纹的深度特征，当预训练VGG-19作为特征提取器时，从网络层中的relu7中提取拉剪两类声纹图的深度特征。

步骤S3，将获取的拉剪两类深度特征作为训练样本训练IVM；

将深度特征组合成特征样本D，利用获取的训练样本D进行IVM模型的训练工作，获取训练后的IVM模型，在训练模型中两类破裂类型的标签y规定如下：张拉破裂信号的标签y＝+1；剪切破裂信号的标签y＝-1，并在IVM的训练中，使用交叉验证提取模型对样本的泛化能力。

步骤S4，获取监测岩体的破裂声音信号，获取相应破裂声音的声纹。

步骤S5，所监测的拉裂-压剪型危岩在不同破坏阶段下的破裂声音信号，主要包括失稳前(2019年04月13日-2019年04月15日)、拉裂坠落(2019年04月16日-2019年04月20日)、压剪失稳破坏(2019年04月21日-2019年04月22日)。在监测时间段内，对不同阶段下的破裂声音Wigner-Ville声纹进行深度特征的提取，作为预测样本z₁，将预测样本带入到已训练的IVM模型，对预测样本进行预测，判断该时刻发生哪一种破裂，识别结果如表2、表3、表4。

步骤S6，实时更新训练样本的集合，并且根据方法步骤5中预测值概率值的大小，当预测结果0<p^*<0.2时，可以认为是良好的剪切破裂样本值，当预测结果0.8<p^*<1时，可以认为是良好的张拉破裂样本值，并且按照步骤4的定义，将新的训练样本加入到训练集合D中，张拉破裂的标签y＝+1，剪切破裂的标签y＝-1，进行之后IVM的模型训练，并对之后新获得的监测声音信号进行同样的预测。

表2失稳前阶段破裂信号的识别

表3拉裂坠落阶段破裂信号的识别

表4压剪失稳破坏阶段破裂信号的识别

实施案例2

为了进一步实施本发明中的方法，本专利申请第二方面实施提出了一种基于声响特征的硬岩拉剪破裂自动识别方法与装置，如图4、5、6所示，其中图4为本发明实施方法的装置模块图，图5为本发明实施方法的装置单元图，图6为装置的工程实例的现场布置图，包括：

拉剪采样模块Z1，用于开采张拉破裂试验的岩样，并且开展张拉试验，获取张拉破裂时的声音信号,用于开采剪切试验的岩样，并且开展剪切试验，获取剪切破裂时的声音信号。其包括拉剪采样模块Z1包括：张拉采样单元Z1-1、剪切采样单元Z1-2、声音记录单元Z1-3，张拉采样单元Z1-1，用于开采张拉试验的岩样，并且开展张拉试验，获取张拉破裂时的声音信号；剪切采样单元Z1-2，用于开采剪切试验的岩样，并且开展剪切试验，获取剪切破裂时的声音信号；声音记录单元Z1-3，用于记录在进行张拉试验和剪切实验进行时，两种破裂类型的声音信号。

声纹深度特征提取模块Z2，用于对破裂声音声纹进行深度特征的提取包括：声纹图生成单元Z2-1、声纹图深度特征提取单元Z2-2；

声纹图生成单元Z2-1，用于生成破裂声音信号的声纹图；

声纹图深度特征提取单元Z2-2，利用预训练的深度神经网络对声纹生成单元Z2-1中生成的声纹图形进行深度特征的提取。在本单元中，内置的预训练网络包括：VGG、Resent、Inception–X等常用网络，可根据用户需要自己调整网络类型。

IVM计算模块Z3，可以将声纹深度特征提取模块Z2的特征举证进行学习，获得训练后的训练模型。IVM模型还用来对训练样本进行学习，预测样本进行分类。均匀化样本单元Z3-1、交叉训练单元Z3-2和模型参数调整单元Z3-3、预测样本显示单元Z3-4：

均匀化样本单元Z3-1，对于IVM模型的机器学习方法而言，模型训练的好坏极大的取决于训练样本的构成，在IVM模型的预测概率值，是在不断地通过对训练样本的学习中的提高的。为了提高机器学习模型的学习能力，对样本常用的预处理的方法有如下几种：

归一化处理

归一化的目的是训练样本的各维度转换到[0,1]或者[1-,1]区间，归一化的方法如下所示：

或者

式中,i为样本特征向量的维数，t为哪一项样本，

为第t个样本的第i维特征数以及标准化的值，x_i-max表示所有样本第i维的最大数值，x_i-min表示所有样本的第i维的最小值。

标准化处理，根据正态分布理论，所有的分布都可以将其标准化。根据在正态标准化的公式，训练样本进行标准化的公式也如下所示：

或者

上述两种处理训练样本的方式可根据实际需求自选，在本实施案例中使用标准化处理方式对所获得的声纹深度特征进行预处理。

交叉验证单元Z3-2；经过对训练样本学习的IVM模型已经具有了初步分类的能力，训练后的IVM模型的对已知样本学习能力的好坏称为模型的性能，对于有未知样本的预测效果称为泛化能力。根据机器学习理论，机器学习IVM模型的性能的好坏决于模型在自身的理论的指导下对于样本的学习程度，因此对于训练样本学习程度的不同，机器学习可能会出现“过学习”和“欠学习”的现象，针对“过学习”和“欠学习”，可以通过调整样本的布局，或者调整模型的参数进行改进，比如针对“过学习”的出现可以在训练过程中增加惩罚项加以控制，对于“欠学习”，可以通过设置损失函数加以弥补。因此为了检验模型的学习效果，在对训练样本外的预测样本进行预测估计之前，尚需要对已有的IVM模型的学习效果进行检验，因此及交叉验证单元必不可少。

交叉验证的概念为将原训练样本集合D分成两类，一部分作为训练样本进行训练，一部分作为预测样本进行也测，这样做的目的：既可以检测模型对于样本群的学习性能，也可以用来减少样本“过学习”和“欠学习”的出现，避免模型在一次学习过程中，会出现对于样本学习权重不平衡的出现。

交叉验证的训练的方法是有两种分别是留出法和k-折训练法。这两种方法的训练单元Z5-2均有保留，在本实施案例中，交叉验证环节选用k-折训练法。

留出法；是将训练样本集合D分成，三部分，训练集、验证集和测试集。不过如果只做一次分割，它对训练集、验证集和测试集的样本数比例，还有分割后数据的分布是否和原始数据集的分布相同等因素比较敏感，不同的划分会得到不同的最优模型，而且分成三个集合后，用于训练的数据更少了。

k-折训练法；顾名思义，是将是将训练样本均分成k个训练样本子集，并且对k个子集循环往复训练测试k次，在每一次的训练过程中，首先选用1个子集作为测试样本，剩下的k-1个作为训练样本，整个循环反复k次，最后取所有k次的均值作为模型学习性能的评价。这样一来，对于整个集合D，所有的子集都有机会在参与到模型的学习和预测中，平衡了模型对于训练样本的学习均匀度。在一般的计算，可以取k为10、20、、30。

模型参数调整单元Z3-3，其用于对IVM模型训练较差的情况，调整IVM模型的参数，以适应训练。在上述的单元的测试过程中，如果出现IVM模型训练较差的情况，则可以对模型进行调整，调整的方法包括：改变训练样本的均匀程度，改变模型中的参数数值。

预测样本显示单元Z3-4，用于利用已经建立好的IVM模型对预测样本进行分类识别，识别此时刻现场硬岩破裂的声音为张拉破裂还是剪切破裂。

现场声音信号监测模块Z4，用于对现场硬岩的破裂声信号进行监测提取，获取硬岩的破裂声音，并作为预测样本交给IVM计算模块Z4分类识别。现场声音信号监测模块Z4包括：现场声音信号监测单元Z4-1：用于将硬岩破裂的声音信号进行监测、收集；声音信号放大单元Z4-2：用于对声音信号进行放大处理，以放大硬岩微小的破裂声音信号进行。

显示模块Z5，用于显示上述各模块之间的计算结果，并且可以用来提醒所计算出的结果。其包括信息显示单元Z5-1和时控单元Z5-2，信息显示单元Z5-1用于显示上述所有模块的选择结果和计算结果，包括，所选用的预训练网络类型、IVM训练次数等；时控单元Z5-2，整个模型的运维处于自动化运行指令下，但是允许管理人员的交互式控制，根据管理者需要可以进行实时控制计算，在管理员的指令下，可以暂停进程，进入任意模块指挥进程。

具体的：显示模块Z5可以在当前的诸多客户端显示，包括：智能手机，笔记本，台式计算机等、客户端上有专门的进程操控程序，都隶属于信息显示单元Z5-1-管理人员可以通过客户端的指令，进入装置运算进程中，根据用户体验需要，重新计算或者设置参数。

传输模块Z6，用于实现对各模块之间的信息通信，实现各模块间信息的储存和传递。包括：本地存储单元Z6-1、备份存储单元Z6-2和传输单元Z6-3，本地存储单元Z6-1用于将计算出的数据存储至本地数据中心集中装置；备份存储单元Z6-2，用于将数据进行备份存储至云端；传输单元Z8-3，用于将计算出的数据通过通用无线、有线、选择性传输方式发送到接收平台或者相应的客户端。上述各模块之间的交互性链接，反馈均是通过传输模块进行，因此为保证链接的稳定可以根据现场条件需求实现无线、有线、或者混合方式传导。

本发明的各个部件实施例可以以硬件、固件、软件或者他们的组合实现，在上述的实施方式中，一个或者多个步骤的实施可以通过在存储器中的流程指令或者信号指令来实现，即在微型处理器或者信号处理器上通过编码实现本发明中硬岩拉剪破裂识别方法及装置模块的作用。

确切地说，在实施例使用中，除了少数模块和方法使用之间相互排斥之外，可以采用本说明书中公开的所有特征以及如此公开具有如此特的任何方法或者装置的部分或者全部进行单列或者组合。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.基于声纹深度特征的硬岩拉剪破裂识别方法，其特征在于，包括：

步骤S1：获取硬岩张拉破裂和剪切破裂的声音信号，并绘制成相应的Wigner-Ville声纹图形；

步骤S2：利用预训练深度神经网络提取张拉和剪切破裂两类声纹图的深度特征；

步骤S3：将张拉和剪切两类破裂信号声纹图的深度特征作为训练样本训练IVM；

步骤S4：监测硬岩的破裂声音信号，获取相应的破裂声音声纹图；

步骤S5：利用预训练深度神经网络对预测的声音声纹图进行深度特征提取，并根据IVM分类结果，确定此时刻硬岩破裂类型；

步骤S6：将IVM分类结果良好的预测样本也一同作为训练样本加入到训练集合中，对之后监测所得的声音进行预测。

2.根据权利要求1中基于声纹深度 特征的硬岩拉剪破裂识别方法，其特征在于，所述步骤S1包括：首先，通过现场试验获取危岩岩样的张拉破裂和剪切破裂的声音信号；然后，将原声信号转换成时间-频率-幅值的三维平面Wigner-Ville声纹图。

3.根据权利要求1中基于声纹深度 特征的硬岩拉剪破裂识别方法，其特征在于，所述步骤S2包括：提取张拉和剪切两类声纹图形的深度特征的方法为：由步骤S1获得声音声纹图带入预训练的深度神经网络中，提取网络层中的深度特征矩阵，将上述的深度特征作为区分张拉破裂和剪切破裂声音信号的依据。

4.根据权利要求1中基于声纹深度 特征的硬岩拉剪破裂识别方法，其特征在于，所述步骤S3还包括：将所提取的张拉和剪切两类声纹图的深度特征矩阵作为训练样本对IVM模型进行训练，并利用交叉验证方法提高IVM模型的对训练样本的泛化能力。

5.根据权利要求1中基于声纹深度 特征的硬岩拉剪破裂识别方法，其特征在于，所述步骤S6还包括：将预测结果为0<p*<0.2的剪切样本和预测结果为0.8<p*<1张拉破裂样本，作为新的训练样本加入到训练样本集合中，重新训练IVM模型，提高IVM的学习深度，并对之后监测得到的破裂声音信号进行预测。

6.基于声纹深度 特征的硬岩拉剪破裂识别装置，其特征在于，包括：

拉剪采样模块Z1，用于对硬岩的岩样开展张拉破裂实验和剪切破裂实验获取相应的张拉破裂声音和剪切破裂声音，用于之后声音信号特征的提取；

声纹深度特征提取模块Z2，用于将原声信号绘制成声纹图并提取声音声纹图的深度特征；

IVM计算模块Z3，用于将已经提取的声纹图深度特征作为IVM模型的训练样本，并且对预测样本做出分类结果；

现场声音信号监测模块Z4，用于对现场硬岩的破裂声音信号进行监测、提取，获取现场硬岩的破裂声音信号，并作为预测样本交给IVM计算模块分类识别；

显示模块Z5，用于显示上述各模块之间的计算结果，及控制各个模块的进程；

传输模块Z6，用于实现对各模块之间的信息通信，实现各模块间信息的储存和传递。

7.根据权利要求6 所述的基于声纹深度 特征的硬 岩拉剪破裂识别装置，其特征在于，所述声纹深度特征提取模块Z2包括：

声纹图形生成单元Z2-1，用于计算生成声音信号的声纹图形；

声纹图深度特征提取单元Z2-2，利用预训练深度神经网络对生成的声纹图形进行深度特征的提取，预训练网络包括：VGG、Resent、Inception–X中的一个或多个。

8.根据权利要求6 所述的基于声纹深度 特征的硬 岩拉剪破裂识别装置，其特征在于，所述IVM计算模块Z3包括：

均匀化样本单元Z3-1，其用于均匀化训练样本；

交叉训练单元Z3-2，其用于交叉训练样本，训练IVM模型；

模型参数调整单元Z3-3，其用于对IVM模型训练较差的情况，调整IVM模型的参数，以适应训练；

预测样本显示单元Z3-4，其用于显示IVM模型对于预测样本的预测结果。

Images