CN117454762B - Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法 - Google Patents

Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法 Download PDF

Info

Publication number
CN117454762B
CN117454762B CN202311418898.XA CN202311418898A CN117454762B CN 117454762 B CN117454762 B CN 117454762B CN 202311418898 A CN202311418898 A CN 202311418898A CN 117454762 B CN117454762 B CN 117454762B
Authority
CN
China
Prior art keywords
gas concentration
attention
coal
data
gaussian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311418898.XA
Other languages
English (en)
Other versions
CN117454762A (zh
Inventor
郑万波
李旭
万俊杰
张景程
冉丝蔓
李思奇
谭春琳
喻颖琪
杨笑然
鲁根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Weishidun Security Technology Co ltd
Yunnan Weishidun Technology Co ltd
Kunming University of Science and Technology
Original Assignee
Sichuan Weishidun Security Technology Co ltd
Yunnan Weishidun Technology Co ltd
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Weishidun Security Technology Co ltd, Yunnan Weishidun Technology Co ltd, Kunming University of Science and Technology filed Critical Sichuan Weishidun Security Technology Co ltd
Priority to CN202311418898.XA priority Critical patent/CN117454762B/zh
Publication of CN117454762A publication Critical patent/CN117454762A/zh
Application granted granted Critical
Publication of CN117454762B publication Critical patent/CN117454762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及Markov‑神经网络的穿煤隧道掌子面瓦斯浓度预测方法，属隧道工程施工过程灾害监测预测领域，包括：根据穿煤隧道掌子面瓦斯浓度相关历史数据集，对数据进行清洗后获取对应穿煤隧道掌子面瓦斯浓度数据流矩阵；将处理后的穿煤隧道掌子面瓦斯浓度数据流矩阵构造马尔可夫先验模型；处理后的数据将作为基于高斯注意力机制优化的深度神经网络的输入，其包括主干模块、场景建模模块、上下文交叉注意模块和预测模块，设置参数，预测穿煤隧道掌子面瓦斯浓度。本发明构造马尔可夫先验模型并在卷积‑门控循环单元神经网络中加入高斯注意力机制，在保持输入穿煤隧道掌子面瓦斯浓度数据流的空间拓扑结构的同时，有效地利用近程、远程对应关系。

Description

Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法
技术领域
本发明涉及基于时间序列的穿煤隧道掌子面瓦斯浓度预测方法，尤其涉及Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，属于隧道工程施工过程灾害监测预测技术领域。
背景技术
瓦斯浓度异常将危害隧道常态化安全生产，造成人力物力损失，因此提前预测具有重要意义。长期以来，国内外学者为保障穿煤隧道掌子面工程安全生产，防止瓦斯事故发生建立了多种预测模型，张剑英等人提出了将时间序列分析方法与自适应神经模糊推理系统结合的穿煤隧道掌子面瓦斯浓度预测模型；程健等人应用混沌理论进行煤矿瓦斯浓度预测；王其军等人提出了将免疫算法与神经网络理论相结合的穿煤隧道掌子面瓦斯浓度预测方式；姜福兴等人提出基于应力和瓦斯浓度动态变化特征的掘进面煤与瓦斯突出实时监测预警方法。杨艳国等人对工作面瓦斯浓度时间序列的概率分布进行分析,利用Shapiro-Wilk和Lilliefors联合正态检验的方法对瓦斯时间序列的特征进行深入挖掘；郭思雯构建了自回归滑动平均模型对瓦斯浓度进行预测。这些方法对矿隧瓦斯预测模型的构建及优化产生了积极影响。然而大量现场监测数据表明，瓦斯浓度的变化受采掘速度、瓦斯含量、隧道风流量等多种因素影响，现有技术缺乏将多种监测数据结合进行预测且获得较高准确率的方法，传统的注意机制(全注意)的一个主要问题是关于序列长度的二次时间和记忆复杂度，这限制了它在许多环境下的应用。本发明提出一种Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，构造马尔可夫先验模型并在卷积-门控循环单元神经网络中加入高斯注意力机制，具有局部注意和随机注意的优点，不仅保持了原始数据的拓扑结构，而且还以线性计算代价捕获了随机依赖关系。
发明内容
针对以上不足，本发明所要解决的技术问题是提供Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，可以在保持输入瓦斯浓度数据流的空间拓扑结构的同时，有效地利用近程、远程对应关系。
本发明采用如下技术方案：本发明提供Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，所述方法的具体步骤如下：
步骤1：根据穿煤隧道掌子面瓦斯浓度相关历史数据集，对数据进行清洗后获取对应瓦斯浓度数据流矩阵；处理方法如下：
步骤1.1：考虑到性能和GPU内存的限制，将不间断获取的穿煤隧道掌子面瓦斯浓度相关历史数据集设置数据切片长度为32，每个数据切片约包含时间间隔20分钟的穿煤隧道掌子面瓦斯浓度数据流。
步骤1.2：由于输入参数量纲不同，数量级相差较大，在训练网络之前，须对样本数据归一化到(0，1)，提高网络训练速度和精度。
步骤2：将处理过后的穿煤隧道掌子面瓦斯浓度数据流矩阵构造马尔可夫先验模型，并获取穿煤隧道掌子面瓦斯浓度概率信息；
步骤3：通过步骤2处理后得到的数据和其余原始瓦斯数据流将作为基于高斯注意力机制优化的深度神经网络的输入，深度神经网络由主干模块、场景建模模块、上下文交叉注意模块和预测模块四个模块组成，设置参数，预测穿煤隧道掌子面瓦斯浓度。
进一步地，所述步骤2的具体步骤包括：
步骤2.1、对穿煤隧道掌子面瓦斯浓度数据流进行处理，得到先验马尔可夫先验模型的相关参数Y(t)＝i；i＝1,2,...,n，n为瓦斯浓度类别总数；
步骤2.2、确定穿煤隧道掌子面瓦斯浓度状态从i类转到j类的概率Pij(j＝1,2,...,n)，然后组建概率转移矩阵和强度转移系数vi，具体公式如下：
vi＝1/E(Hi) (2)
式中Nij、Ni分别为状态从i类转到j类的数量、状态从i类转出的总数量；Hi为不同瓦斯传感器距开挖掌子面的距离，E(.)表示一个单位矩阵；
步骤2.3、通过概率转移矩阵和强度转移系数求出穿煤隧道掌子面瓦斯浓度转移密度矩阵A＝[aij](i,j＝1,2,...,n)，并由矩阵A求出区间转移概率密度矩阵和各个勘测点处的先验瓦斯浓度分布，表达式如下：
S(t)＝S(t0)V(t-t0)＝S(t0)exp(A(t-t0)) (5)
式中：t为隧道中任意一点的洞程，t0为起点处的洞程，I为单位矩阵，V(t-t0)为t-t0过程中的区间转移概率密度矩阵，m是t和t0之间的勘测数据个数，S(t)是先验瓦斯浓度分布矩阵；
步骤2.4、通过观测点处的信息对观测点处的穿煤隧道掌子面瓦斯浓度分布进行后验迭代修正得到S′(tb)＝[sk′(tb)]，b＝1,2,...,q，sk′(tb)的表达式如下：
sk′(tb)＝P[X(tb)＝k|∩Y(tb)],k＝1,2,...,n (6)
式中，q为沿隧道取的观测点个数；tb为观测点距离观测起点的距离，t1＜t2＜...＜tq；X(tb)为观测点tb处的穿煤隧道掌子面瓦斯浓度真实值，Y(tb)为观测点tb处观测到的穿煤隧道掌子面瓦斯浓度类别；S′(tb)表示修正后的先验瓦斯浓度分布矩阵，sk′(tb)是修正后的先验瓦斯浓度分布；
得到的穿煤隧道掌子面瓦斯浓度概率信息，即修正后的先验瓦斯浓度分布矩阵S′(tb)，将与其余原始瓦斯流数据一同作为神经网络的输入。
进一步地，所述步骤3的具体步骤如下：
步骤3.1：主干模块将每个时间点穿煤隧道掌子面瓦斯浓度概率信息和其余原始瓦斯数据流作为输入时间序列，从每一时间点中提取属性特征；采用CNN-GRU神经网络作为主干模块；
步骤3.2：在环境模块中使用所提出的高斯注意力来计算环境上下文；
步骤3.3：在获得数据切片的环境上下文M后，分别从整个数据切片和关键时间节点中检索信息；
步骤3.4：将检索到的信息和关键时间节点的特征发送到预测模块中预测穿煤隧道掌子面瓦斯浓度。
进一步地，所述步骤3.1的具体操作步骤如下：
步骤3.1.1：通过CNN层对输入的时间序列进行属性特征提取：
构建由2个卷积层、2个池化层和全连接层组成的CNN框架；根据负荷数据的特点，将第一卷积层和第二卷积层设计为一维卷积，并选取ReLU激活函数进行激活；为保留更多数据波动信息，第一池化层和第二池化层的池化方法选取最大池化；经过卷积层和池化层的处理后原始数据被映射到隐层特征空间，搭建全连接层结构将其转换输出，提取得到特征向量，全连接层选用激活函数Sigmoid；
步骤3.1.2：通过GRU层对CNN层提取的特征向量进行学习：
搭建单层GRU结构，对所提特征进行充分学习，以捕获其内部的变化规律；将一维CNN的输出输入GRU神经网络，GRU更新门控制上一个时刻的信息保存到下一时刻的程度，重置门控制当前状态信息与上一时刻信息是否结合。
进一步地，所述步骤3.2具体操作步骤如下：
步骤3.2.1：给定一个查询集{(qj)}和一个键值对集{(ki,vi)}，其中qj的注意力输出计算如下：
其中，s(qj,ki)是度量键ki和查询qj之间的相似性的得分函数，本质上，注意机制是基于查询与对应键之间的相似性的值的加权平均值，使用尺度点积作为得分函数，即：
d表示qj和ki的矩阵维度，代表qj，ki，vi是d维实数集，也是输入时候的通道数；
步骤3.2.2：高斯邻域注意中每个查询都关注从每个查询高斯随机邻域采样的键；设分别是查询、键和值，对于每个位置p＝(x,y)，创建一个二维高斯分布N(p,γ2I2)，其中γ是控制注意范围的标准差，然后从N(p,γI2)中采样一个固定数量的点，记为/>在/>时的高斯注意力输出计算如下：
其中，x，y表示位置p的横纵坐标，I为单位矩阵，H，W分别表示输入特征数据的高和宽，Qxy，分别表示在每个查询、键和值点附近取一个高斯分布；
采样操作是计算数据流中的一个节点，因此高斯注意力相对于输入数据流(Q,K,V)是可微的；
步骤3.2.3：由于高斯注意力中的高斯抽样，模型的训练和测试存在随机性。训练中的随机性类似于典型神经网络中的dropout，这可以增加高斯注意力机制优化的深度神经网络的鲁棒性。然而，测试中的随机性是不必要的。为了缓解这种随机性，利用多样本机制，计算多次高斯注意力，并以平均值作为高斯注意力模块的最终输出；具体的，将标准差设置为不同的值，并通过平均计算多焦点高斯注意力的输出，假设键和值分别为特定查询/>的关键矩阵和值矩阵，计算查询q的全注意FA输出为：
FA(q,K,V)＝SM(qKT)V (10)
其中，SM(qKT)为softmax操作，使用点积作为分数函数；
步骤3.2.4：对于稀疏注意，选择少量索引集为P的键；在这种情况下，稀疏注意的键矩阵和值矩阵/>构造如下：
其中，i，j都表示索引，Kij，Vij表示索引下键矩阵和值矩阵中的值；
同理，查询q的稀疏注意SA的输出被计算为：
特别的，
C＝||SM(qKT)|| (14)
K2＝K-K1 (15)
V2＝V-V1 (16)
其中C是一个与稀疏注意无关的常数，K2、V2分别由未选择的键和值构造；
步骤3.2.5：得出用稀疏注意估计全部注意的误差如下：
从误差的上界可以看出，它部分是由查询q和那些没有参与注意计算的键之间的点积(相似性)决定的。统计上，两个特征在不同位置上的相似性与其几何距离呈负相关。在这种情况下，与随机注意相比，所提出的高斯注意力可以用较小的误差期望估计全部注意。
步骤3.2.6：将数据切片中所有时间节点的特征通过卷积和ReLU进行聚合，其中输入通道1536、输出通道512、核大小为(3,3)；一个数据切片的聚合特征记为为了捕捉瓦斯数据流中的远程依赖性，对F进行高斯邻居自注意，即Q＝K＝V＝F；注意输出和聚合特征F沿着通道维度连接并发送到卷积层，以获得最终的环境上下文
进一步地，所述步骤3.3包括，对环境上下文M上每个位置的所有时间节点的空间位置进行采样；具体来说，对于M上的每个空间位置，对数据切片中的每一时间节点采样固定数量的点，将所有时间节点的采样点的并集作为键值索引集；然后，使用M作为查询和采样特征作为键和值计算交叉注意，即时间高斯注意力；在关键时间节点方面，直接进行关键时间节点-上下文高斯邻域交叉注意，即关键时间节点高斯注意力，在这种情况下，K＝V＝Fc，Q＝M。
进一步地，所述步骤3.4中，预测模块的输入是包含数据切片的时间信息和关键时间节点信息的特征数据，步骤3.4包括：
(1)将训练集表示为其中Li∈{0,1}H×W是数据切片Vi关键时间节点的二进制映射，基于高斯注意力机制优化的深度神经网络的目标函数为：
N表示训练集数据的个数，Gθ(.)表示高斯注意力机制优化的深度神经网络；
(2)对于所提出的高斯注意力，高斯分布的标准差γ被分别确定为3、5和10；此外，采样32个点作为每个焦点的关键值索引；在训练方面，使用固定学习速率2×10-6的小批量随机梯度下降训练了30次，批处理大小被设置为16。
本发明的有益效果是：
1、本发明构造马尔可夫先验模型并在卷积-门控循环单元神经网络中加入高斯注意力机制，具有局部注意和随机注意的优点，不仅保持了原始数据的拓扑结构，而且还以线性计算代价捕获了随机依赖关系；
2、本发明可以在保持输入瓦斯浓度数据流的空间拓扑结构的同时，有效地利用近程、远程对应关系。
附图说明
图1为Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法的具体实施流程结构图；
图2为本发明的简略流程图。
具体实施方式
下面结合附图1对本发明进行详细说明。
实施例1：如图1-图2所示，Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，包括以下步骤：
步骤1：根据瓦斯隧道的穿煤隧道掌子面瓦斯浓度相关历史数据集，对数据进行清洗后获取对应瓦斯浓度数据流矩阵。处理方法如下：
步骤1.1：考虑到性能和GPU内存的限制，将不间断获取的穿煤隧道掌子面瓦斯浓度相关历史数据集设置数据切片长度为32，每个数据切片约包含时间间隔20分钟的穿煤隧道掌子面瓦斯浓度数据流。
步骤1.2：由于输入参数量纲不同，数量级相差较大，在训练网络之前，须对样本数据归一化到(0，1)，提高网络训练速度和精度。处理方法如下：
x′＝(x-xmin)(xmax-xmin) (1)
式中x′为归一化后的值，x为原始值，xmax、xmin分别为数据最大值和最小值。
步骤2：将处理过后的穿煤隧道掌子面瓦斯浓度数据流矩阵构造马尔可夫先验模型，并获取穿煤隧道掌子面瓦斯浓度概率信息；具体流程如下：
步骤2.1、对穿煤隧道掌子面瓦斯浓度数据流进行处理，得到先验马尔可夫先验模型的相关参数Y(t)＝i；i＝1,2,...,n，n为瓦斯浓度类别总数；
步骤2.2、确定穿煤隧道掌子面瓦斯浓度状态从i类转到j类的概率Pij(j＝1,2,...,n)，然后组建概率转移矩阵和强度转移系数vi，具体公式如下：
vi＝1/E(Hi) (3)
式中Nij、Ni分别为状态从i类转到j类的数量、状态从i类转出的总数量；Hi为不同瓦斯传感器距开挖掌子面的距离，E(.)表示一个单位矩阵；
步骤2.3、通过概率转移矩阵和强度转移系数求出穿煤隧道掌子面瓦斯浓度转移密度矩阵A＝[aij](i,j＝1,2,...,n)，并由矩阵A求出区间转移概率密度矩阵和各个勘测点处的先验瓦斯浓度分布，表达式如下：
S(t)＝S(t0)V(t-t0)＝S(t0)exp(A(t-t0)) (6)
式中：t为隧道中任意一点的洞程，t0为起点处的洞程，I为单位矩阵，V(t-t0)为t-t0过程中的区间转移概率密度矩阵，m是t和t0之间的勘测数据个数，S(t)是先验瓦斯浓度分布矩阵；
步骤2.4、通过观测点处的信息对观测点处的穿煤隧道掌子面瓦斯浓度分布进行后验迭代修正得到S′(tb)＝[sk′(tb)]，b＝1,2,...,q，sk′(tb)的表达式如下：
sk′(tb)＝P[X(tb)＝k|∩Y(tb)],k＝1,2,...,n (7)
式中，q为沿隧道取的观测点个数；tb为观测点距离观测起点的距离，t1＜t2＜...＜tq；X(tb)为观测点tb处的穿煤隧道掌子面瓦斯浓度真实值，Y(tb)为观测点tb处观测到的穿煤隧道掌子面瓦斯浓度类别；S′(tb)表示修正后的先验瓦斯浓度分布矩阵，sk′(tb)是修正后的先验瓦斯浓度分布；
得到的穿煤隧道掌子面瓦斯浓度概率信息，即修正后的先验瓦斯浓度分布矩阵S′(tb)，将与其余原始瓦斯流数据一同作为神经网络的输入。
步骤3：通过步骤2处理后得到的数据和其余原始瓦斯数据流将作为基于高斯注意力机制优化的深度神经网络的输入，深度神经网络由主干模块、场景建模模块、上下文交叉注意模块和预测模块四个模块组成，设置参数，预测穿煤隧道掌子面瓦斯浓度。
详细阐述如下：
步骤3.1：主干模块将每个时间点穿煤隧道掌子面瓦斯浓度概率信息和其余原始瓦斯数据流作为输入时间序列，从每一时间点中提取属性特征；采用CNN-GRU神经网络作为主干模块；
步骤3.1.1：CNN模型采用局部连接和权重共享的方式，对原始数据进行更高层次和更抽象的处理，能够有效自动提取数据中的内部特征。其内部神经网络层主要由卷积层、池化层和全连接层等组成，此结构减少了权重的数量，降低了网络模型的复杂度。模型通过使用卷积层和池化层获取有效信息，自动提取数据中的特征向量，有效降低了特征提取和数据重构的复杂度，提高了数据特征质量。GRU层对CNN层提取的特征向量进行学习。搭建单层GRU结构，对所提特征进行充分学习，以捕获其内部的变化规律。通过CNN层对输入的时间序列进行属性特征提取：构建由2个卷积层、2个池化层和全连接层组成的CNN框架；根据负荷数据的特点，将第一卷积层和第二卷积层设计为一维卷积，并选取ReLU激活函数进行激活；为保留更多数据波动信息，第一池化层和第二池化层的池化方法选取最大池化；经过卷积层和池化层的处理后原始数据被映射到隐层特征空间，搭建全连接层结构将其转换输出，提取得到特征向量，全连接层选用激活函数Sigmoid；
CNN层的输出特征向量Hc，可表示为：
P1＝max(C1)+b2 (9)
P2＝max(C2)+b4 (11)
HC＝f(P2×W3+b5)＝Sigmoid(P2×W3+b5) (12)
式中：C1和C2分别为卷积层1和卷积层2的输出；P1和P2分别池化层1和池化层2的输出；W1、W2和W3为权重矩阵；b1、b2、b3、b4和b5为偏差；和max()为卷积运算和最大值函数；CNN层的输出长度为i，记为HC＝(hc1...hct-1...hct...hci)T。
步骤3.1.2：通过GRU层对CNN层提取的特征向量进行学习。搭建单层GRU结构，对所提特征进行充分学习，以捕获其内部的变化规律。将一维CNN的输出输入GRU神经网络，GRU更新门控制上一个时刻的信息保存到下一时刻的程度。重置门控制当前状态信息与上一时刻信息是否结合。提取特征公式如下：
zt＝σ(WzxHC+Uzhht-1+bz) (13)
rt＝σ(WrxHC+Urhht-1+br) (14)
其中，HC是输入，ht是隐藏层的输出，zt和rt是更新门和重置门，是输入HC和上一个时刻输出ht-1的汇总，σ是Sigmoid函数，Whx，Wzx，Wrx，Uhh，Uzh，Urh为权重系数矩阵，bh，bz，br是偏置向量，/>是zt和ht-1的符合关系。GRU层的输出记为H，在第t步的输出表示为：
ht＝GRU(HC,t-1,HC,t),t∈[1,i] (17)
步骤3.2：在环境模块中使用所提出的高斯注意力来计算环境上下文。具体操作步骤如下：
步骤3.2.1：给定一个查询集{(qj)}和一个键值对集{(ki,vi)}，其中qj的注意力输出计算如下：
其中，s(qj,ki)是度量键ki和查询qj之间的相似性的得分函数。本质上，注意机制是基于查询与对应键之间的相似性的值的加权平均值。使用尺度点积作为得分函数，即：
d表示qj和ki的矩阵维度，代表qj，ki，vi是d维实数集，也是输入时候的通道数；
步骤3.2.2：高斯邻域注意中每个查询都关注从每个查询高斯随机邻域采样的键；设分别是查询、键和值，对于每个位置p＝(x,y)，创建一个二维高斯分布N(p,γ2I2)，其中γ是控制注意范围的标准差。然后从N(p,γI2)中采样一个固定数量的点，记为/>在/>时的高斯注意力输出计算如下：
其中，x，y表示位置p的横纵坐标，I为单位矩阵，H，W分别表示输入特征数据的高和宽，Qxy，分别表示在每个查询、键和值点附近取一个高斯分布；
采样操作是计算数据流中的一个节点，因此高斯注意力相对于输入数据流(Q,K,V)是可微的。
步骤3.2.3：由于高斯注意力中的高斯抽样，模型的训练和测试存在随机性。训练中的随机性类似于典型神经网络中的dropout，这可以增加高斯注意力机制优化的深度神经网络的鲁棒性。然而，测试中的随机性是不必要的。为了缓解这种随机性，利用了多样本机制，计算多次高斯注意力，并以平均值作为高斯注意力模块的最终输出。将标准差设置为不同的值，并通过平均计算多焦点高斯注意力的输出。假设键和值分别为特定查询/>的关键矩阵和值矩阵，计算查询q的全注意(FA)输出为：
FA(q,K,V)＝SM(qKT)V (21)
其中，SM(qKT)为softmax操作，使用点积作为分数函数。
步骤3.2.4：对于稀疏注意，选择少量索引集为P的键。在这种情况下，稀疏注意的键矩阵和值矩阵/>构造如下：
其中，i，j都表示索引，Kij，Vij表示索引下键矩阵和值矩阵中的值；
同理，查询q的稀疏注意(SA)的输出被计算为
特别的，
C＝||SM(qKT)|| (25)
K2＝K-K1 (26)
V2＝V-V1 (27)
其中C是一个与稀疏注意无关的常数，K2、V2分别由未选择的键和值构造。
步骤3.2.5：得出用稀疏注意估计全部注意的误差如下：
从误差的上界可以看出，它部分是由查询q和那些没有参与注意计算的键之间的点积(相似性)决定的。统计上，两个特征在不同位置上的相似性与其几何距离呈负相关。在这种情况下，与随机注意相比，所提出的高斯注意力可以用较小的误差期望估计全部注意。
步骤3.2.6：将数据切片中所有时间节点的特征通过卷积和ReLU进行聚合，其中输入通道1536、输出通道512、核大小为(3,3)。一个数据切片的聚合特征记为为了捕捉瓦斯数据流中的远程依赖性，对F进行高斯邻居自注意，即Q＝K＝V＝F。注意输出和聚合特征F沿着通道维度连接并发送到卷积层，以获得最终的环境上下文
步骤3.3：在获得数据切片的环境上下文M后，分别从整个数据切片和关键时间节点中检索信息；
步骤3.3的具体包括：在获得数据切片的环境上下文M后，分别从整个数据切片和关键时间节点中检索信息。为了从整个数据切片中检索信息，对M上每个位置的所有时间节点的空间位置进行采样。具体来说，对于M上的每个空间位置，对数据切片中的每一时间节点采样固定数量的点。将所有时间节点的采样点的并集作为键值索引集。然后，使用M(query)和采样特征(键和值)计算交叉注意(时间高斯注意力)。在关键时间节点方面，直接进行关键时间节点-上下文高斯邻域交叉注意(关键时间节点高斯注意力)。在这种情况下，K＝V＝Fc，Q＝M。
步骤3.4：将检索到的信息和关键时间节点的特征发送到预测模块中预测穿煤隧道掌子面瓦斯浓度。
预测模块的输入是包含数据切片的时间信息和关键时间节点信息的特征数据，具体操作步骤如下：
(1)将训练集表示为其中Li∈{0,1}H×W是数据切片Vi关键时间节点的二进制映射，基于高斯注意力机制优化的深度神经网络的目标函数为：
N表示训练集数据的个数，Gθ(.)表示高斯注意力机制优化的深度神经网络；
(2)对于所提出的高斯注意力，高斯分布的标准差γ被分别确定为3、5和10；此外，采样32个点作为每个焦点的关键值索引；在训练方面，使用固定学习速率2×10-6的小批量随机梯度下降训练了30次，批处理大小被设置为16。
本发明根据步骤1中通过采集瓦斯隧道的穿煤隧道掌子面瓦斯浓度相关历史数据集，对数据进行清洗后获取对应瓦斯浓度数据流矩阵；步骤2中将处理过后的穿煤隧道掌子面瓦斯浓度数据流矩阵构造马尔可夫先验模型，得到的穿煤隧道掌子面瓦斯浓度概率信息与其余瓦斯流数据一同作为神经网络的输入；步骤3.1中采用CNN-GRU神经网络作为主干，既能够对原始数据进行更高层次和更抽象的处理，有效自动提取数据中的内部特征，又能够对所提特征进行充分学习，以捕获其内部的变化规律；步骤3.2使用所提出的高斯注意力机制优化的深度神经网络具有局部注意和随机注意的优点，不仅保持了原始数据的拓扑结构，而且还以线性计算代价捕获了随机依赖关系。本发明提出Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，构造马尔可夫先验模型并在卷积-门控循环单元神经网络中加入高斯注意力机制，可以在保持输入穿煤隧道掌子面瓦斯浓度数据流的空间拓扑结构的同时，有效地利用近程、远程对应关系。
上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，其特征在于，所述方法的具体步骤如下：
步骤1：根据穿煤隧道掌子面瓦斯浓度相关历史数据集，对数据进行清洗后获取对应瓦斯浓度数据流矩阵；
步骤2：将处理过后的穿煤隧道掌子面瓦斯浓度数据流矩阵构造马尔可夫先验模型，并获取穿煤隧道掌子面瓦斯浓度概率信息；
步骤3：通过步骤2处理后得到的数据和其余原始瓦斯数据流将作为基于高斯注意力机制优化的深度神经网络的输入，深度神经网络由主干模块、场景建模模块、上下文交叉注意模块和预测模块四个模块组成，设置参数，预测穿煤隧道掌子面瓦斯浓度；
所述步骤3的具体步骤如下：
步骤3.1：主干模块将每个时间点穿煤隧道掌子面瓦斯浓度概率信息和其余原始瓦斯数据流作为输入时间序列，从每一时间点中提取属性特征；采用CNN-GRU神经网络作为主干模块；
步骤3.2：在环境模块中使用所提出的高斯注意力来计算环境上下文；
步骤3.3：在获得数据切片的环境上下文M后，分别从整个数据切片和关键时间节点中检索信息；
步骤3.4：将检索到的信息和关键时间节点的特征发送到预测模块中预测穿煤隧道掌子面瓦斯浓度；
所述步骤3.1的具体操作步骤如下：
步骤3.1.1：通过CNN层对输入的时间序列进行属性特征提取：
构建由2个卷积层、2个池化层和全连接层组成的CNN框架；根据负荷数据的特点，将第一卷积层和第二卷积层设计为一维卷积，并选取ReLU激活函数进行激活；为保留更多数据波动信息，第一池化层和第二池化层的池化方法选取最大池化；经过卷积层和池化层的处理后原始数据被映射到隐层特征空间，搭建全连接层结构将其转换输出，提取得到特征向量，全连接层选用激活函数Sigmoid；
步骤3.1.2：通过GRU层对CNN层提取的特征向量进行学习：
搭建单层GRU结构，对所提特征进行充分学习，以捕获其内部的变化规律；将一维CNN的输出输入GRU神经网络，GRU更新门控制上一个时刻的信息保存到下一时刻的程度，重置门控制当前状态信息与上一时刻信息是否结合；
所述步骤3.2具体操作步骤如下：
步骤3.2.1：给定一个查询集{(qj)}和一个键值对集{(ki,vi)}，其中qj,ki, qj的注意力输出计算如下：
其中，s(qj,ki)是度量键ki和查询qj之间的相似性的得分函数，本质上，注意机制是基于查询与对应键之间的相似性的值的加权平均值，使用尺度点积作为得分函数，即：
d表示qj和ki的矩阵维度，qj,ki,代表qj，ki，vi是d维实数集，也是输入时候的通道数；
步骤3.2.2：高斯邻域注意中每个查询都关注从每个查询高斯随机邻域采样的键；设Q,K,分别是查询、键和值，对于每个位置p＝(x,y)，创建一个二维高斯分布N(p,γ2I2)，其中γ是控制注意范围的标准差，然后从N(p,γI2)中采样一个固定数量的点，记为在/>时的高斯注意力输出计算如下：
其中，x，y表示位置p的横纵坐标，I为单位矩阵，H，W分别表示输入特征数据的高和宽，Qxy，分别表示在每个查询、键和值点附近取一个高斯分布；
采样操作是计算数据流中的一个节点，因此高斯注意力相对于输入数据流(Q,K,V)是可微的；
步骤3.2.3：利用多样本机制，计算多次高斯注意力，并以平均值作为高斯注意力模块的最终输出；具体的，将标准差设置为不同的值，并通过平均计算多焦点高斯注意力的输出，假设键和值K,分别为特定查询/>的关键矩阵和值矩阵，计算查询q的全注意FA输出为：
FA(q,K,V)＝SM(qKT)V (10)
其中，SM(qKT)为softmax操作，使用点积作为分数函数；
步骤3.2.4：对于稀疏注意，选择少量索引集为P的键；在这种情况下，稀疏注意的键矩阵和值矩阵/>构造如下：
其中，i，j都表示索引，Kij，Vij表示索引下键矩阵和值矩阵中的值；
同理，查询q的稀疏注意SA的输出被计算为：
特别的，
C＝||SM(qKT)|| (14)
K2＝K-K1 (15)
V2＝V-V1 (16)
其中C是一个与稀疏注意无关的常数，K2、V2分别由未选择的键和值构造；
步骤3.2.5：得出用稀疏注意估计全部注意的误差如下：
步骤3.2.6：将数据切片中所有时间节点的特征通过卷积和ReLU进行聚合，其中输入通道1536、输出通道512、核大小为(3,3)；一个数据切片的聚合特征记为为了捕捉瓦斯数据流中的远程依赖性，对F进行高斯邻居自注意，即Q＝K＝V＝F；注意输出和聚合特征F沿着通道维度连接并发送到卷积层，以获得最终的环境上下文
所述步骤3.3包括，对环境上下文M上每个位置的所有时间节点的空间位置进行采样；具体来说，对于M上的每个空间位置，对数据切片中的每一时间节点采样固定数量的点，将所有时间节点的采样点的并集作为键值索引集；然后，使用M作为查询和采样特征作为键和值计算交叉注意，即时间高斯注意力；在关键时间节点方面，直接进行关键时间节点-上下文高斯邻域交叉注意，即关键时间节点高斯注意力，在这种情况下，K＝V＝Fc，Q＝M；
所述步骤3.4中，预测模块的输入是包含数据切片的时间信息和关键时间节点信息的特征数据，步骤3.4包括：
(1)将训练集表示为其中Li∈{0,1}H×W是数据切片Vi关键时间节点的二进制映射，基于高斯注意力机制优化的深度神经网络的目标函数为：
N表示训练集数据的个数，Gθ(.)表示高斯注意力机制优化的深度神经网络；
(2)对于所提出的高斯注意力，高斯分布的标准差γ被分别确定为3、5和10；此外，采样32个点作为每个焦点的关键值索引；在训练方面，使用固定学习速率2×10-6的小批量随机梯度下降训练了30次，批处理大小被设置为16。
2.根据权利要求1所述的Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法，其特征在于：所述步骤2的具体步骤包括：
步骤2.1、对穿煤隧道掌子面瓦斯浓度数据流进行处理，得到先验马尔可夫先验模型的相关参数Y(t)＝i；i＝1,2,...,n，n为瓦斯浓度类别总数；
步骤2.2、确定穿煤隧道掌子面瓦斯浓度状态从i类转到j类的概率Pij(j＝1,2,...,n)，然后组建概率转移矩阵和强度转移系数vi，具体公式如下：
vi＝1/E(Hi)(2)
式中Nij、Ni分别为状态从i类转到j类的数量、状态从i类转出的总数量；Hi为不同瓦斯传感器距开挖掌子面的距离，E(.)表示一个单位矩阵；
步骤2.3、通过概率转移矩阵和强度转移系数求出穿煤隧道掌子面瓦斯浓度转移密度矩阵A＝[aij](i,j＝1,2,...,n)，并由矩阵A求出区间转移概率密度矩阵和各个勘测点处的先验瓦斯浓度分布，表达式如下：
S(t)＝S(t0)V(t-t0)＝S(t0)exp(A(t-t0))(5)
式中：t为隧道中任意一点的洞程，t0为起点处的洞程，I为单位矩阵，V(t-t0)为t-t0过程中的区间转移概率密度矩阵，m是t和t0之间的勘测数据个数，S(t)是先验瓦斯浓度分布矩阵；
步骤2.4、通过观测点处的信息对观测点处的穿煤隧道掌子面瓦斯浓度分布进行后验迭代修正得到S'(tb)＝[sk'(tb)]，b＝1,2,...,q，sk'(tb)的表达式如下：
sk'(tb)＝P[X(tb)＝k|∩Y(tb)],k＝1,2,...,n(6)
式中，q为沿隧道取的观测点个数；tb为观测点距离观测起点的距离，t1＜t2＜...＜tq；X(tb)为观测点tb处的穿煤隧道掌子面瓦斯浓度真实值，Y(tb)为观测点tb处观测到的穿煤隧道掌子面瓦斯浓度类别；S'(tb)表示修正后的先验瓦斯浓度分布矩阵，sk'(tb)是修正后的先验瓦斯浓度分布；
得到的穿煤隧道掌子面瓦斯浓度概率信息，即修正后的先验瓦斯浓度分布矩阵S'(tb)，将与其余原始瓦斯流数据一同作为神经网络的输入。
CN202311418898.XA 2023-10-30 2023-10-30 Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法 Active CN117454762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311418898.XA CN117454762B (zh) 2023-10-30 2023-10-30 Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311418898.XA CN117454762B (zh) 2023-10-30 2023-10-30 Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法

Publications (2)

Publication Number Publication Date
CN117454762A CN117454762A (zh) 2024-01-26
CN117454762B true CN117454762B (zh) 2024-05-24

Family

ID=89588708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311418898.XA Active CN117454762B (zh) 2023-10-30 2023-10-30 Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法

Country Status (1)

Country Link
CN (1) CN117454762B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN113011648A (zh) * 2021-03-15 2021-06-22 重庆交通大学 隧道瓦斯涌出浓度预测方法及系统
CN114611406A (zh) * 2022-03-22 2022-06-10 中铁一局集团第四工程有限公司 基于ssa-circle-elm模型的煤层瓦斯涌出量预测方法
CN115470888A (zh) * 2022-08-23 2022-12-13 昆明理工大学 一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法
CN115660135A (zh) * 2022-09-02 2023-01-31 天津大学 基于贝叶斯方法和图卷积的交通流预测方法及系统
CN115856204A (zh) * 2022-09-06 2023-03-28 昆明理工大学 基于三维回声状态网络的掘进工作面瓦斯浓度预测方法
CN116341709A (zh) * 2023-02-10 2023-06-27 重庆邮电大学 一种基于多粒度瓦斯数据的煤矿瓦斯浓度预测方法及装置
CN116771425A (zh) * 2023-06-21 2023-09-19 兰州石化职业技术大学 一种煤矿巷道瓦斯浓度空间分布的检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020198380A1 (en) * 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN113011648A (zh) * 2021-03-15 2021-06-22 重庆交通大学 隧道瓦斯涌出浓度预测方法及系统
CN114611406A (zh) * 2022-03-22 2022-06-10 中铁一局集团第四工程有限公司 基于ssa-circle-elm模型的煤层瓦斯涌出量预测方法
CN115470888A (zh) * 2022-08-23 2022-12-13 昆明理工大学 一种多目标优化的1dcnn-gru-lstm神经网络隧道掌子面瓦斯浓度预测方法
CN115660135A (zh) * 2022-09-02 2023-01-31 天津大学 基于贝叶斯方法和图卷积的交通流预测方法及系统
CN115856204A (zh) * 2022-09-06 2023-03-28 昆明理工大学 基于三维回声状态网络的掘进工作面瓦斯浓度预测方法
CN116341709A (zh) * 2023-02-10 2023-06-27 重庆邮电大学 一种基于多粒度瓦斯数据的煤矿瓦斯浓度预测方法及装置
CN116771425A (zh) * 2023-06-21 2023-09-19 兰州石化职业技术大学 一种煤矿巷道瓦斯浓度空间分布的检测方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Graph Convolutional Network-Guided Mine Gas Concentration Predictor;Wu, J 等;《INTERNATIONAL JOURNAL OF FOUNDATIONS OF COMPUTER SCIENCE》;20220930;第第33卷卷;第771-785页 *
二次优化的灰色马尔科夫模型预测煤矿工作面瓦斯浓度;葛路军 等;《煤》;20171115;第26卷(第11期);第19-22+25页 *
基于A-GRU的瓦斯浓度序列预测研究;冉啟华 等;《软件导刊》;20220531;第21卷(第5期);第38-42页 *
基于CNN-GRU的瓦斯浓度预测模型及应用;刘超 等;《中国安全生产科学技术》;20220930;第18卷(第9期);第62-68页 *
基于PSO-Adam-GRU的煤矿瓦斯浓度预测模型;马莉 等;《西安科技大学学报》;20200330;第40卷(第02期);第363-368页 *
基于循环神经网络的煤矿工作面瓦斯浓度预测模型研究;李树刚 等;《煤炭科学技术》;20200115;第48卷(第01期);第33-38页 *

Also Published As

Publication number Publication date
CN117454762A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN113326969B (zh) 基于改进的鲸鱼优化算法及elm的短期风速预测方法及系统
CN108009674A (zh) 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN112966714B (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN115688579A (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
CN111325403A (zh) 一种公路隧道机电设备剩余寿命预测方法
CN112910711A (zh) 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质
CN114819372A (zh) 一种基于神经网络的电力消费概率预测方法
CN113470316B (zh) 一种基于自编码单分类模型的泥石流监测预警方法
CN111523706A (zh) 一种基于深度学习组合模型的断面车道级短时交通流预测方法
CN114399073A (zh) 一种基于深度学习的海洋表面温度场预测方法
CN118132964B (zh) 土壤空间温湿度预测方法、装置、设备、介质及程序产品
Yao et al. Wave height forecast method with multi-step training set extension LSTM neural network
Zhuang et al. Long-lead prediction of extreme precipitation cluster via a spatiotemporal convolutional neural network
CN114841072A (zh) 一种基于差分融合Transformer的时序预测方法
CN117688846A (zh) 用于建筑能耗的强化学习预测方法及系统、存储介质
CN117521512A (zh) 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN110043808B (zh) 基于时间序列分析的供水管网漏损监测预警方法
CN117154704B (zh) 一种基于多尺度时空图注意力卷积网络的光伏功率预测方法
CN114648095A (zh) 一种基于深度学习的空气质量浓度反演方法
CN117454762B (zh) Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法
CN116737943A (zh) 面向新闻领域的时序知识图谱链路预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant