CN113570135A - 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置 - Google Patents

基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置 Download PDF

Info

Publication number
CN113570135A
CN113570135A CN202110848198.9A CN202110848198A CN113570135A CN 113570135 A CN113570135 A CN 113570135A CN 202110848198 A CN202110848198 A CN 202110848198A CN 113570135 A CN113570135 A CN 113570135A
Authority
CN
China
Prior art keywords
time
module
sequence
self
rock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110848198.9A
Other languages
English (en)
Other versions
CN113570135B (zh
Inventor
王征
张及鹏
张景科
李黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110848198.9A priority Critical patent/CN113570135B/zh
Publication of CN113570135A publication Critical patent/CN113570135A/zh
Application granted granted Critical
Publication of CN113570135B publication Critical patent/CN113570135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置，方法包括：局部卷积模块和全局循环模块作为并行网络结构，时间窗口大小的多元时间序列数据作为输入，通过对多元时间序列中的每个单变量序列分别提取时间特征，构建具有不同时间尺度的时间模式表示向量；所述自注意力模块利用稀疏自注意力机制对每个单变量序列进行建模，捕捉不同序列之间的依赖关系；所述线性自回归模块为预测添加线性成分，同时使输出响应输入的尺度变化；将所述自注意力模块和所述线性自回归模块的输出进行求和，输出岩体裂隙发育的预测结果，进行失稳检测。装置包括：处理器和存储器。本发明准确捕捉不同时间尺度的时间模式，引入自注意力机制来对多元时序数据中不同序列之间复杂的依赖关系进行建模。

Description

基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置
技术领域
本发明涉及石窟寺岩体裂隙预防控制领域，尤其涉及一种基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置，通过对过去一段时间内采集到的裂隙宽度数据和影响裂隙发育的相关环境因素历史数据的分析和利用，来预测未来的石窟寺裂隙发育趋势，进而实现对石窟寺文物的有效保护。
背景技术
我国石窟寺分布广泛、规模宏大、体系完整，集建筑、雕塑、壁画、书法等艺术于一体，充分体现了中华民族的审美追求、价值理念、文化精神。然而，石窟寺关键岩体的裂隙在自然因素作用、岩体结构力和人为活动等多元因素的影响下会不断发育，最终导致岩体风化开裂，对石窟文物造成严重的危害，因此根据多元数据对其发育情况进行预测是非常重要的。
人工智能技术发展非常迅速，特别是深度学习技术已经在医疗、金融、人脸识别、电子商务、智能交通、工业制造和农业等众多领域得到了广泛的应用，验证了该类技术的可行性。但是目前在石窟寺岩体稳定性预测方面该技术的研究还处于空白，主要是因为石窟寺环境的复杂性比较高，同时存在多种不确定性影响因素。因此，如何有效准确的预测岩体裂隙发育是一个具有挑战性的问题。
目前时序数据预测领域，在统计学上常见的时序数据预测方法有自回归综合移动平均模型(Autoregressive Integrated Moving Average Model，ARIMA)是典型的线性时序数据预测模型，ARIMA模型的流行是由于其统计特性以及模型选择过程中的Box-Jenkins方法，其中它还包括其他自回归时间序列模型，包括自回归模型(Autoregressive model,AR)、移动平均模型(moving average model,MA)和自回归移动平均模型 (Auto-Regressive Moving Average Model,ARMA)。然而，ARIMA模型以及其他变体很少用于高维多元时序数据预测，因为对于高维时序数据来说，ARIMA模型计算量太大，因此这些模型不能很好的拓展到多变量时序数据中。
目前处理时序数据预测问题的深度学习方法主要有DA-RNN(双阶段注意力-循环神经网络)、Auto-LSTM(自编码器-长短期记忆网络)、LSTNet(长短期时间序列网络) 等，这些深度学习方法都采用了RNNs来处理时序依赖问题。RNNs可以有效的提取时序数据特征，但是仍然存在以下问题：
一、时序数据预测时会逐时刻地计算序列数据，当前时刻的预测依赖于之前的预测结果，迭代预测无法并行加速；
二、只能利用之前时刻的信息。虽然可以使用BiRNN(双向循环神经网络)做到利用之后时刻的信息，但是时间成本加倍。
石窟寺岩体裂隙发育预测关键的问题在于在石窟寺这种影响因素多样化且各项指标变化极其微小和缓慢的特殊环境下，如何充分考虑岩体裂隙本身的结构性质并准确捕捉多元因素间非线性依赖关系，进而构建解决石窟寺不确定环境下的裂隙发育微变化预测问题的深度学习模型。
然而，目前传统的机器学习方法在岩体裂隙发育预测方面还是基本空白，其他统计学方法也难以对该问题进行建模，并且，目前在该领域国内外没有相关的数据集，这也是岩体裂隙预测中的一大难点。
发明内容
本发明提供了一种基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置，本发明构建了完整的多元裂隙发育数据集，提出了一种新的基于深度学习方法的岩体裂隙发育预测模型，利用局部卷积模块和全局循环模块对时间步相关性进行建模，准确捕捉不同时间尺度的时间模式，引入自注意力机制来对多元时序数据中不同序列之间复杂的依赖关系进行建模，详见下文描述：
第一方面，一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，所述方法包括：局部卷积模块、全局循环模块、自注意力模块和线性自回归模块，其中，
所述局部卷积模块和全局循环模块作为并行网络结构，时间窗口大小的多元时间序列数据作为输入，通过对多元时间序列中的每个单变量序列分别提取时间特征，构建具有不同时间尺度的时间模式表示向量；
所述自注意力模块利用稀疏自注意力机制对每个单变量序列进行建模，捕捉不同序列之间的依赖关系；
所述线性自回归模块为预测添加线性成分，同时使输出响应输入的尺度变化；
将所述自注意力模块和所述线性自回归模块的输出进行求和，输出岩体裂隙发育的预测结果，进行失稳检测。
其中，所述局部卷积模块对输入的多元时间序列进行二维卷积，使用的卷积核大小是k×1，第j个卷积核沿时间维度滑动进行卷积，产生表示矩阵
Figure BDA0003181483750000032
矩阵中每一列看作是每一个单变量序列的向量表示；
对矩阵中每一列进行最大池化，来获得最优时间模式特征，对局部卷积模块中不同卷积核进行卷积操作，最终形成大小为D×num_L的表示矩阵，其中num_L是局部卷积中卷积核的数量，D为多元时间序列中相互关联的单变量时间序列的数量。
进一步地，所述全局循环模块选用RNN的变体长短期记忆网络，用于提取单变量序列的所有时间步长的时域模式，通过对不同单变量序列进行时间特征提取，最终得到时间模式的表示矩阵，矩阵的每一列看作是一个单变量序列的时间表示。
其中，所述自注意力模块由稀疏自注意力机制和前馈网络层组成，所述稀疏自注意力机制输入形式是元组输入，前馈网络层由两个线性变换层组成。
进一步地，所述稀疏自注意力机制为：
Figure BDA0003181483750000031
其中，Q,K,V分别为由输入数据得到的查询向量，键向量和值向量；
Figure BDA0003181483750000033
为稀疏注意力机制得到的稀疏矩阵，d为输入维度；T为矩阵转置操作。
第二方面，一种基于并行混合网络的石窟寺岩体裂隙发育控制装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第三方面，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、石窟寺岩体裂隙发育预测是典型的多变量时序数据预测问题，裂隙宽度的发育不仅取决于岩体裂隙宽度历史数据，还取决于影响裂隙宽度变化的因素变量的值，这些数据间潜在的相关性对预测岩体裂隙未来值来说是至关重要的；本发明实施例针对石窟寺岩体裂隙发育预测任务提出了一种新颖的深度学习框架，即基于并行混合网络模型；
2、本发明通过将局部卷积模块和全局循环模块的优势以及强大的自注意力网络相结合，充分捕获时间步长以及不同序列之间复杂的非线性相互依赖关系，同时加入自回归模型，使线性模型和非线性神经网络模型相结合，因此显著提高了多元时序数据的预测准确率；
3、本发明着重于对石窟寺岩体发育进行短期预测，实现了准确的预测，该模型能够达到最先进的水平。
附图说明
图1为一种基于并行混合网络的石窟寺岩体裂隙发育控制方法的流程图；
图2为裂隙宽度数据采集环境的示意图；
图3为测试集预测任务效果的示意图；
图4为一种基于并行混合网络的石窟寺岩体裂隙发育控制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了解决上述问题，一方面本发明实施例创建了国内外首个该领域的数据集。将甘肃陇东地区规模最大的北石窟寺作为数据采集地点，利用不同监测技术对石窟寺整体和岩体裂隙局部数据进行实时监测并保存，最终形成一套完整的多元裂隙发育数据集。另一方面，本发明实施例提出了一种新的基于深度学习方法的岩体裂隙发育预测模型，即并行混合网络模型。并行混合网络利用局部卷积模块和全局循环模块对时间步相关性进行建模，准确捕捉不同时间尺度的时间模式，同时网络模型中引入自注意力机制来对多元时序数据中不同序列之间复杂的依赖关系进行建模，本发明实施例还利用传统的自回归模型来进一步提高模型的鲁棒性。
下面，本发明实施例将更详细地介绍用于石窟寺岩体裂隙发育预测的并行混合网络模型，本发明实施例所提模型如图1所示。
可以看出整个模型由局部卷积模块、全局循环模块、自注意力模块和线性自回归模块(AR)构成。按照时间序列数据预测传统方法，将时间窗口大小的多元时间序列数据输入到网络模型中，首先其利用并行网络充分发挥局部卷积模块和全局循环模块在解决时间序列问题上的优势，对多元时间序列中的每个单变量序列提取时间特征，构建具有不同时间尺度的时间模式表示向量；然后自注意力模块利用稀疏自注意力机制，来对不同单变量序列进行建模，捕捉不同序列之间的依赖关系。最后，将自注意力模块和线性自回归模块的输出进行求和，输出最终的预测结果。
一、全局循环模块
全局循环模块本发明实施例选用RNN的变体长短期记忆网络(LSTM)，LSTM解决了梯度反传过程中由于梯度逐步缩减而产生的梯度消失问题。而具体到数据任务中，其非常适合用于处理时间序列高度相关的问题，尤其是复杂的长序列问题，这是卷积神经网络(CNN)无法媲美的。全局循环模块用于提取单变量时间序列的所有时间步长的时域模式，通过对不同单变量时间序列进行特征提取，最终得到时间模式的表示矩阵，矩阵的每一列可以看作是一个单变量时间序列的时间表示。
二、局部卷积模块
考虑到与预测时刻相对距离较短的时间步对预测准确性的影响较大，因此，本发明实施例还采用了并行于全局循环模块的局部卷积模块，用来捕捉短期时间模式。相对来说，短期时间模式相对于长期来说，对时间序列预测更有帮助。在局部卷积模块中，首先局部卷积对输入多元时序数据矩阵进行二维卷积，使用的卷积核大小是k×1，其中 k＜w，第j个卷积核沿时间维度滑动进行卷积，可以产生表示矩阵
Figure BDA0003181483750000051
矩阵中每一列可以看作是每一个单变量序列的向量表示。然后，对矩阵中每一列进行最大池化，来获得最优时间模式特征。对局部卷积模块中不同卷积核进行卷积操作，最终形成大小为 D×num_L的表示矩阵，其中num_L是局部卷积中卷积核的数量。
三、自注意力模块
对于多元时序数据预测来说，本发明实施例试图利用历史数据来预测未来值。但是，不可忽略的是，多元时序数据中不同序列之间可能存在复杂的动态依赖关系，因此，本发明实施例要想提高预测准确率，必须要准确捕捉不同序列之间的相互依赖性。在本发明实施例的模型中，本发明实施例加入了自注意力模块，自注意力模块由稀疏自注意力机制(ProbSparse Self-attention)和前馈网络层(Feed forward)组成。
自注意力模块采用稀疏自注意力机制，从而保证了降低点积操作的时间复杂度和内存使用率，而且提取的特征能力并没有降低。自注意力机制输入形式是元组输入(Query,Key,Value)，设定qi,ki,vi分别代表Q,K,V的第i行，d是输入维度，对于采用的稀疏自注意力机制，可以表示为：
Figure BDA0003181483750000061
其中，Q是和q具有相同尺寸的稀疏矩阵，并且它只包含稀疏评估下前u个查询值，u的大小通过采样参数确定，前馈网络层由两个线性变换层组成，最终的稀疏自注意力机制表示经过前馈网络层，得到最终的输出。
四、线性自回归模块
在模型框架中，并行的局部卷积模块、全局循环模块和自注意力网络都具有非线性的特性，这也就导致了神经网络模型输出的尺度对输入的尺度不敏感。并且在真实的数据集中，输入信号的尺度不断地以非周期的方式变化，显著地降低了网络模型的预测精度。
为了解决这一问题，在本模型中，本发明实施例将AR作为线性分支加入到神经网络框架中，为多元时序数据预测添加线性成分，同时使输出可以响应输入的尺度变化。
五、实验设置
本发明实施例的实验基于Python3.5，使用深度学习框架Pytorch 1.2和机器学习库 Scikit-learn来实现本方法的模型和基准模型。实验硬件环境配置为Intel E5,24核48线程，显卡为NVIDIA RTX2080Ti。在实验过程中，对所有方法可调参数进行网格搜索，对超参数进行优化，通过优化超参数之间的最优组合来改善模型性能。
具体来说，对于本方法的网络模型，预测窗口大小范围是{3,6,12,24}，这也就意味着单次预测窗口设置为6小时到48小时。网络模型中局部卷积模块中的卷积核长度从{3,5,7}中选择。实验中，本发明实施例使用Adam优化器，并且设置学习率为0.01。
六、数据集及评价指标
(1)数据集：将甘肃陇东地区规模最大的庆阳北石窟寺作为数据采集地点，对石窟寺整个区域、石窟寺洞窟和岩体裂隙进行数据监测。在石窟寺整个区域利用综合气象站、无人机遥感、全球导航卫星系统(GNSS)位移监测等监测技术进行区域定位，观测区域位移变化和气象状况。在石窟寺洞窟中，布设温湿度监测装置和智能激光断面扫描设备，充分监测岩体裂隙局部发育变化。
本发明实施例中的数据集从2020年10月21日开始采集，截止2021年4月10日，共有数据1800条，利用基于数字图像技术的裂隙监测装置对裂隙宽度进行实时采集，裂隙监测装置采用物距40cm，监测精度0.04mm，利用无线温湿度计对温度、湿度、霜点等环境数据进行实时采集，利用三向振动实时检测仪来监测石窟寺岩体的三向振动加速度，对岩体振动数据进行采集，最终通过通信模块将实时采集的数据存储到云服务器中。裂隙宽度数据采集时间间隔为2小时，温湿度等环境信息数据采集时间间隔为20 分钟，岩体震动数据采集时间间隔为一分钟，最终经过数据处理，并利用数据增强技术对缺失数据进行填充，最终形成一套完备的数据集。一般来说，传感器采集的数据是不平滑不干净的，不能直接用于模型输入，因此本发明实施例对数据集进行了预处理，对原始数据集进行卷积平滑。在本发明的实验中，预处理后的数据集按照时间顺序分为训练集(60％)、验证集(20％)、测试集(20％)。
(2)评价指标：为了衡量多变量时间序列预测的各种方法的有效性，实验遵循相同的评价指标：均方根误差(RMSE)、平均绝对误差(MAE)，对于RMSE和MAE来说，值越低，模型预测效果越准确。
七、实验性能比较
在本节中，本发明实施例对提出的模型进行了评估，并与先进的时序数据预测方法进行了比较，其中包括线性自回归模型(AR)、具有支持向量回归目标函数的向量自回归模型(LSVR)、和含有卷积层和池化层的卷积神经网络(CNN)、长短期记忆网络(LSTM) 和自双向注意力网络模型(DSANet)。实验是在本发明实施例构建的石窟寺数据集上进行的。表1为5种方法的对比实验结果，可以看出本发明实施例提出的基于并行注意力机制混合网络模型在数据集上表现均优于其它的模型，取得了良好的数据预测效果，在测试集上数据预测如图3所示。在实验的过程中，最终实验结果取10次实验结果的平均值。
表1时间窗口w＝36时，在预测窗口大小范围内不同方法的对比实验结果
Figure BDA0003181483750000071
为了验证时间窗口的大小会对模型预测性能产生影响，为选择最佳的时间窗口大小，本发明实施例利用基准模型DSANet和本文模型进行参数敏感度实验。实验结果如表2所示。
表2时间窗口大小敏感度实验
Figure BDA0003181483750000081
根据表1和表2可以得出以下结论：
本模型与所有对比方法相比具有最优的预测性能，并且与单一的深度学习模型和线性自回归模型相比，本模型显著提高了预测精度。根据实验结果也可以看出，与对比方法相比，本模型在短期预测时能够保持最低的预测误差，这说明本模型完全可以捕捉时间步之间和多个时序数据序列中的依赖关系。
当时间窗口大小w＝36时，本模型在时间窗口大小参数范围内具有最小的预测误差，对比模型预测性能也基本优于其他时间窗口大小。因此，可以得出结论，在该时间窗口中已经包含了所有对预测未来值有用的特征，36是最优的时间窗口大小。
本方法通过实验还发现了一个普遍现象，当预测时间步增大时，所有模型的数据预测能力逐渐下降，这说明在进行多步迭代预测时，预测误差在不断增加，这也反映了时序数据预测的一个现实问题，预测的时间步越长，越难进行预测。
基于同一发明构思，本发明实施例还提供了一种基于并行混合网络的石窟寺岩体裂隙发育控制装置，参见图4，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例中的以下方法步骤：
局部卷积模块和全局循环模块作为并行网络结构，时间窗口大小的多元时间序列数据作为输入，通过对多元时间序列中的每个单变量序列分别提取时间特征，构建具有不同时间尺度的时间模式表示向量；
自注意力模块利用稀疏自注意力机制对每个单变量序列进行建模，捕捉不同序列之间的依赖关系；
线性自回归模块为预测添加线性成分，同时使输出响应输入的尺度变化；
将自注意力模块和线性自回归模块的输出进行求和，输出岩体裂隙发育的预测结果，进行失稳检测。
其中，局部卷积模块对输入的多元时间序列进行二维卷积，使用的卷积核大小是k×1，第j个卷积核沿时间维度滑动进行卷积，产生表示矩阵
Figure BDA0003181483750000092
矩阵中每一列看作是每一个单变量序列的向量表示；
对矩阵中每一列进行最大池化，来获得最优时间模式特征，对局部卷积模块中不同卷积核进行卷积操作，最终形成大小为D×num_L的表示矩阵，其中num_L是局部卷积中卷积核的数量，D为多元时间序列中相互关联的单变量时间序列的数量。
其中，全局循环模块选用RNN的变体长短期记忆网络，用于提取单变量序列的所有时间步长的时域模式，通过对不同单变量序列进行时间特征提取，最终得到时间模式的表示矩阵，矩阵的每一列看作是一个单变量序列的时间表示。
在一种实施方式中，自注意力模块由稀疏自注意力机制和前馈网络层组成，所述稀疏自注意力机制输入形式是元组输入，前馈网络层由两个线性变换层组成。
其中，稀疏自注意力机制为：
Figure BDA0003181483750000091
其中，Q,K,V分别为由输入数据得到的查询向量，键向量和值向量；Q为稀疏注意力机制得到的稀疏矩阵，d为输入维度；T为矩阵转置操作。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，其特征在于，所述方法包括：局部卷积模块、全局循环模块、自注意力模块和线性自回归模块，其中，
所述局部卷积模块和全局循环模块作为并行网络结构，时间窗口大小的多元时间序列数据作为输入，通过对多元时间序列中的每个单变量序列分别提取时间特征，构建具有不同时间尺度的时间模式表示向量；
所述自注意力模块利用稀疏自注意力机制对每个单变量序列进行建模，捕捉不同序列之间的依赖关系；
所述线性自回归模块为预测添加线性成分，同时使输出响应输入的尺度变化；
将所述自注意力模块和所述线性自回归模块的输出进行求和，输出岩体裂隙发育的预测结果，进行失稳检测。
2.根据权利要求1所述的一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，其特征在于，
所述局部卷积模块对输入的多元时间序列进行二维卷积，使用的卷积核大小是k×1，第j个卷积核沿时间维度滑动进行卷积，产生表示矩阵
Figure FDA0003181483740000011
矩阵中每一列看作是每一个单变量序列的向量表示；
对矩阵中每一列进行最大池化，来获得最优时间模式特征，对局部卷积模块中不同卷积核进行卷积操作，最终形成大小为D×num_L的表示矩阵，其中num_L是局部卷积中卷积核的数量，D为多元时间序列中相互关联的单变量时间序列的数量。
3.根据权利要求1所述的一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，其特征在于，
所述全局循环模块选用RNN的变体长短期记忆网络，用于提取单变量序列的所有时间步长的时域模式，通过对不同单变量序列进行时间特征提取，最终得到时间模式的表示矩阵，矩阵的每一列看作是一个单变量序列的时间表示。
4.根据权利要求1所述的一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，其特征在于，
所述自注意力模块由稀疏自注意力机制和前馈网络层组成，所述稀疏自注意力机制输入形式是元组输入，前馈网络层由两个线性变换层组成。
5.根据权利要求4所述的一种基于并行混合网络的石窟寺岩体裂隙发育控制方法，其特征在于，所述稀疏自注意力机制为：
Figure FDA0003181483740000021
其中，Q,K,V分别为由输入数据得到的查询向量，键向量和值向量；
Figure FDA0003181483740000022
为稀疏注意力机制得到的稀疏矩阵，d为输入维度；T为矩阵转置操作。
6.一种基于并行混合网络的石窟寺岩体裂隙发育控制装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-5中的任一项所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-5中的任一项所述的方法步骤。
CN202110848198.9A 2021-07-27 2021-07-27 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置 Active CN113570135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848198.9A CN113570135B (zh) 2021-07-27 2021-07-27 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848198.9A CN113570135B (zh) 2021-07-27 2021-07-27 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置

Publications (2)

Publication Number Publication Date
CN113570135A true CN113570135A (zh) 2021-10-29
CN113570135B CN113570135B (zh) 2023-08-01

Family

ID=78167706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848198.9A Active CN113570135B (zh) 2021-07-27 2021-07-27 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置

Country Status (1)

Country Link
CN (1) CN113570135B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919188A (zh) * 2019-01-29 2019-06-21 华南理工大学 基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法
US20200026760A1 (en) * 2018-07-23 2020-01-23 Google Llc Enhanced attention mechanisms
CN111970163A (zh) * 2020-06-30 2020-11-20 网络通信与安全紫金山实验室 一种基于注意力机制的lstm模型的网络流量预测方法
CN112257911A (zh) * 2020-10-13 2021-01-22 杭州电子科技大学 基于并行时空注意力机制的tcn多元时间序列预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026760A1 (en) * 2018-07-23 2020-01-23 Google Llc Enhanced attention mechanisms
CN109919188A (zh) * 2019-01-29 2019-06-21 华南理工大学 基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法
CN111970163A (zh) * 2020-06-30 2020-11-20 网络通信与安全紫金山实验室 一种基于注意力机制的lstm模型的网络流量预测方法
CN112257911A (zh) * 2020-10-13 2021-01-22 杭州电子科技大学 基于并行时空注意力机制的tcn多元时间序列预测方法

Also Published As

Publication number Publication date
CN113570135B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN109992921B (zh) 一种燃煤电厂锅炉热效率的在线软测量方法及系统
CN111343182B (zh) 一种基于灰度图的异常流量检测方法
CN111814956A (zh) 一种基于多维度二次特征提取的多任务学习的空气质量预测方法
CN106203453B (zh) 一种基于压缩感知的生物与非生物目标识别方法及其系统
CN103413038A (zh) 基于矢量量化的长期直觉模糊时间序列预测方法
CN114841202A (zh) 一种用于分布式光纤管道入侵检测的深度学习模式识别方法
CN113269182A (zh) 一种基于变体transformer对小区域敏感的目标果实检测方法及系统
CN113761805A (zh) 一种基于时域卷积网络的可控源电磁数据去噪方法、系统、终端及可读存储介质
CN111507505A (zh) 一种水库日入量预测模型的构建方法
CN113988357A (zh) 基于深度学习的高层建筑风致响应预测方法及装置
Wang et al. Deep generation network for multivariate spatio-temporal data based on separated attention
Güntürkün Sequential reconstruction of driving-forces from nonlinear nonstationary dynamics
CN113570135A (zh) 基于并行混合网络的石窟寺岩体裂隙发育控制方法及装置
Yu et al. Extreme-value graphical models with multiple covariates
Hu et al. Grain yield predict based on GRA-AdaBoost-SVR model
Pandey et al. Weather Forecast through Data Mining
Fan [Retracted] Image Recognition and Simulation Based on Distributed Artificial Intelligence
CN114254739A (zh) 多模态电力传感器的数据处理方法、装置和计算机设备
Alamgeer et al. Data Mining with Comprehensive Oppositional Based Learning for Rainfall Prediction.
Cheng et al. Improved box particle CPHD algorithm for group target tracking
Shi et al. Key Process Protection of High Dimensional Process Data in Complex Production.
Wang et al. Background Augmentation with Transformer-Based Autoencoder for Hyperspectral Anomaly Detection
CN118228613A (zh) 一种改进tso优化深度学习模型的软测量方法
CN115859132B (zh) 一种基于神经网络模型的大数据风险管控方法及系统
Galea et al. TCDetect: A new method of detecting the presence of tropical cyclones using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant