CN114596010B - 一种结合注意力机制的BiGRU网络钻井工况识别方法 - Google Patents
一种结合注意力机制的BiGRU网络钻井工况识别方法 Download PDFInfo
- Publication number
- CN114596010B CN114596010B CN202210497511.3A CN202210497511A CN114596010B CN 114596010 B CN114596010 B CN 114596010B CN 202210497511 A CN202210497511 A CN 202210497511A CN 114596010 B CN114596010 B CN 114596010B
- Authority
- CN
- China
- Prior art keywords
- drilling
- data
- condition
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005553 drilling Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000007246 mechanism Effects 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000003066 decision tree Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 14
- 239000010410 layer Substances 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012512 characterization method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 241000288105 Grus Species 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004080 punching Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000014616 translation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000003825 pressing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000013526 transfer learning Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 239000003208 petroleum Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Primary Health Care (AREA)
Abstract
本发明公开了一种结合注意力机制的BiGRU网络钻井工况识别方法，该方法使用了大量的钻井期间产生的实际数据作为基础，进行了一系列数据增强方法，在最大程度上扩充了样本数量少的问题。并且为减弱机器学习期间的黑箱效应，设计了一种结合实际数据的半经验公式指导的决策树识别模型来协助人工标注数据。针对时序性的钻井信息，使用了能提取序列特征的双向门控制单元网络辅以注意力机制进行模型的训练，并进行了严密的参数调整。最后使用了未参与训练的单独一口井的数据，在未做迁移学习和预训练的前提下进行模型的泛化能力测试；通过对比实验证明该方法在钻井工况时序预测中保证较高准确率条件下的可行性和泛用性，具有实际应用价值。
Description
技术领域
本发明涉及油气田开采技术领域，尤其是结合注意力机制的双向门控制单元BiGRU网络进行钻井工况识别方法。
背景技术
在时代背景下，中国对石油的开采越发重视，石油的需求量不断攀升，钻井工程服务于油田的开发过程，钻井施工的快速作业提供了经济效益和高时效性的油田开发需求，但是也使钻井施工期间的监控与管理带来巨大挑战。受制于传统人工管理方式，在钻井施工阶段，管理效率、决策准确性和响应速度尚处于较低水平，钻井监督能力跟不上钻井技术的快速发展，因此钻井信息快速处理，实时井场监控，快速准确的决策响应是油田数字化和智能化的主要发展方向。
钻井工况分类领域中想要对井下复杂的钻井工况进行精准预测是非常困难的，早期钻井技术人员一般通过传感器返回数据进行主观判断，后来慢慢出现了关于单一异常工况预测的研究，常用的方法有贝叶斯公式、模糊专家系统、支持向量机SVM、主元分析模型、神经网络等技术，相较于其他领域，钻井领域中使用计算机参与并指导生产工作的模式方法尚处于起步阶段。其中李宬晓等人建立了一种知识库与BP神经网络相结合的推理机来对复杂工况进行预警。肖翔等人使用CNN网络，将信号转换为图像并对图像数据进行训练，得到了比较可靠的抽油机工况分类模型。刘建明等人提出了一种基于主成分分析法与随机森林结合的卡钻预测方法。孙挺等人提出了一种支持向量机的工况识别方法对6种工况进行智能识别。总结目前中国国内石油领域使用机器学习的研究工作，大多数是运用数据分析技术与机器学习进行一定程度的结合，对钻井异常或某个参数指标进行预警或理论分析。
总而言之，在少有的对钻井工况识别的研究中存在如下问题尚未完全解决：1、进行训练的样本数量少，得到的模型纸面效果好但是实际效果未经严密论证，很难应用到实际生产。2、网络模型非常简单，没有做更进一步的调参工作，未达到神经网络的能力上限。3、没有进行泛化能力测试，如作用在不同数据特征下是否能得到与训练期间相同的实验结果尚处于未知。4、没有对钻井信息这种非常具有时序特征的数据进行针对性的设计。5、没有对机器学习训练期间的黑箱效应做出限制，模型的可解释性较差。
发明内容
本发明的目的是针对现有钻井工况识别技术存在的上述问题，提供一种结合注意力机制的BiGRU网络钻井工况识别方法。
本发明提供的结合注意力机制的BiGRU网络钻井工况识别方法，步骤如下：
S1、建立结合实际数据的半经验公式的钻井工况时序决策树识别模型，用于标注钻井数据；包括以下两个子步骤：
S11、使用钻井工况的经典判据建立决策树模型，所述经典判据是通过查阅资料得到各钻井工况的典型判断公式，即钻井工况与表征参数的典型关系。
S12、以步骤S11得到的钻井工况与表征参数的典型关系作为参照，结合实际生产数据，不断更新决策树判据，使决策树在保证泛用性的同时更贴近于实际数据；经过一系列更新后得到钻井工况与表征参数关系库，生成结合实际数据的半经验公式的钻井工况时序决策树识别模型，后续简称为半经验决策树模型。钻井工况与表征参数关系库具体如下：
钻井工况包括七个，按优先级排序依次是：接钻具、划眼、钻进、滑动钻进、起钻、下钻、循环；
判断条件如下：
接钻具：接钻具发生时钻头距离井底在5~40米区间，有两个以上泵机工作，立压均值处于低值≤5，钻盘转速与顶驱转速处于低值＜4，在接钻具发生前钻头上升，接钻具发生后钻头下降，发生前后30-40分钟内均有标准井深的增加；
划眼：情况1：发生于离井底5m处，标准井深不变，钻头位置存在波动，有设备为钻头提供动力，顶驱和转盘均值≥100，2个以上泵机工作，立压有明显值≥10；情况2：发生地距井底超120米，钻头位置波动，有设备为钻头提供动力，顶驱和转盘均值≥100；
钻进：标准井深提升，钻头位置同步提升，存在钻压，有顶驱或者转盘旋转为钻头提供动力；
滑动钻进：标准井深提升，钻头位置同步提升，泵冲与立压有值，存在钻压，转盘转速小于一个极小值；
起钻：标准井深不变，钻头位置在采样时间段内大幅减小，减小速度5分钟8米，无泵冲和立压；
下钻：标准井深不变，钻头位置在采样时间段内大幅增加，增加速度5分钟10米，无泵冲和立压；
循环：泵冲和立压有值。
S13、使用半经验决策树模型对使用到的钻井数据进行标注。
S2、建立结合注意力机制的BiGRU网络钻井工况多分类识别模型。
双向门控制单元简称BiGRU。将包含各工况时序特征的数据输入双向门控制单元，双向门控制单元根据信息的重要性丢弃不重要的信息，并提取出工况时序特征；将提取的工况时序特征送入注意力机制中，找出工况数据段中对工况影响最大的关键特征。
在双向门控制单元中，在同一时刻输入进网络的工况特征数据xt被分发给正向隐藏层中的GRU单元和反向隐藏层中的GRU单元，两个单元使用xt分别与前一时间步的正向隐藏状态
和反向隐藏状态
加权求和计算出当前时刻的正向隐藏状态
和反向隐藏状态
，最后计算出当前时刻的隐藏层状态ht，整体过程计算公式如下：
式中，
代表正向GRU的隐含状态的权重矩阵；
代表反向GRU的隐含状态的权重矩阵；bt代表偏置参数。
包含各工况时序特征的数据经过双向门控制单元后将会根据信息的重要性丢弃不重要的信息，并提取出时序特征，这种时序特征同时受到历史数据与未来数据的影响。
所述注意力机制，在得到了某一时刻双向门控制单元输出过来的隐藏层状态ht时，将其输入到一个单层感知机中得到μt，这个全连接特征提取网络并不会改变输入的维度，只将ht隐层表示为μt，公式如下：
其中，Ww代表权重参数，bw代表偏置参数。
随机初始化一个矩阵μw将其作为工况数据的上下文向量，代表数据段的信息意义，让它与数据段中的每个特征相乘计算相似度，再经过softmax操作得到归一化的注意力权重矩阵
，公式如下：
得到注意力权重矩阵后，将ht与
相乘求和得到加权后的向量s，公式如下：
s代表整个数据段经注意力解释后的向量表示；得到s后将其交予两层的全连接层继续对数据所含信息进行提取并分类。
S3、组织数据集：包括训练数据集、验证数据集、测试数据集；组织训练数据集与验证数据集时使用定长的滑动窗口法以进行数据增强。
S4、基于训练数据集和验证数据集，对步骤S2建立的结合注意力机制的BiGRU网络钻井工况多分类识别模型进行训练和验证，得到产出模型。
S5、使用该产出模型对钻井工况进行识别。
优选的是，所述步骤S4中，为提升模型性能，在训练期间加入多种方法以增强网络提取信息的能力，包括权重初始化，归一化，批归一化和自适应学习率调整，并在此基础上进行了参数调整和激活函数选择。
采用离差标准化将各个特征列的数据使用线性的转化方法映射到[0,1]的范围里，对于某一特征列，归一化公式如下：
其中，xmin是当前特征列中最小值，xmax是当前特征列中最大值。
所述批归一化，首先对n个输入进行标准化，之后缩放平移，其公式如下：
其中，xi （b）表示为当前批次第b个样本输入该层时进入节点的值，xi为[xi （1）,xi （2）,xi （3）…xi （m）]构成的行向量，长度为同一批次所含样本量，μ和σ是该行的均值和标准差，ε为防止除0引入的极小量，γ和β为该行的缩放和偏移参数。
所述自适应学习率调整方法，调整的模式为，规定一个调整参考指标，即每轮学习后模型在验证集上的平均准确率，取值至小数点后三位，如果这个值超过5轮未发生增加，则降低学习率，学习率降低系数为0.7，最小学习率值设置为0.00005。
与现有技术相比，本发明的有益之处在于：
本发明使用了大量的钻井期间产生的实际数据作为基础，进行了一系列数据增强方法，在最大程度上扩充了样本数量少的问题。并且为减弱机器学习期间的黑箱效应，本发明设计了一种结合实际数据的半经验公式指导的决策树识别模型来协助人工标注数据。针对时序性的钻井信息，使用了能提取序列特征的双向门控制单元网络辅以注意力机制进行模型的训练，并进行了严密的参数调整。最后使用了未参与训练的单独一口井的数据，在未做迁移学习和预训练的前提下进行模型的泛化能力测试。
构建并使用钻井工况与表征参数关系库对于钻井工况识别来说是一个创新点。若要保证神经网络在学习期间学到的内容是在可控范围内的，并且希望模型能够更“像”人类做出的判断，这项准备工作是很有必要的。为此本发明依照海量的实际数据对经验公式进行了多轮的更新和修正，得到贴合实际数据的关系库，这个关系库在一定程度上可以指导神经网络的训练。现有的研究中含未见研究者进行这项工作，只是将数据按网络的要求进行组织，并未筛选或者提炼数据中的信息。
结合注意力机制的双向门控制单元组成的神经网络在之前并未在石油钻井领域被使用，以往的钻井工况识别研究中使用到的网络更多是支持向量机、全连接网络或者CNN网络，这些网络结构简单，产出的模型想要落到实际应用中是非常有难度的，并且在对应的研究中也并未做出相应尝试。以全连接网络来说，它只允许有一条数据的输入，如果用它来对钻井数据进行工况预测，就需要对钻井数据做出某些操作来减少数据中包含的时序信息以满足网络的输入要求，然而这种时序信息对于钻井来说是很关键的，只有对各个特征予以全盘关注，让网络捕捉到特征在时间内的变化趋势，才能够准确的给出识别结果。本发明中BiGRU不仅能够提取数据中的历史信息还可以利用起未来的数据信息，因此可以很好的捕获到时序信息中的重要信息和隐含联系，通过训练模型，使用完整的一口井钻井期间产生的数据进行泛化能力测试，模型能够得到具有高精度的识别结果，证明本方法是具有实际使用价值的。除此以外本发明提出的模型是一种短时多分类模型，每经过5分钟即可得到一次识别结果。之前的研究大多数是围绕某个单独的工况识别展开，也并未提出实时性要求，想要使用一个模型来对多个工况进行高精度实时识别是有困难的。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1、BiGRU结构示意图。
图2、滑动窗口法与间隔采样法示意图。
图3、BiGRU结合注意力机制网络完整结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的结合注意力机制的BiGRU网络钻井工况识别方法，具体介绍如下：
1、建立结合实际数据的半经验公式的钻井工况时序决策树识别模型，用于标注钻井数据。
本实施例中一共使用到了六口井的实际钻井数据，每口井的数据量在40万条到900万条之间，这种量级的数据为样本筛选工作带来了困难，因此发明人提出使用钻井工况的典型判据建立决策树模型协助提取样本，经查阅资料可以得到各钻井工况的典型判断公式，如表1所示。
表1.钻井工况与表征参数典型关系
但是由于每口井的数据特点稍有不同，这种典型判断方法不能有效的作用于全部井的预处理，因此需要依靠工况表作为参照，不断更新决策树判据，使决策树在保证泛用性的同时更贴近于实际数据。经过一系列的更新后，得到了如表2所示的钻井工况与表征参数关系库，生成了结合实际数据的半经验公式的钻井工况时序决策树识别模型。
表2.实际数据中钻井工况与表征参数关系库
发明人使用经验决策树和半经验决策树作用到同一段数据，并与工况表进行对比，发现后者相较于前者有14.59%的准确率提升。因此使用这个方法为使用到的钻井数据进行标注工作，这种方法可以一定程度上限制后续机器学习期间带来的黑箱效应，并提升模型的可解释性。
2、建立结合注意力机制的双向门控制单元网络的钻井工况多分类识别模型
双向门控制单元简称BiGRU，可以看成由两个单向且方向相反的两个GRU组成，BiGRU与GRU的区别就是增加了一个隐藏层，整体来看变成由输入层、正向隐藏层、反向隐藏层和输出层组成，最终的结果是由这两个单向GRU共同决定的，其结构图如图1所示。在同一时刻输入进网络的工况特征数据xt被分发给正向隐藏层中的GRU单元和反向隐藏层中的GRU单元，两个单元使用xt分别与前一时间步的正向隐藏状态
和反向隐藏状态
加权求和计算出当前时刻的正向隐藏状态
和反向隐藏状态
，最后计算出当前时刻的隐藏层状态ht，整体过程计算公式如下：
式中，
代表正向GRU的隐含状态的权重矩阵；
代表反向GRU的隐含状态的权重矩阵；bt 代表偏置参数。
包含各工况时序特征的数据经过BiGRU后将会根据信息的重要性丢弃不重要的信息，并提取出时序特征，这种时序特征同时受到历史数据与未来数据的影响。接下来，被提取的工况特征会送入注意力机制中。
使用注意力机制的目的就是找到工况数据段中对工况影响最大的关键特征找出来，在得到了某一时刻BiGRU输出过来的隐藏层状态ht时，将其输入到一个单层感知机中得到μt，这个全连接网络并不会改变输入的维度，只将ht隐层表示为μt，此部分公式如下：
其中Ww代表权重参数，bw代表偏置参数。之后，为了观察工况的重要性，随机初始化一个矩阵μw将其作为工况数据的上下文向量，代表数据段的信息意义，让它与数据段中的每个特征相乘计算相似度，再经过softmax操作得到归一化的注意力权重矩阵
，公式如下：
得到注意力权重矩阵后，将ht与
相乘求和得到加权后的向量s，公式如下：
s代表了整个数据段经注意力解释后的向量表示。得到s后将其交予两层的全连接层继续对数据所含信息进行提取并分类。
3、数据增强
在组织训练集与验证集时使用了定长的滑动窗口法以进行数据增强，样本数据量与决策树使用的相同，但是由于每种工况出现次数不同，出现次数较少的工况在使用滑动窗口法时会将移动的步长减小以提升样本数量，除此以外在个别样本数量极少的工况中还使用了间隔取样的方式增加样本数量，在一定程度上可以提升模型的泛化能力，滑动窗口和间隔取样方法如图2所示。用于训练的井数据经合并汇总后，得到的各工况样本数量如表3第一行所示。可以发现各工况样本数量存在明显的大小差异，因此为保证模型训练效果，需要尽量平衡工况样本数量，并对个别识别效果较差的工况增加样本数量，最终训练期间使用到的各工况样本数量如表3第二行所示，共计76268个样本，测试期间使用的工况样本数量见表3第三行。
表3.总数据、训练数据与测试数据中各工况样本数量
4、模型效果增强技术
为提升模型性能，在训练期间加入多种方法以增强网络提取信息的能力，包括权重初始化，归一化，批归一化和自适应学习率调整。并在此基础上进行了参数调整和激活函数选择。
在组织数据集之前，由于每种参与训练的特征有着不同的量纲和量纲单位，各指标处于不同量级，不做处理就送入网络进行训练会影响模型效果，因此要对数据进行归一化，以消除量纲影响。本实验使用的是离差标准化(Min-Max Normalization)，将各个特征列的数据使用线性的转化方法映射到[0,1]的范围里，对于某一特征列，归一化公式如下：
xmin是当前特征列中最小值，xmax是当前特征列中最大值。
为加快模型收敛速度，打乱对称性以增强学习效果，需要将模型的权重进行初始化。常用的权重初始化方法有Xavier初始化、He初始化、正交初始化等。每种不同的方法对应着不同的适用对象，其中He初始化在ReLU的激活函数上表现优秀，也见在eLU激活函数上使用，因此我们将He初始化应用在了全连接层部分。正交初始化一般用于解决深层网络下梯度消失的问题，常被使用于循环神经网络中，因此BiGRU部分使用正交初始化。Xavier初始化主要针对全连接网络，在注意力网络模块中，我们使用到了一个单层的感知机，此部分即使用Xavier初始化。
为避免在网络结构末尾的多层全连接结构中出现梯度消失与梯度爆炸现象，我们在网络中添加批归一化层来解决问题，它可以改善流经网络的梯度，提升训练速度，提升网络的泛化能力。它首先对n个输入
进行标准化，之后缩放平移，其公式如下：
其中，xi （b）表示为当前批次第b个样本输入该层时进入节点的值，xi为[xi （1）,xi （2）,xi （3）…xi （m）]构成的行向量，长度为同一批次所含样本量，μ和σ是该行的均值和标准差，ε为防止除0引入的极小量，γ和β为该行的缩放和偏移参数。
除此以外，我们还使用自适应学习率调整方法使学习率可以根据训练效果进行自动调整，调整的模式为，规定一个调整参考指标，即每轮学习后模型在验证集上的平均准确率，取值至小数点后三位，如果这个值超过5轮未发生增加，则降低学习率，学习率降低系数为0.7，最小学习率值设置为0.00005。使用自适应学习率相较于单学习率、依据步长调整学习率方法和余弦退火方法调整学习率有着更好的适用性。
5、总体网络模型架构与超参设置
本发明使用到的表征参数包括标准井深、钻头位置、转盘转速、顶驱转速、大钩负荷、钻压、立压、泵冲#1、泵冲#2、泵冲#3、出口流量、入口流量、总池体积、池积体积增减量、二氧化碳含量、甲烷含量、气体含量、顶驱扭矩和钻时，一共19个参数。经一系列的超参调整后最终的参数设置如表4所示。
表4参数设置
综上，本发明的BiGRU结合注意力机制网络完整结构示意图如图3所示。首先，在样本的组织与整理阶段，将从总数据中按照比例随机抽取出对应数量的训练数据和测试数据，之后由数据集加载器将两个数据集的样本进行切片、拆分成批数据并准备向网络分发。本实施例中设置的批数据量为128条，即128个样本为一批数据，这批数据将会顺序送入BiGRU网络进行特征提取，每个样本包含多个时间步以及表征参数。样本传到神经网络之后，样本数据将会按照样本中的时间步数量进行拆分，拆分出来的样本向量将会按照其所在的时间位置投入到对应时间步的BiGRU单元中。BiGRU中包含了两个方向相反的GRU单元网络，方向相反的GRU意味着，对于整个样本GRU单元将会分别从前向后和从后向前提取数据，因此样本向量将会同时分发到该时间步上的正反两个GRU单元中，经过这个操作可以让一层BiGRU单元网络同时提取出未来和历史信息，并作用到当前时间步任务中。隐含信息逐层传递，传递方式如前文描述，直至传播至BiGRU的底层。最终的BiGRU输出是一个二维矩阵，只需要保存最后一轮输出的隐含向量即可。BiGRU的隐含向量会交给注意力网络进行重要性的权重分配，权重分配后加权求和得到上下文向量，这个向量中包含着对当前工况识别的关键信息，之后将这段信息交给特征提取网络，特征提取网络由批归一化层和全连接网络组成，批归一化层对传进来的内容求均值、方差后进行标准化并缩放位移。这个方法可以让数据的分布趋势更加明显，对全连接网络的信息提取能力有较大提升。批归一化后的数据经过全连接网络进行最终的分类，全连接网络将输出一个概率值的序列，分别对应各个工况的可能性，选取最高可能性的工况作为最终判断结果。
本发明得到的模型可以对钻井期间的七种工况进行高精度的识别。该模型在训练数据集中，经过不到40轮即可进入收敛，最终各工况平均召回率能达到95%以上，在测试集中平均召回率因数据特征与训练时有差异，因而略有下降，其中最佳模型在测试数据集上各工况的回归率如表5所示。
表5.最佳模型在测试集上的表现
为进一步说明本文采用的方法在钻井工况时序数据多分类预测中的优势，使用表6包含的评价指标在不同的网络模型上进行评判，使用测试集数据。观察表格可见，本发明的模型在有效收敛的网络模型中，总体测试回归率为最高，达到88.43%，损失值最低仅为0.2833，并且有着较快的收敛速度。观察表5，在对单个工况的识别中，除下钻外所有工况均达到80%以上回归率，其中划眼回归率达到94%以上，钻进、滑动钻进的回归率达到98%以上，下钻工况识别的不足可以通过一定数据的迁移学习来改善识别效果。以上结论可以证明基于半经验决策树指导的BiGRU结合注意力机制方法在钻井工况时序预测中保证较高准确率条件下的可行性和泛用性，具有实际应用价值。
表6.不同网络结构在测试集上的表现
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.一种结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，步骤如下：
S1、建立结合实际数据的半经验公式的钻井工况时序决策树识别模型，用于标注钻井数据；包括以下三个子步骤：
S11、使用钻井工况的经典判据建立决策树模型，所述经典判据是通过查阅资料得到各钻井工况的典型判断公式，即钻井工况与表征参数的典型关系；
S12、以步骤S11得到的钻井工况与表征参数的典型关系作为参照，结合实际生产数据，不断更新决策树判据，使决策树在保证泛用性的同时更贴近于实际数据；经过一系列更新后得到钻井工况与表征参数关系库，生成结合实际数据的半经验公式的钻井工况时序决策树识别模型，后续简称为半经验决策树模型；
S13、使用半经验决策树模型对使用到的钻井数据进行标注；
S2、建立结合注意力机制的BiGRU网络钻井工况多分类识别模型；
S3、组织数据集：包括训练数据集、验证数据集、测试数据集；组织训练数据集与验证数据集时使用定长的滑动窗口法以进行数据增强；
S4、基于训练数据集和验证数据集，对步骤S2建立的结合注意力机制的BiGRU网络钻井工况多分类识别模型进行训练和验证，得到产出模型；
S5、使用该产出模型对钻井工况进行识别。
2.如权利要求1所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述步骤S1中，半经验决策树模型中，钻井工况与表征参数关系库具体如下：
钻井工况包括七个，按优先级排序依次是：接钻具、划眼、钻进、滑动钻进、起钻、下钻、循环；
判断条件如下：
接钻具：接钻具发生时钻头距离井底在5～40米区间，有两个以上泵机工作，立压均值≤5，钻盘转速与顶驱转速＜4，在接钻具发生前钻头上升，接钻具发生后钻头下降，发生前后30-40分钟内均有标准井深的增加；
划眼：情况1：发生于离井底5m处，标准井深不变，钻头位置存在波动，有设备为钻头提供动力，顶驱和转盘均值≥100，2个以上泵机工作，立压≥10；情况2：发生地距井底超120米，钻头位置波动，有设备为钻头提供动力，顶驱和转盘均值≥100；
钻进：标准井深提升，钻头位置同步提升，存在钻压，有顶驱或者转盘旋转为钻头提供动力；
滑动钻进：标准井深提升，钻头位置同步提升，泵冲与立压有值，存在钻压，转盘转速小于一个极小值；
起钻：标准井深不变，钻头位置在采样时间段内减小，减小速度5分钟8米，无泵冲和立压；
下钻：标准井深不变，钻头位置在采样时间段内增加，增加速度5分钟10米，无泵冲和立压；
循环：泵冲和立压有值。
3.如权利要求1所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述步骤S2的多分类识别模型中，包含各工况时序特征的数据输入双向门控制单元，双向门控制单元根据信息的重要性丢弃不重要的信息，并提取出工况时序特征；将提取的工况时序特征送入注意力机制中，找出工况数据段中对工况影响最大的关键特征。
4.如权利要求3所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，在双向门控制单元中，在同一时刻输入进网络的工况特征数据xt被分发给正向隐藏层中的GRU单元和反向隐藏层中的GRU单元，两个单元使用xt分别与前一时间步的正向隐藏状态
和反向隐藏状态
加权求和计算出当前时刻的正向隐藏状态
和反向隐藏状态
最后计算出当前时刻的隐藏层状态ht，整体过程计算公式如下：
式中，
代表正向GRU的隐含状态的权重矩阵；
代表反向GRU的隐含状态的权重矩阵；bt代表偏置参数；
包含各工况时序特征的数据经过BiGRU后将会根据信息的重要性丢弃不重要的信息，并提取出时序特征，这种时序特征同时受到历史数据与未来数据的影响。
5.如权利要求4所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述注意力机制，在得到了某一时刻BiGRU输出过来的隐藏层状态ht时，将其输入到一个单层感知机中得到μt，这个全连接特征提取网络并不会改变输入的维度，只将ht隐层表示为μt，公式如下：
ut＝tanh(Wwht+bw)
其中，Ww代表权重参数，bw代表偏置参数；
随机初始化一个矩阵μw将其作为工况数据的上下文向量，让它与数据段中的每个特征相乘计算相似度，再经过softmax操作得到归一化的注意力权重矩阵∝t，公式如下：
得到注意力权重矩阵后，将ht与∝t相乘求和得到加权后的向量s，公式如下：
s＝∑t∝tht
s代表整个数据段经注意力解释后的向量表示；得到s后将其交予两层的全连接层继续对数据所含信息进行提取并分类。
6.如权利要求1所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述步骤S4中，为提升模型性能，在训练期间加入多种方法以增强网络提取信息的能力，包括权重初始化，归一化，批归一化和自适应学习率调整，并在此基础上进行了参数调整和激活函数选择。
7.如权利要求6所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，采用离差标准化将各个特征列的数据使用线性的转化方法映射到[0,1]的范围里，对于某一特征列，归一化公式如下：
其中，xmin是当前特征列中最小值，xmax是当前特征列中最大值。
8.如权利要求6所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述批归一化，首先对n个输入进行标准化，之后缩放平移，其公式如下：
其中，xi (b)表示为当前批次第b个样本输入该层时进入节点的值，xi为[xi (1),xi (2),xi (3)…xi (m)]构成的行向量，长度为同一批次所含样本量，μ和σ是该行的均值和标准差，ε为防止除0引入的极小量，γ和β为该行的缩放和偏移参数。
9.如权利要求6所述的结合注意力机制的BiGRU网络钻井工况识别方法，其特征在于，所述自适应学习率调整方法，调整的模式为，规定一个调整参考指标，即每轮学习后模型在验证集上的平均准确率，取值至小数点后三位，如果这个值超过5轮未发生增加，则降低学习率，学习率降低系数为0.7，最小学习率值设置为0.00005。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210497511.3A CN114596010B (zh) | 2022-05-09 | 2022-05-09 | 一种结合注意力机制的BiGRU网络钻井工况识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210497511.3A CN114596010B (zh) | 2022-05-09 | 2022-05-09 | 一种结合注意力机制的BiGRU网络钻井工况识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114596010A CN114596010A (zh) | 2022-06-07 |
| CN114596010B true CN114596010B (zh) | 2022-07-22 |
Family
ID=81813098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210497511.3A Active CN114596010B (zh) | 2022-05-09 | 2022-05-09 | 一种结合注意力机制的BiGRU网络钻井工况识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596010B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115718263B (zh) * | 2023-01-09 | 2023-04-07 | 北京科技大学 | 基于注意力的锂离子电池日历老化预测模型和方法 |
| CN117115825B (zh) * | 2023-10-23 | 2024-01-26 | 深圳市上融科技有限公司 | 一种提高证照ocr识别率的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860785A (zh) * | 2020-07-24 | 2020-10-30 | 中山大学 | 基于注意力机制循环神经网络的时间序列预测方法及系统 |
| CN112034789B (zh) * | 2020-08-25 | 2021-10-15 | 国家机床质量监督检验中心 | 一种数控机床关键部件及整机的健康评估方法，系统及评估终端机 |
| CN114004337A (zh) * | 2021-10-29 | 2022-02-01 | 中国石油大学(华东) | 基于共享损失和注意力网络的异常工况预警模型 |
-
2022
- 2022-05-09 CN CN202210497511.3A patent/CN114596010B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114596010A (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114596010B (zh) | 一种结合注意力机制的BiGRU网络钻井工况识别方法 | |
| CN109635461B (zh) | 一种应用随钻参数来自动识别围岩级别的方法和系统 | |
| CN108875771B (zh) | 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法 | |
| CN108344564A (zh) | 一种基于深度学习的主轴特性试验台状态识别及预测方法 | |
| CN111950191B (zh) | 基于混合深度神经网络的回转窑烧结温度预测方法 | |
| CN105678332A (zh) | 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统 | |
| CN109299185B (zh) | 一种针对时序流数据的卷积神经网络提取特征的分析方法 | |
| CN109272123A (zh) | 一种基于卷积-循环神经网络的有杆泵工况预警方法 | |
| CN114358124B (zh) | 基于深度对抗卷积神经网络的旋转机械新故障诊断方法 | |
| CN106202353A (zh) | 一种时间序列数据的可视化表示方法 | |
| CN110399854B (zh) | 基于混合特征提取的滚动轴承故障分类方法 | |
| CN110110740A (zh) | 基于多时间尺度特征和神经网络的钻进过程工况识别方法 | |
| CN111652253A (zh) | 一种基于大数据的井漏事故检测预警方法 | |
| CN114548482A (zh) | 一种基于蠕变型滑坡动能变化率临滑预警方法 | |
| CN113109782B (zh) | 一种直接应用于雷达辐射源幅度序列的分类方法 | |
| CN114152442A (zh) | 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法 | |
| CN114718861A (zh) | 基于深度学习的螺杆泵井工况智能诊断方法 | |
| CN114021620A (zh) | 基于bp神经网络特征提取的电潜泵故障诊断方法 | |
| CN115618610B (zh) | 一种基于信息变权重的地下工程岩爆烈度评价方法 | |
| CN116644378A (zh) | 一种基于双层嵌套lstm的超长多维时间序列分类方法 | |
| CN111582440A (zh) | 一种基于深度学习的数据处理方法 | |
| CN115374827A (zh) | 基于pca-lstm的粘滑振动水平评估方法及装置 | |
| CN114282585A (zh) | 基于天文光谱数据的离群天体分类方法 | |
| CN108763728A (zh) | 基于并联型深度神经网络分层特征提取的机械故障诊断方法 | |
| CN116383647A (zh) | 基于并行特征提取的滚动轴承剩余寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |