CN116822580A - 一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 - Google Patents
一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116822580A CN116822580A CN202310991374.3A CN202310991374A CN116822580A CN 116822580 A CN116822580 A CN 116822580A CN 202310991374 A CN202310991374 A CN 202310991374A CN 116822580 A CN116822580 A CN 116822580A
- Authority
- CN
- China
- Prior art keywords
- data
- transducer model
- matrix
- data set
- predicting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005553 drilling Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 37
- 239000003129 oil well Substances 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000012952 Resampling Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000035515 penetration Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 239000002002 slurry Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 108091026890 Coding region Proteins 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 5
- 102220520885 DCN1-like protein 1_F15A_mutation Human genes 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Earth Drilling (AREA)
Abstract
一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质，方法包括：任意选择一个油井区块，在该油井区块内采集多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；将得到的数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；构建Transformer模型；将得到的预处理后的数据集划分成训练集和测试集，将训练集输入到构建的Transformer模型中，得到训练后Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果；系统、设备及介质，用于实现基于Transformer模型的机械钻速时序特征的预测方法；本发明具有数据完整准确、构建的模型能快速响应、高效计算能力好、预测结果准确的特点。
Description
技术领域
本发明涉及石油钻井技术领域，具体涉及一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质。
背景技术
现有的机械钻速时序特征的预测方法，基于长短期记忆模型(LSTM)的预测方法和基于门控循环单元模型(GRU)的预测方法，通过学习长期的依赖信息，对序列数据进行预测，预测时，首先对数据进行处理和划分，然后进行数据特征提取，将提取后的特征送入到LSTM模型和GRU模型模型进行训练，最后使用预测后的结果进行评估和优化；由于LSTM模型和GRU模型，容易出现过拟合问题，特别是在训练数据较少的情况下，存在难以捕捉长期依赖关系的情况，导致预测结果不准确。
公开号为[CN 115062271 A]，名称为“基于Bi-LSTM的钻速超前预测方法、系统、设备及存储介质”的专利申请，公开了一种利用钻速数据训练样本集对初始化后的双向长短期记忆网络模型进行迭代训练，直至迭代训练过程满足模型训练条件参数，得到钻速预测模型。但是该模型没有考虑到长序列对预测钻速的影响因素，因此具有数据的不完整和不准确的问题，构建的预测模型具有缺乏快速响应、计算能力差、预测结果不准确的缺点。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质，通过将采集多个油井的数据进行划分，形成三维矩阵形式的数据集，构建Transformer模型，通过Transformer模型对预处理后的数据集进行计算，因此具有数据完整准确、构建的模型能快速响应、高效计算能力好、预测结果准确的特点。
为了实现上述目的，本发明采用的技术方案是：
一种基于Transformer模型的机械钻速时序特征的预测方法，包括以下步骤：
步骤1、任意选择一个油井区块，在该油井区块内采集多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；
步骤2、将步骤1得到的数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；
步骤3、构建Transformer模型；
步骤4、将步骤2得到的预处理后的数据集划分成训练集和测试集，将训练集输入到步骤3构建的Transformer模型中，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
所述步骤1中的油井的数据包括井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间。
所述步骤1的具体过程为：
步骤1.1、任意选择一个油井区块，在该油井区块内采集多个油井的数据，该数据包括井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间，作为初始数据集；
步骤1.2、将步骤1.1得到的初始数据集按照序列以米为单位进行分割，得到三维矩阵形式的数据集。
所述步骤2的具体过程为：
步骤2.1、将步骤1得到的数据集中的异常干扰值进行重采样；
步骤2.2、将步骤2.1得到的重采样后的数据进行归一化，使得结果映射到[0,1]之间，得到预处理后的数据集，归一化的公式如下：
其中，xi表示某一参数下的任意一点，xmin表示某一参数下的最小值，xmax表示某一参数下的最大值，Xi表示某一参数下归一化的值。
步骤3所述的Transformer模型包括:
编码器：用于将输入的步骤2预处理后的数据集进行编码，提取预处理后的数据集的特征信息，得到输出矩阵；
解码器：用于根据编码器输出的输出矩阵，生成机械钻速的预测结果。
所述的编码器包括：
位置编码序列层：用于对输入的步骤2预处理后的数据集，进行位置编码，得到添加位置编码的序列数据；
位置编码表示如下：
P(2t,pos)＝sin(2t/10000pos/hidden_dim)
P(2t+1,pos)＝cos(2t/10000pos/hidden_dim)
其中，P(2t,pos)表示位置编码矩阵中的偶数索引位置，P(2t+1,pos)表示位置编码矩阵中的奇数索引位置，pos表示输入序列中的位置，t表示位置编码的维度索引，hidden_dim表示模型隐藏层维度；
自注意力层：用于将添加位置编码输出的序列数据进行交互，使得每个数据对应的位置编码都可以获得其他数据的位置编码，根据得到的位置编码以及自注意力层权重进行加权求和，得到第一注意力矩阵；
自注意力层权重，计算公式如下：
V＝WVE
K＝WKE
Q＝WQE
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵；E表示输入序列，WV、WK、WQ分别表示不同的权值矩阵；
第一注意力矩阵，计算公式如下：
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，dk表示键值的维度；
前馈神经网络层：用于将自注意力层输出的第一注意力矩阵使用激活函数进行非线性变换，得到输出矩阵，使用激活函数进行非线性变换的计算公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
其中：x表示输入矩阵，W1和b1表示第一个全连接层的权重和偏置，W2和b2表示第二个连接层的权重和偏置。
所述的解码器包括：
自注意力层：用于计算输出矩阵中的每个数据的位置与其他数据的位置之间的权重，通过将权重进行加权求和，得到第二注意力矩阵；
多头注意力层：用于将自注意力层输出的第二注意力矩阵以及编码器输出的输出矩阵进行加权，得到第三注意力矩阵；
前馈神经网络层：用于将多头注意力层输出的第三注意力矩阵进行映射，得到输出基于Transformer模型的机械钻速时序特征的预测结果。
一种基于Transformer模型的机械钻速时序特征的预测系统，包括：
数据采集模块：用于采集任意选择的油井区块内多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；
数据处理模块：用于将数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；
模型预测模块：用于将预处理后的数据集划分成训练集和测试集，将训练集输入到构建的Transformer模型中，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
一种基于Transformer模型的机械钻速时序特征的预测设备，包括：
存储器：用于存储实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法的计算机程序；
处理器：用于执行所述计算机程序时实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
相对于现有技术，本发明的有益效果在于：
1.本发明采用构建的transformer模型中编码器的自注意层和解码器的自注意层可以轻松捕捉到长序列数据的特点和依赖性，传统的循环神经网络中会容易出现梯度消失或者梯度爆炸的问题，Transformer模型编码器和解码器中的自注意力层允许每个数据集中的数据时间步之间进行独立的计算，而不需要按顺序进行，这种并行计算的能力使得Transformer模型在处理大规模时序数据时更加高效，具有快速响应、高效计算能力好、预测结果准确的特点。
2.本发明通过编码器和解码器之间的交互，通过注意力机制和前馈神经网络来捕捉序列中的依赖和特性，生成机械钻速时序特征的预测结果，本发明在处理大量地质和钻井数据时更具有优势，可以直接关注到序列中任何位置的信息，更能有效的处理长距离依赖，意味着比现有的LSTM模型更能显著提高机械钻速时序特征预测的准确性和可靠性。
综上所述，本发明通过将采集多个油井的数据进行划分，形成三维矩阵形式的数据集，构建Transformer模型，通过Transformer模型对预处理后的数据集进行计算，因此具有数据完整准确、构建的模型能快速响应、高效计算能力好、预测结果准确的特点。
附图说明
图1是本发明的方法流程图。
图2是测试集数据集的频率直方图，其中，图2(a)是钻压的数据频率直方图，图2(b)是平均立管压力的数据频率直方图，图2(c)是平均表面扭矩的数据频率直方图，图2(d)是机械钻速的数据频率直方图，图2(e)是平均钻速的数据频率直方图，图2(f)是泥浆流入量的数据频率直方图，图2(g)是平均吊钩载荷的数据频率直方图，图2(h)是钻头钻井时间的数据频率直方图。
图3是对井深进行重采样对比图。
图4是对步骤1中的数据集的差值图。
图5是本发明构建的Transformer模型的结构示意图。
图6是本发明构建的Transformer模型输出结果的ARE误差图，其中，图6(a)是训练集F9井得到ARE误差图，图6(b)是训练集F15A井得到ARE误差图，图6(c)是训练集F9A井得到ARE误差图。
图7是本发明构建的Transformer模型下预测值和真实值对比图。
图8是使用GPU计算模型的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参见图1，步骤1、任意选择一个油井区块，在该油井区块内采集四个不同井的数据，将这些数据按照以米为单位进行划分，得到三维矩阵形式的数据集，三维矩阵的样本数为每10米的钻井参数，共有2755组；所述步骤1中的井的数据为井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间。
数据集的数据来源于挪威Volve井的开源数据集，该数据集涵盖了油田勘探个开发的大部分特点。
将四口井作为预测机械钻速的数据集，井名、更新时间、井的起始深度、井的结束深度、数据量，如下表所示：
表中展示出了我们用到的训练集数据的井F4、F9、F15A和测试集数据的井F9A的井名、更新时间、整个井的起始结束深度以及井的数据量，由表可以看出每个井分布的深度情况，由于地层的不同考虑到钻头受阻、钻头磨损、钻液压力等多种因素，因此将数据集输入到Transformer模型中得到的预测结果是精确的；所述三维矩阵形式的数据集中的三维是指数据的批次，序列长度和输入的数据的个数这三个维度。
具体过程为：
步骤1.1、任意选择一个油井区块，在该油井区块内采集多个油井的数据，该数据包括井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间，作为初始数据集；
步骤1.2、将步骤1.1得到的初始数据集按照序列以米为单位进行分割，得到三维矩阵形式的数据集；钻头每钻10m,设备会记录所有的钻井参数，并利用下一个5m的地质参数来预测5m深度的钻速；
参见图2，为数据集分布情况，其中，图2(a)中横坐标是钻压的值，纵坐标是数量，可以看出0-6之间占据了最大多数值，压力比较稳定的不会有太大偏差，图2(b)中横坐标是平均立管压力的值，纵坐标是数量，可以看出数据大部分在12000-20000之间，管道压力随着深度的加深随之加大，图2(c)可以看出中横坐标是平均表面扭矩的值，纵坐标是数量，可以看出数据呈两极分化现象明显，大量集中在0-8附近，由于扭矩受到地层影响因素过大，出现不稳定性，图2(d)可以看出中横坐标是机械钻速的值，纵坐标是数量，可以看出出现一个随着速度数量稳定下降的一个过程，图2(e)可以看出中横坐标是平均钻速的值，纵坐标是数量，可以看出数据过集中出现在60，130和200附近，图2(f)可以看出中横坐标是泥浆流入量的值，纵坐标是数量，可以看出数据主要集中在3000-4000附近相对稳定，图2(g)可以看出中横坐标是平均吊钩载荷的值，纵坐标是数量，可以看出大量的数据都在110以内，是一个相对安全的载荷值，图2(h)可以看出中横坐标是钻井时间的值，纵坐标是数量，可以看出数据量随着时间的增加在逐渐减少，因此可以看出在我们预处理过后的测试数据是呈正态分布的，在数据中不存在显著的异常和干扰值。
数据集字段的具体信息如下表所示：
表中展示了的11中不同的钻井参数的名字、英文名字、缩写以及单位，需要格外关注使用的数据单位，更好的理解数据的含义和价值。
步骤2、将步骤1得到的数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；具体过程为：
步骤2.1、将步骤1得到的数据集中的异常干扰值进行重采样；异常干扰值，包括对不连续的缺失值进行补充，出现这种情况的原因往往是在采集过程中出现的错误、数据丢失等原因；还包括数据中出现随机波动和不确定性的噪声，这种噪声可能是由于测量误差、传感器干扰等因素引起的，这种噪声会对我们预测结果产生极大的干扰；波动值会超过90m/h明显是不符合实际情况的，这些明显的噪声由地质因素和测量误差引起的。
步骤2.2、将步骤2.1得到的重采样后的数据进行归一化，使得结果映射到[0,1]之间，得到预处理后的数据集，归一化的公式如下：
其中，xi表示某一参数下的任意一点，xmin表示某一参数下的最小值，xmax表示某一参数下的最大值，Xi表示某一参数下归一化的值。
参见图3，横坐标表示的是数据量，纵坐标表示的是深度数据，对810m深度到960m深度之间的数据进行重采样前后做了一个对比，原始数据Raw ROP呈现为台阶状，这种情况会极大影响Transformer模型的性能，重采样之后，曲线相对平滑，数据分割更为均匀，预测结果更加准确。
参见图4，横坐标是数据的深度，纵坐标是机械钻速的值，对中间机械钻速的异常值进行插值的方法噪声值进行校准，可以从图中看出曲线Raw Depth是原数据，明显看到在850到1000之前出现了不可能出现的极值，以及连续的上下震荡，这在真实的机械钻速中是不可能出现的，对原始数据进行插值校准数据，数据稳定性增强。
参见图5，步骤3、构建Transformer模型；所述的Transformer模型包括:
编码器：用于将输入的步骤2预处理后的数据集进行编码，提取预处理数据集的特征信息，得到输出矩阵；
解码器：用于根据编码器输出的输出矩阵，生成机械钻速的预测结果。
所述的编码器包括：
位置编码序列层：用于对输入的步骤2预处理后的数据集，进行位置编码，得到添加位置编码的序列数据；使得Transformer模型能够更好的理解预处理后的数据集；
位置编码表示如下：
P(2t,pos)＝sin(2t/10000pos/hidden_dim)
P(2t+1,pos)＝cos(2t/10000pos/hidden_dim)
其中，P(2t,pos)表示位置编码矩阵中的偶数索引位置，P(2t+1,pos)表示位置编码矩阵中的奇数索引位置，pos表示输入序列中的位置，t表示位置编码的维度索引，hidden_dim表示模型隐藏层维度；
自注意力层：用于将添加位置编码输出的序列数据进行交互，使得每个数据对应的位置编码都可以获得其他数据的位置编码，根据得到的位置编码以及自注意力层权重进行加权求和，得到第一注意力矩阵；使得Transformer模型可以更好的理解输入数据集数据中各个元素之间的关系；
自注意力层权重，计算公式如下：
V＝WVE
K＝WKE
Q＝WQE
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵；E表示输入序列，WV、WK、WQ分别表示不同的权值矩阵；
第一注意力矩阵，计算公式如下：
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，dk表示键值的维度；
前馈神经网络层：用于将自注意力层输出的第一注意力矩阵使用激活函数进行非线性变换，得到输出矩阵，所述的激活函数有tanh和ReLU函数，使得输出层和输入层不再是简单的线性关系，使用激活函数进行非线性变换的计算公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
其中：x表示输入矩阵，W1和b1表示第一个全连接层的权重和偏置，W2和b2表示第二个连接层的权重和偏置。
所述的解码器包括：
自注意力层：用于计算输出矩阵中的每个数据的位置与其他数据的位置之间的权重，通过将权重进行加权求和，得到第二注意力矩阵；可以让解码器在生成预测结果时更好的关注输入序列中不同的位置信息；
多头注意力层：用于将自注意力层输出的第二注意力矩阵以及编码器输出的输出矩阵进行加权，得到第三注意力矩阵；使得解码器能够在生成预测结果时很好的利用数据集之间的各个元素之间的信息；
前馈神经网络层：用于将多头注意力层输出的第三注意力矩阵进行映射，得到输出基于Transformer模型的机械钻速时序特征的预测结果。
步骤4、将步骤2得到的预处理后的数据集划分成训练集和测试集，训练集为F4,F9,F15A井的参数，测试集为F9A井的参数，将训练集输入到步骤3构建的Transformer模型中，迭代次数为3000次，训练批次为32，测试批次为128，学习率为0.00001，dropout值为0.2，多头注意力层的头数为8头，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
本发明所使用的优化器Adam，是基于随机梯度下降SGD的优化算法，使用的超参数如下表所示：
上表为本发明构建的Transformer模型在做训练时所使用到的超参数，由表可以看出，超参数调整是调整机器学习算法中的各种设置以提高其性能的过程，使用了贝叶斯算法在模型的不确定性和期望性能之间找到一个平衡，最终选择最佳的超参数，选择最恰当的超参数可以加快模型的收敛速度并提高训练效果。
超参数优化的公式如下：
其中：p表示更新过的参数，m和v表示修正的偏差值，t表示时间，α表示学习率，β表示动量参数，表示小数值。
将机械钻速时序特征的预测结果使用评价指标进行计算，获得Transformer模型的评价指标对实验结果进行评估，具体过程为：
训练模型将每一步的训练的训练集和测试集的误差输出，采用平均相对误差ARE、平均绝对误差MAE和决定系数R_square三个指标作为评价指标，MAE和ARE的数值越小说明偏差越小，结果越好，第三千次迭代后的误差结果如下表所示：
| 训练3000次的结果 | MAE(m/h) | ARE | R_square |
| 训练集 | 0.151 | 1.48％ | 98％ |
| 测试集 | 0.244 | 1.6％ | 96％ |
表为模型训练3000次后训练集和测试集的误差数据展示，由表可以看出采集的数据经过transformer模型训练的向前预测的准确度超过了95％，表现出了很不错的预测能力，相对误差不到2％，说明本发明构建的Transformer模型预测结果精确度高。
采用了平均相对误差ARE、平均绝对误差MAE和决定系数R_square作为评价指标，公式如下：
其中，n表示真实标签和预测标签样本的数量，yi、分别表示样本的真实标签和预测标签，/>表示n个样本的真实标签的平均值；
参见图6，为本发明预测结果的ARE评价指标进行实验结果，横坐标是深度，纵坐标是相对误差，图6(a)为训练集F9井随着深度分布的ARE误差情况，图6(b)为训练集F15A井随着深度分布的ARE误差情况，图6(c)为训练集F9A井随着深度分布的ARE误差情况；可以看出在不同深度下，机械钻速的误差情况，可以看出本发明考虑在不同深度的情况下都能获得准确的预测结果。
参见图7，以深度为横坐标，钻速为纵坐标，两条折线展示随着井深变换，机械钻速实际值与预测值之间的关系，两者几乎完全重合，说明本发明采用的基于Transformer模型的机械钻速时序特征的预测结果准确。
参见图8，将transformer模型放入GPU计算是一种常见的优化方法，可以显著提高计算速度和性能，具体为：
1.安装GPU计算库，需要安装适用于所使用的GPU的计算库，安装CUDA(适用于NVIDIA GPU)；
2.使用Pytorch的GPU版本来做transformer模型的编程；
3.数据传输，将输入数据从主存放入GPU中；
4.模型加载：将transformer模型加载到GPU中；这可以通过使用深度学习框架提供的函数或方法来完成；加载模型后，模型的参数和计算图将存储在GPU内存中；
5.执行预测：在GPU上执行预测操作，由于GPU具有并行计算的能力，可以同时处理多个数据样本，从而提高预测速度；
6.结果传输：在预测完成后，将结果从GPU内存传输回主内存；
7.清理资源：在使用完GPU后，及时释放GPU内存和其他相关资源，以便其他任务或应用程序可以继续使用GPU，本发明在Transformer模型的计算中使用了六个英伟达特斯拉图形处理器NVIDIA Tesla GPUs，大大减少了计算时间，特别是在处理大模型和大数据的运算是优势尤为明显，可以一次性的加载更多的数据，减少数据传输和加载的时间，提高了数据处理的效率。
一种基于Transformer模型的机械钻速时序特征的预测系统，包括：
数据采集模块：用于采集任意选择的油井区块内多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；
数据处理模块：用于将数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；
模型预测模块：用于将预处理后的数据集划分成训练集和测试集，将训练集输入到构建的Transformer模型中，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
一种基于Transformer模型的机械钻速时序特征的预测设备，包括：
存储器：用于存储实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法的计算机程序；
处理器：用于执行所述计算机程序时实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
Claims (10)
1.一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，包括以下步骤：
步骤1、任意选择一个油井区块，在该油井区块内采集多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；
步骤2、将步骤1得到的数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；
步骤3、构建Transformer模型；
步骤4、将步骤2得到的预处理后的数据集划分成训练集和测试集，将训练集输入到步骤3构建的Transformer模型中，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
2.根据权利要求1所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，所述步骤1中的油井的数据包括井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间。
3.根据权利要求1或2所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，所述步骤1的具体过程为：
步骤1.1、任意选择一个油井区块，在该油井区块内采集多个油井的数据，该数据包括井深、钻头深度、钻压、平均立管压力、平均表面扭矩、机械钻速、平均转速、泥浆流入量、泥浆密度、平均吊钩载荷、孔深度以及钻井时间，作为初始数据集；
步骤1.2、将步骤1.1得到的初始数据集按照序列以米为单位进行分割，得到三维矩阵形式的数据集。
4.根据权利要求1所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，所述步骤2的具体过程为：
步骤2.1、将步骤1得到的数据集中的异常干扰值进行重采样；
步骤2.2、将步骤2.1得到的重采样后的数据进行归一化，使得结果映射到[0,1]之间，得到预处理后的数据集，归一化的公式如下：
其中，xi表示某一参数下的任意一点，xmin表示某一参数下的最小值，xmax表示某一参数下的最大值，Xi表示某一参数下归一化的值。
5.根据权利要求1所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，步骤3所述的Transformer模型包括:
编码器：用于将输入的步骤2预处理后的数据集进行编码，提取预处理后的数据集的特征信息，得到输出矩阵；
解码器：用于根据编码器输出的输出矩阵，生成机械钻速的预测结果。
6.根据权利要求5所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，所述的编码器包括：
位置编码序列层：用于对输入的步骤2预处理后的数据集，进行位置编码，得到添加位置编码的序列数据；
位置编码表示如下：
P(2t,pos)＝sin(2t/10000pos/hidden_dim)
P(2t+1,pos)＝cos(2t/10000pos/hidden_dim)
其中，P(2t,pos)表示位置编码矩阵中的偶数索引位置，P(2t+1,pos)表示位置编码矩阵中的奇数索引位置，pos表示输入序列中的位置，t表示位置编码的维度索引，hidden_dim表示模型隐藏层维度；
自注意力层：用于将添加位置编码输出的序列数据进行交互，使得每个数据对应的位置编码都可以获得其他数据的位置编码，根据得到的位置编码以及自注意力层权重进行加权求和，得到第一注意力矩阵；
自注意力层权重，计算公式如下：
V＝WVE
K＝WKE
Q＝WQE
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵；E表示输入序列，WV、WK、WQ分别表示不同的权值矩阵；
第一注意力矩阵，计算公式如下：
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，dk表示键值的维度；
前馈神经网络层：用于将自注意力层输出的第一注意力矩阵使用激活函数进行非线性变换，得到输出矩阵，使用激活函数进行非线性变换的计算公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
其中：x表示输入矩阵，W1和b1表示第一个全连接层的权重和偏置，W2和b2表示第二个连接层的权重和偏置。
7.根据权利要求5所述的一种基于Transformer模型的机械钻速时序特征的预测方法，其特征在于，所述的解码器包括：
自注意力层：用于计算输出矩阵中的每个数据的位置与其他数据的位置之间的权重，通过将权重进行加权求和，得到第二注意力矩阵；
多头注意力层：用于将自注意力层输出的第二注意力矩阵以及编码器输出的输出矩阵进行加权，得到第三注意力矩阵；
前馈神经网络层：用于将多头注意力层输出的第三注意力矩阵进行映射，得到输出基于Transformer模型的机械钻速时序特征的预测结果。
8.一种基于Transformer模型的机械钻速时序特征的预测系统，其特征在于，包括：
数据采集模块：用于采集任意选择的油井区块内多个油井的数据，将这些数据进行划分，得到三维矩阵形式的数据集；
数据处理模块：用于将数据集中的异常值进行重采样，将重采样后的数据进行归一化，得到预处理后的数据集；
模型预测模块：用于将预处理后的数据集划分成训练集和测试集，将训练集输入到构建的Transformer模型中，得到训练后的Transformer模型，将测试集输入到训练后的Transformer模型中，得到机械钻速时序特征的预测结果。
9.一种基于Transformer模型的机械钻速时序特征的预测设备，其特征在于，包括：
存储器：用于存储实现实现权利要求1-7所述的一种基于Transformer模型的机械钻速时序特征的预测方法的计算机程序；
处理器：用于执行所述计算机程序时实现实现权利要求1-7所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现实现权利要求1-7所述的一种基于Transformer模型的机械钻速时序特征的预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310991374.3A CN116822580A (zh) | 2023-08-08 | 2023-08-08 | 一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310991374.3A CN116822580A (zh) | 2023-08-08 | 2023-08-08 | 一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116822580A true CN116822580A (zh) | 2023-09-29 |
Family
ID=88120416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310991374.3A Pending CN116822580A (zh) | 2023-08-08 | 2023-08-08 | 一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116822580A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117287179A (zh) * | 2023-11-27 | 2023-12-26 | 张家港市胜港机械制造有限公司 | 精密钻采设备的远程控制系统及方法 |
| CN117349798A (zh) * | 2023-12-05 | 2024-01-05 | 西南石油大学 | 一种基于非均衡回归的机械钻速预测方法及系统 |
| CN117454294A (zh) * | 2023-11-02 | 2024-01-26 | 西南石油大学 | 一种页岩气井柱塞工艺井异常工况判断方法 |
| CN117609874A (zh) * | 2023-11-09 | 2024-02-27 | 中国地震局地球物理研究所 | 基于集成深度学习的岩石断层摩擦微震检测方法和系统 |
| CN117454294B (zh) * | 2023-11-02 | 2024-06-04 | 西南石油大学 | 一种页岩气井柱塞工艺井异常工况判断方法 |
-
2023
- 2023-08-08 CN CN202310991374.3A patent/CN116822580A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454294A (zh) * | 2023-11-02 | 2024-01-26 | 西南石油大学 | 一种页岩气井柱塞工艺井异常工况判断方法 |
| CN117454294B (zh) * | 2023-11-02 | 2024-06-04 | 西南石油大学 | 一种页岩气井柱塞工艺井异常工况判断方法 |
| CN117609874A (zh) * | 2023-11-09 | 2024-02-27 | 中国地震局地球物理研究所 | 基于集成深度学习的岩石断层摩擦微震检测方法和系统 |
| CN117609874B (zh) * | 2023-11-09 | 2024-05-10 | 中国地震局地球物理研究所 | 基于集成深度学习的岩石断层摩擦微震检测方法和系统 |
| CN117287179A (zh) * | 2023-11-27 | 2023-12-26 | 张家港市胜港机械制造有限公司 | 精密钻采设备的远程控制系统及方法 |
| CN117287179B (zh) * | 2023-11-27 | 2024-02-06 | 张家港市胜港机械制造有限公司 | 精密钻采设备的远程控制系统及方法 |
| CN117349798A (zh) * | 2023-12-05 | 2024-01-05 | 西南石油大学 | 一种基于非均衡回归的机械钻速预测方法及系统 |
| CN117349798B (zh) * | 2023-12-05 | 2024-02-23 | 西南石油大学 | 一种基于非均衡回归的机械钻速预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116822580A (zh) | 一种基于Transformer模型的机械钻速时序特征的预测方法、系统、设备及介质 | |
| CN110852018B (zh) | 基于神经网络的pso钻井参数优化方法 | |
| US11814931B2 (en) | Machine-learning for sedimentary facies prediction | |
| CN112901137B (zh) | 基于深度神经网络Sequential模型的深井钻井机械钻速预测方法 | |
| EP1984860A2 (en) | Methods, systems, and computer-readable media for fast updating of oil and gas field production models with physical and proxy simulators | |
| CN111520123A (zh) | 一种机械钻速预测方法、装置及设备 | |
| Noshi | Application of data science and machine learning algorithms for ROP optimization in west texas: turning data into knowledge | |
| CN110515123B (zh) | 基于小样本学习的卷积神经网络地震测井联合反演方法 | |
| CN114358434A (zh) | 基于lstm循环神经网络模型的钻井机械钻速预测方法 | |
| WO2022125771A1 (en) | Determination of mechanical properties of a geological formation using deep learning applied to data acquired while drilling | |
| WO2021126284A1 (en) | Deep learning seismic attribute fault predictions | |
| WO2023133213A1 (en) | Method for automated ensemble machine learning using hyperparameter optimization | |
| CN116384554A (zh) | 机械钻速预测方法、装置、电子设备及计算机存储介质 | |
| Cao et al. | Quantitative evaluation of imputation methods using bounds estimation of the coefficient of determination for data-driven models with an application to drilling logs | |
| CN115049173B (zh) | 深度学习和Eaton法耦合驱动地层孔隙压力预测方法 | |
| US20230316152A1 (en) | Method to predict aggregate caliper logs using logging-while-drilling data | |
| US20230212937A1 (en) | Automated electric submersible pump (esp) failure analysis | |
| CN113468822A (zh) | 一种钻速预测方法及系统 | |
| George | Predicting Oil Production Flow Rate Using Artificial Neural Networks-The Volve Field Case | |
| CN113887049A (zh) | 一种基于机器学习的石油钻井的钻速预测方法及系统 | |
| CN111487679B (zh) | 横波速度预测方法、装置和设备 | |
| CN115293462B (zh) | 一种基于深度学习的漏失通道尺寸范围预测方法 | |
| US11782177B2 (en) | Recommendation engine for automated seismic processing | |
| US11941563B1 (en) | Apparatus and method for fracking optimization | |
| Singh et al. | Petrophysical predictions using regression and advanced machine learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |