CN113095398B

CN113095398B - 一种基于遗传算法优化的bp神经网络的压裂数据清洗方法

Info

Publication number: CN113095398B
Application number: CN202110378813.4A
Authority: CN
Inventors: 梁海波; 王怡; 杨海; 李忠兵
Original assignee: Southwest Petroleum University
Current assignee: Southwest Petroleum University
Priority date: 2021-04-08
Filing date: 2021-04-08
Publication date: 2022-07-12
Anticipated expiration: 2041-04-08
Also published as: CN113095398A

Abstract

本发明提供基于遗传算法优化的BP神经网络的压裂数据清洗方法，包括首先将一部分压裂数据经由人工判断数据是否异常并做好标记，然后取75％的已标记数据作为遗传算法优化后的BP神经网络的训练样本集，取剩下25％的已标记数据作为该网络的测试样本集；通过模式识别的方式对所有压裂实时施工数据里存在的“脏数据”进行自动识别。本发明的压裂数据清洗方法不同于传统人工清洗，本方法自动化程度高，能大大提高工作效率及准确率；通过对清洗后的压裂数据进行分析，可进一步有效指导压裂现场施工，减少决策误判，并且达到判断压裂预期效果、合理高效开发油气田的目的。

Description

一种基于遗传算法优化的BP神经网络的压裂数据清洗方法

技术领域

本发明属于石油天然气压裂施工技术领域，尤其涉及基于遗传算法优化的BP神经网络的压裂数据清洗方法。

背景技术

分析压裂施工数据是评价储层改造效果、判断压裂预期效果的重要手段。在压裂数据采集过程中，由于采集设备故障，人为操作不符合规范等原因会造成数据异常和录入异常，这使得原始数据中存在一部分“脏数据”。数据清洗就是通过对数据库中的数据做异常值筛选，来完成对“脏数据”的检测、剔除的过程。

在海量数据中进行数据清洗无疑是一项复杂且艰巨的任务，现有的清洗方案通常是针对不同行业数据特色而形成的方案和对简单数据进行数据清洗的通用清洗方案。人工清洗方式操作简单，但随着数据规模的增大，需要耗费大量人力、物力、财力，检测和清除速度会慢很多。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供基于遗传算法优化的BP神经网络的压裂数据清洗方法，其目的在于利用经遗传算法优化的BP神经网络，通过模式识别的方式对异常数据进行检测、剔除。

本发明采用如下技术方案：

基于遗传算法优化的BP神经网络的压裂数据清洗方法，包括如下步骤：

步骤1.BP神经网络的构建

BP神经网络分为三层，输入层、隐藏层和输出层。由于主要影响压裂后产能的地层参数有7个，分别是有效厚度、孔隙度、渗透率、压力系数、无阻流量、地应力、天然裂缝，因此定义输入为 Input＝[par1,par2,...,par6,par7]，其中，par1-par7分别对应上述7个压裂地层参数，输出B为网络测试输出结果。经过多次测试，确定该网络隐含层节点数为30；设定激活函数f为tanh函数，则输入层到影藏层的计算公式为： output＝f(ω·input-b)，其中ω为权值，b为偏置，其初始值是根据压裂经验和压裂施工实际情况随机赋值的。设置该网络的训练精度为0.00001，最大迭代次数为10000次。

步骤2.利用遗传算法优化BP神经网络的参数

传统的BP神经网络，其初始权值和阈值依赖设计者的经验和样本空间的反复试验，容易产生收敛速度慢、网络不稳定以及陷入局部最优等一系列问题。将BP神经网络和遗传算法结合理论上可以对任意非线性系统进行映射，并且得到全局最优效果。

遗传算法是一种基于自然选择和遗传学的全局最优搜索方法，稳定性强。在本发明中，先将初始压裂数据进行编码，每条染色体均包括所有的数据信息，随机产生在模型空间均匀分布的初始模型群体。然后通过选择、交叉、变异操作产生新一代种群。重复这个过程，使得种群不断地进化，知道最优个体满足目标精度要求时停止迭代。经过反复调试和压裂施工经验，基本参数设置为：种群规模100，交叉概率为0.7，变异概率为0.01，最大遗传代数为10000代，通过遗传算法在较大范围对BP神经网络的初始权值和阈值进行搜索，接着采用反向传播算法在较小范围内进行微调，优化网络结构和参数，得到最优的权值和阈值。

步骤3.网络的训练

从压裂仪表车导出部分压裂施工数据进行人工标记，标记方法为：该数据符合常规数据范围的标为A＝1，视作正常数据；不符合常规数据范围的标为A＝0，视作异常数据。这些已标记的数据，取75％作为网络训练样本集，剩下25％的数据作为网络测试样本集。压裂训练数据通过网络前向传输到BP神经网络后，网络随机生成权重和偏置，经由激活函数tanh函数计算，得到输出结果，该结果定义为网络测试输出结果B；将网络测试输出结果B与压裂数据实际对应的标签值A进行比较，二者差值通过网络反向传播，通过近似的最速下降法更新权值和阈值，当网络输出达到误差精度时，结束该神经网络的训练；利用压裂测试数据用于检验训练的效果；按照上述过程将训练BP神经网络值最优状态。

步骤4.实际数据测试

将所有的压裂数据输入到训练好的GA-BP神经网络中，对这些数据进行自动化的判别，确定每一个数据为正常值还是异常值，若为正常值，则保留；若为异常值，则剔除。

本发明的有益效果：

本发明提供的基于遗传算法优化的BP神经网络的压裂数据清洗方法，相比于现有的人工清洗方法具有以下的特点，通过该方法，能在海量压裂数据中自动化识别、检测压裂异常数据并清除，实现压裂“脏数据”的自动清洗工作，极大地提高了压裂数据清洗工作效率和降低了压裂数据清洗的复杂度。

附图说明

图1为本发明的整体方案的流程图；

图2为遗传算法优化BP神经网络的流程图；

图3为实施例的实验图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在压裂作业中，通过高质量的压裂施工数据可以对压裂作业作出更好的预测、分析和决策。由于人为操作不规范以及仪器设备采集精度等问题，数据库中往往含有不完整、不正确或不相关的脏数据。为保证后续充分利用已有压裂数据，进行压裂作业的科学研究，必须通过数据清洗提高数据质量。

为了提高压裂环境数据清洗的效率和降低压裂数据清洗的复杂度，如图1-2所示，本发明提出基于遗传算法优化的BP神经网络的压裂数据清洗方法，包括如下步骤：

1.建立BP神经网络

BP神经网络作为一种成熟的分类器，具有任意复杂的模式分类能力和优良的多维数映射能力，无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规划，在给定输入值时得到最接近期望输出值的结果。BP神经网络的训练按照下面的步骤进行：

1.1：把压裂参数数据通过网络前向传输：

a⁰＝Input＝[par1,par2,...par6,par7]

a^m+1＝f^m+1(ω^m+1a^m+b^m+1)

s.t.,m＝0,1,...M-1

a＝a^M

a⁰＝Input表示网络的输入，即有效厚度、渗透率、压力系数、无阻流量、地应力、天然裂缝七个压裂地层参数。

表示第m层的输出，ω^m+1，b^m+1分别表示神经网络第(m+1)层的权值和阈值； f^m+1(*)表示第(m+1)层的传输函数，

a^m表示第M层的输出，即网络最后输出值。

1.2：计算性能指标

式中t(*)为期望输出，即人工标记的压裂数据的标签值A；a(*)为实际输出，即经过网络测试输出的结果B，

是网络预测误差。若

小于事先设定的均方根误差，则网络结束训练，否则转入下一步。

1.3计算敏感性

s^m为敏感性，其中n^m＝ω^m+1a^m+b^m+1，n^m为样本，ω^m(k)是m层的网络权值，a^m为第m层的输出，b^m+1分别表示神经网络第(m+1)层的权值和阈值。

1.4：通过网络将敏感性反向传播：

s.t.,m＝M-1,…,2,1

s^M是反向传播的敏感因子，

是反向网络预测误差。

其中：

为反向传播时的激活函数，

表示的就是第s^m个样本

j＝1,2…s^m，

表示第j层的样本。

1.5：使用近似的最速下降法更新该网络权值和阈值

ω^m(k+1)＝ω^m(k)-αs^m(a^m-1)^T

b^m(k+1)＝b^m(k)-αs^m

ω^m(k)是m层的网络权值，其中α为网络的学习速率，a^m为第m层的输出，s^m为敏感性，b^m+1分别表示神经网络第(m+1)层的权值和阈值。

1.6：转向第一步，重新开始进行神经网络的训练。

通过步骤1.1-1.5的循环迭代，直到误差满足精度或达到设定的迭代次数时，网络结束训练。需要说明的是，压裂数据训练过程按照步骤 1.1-1.5进行，压裂数据测试时只需要使用训练好的神经网络参数即权值和阈值，把输入带入步骤1.1计算就可以得到输出值。

2.利用遗传算法优化BP神经网络的参数

遗传算法是一种基于自然选择和遗传学的全局最优搜索方法，稳定性强，其操作是：

2.1：网络结构初始化设置：确定输入层、影藏层、输出层节点个数 M、H₁、N；

2.2:初始化种群：设定遗传的种群规模p(t)＝100，并对种群中的个体进行编码，则每条染色体的长度为N＝(M×H₁+H₁+N)×L,其中L为变量的编码位数，包含了一个网络的有权值和阈值信息。

2.3：计算适应度，将网络测试输出结果B与压裂数据实际对应的标签值A进行比较，并将两者差值定义为网络预测误差

适应度函数为

适应度越大，则网络的精度越高。

2.4：选取适应度好的个体组成新的种群P(t)并随机配对，按照交叉概率p_c＝0.7进行交叉，进而产生两个新的个体；并对种群中的个体按照设定的变异概率p_m＝0.01进行变异进化，产生新的个体。

2.5：将产生的新个体加入到种群中，形成新的种群p(t+1)，群体规模不变，计算新物种群中个体适应度，若满足精度条件或最大迭代次数则进行下一步，输出最优的BP网络权值和阈值，否则重复步骤2.3-步骤2.5；

3.网络的训练

人工标记步骤如下：将压裂数据库中的数据进行人工标记，通过查阅行业标准确定正常值范围，选取其中部分数据进行人工标记。正常范围内标记为A＝1，否则A＝0。

将75％的已标记数据作为神经网络的输入，并设置神经网络的参数为：输入层、影藏层、输出层节点个数分别为M、H₁、N；权值ω和偏置b根据压裂经验和压裂施工实际情况随机赋初始值；该网络的训练精度设置为 0.00001，最大迭代次数为10000次。压裂训练数据通过网络前向传输到 BP神经网络后，通过激活函数tanh函数计算，得到网络测试输出结果B；将网络测试输出结果B与压裂数据实际对应的标签值A进行比较，二者差值通过网络反向传播，通过近似的最速下降法更新权值和阈值，通过将当达到设定精度0.00001或迭代10000次时结束训练。利用剩余25％的已标记数据对训练好的网络进行测试。

数据实际测试

将所有的压裂数据输入到训练好的GA-BP神经网络中，对这些数据进行自动化的判别，根据BP神经网络的输出确定每一个数据为正常值还是异常值，若为正常值，则保留；若为异常值，则剔除；实验表明测试准确率为97.25％。

实施例

下面截取XX油田YY区块已压裂井，在587746s-589251s时段实时采集的压裂数据为例，对本发明进行说明。

(1)在压裂施工时，从压裂仪表车导出部分压裂数据，以储层数据为例进行说明，部分数据如表1所示，通过行业标准规定结合该压裂井的井史数据、地质情况确定压裂数据的正常阈值范围，例如参数无阻流量；该区块大部分取得了较好的压裂效果的中产井的无阻流量范围为(10-20) ×10⁴m³/d(即表中PJKXD列)(由于行业标准不同，此处10⁴为10000即10的4次方)；

表1

(2)对该列数据进行人工判断这些数据是否处于正常阈值区间，处于正常阈值区间的标记为“A＝1”，否则标记为“A＝0”；

(3)随机取75％的已标记的数据作为GA-BP神经网络的训练样本集，剩下25％的已标记数据作为后续的的测试样本集；

(4)将训练样本集输入到GA-BP神经网络中，根据实际压裂施工的情况，设定该网络的训练精度为0.00001，最大迭代次数为10000次，网络测试输出结果B与压裂数据实际标签值A的差值通过网络反向传播，通过近似的最速下降法更新权值和阈值，不断训练网络得到最优状态；

(5)用测试数据集对网络进行测试并保存好已训练好的GA-BP神经网络；

(6)将剩余25％的压裂数据输入到训练好的GA-BP神经网络中(由于测试数据偏少，将训练数据一并用作测试数据)，由GA-BP神经网络对数据进行判断其是否为正常值，即网络输出B＝1或B＝0，并对异常数据进行剔除，达到数据清洗的目的。

(7)如图3所示，横坐标表示从储层数据中随机取出的25个样本值和训练集样本共计100个进行实验，该样本的正常阈值范围为(10-20)*10⁴，为了能够使实验图清晰地体现出网络给出的判别，现将正常值标记为100，异常值标记为0。从实验图看出，能够将样本中的异常值有效识别。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.基于遗传算法优化的BP神经网络的压裂数据清洗方法，其特征在于，包括如下步骤：

步骤1.给训练数据和测试数据标记标签；

步骤2.构建BP神经网络；

采用传统浅层神经网络构建；

构建方法具体包括：

S2.1把压裂参数数据通过网络前向传输：

a⁰＝Input＝[par1,par2,…par6,par7]

a^m+1＝f^m+1(ω^m+1a^m+b^m+1)

s.t.,m＝0,1,...M-1

a＝a^M

a⁰＝Input表示网络的输入，即有效厚度、渗透率、压力系数、无阻流量、地应力、天然裂缝七个压裂地层参数，

表示第m层的输出，ω^m+1，b^m+1分别表示神经网络第(m+1)层的权值和阈值；

f^m+1(*)表示第(m+1)层的传输函数，

表示第M层的输出，即网络最后输出值；

S2.2计算性能指标

式中t(*)为期望输出，即人工标记的压裂数据的标签值A；a(*)为实际输出，即经过网络测试输出的结果B,

是网络预测误差，若

小于事先设定的均方根误差，则网络结束训练，否则转入下一步；

S2.3计算敏感性

其中n^m＝ω^m+1a^m+b^m+1，s^m为敏感性，ω^m+1，b^m+1分别表示神经网络第(m+1)层的权值和阈值，a^m为第m层的输出，n^m为样本；

S2.4通过网络将敏感性反向传播

s.t.,m＝M-1,…,2,1

s^M是反向传播的敏感因子，

是反向网络预测误差；

其中：

为反向传播时的激活函数；

表示的就是第s^m个样本；

j＝1,2…sm，

表示第j层的样本；

S2.5使用近似的最速下降法更新网络权值和阈值

ω^m(k+1)＝ω^m(k)-αs^m(a^m-1)^T

b^m(k+1)＝b^m(k)-αs^m

ω^m(k)是m层的网络权值，其中α为网络的学习速率；

S2.6：转向第一步，重新开始进行神经网络的训练；

通过步骤S2.1-S2.5的循环迭代，直到误差满足精度或达到设定的迭代次数时，网络结束训练

步骤3.用遗传算法优化BP神经网络的参数；

所述步骤3具体包括

S3.1对GA-BP神经网络结构进行初始化设置，确定输入层、影藏层、输出层节点个数，分别为M、H₁、N；

S3.2产生初始化种群p(t)＝100，并对种群中的每个个体进行二进制编码；

S3.3计算种群中的每一个个体的适应度，将网络测试输出结果B与压裂数据实际对应的标签值A进行比较，并将两者差值定义为网络预测误差

适应度函数为

适应度越大，则网络的精度越高；

S3.4通过选择、交叉、变异操作产生新一代种群；

S3.5重复上述步骤，使得种群不断地进化，当最优个体满足目标精度要求或达到最大遗传代数时停止，然后进行网络训练，调节权值和阈值达到精度要求或设定的迭代次数时，计算结束；

步骤4.GA-BP神经网络训练；

所述步骤4具体包括：

S4.1首先将已标记的压裂数据分为两部分，分别占比为75％、25％；

S4.2 75％部分的压裂数据作为训练样本通过网络前向传输到BP神经网络后，网络随机生成权重和偏置，经由激活函数tanh函数计算，得到输出结果，结果定义为网络测试输出结果B；

S4.3将网络测试输出结果B与压裂数据实际对应的标签值A进行比较，二者的差值通过网络反向传播，通过近似的最速下降法更新权值和阈值，当网络输出达到了误差精度时，结束神经网络的训练；

S4.5用剩下的25％的压裂数据作为测试样本集，用于检验训练的效果；

当GA-BP网络训练到最优状态时，将大量压裂数据导入到网络中，通过网络输出来识别、检测压裂异常数据并清除，实现压裂脏数据的自动清洗；

步骤5.实际数据测试。

2.如权利要求1所述的基于遗传算法优化的BP神经网络的压裂数据清洗方法，其特征在于，所述步骤1具体包括：从压裂仪表车中随机提取若干压裂数据，判断压裂数据是否属于正常阈值范围并进行人工标记，其中阈值范围由相关行业标准规定；若属于正常阈值范围则标记为1，视作正常数据；若不属于正常阈值范围则标记为0，视作异常数据。