CN114218848A - 一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法 - Google Patents

Abstract

本发明提供一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法，仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。本发明利用通过训练得到的模型来对未来的油田生产提供最优注采方案，从而达到产油最大化。

Description

一种使用深度强化学习模型进行油藏最优注采方案预测模型 及其预测方法

技术领域

本发明涉及油藏配产配注技术领域，更具体地说涉及一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法。

背景技术

油藏最优注采方案模型分为“隐环境”、“显环境”以及“智能体”三大部分。其中隐环境即为仿真水驱油藏模型，其输入注水量、井口压力等数据，其中间的隐藏层可以输出注水井的注水劈分以及各生产井的横向劈分，可以反映出地下情况，最终输出各生产井的日产液及日产油数据；由于隐环境只能拟合地下情况而不能对智能体的注采方案进行打分，因此显环境用来与隐环境和智能体交互，显环境的输入为智能体生成的注采方案，而显环境的输出为产油量，作为智能体生成的注采方案的奖励；而智能体顾名思义，是最终提供注采方案的模型，其输入为隐环境中间隐藏层的输出，输出为具体的注水量及生产井对应的产液量，并根据显环境输出的产油量作为奖励利用强化学习不断的优化智能体，使得其在不同的环境当中做出最优的决策。

发明内容

本发明克服了现有技术中的不足，提供了一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法，本发明利用通过训练得到的模型来对未来的油田生产提供最优注采方案，从而达到产油最大化。

本发明的目的通过下述技术方案予以实现。

一种使用深度强化学习模型进行油藏最优注采方案预测模型，包括仿真水驱油藏模型、水驱注采方案优化模型、智能体模型和注采指标迁移优化方案模型，

仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；

水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；

智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；

注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。

仿真水驱油藏模型包括VerticalNet、HorizonNet和LiftNet三个子模型；

VerticalNet的输入数据是仿真水驱油藏模型的输入为日注水量与井口压力，VerrticalNet的输出数据为注水井的纵向劈分、注水井在各小层的压力、注水井在各小层周围的地层压力和各小层的驱油总量；

HorizonNet的输入数据为VerticalNet的输出数据，HorizonNet的输出数据为各小层的横向劈分、各生产井在不同小层上的压力、不同小层周围的地层压力、各生产井在不同小层的产油量与驱油量；

LiftNet的输入数据为HorizonNet的输出数据，LiftNet的输出数据即为仿真水驱油藏模型的输出数据，为生产井的日产液与日产油。

水驱注采方案优化模型的输入数据为智能体模型的注采方案，水驱注采方案优化模型经过SIP模型的训练之后的输出数据为生产井的产油量，并以此作为奖励值反馈给智能体模型，同时，水驱注采方案优化模型会将仿真水驱油藏模型VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的输入数据。

智能体模型的输入数据即为水驱注采方案优化模型传递过来的VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分，智能体模型的输出数据为生成的注采方案，同时，再获取水驱注采方案优化模型的输出数据作为奖励值，利用强化学习DDPG算法来优化智能体模型，从而获得最优的注采方案。

注采指标迁移优化方案模型是根据实际生产情况和业务逻辑，利用现有数据和仿真水驱油藏模型计算得到的数据来给仿真水驱油藏模型提供约束条件，具体如下：

loss_mse_v：计算日注水量与注水劈分量的均方误差损失，根据业务逻辑日注水量与注水劈分量的值应相等；

loss_ploss：日产液损失，利用产能公式计算的日产液与仿真水驱油藏模型拟合的日产液应相等；

reg_poilloss：产油损失，利用产能公式计算得到的日产油与仿真水驱油藏模型拟合的日产油应相等；

reg_abse：注采平衡损失，根据业务逻辑得到，在一段时间内注水量与产液量应相等；

reg_mse_vhl：仿真水驱油藏模型损失，实际产液量与仿真水驱油藏模型预测的产液量应相等；

reg_mse_v_1：注水量损失，日注水量需近似等于驱油总量与边水侵入量之和。

边水侵入量的计算方法：根据物质平衡方程和历史数据来计算历史边水侵入量，得到历史边水侵入量的分布情况，由于历史边水侵入量的分布情况满足Beta函数分布，故利用Beta函数来拟合边水侵入量作为注采指标迁移优化方案模型的值。

一种使用深度强化学习模型进行油藏最优注采方案预测方法，按照下述步骤进行：

步骤1，将日注水量和井口压力的历史数据输入到仿真水驱油藏模型中来拟合真实生产环境的历史生产数据；

步骤2，将步骤1拟合得到的历史生产数据和真实历史生产数据输入到注采指标迁移优化方案模型中计算损失值，并将损失值返回给仿真水驱油藏模型进行下一轮训练；

步骤3，将训练好的仿真水驱油藏模型隐藏层输出的注水劈分和产液劈分值传入水驱注采方案优化模型；

步骤4，智能体模型从水驱注采方案优化模型获得注水劈分与产液劈分作为输入，并给出注采方案；

步骤5，将智能体模型的注采方案输入给水驱注采方案优化模型，并输出产油量作为奖励值返回给智能体模型；

步骤6，智能体模型根据返回的奖励值利用强化学习DDPG算法来优化自身的注采方案，直到方案达到最优为止。

仿真水驱油藏模型，按照下述步骤进行：

步骤(1)，对智能体输出的注采方案数据进行数据预处理；

步骤(2)，将预处理后的数据输入到VerticalNet并进行网络训练；

步骤(3)，将VerticalNet的输出数据传给HorizonNet作为输入数据并进行网络训练；

步骤(4)，将训练好的HorizonNet的输出数据传给LiftNet作为输入数据并进行网络训练；

步骤(5)，计算历史边水侵入量，根据历史边水侵入量分布拟合未来的边水侵入量；

步骤(6)，定义损失函数，约束各网络层的输出值。

水驱注采方案优化模型，按照下述步骤进行：

步骤(1)，智能体生成注采方案；

步骤(2)，将智能体生成的注采方案作为输入数据传进水驱注采方案优化模型；

步骤(3)，经过水驱注采方案优化模型的训练输出各生产井的产油量；

步骤(4)，将输出的产油量作为奖励返回给智能体模型并进行下一轮的训练。

智能体模型，按照下述步骤进行：

步骤(1)，获取仿真水驱油藏模型隐藏层输出数据的注水劈分以及产液劈分；

步骤(2)，根据注水劈分以及产液劈分生成新的注采方案；

步骤(3)，将新的注采方案输入到水驱注采方案优化模型中；

步骤(4)，将得到的生产井产油量作为奖励值优化智能体模型；

步骤(5)，生成新的注采方案。

本发明的有益效果为：本发明能够智能输出油藏最优注采方案；

利用LSTM神经网络搭建模拟真实油藏地下情况，解决了油藏项目中智能体无法利用真实生产环境训练的问题；

整体计算流程规范，可操作性强，仿真出的地下油藏环境较为贴近实际情况，输出的注采方案科学明确；

在参照传统数理模型的基础上，通过大量的计算对比，最终确定了油藏最优注采大数据模型填补了国内使用大数据分析挖掘及机器学习技术预测油藏最优注采方案的空白。

附图说明

图1是本发明的原理示意图。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

下面通过具体的实施例对本发明的技术方案作进一步的说明。

实施例一

一种使用深度强化学习模型进行油藏最优注采方案预测模型，包括仿真水驱油藏模型、水驱注采方案优化模型、智能体模型和注采指标迁移优化方案模型，

仿真水驱油藏模型，又称为隐环境VHL模型，在正常情况下，智能体模型的学习应该是在线的，即在真实生产环境中不断提出注采方案并在实施生产后观察反馈，但是石油生产的特性决定了我们不能随意的去利用真实生产环境训练智能体，以避免产生浪费，因此构建仿真水驱油藏模型来拟合历史数据，从而仿真实际的生产环境供智能体来学习；

水驱注采方案优化模型，又称为显环境SIP模型，由于隐环境VHL模型只拟合地下情况而不对智能体提出的注采方案进行打分，从而无法让智能体模型进行学习，因此构建了水驱注采方案优化模型来与隐环境VHL模型以及智能体模型进行交互，显环境SIP模型将隐环境VHL模型隐藏层输出的参数传给智能体模型，智能体模型输出注采方案输入到显环境SIP模型当中，经计算得出产油量作为奖励值返回给智能体模型进行优化；

智能体模型，又称为Agent，它是基于强化学习的模型，其作用是根据当前的生产状态来注采方案，并根据显环境SIP模型反馈的奖励值来不断优化从而输出最优的注采方案；

注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性，根据实际生产情况及业务逻辑，利用现有数据以及隐环境输出结果来计算损失，并根据损失来优化隐环境VHL模型。

实施例二

油藏最优注采模型明确的被划分为隐环境、显环境以及智能体三大部分，其中隐环境负责仿真拟合地下真实情况，智能体负责不断提供注采方案，显环境负责在隐环境与智能体之间进行交互，而注采指标迁移优化方案模型则是作为约束条件添加到隐环境中进行训练。

仿真水驱油藏模型包括VerticalNet、HorizonNet和LiftNet三个子模型；

VerticalNet的作用是仿真注水过程，VerticalNet的输入数据为仿真水驱油藏模型的输入为日注水量与井口压力，VerrticalNet的输出数据为注水井的纵向劈分、注水井在各小层的压力、注水井在各小层周围的地层压力和各小层的驱油总量；

HorizonNet的作用是仿真地下驱油过程，HorizonNet的输入数据为VerticalNet的输出数据，HorizonNet的输出数据为各小层的横向劈分、各生产井在不同小层上的压力、不同小层周围的地层压力、各生产井在不同小层的产油量与驱油量；

LiftNet的作用是仿真实际生产过程中油液举升到地面的过程，LiftNet的输入数据为HorizonNet的输出数据，LiftNet的输出数据即为仿真水驱油藏模型的输出数据，为生产井的日产液与日产油。

水驱注采方案优化模型的输入数据为智能体模型的注采方案，水驱注采方案优化模型经过SIP模型的训练之后的输出数据为生产井的产油量，并以此作为奖励值反馈给智能体模型，同时，水驱注采方案优化模型会将仿真水驱油藏模型VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的输入数据。

智能体模型的输入数据即为水驱注采方案优化模型传递过来的VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分，智能体模型的输出数据为生成的注采方案，同时，再获取水驱注采方案优化模型的输出数据作为奖励值，利用强化学习DDPG算法来优化智能体模型，从而获得最优的注采方案。

注采指标迁移优化方案模型是根据实际生产情况和业务逻辑，利用现有数据和仿真水驱油藏模型计算得到的数据来给仿真水驱油藏模型提供约束条件，具体如下：

loss_mse_v：计算日注水量与注水劈分量的均方误差损失，根据业务逻辑日注水量与注水劈分量的值应相等；

loss_ploss：日产液损失，利用产能公式计算的日产液与仿真水驱油藏模型拟合的日产液应相等；

reg_poilloss：产油损失，利用产能公式计算得到的日产油与仿真水驱油藏模型拟合的日产油应相等；

reg_abse：注采平衡损失，根据业务逻辑得到，在一段时间内注水量与产液量应相等；

reg_mse_vhl：仿真水驱油藏模型损失，实际产液量与仿真水驱油藏模型预测的产液量应相等；

reg_mse_v_1：注水量损失，日注水量需近似等于驱油总量与边水侵入量之和。

边水侵入量的计算方法：根据物质平衡方程和历史数据来计算历史边水侵入量，得到历史边水侵入量的分布情况，由于历史边水侵入量的分布情况满足Beta函数分布，故利用Beta函数来拟合边水侵入量作为注采指标迁移优化方案模型的值。

实施例三

一种使用深度强化学习模型进行油藏最优注采方案预测方法，按照下述步骤进行：

步骤1，将日注水量和井口压力的历史数据输入到仿真水驱油藏模型中来拟合真实生产环境的历史生产数据；

步骤2，将步骤1拟合得到的历史生产数据和真实历史生产数据输入到注采指标迁移优化方案模型中计算损失值，并将损失值返回给仿真水驱油藏模型进行下一轮训练；

步骤3，将训练好的仿真水驱油藏模型隐藏层输出的注水劈分和产液劈分值传入水驱注采方案优化模型；

步骤4，智能体模型从水驱注采方案优化模型获得注水劈分与产液劈分作为输入，并给出注采方案；

步骤5，将智能体模型的注采方案输入给水驱注采方案优化模型，并输出产油量作为奖励值返回给智能体模型；

步骤6，智能体模型根据返回的奖励值利用强化学习DDPG算法来优化自身的注采方案，直到方案达到最优为止。

仿真水驱油藏模型，按照下述步骤进行：

步骤(1)，对智能体输出的注采方案数据进行数据预处理；

步骤(2)，将预处理后的数据输入到VerticalNet并进行网络训练；

步骤(3)，将VerticalNet的输出数据传给HorizonNet作为输入数据并进行网络训练；

步骤(4)，将训练好的HorizonNet的输出数据传给LiftNet作为输入数据并进行网络训练；

步骤(5)，计算历史边水侵入量，根据历史边水侵入量分布拟合未来的边水侵入量；

步骤(6)，定义损失函数，约束各网络层的输出值。

水驱注采方案优化模型，按照下述步骤进行：

步骤(1)，智能体生成注采方案；

步骤(2)，将智能体生成的注采方案作为输入数据传进水驱注采方案优化模型；

步骤(3)，经过水驱注采方案优化模型的训练输出各生产井的产油量；

步骤(4)，将输出的产油量作为奖励返回给智能体模型并进行下一轮的训练。

智能体模型，按照下述步骤进行：

步骤(1)，获取仿真水驱油藏模型隐藏层输出数据的注水劈分以及产液劈分；

步骤(2)，根据注水劈分以及产液劈分生成新的注采方案；

步骤(3)，将新的注采方案输入到水驱注采方案优化模型中；

步骤(4)，将得到的生产井产油量作为奖励值优化智能体模型；

步骤(5)，生成新的注采方案。

为了易于说明，实施例中使用了诸如“上”、“下”、“左”、“右”等空间相对术语，用于说明图中示出的一个元件或特征相对于另一个元件或特征的关系。应该理解的是，除了图中示出的方位之外，空间术语意在于包括装置在使用或操作中的不同方位。例如，如果图中的装置被倒置，被叙述为位于其他元件或特征“下”的元件将定位在其他元件或特征“上”。因此，示例性术语“下”可以包含上和下方位两者。装置可以以其他方式定位(旋转90度或位于其他方位)，这里所用的空间相对说明可相应地解释。

而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件区分开来，而不一定要求或者暗示这些部件之间存在任何这种实际的关系或者顺序。

以上对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：包括仿真水驱油藏模型、水驱注采方案优化模型、智能体模型和注采指标迁移优化方案模型，

仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；

水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；

智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；

注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。

2.根据权利要求1所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：仿真水驱油藏模型包括VerticalNet、HorizonNet和LiftNet三个子模型；

VerticalNet的输入数据是仿真水驱油藏模型的输入为日注水量与井口压力，VerrticalNet的输出数据为注水井的纵向劈分、注水井在各小层的压力、注水井在各小层周围的地层压力和各小层的驱油总量；

HorizonNet的输入数据为VerticalNet的输出数据，HorizonNet的输出数据为各小层的横向劈分、各生产井在不同小层上的压力、不同小层周围的地层压力、各生产井在不同小层的产油量与驱油量；

LiftNet的输入数据为HorizonNet的输出数据，LiftNet的输出数据即为仿真水驱油藏模型的输出数据，为生产井的日产液与日产油。

3.根据权利要求2所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：水驱注采方案优化模型的输入数据为智能体模型的注采方案，水驱注采方案优化模型经过SIP模型的训练之后的输出数据为生产井的产油量，并以此作为奖励值反馈给智能体模型，同时，水驱注采方案优化模型会将仿真水驱油藏模型VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的输入数据。

4.根据权利要求3所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：智能体模型的输入数据即为水驱注采方案优化模型传递过来的VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分，智能体模型的输出数据为生成的注采方案，同时，再获取水驱注采方案优化模型的输出数据作为奖励值，利用强化学习DDPG算法来优化智能体模型，从而获得最优的注采方案。

5.根据权利要求4所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：注采指标迁移优化方案模型是根据实际生产情况和业务逻辑，利用现有数据和仿真水驱油藏模型计算得到的数据来给仿真水驱油藏模型提供约束条件，具体如下：

loss_mse_v：计算日注水量与注水劈分量的均方误差损失，根据业务逻辑日注水量与注水劈分量的值应相等；

loss_ploss：日产液损失，利用产能公式计算的日产液与仿真水驱油藏模型拟合的日产液应相等；

reg_poilloss：产油损失，利用产能公式计算得到的日产油与仿真水驱油藏模型拟合的日产油应相等；

reg_abse：注采平衡损失，根据业务逻辑得到，在一段时间内注水量与产液量应相等；

reg_mse_vhl：仿真水驱油藏模型损失，实际产液量与仿真水驱油藏模型预测的产液量应相等；

reg_mse_v_1：注水量损失，日注水量需近似等于驱油总量与边水侵入量之和。

6.根据权利要求5所述的一种使用深度强化学习模型进行油藏最优注采方案预测模型，其特征在于：边水侵入量的计算方法：根据物质平衡方程和历史数据来计算历史边水侵入量，得到历史边水侵入量的分布情况，由于历史边水侵入量的分布情况满足Beta函数分布，故利用Beta函数来拟合边水侵入量作为注采指标迁移优化方案模型的值。

7.一种使用深度强化学习模型进行油藏最优注采方案预测方法，其特征在于：按照下述步骤进行：

步骤1，将日注水量和井口压力的历史数据输入到仿真水驱油藏模型中来拟合真实生产环境的历史生产数据；

步骤2，将步骤1拟合得到的历史生产数据和真实历史生产数据输入到注采指标迁移优化方案模型中计算损失值，并将损失值返回给仿真水驱油藏模型进行下一轮训练；

步骤3，将训练好的仿真水驱油藏模型隐藏层输出的注水劈分和产液劈分值传入水驱注采方案优化模型；

步骤4，智能体模型从水驱注采方案优化模型获得注水劈分与产液劈分作为输入，并给出注采方案；

步骤5，将智能体模型的注采方案输入给水驱注采方案优化模型，并输出产油量作为奖励值返回给智能体模型；

步骤6，智能体模型根据返回的奖励值利用强化学习DDPG算法来优化自身的注采方案，直到方案达到最优为止。

8.根据权利要求7所述的一种使用深度强化学习模型进行油藏最优注采方案预测方法，其特征在于：仿真水驱油藏模型，按照下述步骤进行：

步骤(1)，对智能体输出的注采方案数据进行数据预处理；

步骤(2)，将预处理后的数据输入到VerticalNet并进行网络训练；

步骤(3)，将VerticalNet的输出数据传给HorizonNet作为输入数据并进行网络训练；

步骤(4)，将训练好的HorizonNet的输出数据传给LiftNet作为输入数据并进行网络训练；

步骤(5)，计算历史边水侵入量，根据历史边水侵入量分布拟合未来的边水侵入量；

步骤(6)，定义损失函数，约束各网络层的输出值。

9.根据权利要求8所述的一种使用深度强化学习模型进行油藏最优注采方案预测方法，其特征在于：水驱注采方案优化模型，按照下述步骤进行：

步骤(1)，智能体生成注采方案；

步骤(2)，将智能体生成的注采方案作为输入数据传进水驱注采方案优化模型；

步骤(3)，经过水驱注采方案优化模型的训练输出各生产井的产油量；

步骤(4)，将输出的产油量作为奖励返回给智能体模型并进行下一轮的训练。

10.根据权利要求9所述的一种使用深度强化学习模型进行油藏最优注采方案预测方法，其特征在于：智能体模型，按照下述步骤进行：

步骤(1)，获取仿真水驱油藏模型隐藏层输出数据的注水劈分以及产液劈分；

步骤(2)，根据注水劈分以及产液劈分生成新的注采方案；

步骤(3)，将新的注采方案输入到水驱注采方案优化模型中；

步骤(4)，将得到的生产井产油量作为奖励值优化智能体模型；

步骤(5)，生成新的注采方案。

Images