CN114896903A - 一种基于强制学习的油田生产系统决策优化方法 - Google Patents

Abstract

本发明公开了一种基于强制学习的油田生产系统决策优化方法，包括：收集油田生产现场的动态生产数据，建立油藏生产优化的数据立方体；基于数据立方体对预设的机器学习模型进行训练，得到用于根据生产现场的动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型；构造面向注气油藏生产优化的评估函数；在生产优化过程中建立基于输入参数的强制约束模型及边界约束条件；以约束模型及边界约束条件为约束，基于油藏注采系统代理模型，以评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案。本发明可以解决传统的基于物理的方法在计算精度以及时间方面有局限性的技术问题。

Description

一种基于强制学习的油田生产系统决策优化方法

技术领域

本发明涉及油田开发技术领域，特别涉及一种基于强制学习的油田生产系统决策优化方法。

背景技术

生产优化是油藏闭环管理的关键内容，能够直接影响油藏开发的可持续性、高效性、安全性和经济性。如何通过调整注入井的注入模式，在保证生产安全以及绿色环保的条件下，尽可能的增加产油量一直以来是油田现场关注的重点。

现有的油藏生产优化方法主要是基于复杂的地质模型、多相流动机理构建油藏数值模拟器，通过大量的调参使得数值模拟器的产量可以和实际产量完成历史拟合，在此基础上调整注入参数对未来产量进行预测，进而完成生产优化。该油藏数值模拟器是依赖地质解释和目前对多孔介质中流体流动的一般物理规律的理解而开发的油藏模型，包含了许多假设、简化、经验以及先入为主的概念。由于储层地质的复杂性、多相流动的不确定性以及勘探技术的局限性，油藏数值模拟器很难对真实储层进行完整的模拟，往往不能准确还原真实的情况，同时模拟器涉及数以万计网格的迭代计算，建立模拟器以及后续的生产优化会花费大量的时间，基于数万网格的迭代误差往往也不容忽视。

因此，传统的基于物理的方法在计算精度和时间方面有局限性。

发明内容

本发明提供了一种基于强制学习的油田生产系统决策优化方法，以解决传统的基于物理的方法在计算精度和时间方面有局限性的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一种基于强制学习的油田生产系统决策优化方法，包括：

收集现场动态生产数据，建立油藏生产优化的数据立方体；

基于所述数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型；

构造面向注气油藏生产优化的评估函数；

在生产优化过程中建立基于输入参数的强制约束模型及边界约束条件；

以所述约束模型及边界约束条件为约束，基于所述油藏注采系统代理模型，以所述评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案。

进一步地，在得到油藏注采系统代理模型后，所述方法还包括：

基于所述油藏注采系统代理模型，定量表征注入井和生产井之间的连通性。

进一步地，所述定量表征注入井和生产井之间的连通性，包括：

首先，计算所述油藏注采系统代理模型每一个输入变量对于模型的重要性，即随机改变数据集中某一个变量的数据的顺序，保持其他变量不变，从而构建新的训练集，利用新的数据集来训练模型，并计算出相应的预测结果的误差；

然后，计算出基于新的数据集训练的模型预测误差与基于原始数据集训练的模型预测误差之间的差值，作为数据集中相应变量对于模型的敏感度；

通过下式，计算出注入井和生产井之间的连通性：

其中，L_j表示第j口注入井和生产井之间的连通因子，E(IV_j)表示第j口注入井的注气量对于模型的敏感度，E(IP_j)表示第j口注入井的注入压力对于模型的敏感度，E(IM_j)表示第j口注入井的注入模式对于模型的敏感度。

进一步地，收集现场动态生产数据，建立油藏生产优化的数据立方体，包括：

收集油藏生产井以及周围邻近的注入井的动态生产数据；其中，所述生产井的动态生产数据包括：产油量、产气量、气油比、开关井状态以及油嘴大小；所述注入井的动态生产数据包括：注气量、注入压力以及注入模式；

利用收集到的动态生产数据，建立油藏生产优化的数据立方体。

进一步地，基于数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型，包括：

从所述数据立方体中抽取模型训练所需的数据集，将数据集按照9：1的比例划分为训练集和测试集，得到训练集以及测试集；其中，数据集中的生产井的开关井状态和油嘴大小，以及注入井的注气量、注入压力和注入模式作为模型的输入，数据集中的生产井的产油量、产气量和气油比作为模型的输出；

构建一个基于深度神经网络的机器学习模型；其中，所述机器学习模型的隐含层层数为3层，每层神经元个数为60个；

采用所述训练集对所述机器学习模型进行训练，并采用所述测试集对训练后的机器学习模型进行测试，得到基于强制学习的油藏注采系统代理模型。

进一步地，所述评估函数的表达式为：

其中，O(x)为评估函数，Qo_(f(D,W,θ))为产油量，GOR_(f(D,W,θ))为气油比。

进一步地，所述建立基于输入参数的强制约束模型及边界约束条件，包括：

建立注入量和注入压力之间的物理约束模型，即以注入量为输入，以注入压力为输出，通过机器学习模型构建可以利用注入量来预测注入压力的智能约束模型S，因此，注入量和注入压力之间的关系表征为：

IP_pred^w,t＝S(IV^w,t,W,θ)

其中，IP_pred^w,t为第w号注入井在t时刻的注入压力预测值，IV^w,t为第w号注入井在t时刻的注入量，W为机器学习模型神经元之间的权重，θ为神经元中的阈值；另外，对于注入井对应的输入变量，设置如下边界约束条件：

IV^w,t∈{a*Ave(IV),b*Max(IV)},IP^w,t∈{Min(IP),Max(IP)}

其中，a和b为约束因子，取值范围为a∈(0,1)，b∈(0.5,2)；IP^w,t为第w号注入井在t时刻的注入压力；Ave(IV)为注入量的平均值，Max(IV)为注入量的最大值，Min(IP)为注入压力的最小值；Max(IP)为注入压力的最大值；

此外，对于生产措施中油嘴大小的边界约束条件表示为：

CS^t∈{0,AVE(CS)+c*(MAX(CS)-MIN(CS))}

其中，CS^t为生产井在t时刻的油嘴大小；AVE(CS)为油嘴大小的平均值；c为浮动系数，MAX(CS)为油嘴大小的最大值，MIN(CS)为油嘴大小的最小值。

进一步地，以约束模型及边界约束条件为约束，基于油藏注采系统代理模型，以评估函数为优化方向寻找油藏生产优化方案，得到最优生产方案，包括：

建立以粒子群算法为基础的注采优化模型，所述注采优化模型的输入为各个注入井的注入量、注入压力以及注入模式，输出为目标井的产油量及气油比；

以注入量和注入压力之间的关系模型以及边界约束条件为约束，以油藏注采系统代理模型为基础，以评估函数为优化方向去寻找油藏生产优化方案；

将不同注入方案优化出来，基于优化出的注入方案利用所述注采系统代理模型计算相应条件下生产井的产油量和气油比，并以此寻找针对油藏生产优化问题的帕累托前沿，基于所述帕累托前沿，根据不同需求进行方案的选取及优化。

本发明提供的技术方案带来的有益效果至少包括：

1、本发明设计了一种基于强制学习的油田生产系统决策优化的计算框架，首先利用注采数据建立注采系统代理模型，能够根据注入参数精准预测生产井动态生产数据，完成对现场监测数据的历史拟合，并以该模型为基础，构建了生产优化智能模型，寻找最优的注入模式完成油田开发过程中的生产优化。

2、本发明提出了一种注采系统的代理模型，基于机器学习方法利用注入井的注入变量以及生产措施来精准预测生产井产量以及气油比等参数，无需复杂的地质参数以及地质模型。

3、本发明引入了一种以强制学习的方式对井间连通性进行评估方法，基于注采代理模型对输入变量重要性进行分析，并利用不同注入井对于生产井的影响程度定义井间连通性。

4、本发明建立了一种面向油藏的注采优化方法，输入为各个注入井的注入量、注入压力以及注入模式，输出包括目标井的产油量以及气油比，以注入量和注入压力之间的关系模型以及边界条件为约束，以注采系统代理模型为基础，以评估函数为优化方向去寻找油藏生产优化方案，并根据帕累托前沿解集来分析不同目标下的最优解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于强制学习的油田生产系统决策优化方法的执行流程示意图；

图2是本发明实施例提供的注采代理模型日产油量预测结果示意图；

图3是本发明实施例提供的输入参数重要性分析和井间连通性示意图；

图4是本发明实施例提供的面向注气油藏生产开发优化方向示意图；

图5是本发明实施例提供的油藏生产优化帕累托前沿解集示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本实施例提供了一种基于强制学习的油田生产系统决策优化方法，该方法完全基于现场真实的监测数据，通过集成式机器学习方法考虑物理和操作限制的基础上，建立注采系统代理模型以及生产优化框架，解决油田开发过程中注入优化问题，为决策者提供更多更有效的选择和指导，到达降本增效的目的。

本实施例的油田生产系统决策优化方法首先基于现场提供的真实监测数据基于机器学习建立油藏注采系统代理模型，取代复杂的传统的数值模拟器，无需考虑复杂地质结构以及多相渗流机理，然后基于代理模型，确定输入参数对模型的敏感度，进而以此提供了一种井间连通性评价方法。接着构建面向注气油藏生产优化的评估函数，以注入量和注入压力之间的关系模型以及边界条件为约束，以注采系统代理模型为基础，以评估函数为优化方向去寻找油藏生产优化方案，建立智能注采优化模型；技术思路图如图1所示，包括以下步骤：

S1，收集现场动态生产数据，建立油藏生产优化的数据立方体；

S2，基于建立的数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型；

S3，基于油藏注采系统代理模型，定量表征注入井和生产井之间的连通性；

S4，构造面向注气油藏生产优化的评估函数；

S5，在生产优化过程中建立基于输入参数的强制约束模型及边界约束条件；

S6，以约束模型及边界约束条件为约束，基于油藏注采系统代理模型，以评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案。

下面结合图2至图5，逐一对上述各步骤进行详细说明。

第一步，收集现场动态生产数据，建立油藏生产优化的数据立方体；首先收集油藏生产井(目标井)以及周围邻近的注入井(注气井)的动态生产数据，其中生产井的数据包括：产油量(Qo)、产气量(Qg)、气油比(GOR)、开关井状态(SI)、油嘴大小(CS)；注入井的数据包括：注气量(IV)、注入压力(IP)、注入模式(IM)。开关井状态分别用0/1来表示关井/开井，注入模式分别用001/010/100来表示停止注入/注气/注水。本次实验以五点井网为例，即一个生产井和周围四口注入井，生产井的数据集可表示为A＝[Qo^t，Qg^t,GOR^t,SI^t,CS^t],注入井的数据集可表示为B＝[IV^w,t,IP^w,t,IM^w,t],其中w和t分别为井号(分别为#1，#2，#3，#4)及开发周期时间(4500天)，形成油藏生产优化的数据立方体。

第二步，基于建立的数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型；从构建好的数据立方体中抽取模型训练所需的数据集D＝[A,B]，总体样本数为4500个，将数据集按照9：1的比例划分为训练集和测试集，得到训练集D^train＝[A^1-4000,B^1-4000]以及测试集D^test＝[A^{4001 -4500},B^4001-4500]，其中1-4000表示时间范围从第1天到第4000天；同时，无论是对于训练集还是测试集而言，都需要定义其输入以及输出，用于模型的训练和验证，即训练集为D^train＝[X^train,Y^train]和测试集D^test＝[X^test,Y^test]，其中，X和Y分别代表了输入及输出参数，X＝[SI^t,CS^t,IV^w,t,IP^w,t,IM^w,t]以及Y＝[Qo^t,Qg^t,GOR^t]。构建一个基于深度神经网络的机器学习模型，其中隐含层层数为3层，每层神经元个数为60，可以表示为F(D；W,θ)；其中，W表示神经元之间的连接权重，θ表示每个神经元当中的阈值，D表示该机器学习模型所需的数据集。机器学习模型的核心就是通过数据集的输入和输出参数，利用反向传播算法不断调整模型中的权重以及阈值，从而可以使得预测结果不断逼近真实值。最终可以得到基于强制学习的油藏注采系统代理模型F，对于训练集和测试集的预测结果可以分别表示为：

Y_pred^train＝[Qo_pred^t_train,Qg_pred^t_train,GOR_pred^t_train]

Y_pred^test＝[Qo_pred^t_test,Qg_pred^t_test,GOR_pred^t_test]

如图2所示为注采代理模型对于日产油量的预测结果，其中，横轴是实际的日产油量，纵轴为预测的日产油量，可以看到相对误差基本都在15％以内，无论是测试集还是训练集都表现除了很好的预测性能。

第三步，基于油藏注采系统代理模型，定量表征注入井和生产井之间的连通性；形成基于注采系统代理模型的井间连通性评估方法。注采系统代理模型提供了一种强制学习的方式对真实现场监测数据进行历史拟合，基于预测结果的对比分析证明该模型已经学习到了数据之间的非线性特征关系，并具有较高的准确率和可信度。模型的输入数据包括了4口注入井的注入量、注入压力、注入模式，以及1口生产井的生产措施包括油嘴大小和开关井状态，共计14个变量。首先计算每一个变量对于模型的重要性，即随机改变输入集中某一个变量的数据的顺序，保持其他变量不变，从而构建新的训练集，如D_SI＝[R(SI^t),CS^t,IV^w,t,IP^w,t,IM^w,t],R为随机函数，D_SI表示变量中开关井状态(SI)被改变了的数据集。利用新的数据集训练机器学习模型并计算出相应的预测结果的误差，该误差与基于原始数据集训练的机器学习模型预测误差间的差值可表示为：

E(SI)＝MAE[F(D_SI,W,θ)--MAE[F(D,W,θ)-

其中，E(SI)表示参数开关井状态的敏感性，MAE为平均绝对误差函数，F为注采系统代理模型。基于上述方法，可以计算出每一个参数对于模型的敏感度，同时，注入井和生产井之间的连通性可以表示为：

其中，L_#01为第一口注入井和生产井之间的连通因子，五点井网中有4口注入井，因此i最大为值4。利用上述方法可以定量表征注入井和生产井之间的连通性。如图3所示为对于一组五点井网中，输入参数对于模型的敏感度以及注采井之间的连通性计算结果。

第四步，构造面向注气油藏生产优化的评估函数；注气开发油藏中气油比(GOR)高会具有安全隐患，一些具有腐蚀性的酸性气体会破坏管道等基础设施，并且容易引发气窜等现象，不利于油藏的持续性开发。因此，油气田开发过程中往往希望可以在低气油比条件下尽可能的增大产油量，保证可持续发展的前提下增大经济效益。因此，本次项目的一个目标为产油量大，可以表示为Obj_01＝MAX(Qo),另外一个目标为气油比低，可以表示为Obj_02＝MIN(GOR),为了满足上述两个目标，构建了面向注气油藏生产优化的评估函数为：

其中，O(x)为评估函数，Qo为产油量，GOR为气油比，exp{}为指数函数，该指数函数可以用于放大比值的变化程度。

基于该评估函数可明确优化问题的优化方向。如图4所示详细的展示了油藏生产优化在两个目标下基于评估函数的寻优方向，方便寻找最优的优化解集。

第五步，在生产优化过程中建立基于输入参数的强制约束模型及边界约束条件；在实际的生产过程中，每口注入井的注入量和注入压力是具有隐含的关系，注入量越大往往意味着注入压力也会越高，然而在进行优化过程中，注入量和注入压力会作为两个不想关的变量进行随机取值，因此在这种寻优机制下得到的不同注入井的注入量和注入压力明显不符合实际生产需求，因此需要建立注入量和注入压力之间的物理约束模型，即以注入量为输入，以注入压力为输出，通过机器学习模型构建可以利用注入量来预测注入压力的智能约束模型S，因此，注入量和注入压力之间的关系可以表征为：

IP_pred^w,t＝S(IV^w,t,W,θ)

其中，IP_pred^w,t为第w号注入井在t时刻的注入压力预测值，w为井号，t为开采时间，IV^w,t为第w号注入井在t时刻的注入量，W为机器学习模型神经元之间的权重，θ为神经元中的阈值。另外，对于优化模型中注入井对应的输入变量，依然需要边界约束条件，可以表示为：

IV^w,t∈{a*Ave(IV),b*Max(IV)},IP^w,t∈{Min(IP),Max(IP)}

其中，a和b为约束因子，取值范围为a∈(0,1),b∈(0.5,2)；IP^w,t为第w号注入井在t时刻的注入压力；Ave(IV)为注入量的平均值，Max(IV)为注入量的最大值，Min(IP)为注入压力的最小值；Max(IP)为注入压力的最大值。

除此之外，对于生产措施中油嘴大小的约束条件可以表示为：

CS^t∈{0,AVE(CS)+c*(MAX(CS)-MIN(CS))}

其中，CS^t为生产井在t时刻的油嘴大小；AVE(CS)为油嘴大小的平均值；c为浮动系数，MAX(CS)为油嘴大小的最大值，MIN(CS)为油嘴大小的最小值。

第六步，以约束模型及边界约束条件为约束，基于油藏注采系统代理模型，以评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案；建立以粒子群算法为基础的注采优化模型，模型的输入为各个注入井的注入量、注入压力及注入模式，输出结果包括目标井的产油量及气油比，以注入量和注入压力之间的关系模型及边界条件为约束，以注采系统代理模型为基础，以评估函数为优化方向去寻找油藏生产优化方案。更进一步，不同的注入方案会被优化出来，基于这些优化出来的注入模式利用注采代理模型来计算相应条件下生产井的产油量和气油比，并以此寻找针对油藏生产优化问题的帕累托前沿，帕累托前沿即为优化问题的最优解集，可以针对不同的开发需求进行方案的选取及优化。如图5所示为通过智能注采优化模型的优化后不同注入模式的预测效果，横轴为产油量，纵轴为气油比，根据优化方向可得到帕累托前沿解集，根据注入模式1的注入方式得到的产油量最大，根据注入模式2的注入方式可得到最优的气油比，利用这个解集可以根据现场的不同需求来进行注入方案的调整等。

综上，本实施例创新性的提出了一种基于强制学习的油田生产系统决策优化方法，该方法无需考虑复杂的地质模型和流动机理，完全基于现场真实监测数据建立注采系统代理模型，可以取代传统的数值模拟器，基于强制学习的优化算法可以快速准确的确定最优的注入模式，具有较高的预测准确率和较强的适应能力，预测速度可以达到秒级，可以很好的解决复杂油田生产优化问题。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种基于强制学习的油田生产系统决策优化方法，其特征在于，包括：

收集现场动态生产数据，建立油藏生产优化的数据立方体；

基于所述数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型；

构造面向注气油藏生产优化的评估函数；

在生产优化过程中建立基于输入参数的强制约束模型及边界约束条件；

以所述约束模型及边界约束条件为约束，基于所述油藏注采系统代理模型，以所述评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案。

2.如权利要求1所述的基于强制学习的油田生产系统决策优化方法，其特征在于，在得到油藏注采系统代理模型后，所述方法还包括：

基于所述油藏注采系统代理模型，定量表征注入井和生产井之间的连通性。

3.如权利要求2所述的基于强制学习的油田生产系统决策优化方法，其特征在于，所述定量表征注入井和生产井之间的连通性，包括：

首先，计算所述油藏注采系统代理模型每一个输入变量对于模型的重要性，即随机改变数据集中某一个变量的数据的顺序，保持其他变量不变，从而构建新的训练集，利用新的数据集来训练模型，并计算出相应的预测结果的误差；

然后，计算出基于新的数据集训练的模型预测误差与基于原始数据集训练的模型预测误差之间的差值，作为数据集中相应变量对于模型的敏感度；

通过下式，计算出注入井和生产井之间的连通性：

其中，L_j表示第j口注入井和生产井之间的连通因子，E(IV_j)表示第j口注入井的注气量对于模型的敏感度，E(IP_j)表示第j口注入井的注入压力对于模型的敏感度，E(IM_j)表示第j口注入井的注入模式对于模型的敏感度。

4.如权利要求1所述的基于强制学习的油田生产系统决策优化方法，其特征在于，所述收集现场动态生产数据，建立油藏生产优化的数据立方体，包括：

收集油藏生产井以及周围邻近的注入井的动态生产数据；其中，所述生产井的动态生产数据包括：产油量、产气量、气油比、开关井状态以及油嘴大小；所述注入井的动态生产数据包括：注气量、注入压力以及注入模式；

利用收集到的动态生产数据，建立油藏生产优化的数据立方体。

5.如权利要求4所述的基于强制学习的油田生产系统决策优化方法，其特征在于，基于所述数据立方体对预设的机器学习模型进行训练，得到用于根据现场动态生产数据预测产油量的基于强制学习的油藏注采系统代理模型，包括：

从所述数据立方体中抽取模型训练所需的数据集，将数据集按照9：1的比例划分为训练集和测试集，得到训练集以及测试集；其中，数据集中的生产井的开关井状态和油嘴大小，以及注入井的注气量、注入压力和注入模式作为模型的输入，数据集中的生产井的产油量、产气量和气油比作为模型的输出；

构建一个基于深度神经网络的机器学习模型；其中，所述机器学习模型的隐含层层数为3层，每层神经元个数为60个；

采用所述训练集对所述机器学习模型进行训练，并采用所述测试集对训练后的机器学习模型进行测试，得到基于强制学习的油藏注采系统代理模型。

6.如权利要求1所述的基于强制学习的油田生产系统决策优化方法，其特征在于，所述评估函数的表达式为：

其中，O(x)为评估函数，Qo_(f(D,W,θ))为产油量，GOR_(f(D,W,θ))为气油比。

7.如权利要求6所述的基于强制学习的油田生产系统决策优化方法，其特征在于，所述建立基于输入参数的强制约束模型及边界约束条件，包括：

建立注入量和注入压力之间的物理约束模型，即以注入量为输入，以注入压力为输出，通过机器学习模型构建可以利用注入量来预测注入压力的智能约束模型S，因此，注入量和注入压力之间的关系表征为：

IP_pred^w,t＝S(IV^w,t,W,θ)

其中，IP_pred^w,t为第w号注入井在t时刻的注入压力预测值，IV^w,t为第w号注入井在t时刻的注入量，W为机器学习模型神经元之间的权重，θ为神经元中的阈值；另外，对于注入井对应的输入变量，设置如下边界约束条件：

IV^w,t∈{a*Ave(IV),b*Max(IV)},IP^w,t∈{Min(IP),Max(IP)}

其中，a和b为约束因子，取值范围为a∈(0,1)，b∈(0.5,2)；IP^w,t为第w号注入井在t时刻的注入压力；Ave(IV)为注入量的平均值，Max(IV)为注入量的最大值，Min(IP)为注入压力的最小值；Max(IP)为注入压力的最大值；

此外，对于生产措施中油嘴大小的边界约束条件表示为：

CS^t∈{0,AVE(CS)+c*(MAX(CS)-MIN(CS))}

其中，CS^t为生产井在t时刻的油嘴大小；AVE(CS)为油嘴大小的平均值；c为浮动系数，MAX(CS)为油嘴大小的最大值，MIN(CS)为油嘴大小的最小值。

8.如权利要求7所述的基于强制学习的油田生产系统决策优化方法，其特征在于，以所述约束模型及边界约束条件为约束，基于油藏注采系统代理模型，以评估函数为优化方向，寻找油藏生产优化方案，得到最优生产方案，包括：

建立以粒子群算法为基础的注采优化模型，所述注采优化模型的输入为各个注入井的注入量、注入压力以及注入模式，输出为目标井的产油量及气油比；

以注入量和注入压力之间的关系模型以及边界约束条件为约束，以油藏注采系统代理模型为基础，以评估函数为优化方向去寻找油藏生产优化方案；

将不同注入方案优化出来，基于优化出的注入方案利用所述注采系统代理模型计算相应条件下生产井的产油量和气油比，并以此寻找针对油藏生产优化问题的帕累托前沿，基于所述帕累托前沿，根据不同需求进行方案的选取及优化。

Images