CN102007485A - 储层开发计划的基于markov决策过程的决策支持工具 - Google Patents

Abstract

本发明涉及一种储层开发计划的基于Markov决策过程的支持工具，该工具可包含输入数据源、优化模型、模拟储层的高保真度模型，以及与优化模型接口的一个或更多求解例程。优化模型可考虑直接在优化模型内具有不确定性的未知参数。模型包含决策者在真实世界中具有的灵活性，并允许决策者基于新信息调节决策。模型可以系统地处理不确定数据，例如全面地或甚至考虑所有不确定数据。因此，优化模型可提供灵活或鲁棒的解决方案，该解决方案在不确定性空间内仍可行。一旦储层模型被优化，则可生成最终的开发计划。

Description

储层开发计划的基于MARKOV决策过程的决策支持工具

相关申请的交叉引用

本申请要求美国临时专利申请61/124,681的权益，该申请于2008年4月18日提交，标题为MARKOV DECISION PROCESS-BASEDDECISION SUPPORT TOOL FOR RESERVOIR DEVELOPMENTPLANNING，其全部内容通过引用合并于此。

技术领域

本发明通常涉及油气生产，并且具体涉及考虑不确定性的储层开发计划。

背景技术

开发和管理石油资源通常需要多年的大量经济投资，同时期待收到对应的大量财政回报。石油储层是产生利润还是亏损主要取决于为储层开发和管理实施的策略和战略。储层开发计划包括策划和/或选择长期产生有利经济结果的强有力的策略和战略。

储层开发计划可包括做出涉及例如生产平台的规模、计时(timing)和位置以及后来的扩展和连接的决策。关键决策可包括平台数量、位置、分配，以及在每个油田中的钻井和完井的计时。钻后决策可以包括确定多井的产出率分配。任何一个决策或行为可能具有系统范围的影响，例如通过石油操作或储层传播积极或消极影响。考虑到仅仅是面对石油资源管理人员的许多决策中有代表性的一小部分的储层开发计划的上述方面，人们可以认识到计划的价值和影响。

基于计算机的建模对储层开发计划具有显著潜力，特别是与先进数学技术结合时。基于计算机的计划工具支持做出优良的决策。一类计划工具包括基于处理各种信息输入识别针对一组决策的最优解决方案的方法。例如，示例性优化模型可以朝着找到从具有定义的一组约束的已知可能中产生最佳产出的解决方案的方向运转。因此，石油操作可以通过适当应用用于优化石油资源开发计划和管理的优化模型实现大的经济利益，特别是那些涉及针对多年的多个油或气田做出决策的模型。

在此使用的术语“最优的”、“进行优化”、“使优化”、“最优性”、“优化”(以及派生词和这些术语的其它形式，以及语言学上相关的单词和短语)并非要在要求本发明寻找最佳解决方案或做出最佳决策方面起限制性的作用。尽管数学上最优的解决方案事实上可以获得所有数学上可获得的可能性中的最佳可能性，但优化例程、方法、模型和过程的真实世界实施例可能朝着这样的目标运转而不曾真实地实现完美。因此，本领域技术人员在受益于本公开的情况下将理解这些术语在本发明范围的背景下是是更通用的。这些术语可描述朝着一个解决方案运转，该解决方案可能是最佳可获得的解决方案、优选解决方案或在约束范围内提供特定益处的解决方案；或持续改善的解决方案；或细化的解决方案；或搜索目标的高点或最大值的解决方案；或处理从而减少罚函数(penalty function)的解决方案；等等。

在某些示例性实施例中，优化模型可以是函数和方程的代数系统，包含(1)可能限于具体域范围的连续变化或整数变化的决策变量，(2)基于输入数据(参数)和决策变量的约束方程，其限制变量在指定条件集内的活动，所述条件集限定解决的优化问题的可行性，和/或(3)基于输入数据(参数)和决策变量的目标函数，通过最大化目标函数或最小化目标函数来优化目标函数。在某些变化中，优化模型可包括不可微分、黑盒与其它非代数函数或方程。

典型的(确定性的)数学优化问题包括受到关于问题变量的一组约束的某个目标函数的最小化或最大化。这些问题可经常公式化为动态(Dynamic)规划(DP)问题。在DP问题中，决策时间范围(timehorizon)被划分成一组“阶段”，并且系统处于若干“状态”中的一个。它可有助于使DP问题可视化为X-Y坐标系，其中x轴用“阶段”表示，而y轴用“状态”表示。在每个“阶段”，决策者采取导致系统从一个阶段的一个状态转为在下个阶段的不同状态的“行动”或决策。在一类DP问题中，目标函数可以最小化以确定总成本，或者可以最大化以确定遍及整个计划范围内的总收入。在系统转换前，在每个阶段基于选择的决策和当前状态获得成本/收入。假设成本函数在整个阶段内可分离，而且系统是马尔可夫模型(Markovian)；即，系统转换至阶段n+1的状态仅取决于它在阶段n的状态和在阶段n采取的行为。

动态规划可表示为(S，A，R)，其中S是状态空间，A(s)是在状态s可采取的行为的集合，R(s，a)是在状态s选择行为a的收益。动态规划作被公式化为如下所示的递归优化问题：

1.对于n＝1，2，3，...，N，

a. ${J_n}^{*}\left(s\right)=\underset{a}{\min }[c(s,a)+{J_{n+l}}^{*}(f,(s,a))]$

2.其中

3.

4.c(s，a)＝在状态s中选择行为a的成本

5.f(s，a)＝转换函数，其在给定系统处于阶段n中的状态s中并选择行为a的情况下确定在阶段n+1中的状态。

假设最终收益

已知。动态规划的目标是找到

其中s₀是系统初始状态。当时间范围有限时，可以使用后向递归求解动态规划。然而，当时间范围无限时，可使用例如值/策略迭代等算法求解动态规划。

求解数学优化问题可包含寻找决策变量的值，以满足全部约束，其中通过改变变量值而仍旧保持关于全部约束的可行性来改善目标函数的值在数学上基本不可能。在问题的“已知”固定参数中的一些实际上不确定时，做出决策的一种通用方法是忽略不确定性并将问题作为确定性优化问题建模。然而，确定性优化问题的解决方案可以是次优化的，或可能甚至是不可行的，尤其是在问题参数的取值最终不同于被选择用作求解的优化模型的输入的那些值的情况下。

储层开发计划的优化处理可能是挑战性的，即使假设储层和地面设施的经济情况和动态完全已知。通常，大量软硬约束适用于甚至更大数量的决策变量。实际上，然而，储层动态、经济情况和/或决策过程的其他组成部分中存在使优化处理复杂化的不确定性。

发明内容

传统储层开发计划技术通常无法适当考虑这样的不确定性。在与开发计划有关的信息和因素中，不确定性通常是固有的。即，优化问题的输入(和或许问题的数学建模)含有不确定性。不确定性可视作非确定性的或经过推理(a priori)保持未知的特征或方面。应用计算机编程以对石油资源的开发和管理作决策支持的常规途径不对这种不确定性作充分全面的了解。

当前，对储层动态、经济或决策过程的其它部分中的不确定性的考虑通常降至数量非常有限的情形，例如由“高边”情形、“最可能”情形以及“低边”情形所表示的不确定性。例如，储层动态中的不确定性对于上述三种情形中的每种情形通常通过在不确定性空间内对随机点采样而降到已知值。在此使用的术语“不确定性空间”通常指与求解中的问题有关的不确定性的表示，例如针对输入到优化例程的数据的集体不确定性。

基于不确定性空间的有限采样，一个值被分配给“高边”情形、“最可能”情形和“低边”情形。通常针对具体情形优化决策通常针对“最可能”情形，并随后针对剩余的两种情形评估决策以提供可接受的风险等级。然而，此途径完全低估了不确定性的复杂性，并且会导致次优化的或与某些其它尚未确认的解决方案相比更不利的解决方案。

基于前面的讨论，本领域显然需要有助于储层开发计划和/或可提供与储层开发和资源管理有关的决策支持的改善型工具。进一步存在对可以针对计划或决策支持考虑宽范围不确定性的工具的需求。进一步存在对在用来产生计划或决策支持的模型内系统地处理不确定数据的工具的需求。进一步存在对可以操纵与产生储层开发计划或决策支持有关的全部不确定性空间的工具的需要。进一步存在对一种工具的需求，其中数据中的固有不确定性直接并入决策优化模型中，由此获得与不确定性的各种实现中的决策有关的权衡，并因此在做出关于石油和/或天然气储层开发计划的决策时可获得更好的信息。本领域需求的上述讨论意指代表性的而非详尽。满足一个或更多这种需要或者克服该领域中某些其它相关缺点的技术将有益于储层开发计划，例如提供用于更有效且更有利地开发和管理储层的决策或计划。

本发明支持做出决策、计划、策略和/或战略用于开发和管理石油资源，例如石油储层。

在本发明的一方面，基于计算机或基于软件的方法可提供与开发一个或更多石油储层有关的决策支持。例如，该方法可基于与储层和/或操作有关的输入数据产生储层开发计划。这种输入数据可包含未知或不确定的流体动力学、储层尺寸、当前开发状态、当前和预计油价、钻探成本、钻井(rig time)时间的每小时成本、地质数据、资本成本、当前和预计可用资源(人力、财政、设备等等)以及规章环境，以列出少量有代表性的可能数据。输入数据可具有不确定性。更具体地，输入数据的每个元素可具有不确定性的相关级别、量或表示。输入数据中的一些可以是具有高级不确定性的已知数据(例如钻井时间的当前成本)，而其它输入数据可具有各种程度的不确定性。例如，未来钻井时间成本的不确定性可随着投入未来的时间量的增加而增加。即，开发计划第五年的钻井时间成本的不确定性将可能比第二年的钻井时间成本的不确定性更高。输入数据的集合不确定性可定义不确定性空间。软件例程可通过处理输入数据和考虑不确定性空间产生储层开发计划，例如通过应用基于Markov决策过程的例程。例如，产生储层开发计划可包含输出计划的某方面、做出与生成或改变计划有关的确定或做出关于一个或更多决策的推荐，该决策与储层开发计划或管理有关。

在一个通常方面，储层开发计划的方法包括接收与储层开发有关的数据。通过计算机实现的基于Markov决策过程的模型处理接收的数据。储层开发计划响应通过计算机实施的基于Markov决策过程的模型处理接收的数据而生成。

该方面的实施可包括一个或更多以下特性。例如，储层开发计划可以根据与接收的数据关联的不确定性空间生成。计算机实施的基于Markov决策过程的模型可以包括基于接收的数据和不确定性空间优化储层开发计划的至少某个方面。接收数据可包括接收已知数据参数和不确定的数据参数。通过计算机实施的基于Markov决策过程的模型处理接收的数据可包括利用并入不确定数据参数的基于Markov决策过程的模型处理所述数据。不确定性空间可能与接收的数据有关。通过计算机实施的基于Markov决策过程的模型处理接收的数据可包括整体考虑不确定性空间。基于Markov决策过程的模型可包括多个阶段、每个阶段中的多个状态和/或包括多个转换概率，每个阶段都代表时间上不连续的步幅，每个状态代表储层开发计划的潜在状态。每个转换概率都代表数据中的不确定性，并且每个转换概率由储层开发计划的当前状态和要采取的决策来确定。未来状态根据转换概率确定。在基于Markov决策过程的模型内的多个阶段中的每个阶段，允许决策者采取一个或更多纠正决策。

在另一通常方面中，储层开发计划的方法包括接收与储层开发计划有关的数据，其中不确定性与数据有关。响应利用并入不确定性的基于计算机的优化模型处理接收的数据，产生储层开发计划的至少某部分。在不确定性随时间逐渐显露时，采取一个或更多纠正决策。

该方面的实施可包括一个或更多以下特性。例如，基于计算机的优化模型可以是基于Markov决策过程的模型。不确定性可通过获得不确定性的多种实现之间的权衡并入基于Markov决策过程的模型中。响应使用并入不确定性的基于计算机的优化模型处理接收的数据，产生储层开发计划的至少某部分可包括实现整个不确定性空间中的优化问题的可行性。响应使用并入不确定性的基于计算机的优化模型处理接收的数据，产生储层开发计划的至少某部分可包括系统地处理基于Markov决策过程的模型内的不确定性数据。

在另一通常方面，关于石油资源开发的决策支持的方法包括接收与开发石油储层的决策有关的多个数据元素，其中不确定性的相应特征与数据元素中的每个数据元素有关。响应使用基于计算机的基于Markov决策过程的模型处理每个数据元素和不确定性的相应特征中的每个，输出对决策的建议。基于Markov决策过程的模型包含不确定性的相应特征中的每个。使用基于计算机的基于Markov决策过程的模型处理数据元素中的每个和不确定性的相应特征中的每个可包括覆盖不确定性空间。

在另一通常方面，基于计算机优化储层开发计划的方法包括提供包含不确定性的输入数据。储层的第一模拟采用储层或地面设施动态的高保真度模型利用输入数据生成，其中第一模拟生成第一高保真度输出数据。储层或地面设施动态的低保真度模型使用输入数据和第一高保真度输出数据生成，其中低保真度模型生成预测。储层开发计划模型利用输入数据和储层或地面设施动态的低保真度模型进行优化，其中储层开发计划模型生成储层开发计划输出数据。储层开发计划模型包括基于Markov决策过程的模型。储层的第二模拟采用储层或地面设施动态的高保真度模型利用输入数据和储层开发计划输出数据执行，其中第二模拟生成第二高保真度输出数据。第二高保真度输出数据与低保真度模型的预测比较。重复生成储层或地面设施动态的低保真度模型、优化储层开发计划模型、使用储层或地面设施动态的高保真度模型执行储层的第二模拟以及比较第二高保真度输出数据与低保真度模型的预测的步骤，直到第二高保真度输出数据与低保真度模型的预测基本一致。

该方面的实施可包括一个或更多以下特性。例如，可响应第二高保真度输出数据与低保真度模型的预测基本一致，生成开发计划。与基于Markov决策过程的模型接口的求解例程可帮助基于Markov决策过程的模型优化储层开发计划。基于Markov决策过程的模型可包括有助于优化储层开发计划的求解例程。

在另一通常方面中，从地下储层生产碳氢化合物的方法包括基于输入数据生成储层开发计划系统。储层开发计划系统根据不确定性空间被优化，其中储层开发计划系统利用基于Markov决策过程的模型被优化。根据被优化的储层开发计划系统的输出，从储层产生碳氢化合物。输入数据可包括确定性分量和非确定性分量。根据不确定性空间优化储层开发计划系统可包括使用基于Markov决策过程的模型考虑非确定性分量中的每个。基于Markov决策过程的模型可并入输入数据的不确定性。不确定性空间可指定输入数据的固有不确定性。储层开发计划系统可包括具有低保真度储层模型和高保真度储层模型的基于Markov决策过程的模型。高保真度模型可从基于Markov决策过程的模型接受一个或更多参数输入数据，并向基于Markov决策过程的模型提供一个或更多储层或地面设施性质输入数据。储层开发计划系统可使用高保真度模型模拟储层的操作；以及使用低保真度模型模拟储层的操作而被优化。

该发明内容中的储层开发的决策支持工具的讨论仅用于说明的目的。可以从公开实施例的以下详细描述并参考下面附图和权利要求更清楚理解和认识本发明的各方面。此外，对于本领域技术人员来说，查看以下附图和详细描述后，本发明的其它方面、系统、方法、特性、优点和目标将是显而易见的。所有这样的方面、系统、方法、特性、优点和目标都将包含在此说明书中、将属于本发明的范围，并由所附权利要求来保护。

附图说明

图1是根据本发明某些示例性实施例的基于Markov决策过程的模型的图解，该模型代表与在若干步骤中求解的储层模型的数据有关的不确定性和不确定性随时间的求解。

图2是根据本发明某些示例性实施例的包括定义多个节点的网格的三维储层模型的图解。

图3是根据本发明某些示例性实施例模拟图2的储层模型的操作的储层模拟器的流程图解。

图4是根据示例性实施例表示储层区域的不确定生产剖面的离散概率分布的图表。

图5是根据示例性实施例代表储层的三种可能状况的生产剖面的图表。

图6是根据本发明某些示例性实施例的基于Markov决策过程的储层开发计划系统的示意图解。

图7是根据本发明某些示例性实施例的操作图6的基于Markov决策过程的储层开发计划系统的方法的流程图解。

可参照上述附图更好地理解本发明的许多方面。附图中示出的元素和特性未必成比例绘制，相反重点是要清楚地说明本发明示例性实施例的原理。在附图中，参考标记指代所有图形中相似或对应的元素，但不必需相同。

具体实施方式

本发明示范实施例支持在不确定参数的详情仍未知时做出关于储层开发计划的决策。不确定参数随时间逐渐显露，并且决策可能需要在将可用信息并入到决策过程的同时每隔一段时间做出。这些不确定性及其随时间的演变可直接在作为基于Markov决策过程模型的优化模型内考虑，该模型另称为随机动态规划模型(“SDP”)。在示例性实施例中，基于Markov决策过程的模型系统地处理所有不确定数据。不确定性由将进一步讨论的控制阶段之间转换的转换概率来表示。这样的范例允许产生覆盖不确定性空间、仍旧可行的、灵活且鲁棒的解决方案，并允许在输入数据中的不确定性的最优性和随机性之间做出权衡以反映决策者的风险态度。

基于Markov决策过程的模型不仅将不确定性表示并入到优化模型中并针对所有情形明确评估解决方案的表现，还并入决策者在真实世界中的灵活性以基于随时间推移获得的新信息来调节决策。决策者将能够基于此新信息做出纠正的决策/行为。此特性允许生成更灵活且实际的解决方案。另外，此模型易于并入状态方程的黑盒函数，并允许使用复杂的条件转换概率。

在某些示例性实施例中，基于Markov决策过程的建模提供储层开发计划的途径，并有效处理不确定性。基于Markov决策过程的建模的一个示例性实施例利用已知或可估计支配储层开发计划数据的概率分布的事实。在一些实施例中，基于Markov决策过程的建模可用来寻找对全部或接近全部的可能数据实例可行的策略，并且最大化决策和随机变量的某一函数的期望值。

本发明可以以多种形式实施，并且不应解释为限于本文阐述的实施例；相反，提供这些实施例是为了使本公开是详尽且完整的，并向本领域技术人员全面地告知本发明的范畴。此外，除了受到本发明的表述支持以外，本文给出的全部“示例”或“示例性实施例”意指不受限的。

将参照图1-6详细描述本发明的示例性实施例。图1是根据本发明的某些示例性实施例的基于Markov决策过程的模型的图示说明，该模型代表与若干步骤中求解的储层模型的数据有关的不确定性和不确定性随着时间的解。基于Markov决策过程的模型100图示说明具有三个阶段110(112、114和116)和每个阶段110的四个状态(122、124、126和128)的模型。阶段110代表时间范围，状态120用来代表约束条件，行为(未示出)代表决策变量，并且转换概率150是基于数据概率分布。这些转换概率代表数据中的不确定性。尽管在此基于Markov决策过程的模型中图示说明三个阶段和四个状态，但是不偏离该示例性实施例精神和范畴的任意数量的阶段和状态都是可能的。

根据图1，在阶段T＝1112，系统可处于第一状态122、第二状态124、第三状态126或第四状态128。在阶段T＝2114，系统可处于第五状态130、第六状态132、第七状态134或第八状态136。在阶段T＝3116，系统可处于第九状态138、第十状态140、第十一状态142或第十二状态144。图1示出当初始状态处于第一状态122时不确定性随着时间推移的解。

当系统初始状态处于阶段T＝1112和第一状态122时，系统可基于第一转换概率152转换到第五状态130、基于第二转换概率154转换到第六状态132、基于第三转换概率156转换到第七状态134，或基于第四转换概率158转换到第八状态136。转换概率150基于将采取的计划的行为。另外，转换概率的数量等于阶段T＝2114的未来状态的数量。转换概率范围可以从0％到100％。根据实施例中的某些实施例，转换概率大于零，但小于一百。

当系统的状态处于阶段T＝2114和第五状态130时，系统可基于第五转换概率160转换到第九状态138、基于第六转换概率162转换到第十状态140、基于第七转换概率164转换到第十一状态142，或基于第八转换概率166转换到第十二状态144。转换概率150基于要采取的计划的行为。另外，转换概率的数量等于阶段T＝3116的未来状态的数量。转换概率范围可以从0％到100％。根据实施例中的某些实施例，转换概率大于零，但小于一百。

然而，如果系统处于阶段T＝2114和第六状态132，则系统可基于第九转换概率168转换到第九状态138、基于第十转换概率170转换到第十状态140、基于第十一转换概率172转换到第十一状态142，或基于第十二转换概率174转换到第十二状态144。转换概率150基于将采取的计划的行为。另外，转换概率的数量等于阶段T＝3116的未来状态的数量。转换概率范围可以从0％到100％。根据实施例中的某些实施例，转换概率大于零，但小于一百。

因此，根据一个实施例，决策者的最终收益将处于阶段T＝3116和第九状态138。如果决策者在阶段T＝1112和第一状态122开始，则决策者可以要求从阶段T＝1112的第一状态122开始经阶段T＝2114的第五状态130行进至阶段T＝3116的第九状态138。决策者认为某些行为将促进含有不确定性的基于转换概率150的进程。然而，由于不确定性，决策者可以更改为从阶段T＝1112的第一状态122开始行进至阶段T＝2114的第六状态132。在阶段T＝2114第六状态132，决策者可采取纠正行为，从而决策者可以尝试行进到T＝3116的第九状态138。尽管提供了到达阶段T＝3116的第九状态138的两个示例，但是可以获得到达T＝3116的第九状态138的最终收益的许多路径，而不背离示例性实施例的范围和精神。另外，尽管最终收益被描述为阶段T＝3116的第九状态138，但是最终收益可以是在任何未来阶段的任何其它状态，而不背离该示例性实施例的范围和精神。此外，尽管已经示出第一状态122可前进到第九状态138，但是阶段T＝1122的任何初始状态都可以基于采取的行为和转换概率前进到阶段T＝3116的任何最终状态。

受不确定性影响的、基于Markov决策过程的模型的应用可包括投资、生产或开发的长期计划，其中固定决策随着时间发生在各阶段中。因此，随着时间的推移，创建考虑更多明确信息的机会。模型中的决策也可以包括与行为对应的决策，该行为可以恢复与不确定性有关的信息。嵌入在基于Markov决策过程的模型中的追偿(recourse)允许决策者基于获得的信息调节其决策或采取纠正的行为。在此使用的术语“追偿”指代在随机事件发生后采取纠正行为的能力。通过导致鲁棒的、灵活的、更高价值的决策和真实世界中作出决策的真实模型的追偿，基于Markov决策过程的模型可提供更为优化的解决方案。

图2是根据本发明某些示例性实施例的三维储层模型200的图示说明，该模型包括定义多个节点204的网格206。储层模型200可用于模拟具有一个或更多垂直井202的油和/或气储层的操作。如所示，储层模型200可由网格206分为多个节点204。网格206代表单元格式的地质构造，从而支持根据网格206的对储层和地质信息的基于计算机的处理。储层模型200的节点204可具有不一致的尺寸。该三维储层模型200可提供协同储层模拟器使用的附加数据。

图3是根据本发明某些示例性实施例模拟图2的储层模型200的操作的储层模拟器300的流程图示说明。在示例性实施例中，模拟器300包含在计算机系统上执行的一组指令。即，模拟器300包含在一台或一台以上计算机上运行的一个或更多软件程序。另外，计算机可具有执行该模拟的一个或更多处理器。

参考图2和图3，储层模拟器300模拟储层模型的操作，其中井管理302针对储层模型200的井202和地面设施网络执行。井管理302在储层200中所有井202上执行，并包括迭代过程304，其中雅可比构造(Jacobian construction)和流量计算306被执行，接着执行线性求解308和一个或更多性质计算310。线性求解308和/或一个或更多性质计算310在代表诸如网格206中的网点的压力和构成的大型数据阵列上执行。

一旦针对储层模型200中的井202的迭代过程304完成且收敛，之后井202的数据在结果/检查点I/O 312中生成。一旦井202的井管理302完成，可以针对整个储层模型200的剩余井202执行井管理302，其中每个井202的结果在结果/检查点I/O 312中生成。

储层模拟器300可例如使用一台或一台以上通用计算机、专用计算机、模拟处理器、数字处理器、中央处理器和/或分布式计算系统来实施。即，储层模拟器300可包含计算机可执行指令或代码。

储层模拟器300的输出可包含在图形用户界面(GUI)上显示的结果、数据文件、在介质例如光盘或磁盘上的数据、纸报告或传输给另一计算机或另一软件例程的信号(不是详尽的清单)。

储层模型200和储层模拟器300可用来模拟储层操作，由此允许对碳氢化合物储层、井和相关地面设施中的流体、能量和/或气体流动的建模。储层模拟器300是储层优化的一部分，此优化还包括构建准确表示储层的数据。示例性的模拟目标包含理解地层流动模式，以优化自井202和地面设施的某个组合生产碳氢化合物的某些策略。模拟通常是费时的迭代过程的部分，以在优化生产策略的同时降低关于特定储层模型描述的不确定性。例如，储层模拟，是计算流体动力学模拟的一种。

储层模型200和储层模拟器300可进一步用来优化对应储层、井和相关地面设施的设计和操作。

参考图4和5，图4是根据示例性实施例表示储层区域的不确定产出剖面(production profile)的离散概率分布的图表，而图5是根据示例性实施例表示储层的三种可能状况的产出剖面的图表。在概率分布连续的情况下，某种形式的采样技术包括但不限于采样平均近似值，该采样技术用于将模型的不确定性离散化。根据图4中的不确定产出剖面表400，低状况(L)410的概率是0.30，或30％，440。另外，中等或基础状况(M)420的概率是0.40，或40％，450。此外，高状况(H)430的概率是0.30，或30％，460。图5图示说明储层的三种可能的产油状况，低状况出油率(oil rate)510、基础状况出油率520和高状况出油率530。产出剖面表500中示出的数据利用储层模拟器中的任何储层模拟器生成。

图6是根据本发明某些示例性实施例的基于Markov决策过程的储层开发计划系统600的示意性图示说明。在示例性实施例中，储层开发计划系统600是计算机程序、基于软件的引擎或计算模块。此外，图6的图形中每个图解的方块都可包含计算机程序、基于软件的引擎或计算模块。因此，例如，可以使用一台或一台以上通用计算机、专用计算机、模拟处理器、数字处理器、中央处理器单元和/或分布式计算系统来实施基于Markov决策过程的储层开发计划系统600。

基于Markov决策过程的储层开发计划系统600包括储层开发计划的一个或更多基于Markov决策过程的模型602。储层开发计划的基于Markov决策过程的模型602是基于Markov决策过程的模型，用于优化给定某种目标客观且受系统约束的情况下的开发计划。

另外，基于Markov决策过程的储层开发计划系统600可进一步包括输入数据的至少一个源604、储层和/或地面设施动态的高保真度模型606，以及求解例程608。储层和/或地面设施动态的高保真度模型606是高保真度模型，或储层模拟模型，或储层模拟模型的集合，其中集合中的每个元素代表不确定性空间的一种可能的实现。高保真度模型也可以仅是包含不确定性的一个储层模拟模型。高保真度模型用来在随后迭代中更新并调节储层开发计划的基于Markov决策过程的模型602。当储层开发计划的基于Markov决策过程的模型602可能在其约束方程的系统内含有储层和/或地面设施动态的高保真度模型606的近似时，这种更新和调节提供改进(refinement)。包括在储层开发计划的基于Markov决策过程的模型602内的低保真度模型提供储层和/或地面设施动态的高保真度模型606的该近似。与高保真度模型的情况类似，低保真度模型可以是各低保真度模型的集合，以使每个元素是高保真度模型的集合中元素的简化。可替换地，低保真度模型可作为包含不确定性的单独模型存在。尽管在示例性实施例中针对高保真度模型和低保真度模型中的每种保真度模型列举了两种形式，但是可针对这些模型中的每个设想其他形式与组合，而不背离示例性实施例的范围和精神。

储层开发计划的基于Markov决策过程的模型602可以自输入数据的源604接收输入数据。输入数据可包括在一个或更多数据表、一个或更多数据库、通过计算机网络或互联网提供的信息、人工录入、来自GUI的用户输入等中的数据项。

在处理输入数据后，储层开发计划的基于Markov决策过程的模型602可提供输出至研究中的储层的储层和/或地面设施动态的高保真度模型606。储层和/或地面设施动态的高保真度模型606可进而提供返回储层开发计划的基于Markov决策过程的模型602的输出数据。最终，储层开发计划的基于Markov决策过程的模型602可以与求解例程608接口(interface)。

本示例性实施例提供基于Markov决策过程的储层开发计划系统600，其中与储层有关的数据中的固有不确定性直接并入到储层开发计划的基于Markov决策过程的模型602内。通过将数据中的不确定性并入到储层开发计划的基于Markov决策过程的模型602内，可以获得与不确定性的各种实现中的决策有关的权衡，并且由此可以在做出关于石油和/或天然气储层开发计划的决策时利用更好的信息。

通常，基于Markov决策过程的模型可以以解析或数字的方式被公式化、求解，并经分析以向决策者提供有用信息。基于Markov决策过程的模型的诸多目标之一是在整个计划范围内最小化预期成本或最大化预期收益，其中不确定性被并入到模型内。基于Markov决策过程的模型或随机动态规划是动态规划的延伸，其中不确定性并入到优化模型中。基于Markov决策过程的模型与动态规划模型类似，除了决定性转换函数由代表系统中的不确定性的转换概率矩阵替代。因此，对于阶段n中的给定状态和行为，系统在阶段n+1中的状态被概率性地建模。基于Markov决策过程的模型可表示为(S，A，P，R)，其中S是状态空间，A(s)是状态s中可采取的行为的集合，P(s，s’，a)是给定行为a下系统将从状态s转换为状态s’的概率，而R(s，a)是在状态s中选择行为a的收益。下面示出基于Markov决策过程的模型的一般公式：

6.对于n＝1，2，3，...，N，

a. ${J_n}^{*}\left(s\right)=\underset{a}{\min }[\underset{s^{,}}{c}(s,a)+\mathrm{\Σ}{P}_a(s,s^{,}){J_{n+l}}^{*}\left(s^{,}\right)]$

7.其中

8.

9.c(s，a)＝状态s中选择行为a的成本

10.Pa(s，s’)＝在给定行为a的情况下，系统将从阶段n中的状态s转换到阶段n+1中的状态s’的概率。

基于Markov决策过程的模型的主要优点是与大多数其它途径不同，该途径提供允许决策者在不确定性随时间逐渐显露(unfold)时采取纠正行为的解决方案。

在示例性实施例中，基于Markov决策过程的储层开发计划系统600提供决策支持工具，从而优化满足所有商业问题约束的目标函数的风险规避(risk averse)、风险中性(risk neutral)或风险追求度量(riskseeking measure)(例如，净现值-NPV)。

在示例性实施例中，储层开发计划的基于Markov决策过程的模型602可以是储层模型200(图2)的数据独立数学抽象。输入数据的源604可以提供储层数据，该储层数据可以例如存储在数据表、数据库、人工录入中并且可以从数据表、数据库、人工录入中检索，或以其他方式存储和检索。储层和/或地面设施动态的高保真度模型606可包括一个或更多储层或地面设施模拟器，例如，储层模拟器300可包含或基于基于软件的工具、程序或装置，例如由(1)Schlumberger Technology公司销售，注册商标为“ECLIPSE”；(2)Landmark Graphics公司销售，注册商标为“VIP”；(3)Landmark Graphics公司销售，注册商标为“NEXUS”的工具、程序或装置。同样，求解例程608可以包含一个或更多例程、方法、过程或算法，用于求解储层开发计划的基于Markov决策过程的模型602。

在示例性实施例中，储层开发计划的基于Markov决策过程的模型602的设计和操作可以与求解例程608完全或部分组合。另外，基于Markov决策过程的储层开发计划系统600的设计和操作可以例如使用一台或一台以上通用可编程计算机来实施，这些计算机可以分布或者不分布在一个或更多通信网内或之间。

图7是根据示例性实施例的操作图6中基于Markov决策过程的储层开发计划系统的方法700的流程图示说明。

在此描述的方法和过程中的某些步骤(参考图7和其它图形)必须自然地先于其它步骤，以使本发明如所描述的来运作。然而，如果这样的顺序或序列不会不利地改变本发明的机能，则本发明不限于描述的步骤的顺序。即，认识到一些步骤可以在其它步骤之前或之后执行或与其它步骤并行执行，而不背离本发明的范围和精神。

本发明可包括可以使用计算机和/或人工操作实施的多个过程。本发明可包含实施本文描述的以及在示例、图表、图形和流程图中图示说明的某些功能的一个或更多计算机程序。然而，显而易见的是存在多种使用计算机编程、人工、不基于计算机的机器或计算机和人工实施的结合来实现本发明的各方面的不同方式。本发明不应解释为受限于任何一组计算机程序指令。进一步地，本领域的普通编程人员将能够基于此公开和本文的教导在毫无困难或不适当试验的情况下编写这样的计算机程序。

因此，公开程序代码指令的特别集合对于适当理解如何实现和使用本发明被认为是不必要的。本发明任何编程方面的创造性机能将在以下描述中结合图示说明功能和程序流以及过程的图形一起做进一步详细说明。

参考图7，参考图1、2、3、4、5和6的示例一起讨论的操作700的方法开始于步骤705并继续到步骤710。在步骤710，开发计划情况输入数据被提供给储层开发计划的基于Markov决策过程的模型602。输入数据可由人工数据录入、数据表和数据库的组合提供，并且可以包括但不限于不确定参数(例如，转换概率、解析的模式和时间)的具体说明、决策变量(例如，实施它们的时间)、风险态度、目标函数，等等。这些输入数据可形成数据实例，该数据实例用于在储层开发计划的基于Markov决策过程的模型602内构成一个或更多数学模型。

在步骤715，初始储层和/或地面设施参数输入数据被提供给储层和/或地面设施动态的高保真度模型606。在步骤720，储层和/或地面设施动态的高保真度模型606模拟储层和/或地面设施。该储层和/或地面设施动态的高保真度模型606可包括储层和地面设施动态的一个或更多高保真度模型，例如上面讨论的储层和设施模拟器。另外，一旦执行模拟，即获得与储层和地面设施的操作有关的数据，其中数据包括但不限于生产估计、结构、流动性质等等。

在步骤725，储层和/或地面设施性质的模拟结果作为储层和/或地面设施性质输入数据提供给储层开发计划的基于Markov决策过程的模型，上述数据也可称为第一高保真度输出数据。

在步骤730，生成初始低保真度模型分量，以包括在储层开发计划的基于Markov决策过程的模型602中。初始低保真度模型分量是对储层和/或地面设施动态的预测。这种预测使用输入数据和第一高保真度输出数据生成。储层开发计划的基于Markov决策过程的模型602包括低保真度模型，该模型计算高效并且提供储层和地面设施动态的近似。换句话说，与高保真度模型相比，低保真度模型提供较低的计算精度，从而产生相对粗略的结果，并因此在通常的计算系统上更快执行。低保真度模型可以自在储层和/或地面设施动态的高保真度模型606中使用的软件代码的一部分生成。例如，可以调整高保真度模型的软件以运行较少的迭代。高保真度模型可调整或配置为通过运行二维剖面图、通过减少参数输入数量、通过指定较大单元尺寸等等提供低保真度模型。

一旦步骤705到730完成，即在步骤735利用输入数据与储层和/或地面设施动态的低保真度模型求解储层开发计划的基于Markov决策过程的模型602。可以利用一个或更多适于用途的(fit-for-purpose)求解例程求解储层开发计划的基于Markov决策过程的模型602，所述例程可以在储层开发计划的基于Markov决策过程的模型602和求解例程608中的一个或更多中提供。适于用途的求解例程可包括商业或公开可用的数学编程求解器例程和专门设计的模型特定性(model-specific)技术。储层开发计划的基于Markov决策过程的模型602的求解生成储层模型解决方案，其中储层和/或地面设施动态的高保真度模型606的试验性开发计划与储层和/或地面设施参数输入数据可基于该储层模型解决方案生成，该试验性开发计划与储层和/或地面设施参数输入数据也可称为储层开发计划输出数据。

在步骤740，通过储层开发计划的基于Markov决策过程的模型602的求解生成的储层和/或地面设施参数输入数据被提供给储层和/或地面设施动态的高保真度模型606。

在步骤745，储层和/或地面设施动态的高保真度模型606再次模拟储层和/或地面设施。该模拟生成对应的高保真度输出数据，该数据也可称为储层和/或地面设施性质输入数据。

在步骤750，做出关于高保真度模型的输出是否与低保真度模型的预测基本一致的判定。如果分量并非基本一致，则在步骤755再次向储层开发计划的基于Markov决策过程的模型602提供储层和/或地面设施性质输入数据。在步骤760，再次生成低保真度模型分量，以包括在储层开发计划的基于Markov决策过程的模型602内。

在步骤735，再次求解储层开发计划的基于Markov决策过程的模型602。该过程连续迭代，直到在步骤750高保真度模型的输出与来自低保真度模型的预测基本一致。例如，在低保真度模型和高保真度模型的结果收敛时，步骤750可确定已经达到足够的处理水平。在该点，步骤750认为迭代完成。

一旦来自低保真度模型的预测与储层和/或地面设施动态的高保真度模型606一致，则再次求解储层开发计划的基于Markov决策过程的模型602，从而在步骤765生成可包括最终开发计划的输出。该输出可用来生成报告、计算、表格、图形、图表等等，以在数据不确定性的影响下分析开发计划或储层管理。此外输出的示例性实施例包含在图形用户界面(GUI)上显示的结果、数据文件、在介质例如光盘或磁盘上的数据、文件报告、或传输给另一计算机或另一软件例程的信号，或某种其他有形输出，仅举少许示例。

根据一些实施例，可以测试和优化多个情形，从而其结果可以作为过程的部分并行比较。然后操作方法700在步骤770结束。尽管操作700的方法已经在多个步骤中说明，但是其中的一些步骤可以以不同的顺序执行，而不违背示例性实施例的范围和精神。

在各示例性实施例中，可使用数学编程语言或系统来实施方法700，例如AIMMS(高级建模开发系统)、GAMS(通用代数建模系统)、AMPL、OPL、Mosel或使用计算机编程语言，例如C++或Java或两者的某些结合。适于用途的求解例程可以在数学编程语言中开发或直接使用计算机编程语言开发，或借助商用软件工具的支持开发。例如，数学编程语言和计算机编程代码编译器的商业和开源版本通常是可用的。

应当理解可在上述内容中做出变化而不背离本发明的范围和精神。例如，本说明性实施例的教导可用来提高其它类型n维计算机模型的计算效率。

尽管示出并描述了本发明的多个说明性实施例，但是可以在上述公开中尝试广泛的更改、变化和替换。在一些实例中，可采用本发明的某些特性而不对应使用其它特性。因此，广泛地并以与本发明范围和精神一致的方式解释所附权利要求是合适的。

Claims (25)

1.一种储层开发计划的方法，包含以下步骤：

接收与储层开发相关的数据；

通过计算机实现的基于Markov决策过程的模型处理接收的数据；以及

响应通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据而生成储层开发计划。

2.根据权利要求1所述的方法，其中生成储层开发计划的步骤包含根据与所述接收的数据关联的不确定性空间生成所述储层开发计划。

3.根据权利要求1所述的方法，其中所述计算机实施的基于Markov决策过程的模型包含基于所述接收的数据和不确定性空间优化所述储层开发计划的至少某方面。

4.根据权利要求1所述的方法，其中接收数据的步骤包含接收已知的数据参数和不确定的数据参数，并且

其中通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据包括使用并入所述不确定数据参数的基于Markov决策过程的模型处理所述数据。

5.根据权利要求1所述的方法，其中不确定性空间与所述接收的数据有关，并且

其中通过所述计算机实施的基于Markov决策过程的模型处理所述接收的数据包含整体考虑所述不确定性空间。

6.根据权利要求1所述的方法，其中所述基于Markov决策过程的模型包含

多个阶段，每个阶段表示时间上的不连续步幅；

每个阶段中的多个状态，每个状态表示所述储层开发计划的潜在状态；以及

多个转换概率，每个转换概率表示所述数据中的不确定性，每个转换概率都由所述储层开发计划的当前状态和将采取的决策来确定；

其中未来状态根据所述转换概率确定。

7.根据权利要求1所述的方法，其中允许决策者在所述基于Markov决策过程的模型内的多个阶段中的每个阶段采取一个或更多纠正决策。

8.一种储层开发计划的方法，包含以下步骤：

接收与储层开发计划相关的数据，其中不确定性与所述数据有关；

使用并入不确定性的基于计算机的优化模型处理接收的数据；

响应使用并入不确定性的基于计算机的优化模型处理接收的数据而产生储层开发计划的至少某部分；以及

当所述不确定性随时间逐渐显露时，采取一个或更多纠正决策。

9.根据权利要求8所述的方法，其中所述基于计算机的优化模型是基于Markov决策过程的模型。

10.根据权利要求9所述的方法，其中在所述基于Markov决策过程的模型中并入所述不确定性包括在所述不确定性的多个实现中获得权衡。

11.根据权利要求8所述的方法，其中响应使用并入不确定性的基于计算机的优化模型处理接收的数据而产生所述储层开发计划的至少某部分的步骤包括

在整个不确定性空间实现优化问题的可行性。

12.根据权利要求8所述的方法，其中响应使用并入不确定性的基于计算机的优化模型处理接收的数据而产生所述储层开发计划的至少某部分的步骤包括

系统地处理所述基于Markov决策过程的模型内的不确定性数据。

13.一种关于石油资源开发的决策支持的方法，包含以下步骤：

接收关于决策的多个数据元素，所述决策与开发石油储层有关，其中不确定性的相应特征与所述数据元素中的每个有关；以及

响应使用基于计算机的基于Markov决策过程的模型处理所述数据元素中的每个和不确定性的所述相应特征中的每个，输出对所述决策的建议。

14.根据权利要求13所述的方法，其中所述基于Markov决策过程的模型并入不确定性的所述相应特征中的每个。

15.根据权利要求13所述的方法，其中使用所述基于计算机的基于Markov决策过程的模型处理所述数据元素中的每个和不确定性的所述相应特征中的每个包含覆盖不确定性空间。

16.一种优化储层开发计划的基于计算机的方法，其包含：

提供并入不确定性的输入数据；

使用储层或地面设施动态的高保真度模型利用所述输入数据生成所述储层的第一模拟，其中所述第一模拟生成第一高保真度输出数据；

使用所述输入数据和所述第一高保真度输出数据，生成储层或地面设施动态的低保真度模型，其中所述低保真度模型生成预测；

利用所述输入数据和储层或地面设施动态的所述低保真度模型优化储层开发计划模型，其中所述储层开发计划模型生成储层开发计划输出数据，其中所述储层开发计划模型包含基于Markov决策过程的模型；

使用储层或地面设施动态的所述高保真度模型利用所述输入数据和所述储层开发计划输出数据执行所述储层的第二模拟，其中所述第二模拟生成第二高保真度输出数据；

比较所述第二高保真度输出数据与所述低保真度模型的预测；

重复包含生成储层或地面设施动态的低保真度模型、优化储层开发计划模型、使用储层或地面设施动态的所述高保真度模型执行所述储层的第二模拟以及比较所述第二高保真度输出数据与所述低保真度模型的预测的步骤，直到所述第二高保真度输出数据与所述低保真度模型的预测基本一致。

17.根据权利要求16所述的方法，进一步包含：

响应所述第二高保真度输出数据与所述低保真度模型的预测基本一致而生成开发计划。

18.根据权利要求16所述的方法，其中与所述基于Markov决策过程的模型接口的求解例程帮助所述基于Markov决策过程的模型优化所述储层的开发计划。

19.根据权利要求16所述的方法，其中所述基于Markov决策过程的模型包含帮助优化所述储层的开发计划的求解例程。

20.一种从地下储层生产碳氢化合物的方法，包含：

基于输入数据生成储层开发计划系统；

根据不确定性空间优化所述储层开发计划系统，其中所述储层开发计划系统使用基于Markov决策过程的模型进行优化；以及

根据来自优化的储层开发计划系统的输出从所述储层生产碳氢化合物。

21.根据权利要求20所述的方法，其中所述输入数据包含确定性分量和非确定性分量，并且

其中根据所述不确定性空间优化所述储层开发计划系统的步骤包括

使用所述基于Markov决策过程的模型考虑每个所述非确定性分量。

22.根据权利要求20所述的方法，其中所述基于Markov决策过程的模型并入所述输入数据的不确定性。

23.根据权利要求20所述的方法，其中所述不确定性空间指定所述输入数据的固有的不确定性。

24.根据权利要求20所述的方法，其中所述储层开发计划系统包括：

包含低保真度储层模型的基于Markov决策过程的模型；以及

高保真度储层模型，

其中所述高保真度模型从所述基于Markov决策过程的模型接受一个或更多参数输入数据，并向所述基于Markov决策过程的模型提供一个或更多储层或地面设施性质输入数据。

25.根据权利要求20所述的方法，其中优化所述储层开发计划系统包括：

使用高保真度模型模拟所述储层的操作；以及

使用低保真度模型模拟所述储层的操作。

Images