CN109681165B - 用于油田采油中的注水策略优化方法及装置 - Google Patents
用于油田采油中的注水策略优化方法及装置 Download PDFInfo
- Publication number
- CN109681165B CN109681165B CN201910156773.1A CN201910156773A CN109681165B CN 109681165 B CN109681165 B CN 109681165B CN 201910156773 A CN201910156773 A CN 201910156773A CN 109681165 B CN109681165 B CN 109681165B
- Authority
- CN
- China
- Prior art keywords
- water injection
- characteristic parameter
- injection strategy
- strategy
- virtual environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 233
- 238000002347 injection Methods 0.000 title claims abstract description 220
- 239000007924 injection Substances 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 title claims abstract description 13
- 238000011084 recovery Methods 0.000 claims abstract description 122
- 239000003921 oil Substances 0.000 claims abstract description 101
- 239000010779 crude oil Substances 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000011156 evaluation Methods 0.000 claims abstract description 51
- 238000004088 simulation Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 239000000243 solution Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
- E21B43/00—Methods or apparatus for obtaining oil, gas, water, soluble or meltable materials or a slurry of minerals from wells
- E21B43/16—Enhanced recovery methods for obtaining hydrocarbons
- E21B43/20—Displacing by water
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Geology (AREA)
- Mining & Mineral Resources (AREA)
- Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Fluid Mechanics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于油田采油中的注水策略优化方法及装置。其中，该方法包括：采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值；将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。本发明解决了相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的技术问题。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种用于油田采油中的注水策略优化方法及装置。
背景技术
油田注水开发是油田开发过程中向地层补充能量、利用注入水驱替油藏原油，最终提高采收率的过程。油藏深埋地下，对油藏认识类似一个灰箱，只能通过已知条件推测未知条件，业务人员对油藏认识也是随着开发过程逐渐的变化的过程。传统的注水方式都存在粗放式管理、注水效率不高，以及无效注水等，尤其是无效注水会对油藏造成伤害，进而影响原油的采收率。
对于上述用于原油采收过程中的注水方式的弊端。在现有技术中，使用强化学习确定注水的方案。例如，在现有技术中采用强化学习中Off-Policy Actor-Critic框架，其中Actor由ANN构成，Critic由Tile coding的线性特征编码构成，状态空间由产量以及注水量等信息构成，动作空间由注水分配方案构成。其中，Actor负责分配注水方案，Critic负责评估价值。在训练技巧上，使用了Eligibility Traces加入历史因素的影响，使用ReplayBuffer进行数据多次利用，使用Importance Sampling的Off-Policy学习历史信息以及人工注水方案等。Actor通过与环境不断交互，获取当天信息状态，Critic基于Actor评估当天的状态价值并更新状态价值函数，从而帮助Actor进行策略更新。然而，上述方式会存在强化学习方法需要大量的训练来达到最优策略，在真实油田生产工作中，不可能提供大量的学习时间,仍然无法使得原油采收率得到提高。
针对上述相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用于油田采油中的注水策略优化方法及装置，以至少解决相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的技术问题。
根据本发明实施例的一个方面，提供了一种用于油田采油中的注水策略优化方法，包括：采集真实环境中原油采收过程中的特征参数，其中，所述第一特征参数包括：注水策略中的特征数据，基于所述注水策略得到的原油的采收率，以及所述注水策略的第一价值评估值；将所述第一特征参数更新到虚拟环境中，其中，所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习；在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数；将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略。
可选地，在将所述第一特征参数更新到虚拟环境中之前，该用于油田采油中的注水策略优化方法还包括：获取历史时间段内的历史第一特征参数；利用所述历史第一特征参数对预定初始模型进行拟合，得到物理模型；对所述物理模型进行环境模拟，得到所述虚拟环境。
可选地，在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数之前，该用于油田采油中的注水策略优化方法还包括：在所述真实环境中对所述第一特征参数进行第二预定次数的训练，得到训练后的第一特征参数，其中，所述第一预定次数大于第二预定次数；并且，在将所述第一特征参数更新到虚拟环境中时，将训练后的第一特征参数更新到虚拟环境中；在得到第二特征参数之后，所述方法还包括将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对训练后的第一特征参数优化。
可选地，在所述真实环境中对所述第一特征参数进行第二预定次数的训练包括：S1：确定所述第一特征参数中的注水策略；S2：将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；S3：据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价，得到第一价值评估值；S4：根据所述第一价值评估值对所述注水策略进行优化；循环执行上述S1至S4所述第二预定次数，以对所述第一特征参数进行所述第二预定次数的训练。
可选地，在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数包括：S5：将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；S6：根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估，得到第二价值评估值；S7：根据所述第二价值评估值对所述注水策略进行优化；循环执行S5至S7所述第一预定次数，得到所述第二特征参数。
可选地，在将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略之后，该用于油田采油中的注水策略优化方法还包括：获取将所述优化后的注水策略作为注水分配方式进行原油采收，得到原油采收率；根据所述原油的采收率对所述优化后的注水策略进行价值评估，得到第三价值评估值；根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新，其中，所述规划算法为用于对注水策略进行优化的算法。
根据本发明实施例的另外一个方面，还提供了一种用于油田采油中的注水策略优化装置，包括：采集单元，用于采集真实环境中原油采收过程中的第一特征参数，其中，所述第一特征参数包括：注水策略中的特征数据，基于所述注水策略得到的原油的采收率，以及所述注水策略的价值评估值；第一更新单元，用于将所述第一特征参数更新到虚拟环境中，其中，所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习；第一训练单元，用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数；第一优化单元，用于将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略。
可选地，该用于油田采油中的注水策略优化装置还包括：第一获取单元，用于在将所述第一特征参数更新到虚拟环境中之前，获取历史时间段内的历史第一特征参数；拟合单元，用于利用所述历史第一特征参数对预定初始模型进行拟合，得到物理模型；模拟单元，用于对所述物理模型进行环境模拟，得到所述虚拟环境。
可选地，该用于油田采油中的注水策略优化装置还包括：第二训练单元，用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数之前，在所述真实环境中对所述第一特征参数进行第二预定次数的训练，得到训练后的第一特征参数，其中，所述第一预定次数大于第二预定次数；并且，第二更新单元，用于在将所述第一特征参数更新到虚拟环境中时，将训练后的第一特征参数更新到虚拟环境中；所述装置还包括：第二优化单元，用于在得到第二特征参数之后，将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对训练后的第一特征参数优化。
可选地，所述第二训练单元包括：确定模块，用于确定所述第一特征参数中的注水策略；第一获取模块，用于将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；评估模块，用于根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价，得到第一价值评估值；第一优化模块，用于根据所述第一价值评估值对所述注水策略进行优化；训练模块，用于循环使用上述确定模块、第一获取模块、评估模块以及第一优化模块第二预定次数，以对所述第一特征参数进行所述第二次数的训练。
可选地，所述第一训练单元包括：第二获取模块，用于将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；第三获取模块，用于根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估，得到第二价值评估值；第二优化模块，用于根据所述第二价值评估值对所述注水策略进行优化；第四获取模块，用于循环使用上述第二获取模块、第三获取模块以及第二优化模块第一预定次数，得到所述第二特征参数。
可选地，该用于油田采油中的注水策略优化装置还包括：第二获取单元，用于在将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略之后，获取将所述优化后的注水策略作为注水分配方式进行原油采收，得到原油采收率；评估单元，用于根据所述原油的采收率对所述优化后的注水策略进行价值评估，得到第三价值评估值；第二更新单元，用于根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新，其中，所述规划算法为用于对注水策略进行优化的算法。
根据本发明实施例的另外一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的用于油田采油中的注水策略优化方法。
根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的用于油田采油中的注水策略优化方法。
在本发明实施例中，采用采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值；将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略的方式确定用于油田采用中的注水策略优化，通过本发明实施例提供的用于油田采油中的注水策略优化方法可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的，达到了提供注水策略优化的速度的技术效果，进而解决了相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的用于油田采油中的注水策略优化方法的流程图；
图2是根据本发明实施例的可选的用于油田采油中的注水策略优化方法的示意图；
图3是根据本发明实施例的用于油田采油中的注水策略优化装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种用于油田采油中的注水策略优化方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的用于油田采油中的注水策略优化方法的流程图，如图1所示，该用于油田采油中的注水策略优化方法包括如下步骤：
步骤S102，采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值。
其中，上述注水策略是用于在原油采收过程中实施的向地层注水的特征数据，利用该注水策略对应的特征数据向地层注水时会得到原油的采收率，也即是油田的产量，并且可以根据油田的产量对使用的注水策略进行价值评估，以进行注水策略优化，进而制定更加合理的注水分配参数，以提升油田产量。另外，上述特征数据可以包括但不限于以下几种：注水量、注水位置坐标以及注水速度。
步骤S104，将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习。
由于上述第一特征参数中注水策略是在真实环境和虚拟环境中均进行学习的，因此，需要将真实环境中得到的第一特征参数更新到虚拟环境中，在虚拟环境中进行学习。
需要说明的是，由于注水策略在真实环境中的学习是更加接近真实生产的状态的，而注水策略在虚拟环境中的学习则是对真实环境的虚拟，和真实生产环境是存在一定偏差的。所以，可以将用于对注水策略进行优化的第一特征参数以较大的比例更新到虚拟环境中，以供虚拟环境及时对真实环境中的实时第一特征参数进行训练学习。而在下述步骤S108中，虚拟环境将经过学习得到第二特征参数更新到真实环境中时则以较小比例更新到真实环境中，这是因为虚拟环境中训练学习得到的第二特征参数是服务于真实环境中的第一特征参数的，将第二特征参数以较小比例更新到真实环境中，可以减小虚拟环境中得到的第二特征参数对第一特征参数的影响，或是覆盖真实环境中第一特征参数在真实环境中自己训练的真实性。
优选的，在将第一特征参数更新到虚拟环境中之前，该用于油田采油中的注水策略优化方法还可以包括：获取历史时间段内的历史第一特征参数；采用利用历史第一特征参数对预定初始模型进行拟合，得到物理模型，其中，上述预定初始模型可以包括：生产井电容电阻模型CRMP、分数流量模型FFM；对物理模型进行环境模拟，得到虚拟环境。即，通过拟合生产井电容电阻模型CRMP和分数流量模型FFM得到物理模型，以搭建虚拟现实环境(即上下文中的虚拟环境)供虚拟环境中的规划算法进行学习。
步骤S106，在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数。
例如，在将第一特征参数更新到虚拟环境中之后，可以对第一特征参数进行1000次(相当于在真实环境中的1000天)迭代训练，得到第二特征参数，以得到较好的注水策略。另外一个方面，由于在虚拟环境中可以对第一特征参数进行远远高于真实环境中的训练次数，从而可以达到更快的收敛得到较好的注水策略，使得通过强化学习收敛到最优的注水策略的速度大大提升，所需的学习时间也大大降低。
步骤S108，将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。
通过上述步骤，可以采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略价值评估值；然后将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；再在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；同时将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。相对于相关技术中在对用于油田采油中的注水策略进行优化时，使用的强化学习需要大量的训练来达到最优策略，而在真实油田生产工作中，又不可能提供大量的学习时间，导致使用的注水策略得到的原油产量较低的弊端，通过本发明实施例提供的用于油田采油中的注水策略优化方法可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的，达到了提供注水策略优化的速度的技术效果，进而解决了相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的技术问题。
作为一种可选的实施例，在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数之前，该用于油田采油中的注水策略优化方法还包括：在真实环境中对第一特征参数进行第二预定次数的训练，得到训练后的第一特征参数，其中，第一预定次数大于第二预定次数；并且，在将第一特征参数更新到虚拟环境中时，将训练后的第一特征参数更新到虚拟环境中；在得到第二特征参数之后，方法还包括将第二特征参数更新到真实环境中，并利用第二特征参数对训练后的第一特征参数优化。
由于在虚拟环境中进行训练时，可以以虚拟环境中的时间作为训练时间进行训练，例如，可以在真实环境中一天的时间内根据实际需求在虚拟环境中对第一特征参数进行1000次的迭代训练，即，实现了在真实环境中对第一特征参数训练一天，而在真实虚拟环境中可以利用和真实环境中相同的时间对第一特征参数进行相当于真实环境中1000天的训练。
需要说明的是，在将第一特征参数更新到虚拟环境中之前，需要将真实环境中的第一特征参数进行至少一次的训练，将训练得到的第一特征参数更新到虚拟环境中，再进行较为合理的多次训练。
在步骤S106中，在真实环境中对第一特征参数进行第二预定次数的训练包括：S1：确定第一特征参数中的注水策略；S2：将第一特征参数中的注水策略应用到真实环境中原油采收过程中，得到基于第一特征参数中的注水策略得到的原油的采收率；S3：据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评价，得到第一价值评估值；S4：根据第一价值评估值对注水策略进行优化。循环执行上述S1至S4第二预定次数，以对第一特征参数进行第二预定次数的训练。
例如，上述第二预定次数可以为1至10次，优选为1次，即，在虚拟环境中对第一特征参数进行训练之前，可以先在真实环境中对第一特征参数进行一次训练。以一天为例，真实环境中以第一特征参数为运行参数实际运行一天，即为训练第二预定次数。
优选的，在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数包括：S5：将第一特征参数中的注水策略应用到虚拟环境中原油采收过程中，得到基于第一特征参数中的注水策略得到的原油的采收率；S6：根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评估，得到第二价值评估值；S7：根据第二价值评估值对注水策略进行优化；循环执行S5至S7第一预定次数，得到第二特征参数。
图2是根据本发明实施例的可选的用于油田采油中的注水策略优化方法的示意图，如图2所示，整体可以包括真实世界中的学习和虚拟世界中的规划两大部分。其中，在真实世界环境(即真实环境)中，可以预先定义初始注水策略，具体地，可以利用actor模型制定初始注水策略，该初始注水策略作为在原油采收过程中注水参数的分配的行动决策，将该初始注水策略应用到真实世界环境中的原油采收，得到原油的产量，利用critic模型基于该初始注水策略得到的原油产量对初始注水策略进行价值评估，并根据评估结果对初始注水策略进行策略优化。
另外，如图2所示，在对包括注水策略的第一特征参数进行不断的优化过程中，同时也在虚拟世界环境(即虚拟环境)中对第一特征参数进行优化。具体地，分别将真实环境中的Actor模型中的参数和Critic模型中的参数分别更新到虚拟环境中的Actor模型中的参数和Critic模型中，利用Actor模型中的参数和Critic模型对更新到虚拟环境中的第一特征参数进行迭代训练，其中，训练的方式与真实环境中的训练方式是相同的，在此不再赘述。
其中，如图2所示，在虚拟环境中对第一特征参数进行训练，得到第二特征参数，并利用第二特征参数对真实环境中的第一特征参数进行优化。图2中的奖励反馈用于表示当天的产量。第t-1天、第1天以及第t+1天表示油田生产过程中的时间推移。
需要说明的是，如图2所示，在利用真实环境和虚拟环境对注水策略进行优化之前，还需要搭建虚拟环境。具体地，可以利用真实环境中的生产状态参数进行模型拟合得到物理模型，并对该物理模型进行环境模拟，得到上述虚拟环境。
作为一种可选的实施例，在将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略之后，该用于油田采油中的注水策略优化方法还包括：获取将优化后的注水策略作为注水分配方式进行原油采收，得到原油采收率；根据原油的采收率对优化后的注水策略进行价值评估，得到第三价值评估值；根据原油的采收率和第三价值评估值对真实环境中的规划算法以及虚拟环境进行更新，其中，规划算法为用于对注水策略进行优化的算法。
通过本发明实施例提供的用于油田采油中的注水策略优化方法可以使用生产井电容电阻模型CRMP和分数流量模型FFM得到物理模型，以搭建虚拟现实环境(即上下文中的虚拟环境)供虚拟环境中的规划算法进行学习；其次，将真实环境中通过学习历史数据和通过与环境交互的算法完全独立的复制，并在虚拟环境中与虚拟环境进行大量的交互，并在虚拟环境中对注水策略进行改进，完成在虚拟环境中收敛到最优注水策略分配方案的过程。
然后，在将真实环境中的规划算法以及价值函数进行一定比例的算法平移，完成一次加速过程。之后通过真实环境中的算法，在具体生产中完成注水方案的分配，同时获取当天的产量信息。通过产量等状态信息，更新真实环境中的算法，以对真实环境中的注水策略进行优化，同时对虚拟环境进行更新。再重复上述用于油田采油中的注水策略优化方法，进行下一天的注水策略的学习。
即，通过用于油田采油中的注水策略优化方法可以进行反复训练和交互的虚拟环境，从而可以通过虚拟环境中的大量学习，收敛到虚拟环境中的最优注水策略，并反馈给真实环境中，加速真实环境中的算法更快的收敛得到注水优化决策系统的最优注水分配方案。
实施例2
根据本发明实施例还提供了一种用于油田采油中的注水策略优化装置，需要说明的是，本发明实施例的软件评估装置可以用于执行本发明实施例所提供的用于油田采油中的注水策略优化方法。以下对本发明实施例提供的用于油田采油中的注水策略优化装置进行介绍。
图3是根据本发明实施例的用于油田采油中的注水策略优化装置的示意图，如图3所示，该用于油田采油中的注水策略优化装置包括：采集单元31，第一更新单元33，第一训练单元35以及第一优化单元37。下面对该用于油田采油中的注水策略优化装置进行详细说明。
采集单元31，用于采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值。
第一更新单元33，与上述采集单元31连接，用于将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习。
第一训练单元35，与上述第一更新单元33连接，用于在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数。
第一优化单元37，与上述第一训练单元35连接，用于将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。
需要说明的是，该实施例中的采集单元31可以用于执行本发明实施例中的步骤S102，该实施例中的第一更新单元33可以用于执行本发明实施例中的步骤S104，该实施例中的第一训练单元35可以用于执行本发明实施例中的步骤S106，该实施例中的第一优化单元37可以用于执行本发明实施例中的步骤S108。上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。
在该实施例中，可以利用采集单元31采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值；然后利用第一更新单元33将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；再利用第一训练单元35在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；并利用第一优化单元37将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。相对于相关技术中在对用于油田采油中的注水策略进行优化时，使用的强化学习需要大量的训练来达到最优策略，而在真实油田生产工作中，又不可能提供大量的学习时间，导致使用的注水策略得到的原油产量较低的弊端，通过本发明实施例提供的用于油田采油中的注水策略优化装置可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的，达到了提供注水策略优化的速度的技术效果，进而解决了相关技术中在进行原油采收时采用的注水方式不可靠，容易对原油造成伤害，并影响原油的采收率的技术问题。
作为一种可选的实施例，该用于油田采油中的注水策略优化装置还可以包括：第一获取单元，用于在将第一特征参数更新到虚拟环境中之前，获取历史时间段内的历史第一特征参数；拟合单元，用于利用历史第一特征参数对预定初始模型进行拟合，得到物理模型，其中，预定初始模型包括：生产井电容电阻模型CRMP、分数流量模型FFM；模拟单元，用于对物理模型进行环境模拟，得到虚拟环境。
作为一种可选的实施例，该用于油田采油中的注水策略优化装置还可以包括：第二训练单元，用于在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数之前，在真实环境中对第一特征参数进行第二预定次数的训练，得到训练后的第一特征参数，其中，第一预定次数大于第二预定次数；并且，第二更新单元，用于在将第一特征参数更新到虚拟环境中时，将训练后的第一特征参数更新到虚拟环境中；装置还包括：第二优化单元，用于在得到第二特征参数之后，将第二特征参数更新到真实环境中，并利用第二特征参数对训练后的第一特征参数优化。
作为一种可选的实施例，第二训练单元可以包括：确定模块，用于确定第一特征参数中的注水策略；第一获取模块，用于将第一特征参数中的注水策略应用到真实环境中原油采收过程中，得到基于第一特征参数中的注水策略得到的原油的采收率；评估模块，用于根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评价，得到第一价值评估值；第一优化模块，用于根据第一价值评估值对注水策略进行优化；训练模块，用于循环使用上述确定模块、第一获取模块、评估模块以及第一优化模块第二预定次数，以对所述第一特征参数进行所述第二次数的训练。
作为一种可选的实施例，第一训练单元可以包括：第二获取模块，用于将第一特征参数中的注水策略应用到虚拟环境中原油采收过程中，得到基于第一特征参数中的注水策略得到的原油的采收率；第三获取模块，用于根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评估，得到第二价值评估值；第二优化模块，用于根据第二价值评估值对注水策略进行优化；第四获取模块，用于循环使用上述第二获取模块、第三获取模块以及第二优化模块第一预定次数，得到第二特征参数。
作为一种可选的实施例，该用于油田采油中的注水策略优化装置还可以包括：第二获取单元，用于在将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略之后，获取将优化后的注水策略作为注水分配方式进行原油采收，得到原油采收率；评估单元，用于根据原油的采收率对优化后的注水策略进行价值评估，得到第三价值评估值；第二更新单元，用于根据原油的采收率和第三价值评估值对真实环境中的规划算法以及虚拟环境进行更新，其中，规划算法为用于对注水策略进行优化的算法。
上述用于油田采油中的注水策略优化装置包括处理器和存储器，上述采集单元31，第一更新单元33，第一训练单元35以及第一更新单元37等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另外一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述中任意一项的用于油田采油中的注水策略优化方法。
根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的用于油田采油中的注水策略优化方法。
在本发明实施例中还提供了一种设备，该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值；将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。
在本发明实施例中还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集真实环境中原油采收过程中的第一特征参数，其中，第一特征参数包括：注水策略中的特征数据，基于注水策略得到的原油的采收率，以及注水策略的价值评估值；将第一特征参数更新到虚拟环境中，其中，虚拟环境是用于供对注水策略进行优化的规划算法进行学习；在虚拟环境中对第一特征参数进行第一预定次数的训练，得到第二特征参数；将第二特征参数更新到真实环境中，并利用第二特征参数对第一特征参数中的注水策略进行优化，得到优化后的注水策略。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种用于油田采油中的注水策略优化方法，其特征在于，包括：
采集真实环境中原油采收过程中的第一特征参数，其中，所述第一特征参数包括：注水策略中的特征数据，基于所述注水策略得到的原油的采收率，以及所述注水策略的价值评估值；
将所述第一特征参数更新到虚拟环境中，其中，所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习；
在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数；
将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略；
其中，在将所述第一特征参数更新到虚拟环境中之前，还包括：
获取历史时间段内的历史第一特征参数；
利用所述历史第一特征参数对预定初始模型进行拟合，得到物理模型；
对所述物理模型进行环境模拟，得到所述虚拟环境。
2.根据权利要求1所述的方法，其特征在于，在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数之前，还包括：
在所述真实环境中对所述第一特征参数进行第二预定次数的训练，得到训练后的第一特征参数，其中，所述第一预定次数大于第二预定次数；
并且，在将所述第一特征参数更新到虚拟环境中时，将训练后的第一特征参数更新到虚拟环境中；
在得到第二特征参数之后，所述方法还包括：
将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对训练后的第一特征参数进行优化。
3.根据权利要求2所述的方法，其特征在于，在所述真实环境中对所述第一特征参数进行第二预定次数的训练包括：
S1：确定所述第一特征参数中的注水策略；
S2：将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；
S3：根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价，得到第一价值评估值；
S4：根据所述第一价值评估值对所述注水策略进行优化；
循环执行上述S1至S4所述第二预定次数，以对所述第一特征参数进行所述第二预定次数的训练。
4.根据权利要求1所述的方法，其特征在于，在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数包括：
S5：将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中，得到基于所述第一特征参数中的注水策略得到的原油的采收率；
S6：根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估，得到第二价值评估值；
S7：根据所述第二价值评估值对所述注水策略进行优化；
循环执行S5至S7所述第一预定次数，得到所述第二特征参数。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略之后，还包括：
获取将所述优化后的注水策略作为注水分配方式进行原油采收，得到原油采收率；
根据所述原油的采收率对所述优化后的注水策略进行价值评估，得到第三价值评估值；
根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新，其中，所述规划算法为用于对注水策略进行优化的算法。
6.一种用于油田采油中的注水策略优化装置，其特征在于，包括：
采集单元，用于采集真实环境中原油采收过程中的第一特征参数，其中，所述第一特征参数包括：注水策略中的特征数据，基于所述注水策略得到的原油的采收率，以及所述注水策略价值评估值；
第一更新单元，用于将所述第一特征参数更新到虚拟环境中，其中，所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习；
第一训练单元，用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练，得到第二特征参数；
第一优化单元，用于将所述第二特征参数更新到所述真实环境中，并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化，得到优化后的注水策略；
第一获取单元，用于在将所述第一特征参数更新到虚拟环境中之前，获取历史时间段内的历史第一特征参数；
拟合单元，用于利用所述历史第一特征参数对预定初始模型进行拟合，得到物理模型；
模拟单元，用于对所述物理模型进行环境模拟，得到所述虚拟环境。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的用于油田采油中的注水策略优化方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的用于油田采油中的注水策略优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156773.1A CN109681165B (zh) | 2019-03-01 | 2019-03-01 | 用于油田采油中的注水策略优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156773.1A CN109681165B (zh) | 2019-03-01 | 2019-03-01 | 用于油田采油中的注水策略优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109681165A CN109681165A (zh) | 2019-04-26 |
| CN109681165B true CN109681165B (zh) | 2022-01-25 |
Family
ID=66196223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910156773.1A Active CN109681165B (zh) | 2019-03-01 | 2019-03-01 | 用于油田采油中的注水策略优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109681165B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126576B (zh) * | 2019-12-31 | 2022-07-29 | 北京国双科技有限公司 | 集输系统能耗优化模型构建方法与集输系统能耗控制方法 |
| CN112282714B (zh) * | 2020-11-30 | 2022-03-25 | 河海大学 | 基于深度学习和图论的全井网注水开发优化方法 |
| CN112836349B (zh) * | 2021-01-08 | 2023-06-02 | 中国石油大学(北京) | 基于井筒参数的注采联调智能决策方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1560429A (zh) * | 2004-02-25 | 2005-01-05 | 石油大学(华东) | 注水开发油田区块整体调剖堵水决策方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6904366B2 (en) * | 2001-04-03 | 2005-06-07 | The Regents Of The University Of California | Waterflood control system for maximizing total oil recovery |
| US8649909B1 (en) * | 2012-12-07 | 2014-02-11 | Amplisine Labs, LLC | Remote control of fluid-handling devices |
| CN105095642B (zh) * | 2015-05-29 | 2017-11-10 | 中国石油天然气股份有限公司 | 油藏数值模拟中历史拟合调整参数确定方法及装置 |
| CN106874644B (zh) * | 2016-12-28 | 2018-04-13 | 中南大学 | 一种加氢精制中氢解程度的实时预测方法及其系统 |
| CN108229675B (zh) * | 2017-03-17 | 2021-01-01 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、物体检测方法、装置和电子设备 |
-
2019
- 2019-03-01 CN CN201910156773.1A patent/CN109681165B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1560429A (zh) * | 2004-02-25 | 2005-01-05 | 石油大学(华东) | 注水开发油田区块整体调剖堵水决策方法 |
Non-Patent Citations (4)
| Title |
|---|
| 分层注水储层参数变化机理与配注参数动态调配方法研究;张玉荣;《中国博士学位论文全文数据库》;20120131;全文 * |
| 基于改进神经网络的分层注水系统设计研究;石阔;《中国优秀硕士学位论文全文数据库》;20150228;全文 * |
| 基于神经网络的油田注水动态预测;肖伟等;《交通与计算机》;19970430;第15卷(第2期);57-60页 * |
| 油田中后期开发优化与决策研究;张福坤;《中国优秀博士学位论文全文数据库》;20151231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109681165A (zh) | 2019-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109681165B (zh) | 用于油田采油中的注水策略优化方法及装置 | |
| Stava et al. | Inverse procedural modelling of trees | |
| Isebor et al. | Biobjective optimization for general oil field development | |
| CN107145521A (zh) | 一种面向区块链多级智能合约的数据迁移方法 | |
| CN103702098B (zh) | 一种时空域联合约束的三视点立体视频深度提取方法 | |
| CN110515303A (zh) | 一种基于ddqn的自适应动态路径规划方法 | |
| CN108509977A (zh) | 生成模型学习方法、生成模型学习装置及程序 | |
| CN107544904A (zh) | 一种基于深度cg‑lstm神经网络的软件可靠性预测模型 | |
| CN108803609B (zh) | 基于约束在线规划的部分可观察自动驾驶决策方法 | |
| CN107562931A (zh) | 数据抽取系统和数据抽取方法 | |
| Busby et al. | Use of data analytics to improve well placement optimization under uncertainty | |
| CN107939372B (zh) | 针对小断块油藏的最优井位部署方法和装置 | |
| CN109993302A (zh) | 基于知识迁移的卷积神经网络通道自选择压缩与加速方法 | |
| CN111126578B (zh) | 一种模型训练的联合数据处理方法、装置与系统 | |
| CN111324358B (zh) | 一种用于信息系统自动运维策略的训练方法 | |
| CN109948836A (zh) | 油田的注水数据的处理方法、装置、存储介质和处理器 | |
| Lienhard et al. | Design Transformations for Rule‐based Procedural Modeling | |
| CN106597850B (zh) | 一种基于混沌蛙跳的植保无人机编队目标分配方法 | |
| CN104392317A (zh) | 一种基于遗传文化基因算法的项目调度方法 | |
| SA521421641B1 (ar) | بنية بيانات من أجل برمجيات نمذجة استخلاص رشحي لتفشٍ سريع | |
| CN109145098B (zh) | 基于知识图谱的中华文化元素信息搜索方法 | |
| CN103955541B (zh) | 一种基于acad的异源异构数据的整合系统及其工作方法 | |
| CN105930404B (zh) | 一种基于共生关系分析的服务组合主题演化图构造方法 | |
| CN109582874A (zh) | 一种基于双向lstm的相关新闻挖掘方法及系统 | |
| CN109615108A (zh) | 基于元学习的多任务油田生产动态拟合模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |