CN109681165A - 用于油田采油中的注水策略优化方法及装置 - Google Patents

用于油田采油中的注水策略优化方法及装置 Download PDF

Info

Publication number
CN109681165A
CN109681165A CN201910156773.1A CN201910156773A CN109681165A CN 109681165 A CN109681165 A CN 109681165A CN 201910156773 A CN201910156773 A CN 201910156773A CN 109681165 A CN109681165 A CN 109681165A
Authority
CN
China
Prior art keywords
feature parameter
water filling
fisrt feature
oil
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910156773.1A
Other languages
English (en)
Other versions
CN109681165B (zh
Inventor
肖昌南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201910156773.1A priority Critical patent/CN109681165B/zh
Publication of CN109681165A publication Critical patent/CN109681165A/zh
Application granted granted Critical
Publication of CN109681165B publication Critical patent/CN109681165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E21EARTH OR ROCK DRILLING; MINING
    • E21BEARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B43/00Methods or apparatus for obtaining oil, gas, water, soluble or meltable materials or a slurry of minerals from wells
    • E21B43/16Enhanced recovery methods for obtaining hydrocarbons
    • E21B43/20Displacing by water

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Geology (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Fluid Mechanics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种用于油田采油中的注水策略优化方法及装置。其中,该方法包括:采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值;将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。本发明解决了相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的技术问题。

Description

用于油田采油中的注水策略优化方法及装置
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种用于油田采油中的注水策略优化方法及装置。
背景技术
油田注水开发是油田开发过程中向地层补充能量、利用注入水驱替油藏原油,最终提高采收率的过程。油藏深埋地下,对油藏认识类似一个灰箱,只能通过已知条件推测未知条件,业务人员对油藏认识也是随着开发过程逐渐的变化的过程。传统的注水方式都存在粗放式管理、注水效率不高,以及无效注水等,尤其是无效注水会对油藏造成伤害,进而影响原油的采收率。
对于上述用于原油采收过程中的注水方式的弊端。在现有技术中,使用强化学习确定注水的方案。例如,在现有技术中采用强化学习中Off-Policy Actor-Critic框架,其中Actor由ANN构成,Critic由Tile coding的线性特征编码构成,状态空间由产量以及注水量等信息构成,动作空间由注水分配方案构成。其中,Actor负责分配注水方案,Critic负责评估价值。在训练技巧上,使用了Eligibility Traces加入历史因素的影响,使用ReplayBuffer进行数据多次利用,使用Importance Sampling的Off-Policy学习历史信息以及人工注水方案等。Actor通过与环境不断交互,获取当天信息状态,Critic基于Actor评估当天的状态价值并更新状态价值函数,从而帮助Actor进行策略更新。然而,上述方式会存在强化学习方法需要大量的训练来达到最优策略,在真实油田生产工作中,不可能提供大量的学习时间,仍然无法使得原油采收率得到提高。
针对上述相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用于油田采油中的注水策略优化方法及装置,以至少解决相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的技术问题。
根据本发明实施例的一个方面,提供了一种用于油田采油中的注水策略优化方法,包括:采集真实环境中原油采收过程中的特征参数,其中,所述第一特征参数包括:注水策略中的特征数据,基于所述注水策略得到的原油的采收率,以及所述注水策略的第一价值评估值;将所述第一特征参数更新到虚拟环境中,其中,所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习;在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数;将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略。
可选地,在将所述第一特征参数更新到虚拟环境中之前,该用于油田采油中的注水策略优化方法还包括:获取历史时间段内的历史第一特征参数;利用所述历史第一特征参数对预定初始模型进行拟合,得到物理模型;对所述物理模型进行环境模拟,得到所述虚拟环境。
可选地,在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数之前,该用于油田采油中的注水策略优化方法还包括:在所述真实环境中对所述第一特征参数进行第二预定次数的训练,得到训练后的第一特征参数,其中,所述第一预定次数大于第二预定次数;并且,在将所述第一特征参数更新到虚拟环境中时,将训练后的第一特征参数更新到虚拟环境中;在得到第二特征参数之后,所述方法还包括将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对训练后的第一特征参数优化。
可选地,在所述真实环境中对所述第一特征参数进行第二预定次数的训练包括:S1:确定所述第一特征参数中的注水策略;S2:将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;S3:据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价,得到第一价值评估值;S4:根据所述第一价值评估值对所述注水策略进行优化;循环执行上述S1至S4所述第二预定次数,以对所述第一特征参数进行所述第二预定次数的训练。
可选地,在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数包括:S5:将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;S6:根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估,得到第二价值评估值;S7:根据所述第二价值评估值对所述注水策略进行优化;循环执行S5至S7所述第一预定次数,得到所述第二特征参数。
可选地,在将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略之后,该用于油田采油中的注水策略优化方法还包括:获取将所述优化后的注水策略作为注水分配方式进行原油采收,得到原油采收率;根据所述原油的采收率对所述优化后的注水策略进行价值评估,得到第三价值评估值;根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新,其中,所述规划算法为用于对注水策略进行优化的算法。
根据本发明实施例的另外一个方面,还提供了一种用于油田采油中的注水策略优化装置,包括:采集单元,用于采集真实环境中原油采收过程中的第一特征参数,其中,所述第一特征参数包括:注水策略中的特征数据,基于所述注水策略得到的原油的采收率,以及所述注水策略的价值评估值;第一更新单元,用于将所述第一特征参数更新到虚拟环境中,其中,所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习;第一训练单元,用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数;第一优化单元,用于将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略。
可选地,该用于油田采油中的注水策略优化装置还包括:第一获取单元,用于在将所述第一特征参数更新到虚拟环境中之前,获取历史时间段内的历史第一特征参数;拟合单元,用于利用所述历史第一特征参数对预定初始模型进行拟合,得到物理模型;模拟单元,用于对所述物理模型进行环境模拟,得到所述虚拟环境。
可选地,该用于油田采油中的注水策略优化装置还包括:第二训练单元,用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数之前,在所述真实环境中对所述第一特征参数进行第二预定次数的训练,得到训练后的第一特征参数,其中,所述第一预定次数大于第二预定次数;并且,第二更新单元,用于在将所述第一特征参数更新到虚拟环境中时,将训练后的第一特征参数更新到虚拟环境中;所述装置还包括:第二优化单元,用于在得到第二特征参数之后,将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对训练后的第一特征参数优化。
可选地,所述第二训练单元包括:确定模块,用于确定所述第一特征参数中的注水策略;第一获取模块,用于将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;评估模块,用于根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价,得到第一价值评估值;第一优化模块,用于根据所述第一价值评估值对所述注水策略进行优化;训练模块,用于循环使用上述确定模块、第一获取模块、评估模块以及第一优化模块第二预定次数,以对所述第一特征参数进行所述第二次数的训练。
可选地,所述第一训练单元包括:第二获取模块,用于将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;第三获取模块,用于根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估,得到第二价值评估值;第二优化模块,用于根据所述第二价值评估值对所述注水策略进行优化;第四获取模块,用于循环使用上述第二获取模块、第三获取模块以及第二优化模块第一预定次数,得到所述第二特征参数。
可选地,该用于油田采油中的注水策略优化装置还包括:第二获取单元,用于在将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略之后,获取将所述优化后的注水策略作为注水分配方式进行原油采收,得到原油采收率;评估单元,用于根据所述原油的采收率对所述优化后的注水策略进行价值评估,得到第三价值评估值;第二更新单元,用于根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新,其中,所述规划算法为用于对注水策略进行优化的算法。
根据本发明实施例的另外一个方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述中任意一项所述的用于油田采油中的注水策略优化方法。
根据本发明实施例的另外一个方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的用于油田采油中的注水策略优化方法。
在本发明实施例中,采用采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值;将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略的方式确定用于油田采用中的注水策略优化,通过本发明实施例提供的用于油田采油中的注水策略优化方法可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的,达到了提供注水策略优化的速度的技术效果,进而解决了相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的用于油田采油中的注水策略优化方法的流程图;
图2是根据本发明实施例的可选的用于油田采油中的注水策略优化方法的示意图;
图3是根据本发明实施例的用于油田采油中的注水策略优化装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种用于油田采油中的注水策略优化方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的用于油田采油中的注水策略优化方法的流程图,如图1所示,该用于油田采油中的注水策略优化方法包括如下步骤:
步骤S102,采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值。
其中,上述注水策略是用于在原油采收过程中实施的向地层注水的特征数据,利用该注水策略对应的特征数据向地层注水时会得到原油的采收率,也即是油田的产量,并且可以根据油田的产量对使用的注水策略进行价值评估,以进行注水策略优化,进而制定更加合理的注水分配参数,以提升油田产量。另外,上述特征数据可以包括但不限于以下几种:注水量、注水位置坐标以及注水速度。
步骤S104,将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习。
由于上述第一特征参数中注水策略是在真实环境和虚拟环境中均进行学习的,因此,需要将真实环境中得到的第一特征参数更新到虚拟环境中,在虚拟环境中进行学习。
需要说明的是,由于注水策略在真实环境中的学习是更加接近真实生产的状态的,而注水策略在虚拟环境中的学习则是对真实环境的虚拟,和真实生产环境是存在一定偏差的。所以,可以将用于对注水策略进行优化的第一特征参数以较大的比例更新到虚拟环境中,以供虚拟环境及时对真实环境中的实时第一特征参数进行训练学习。而在下述步骤S108中,虚拟环境将经过学习得到第二特征参数更新到真实环境中时则以较小比例更新到真实环境中,这是因为虚拟环境中训练学习得到的第二特征参数是服务于真实环境中的第一特征参数的,将第二特征参数以较小比例更新到真实环境中,可以减小虚拟环境中得到的第二特征参数对第一特征参数的影响,或是覆盖真实环境中第一特征参数在真实环境中自己训练的真实性。
优选的,在将第一特征参数更新到虚拟环境中之前,该用于油田采油中的注水策略优化方法还可以包括:获取历史时间段内的历史第一特征参数;采用利用历史第一特征参数对预定初始模型进行拟合,得到物理模型,其中,上述预定初始模型可以包括:生产井电容电阻模型CRMP、分数流量模型FFM;对物理模型进行环境模拟,得到虚拟环境。即,通过拟合生产井电容电阻模型CRMP和分数流量模型FFM得到物理模型,以搭建虚拟现实环境(即上下文中的虚拟环境)供虚拟环境中的规划算法进行学习。
步骤S106,在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数。
例如,在将第一特征参数更新到虚拟环境中之后,可以对第一特征参数进行1000次(相当于在真实环境中的1000天)迭代训练,得到第二特征参数,以得到较好的注水策略。另外一个方面,由于在虚拟环境中可以对第一特征参数进行远远高于真实环境中的训练次数,从而可以达到更快的收敛得到较好的注水策略,使得通过强化学习收敛到最优的注水策略的速度大大提升,所需的学习时间也大大降低。
步骤S108,将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。
通过上述步骤,可以采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略价值评估值;然后将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;再在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;同时将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。相对于相关技术中在对用于油田采油中的注水策略进行优化时,使用的强化学习需要大量的训练来达到最优策略,而在真实油田生产工作中,又不可能提供大量的学习时间,导致使用的注水策略得到的原油产量较低的弊端,通过本发明实施例提供的用于油田采油中的注水策略优化方法可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的,达到了提供注水策略优化的速度的技术效果,进而解决了相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的技术问题。
作为一种可选的实施例,在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数之前,该用于油田采油中的注水策略优化方法还包括:在真实环境中对第一特征参数进行第二预定次数的训练,得到训练后的第一特征参数,其中,第一预定次数大于第二预定次数;并且,在将第一特征参数更新到虚拟环境中时,将训练后的第一特征参数更新到虚拟环境中;在得到第二特征参数之后,方法还包括将第二特征参数更新到真实环境中,并利用第二特征参数对训练后的第一特征参数优化。
由于在虚拟环境中进行训练时,可以以虚拟环境中的时间作为训练时间进行训练,例如,可以在真实环境中一天的时间内根据实际需求在虚拟环境中对第一特征参数进行1000次的迭代训练,即,实现了在真实环境中对第一特征参数训练一天,而在真实虚拟环境中可以利用和真实环境中相同的时间对第一特征参数进行相当于真实环境中1000天的训练。
需要说明的是,在将第一特征参数更新到虚拟环境中之前,需要将真实环境中的第一特征参数进行至少一次的训练,将训练得到的第一特征参数更新到虚拟环境中,再进行较为合理的多次训练。
在步骤S106中,在真实环境中对第一特征参数进行第二预定次数的训练包括:S1:确定第一特征参数中的注水策略;S2:将第一特征参数中的注水策略应用到真实环境中原油采收过程中,得到基于第一特征参数中的注水策略得到的原油的采收率;S3:据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评价,得到第一价值评估值;S4:根据第一价值评估值对注水策略进行优化。循环执行上述S1至S4第二预定次数,以对第一特征参数进行第二预定次数的训练。
例如,上述第二预定次数可以为1至10次,优选为1次,即,在虚拟环境中对第一特征参数进行训练之前,可以先在真实环境中对第一特征参数进行一次训练。以一天为例,真实环境中以第一特征参数为运行参数实际运行一天,即为训练第二预定次数。
优选的,在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数包括:S5:将第一特征参数中的注水策略应用到虚拟环境中原油采收过程中,得到基于第一特征参数中的注水策略得到的原油的采收率;S6:根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评估,得到第二价值评估值;S7:根据第二价值评估值对注水策略进行优化;循环执行S5至S7第一预定次数,得到第二特征参数。
图2是根据本发明实施例的可选的用于油田采油中的注水策略优化方法的示意图,如图2所示,整体可以包括真实世界中的学习和虚拟世界中的规划两大部分。其中,在真实世界环境(即真实环境)中,可以预先定义初始注水策略,具体地,可以利用actor模型制定初始注水策略,该初始注水策略作为在原油采收过程中注水参数的分配的行动决策,将该初始注水策略应用到真实世界环境中的原油采收,得到原油的产量,利用critic模型基于该初始注水策略得到的原油产量对初始注水策略进行价值评估,并根据评估结果对初始注水策略进行策略优化。
另外,如图2所示,在对包括注水策略的第一特征参数进行不断的优化过程中,同时也在虚拟世界环境(即虚拟环境)中对第一特征参数进行优化。具体地,分别将真实环境中的Actor模型中的参数和Critic模型中的参数分别更新到虚拟环境中的Actor模型中的参数和Critic模型中,利用Actor模型中的参数和Critic模型对更新到虚拟环境中的第一特征参数进行迭代训练,其中,训练的方式与真实环境中的训练方式是相同的,在此不再赘述。
其中,如图2所示,在虚拟环境中对第一特征参数进行训练,得到第二特征参数,并利用第二特征参数对真实环境中的第一特征参数进行优化。图2中的奖励反馈用于表示当天的产量。第t-1天、第1天以及第t+1天表示油田生产过程中的时间推移。
需要说明的是,如图2所示,在利用真实环境和虚拟环境对注水策略进行优化之前,还需要搭建虚拟环境。具体地,可以利用真实环境中的生产状态参数进行模型拟合得到物理模型,并对该物理模型进行环境模拟,得到上述虚拟环境。
作为一种可选的实施例,在将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略之后,该用于油田采油中的注水策略优化方法还包括:获取将优化后的注水策略作为注水分配方式进行原油采收,得到原油采收率;根据原油的采收率对优化后的注水策略进行价值评估,得到第三价值评估值;根据原油的采收率和第三价值评估值对真实环境中的规划算法以及虚拟环境进行更新,其中,规划算法为用于对注水策略进行优化的算法。
通过本发明实施例提供的用于油田采油中的注水策略优化方法可以使用生产井电容电阻模型CRMP和分数流量模型FFM得到物理模型,以搭建虚拟现实环境(即上下文中的虚拟环境)供虚拟环境中的规划算法进行学习;其次,将真实环境中通过学习历史数据和通过与环境交互的算法完全独立的复制,并在虚拟环境中与虚拟环境进行大量的交互,并在虚拟环境中对注水策略进行改进,完成在虚拟环境中收敛到最优注水策略分配方案的过程。
然后,在将真实环境中的规划算法以及价值函数进行一定比例的算法平移,完成一次加速过程。之后通过真实环境中的算法,在具体生产中完成注水方案的分配,同时获取当天的产量信息。通过产量等状态信息,更新真实环境中的算法,以对真实环境中的注水策略进行优化,同时对虚拟环境进行更新。再重复上述用于油田采油中的注水策略优化方法,进行下一天的注水策略的学习。
即,通过用于油田采油中的注水策略优化方法可以进行反复训练和交互的虚拟环境,从而可以通过虚拟环境中的大量学习,收敛到虚拟环境中的最优注水策略,并反馈给真实环境中,加速真实环境中的算法更快的收敛得到注水优化决策系统的最优注水分配方案。
实施例2
根据本发明实施例还提供了一种用于油田采油中的注水策略优化装置,需要说明的是,本发明实施例的软件评估装置可以用于执行本发明实施例所提供的用于油田采油中的注水策略优化方法。以下对本发明实施例提供的用于油田采油中的注水策略优化装置进行介绍。
图3是根据本发明实施例的用于油田采油中的注水策略优化装置的示意图,如图3所示,该用于油田采油中的注水策略优化装置包括:采集单元31,第一更新单元33,第一训练单元35以及第一优化单元37。下面对该用于油田采油中的注水策略优化装置进行详细说明。
采集单元31,用于采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值。
第一更新单元33,与上述采集单元31连接,用于将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习。
第一训练单元35,与上述第一更新单元33连接,用于在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数。
第一优化单元37,与上述第一训练单元35连接,用于将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。
需要说明的是,该实施例中的采集单元31可以用于执行本发明实施例中的步骤S102,该实施例中的第一更新单元33可以用于执行本发明实施例中的步骤S104,该实施例中的第一训练单元35可以用于执行本发明实施例中的步骤S106,该实施例中的第一优化单元37可以用于执行本发明实施例中的步骤S108。上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。
在该实施例中,可以利用采集单元31采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值;然后利用第一更新单元33将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;再利用第一训练单元35在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;并利用第一优化单元37将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。相对于相关技术中在对用于油田采油中的注水策略进行优化时,使用的强化学习需要大量的训练来达到最优策略,而在真实油田生产工作中,又不可能提供大量的学习时间,导致使用的注水策略得到的原油产量较低的弊端,通过本发明实施例提供的用于油田采油中的注水策略优化装置可以实现在真实环境和虚拟环境中同时对注水策略进行优化的目的,达到了提供注水策略优化的速度的技术效果,进而解决了相关技术中在进行原油采收时采用的注水方式不可靠,容易对原油造成伤害,并影响原油的采收率的技术问题。
作为一种可选的实施例,该用于油田采油中的注水策略优化装置还可以包括:第一获取单元,用于在将第一特征参数更新到虚拟环境中之前,获取历史时间段内的历史第一特征参数;拟合单元,用于利用历史第一特征参数对预定初始模型进行拟合,得到物理模型,其中,预定初始模型包括:生产井电容电阻模型CRMP、分数流量模型FFM;模拟单元,用于对物理模型进行环境模拟,得到虚拟环境。
作为一种可选的实施例,该用于油田采油中的注水策略优化装置还可以包括:第二训练单元,用于在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数之前,在真实环境中对第一特征参数进行第二预定次数的训练,得到训练后的第一特征参数,其中,第一预定次数大于第二预定次数;并且,第二更新单元,用于在将第一特征参数更新到虚拟环境中时,将训练后的第一特征参数更新到虚拟环境中;装置还包括:第二优化单元,用于在得到第二特征参数之后,将第二特征参数更新到真实环境中,并利用第二特征参数对训练后的第一特征参数优化。
作为一种可选的实施例,第二训练单元可以包括:确定模块,用于确定第一特征参数中的注水策略;第一获取模块,用于将第一特征参数中的注水策略应用到真实环境中原油采收过程中,得到基于第一特征参数中的注水策略得到的原油的采收率;评估模块,用于根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评价,得到第一价值评估值;第一优化模块,用于根据第一价值评估值对注水策略进行优化;训练模块,用于循环使用上述确定模块、第一获取模块、评估模块以及第一优化模块第二预定次数,以对所述第一特征参数进行所述第二次数的训练。
作为一种可选的实施例,第一训练单元可以包括:第二获取模块,用于将第一特征参数中的注水策略应用到虚拟环境中原油采收过程中,得到基于第一特征参数中的注水策略得到的原油的采收率;第三获取模块,用于根据基于第一特征参数中的注水策略得到的原油的采收率对第一特征参数中的注水策略进行价值评估,得到第二价值评估值;第二优化模块,用于根据第二价值评估值对注水策略进行优化;第四获取模块,用于循环使用上述第二获取模块、第三获取模块以及第二优化模块第一预定次数,得到第二特征参数。
作为一种可选的实施例,该用于油田采油中的注水策略优化装置还可以包括:第二获取单元,用于在将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略之后,获取将优化后的注水策略作为注水分配方式进行原油采收,得到原油采收率;评估单元,用于根据原油的采收率对优化后的注水策略进行价值评估,得到第三价值评估值;第二更新单元,用于根据原油的采收率和第三价值评估值对真实环境中的规划算法以及虚拟环境进行更新,其中,规划算法为用于对注水策略进行优化的算法。
上述用于油田采油中的注水策略优化装置包括处理器和存储器,上述采集单元31,第一更新单元33,第一训练单元35以及第一更新单元37等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。
上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
根据本发明实施例的另外一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,程序执行上述中任意一项的用于油田采油中的注水策略优化方法。
根据本发明实施例的另外一个方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的用于油田采油中的注水策略优化方法。
在本发明实施例中还提供了一种设备,该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值;将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。
在本发明实施例中还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:采集真实环境中原油采收过程中的第一特征参数,其中,第一特征参数包括:注水策略中的特征数据,基于注水策略得到的原油的采收率,以及注水策略的价值评估值;将第一特征参数更新到虚拟环境中,其中,虚拟环境是用于供对注水策略进行优化的规划算法进行学习;在虚拟环境中对第一特征参数进行第一预定次数的训练,得到第二特征参数;将第二特征参数更新到真实环境中,并利用第二特征参数对第一特征参数中的注水策略进行优化,得到优化后的注水策略。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于油田采油中的注水策略优化方法,其特征在于,包括:
采集真实环境中原油采收过程中的第一特征参数,其中,所述第一特征参数包括:注水策略中的特征数据,基于所述注水策略得到的原油的采收率,以及所述注水策略的价值评估值;
将所述第一特征参数更新到虚拟环境中,其中,所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习;
在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数;
将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略。
2.根据权利要求1所述的方法,其特征在于,在将所述第一特征参数更新到虚拟环境中之前,还包括:
获取历史时间段内的历史第一特征参数;
利用所述历史第一特征参数对预定初始模型进行拟合,得到物理模型;
对所述物理模型进行环境模拟,得到所述虚拟环境。
3.根据权利要求1所述的方法,其特征在于,在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数之前,还包括:
在所述真实环境中对所述第一特征参数进行第二预定次数的训练,得到训练后的第一特征参数,其中,所述第一预定次数大于第二预定次数;
并且,在将所述第一特征参数更新到虚拟环境中时,将训练后的第一特征参数更新到虚拟环境中;
在得到第二特征参数之后,所述方法还包括:
将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对训练后的第一特征参数进行优化。
4.根据权利要求3所述的方法,其特征在于,在所述真实环境中对所述第一特征参数进行第二预定次数的训练包括:
S1:确定所述第一特征参数中的注水策略;
S2:将所述第一特征参数中的注水策略应用到所述真实环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;
S3:根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评价,得到第一价值评估值;
S4:根据所述第一价值评估值对所述注水策略进行优化;
循环执行上述S1至S4所述第二预定次数,以对所述第一特征参数进行所述第二预定次数的训练。
5.根据权利要求1所述的方法,其特征在于,在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数包括:
S5:将所述第一特征参数中的注水策略应用到所述虚拟环境中原油采收过程中,得到基于所述第一特征参数中的注水策略得到的原油的采收率;
S6:根据基于所述第一特征参数中的注水策略得到的原油的采收率对所述第一特征参数中的注水策略进行价值评估,得到第二价值评估值;
S7:根据所述第二价值评估值对所述注水策略进行优化;
循环执行S5至S7所述第一预定次数,得到所述第二特征参数。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略之后,还包括:
获取将所述优化后的注水策略作为注水分配方式进行原油采收,得到原油采收率;
根据所述原油的采收率对所述优化后的注水策略进行价值评估,得到第三价值评估值;
根据所述原油的采收率和第三价值评估值对所述真实环境中的规划算法以及所述虚拟环境进行更新,其中,所述规划算法为用于对注水策略进行优化的算法。
7.一种用于油田采油中的注水策略优化装置,其特征在于,包括:
采集单元,用于采集真实环境中原油采收过程中的第一特征参数,其中,所述第一特征参数包括:注水策略中的特征数据,基于所述注水策略得到的原油的采收率,以及所述注水策略价值评估值;
第一更新单元,用于将所述第一特征参数更新到虚拟环境中,其中,所述虚拟环境是用于供对注水策略进行优化的规划算法进行学习;
第一训练单元,用于在所述虚拟环境中对所述第一特征参数进行第一预定次数的训练,得到第二特征参数;
第一优化单元,用于将所述第二特征参数更新到所述真实环境中,并利用所述第二特征参数对所述第一特征参数中的注水策略进行优化,得到优化后的注水策略。
8.根据权利要求7所述的装置,其特征在于,还包括:
第一获取单元,用于在将所述第一特征参数更新到虚拟环境中之前,获取历史时间段内的历史第一特征参数;
拟合单元,用于利用所述历史第一特征参数对预定初始模型进行拟合,得到物理模型;
模拟单元,用于对所述物理模型进行环境模拟,得到所述虚拟环境。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至6中任意一项所述的用于油田采油中的注水策略优化方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的用于油田采油中的注水策略优化方法。
CN201910156773.1A 2019-03-01 2019-03-01 用于油田采油中的注水策略优化方法及装置 Active CN109681165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910156773.1A CN109681165B (zh) 2019-03-01 2019-03-01 用于油田采油中的注水策略优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910156773.1A CN109681165B (zh) 2019-03-01 2019-03-01 用于油田采油中的注水策略优化方法及装置

Publications (2)

Publication Number Publication Date
CN109681165A true CN109681165A (zh) 2019-04-26
CN109681165B CN109681165B (zh) 2022-01-25

Family

ID=66196223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910156773.1A Active CN109681165B (zh) 2019-03-01 2019-03-01 用于油田采油中的注水策略优化方法及装置

Country Status (1)

Country Link
CN (1) CN109681165B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112282714A (zh) * 2020-11-30 2021-01-29 河海大学 基于深度学习和图论的全井网注水开发优化方法
CN112836349A (zh) * 2021-01-08 2021-05-25 中国石油大学(北京) 基于井筒参数的注采联调智能决策方法及系统
CN113126576A (zh) * 2019-12-31 2021-07-16 北京国双科技有限公司 集输系统能耗优化模型构建方法与集输系统能耗控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030051873A1 (en) * 2001-04-03 2003-03-20 Patzek Tadeusz Wiktor Waterflood control system for maximizing total oil recovery
CN1560429A (zh) * 2004-02-25 2005-01-05 石油大学(华东) 注水开发油田区块整体调剖堵水决策方法
CN105095642A (zh) * 2015-05-29 2015-11-25 中国石油天然气股份有限公司 油藏数值模拟中历史拟合调整参数确定方法及装置
CN106874644A (zh) * 2016-12-28 2017-06-20 中南大学 一种加氢精制中氢解程度的实时预测方法及其系统
US20180129230A1 (en) * 2012-12-07 2018-05-10 AmpliSine Labs, LLC. Remote control of fluid-handling devices
CN108229675A (zh) * 2017-03-17 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练方法、物体检测方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030051873A1 (en) * 2001-04-03 2003-03-20 Patzek Tadeusz Wiktor Waterflood control system for maximizing total oil recovery
CN1560429A (zh) * 2004-02-25 2005-01-05 石油大学(华东) 注水开发油田区块整体调剖堵水决策方法
US20180129230A1 (en) * 2012-12-07 2018-05-10 AmpliSine Labs, LLC. Remote control of fluid-handling devices
CN105095642A (zh) * 2015-05-29 2015-11-25 中国石油天然气股份有限公司 油藏数值模拟中历史拟合调整参数确定方法及装置
CN106874644A (zh) * 2016-12-28 2017-06-20 中南大学 一种加氢精制中氢解程度的实时预测方法及其系统
CN108229675A (zh) * 2017-03-17 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练方法、物体检测方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张玉荣: "分层注水储层参数变化机理与配注参数动态调配方法研究", 《中国博士学位论文全文数据库》 *
张福坤: "油田中后期开发优化与决策研究", 《中国优秀博士学位论文全文数据库》 *
石阔: "基于改进神经网络的分层注水系统设计研究", 《中国优秀硕士学位论文全文数据库》 *
肖伟等: "基于神经网络的油田注水动态预测", 《交通与计算机》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126576A (zh) * 2019-12-31 2021-07-16 北京国双科技有限公司 集输系统能耗优化模型构建方法与集输系统能耗控制方法
CN112282714A (zh) * 2020-11-30 2021-01-29 河海大学 基于深度学习和图论的全井网注水开发优化方法
CN112282714B (zh) * 2020-11-30 2022-03-25 河海大学 基于深度学习和图论的全井网注水开发优化方法
CN112836349A (zh) * 2021-01-08 2021-05-25 中国石油大学(北京) 基于井筒参数的注采联调智能决策方法及系统
CN112836349B (zh) * 2021-01-08 2023-06-02 中国石油大学(北京) 基于井筒参数的注采联调智能决策方法及系统

Also Published As

Publication number Publication date
CN109681165B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
Ong et al. Memetic computation—past, present & future [research frontier]
CN110168495B (zh) 经训练的人工智能对象的可搜索数据库
CN109681165A (zh) 用于油田采油中的注水策略优化方法及装置
CN107066445B (zh) 一种属性情感词向量的深度学习方法
Henrich The evolution of innovation-enhancing institutions
CN102521656B (zh) 非平衡样本分类的集成迁移学习方法
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN109800789A (zh) 基于图网络的糖尿病视网膜病变分类方法及装置
CN106951512A (zh) 一种基于混合编码网络的端到端对话控制方法
CN107423442A (zh) 基于用户画像行为分析的应用推荐方法及系统,储存介质及计算机设备
CN110390548A (zh) 优惠券派发策略的选择方法及装置
CN107154150A (zh) 一种基于道路聚类和双层双向lstm的交通流量预测方法
CN108875916A (zh) 一种基于gru神经网络的广告点击率预测方法
CN108921298A (zh) 强化学习多智能体沟通与决策方法
CN107870964A (zh) 一种应用于答案融合系统的语句排序方法及系统
CN103324954B (zh) 一种基于树结构的图像分类方法及其系统
CN106529503A (zh) 一种集成卷积神经网络人脸情感识别方法
CN107330074A (zh) 基于深度学习和哈希编码的图像检索方法
CN103345656A (zh) 一种基于多任务深度神经网络的数据识别方法及装置
CN110108292A (zh) 车辆导航路径规划方法、系统、设备及介质
CN102542593A (zh) 一种基于视频解译的交互式视频风格化渲染方法
CN109726676A (zh) 自动驾驶系统的规划方法
CN109829049A (zh) 利用知识库渐进时空注意力网络解决视频问答任务的方法
CN106022294A (zh) 一种面向智能机器人的人机交互方法及装置
CN105844508A (zh) 一种基于动态周期神经网络的商品推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant