CN115628009A - 一种基于强化学习的井眼轨迹智能控制方法 - Google Patents

一种基于强化学习的井眼轨迹智能控制方法 Download PDF

Info

Publication number
CN115628009A
CN115628009A CN202211252038.9A CN202211252038A CN115628009A CN 115628009 A CN115628009 A CN 115628009A CN 202211252038 A CN202211252038 A CN 202211252038A CN 115628009 A CN115628009 A CN 115628009A
Authority
CN
China
Prior art keywords
drilling
data
well
intelligent
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211252038.9A
Other languages
English (en)
Inventor
周建新
梁寓族
孙轶伦
黄猛
陈希伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202211252038.9A priority Critical patent/CN115628009A/zh
Publication of CN115628009A publication Critical patent/CN115628009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E21EARTH OR ROCK DRILLING; MINING
    • E21BEARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B44/00Automatic control systems specially adapted for drilling operations, i.e. self-operating systems which function to carry out or modify a drilling operation without intervention of a human operator, e.g. computer-controlled drilling systems; Systems specially adapted for monitoring a plurality of drilling variables or conditions
    • EFIXED CONSTRUCTIONS
    • E21EARTH OR ROCK DRILLING; MINING
    • E21BEARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B7/00Special methods or apparatus for drilling
    • E21B7/04Directional drilling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Geology (AREA)
  • Mining & Mineral Resources (AREA)
  • Environmental & Geological Engineering (AREA)
  • Fluid Mechanics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Earth Drilling (AREA)

Abstract

本发明公开了一种基于强化学习的井眼轨迹智能控制方法,包括步骤:构建钻井轨迹数据集;建立钻井三维仿真环境;基于所述钻井数据集对强化模型进行训练,得到符合钻井要求的已训练好的智能导向模型;向所述井眼智能导向模型输入待作业井的基础信息、智能设计的井眼轨迹数据,同时选择RSBHA,钻具组合的具体尺寸根据实际地质通过经验法选择。所述智能导向模型能够模拟出钻进效能并输出实时钻井方案,RSBHA旋转导向系统根据输入的参数,到达井眼轨迹控制的目的。本发明基于强化学习的智能导向控制技术能够实现精确自动控制井眼轨迹,降低工程师高强度的脑力和体力劳动。

Description

一种基于强化学习的井眼轨迹智能控制方法
技术领域
本发明涉及石油钻井技术领域,特别地,涉及一种基于强化学习的钻井井眼轨迹智能控制方法。
背景技术
钻头导向技术作为油田勘探开发中的关键环节,呼唤着人工智能等新技术带来高效、安全和低成本的生产革新。
定向钻井技术的基础来源于井眼轨迹控制,所谓井眼轨迹,可以简单理解为钻头在地层中的运动轨迹。而井眼轨迹控制,则是采用多种技术,让钻头按照预先设计的轨迹进行行进,从而到达地层中的相应位置。在钻井作业的早期,对井眼轨迹的控制较为简单,但是由于地质条件的复杂多变,不严格的井眼轨迹控制方法使得钻探效率低下。随着钻井技术的不断发展,当前钻井领域中较为常见的钻井技术是定向钻井技术。
从滑动导向钻井,到旋转导向钻井,定向钻井技术在发展中不断完善。滑动导向钻井利用螺杆或涡轮钻具进行轨迹调整,成本较低,实施性强,多用于定向井、复杂井和大位移井。而旋转导向钻井则是改进了钻进过程中滑动钻具不旋转、紧贴井壁的缺点,利用转盘旋转进行导向,随钻实时完成导向的功能。我国的定向钻井公司主要应用的仍然是滑动导向钻井工具,与国外技术差距较大。
专利CN110500081A公开了一种基于深度学习的自动钻井方法。该方法基于钻井数据库通过对大量带标签轨迹数据进行深度学习形成钻井模型,能够模拟出钻进效能并输出钻进方案,进而控制井眼轨迹。但该方法存在不足之处在于:旋转导向自动钻井钻杆是全时旋转的,所以旋转导向钻井中并不存在滑动钻进和复合钻进之分,对控制指令的优选和划分也没有论述。
专利CN111810113A公开了一种基于深度学习的旋转导向自动钻井方法。该方法通过对已钻井数据或模拟数据深度学习,输出钻井指令和钻井参数,实时测量井眼轨迹数据,识别井眼轨迹与设计匹配程度,规划井眼控制方案,调整钻井参数,从而控制井眼轨迹。但该方法存在不足之处在于:需要使用大量含有标签的轨迹数据进行深度学习,成本较高的同时缺乏探索性导致井眼轨迹控制精度不够。
本发明同CN110500081A和CN111810113A相比,是基于目前的旋转导向钻井控制技术,本发明通过强化学习方法对井眼轨迹实现智能控制,该算法在钻头轨迹发生偏移时通过控制RSBHA的翼肋导向力来调节钻头的前进方向,以代替人工操作。
发明内容
本发明的目的在于解决上述现有技术中存在的问题,提供一种基于强化学习的能够实现井下全闭环智能控制井眼轨迹和提高钻进效能控制方法。
本发明采用的技术方案:一种基于强化学习的井眼轨迹智能控制方法,包括以下步骤:
步骤一:建立包含有历史作业数据和模拟设计钻井数据的钻井数据集,所述钻井数据包括:井的基础信息、井眼轨迹数据、钻进方式和钻井控制参数;
步骤二:基于所述钻井数据集,建立模拟三维仿真钻井环境供强化学习智能体使用,经过多次训练和验证,形成智能导向模型;
步骤三:向所述智能导向模型输入待作业井的基础信息、设计的井眼轨迹数据和RSBHA(即静态推靠式转导向组合钻具)钻具组合,所述智能导向模型能够模拟出钻进效能并输出钻井方案,钻具组合根据输入的参数,可以改变钻头转角,从而到达井眼轨迹控制的目的;
步骤四:按照所述钻井方案进行钻井作业并基于轨迹控制节点实时测量井眼轨迹数据,所述智能导向模型基于所述测量的数据进行实时的评价,在评价偏差矢量超过设定的阈值的情况下,控制钻头进行方位修正,若钻头无法修正,此时,预警装置将会得到启用,旋转钻井暂时停止,修改钻井设计轨迹或更换钻具后重新钻进;所述智能导向模型重新计算RSBHA所需要的参数,重新导向后的钻头便可旋转导向钻进继续作业。
作为优选,所述步骤一中,所述历史作业数据包括井的基础信息、井眼轨迹数据、地层剖面数据、钻进方式和钻井控制参数;所述井眼轨迹数据包括井深、垂深、井斜角、方位角、狗腿度、工具面角。
作为优选,所述步骤二中,所述形成智能导向模型的步骤包括:通过对所述钻井数据集选择地层剖面数据和模拟设计轨迹数据来建立钻井三维仿真环境,模拟钻进交互机制。
作为优选,所述步骤二中,所述形成智能导向模型的步骤包括:通过对所述钻井数据集选择实际钻井轨迹数据和模拟的设计轨迹进行强化学习网络和三维仿真的环境的钻进交互,交互过程中所获得的数据存储在数据缓存区中,形成经验缓冲区。
作为优选,所述步骤二中,所述形成智能导向模型的步骤包括:选择更具有价值的样本数据,使用从经验缓冲区选择的样本数据对强化学习网络进行训练,通过强化学习的训练形成实际钻机所需的智能导向模型。
作为优选,所述步骤三中,所述钻井方案包括:钻进方式、钻井参数和轨迹控制节点;所述轨迹控制节点包括:每2-3分钟测量1次井眼轨迹数据,实时测量实眼轨迹数据包括:井深、井斜角、方位角、造斜率、偏差矢量。
作为优选,所述步骤三中,通过钻井指令下传给RSBHA上的三个液压单元,调整RSBHA的翼肋导向力的大小和方向,钻头偏角改变,进而控制井眼轨迹。
作为优选,所述步骤四中,所述修改钻井设计轨迹步骤包括:在钻进方式为旋转钻进方式的情况下,以钻头所处位置和目标靶点重新定向,得到新的设计轨迹,调整钻井参数或更换钻具;所述更换钻具是指改变扶正器的数量和位置或改变柔性短节长度和位置。
本发明的有益效果为:
1、本方法通过一种机器学习中的强化学习技术,通过仿真环境对强化学习网络进行训练,得到可以自动导向的智能导向模型。对模型输入钻头所处位置的随钻数据,输出RSBHA的导向力的调整量指令改变钻头偏角,从而稳定且精确控制井眼轨迹。相较于人工操控更为精确,且节省了人力劳动。
2、本方法采用的旋转导向智能钻井轨迹控制方法解决了卡管风险高、钻进冲击高、震动大等问题,实现了更快、更准确的地质导向。
3、本申请与CN110500081A和CN111810113A相比:本方法基于强化学习通过使用大量无标签实钻数据对智能导向模型进行训练,相较于深度学习,不受数据标签的限制,成本低且具有探索性。
附图说明
图1示出了本发明的基于强化学习的井眼轨迹控制方法的流程示意图。
图2示出了本发明的强化学习算法结构图。
具体实施方式
下面结合本发明附图和具体实施方式对整个实施例中的技术方案进行详细的叙述。
本发明选择旋转导向钻进方式,以基于强化学习的智能导向模型实现了井眼轨迹控制智能化,实时动态监控井眼轨迹,实现钻井的智能化、自动化。智能导向模型通过对钻头和井眼轴线的偏差矢量的实时监控,通过钻井指令下传给RSBHA上的三个液压单元,调整RSBHA的翼肋导向力的大小和方向来改变钻头转角,获得预期的钻井效能并且使得钻头按照井眼设计轨迹旋转钻进。本发明通过仿真环境下的钻井数据对强化学习网络训练,使得智能导向模型对井眼轨迹的控制相比于工程师的操作更为精确且智能。
实施例
如图1所示,一种基于强化学习的井眼轨迹智能控制方法,包括以下步骤:
(a)建立包含有历史数据和模拟设计钻井数据的钻井轨迹数据集,所述钻井数据包括:井的基础信息、井眼轨迹数据、地层剖面数据、钻进方式和钻井控制参数;
(b)基于所述钻井轨迹数据集建立三维仿真钻井环境供强化学习智能体交互,经过多次训练和验证,可形成智能导向模型;
(c)向所述智能导向模型输入待作业井的基础信息、设计的井眼轨迹数据和RSBHA钻具组合,所述智能导向模型能够模拟出钻进效能并输出钻井方案,下传指令,钻具组合根据指令改变钻头转角,实现导向钻进。
(d)按照所述钻井方案进行钻井作业并基于轨迹控制节点实时测量井眼轨迹数据,所述钻井模型基于所述测量数据进行实时的评价,在评价偏差矢量超过设定的阀值的情况下,控制钻头进行方位修正,若钻头因偏差矢量过大而无法修正,此时,预警装置将会得到启用,旋转钻井暂时停止,修改钻井设计轨迹重新钻进。所述智能导向模型重新计算RSBHA所需要的参数,重新导向后的钻头便可旋转导向钻进继续作业。
在实施例1中,步骤(a)中,包括在现场应用之前,建立井的基础信息、井眼轨迹数据、钻井指令、工具振动值、静态推靠式旋转导向钻具组合和钻井参数的实际或模拟钻井数据的数据集。
在实施例1中,步骤(a)中,井眼轨迹数据包括地层剖面数据和模拟的设计轨迹数据中至少一种的钻井数据。所述轨迹数据可包括井深、垂深、井斜角、方位角、狗腿度、工具面角、偏差矢量。
在实施例1中,步骤(b)中,结合图2所示,根据RSBHA力学特性,使用unity3D建立钻井三维仿真模型环境,创建深度Q网络(DQN)与环境进行交互,具体钻进交互过程可包括:DQN模型接收环境中的数据,得到目前井下钻头的状态,包括偏差矢量,井眼曲率,钻压,井斜角,方位角等信息,经过计算,DQN模型会返回一个在当前状态下最优的调整指令,所述的指令为RSBHA 接收的翼肋导向力的大小和方向,由液压装置控制,指导环境中的钻头进行相应的调整,当钻头继续钻进一段距离,或者偏差矢量超出了规定的阈值后,DQN 模型接收新的状态数据,发出新的状态下的最优调整指令,以此反复,循环更新。每做出以此调整,调整前的状态St执行的动作at,新的状态St+1和根据新状态调整的结果计算出的相应的奖励rt将作为一个样本数据存进缓存中。DQN训练时,从缓存中抽取数个价值较高的样本进行训练。DQN完钻率95%以上并且平均偏差矢量在5~10米之内,实现智能导向控制。在实施例1中,步骤 (c)中,根据待作业井的基本信息,生成井眼轴线设计轨迹,选择静态推靠式旋转导向组合钻具,把井底实时数据输送到智能导向模型,生成该状态下的最优操作,根据生成的钻井方案,设置钻压和顶驱转速。RSBHA的导向翼肋控制三个液压泵的合力大小,智能导向模型输送翼肋导向力信号到RSBHA上,三个液压单元独立调节各自的液压力使翼肋与井壁之间的推靠作用力形成所需的导向合力目标,进而推动钻头产生侧向切削,实现导向钻进,获得钻进效能。
在实施例1中,步骤(d)中,基于钻井进行钻井作业并实时测量井眼轨迹数据,轨迹控制节点每2~3分钟更新1次井眼轨迹数据。实时测量实际井眼轨迹数据可包括:井深、井斜角、方位角、工具面角、造斜率。钻井模型基于所述测量数据通过偏差矢量做出实时的评价。偏差阈值设定为15米,在评价偏差矢量超过设定的阀值的情况下,控制钻头进行方位修正,若钻头无法修正,此时,预警装置将会得到启用,旋转钻井暂时停止,修改钻井设计轨迹重新钻进。所述智能导向模型重新获取设计轨迹或更换钻具,产生新的钻井方案,RSBHA按照智能导向模型输出的新的翼肋导向力的大小和方向进行偏转
应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于强化学习的井眼轨迹智能控制方法,其特征在于:包括以下步骤:
步骤一:建立包含有历史作业数据和模拟设计钻井数据的钻井数据集,所述钻井数据包括:井的基础信息、井眼轨迹数据、地层剖面数据、钻进方式和钻井控制参数;
步骤二:基于所述钻井数据集,建立模拟三维仿真钻井环境供强化学习智能体使用,经过多次训练和验证,形成智能导向模型;
步骤三:向所述智能导向模型输入待作业井的基础信息、设计的井眼轨迹数据和RSBHA钻具组合,所述智能导向模型能够模拟出钻进效能并输出钻井方案,钻具组合根据输入的参数,可以改变钻头转角,从而到达井眼轨迹控制的目的;
步骤四:按照所述钻井方案进行钻井作业并基于轨迹控制节点实时测量井眼轨迹数据,所述智能导向模型基于所述测量的数据进行实时的评价,在评价偏差矢量超过设定的阈值的情况下,控制钻头进行方位修正,若钻头无法修正,此时,预警装置将会得到启用,旋转钻井暂时停止,修改钻井设计轨迹或更换钻具后重新钻进;所述智能导向模型重新计算RSBHA所需要的参数,重新导向后的钻头便可旋转导向钻进继续作业。
2.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤一中,所述历史作业数据包括井的基础信息、井眼轨迹数据、地层剖面数据、钻进方式和钻井控制参数;所述井眼轨迹数据包括井深、垂深、井斜角、方位角、狗腿度、工具面角。
3.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤二中,所述形成智能导向模型的步骤包括:通过对所述钻井数据集选择地层剖面数据和模拟设计轨迹数据来建立钻井三维仿真环境,模拟钻进交互机制。
4.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤二中,所述形成智能导向模型的步骤包括:通过对所述钻井数据集选择实际钻井轨迹数据和模拟的设计轨迹进行强化学习网络和三维仿真的环境的钻进交互,交互过程中所获得的数据存储在数据缓存区中,形成经验缓冲区。
5.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤二中,所述形成智能导向模型的步骤包括:选择更具有价值的样本数据,使用从经验缓冲区选择的样本数据对强化学习网络进行训练,通过强化学习的训练形成实际钻机所需的智能导向模型。
6.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤三中,所述钻井方案包括:钻进方式、钻井参数和轨迹控制节点;所述轨迹控制节点包括:每2-3分钟测量1次井眼轨迹数据,实时测量实眼轨迹数据包括:井深、井斜角、方位角、造斜率、偏差矢量。
7.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤三中,通过钻井指令下传给RSBHA上的三个液压单元,调整RSBHA的翼肋导向力的大小和方向,钻头偏角改变,进而控制井眼轨迹。
8.根据权利要求1所述的一种基于强化学习的井眼轨迹智能控制方法,其特征在于:所述步骤四中,所述修改钻井设计轨迹步骤包括:在钻进方式为旋转钻进方式的情况下,以钻头所处位置和目标靶点重新定向,得到新的设计轨迹,调整钻井参数或更换钻具;所述更换钻具是指改变扶正器的数量和位置或改变柔性短节长度和位置。
CN202211252038.9A 2022-10-13 2022-10-13 一种基于强化学习的井眼轨迹智能控制方法 Pending CN115628009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211252038.9A CN115628009A (zh) 2022-10-13 2022-10-13 一种基于强化学习的井眼轨迹智能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211252038.9A CN115628009A (zh) 2022-10-13 2022-10-13 一种基于强化学习的井眼轨迹智能控制方法

Publications (1)

Publication Number Publication Date
CN115628009A true CN115628009A (zh) 2023-01-20

Family

ID=84905607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211252038.9A Pending CN115628009A (zh) 2022-10-13 2022-10-13 一种基于强化学习的井眼轨迹智能控制方法

Country Status (1)

Country Link
CN (1) CN115628009A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117722170A (zh) * 2024-02-09 2024-03-19 四川诺克钻探机械有限公司 一种钻探作业中采用自动化控制的方法及装置
CN118030017A (zh) * 2024-04-15 2024-05-14 成都希能能源科技有限公司 一种旋转导向钻井测控方法、系统、设备及介质
CN117722170B (zh) * 2024-02-09 2024-10-22 四川诺克钻探机械有限公司 一种钻探作业中采用自动化控制的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117722170A (zh) * 2024-02-09 2024-03-19 四川诺克钻探机械有限公司 一种钻探作业中采用自动化控制的方法及装置
CN117722170B (zh) * 2024-02-09 2024-10-22 四川诺克钻探机械有限公司 一种钻探作业中采用自动化控制的方法及装置
CN118030017A (zh) * 2024-04-15 2024-05-14 成都希能能源科技有限公司 一种旋转导向钻井测控方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN110500034B (zh) 建立神经网络模型、确定扭摆钻柱参数和定向钻井的方法
US11434743B2 (en) Automated directional drilling apparatus and methods
CN110500081B (zh) 一种基于深度学习的自动钻井方法
CN101936134B (zh) 当钻井时选择最优井眼轨迹
US9605480B2 (en) Directional drilling control devices and methods
CN105518251B (zh) 使用随机最优控制实现的钻井自动化
CN111810113A (zh) 一种基于深度学习的旋转导向自动钻井方法
CN104989370B (zh) 一种滑动导向钻井闭环控制系统及其控制方法
GB2450585A (en) Controlling the trajectory of a drill string
CN105041210A (zh) 基于滑动导向钻井闭环控制的钻机系统及钻井方法
CN105952377B (zh) 煤矿井下定向钻孔轨迹控制方法
CN109098659B (zh) 一种滑动钻井工具面调整方法
CN107201877B (zh) 一种旋转导向钻井的闭环控制方法及系统
CN115628009A (zh) 一种基于强化学习的井眼轨迹智能控制方法
CN109630016A (zh) 一种矿用水平千米定向钻机轨迹跟踪方法
CN114764844B (zh) 页岩气钻井优化设计方法及装置
NO20170798A1 (en) Regulating downhole fluid flow rate using an multi-segmented fluid circulation system model
CN114856428B (zh) 一种滑动导向钻井前馈控制方法、前馈工控机及系统
CN105156021A (zh) 基于自适应井下钻具工具面动态控制的钻机系统及钻井方法
Chernyi The problems of automation technological process of drilling oil and gas wells
CN105156091A (zh) 基于自适应井下钻具工具面动态控制的钻机系统及钻井方法
GB2589756A (en) Operating wellbore equipment using a distributed decision framework
US11725494B2 (en) Method and apparatus for automatically modifying a drilling path in response to a reversal of a predicted trend
Gao et al. Real Time Trajectory Parameters Measurement on Machine Learning for Intelligent Drilling
Shen et al. Intelligent Switch Control Algorithm of the Push-The-Bit Rotary Steerable Drilling System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination