FR3085404A1

FR3085404A1 - Optimisation automatisée du taux de pénétration pour le forage

Info

Publication number: FR3085404A1
Application number: FR1908594A
Authority: FR
Inventors: Srinath Madasu; Keshava Prasad Rangarajan
Original assignee: Landmark Graphics Corp
Current assignee: Landmark Graphics Corp
Priority date: 2018-08-30
Filing date: 2019-07-29
Publication date: 2020-03-06
Also published as: GB2590238A; US20210324723A1; NO20210069A1; US11396804B2; WO2020046351A1; CA3106973C; GB202100675D0; GB2590238B; CA3106973A1

Abstract

La présente invention concerne des systèmes et des procédés de commande d’opérations de forage. Un dispositif de commande pour un système de forage peut fournir des paramètres de forage tels que des paramètres de poids sur trépan et de vitesse de rotation au système de forage, sur la base d’une politique de récompense d’apprentissage automatique et d’une prédiction basée sur un modèle. La politique de récompense d’apprentissage automatique peut être générée pendant les opérations de forage et utilisée pour modifier les valeurs recommandées à partir de la prédiction basée sur un modèle pour les opérations de forage ultérieures afin d’atteindre le taux de pénétration souhaité. Figure pour l’abrégé: Figure 1

Description

Titre de l’invention : OPTIMISATION AUTOMATISÉE DU TAUX DE PÉNÉTRATION POUR LE FORAGE

Domaine technique [0001] La présente invention concerne de manière générale la planification et la commande de puits pendant les opérations de forage et plus particulièrement, par exemple, l’optimisation automatisée du taux de pénétration pour le forage en utilisant l’apprentissage par renforcement.

Technique antérieure [0002] Pour obtenir des hydrocarbures, tels que le pétrole et le gaz, un puits de forage est foré dans une formation rocheuse contenant des hydrocarbures en faisant tourner un trépan de forage fixé à un train de forage. Le trépan de forage est monté sur l’extrémité inférieure du train de forage en tant que partie d’un module de fond de puits (BHA) et est entraîné en rotation en faisant tourner le train de forage à la surface, par l’actionnement d’un moteur de fond de puits, ou les deux. Lorsque le poids est appliqué par le train de forage, le trépan de forage en rotation s’engage dans la formation et forme un trou de forage en direction d’une zone cible. Pendant le processus de forage, des fluides de forage sont mis en circulation pour nettoyer les déblais tandis que le trépan de forage pénètre à travers la formation.

[0003] Un certain nombre de capteurs ou de dispositifs de mesure peuvent être placés à proximité immédiate du trépan de forage pour mesurer les paramètres de fonctionnement de fond de puits associés aux conditions de forage et de fond de puits. Les mesures capturées par de tels capteurs peuvent être transmises à un dispositif informatique d’un opérateur de forage situé à la surface du trou de forage afin de surveiller et de commander le forage du puits de forage le long d’un trajet planifié au cours des différentes étapes d’une opération de forage. Lorsqu’il prend des décisions pour planifier et mettre en œuvre efficacement un plan de puits, l’opérateur de forage peut avoir à surveiller et à ajuster en permanence divers paramètres afin de prendre en compte les modifications des conditions de fond de puits lorsque le puits de forage est foré à travers différentes couches de la formation. Cependant, cela peut s’avérer difficile en raison de la complexité des aspects physiques et techniques sous-jacents du processus de forage, ainsi que de l’incertitude inhérente aux données capturées en surface et en fond de puits.

Brève description des dessins [0004] Les figures suivantes sont incluses pour illustrer certains aspects de la présente invention et ne doivent pas être considérées comme des modes de réalisation exclusifs.

La présente invention peut être sujette à des modifications, des changements, des combinaisons et des équivalents considérables au niveau de la forme et de la fonction, sans s’écarter du cadre de cette invention.

[0005] [fig.l] La figure 1 est un diagramme d’un système de forage en mer conformément à certaines mises en œuvre.

[0006] [fig.2] La figure 2 est un diagramme d’un système de forage terrestre conformément à certaines mises en œuvre.

[0007] [fig.3] La figure 3 est un schéma fonctionnel d’un système de commande de forage pendant une opération de forage conformément à certaines mises en œuvre.

[0008] [fig.4] La figure 4 est un diagramme d’un modèle de réseau neuronal illustratif pour l’optimisation de paramètres pour une opération de forage le long d’un trajet de puits planifié sur la base de contraintes non linéaires appliquées au modèle sur différentes étapes de l’opération conformément à certaines mises en œuvre e.

[0009] [fig.5] La figure 5 est un schéma d’un modèle de réseau neuronal avec des entrées de données en temps réel et une optimisation bayésienne pour la formation ou la reformation du modèle conformément à certaines mises en œuvre.

[0010] [fig.6] La figure 6 est un organigramme schématique présentant des exemples d’échanges de données pour la commande de forage en utilisant une politique de récompense d’apprentissage automatique conformément à certaines mises en œuvre.

[0011] [fig.7] La figure 7 illustre un organigramme d’opérations illustratives qui peuvent être effectuées pour commander les opérations de forage en utilisant une politique de récompense d’apprentissage automatique conformément à certaines mises en œuvre.

[0012] [fig.8] La figure 8 est un organigramme schématique présentant des exemples d’échanges de données pour générer une politique de récompense d’apprentissage automatique en utilisant l’apprentissage par renforcement conformément à certaines mises en œuvre.

[0013] [fig.9] La figure 9 illustre un organigramme d’opérations illustratives qui peuvent être effectuées pour générer une politique de récompense d’apprentissage automatique en utilisant l’apprentissage par renforcement conformément à certaines mises en œuvre.

[0014] [fig.10] La figure 10 illustre un diagramme schématique d’un ensemble de composants généraux d’un exemple de dispositif informatique conformément à certaines mises en œuvre.

[0015] [fig.l 1] La figure 11 illustre un diagramme schématique d’un exemple d’environnement pour mettre en œuvre des aspects conformément à certaines mises en œuvre.

Description des modes de réalisation [0016] La description détaillée présentée ci-dessous est destinée à décrire diverses mises en œuvre et n’est pas destinée à représenter les seules mises en œuvre dans lesquelles la technologie en question peut être mise en pratique. Comme le comprendra l’homme du métier, les mises en œuvre décrites peuvent être modifiées de différentes manières, sans pour autant sortir du cadre de la présente invention. En conséquence, les dessins et la description doivent être considérés comme illustratifs par nature et non restrictifs.

[0017] La présente invention concerne des systèmes et des procédés de commande d’opérations de forage.

[0018] Une opération de forage peut impliquer le forage d’un puits de forage le long d’un trajet ou d’une trajectoire planifiés à travers différentes couches d’une formation souterraine. Les conditions d’exploitation de fond de puits peuvent changer pendant le forage du puits de forage à travers la formation. En conséquence, un opérateur de forage ou un dispositif de commande robotique peut ajuster en permanence un ou plusieurs paramètres pouvant être commandés pour prendre en compte de tels changements et ainsi maintenir ou améliorer l’efficacité du forage pendant l’opération. Des exemples de tels paramètres pouvant être commandés incluent, mais sans s’y limiter, le poids sur trépan (WOB), la vitesse de rotation du trépan de forage ou du train de forage (par exemple, la vitesse de rotation appliquée par l’unité d’entraînement supérieure) en tours par minute (RPM), et une vitesse d’injection ou de pompage (IR) de fluide de forage dans le puits de forage ou le tuyau disposé dans celui-ci. Bien que « RPM » soit parfois utilisé ici pour faire référence à la rotation ou à la vitesse de rotation du trépan de forage, il convient de noter qu’une telle vitesse de rotation peut être spécifiée à l’aide de toute unité de mesure appropriée souhaitée pour une mise en œuvre particulière.

[0019] Dans un ou plusieurs modes de réalisation, les paramètres pouvant être commandés peuvent être utilisés pour commander des valeurs d’une « variable de fonctionnement » de l’opération de forage lorsqu’elle est effectuée en fond de puits sur différentes étapes le long d’un trajet planifié du puits de forage à travers la formation. La variable de fonctionnement peut être utilisée pour surveiller une réponse de fond de puits particulière lorsque l’opération de forage est effectuée le long du trajet de puits (en fonction, par exemple, des valeurs actuelles des paramètres pouvant être commandés ou des variables d’entrée). En conséquence, la variable de fonctionnement peut également être appelée ici « variable de réponse » de l’opération de forage. Des exemples de telles variables de fonctionnement/réponse comprennent, sans toutefois s’y limiter, l’énergie spécifique mécanique (MSE), l’énergie spécifique mécanique hydraulique (HMSE) et/ou le taux de pénétration (ROP). Les paramètres pouvant être commandés sont parfois appelés ici « paramètres de forage ».

[0020] Les paramètres de forage recommandés peuvent être fournis par un moteur de prédiction basé sur un modèle qui inclut un modèle paramétrant des informations connues sur un réservoir et/ou un système de forage. Cependant, des facteurs environnementaux inconnus du modèle peuvent entraîner une différence de réponse du système de forage (par exemple, un ROP résultant) par rapport au ROP recommandé par le moteur de prédiction et attendu sur la base d’une application de paramètres de forage recommandés associés.

[0021] Selon des aspects de l’invention, un dispositif de commande pour un système de forage peut fournir au système de forage des paramètres de forage tels que des paramètres de poids sur trépan et de vitesse de rotation, sur la base d’une politique de récompense d’apprentissage automatique et d’une prédiction basée sur un modèle. La politique de récompense d’apprentissage automatique peut être générée lors d’opérations de forage précédentes et utilisée pour modifier des valeurs recommandées à partir de la prédiction basée sur un modèle pour les opérations de forage ultérieures afin d’atteindre un taux de pénétration souhaité. De cette manière, le système peut commander de manière itérative le trépan de forage et ajuster les paramètres de forage pour augmenter l’efficacité du forage (par exemple, en maximisant le ROP et/ou en minimisant l’HMSE).

[0022] Bien que divers exemples soient décrits ici dans le cadre de la prédiction et de l’optimisation du ROP, il convient de noter que l’invention n’est pas destinée à s’y limiter et que les opérations de commande de forage décrites utilisant des politiques de récompense d’apprentissage automatique peuvent être appliquées à l’une quelconque parmi diverses variables de fonctionnement souhaitées pour une mise en œuvre particulière.

[0023] La figure 1 est un diagramme présentant un exemple de système de forage 101, mis en œuvre en tant que système de forage en mer (par exemple, pour une opération de forage sous-marine). En particulier, la figure 1 présente un module de fond de puits 100 pour une opération de forage sous-marine, le module de fond de puits 100 comprenant de manière illustrative un trépan de forage 102 sur l’extrémité distale du train de forage 104. Divers outils de diagraphie en cours de forage (LWD) et de mesure en cours de forage (MWD) peuvent également être couplés à l’intérieur du module de fond de puits 100. La distinction entre LWD et MWD est parfois floue dans l’industrie, mais aux fins de la présente description et des revendications, les outils LWD mesurent les propriétés de la formation environnante (par exemple, la résistivité, la porosité, la perméabilité) et les outils MWD mesurent les propriétés associées au trou de forage (par exemple, l’inclinaison et la direction). Dans l’exemple de système, un outil de diagraphie 106 peut être couplé juste au-dessus du trépan de forage, l’outil de diagraphie pouvant lire des données associées au trou de forage 108 (par exemple, un outil MWD) ou l’outil de diagraphie 106 pouvant lire des données associées à la formation environnante (par exemple, un outil LWD). Dans certains cas, le module de fond de puits 100 peut comprendre un moteur à boue 112. Le moteur à boue 112 peut extraire de l’énergie du fluide de forage circulant à l’intérieur du train de forage 104 et, à partir de l’énergie extraite, le moteur à boue 112 peut faire tourner le trépan de forage 102 (et s’il est présent, l’outil de diagraphie 106) séparément et à l’écart de la rotation communiquée au train de forage par équipement de surface. Des outils de diagraphie supplémentaires peuvent résider au-dessus du moteur à boue 112 dans le train de forage, tels qu’un outil de diagraphie illustratif 114.

[0024] Le module de fond de puits 100 est abaissé depuis une plateforme de forage 116 au moyen du train de forage 104. Le train de forage 104 s’étend à travers une colonne montante 118 et une tête de puits 120. L’équipement de forage supporté à l’intérieur et autour du derrick 123 (un équipement de forage illustratif décrit plus en détail par rapport à la figure 2) peut faire tourner le train de forage 104, et le mouvement de rotation du train de forage 104 et/ou le mouvement de rotation créé par le moteur à boue 112 amène le trépan 102 à tourner à une vitesse de rotation (parfois appelée ici RPM comme indiqué ci-dessus) pour former le trou de forage 108 à travers le matériau de formation 122. Le poids du train de forage 104 sur le trépan de forage 102 peut être commandé par un équipement de forage supporté à l’intérieur et autour du derrick 123 afin de définir un poids sur trépan pour le trépan de forage. Un taux de pénétration (ROP) du trépan de forage dans le matériau de formation peut dépendre de la vitesse de rotation et du poids sur trépan, et se baser sur des facteurs environnementaux (par exemple, les caractéristiques de la formation situées à proximité du trépan de forage) inconnus du système de forage. Le volume défini entre le train de forage 104 et le trou de forage 108 est appelé anneau 125. Le trou de forage 108 pénètre dans des zones ou des réservoirs souterrains, tels que le réservoir 110, qui peuvent contenir des hydrocarbures en une quantité commercialement viable.

[0025] Le module de fond de puits 100 peut en outre comprendre un sous-système de communication comportant, par exemple, un module de télémétrie 124. Le module de télémétrie 124 peut se coupler en communication aux différents outils de diagraphie 106 et 114 et recevoir des données de diagraphie mesurées et/ou enregistrées par les outils de diagraphie 106 et 114. Le module de télémétrie 124 peut communiquer des données de diagraphie à la surface en utilisant n’importe quel canal de communication approprié (par exemple, des impulsions de pression à l’intérieur du fluide de forage circulant dans le train de forage 104, une télémétrie acoustique à travers les tuyaux du train de forage 104, une télémétrie électromagnétique, des fibres optiques intégrées dans le train de forage 104, ou des combinaisons de celles-ci). De même, le module de télémétrie 124 peut recevoir des informations de la surface sur un ou plusieurs des canaux de communication.

[0026] Comme indiqué, le système de forage 101 peut comporter un système informatique de surface 140 qui fonctionne conformément à des instructions exécutables par ordinateur (qui peuvent être stockées sur un support de stockage lisible par ordinateur de celui-ci) pour surveiller et commander l’opération de forage, comme cela sera décrit plus en détail ci-dessous. De telles instructions peuvent être utilisées, par exemple, pour configurer le système informatique de surface 140 afin de traiter et de décoder les signaux de fond de puits reçus à partir du mode de télémétrie 124, pour recevoir, stocker et traiter des mesures de surface ou des mesures de fond de puits telles que les vitesses de rotation de trépan de forage et le poids sur trépan et/ou effectuer une commande robotique du train de forage 104 et du trépan de forage 102 (par exemple, sur la base d’opérations d’optimisation stochastique et/ou d’apprentissage par renforcement telles que décrites ici).

[0027] Dans un ou plusieurs modes de réalisation, tout ou partie des calculs et fonctions associés à la surveillance et à la commande manuelles ou automatisées de l’opération de forage sur le site de puits peuvent être effectués par un système informatique 140 et/ ou un système informatique distant 142 situé à distance du site de puits, par exemple, au niveau d’un centre d’exploitation d’un fournisseur de services pétroliers. Dans certaines mises en œuvre, les fonctions exécutées par le système informatique distant 142 peuvent être basées sur des données de site de puits reçues à partir du système informatique de site de puits 140 par l’intermédiaire d’un réseau de communication. Un tel réseau peut être, par exemple, un réseau local, moyen ou étendu, par exemple Internet. Comme illustré dans l’exemple de la figure 1, la communication entre le système informatique 140 et le système informatique 142 peut se faire par une liaison satellite 144. Cependant, il convient de noter que les modes de réalisation ne s’y limitent pas et que toute forme de communication appropriée peut être utilisée tel que souhaité pour un mode de réalisation particulier.

[0028] Le système informatique distant 142 peut exécuter des instructions semblables à celles décrites ci-dessus pour le système informatique 140 afin de mettre en œuvre tout ou partie de la fonctionnalité de surveillance et de commande de site de puits décrite ci-dessus (par exemple, pour recevoir, stocker et traiter des mesures de surface ou de fond de puits, telles que les vitesses de rotation de trépan de forage et le poids sur trépan, et/ou effectuer une commande robotique du train de forage 104 et du trépan de forage 102). Par exemple, une telle fonctionnalité peut être mise en œuvre en utilisant le système 140, en utilisant le système 142 ou en combinant les systèmes 140 et 142 de sorte que tout ou partie de la fonctionnalité de commande de site de puits peut être répartie entre les systèmes informatiques disponibles.

[0029] Dans un ou plusieurs modes de réalisation, la fonctionnalité de commande robotique fournie par le système informatique 142 et/ou le système informatique 140 peut inclure des opérations d’optimisation stochastique et d’apprentissage par renforcement, telles que décrites ci-dessus et comme cela sera décrit plus en détail ci-dessous par rapport aux figures 3 à 11.

[0030] La figure 2 est un diagramme présentant le système de forage 101 mis en œuvre en tant que système de forage terrestre pour effectuer une opération de forage terrestre. En particulier, la figure 2 présente une plateforme de forage 200 équipée d’un derrick 202 qui supporte un treuil 204. Le treuil 204 suspend un entraînement supérieur 208, le treuil 204 et l’entraînement supérieur 208 font tourner et abaissent le train de forage 104 à travers la tête de puits 210. Le fluide de forage est pompé par la pompe à boue 214 à travers la conduite d’écoulement 216, le tube plongeur 218, le col de cygne 220, l’entraînement supérieur 208 et à travers le train de forage 104 à des pressions et volumes élevés pour émerger à travers des buses ou des jets dans le trépan de forage 102. Le fluide de forage remonte ensuite dans le puits de forage par l’intermédiaire de l’anneau 125, à travers un obturateur anti-éruption (non spécifiquement illustré), et dans un bassin à boue 224 en surface. A la surface du site de puits, le fluide de forage est nettoyé puis remis en circulation par la pompe à boue 214. Le fluide de forage sert à refroidir le trépan de forage 102, à transporter les déblais depuis la base du trou de forage jusqu’à la surface et à équilibrer la pression hydrostatique dans les formations rocheuses.

[0031] L’équipement de forage supporté à l’intérieur et autour du derrick 202 peut faire tourner le train de forage 104, et le mouvement de rotation du train de forage 104 et/ou le mouvement de rotation créé par le moteur à boue 112 amènent le trépan 102 à tourner à une vitesse de rotation RPM pour former le trou de forage 108 à travers le matériau de formation 122. Le poids du train de forage 104 sur le trépan de forage 102 peut être commandé par un équipement de forage supporté à l’intérieur et autour du derrick 123 afin de définir un poids sur trépan pour le trépan de forage. Un taux de pénétration (ROP) du trépan de forage dans le matériau de formation peut être le résultat de la vitesse de rotation et du poids sur trépan du trépan de forage et de facteurs environnementaux (par exemple, les caractéristiques de la formation situées à proximité du trépan de forage) inconnus du système de forage.

[0032] Comme indiqué, le système de forage 101 peut comporter un système informatique de surface 240 qui fonctionne conformément à des instructions exécutables par ordinateur (qui peuvent être stockées sur un support de stockage lisible par ordinateur de celui-ci) pour surveiller et commander l’opération de forage, comme cela sera décrit plus en détail ci-dessous. De telles instructions peuvent être utilisées, par exemple, pour configurer le système informatique de surface 240 afin de traiter et de décoder les signaux de fond de puits reçus à partir du mode de télémétrie 124 par l’intermédiaire d’un numériseur 238, pour recevoir, stocker et traiter des mesures de surface ou des mesures de fond de puits telles que les vitesses de rotation de trépan de forage et le poids sur trépan, et/ou effectuer une commande robotique du train de forage 104 et du trépan de forage 102 (par exemple, sur la base d’opérations d’optimisation stochastique et/ou d’apprentissage par renforcement telles que décrites ici).

[0033] Dans le cas illustratif du mode de télémétrie 124 codant des données dans des impulsions de pression qui se propagent vers la surface, un ou plusieurs transducteurs, par exemple un ou plusieurs des transducteurs 232, 234 et 236, convertissent le signal de pression en signaux électriques pour un numériseur de signal 238 (par exemple, un convertisseur analogique-numérique). Même si seuls les transducteurs 232, 234 et 236 sont illustrés, un nombre quelconque de transducteurs peut être utilisé comme souhaité pour une mise en œuvre particulière. Le numériseur 238 fournit une forme numérique des signaux de pression à un système informatique de surface 240 ou à une autre forme d’un dispositif de traitement de données situé à la surface du site de puits. Le système informatique de surface 240 fonctionne conformément à des instructions exécutables par ordinateur (qui peuvent être stockées sur un support de stockage lisible par ordinateur) pour surveiller et commander l’opération de forage, comme cela sera décrit plus en détail ci-dessous. De telles instructions peuvent être utilisées, par exemple, pour configurer le système informatique de surface 240 afin de traiter et de décoder les signaux de fond de puits reçus à partir du mode de télémétrie 124 par l’intermédiaire du numériseur 238.

[0034] Dans un ou plusieurs modes de réalisation, des données en temps réel collectées sur le site de puits, y compris les données de diagraphie de fond de puits provenant du module de télémétrie 124, peuvent être affichées sur un dispositif d’affichage 241 couplé au système informatique 240.

[0035] Par exemple, lorsque chaque étape de l’opération de forage est effectuée et qu’une partie correspondante du puits est forée le long de son trajet planifié, les systèmes informatiques 140, 142, 240 et/ou 242 peuvent recevoir des indications sur les conditions d’exploitation de fond de puits et des valeurs de paramètres pouvant être commandés utilisées pour commander le forage du puits pendant l’opération. Des exemples de tels paramètres pouvant être commandés incluent, mais sans s’y limiter, le poids sur trépan (WOB), l’injection, le débit ou la pression de fluide de forage (à l’intérieur du tube de forage), la vitesse de rotation (RPM) du train de forage et/ou du trépan de forage (par exemple, la vitesse de rotation appliquée par l’unité d’entraînement supérieure et/ou un moteur de fond de puits), le taux de pénétration (ROP) et la densité et la viscosité du fluide de forage. En réponse à la réception d’indications de conditions d’exploitation de fond de puits pendant une étape actuelle de l’opération de forage, le système informatique de surface 240 peut envoyer automatiquement des signaux de commande au derrick 123 ou 202 et/ou à un ou plusieurs dispositifs de fond de puits afin d’ajuster les paramètres pouvant être commandés pour des étapes ultérieures de l’opération. Les signaux de commande peuvent inclure, par exemple, des valeurs mises à jour d’un ou de plusieurs paramètres pouvant être commandés pour effectuer les étapes ultérieures de l’opération de forage le long du trajet du puits. Les valeurs mises à jour peuvent être générées en recevant, avec un dispositif de commande robotique, des valeurs recommandées (par exemple, optimisées) des paramètres pouvant être commandés et du ROP, et en modifiant les valeurs recommandées à l’aide d’une politique de récompense d’apprentissage automatique, comme décrit plus en détail ci-après.

[0036] Dans un ou plusieurs modes de réalisation, tout ou partie des calculs et des fonctions associés à la surveillance et à la commande manuelles ou automatisées de l’opération de forage sur le site de puits peuvent être effectués par un système informatique 240 et/ ou un système informatique distant 242 situé à distance du site de puits, par exemple, au niveau d’un centre d’exploitation d’un fournisseur de services pétroliers. Dans certaines mises en œuvre, les fonctions exécutées par le système informatique distant 242 peuvent être basées sur des données de site de puits reçues à partir du système informatique de site de puits 240 par l’intermédiaire d’un réseau de communication. Un tel réseau peut être, par exemple, un réseau local, moyen ou étendu, par exemple Internet. Comme illustré dans l’exemple de la figure 2, la communication entre le système informatique 240 et le système informatique 242 peut se faire par une liaison satellite 244. Cependant, il convient de noter que les modes de réalisation ne s’y limitent pas et que toute forme de communication appropriée peut être utilisée tel que souhaité pour un mode de réalisation particulier.

[0037] Le système informatique distant 242 peut exécuter des instructions semblables à celles décrites ci-dessus pour le système informatique 240 afin de mettre en œuvre tout ou partie de la fonctionnalité de surveillance et de commande de site de puits décrite ci-dessus (par exemple, pour recevoir, stocker et traiter des mesures de surface ou des mesures de fond de puits, telles que les vitesses de rotation de trépan de forage et le poids sur trépan, et/ou effectuer une commande robotique du train de forage 104 et du trépan de forage 102). Par exemple, une telle fonctionnalité peut être mise en œuvre en utilisant le système 240, en utilisant le système 242 ou en combinant les systèmes 240 et 242 de sorte que tout ou partie de la fonctionnalité de commande de site de puits peut être répartie entre les systèmes informatiques disponibles.

[0038] Dans un ou plusieurs modes de réalisation, la fonctionnalité de commande robotique fournie par le système informatique 242 et/ou le système informatique peut inclure des opérations d’optimisation stochastique et d’apprentissage par renforcement, telles que décrites ci-dessus et comme cela sera décrit plus en détail ci-après par rapport aux figures 3 à 11.

[0039] Même si les exemples des figures 1 et 2 sont décrits dans le cadre d’un puits et d’un site de puits uniques, il convient de comprendre que les opérations de commande de forage robotiques décrites ici peuvent être appliquées à plusieurs puits situés à divers emplacements dans un terrain de production d’hydrocarbures. Par exemple, le système informatique distant 242 de la figure 2, comme décrit ci-dessus, peut être couplé en communication par l’intermédiaire d’un réseau de communication à des systèmes informatiques de site de puits correspondants semblables au système informatique 240 de la figure 2, tel que décrit ci-dessus. Le système informatique distant 242 dans cet exemple peut être utilisé pour surveiller et commander en continu les opérations de forage sur les divers sites de puits en envoyant et en recevant des signaux de commande et des données de site de puits vers et depuis les systèmes informatiques de site de puits respectifs par l’intermédiaire du réseau.

[0040] Bien qu’une figure puisse représenter un puits de forage horizontal ou un puits de forage vertical, sauf indication contraire, l’homme du métier comprendra que l’appareil selon la présente invention convient également à une utilisation dans des puits de forage ayant d’autres orientations, y compris des puits de forage verticaux, des puits de forage inclinés, des puits de forage multilatéraux ou analogues. En outre, sauf indication contraire, même si une figure peut représenter un trou tubé, l’homme du métier comprendra que l’appareil selon la présente invention convient également à une utilisation dans des opérations à trous ouverts.

[0041] La figure 3 est un schéma fonctionnel d’un système de forage 101 présentant divers composants pour la commande robotique des opérations de forage selon des aspects de la présente invention. Comme le montre la figure 3, le système de forage 101 comprend des composants de forage 303, décrits précédemment par rapport aux figures 1 et 2 comme comprenant, par exemple, un train de forage 103 couplé de manière opérationnelle à un trépan de forage 102, le train de forage et/ou le trépan de forage pouvant être commandés par un moteur ou un entraînement tel qu’un moteur à boue 112 et/ou un entraînement supérieur 208 décrits ici. Comme le montre la figure 3, les composants de forage 303 peuvent également comprendre un ou plusieurs capteurs 309 tels que des capteurs de surface et/ou des capteurs de fond de puits (par exemple, montés dans des outils de diagraphie 106 et/ou 114) qui fournissent (par exemple, en temps réel) des valeurs mesurées telles que des valeurs mesurées du poids sur trépan, de la vitesse de rotation et/ou du taux de pénétration pendant une opération de forage.

[0042] Comme le montre la figure 3, le système de forage 101 comprend également un système de commande qui comprend un moteur de prédiction 304 et un dispositif de commande robotique 300. Comme représenté, le dispositif de commande robotique 300 comprend une politique de récompense 302. La politique de récompense 302 peut être une politique de récompense d’apprentissage automatique générée en utilisant le moteur d’apprentissage par renforcement 310. Le moteur d’apprentissage par ren forcement 310, le dispositif de commande robotique 300 et/ou le moteur de prédiction 304 peuvent être mis en œuvre en utilisant tout ou partie des systèmes informatiques 140, 142, 240 et/ou 242 tels que décrits ci-dessus.

[0043] Comme indiqué, le moteur de prédiction 304 peut comprendre un modèle 306 tel qu’un modèle de réseau neuronal qui peut être utilisé, en combinaison avec un moteur d’optimisation 308, pour générer des valeurs recommandées (par exemple, optimisées) pour des paramètres pouvant être commandés tels que le WOB et la vitesse de rotation du trépan de forage 102, ainsi qu’un taux de pénétration recommandé (par exemple, optimisé) pour le trépan de forage 102 dans une formation. Comme décrit plus en détail ci-après, le dispositif de commande robotique 300 peut recevoir les valeurs recommandées à partir du moteur d’optimisation 308 et peut modifier les valeurs recommandées en utilisant la politique de récompense 302 pour générer des valeurs de commande pour la commande du moteur 112/208.

[0044] Comme le montre la figure 3, le moteur d’apprentissage par renforcement 310 peut comprendre une politique d’exploration 312 et/ou d’autres caractéristiques d’un processus d’apprentissage par renforcement pour la génération de la politique de récompense 302 en utilisant des valeurs mesurées et recommandées à partir des composants de forage 303 et du moteur de prédiction 304.

[0045] Les opérations de prédiction pour la génération de valeurs recommandées par le moteur de prédiction 304 sont décrites plus en détail ci-après par rapport aux figures 4 et 5. Des opérations de commande robotique pour la commande du moteur 112/208, du train de forage 104 et du trépan de forage 102 à l’aide de la politique de récompense 302 et des valeurs recommandées du moteur de prédiction 304 sont décrites plus en détail ci-après en ce qui concerne les figures 6 et 7. Les opérations d’apprentissage par renforcement pour générer la politique de récompense 302 en utilisant les valeurs recommandées du moteur de prédiction 304 et les valeurs mesurées du système de forage 101 sont décrites plus en détail ci-après en ce qui concerne les figures 8 et 9.

[0046] Au cours d’une opération de forage, des fluides de forage sont pompés dans le puits de forage pour éliminer les déblais produits tandis que le trépan de forage pénètre dans les couches de roche souterraines et forme le puits de forage à l’intérieur de la formation souterraine. Les principaux aspects physiques et techniques du processus de forage peuvent être très complexes et toutes les données de site de puits collectées lors du forage du puits de forage comportent souvent une quantité importante de bruit et d’incertitude. En conséquence, le ROP réel résultant d’un réglage de WOB et de RPM destiné à produire un ROP souhaité particulier peut être différent du ROP souhaité particulier (par exemple, de manière non linéaire et discontinue).

[0047] En conséquence, le moteur de prédiction 301 et le dispositif de commande robotique 300 sont agencés pour coopérer afin de déterminer et d’obtenir un ROP souhaité en ajustant continuellement ou périodiquement le WOB et la RPM du trépan de forage en utilisant un modèle et une politique de récompense d’apprentissage automatique.

[0048] Selon divers aspects, le moteur de prédiction 301 peut utiliser un modèle de réseau neuronal à optimisation stochastique pour générer des valeurs recommandées (par exemple, optimisées) pour le ROP et pour les paramètres pouvant être commandés (par exemple, le WOB et la RPM) de l’opération de forage qui affectent le ROP. Ces optimisations stochastiques peuvent aider à faciliter la commande en temps réel du ROP pendant le forage dans une région localisée de la formation à chaque étape de l’opération de forage. Un exemple de modèle de réseau neuronal avec optimisation stochastique est présenté à la figure 4.

[0049] Dans l’exemple de la figure 4, le modèle 306 est mis en œuvre en tant que modèle de réseau neuronal avec optimisation stochastique pour optimiser au moins une variable de fonctionnement (par exemple, pour maximiser le ROP) à chacune d’une pluralité d’étapes 402a, 402b et 402c d’une opération de forage le long d’un trajet de puits 402 (par exemple, un trajet de puits correspondant au trou de forage 108 de la figure 1 ou de la figure 2). Chaque étape peut correspondre à un intervalle ou à une section du trajet de puits 402 le long duquel ou de laquelle une partie d’un puits de forage est forée à travers une formation souterraine. Même si trois étapes sont présentées à la figure 4, il convient de noter que l’opération de forage peut inclure un nombre quelconque d’étapes. Il convient également de noter que chaque étape de l’opération peut avoir n’importe quelle longueur ou taille et que l’espacement global des étapes le long du trajet de puits 402 peut être personnalisé ou configuré comme souhaité pour une mise en œuvre particulière.

[0050] Par exemple, dans certaines mises en œuvre, chaque étape de l’opération de forage peut être effectuée sur une longueur ou un intervalle de profondeur prédéterminés (par exemple, 30 pieds) le long du trajet de puits et les étapes peuvent être adjacentes entre elles. Comme autre exemple, un ajustement du WOB, de la RPM et/ou de l’IR peut être effectué en continu pendant le forage le long du trajet de puits 402 sur la base de mises à jour continues de ces paramètres par le dispositif de commande robotique 300.

[0051] Pendant que l’opération de forage est effectuée le long du trajet de puits 402, un dispositif de commande robotique 300 peut ajuster les valeurs d’un ou de plusieurs paramètres pouvant être commandés, par exemple, le WOB, la RPM et l’IR, pour prendre en compte les modifications des conditions de forage. La valeur d’une variable de fonctionnement telle que le ROP peut également changer en réponse aux modifications apportées aux paramètres pouvant être commandés. En conséquence, la variable de fonctionnement dans ce contexte peut être considérée comme une variable de réponse et une valeur de la variable de fonctionnement comme une valeur de réponse. Des données en temps réel comprenant les valeurs actuelles des paramètres pouvant être commandés et les valeurs de réponse peuvent être collectées sur le site de puits pendant le forage (par exemple, à chacune des étapes 402a, 402b et 402c). Les données en temps réel peuvent être des données temporelles multidimensionnelles, par exemple, des échantillons de données de forage capturés avec une profondeur sur une série temporelle, qui peuvent correspondre à la vitesse de forage. Le modèle de réseau neuronal 306 peut être utilisé pour coupler les données de profondeur à des contraintes non linéaires afin de résoudre la variation temporelle et spatiale de la variable de réponse au cours de l’opération de forage.

[0052] Les valeurs des paramètres pouvant être commandés associées à une étape actuelle (par exemple, 402a) de l’opération de forage peuvent être appliquées en tant que variables d’entrée pour l’apprentissage du modèle de réseau neuronal 306 afin de produire une fonction objective définissant une valeur de réponse pour la variable de fonctionnement à optimiser pour une étape ultérieure (par exemple, 402b et/ou 402c) de l’opération. Par exemple, la fonction objective peut définir une valeur de réponse pour le ROP en termes de WOB, RPM et/ou IR, telle qu’exprimée à l’aide de l’équation (1) :

[0053] [Math.l]

ROP = f (WOB, RPM, IR) (1) [0054] La fonction objective dans ce contexte peut être une fonction de coût, qui peut être maximisée ou minimisée en fonction de la variable de fonctionnement particulière d’intérêt (par exemple, maximisée pour le ROP ou minimisée pour une autre variable de fonctionnement telle que l’énergie spécifique mécanique (MSE) ou l’énergie spécifique mécanique hydraulique énergie (HMSE)).

[0055] Pour prendre en compte la non-linéarité et/ou le bruit dans les données en temps réel ou de série temporelle de vitesse de forage (provenant par exemple de capteurs 309), la fonction objective générée par le modèle de réseau neuronal 306 pour définir la valeur de réponse de la variable de fonctionnement peut être soumise à un ensemble de contraintes non linéaires 410. Les contraintes non linéaires 410 peuvent être dérivées de modèles de données représentant différents aspects de l’opération de forage qui peuvent être associés à certaines valeurs des paramètres pouvant être commandés et qui peuvent avoir un impact sur la valeur de réponse de la variable de fonctionnement à modifier au cours de l’opération de forage. Les modèles de données dans cet exemple peuvent inclure, sans toutefois s’y limiter, un modèle de couple et de traînée (« T&D ») 412, un modèle de tourbillon 414 et un modèle de fluide de forage (« DFM ») 416.

[0056] Des contraintes appropriées peuvent être obtenues en appliquant les données en temps réel acquises au cours de l’opération de forage en tant qu’entrées pour chacun de ces modèles. Par exemple, le modèle de couple et de traînée 412 peut être utilisé pour simuler des forces exercées sur le trépan de forage par frottement avec la formation souterraine dans laquelle le puits de forage est en cours de formation. Le modèle de couple et de traînée 412 peut donc fournir un seuil sur le WOB afin d’éviter une usure excessive pouvant entraîner une défaillance du trépan de forage ou d’autres composants de l’ensemble de forage fixé à l’extrémité du train de forage. Le modèle de tourbillon 414 peut être utilisé pour simuler des forces de vibration dans le train de forage pouvant causer des dommages à certaines valeurs de RPM. Puisque les valeurs de RPM peuvent changer en fonction de la longueur et de la profondeur du train de forage, le modèle de tourbillon 414 peut être utilisé pour limiter la RPM à des plages de valeurs sûres qui évitent les vibrations excessives au niveau d’un WOB donné. Le modèle de fluide de forage 416 peut être utilisé pour simuler l’injection de fluide de forage (par exemple, de la boue) utilisé pour éliminer les déblais ou les débris du puits de forage pendant l’opération de forage. Le ROP du trépan de forage peut être limité par la quantité maximale de débris pouvant être éliminés du puits de forage par injection ou pompage de fluide sur une période de temps donnée. Ainsi, le modèle de fluide de forage 416 peut fournir une vitesse d’injection ou de pompage de fluide maximale à laquelle le fluide rempli de débris peut être éliminé du puits de forage.

[0057] Le modèle de réseau neuronal 306 avec les contraintes appliquées à la fonction objective, comme décrit ci-dessus, peut ensuite être utilisé pour estimer ou prédire une valeur de réponse pour que la variable de fonctionnement soit optimisée pour une étape ultérieure de l’opération de forage le long du trajet de puits 402. Dans un ou plusieurs modes de réalisation, une optimisation stochastique (par exemple, optimisation bayésienne) peut être appliquée à la valeur de réponse pour produire une valeur de réponse recommandée (par exemple, optimisée), correspondant à un ROP recommandé (par exemple, optimisé), et/ou à une ou plusieurs valeurs de paramètres pouvant être commandés recommandées (par exemple, optimisées) 420 telles que les valeurs recommandées pour le WOB (par exemple, un WOB optimisé 422), la RPM (par exemple, une RPM optimisée 424) et/ou l’IR (par exemple, une IR optimisée 426) pour un ROP recommandé (par exemple, les valeurs recommandées de WOB, RPM et/ ou IR susceptibles de générer un ROP recommandé) sur la base du modèle.

[0058] Comme le montre la figure 5, l’optimisation bayésienne (BO) peut être appliquée de manière itérative pour reformer un modèle 306 tel qu’un modèle de réseau neuronal 502 afin de répondre à un critère prédéterminé sur la base des entrées 500 telles que des données de capteur de fond de puits et/ou de surface. Un tel critère peut être, par exemple, un seuil de tolérance d’erreur et le modèle de réseau neuronal peut être reformé (506) chaque fois qu’il est déterminé qu’une différence entre la valeur de réponse estimée et une valeur réelle de la variable de fonctionnement dépasse le seuil. La valeur réelle de la variable de fonctionnement peut être basée sur des données en temps réel supplémentaires acquises au cours d’une étape ultérieure de l’opération de forage.

[0059] Le modèle de réseau neuronal peut être reformé (506) en appliquant Γ optimisation bayésienne (504, par exemple, par le moteur d’optimisation 308) à un ou plusieurs hyperparamètres du modèle. Des exemples de tels hyperparamètres incluent, sans toutefois s’y limiter, le nombre de couches du réseau neuronal, le nombre de nœuds dans chaque couche, le taux de décroissance d’apprentissage et tout autre paramètre lié au comportement et/ou à la capacité du modèle. Le modèle de réseau neuronal utilisé par l’optimiseur de forage 314 pour estimer la valeur de réponse de la variable de fonctionnement et les valeurs des paramètres pouvant être commandés, comme décrit cidessus, peut être au moins l’un d’un réseau neuronal à fenêtre coulissante (SWNN) ou d’un réseau neuronal profond récurrent (DNN).

[0060] Les valeurs de WOB, RPM et/ou IR recommandées peuvent être appliquées aux composants de forage 303 par le dispositif de commande 300 pour obtenir un ROP souhaité (par exemple, le ROP recommandé). Cependant, dans certains scénarios, les caractéristiques environnementales de la formation, du système de forage ou d’autres facteurs environnementaux inconnus du modèle 306 peuvent entraîner une différence entre le ROP résultant (réel) et le ROP recommandé (par exemple, optimisé), lorsque le WOB, la RPM et/ou l’IR recommandés sont appliqués.

[0061] Cependant, la politique de récompense 302 englobe des actions d’apprentissage automatique qui peuvent surmonter ces variables environnementales inconnues, sur la base du processus d’apprentissage précédemment exécuté par le moteur d’apprentissage par renforcement 310, pour atteindre un ROP souhaité.

[0062] La figure 6 est un organigramme illustrant des flux de données pour le système de forage de fonctionnement 101 utilisant la politique de récompense 302. Dans l’exemple de la figure 6, la politique de récompense 302 est mise en œuvre sous la forme d’une table Q, résultant d’un processus d’apprentissage par renforcement (par exemple, un processus d’apprentissage Q) exécuté par le moteur d’apprentissage par renforcement 310, et contenant des valeurs qui fournissent une récompense maximale pour chacune des plusieurs actions possibles qui peuvent être appliquées aux composants de forage 303 (comme décrit plus en détail ci-dessous en rapport avec les figures 8 et 9). Dans un autre exemple, la politique de récompense 302 peut être mise en œuvre sous la forme d’un modèle d’apprentissage automatique tel qu’un réseau neuronal profond (DNN) résultant d’un processus d’apprentissage par renforcement exécuté par le moteur d’apprentissage par renforcement 310, et formé pour générer des valeurs offrant une récompense maximale pour chacune des plusieurs actions possibles pouvant être appliquées aux composants de forage 303.

[0063] Comme le montre la figure 6, les valeurs mesurées telles que les valeurs mesurées de

ROP, WOB, RPM et IR sont obtenues par les composants de forage 303 (par exemple, en utilisant des valeurs appliquées connues et/ou en utilisant des capteurs 309) et fournies au moteur de prédiction 304. Le moteur de prédiction 304 génère, en utilisant les valeurs mesurées et le modèle 306 avec le moteur d’optimisation 308, les valeurs recommandées (par exemple, optimisées) de ROP, WOB, RPM et IR qui sont fournies au dispositif de commande robotique 300 (par exemple, comme décrit ci-dessus en rapport avec les figures 4 et 5). Le dispositif de commande robotique 300 obtient, en utilisant la politique de récompense 302 et les valeurs recommandées, les valeurs modifiées de WOB, RPM et IR à appliquer aux composants de forage 303 pour atteindre le ROP recommandé. Par exemple, le dispositif de commande robotique 300 peut obtenir une ou plusieurs actions pour chacun des WOB, RPM et/ou IR à exécuter pour atteindre le ROP recommandé, telles que des actions pour augmenter le WOB, la RPM et/ou l’IR de 10 %, 20 %, 30 %, 40 %, ou un autre pourcentage ou une autre quantité, des actions pour diminuer le WOB, la RPM et/ou l’IR de 10 %, 20 %, 30 %, 40 %, ou un autre pourcentage ou une autre quantité, ou des actions pour maintenir le WOB, la RPM et/ou l’IR actuels. Les valeurs modifiées sont ensuite appliquées aux composants de forage 303 (par exemple, en effectuant l’action obtenue à partir de la table Q).

[0064] La figure 7 illustre un exemple d’organigramme d’un processus 700 de commande robotique d’un système de forage conformément à certaines mises en œuvre. Bien que la figure 7 ainsi que d’autres illustrations de processus contenues dans cette invention peuvent représenter des étapes ou des opérations fonctionnelles dans une séquence particulière, les processus ne sont pas nécessairement limités à l’ordre particulier ou aux étapes illustrées. Les différentes étapes et/ou opérations décrites dans cette figure ou dans d’autres peuvent être modifiées, réagencées, effectuées en parallèle ou adaptées de différentes manières. De plus, il faut comprendre que certaines étapes ou séquences d’étapes peuvent être ajoutées au processus ou être omises du processus, sans sortir du cadre des différentes mises en œuvre. Le processus 700 peut être mis en œuvre par un ou plusieurs dispositifs ou systèmes informatiques dans certaines mises en œuvre, telles que l’un ou plusieurs des systèmes informatiques 140, 142, 240 et/ou 242 décrits ci-dessus en ce qui concerne les figures 1 et 2, un dispositif informatique 1000 décrit à la figure 10, et/ou le dispositif client 1102 ou le serveur 1106 décrits à la figure 11.

[0065] Au bloc 702, un taux de pénétration (ROP) actuel pour un trépan de forage tel que le trépan de forage 102 est obtenu (par exemple, par le moteur de prédiction 304 utilisant des capteurs 309), tandis que le trépan de forage est entraîné en rotation à une vitesse de rotation (RPM) actuelle et avec un poids sur trépan (WOB) actuel dans une formation 122. La vitesse de rotation (RPM) actuelle et le poids sur trépan (WOB) actuel peuvent être des valeurs appliquées ou des valeurs mesurées connues.

[0066] Au bloc 704, sur la base du taux de pénétration actuel et d’un modèle tel que le modèle 306, une vitesse de rotation recommandée et un poids sur trépan recommandé sont déterminés pour un taux de pénétration recommandé (par exemple, à l’aide du moteur de prédiction 304). Le taux de pénétration recommandé peut être déterminé (par exemple, par le moteur de prédiction 304) dans la même opération dans laquelle la vitesse de rotation recommandée et un poids sur trépan recommandé sont déterminés. Le modèle peut être un modèle de réseau neuronal (par exemple, tel que décrit cidessus en rapport avec les figures 4 et 5). La détermination de la vitesse de rotation recommandée et du poids sur trépan recommandé peut inclure la détermination de la vitesse de rotation recommandée et du poids sur trépan recommandé sur la base du modèle de réseau neuronal et d’une opération d’optimisation bayésienne (par exemple, en utilisant le moteur d’optimisation 308 décrit ci-dessus en rapport avec les figures 4 et 5).

[0067] Au bloc 706, avec une politique de récompense d’apprentissage automatique telle que la politique de récompense 302, une vitesse de rotation mise à jour et un poids sur trépan mis à jour sont déterminés pour atteindre le taux de pénétration recommandé, sur la base de la vitesse de rotation recommandée et du poids sur trépan recommandé. La détermination de la vitesse de rotation mise à jour et d’un poids sur trépan mis à jour peut inclure la détermination d’une vitesse de rotation modifiée et d’un poids sur trépan modifié sur la base des actions basées sur les récompenses dans une table correspondant à la politique de récompense d’apprentissage automatique. La politique de récompense d’apprentissage automatique peut être une table Q qui a été générée avec un processus d’apprentissage par renforcement pour le train de forage, comme décrit ici. Le processus d’apprentissage par renforcement est décrit plus en détail ci-après et comprend des comparaisons des taux de pénétration réels précédents avec les taux de pénétration recommandés précédents évalués avant d’obtenir le taux de pénétration actuel. Chacune des comparaisons comprend une évaluation d’une fonction de récompense, telle que décrite dans la présente invention.

[0068] Les valeurs de WOB et RPM recommandées peuvent être modifiées à l’unisson (par exemple, selon un pourcentage commun, tel qu’une augmentation ou une diminution communes des deux paramètres opérationnels de 10 %) ou différemment (par exemple, en modifiant la vitesse de rotation recommandée avec une augmentation de 10 % et le WOB recommandé avec une augmentation ou une diminution de 20 %) pour générer le WOB mis à jour et la RPM mise à jour, sur la base de la politique de récompense d’apprentissage automatique. Dans certains scénarios, le WOB recommandé est modifié à l’aide de la politique de récompense d’apprentissage automatique pour générer un WOB mis à jour différent du WOB recommandé, sans modifier la RPM recommandée (par exemple, la RPM mise à jour est identique à la RPM recommandée).

Dans certains scénarios, la RPM recommandée est modifiée à l’aide de la politique de récompense d’apprentissage automatique pour générer une RPM mise à jour différente de la RPM recommandée, sans modifier le WOB recommandé (par exemple, le WOB mis à jour est identique au WOB recommandé).

[0069] Au bloc 708, la vitesse de rotation actuelle et le poids sur trépan actuel du trépan de forage peuvent être modifiés pour correspondre à la vitesse de rotation mise à jour et au poids sur trépan mis à jour. Comme indiqué par la flèche 721, les opérations des blocs 702 à 708 peuvent être répétées périodiquement ou continuellement pendant une opération de forage pour veiller à ce qu’un ROP souhaité soit connu et atteint.

[0070] Le dispositif de commande robotique 300 peut commander directement les composants de forage 303 pour modifier le WOB, la RPM et/ou l’IR sans intervention humaine, peut fournir à un opérateur la possibilité ou l’obligation d’accepter les modifications avant leur application, et/ou peut fournir les valeurs modifiées de WOB, RPM et/ou IR à un opérateur pour une mise en œuvre par l’opérateur.

[0071] La figure 8 est un organigramme illustrant des flux de données pour effectuer une opération d’apprentissage par renforcement afin de générer une politique de récompense 302. Dans l’exemple de la figure 8, les valeurs mesurées telles que les valeurs mesurées de ROP, WOB, RPM et IR sont obtenues par les composants de forage 303 (par exemple, en utilisant des valeurs appliquées connues et/ou en utilisant des capteurs 309) et fournies à la fois au moteur de prédiction 304 et au moteur d’apprentissage par renforcement 310.

[0072] Le moteur de prédiction 304 génère, en utilisant les valeurs mesurées et le modèle 306 avec le moteur d’optimisation 308, des valeurs recommandées (par exemple, optimisées) de ROP, WOB, RPM et IR qui sont fournies au moteur d’apprentissage par renforcement 310. Le moteur d’apprentissage par renforcement 310 compare le ROP recommandé avec le ROP mesuré (réel) pour déterminer une valeur de récompense. La réalisation de la comparaison du ROP recommandé (ROP_rec) avec le ROP mesuré (réel) (ROP_act) peut, par exemple, inclure l’évaluation d’une fonction de récompense telle que la fonction de récompense indiquée dans l’équation (2) ci-dessous :

[0073] [Math.2] ^récompense = 1 + (ROP_rea-ROP_act)² (²) [0074] La récompense calculée peut être utilisée pour commencer à remplir la politique de récompense d’apprentissage automatique 302. Par exemple, si le ROP recommandé n’est pas identique au ROP réel, le moteur d’apprentissage par renforcement 310 peut sélectionner une action pour modifier le WOB, la RPM et/ou l’IR du système de forage. Lorsque l’action est sélectionnée, des valeurs modifiées du WOB, de la RPM et/ou de l’IR sont fournies aux composants de forage 303 et appliquées, et une nouvelle évaluation de la fonction de récompense est effectuée. En conséquence, des valeurs de récompense pour chaque action possible sont générées pour le remplissage de la politique de récompense d’apprentissage automatique.

[0075] Les actions effectuées pendant les opérations d’apprentissage par renforcement peuvent être sélectionnées en fonction de la politique d’exploration 312. La politique d’exploration 312 peut être une politique aléatoire dans laquelle les modifications du WOB, de la RPM et/ou de l’IR sont sélectionnées de manière aléatoire, une politique déterministe dans laquelle les modifications du WOB, de la RPM et/ou de l’IR sont sélectionnées sur la base d’une erreur relative mesurée dans le ROP, ou une autre politique, telle qu’une politique gloutonne epsilon, dans laquelle les actions sont sélectionnées sur la base d’une combinaison de choix aléatoires et déterministes.

[0076] L’erreur relative « Err » dans le ROP peut être déterminée à l’aide de l’équation (3) ci-dessous :

[0077] [Math.3]

Err = (ROP_act-ROP_rec)

ROP_rec [0078] Dans une mise en œuvre déterministe de la politique d’exploration 312, si l’erreur relative déterminée avec l’équation (2) est négative, le WOB et/ou le ROP sont augmentés (par exemple, d’un pourcentage commun de dix pour cent ou d’une ou d’autres quantités), si l’erreur relative déterminée avec l’équation (2) est positive, le WOB et/ou le ROP sont réduits (par exemple, d’un pourcentage commun de dix pour cent ou d’une ou d’autres quantités), ou si l’erreur relative est sensiblement nulle, aucune mesure ne peut être prise (par exemple, jusqu’à ce qu’un nouveau ROP recommandé soit généré et fourni par le moteur de prédiction 304).

[0079] Dans une politique gloutonne epsilon, un nombre aléatoire (par exemple, un nombre pseudo-aléatoire compris entre zéro et un) peut être sélectionné et, si le nombre aléatoire est supérieur à epsilon (qui peut être un petit nombre constant tel que 0,1), l’approche déterministe ci-dessus est utilisée pour sélectionner l’action suivante ou, si le nombre aléatoire est inférieur à epsilon, une action est sélectionnée de manière aléatoire.

[0080] Une fois que la politique de récompense 302 est générée (par exemple, une table Q est stockée dans la mémoire accessible par le dispositif de commande 300), le dispositif de commande 300 obtient, à l’aide de la politique de récompense 302 et des valeurs recommandées, des valeurs modifiées de WOB, RPM et IR à appliquer aux composants de forage 303 pour atteindre un ROP recommandé. Par exemple, le dispositif de commande robotique 300 peut obtenir une ou plusieurs actions de la table Q 302 pour chacun du WOB, de la RPM et/ou de l’IR à effectuer pour atteindre le ROP recommandé, telles que des actions pour augmenter le WOB, la RPM et/ou l’IR de 10 %, 20 %, 30 %, 40 %, ou un autre pourcentage ou une autre quantité, des actions visant à réduire le WOB, la RPM et/ou l’IR de 10 %, 20 %, 30 %, 40 %, ou un autre pourcentage ou une autre quantité, ou des actions pour maintenir le WOB, la RPM et/ ou l’IR actuels. Les valeurs modifiées sont ensuite appliquées aux composants de forage 303 (par exemple, en effectuant l’action obtenue à partir de la table Q).

[0081] La figure 9 illustre un exemple d’organigramme d’un processus 900 d’apprentissage par renforcement pour la commande robotique d’un système de forage conformément à certaines mises en œuvre. Bien que la figure 9, ainsi que d’autres illustrations de processus contenues dans cette description, peuvent représenter des étapes ou des opérations fonctionnelles dans une séquence particulière, les processus ne sont pas nécessairement limités à l’ordre particulier ou aux étapes illustrées. Les différentes étapes et/ou opérations décrites dans cette figure ou dans d’autres peuvent être modifiées, réagencées, effectuées en parallèle ou adaptées de différentes manières. De plus, il faut comprendre que certaines étapes ou séquences d’étapes peuvent être ajoutées au processus ou être omises du processus, sans sortir du cadre des différentes mises en œuvre. Le processus 900 peut être mis en œuvre par un ou plusieurs dispositifs ou systèmes informatiques dans certaines mises en œuvre, tels qu’un ou plusieurs des systèmes informatiques 140, 142, 240 et/ou 242 décrits ci-dessus en rapport avec les figures 1 et 2, un dispositif informatique 1000 décrit à la figure 10, et/ou le dispositif client 1102 ou le serveur 1106 décrits à la figure IL [0082] Au bloc 902, le moteur de prédiction 304 peut être utilisé pour obtenir un taux de pénétration actuel pour un trépan de forage 102 (par exemple, en utilisant des valeurs appliquées connues et/ou à partir de capteurs 309), tandis que le trépan de forage est mis en rotation à une vitesse de rotation (RPM) actuelle et avec un poids sur trépan (WOB) actuel dans une formation.

[0083] Au bloc 904, le moteur de prédiction détermine, sur la base du taux de pénétration actuel et d’un modèle tel qu’un modèle 306, une vitesse de rotation recommandée, un poids sur trépan recommandé et un taux de pénétration recommandé (voir, par exemple, les figures 4 et 5).

[0084] Au bloc 906, le moteur de prédiction fournit la vitesse de rotation recommandée, le poids sur trépan recommandé et le taux de pénétration recommandé pour un dispositif de commande tel que le dispositif de commande robotique 300.

[0085] Au bloc 908, une politique de récompense d’apprentissage automatique pour la commande future du train de forage est générée en exécutant un processus d’apprentissage par renforcement avec le dispositif de commande robotique en utilisant la vitesse de rotation recommandée, le poids sur trépan recommandé et le taux de pénétration recommandé. Le processus d’apprentissage par renforcement comprend l’application d’une pluralité de modifications à la vitesse de rotation recommandée et au poids sur trépan recommandé. Le processus d’apprentissage par renforcement comprend également, pour chaque modification, l’obtention d’un nouveau taux de pénétration actuel et l’évaluation d’une fonction de récompense (voir, par exemple, l’équation (2)) qui compare le nouveau taux de pénétration actuel avec le taux de pénétration recommandé.

[0086] La politique de récompense d’apprentissage automatique peut, par exemple, être une table de récompense (par exemple, une table Q telle que décrite ici). L’exécution du processus d’apprentissage par renforcement comprend le remplissage de la table de récompense sur la base de chaque évaluation de la fonction de récompense. Chacune de la pluralité de modifications peut être déterminée à l’aide d’une politique d’exploration, telle que la politique d’exploration 312 (par exemple, une politique gloutonne epsilon ou une autre politique) du processus d’apprentissage par renforcement. Les opérations décrites ci-dessus en rapport avec les blocs 902 à 908 peuvent être répétées (par exemple, pour 100 épisodes, chacun correspondant à un nouveau ROP recommandé du moteur de prédiction 304)) pour générer la politique 302.

[0087] Par exemple, le moteur de prédiction 304 peut générer un nouveau taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une nouvelle vitesse de rotation actuelle et avec un nouveau poids sur trépan actuel dans une formation. La nouvelle vitesse de rotation actuelle et le nouveau poids sur trépan actuel peuvent être des valeurs modifiées précédentes fournies par le dispositif de commande robotique 300 sur la base d’une politique de récompense nouvelle ou partiellement remplie. Le moteur de prédiction 304 peut ensuite, sur la base du nouveau taux de pénétration actuel et du modèle, déterminer une nouvelle vitesse de rotation recommandée, un nouveau poids sur trépan recommandé et un nouveau taux de pénétration recommandé, et fournir la nouvelle vitesse de rotation recommandée, le nouveau poids sur trépan recommandé et le nouveau taux de pénétration recommandé au dispositif de commande robotique. Le dispositif de commande robotique peut ensuite mettre à jour la politique de récompense d’apprentissage automatique pour la commande future du train de forage, en effectuant le processus d’apprentissage par renforcement avec le dispositif de commande robotique en utilisant la nouvelle vitesse de rotation recommandée, le nouveau poids sur trépan recommandé et le nouveau taux de pénétration recommandé ainsi que les nouvelles évaluations de la fonction de récompense. De cette manière, un dispositif de commande robotique 300 pour un train de forage 104 et le trépan de forage associé 102 d’un composant de forage 303 peut être configuré (par exemple, pour des opérations de forage améliorées) en effectuant tout ou partie des opérations décrites ci-dessus par rapport aux blocs 902 à 908.

[0088] La figure 10 illustre un diagramme schématique d’un ensemble de composants généraux d’un exemple de dispositif informatique 1000 (par exemple, une mise en œuvre du système informatique 140, 142, 240 ou 242 décrit ici). Dans cet exemple, le dispositif informatique 1000 comprend un processeur 1002 pour exécuter des instructions pouvant être stockées dans un dispositif ou un élément de mémoire 1004. Le dispositif informatique 1000 peut comprendre de nombreux types de mémoire, de stockage de données ou de supports de stockage non transitoires lisibles par ordinateur, tels qu’un premier stockage de données pour des instructions de programme à exécuter par le processeur 1002, un stockage séparé pour des images ou des données, une mémoire amovible pour partager des informations avec d’autres dispositifs, etc.

[0089] Le dispositif informatique 1000 peut typiquement comprendre un élément d’affichage 1006, tel qu’un écran tactile ou un écran à cristaux liquides (LCD).

Comme décrit, le dispositif informatique 1000 dans de nombreux modes de réalisation comprendra au moins un élément d’entrée 1010 capable de recevoir une entrée classique d’un utilisateur. Cette entrée classique peut comprendre, par exemple, un bouton poussoir, un pavé tactile, un écran tactile, une molette, une manette, un clavier, une souris, un pavé numérique, ou tout autre dispositif ou élément similaires permettant à un utilisateur de saisir une commande sur le dispositif. Toutefois, dans certains modes de réalisation, le dispositif informatique 1000 pourrait ne comporter aucun bouton et être commandé uniquement par une combinaison de commandes visuelles et audio, de sorte qu’un utilisateur peut commander le dispositif informatique 1000 sans avoir à entrer en contact avec le dispositif informatique 1000. Dans certains modes de réalisation, le dispositif informatique 1000 de la figure 10 peut inclure un ou plusieurs éléments d’interface réseau 1008 pour communiquer sur divers réseaux, tels que des systèmes de communication Wi-Li, Bluetooth, RL, filaires ou sans fil. Le dispositif informatique 1000 dans de nombreux modes de réalisation peut communiquer avec un réseau, tel qu’Intemet, et peut être capable de communiquer avec d’autres dispositifs informatiques de ce type.

[0090] Comme décrit ici, différentes approches peuvent être mises en œuvre dans divers environnements conformément aux modes de réalisation décrits. Par exemple, la figure 11 illustre un diagramme schématique d’un exemple d’environnement 1100 pour la mise en œuvre d’aspects conformément à divers modes de réalisation. Comme on le comprendra, bien qu’un environnement client-serveur soit utilisé à des fins d’explication, des environnements différents peuvent être utilisés, le cas échéant, pour mettre en œuvre divers modes de réalisation. Le système comprend un dispositif client électronique 1102, qui peut inclure tout dispositif approprié pouvant être utilisé pour envoyer et recevoir des demandes, des messages ou des informations sur un réseau approprié 1104 et renvoyer des informations à un utilisateur du dispositif. Des exemples de tels dispositifs clients incluent des ordinateurs personnels, des téléphones cellulaires, des dispositifs de messagerie portables, des ordinateurs portables, et analogues.

[0091] Le réseau 1104 peut inclure tout réseau approprié, y compris un intranet, Internet, un réseau cellulaire, un réseau local ou tout autre réseau du même type ou une combinaison de ceux-ci. Les composants utilisés pour un tel système peuvent dépendre au moins en partie du type de réseau et/ou d’environnement sélectionné. Les protocoles et les composants pour communiquer par rintermédiaire d’un tel réseau sont bien connus et ne seront pas décrits ici en détail. L’informatique sur le réseau 1104 peut être activée par l’intermédiaire de connexions filaires ou sans fil et leurs combinaisons. Dans cet exemple, le réseau comprend Internet, l’environnement comprenant un serveur 1106 pour recevoir des demandes et fournir le contenu en réponse à celui-ci, même si pour d’autres réseaux, un autre dispositif servant un objectif similaire peut être utilisé, comme le comprendrait l’homme du métier.

[0092] Le dispositif client 1102 peut représenter le dispositif informatique 1000 de la figure 10, et le serveur 1106 peut représenter des installations informatiques hors site telles que les systèmes informatiques distants 142 ou 242 décrits ici, dans une mise en œuvre.

[0093] Le serveur 1106 comprend un système d’exploitation qui fournit des instructions de programme exécutables pour l’administration générale et le fonctionnement général de ce serveur et comprend généralement des instructions de stockage de supports lisibles par ordinateur qui, lorsqu’elles sont exécutées par un processeur du serveur, permettent au serveur de remplir ses fonctions prévues. Des mises en œuvre appropriées pour le système d’exploitation et la fonctionnalité générale des serveurs sont connues ou disponibles dans le commerce et sont facilement mises en œuvre par des hommes du métier, en particulier à la lumière de la présente invention.

[0094] L’environnement dans un mode de réalisation est un environnement informatique réparti utilisant plusieurs systèmes informatiques et composants qui sont interconnectés par l’intermédiaire de liaisons informatiques, en utilisant un ou plusieurs réseaux informatiques ou des connexions directes. Cependant, l’homme du métier appréciera qu’un tel système puisse fonctionner aussi bien dans un système ayant un nombre de composants inférieur ou supérieur au nombre de composants illustré à la figure 11. Ainsi, la représentation de l’environnement 1100 à la figure 11 doit être considérée comme étant de nature illustrative et ne limitant pas la portée de l’invention.

[0095] Un support de stockage et un autre support non transitoire lisible par ordinateur pour contenir un code, ou des parties de code, peuvent inclure tout support de stockage approprié utilisé dans la technique, tel que, sans s’y limiter, un support volatil et non volatil, amovible et non amovible mis en œuvre dans tout procédé ou technologie de stockage d’informations comme des instructions lisibles par ordinateur, des structures de données, des modules de programme ou d’autres données, tels qu’une RAM, une ROM, une EEPROM, une mémoire flash ou une autre technologie de mémoire, un CD-ROM, un disque polyvalent numérique (DVD) ou un autre stockage optique, des cassettes magnétiques, une bande magnétique, un stockage sur disque magnétique ou d’autres dispositifs de stockage magnétiques, ou tout autre support pouvant être utilisé pour stocker les informations souhaitées et accessible par le dispositif de système. Sur la base de l’invention et des enseignements fournis ici, l’homme du métier appréciera d’autres moyens et/ou procédés pour mettre en œuvre les diverses mises en œuvre.

[0096] Divers exemples d’aspects de l’invention sont décrits ci-dessous en tant que clauses pour des raisons de commodité. Ils sont fournis à titre d’exemple et ne limitent pas la technologie en question.

[0097] Clause A. Un procédé de commande d’un train de forage comportant un trépan de forage, le procédé comprenant : l’obtention d’un taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; la détermination, avec une politique de récompense d’apprentissage automatique pour le train de forage, d’une vitesse de rotation mise à jour et d’un poids sur trépan mis à jour pour obtenir le taux de pénétration recommandé, sur la base de la vitesse de rotation recommandée et du poids sur trépan recommandé ; et la modification de la vitesse de rotation actuelle et du poids sur trépan actuel du trépan de forage en vitesse de rotation mise à jour et poids sur trépan mis à jour.

[0098] Clause B. Un système de commande pour système de forage ayant un train de forage couplé de manière opérationnelle à un trépan, le système de commande comprenant : au moins un processeur ; et une mémoire comprenant des instructions qui, lorsqu’elles sont exécutées, amènent les un ou plusieurs processeurs à : obtenir un taux de pénétration actuel du trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; déterminer, sur la base du taux de pénétration actuel et d’un modèle, une vitesse de rotation recommandée et un poids sur trépan recommandé pour un taux de pénétration recommandé ; déterminer une vitesse de rotation mise à jour et un poids sur trépan mis à jour pour atteindre le taux de pénétration recommandé, sur la base d’une politique de récompense d’apprentissage automatique, de la vitesse de rotation recommandée et du poids sur trépan recommandé ; et modifier la vitesse de rotation actuelle et le poids sur trépan actuel du trépan de forage en vitesse de rotation mise à jour et en poids sur trépan mis à jour.

[0099] Clause C. Un procédé de configuration d’un dispositif de commande robotique pour un train de forage et un trépan de forage associé d’un système de forage, le procédé comprenant : l’obtention, avec un moteur de prédiction, d’un taux de pénétration actuel du trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; la détermination, avec le moteur de prédiction et sur la base du taux de pénétration actuel et d’un modèle, d’une vitesse de rotation recommandée, d’un poids sur trépan recommandé et d’un taux de pénétration recommandé ; la fourniture de la vitesse de rotation recommandée, du poids sur trépan recommandé et du taux de pénétration recommandé du moteur de prédiction au dispositif de commande robotique ; et la génération d’une politique de récompense d’apprentissage automatique pour la commande future du train de forage en exécutant un processus d’apprentissage par renforcement avec le dispositif de commande robotique en utilisant la vitesse de rotation recommandée, le poids sur trépan recommandé et le taux de pénétration recommandé.

[0100] Une référence à un élément au singulier n’est pas destinée à signifier un seul et même élément, sauf si cela est spécifiquement indiqué, mais plutôt un ou plusieurs éléments. Par exemple, « un » module peut faire référence à un ou plusieurs modules. Un élément précédé par « un », « une », « le » ou « ledit/ladite » n’empêche pas, sans autres contraintes, l'existence d’éléments identiques supplémentaires.

[0101] Les titres et les sous-titres, le cas échéant, sont utilisés uniquement pour des raisons de commodité et ne limitent pas l’invention. Le mot exemple est utilisé pour désigner un exemple ou une illustration. Dans la mesure où le terme « comprend », « a » ou analogues est utilisé, un tel terme est destiné à être inclusif d’une manière semblable au terme « comprendre » puisque « comprendre » est interprété lorsqu’il est utilisé comme mot de transition dans une revendication. Des termes relationnels tels que « premier » et « second » et analogues peuvent être utilisés pour distinguer une entité ou une action d’une autre sans nécessairement exiger ou impliquer une telle relation ou un tel ordre entre ces entités ou actions.

[0102] Des expressions telles qu’un aspect, l’aspect, un autre aspect, certains aspects, un ou plusieurs aspects, une mise en œuvre, la mise en œuvre, une autre mise en œuvre, certaines mises en œuvre, une ou plusieurs mises en œuvre, un mode de réalisation, le mode de réalisation, un autre mode de réalisation, certains modes de réalisation, un ou plusieurs modes de réalisation, une configuration, la configuration, une autre configuration, certaines configurations, une ou plusieurs configurations, la technologie en question, la description, la présente invention, d’autres variantes de celle-ci et analogues sont utilisés pour des raisons de commodité et n’impliquent pas qu’une description concernant cette ou ces expressions soit essentielle à la technologie en question ou qu’une telle description s’applique à toutes les configurations de la technologie en question. Une description relative à cette ou à ces expressions peut s’appliquer à toutes les configurations, ou à une ou plusieurs configurations. Une description relative à cette ou à ces expressions peut fournir un ou plusieurs exemples. Une expression telle qu’un aspect ou certains aspects peut faire référence à un ou plusieurs aspects et inversement, et cela s’applique de la même manière à d’autres expressions précédentes.

[0103] Une expression « au moins l’un de » précédant une série d’éléments, avec les termes « et » ou « ou » pour séparer l’un quelconque des éléments, modifie la liste dans son ensemble plutôt que chaque élément de la liste. L’expression « au moins l’un de » ne nécessite pas la sélection d’au moins un élément ; au contraire, l’expression permet une signification qui inclut au moins l’un quelconque des éléments, et/ou au moins l’une d’une quelconque combinaison des éléments, et/ou au moins l’un de chacun des éléments. A titre d’exemple, chacune des expressions « au moins l’un de A, B et C » ou « au moins l’un de A, B ou C » fait référence à seulement A, seulement B, ou seulement C ; toute combinaison de A, B et C ; et/ou au moins l’un parmi chacun de A, B et C.

[0104] Il est entendu que l’ordre ou la hiérarchie spécifiques des étapes, des opérations ou des processus décrits est une illustration d’exemples d’approches. Sauf indication explicite contraire, il est entendu que l’ordre ou la hiérarchie spécifiques des étapes, des opérations ou des processus peut être exécuté dans un ordre différent. Certaines des étapes, des opérations ou des processus peuvent être exécutés simultanément. Les revendications de procédé annexées, le cas échéant, présentent des éléments des différentes étapes, opérations ou processus dans un ordre d’échantillon, et ne sont pas destinées à être limitées à l’ordre ou à la hiérarchie spécifiques présentés. Ceux-ci peuvent être effectués en série, de manière linéaire, en parallèle ou dans un ordre différent. Il doit être entendu que les instructions, opérations et systèmes décrits peuvent généralement être intégrés ensemble dans un seul produit logiciel/matériel ou assemblés dans plusieurs produits logiciels/matériels.

[0105] Dans un aspect, un terme couplé ou analogue peut désigner un couplage direct. Dans un autre aspect, un terme couplé ou analogue peut désigner un couplage indirect.

[0106] Des termes tels que haut, bas, avant, arrière, latéral, horizontal, vertical, et analogues désignent un cadre de référence arbitraire, plutôt que le cadre de référence gravitationnel ordinaire. Ainsi, un tel terme peut s’étendre vers le haut, vers le bas, en diagonale ou horizontalement dans un cadre de référence gravitationnel.

[0107] La description est fournie pour permettre à tout homme du métier de mettre en pratique les divers aspects décrits ici. Dans certains cas, des structures et des composants bien connus sont représentés sous la forme d’un schéma fonctionnel afin d’éviter d’obscurcir les concepts de la technologie en question. La description fournit divers exemples de la technologie en question, et la technologie en question ne se limite pas à ces exemples. Diverses modifications de ces aspects apparaîtront facilement aux hommes du métier, et les principes décrits ici peuvent être appliqués à d’autres aspects.

[0108] Tous les équivalents structurels et fonctionnels des éléments des divers aspects décrits dans l’invention qui sont connus ou qui seront connus ultérieurement de l’homme du métier sont expressément incorporés ici à titre de référence et sont censés être compris dans les revendications. De plus, rien de ce qui est décrit ici n’est destiné à être dédié au public, peu importe si cette invention est ou non explicitement mentionnée dans les revendications. Aucun élément de revendication ne doit être interprété conformément aux dispositions de l’article 35 USC § 112, sixième alinéa, à moins que l’élément ne soit expressément cité en utilisant l’expression « moyens de » ou, dans le cas d’une revendication de procédé, en utilisant l’expression « étape de ».

[0109] Le titre, le contexte, la brève description des dessins, l’abrégé et les dessins sont incorporés ici dans la description de l’invention et sont fournis à titre d’exemples illustratifs de l’invention, et non sous forme de descriptions restrictives. Ces éléments sont soumis tout en sachant qu’ils ne seront pas utilisés pour limiter la portée ou la signification des revendications. De plus, dans la description détaillée, on peut constater que la description fournit des exemples illustratifs et que les diverses caractéristiques sont regroupées dans diverses mises en œuvre dans le but de simplifier la description. Le procédé de l’invention ne doit pas être interprété comme reflétant une intention que l’objet revendiqué exige plus de caractéristiques que celles qui sont expressément énoncées dans chaque revendication. Au contraire, comme les revendications le reflètent, la présente invention ne repose pas sur l’ensemble des caractéristiques d’une seule configuration ou opération décrite. Les revendications sont incorporées dans la description détaillée, chaque revendication constituant à elle seule un objet revendiqué séparément.

[0110] Les revendications ne sont pas censées se limiter aux aspects décrits dans le présent document, mais doivent avoir la pleine portée conforme à la formulation des revendications et englober tous les équivalents juridiques. Néanmoins, aucune des revendications ne vise à couvrir un objet qui ne satisfait pas aux exigences de la loi applicable sur les brevets, et ne doit pas non plus être interprétée dans ce sens.

Claims

Revendications [Revendication 1] Procédé de commande d’un train de forage comportant un trépan de forage, le procédé comprenant : l’obtention d’un taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; la détermination, sur la base du taux de pénétration actuel et d’un modèle, d’une vitesse de rotation recommandée et d’un poids sur trépan recommandé pour un taux de pénétration recommandé ; la détermination, avec une politique de récompense d’apprentissage automatique pour le train de forage, d’une vitesse de rotation mise à jour et d’un poids sur trépan mis à jour pour atteindre le taux de pénétration recommandé, sur la base de la vitesse de rotation recommandée et du poids sur trépan recommandé ; et la modification de la vitesse de rotation actuelle et du poids sur trépan actuel du trépan de forage en vitesse de rotation mise à jour et en poids sur trépan mis à jour. [Revendication 2] Procédé selon la revendication 1, dans lequel la vitesse de rotation mise à jour est différente de la vitesse de rotation recommandée, et éventuellement, le poids sur trépan mis à jour est différent du poids sur trépan recommandé. [Revendication 3] Procédé selon la revendication 1 ou 2, dans lequel la politique de récompense d’apprentissage automatique comprend une table Q ou un modèle d’apprentissage automatique tel qu’un réseau neuronal profond (DNN) généré avec un processus d’apprentissage par renforcement pour le train de forage. [Revendication 4] Procédé selon la revendication 3, dans lequel : le modèle comprend un modèle de réseau neuronal et dans lequel la détermination de la vitesse de rotation recommandée et du poids sur trépan recommandé comprend la détermination de la vitesse de rotation recommandée et du poids sur trépan recommandé sur la base du modèle de réseau neuronal et d’une opération d’optimisation bayésienne ; et éventuellement, le processus d’apprentissage par renforcement comprend des comparaisons des taux de pénétration réels précédents avec les taux de pénétration recommandés précédents évalués avant d’obtenir le taux de pénétration actuel. [Revendication 5] Procédé selon la revendication 4, dans lequel chacune des comparaisons

comprend une évaluation d’une fonction de récompense. [Revendication 6] Système de commande pour système de forage comportant un train de forage couplé de manière opérationnelle à un trépan de forage, le système de commande comprenant : au moins un processeur ; et une mémoire comprenant des instructions qui, lorsqu’elles sont exécutées, amènent l’au moins un processeur à : obtenir un taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; déterminer, sur la base du taux de pénétration actuel et d’un modèle, une vitesse de rotation recommandée et un poids sur trépan recommandé pour un taux de pénétration recommandé ; déterminer une vitesse de rotation mise à jour et un poids sur trépan mis à jour pour atteindre le taux de pénétration recommandé, sur la base d’une politique de récompense d’apprentissage automatique, de la vitesse de rotation recommandée et du poids sur trépan recommandé ; et modifier la vitesse de rotation actuelle et le poids sur trépan actuel en vitesse de rotation mise à jour et en poids sur trépan mis à jour. [Revendication 7] Système de commande selon la revendication 6, dans lequel le poids sur trépan mis à jour est différent du poids sur trépan recommandé, et éventuellement, la vitesse de rotation mise à jour est différente de la vitesse de rotation recommandée. [Revendication 8] Système de commande selon la revendication 6 ou 7, dans lequel la politique de récompense d’apprentissage automatique comprend une table Q ou un modèle d’apprentissage automatique tel qu’un réseau neuronal profond (DNN) généré avec un processus d’apprentissage par renforcement pour le train de forage. [Revendication 9] Système de commande selon la revendication 8, dans lequel ; le modèle comprend un modèle de réseau neuronal et dans lequel l’au moins un processeur est configuré pour déterminer la vitesse de rotation recommandée et le poids sur trépan recommandé en déterminant la vitesse de rotation recommandée et le poids sur trépan recommandé sur la base du modèle de réseau neuronal et d’une opération d’optimisation bayésienne ; et éventuellement, le processus d’apprentissage par renforcement comprend des comparaisons des taux de pénétration réels précédents avec les taux de pénétration recommandés précédents évalués avant d’obtenir le taux de pénétration actuel.

[Revendication 10] Système de commande selon la revendication 9, dans lequel chacune des comparaisons comprend une évaluation d’une fonction de récompense. [Revendication 11] Procédé de configuration d’un dispositif de commande robotique pour un train de forage et le trépan de forage associé d’un système de forage, le procédé comprenant : l’obtention, avec un moteur de prédiction, d’un taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une vitesse de rotation actuelle et avec un poids sur trépan actuel dans une formation ; la détermination, avec le moteur de prédiction et sur la base du taux de pénétration actuel et d’un modèle, d’une vitesse de rotation recommandée, d’un poids sur trépan recommandé et d’un taux de pénétration recommandé ; la fourniture de la vitesse de rotation recommandée, du poids sur trépan recommandé et du taux de pénétration recommandé à partir du moteur de prédiction au dispositif de commande robotique ; et la génération d’une politique de récompense d’apprentissage automatique pour la commande future du train de forage, en exécutant un processus d’apprentissage par renforcement avec le dispositif de commande robotique, en utilisant la vitesse de rotation recommandée, le poids sur trépan recommandé et le taux de pénétration recommandé. [Revendication 12] Procédé selon la revendication 11, dans lequel l’exécution du processus d’apprentissage par renforcement comprend : l’application d’une pluralité de modifications à la vitesse de rotation recommandée et au poids sur trépan recommandé ; et pour chaque modification : l’obtention d’un nouveau taux de pénétration actuel ; et l’évaluation d’une fonction de récompense qui compare le nouveau taux de pénétration actuel avec le taux de pénétration recommandé. [Revendication 13] Procédé selon la revendication 12, dans lequel la politique de récompense d’apprentissage automatique comprend une table de récompense, et dans lequel l’exécution du processus d’apprentissage par renforcement comprend en outre le remplissage de la table de récompense sur la base de chaque évaluation de la fonction de récompense. [Revendication 14] Procédé selon la revendication 12, comprenant en outre la détermination de chacune de la pluralité de modifications en utilisant une politique

gloutonne epsilon du processus d’apprentissage par renforcement. [Revendication 15] Procédé selon l’une quelconque des revendications précédentes, comprenant en outre :

l’obtention, avec le moteur de prédiction, d’un nouveau taux de pénétration actuel pour le trépan de forage, tandis que le trépan de forage est mis en rotation à une nouvelle vitesse de rotation actuelle et avec un nouveau poids sur trépan actuel dans une formation ;

la détermination, avec le moteur de prédiction et sur la base du nouveau taux de pénétration actuel et du modèle, d’une nouvelle vitesse de rotation recommandée, d’un nouveau poids sur trépan recommandé et d’un nouveau taux de pénétration recommandé ;

la fourniture de la nouvelle vitesse de rotation recommandée, du nouveau poids sur trépan recommandé et du nouveau taux de pénétration recommandé à partir du moteur de prédiction au dispositif de commande robotique ; et la mise à jour de la politique de récompense d’apprentissage automatique pour la commande future du train de forage en exécutant le processus d’apprentissage par renforcement avec le dispositif de commande robotique en utilisant la nouvelle vitesse de rotation recommandée, le nouveau poids sur trépan recommandé et le nouveau taux de pénétration recommandé.