FR3122408A1 - Syteme et procede d’assistance d’approche d’aeroports - Google Patents

Syteme et procede d’assistance d’approche d’aeroports Download PDF

Info

Publication number
FR3122408A1
FR3122408A1 FR2104510A FR2104510A FR3122408A1 FR 3122408 A1 FR3122408 A1 FR 3122408A1 FR 2104510 A FR2104510 A FR 2104510A FR 2104510 A FR2104510 A FR 2104510A FR 3122408 A1 FR3122408 A1 FR 3122408A1
Authority
FR
France
Prior art keywords
interest
aircraft
region
image
landing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2104510A
Other languages
English (en)
Other versions
FR3122408B1 (fr
Inventor
Jean-Jacques Toumazet
Javier Manjon Sanchez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus SAS
Original Assignee
Airbus SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus SAS filed Critical Airbus SAS
Priority to FR2104510A priority Critical patent/FR3122408B1/fr
Priority to US17/730,299 priority patent/US20220348353A1/en
Publication of FR3122408A1 publication Critical patent/FR3122408A1/fr
Application granted granted Critical
Publication of FR3122408B1 publication Critical patent/FR3122408B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Un système d’assistance d’approche d’aéroports pour aéronef, inclut un contrôleur comportant de la circuiterie électronique configurée pour: obtenir une première image capturée par une caméra configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal selon un résultat de comparaison. Ainsi, un pilote de l’aéronef est assisté pour confirmer que l’atterrissage s’opère sur la piste d’atterrissage attendue. Figure à publier avec l’abrégé : Fig. 2

Description

SYTEME ET PROCEDE D’ASSISTANCE D’APPROCHE D’AEROPORTS
La présente invention concerne un système destiné à être embarqué dans un aéronef et à assister le pilotage lors d’approches d’aéroports. La présente invention concerne aussi un procédé implémenté par un tel système. La présente invention concerne aussi un aéronef embarquant un tel système.
ETAT DE LA TECHNIQUE ANTERIEURE
Lorsqu’un pilote d’aéronef doit faire atterrir l’aéronef sur une piste d’atterrissage d’un aéroport qui lui a été affectée, le pilote doit évidemment prêter une attention particulière pour effectuer l’atterrissage sur la piste d’atterrissage en question et non ailleurs dans l’aéroport, et notamment pas sur une piste de roulage (« taxiway » en anglais).
Il est donc souhaitable de fournir une solution automatique d’assistance au pilote qui permette de confirmer que l’atterrissage s’opère effectivement sur la piste d’atterrissage attendue. Il est de plus souhaitable de fournir une solution qui soit simple à mettre en œuvre et à faible coût.
A cet effet, il proposé un système d’assistance d’approche d’aéroports pour aéronef, incluant un contrôleur comportant de la circuiterie électronique configurée pour : obtenir une première image capturée par une caméra configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste, dite piste d’atterrissage attendue, où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent. Ainsi, un pilote de l’aéronef est assisté pour confirmer que l’atterrissage s’opère sur la piste d’atterrissage attendue.
Selon un mode de réalisation particulier, le système d’assistance d’approche d’aéroports inclut en outre ladite caméra.
Selon un mode de réalisation particulier, le système d’assistance d’approche d’aéroports inclut en outre ladite base de données.
Selon un mode de réalisation particulier, les modifications sur la première image et/ou sur la deuxième image incluent des opérations de reprojection.
Selon un mode de réalisation particulier, les deuxièmes images étant des images de la piste d’atterrissage prises à la verticale et les premières images étant des images en perspective, les opérations de reprojection sont des opérations de reprojection verticale des premières images les transformant en images équivalentes prises à la verticale. En variante, les opérations de reprojection sont des opérations de reprojection en perspective des deuxièmes images les transformant en images équivalentes prises en perspective.
Selon un mode de réalisation particulier, la circuiterie électronique est configurée pour déterminer, en fonction de l’attitude de l’aéronef, si l’aéronef s’aligne sur la piste d’atterrissage attendue, et dans le cas contraire, générer le signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue.
Selon un mode de réalisation particulier, la deuxième région d’intérêt de la deuxième image est associée avec une étiquette représentative du contenu de la deuxième région d’intérêt, et la circuiterie électronique est configurée pour vérifier, grâce à l’étiquette, que l’aéronef s’aligne sur une piste d’atterrissage.
Il est aussi proposé un aéronef comportant une caméra installée et configurée pour capturer des images d’un champ de vision devant l’aéronef, ainsi que le système d’assistance d’approche d’aéroports évoqué ci-dessus, dans l’un quelconque de ces modes de réalisation.
Selon un mode de réalisation particulier, la circuiterie électronique du contrôleur du système d’assistance d’approche d’aéroports est configurée pour transmettre ledit signal à une interface homme machine du cockpit de l’aéronef.
Il est aussi proposé un procédé implémenté par de la circuiterie électronique d’un contrôleur d’un système d’assistance d’approche d’aéroports pour aéronef, incluant : obtenir une première image capturée par une caméra installée sur l’aéronef et configurée pour capturer des images d’un champ de vision devant l’aéronef ; obtenir une deuxième image stockée dans une base de données représentant une piste, dite piste d’atterrissage attendue, où l’aéronef est supposé atterrir ; effectuer des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ; extraire une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ; comparer la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et générer un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent.
Il est aussi proposé un programme d’ordinateur qui peut être exécuté par un processeur. Ce programme d’ordinateur comprend des instructions pour implémenter le procédé mentionné ci-dessus, lorsque ces instructions sont exécutées par le processeur. Il est aussi proposé un support de stockage d’informations qui stocke un tel programme d’ordinateur et qui est destiné à être lu par le processeur afin d’implémenter le procédé.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'au moins un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
illustre schématiquement, en vue de côté, un aéronef équipé d’un système d’assistance d’approche d’aéroports ;
illustre schématiquement un agencement particulier du système d’assistance d’approche d’aéroports ;
illustre schématiquement un agencement particulier d’un contrôleur du système d’assistance d’approche d’aéroports ;
illustre schématiquement un exemple d’agencement matériel du contrôleur ; et
illustre schématiquement un algorithme d’assistance d’approche d’aéroports.
EXPOSE DETAILLE DE MODES DE REALISATION
La Fig. 1 illustre schématiquement, en vue de côté, un aéronef 100. L’aéronef 100 embarque un système d’assistance d’approche d’aéroports. Le système d’assistance d’approche d’aéroports comporte un contrôleur d’assistance d’approche d’aéroports AAAC (« Airport Approach Assistant Controller » en anglais) 101.
L’aéronef 100 embarque en outre une caméra CAM 102. La caméra CAM 102 est installée sur l’aéronef 100, et est configurée pour capturer des images d’un champ de vision devant (« ahead » en anglais) l’aéronef 100. Le champ de vision, encore appelé champ visuel ou angle de vue, correspond à l’espace que l’objectif de la caméra CAM 102 perçoit lorsque ledit objectif fixe un point de l’espace devant l’aéronef 100. La caméra CAM 102 peut être installée à tout endroit permettant d’observer devant l’aéronef 100, de sorte que lorsque l’aéronef 100 est en approche pour atterrir, la caméra CAM 102 capture des images du terrain (sol) en approche. Selon une première réalisation particulière, la caméra CAM 102 est installée dans le cockpit de l’aéronef 100 de sorte à capturer des images à travers le pare-brise du cockpit. Selon une deuxième réalisation particulière, la caméra CAM 102 est installée sur le nez de l’aéronef 100. Selon une troisième réalisation particulière, la caméra CAM 102 est installée sous le fuselage de l’aéronef 100.
La caméra CAM 102 est connectée au système d’assistance d’approche d’aéroports ou est incluse dans le système d’assistance d’approche d’aéroports. La caméra CAM 102 est connectée au contrôleur AAAC 101 et est configurée pour fournir au contrôleur AAAC 101 des images capturées dudit champ de vision devant l’aéronef 100.
La illustre schématiquement un agencement particulier du système d’assistance d’approche d’aéroports. Apparaît sur la Fig. 2A le contrôleur AAAC 101, qui est connecté à la caméra CAM 102, à une avionique 200 de l’aéronef 100 (notée « A/C AV » sur la Fig. 2A), à un gestionnaire de base de données 202 (noté « DB_MGR » sur la Fig. 2A) et à une interface homme machine HMI (« Human Machine Interface » en anglais) 204.
L’avionique 200 inclut différents équipements électroniques d’aide au pilotage, et notamment un système de gestion de vol FMS (« Flight Management System » en anglais) et un système de référencement inertiel ADIRS (« Air Data and Inertial Reference System » en anglais).
L’interface homme machine HMI 204 est destinée à permettre des interactions avec un ou plusieurs pilotes de l’aéronef 100 et plus particulièrement à permettre de diffuser (e.g., par affichage) des informations au ou aux pilotes. L’interface homme machine HMI 204 est préférentiellement intégrée au cockpit de l’aéronef 100, et peut être intégrée à l’avionique 200. L’interface homme machine HMI 204 est ainsi par exemple l’écran principal de vol PFD (« Primary Flight Display » en anglais) du cockpit. L’interface homme machine HMI 204 peut en variante être un afficheur tête haute HUD (« Head Up Display » en anglais) ou un casque afficheur HMD (« Head Mounted Display » en anglais) de réalité augmentée. L’interface homme machine HMI 204 peut en variante être un dispositif de reproduction sonore, tel qu’un haut-parleur. L’agencement de la Fig. 2A permet donc au contrôleur AAAC 101 de transmettre, sous conditions (comme détaillé par la suite), un signal SIG au ou aux pilotes de l’aéronef 100 grâce à l’interface homme machine HMI 204.
La Fig. 2A fait aussi apparaître un système de communication 203 (noté « A/C COMM » sur la Fig. 2A) de l’aéronef 100, incluant préférentiellement un dispositif de communication sol-air AGC (« Air-Ground Communications » en anglais). Ainsi, en complément ou en variante du signal SIG envoyé grâce à l’interface homme machine HMI 204, l’agencement de la Fig. 2A permet au contrôleur AAAC 101 de transmettre, sous conditions (comme détaillé par la suite), ce signal SIG au sol (e.g. à un centre de contrôle aérien) grâce au système de communication 203.
Dans un autre mode de réalisation particulier, le signal SIG est transmis à un système de contrôle de l’avionique 200 en charge de la gestion des procédures de remise de gaz (« Go-Around » en anglais) en cas d’interruption d’atterrissage de l’aéronef 100 en approche finale. Le signal SIG peut ainsi être utilisé pour configurer une remise de gaz automatique.
Le gestionnaire de base de données DB_MGR 202 est connecté à une base de données DB (« DataBase » en anglais) 201. Le gestionnaire de base de données DB_MGR 202 et la base de données DB 201 peuvent être intégrés en une seule et même entité. Le gestionnaire de base de données DB_MGR 202 exécute des commandes de recherche d’images dans la base de données DB 201 sur ordre du contrôleur AAAC 101 et retourne au contrôleur AAAC 101 une ou plusieurs images résultant de la recherche.
La base de données DB 201 stocke des images géoréférencées d’aéroports et plus particulièrement de pistes d’atterrissage desdits aéroports. Les images en question sont préférentiellement des photos aériennes. En variante, les images en question peuvent être des images virtuelles résultant d’une modélisation desdites pistes d’atterrissage. La base de données DB 201 peut être totalement intégrée à un système informatique de l’aéronef 100. La base de données DB 201 peut être partiellement intégrée au système informatique de l’aéronef 100. Dans ce cas, avant le décollage, la base de données DB 201 partiellement embarquée dans l’aéronef 100 est mise à jour avec des images géoréférencées d’aéroports se trouvant dans un périmètre prédéfini du plan de vol de l’aéronef 100. La base de données DB 201 peut être totalement intégrée, au sol, à un système informatique d’une compagnie aérienne pour lequel opère l’aéronef 100. Le gestionnaire de base de données DB_MGR 202 interagit alors avec le contrôleur AAAC 101 grâce à des communications sol - air AGC (« Air - Ground Communications » en anglais).
Ainsi, grâce à l’agencement de la Fig. 2A, le système d’assistance d’approche d’aéroports est configuré de sorte que le contrôleur AAAC 101 reçoit des images de la caméra CAM 102, ainsi que des images obtenues de la base de données DB 201. Les images obtenues de la base de données DB 201 correspondent à des images d’une piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir, au regard d’une programmation de l’avionique 200 de l’aéronef 100. Le contrôleur AAAC 101 manipule les images de la caméra CAM 102, et éventuellement les images obtenues de la base de données DB 201, afin de les mettre dans un même repère spatial pour permettre une comparaison pertinente de leurs contenus respectifs et ainsi de déterminer si l’aéronef 100 est en approche de la piste d’atterrissage attendue.
La illustre schématiquement un agencement particulier du contrôleur AAAC 101. Le contrôleur AAAC 101 comporte alors un gestionnaire de région d’intérêt ROI_MGR 251 (où ROI signifie « Region Of Interest » en anglais), ainsi qu’un comparateur COMP 252.
Le contrôleur AAAC 101 est configuré de sorte que le gestionnaire de région d’intérêt ROI_MGR 251 reçoit des images CAM_IMG capturées par la caméra CAM 102. Le contrôleur AAAC 101 est configuré de sorte que le gestionnaire de région d’intérêt ROI_MGR 251 reçoit tout ou partie d’un ensemble d’informations INF en provenance de l’avionique 200 de l’aéronef 100, pour permettre au gestionnaire de région d’intérêt ROI_MGR 251 de tenter d’extraire au moins une région d’intérêt ROI des images CAM_IMG et d’éventuellement effectuer des opérations de reprojection sur les images CAM_IMG. Le gestionnaire de région d’intérêt ROI_MGR 251 est configuré pour fournir en sortie des images ROI_IMG résultant de l’extraction de la ou des régions d’intérêt ROI. Préférentiellement, les images ROI_IMG sont les images CAM_IMG, éventuellement modifiées par les opérations de reprojection, auxquelles sont adjointes des métadonnées décrivant la ou les régions d’intérêt ROI extraites (dans la mesure où une telle extraction a été possible).
Les informations INF fournies par l’avionique 200 au contrôleur AAAC 101 incluent la position (géographique) de l’aéronef 100 et l’attitude (orientation dans l’espace) de l’aéronef 100, ainsi que des données de géoréférencement de la piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir.
Le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit des images DB_IMG fournies par la base de données DB 201 par l’intermédiaire du gestionnaire de base de données DB_MGR 202. Le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit en outre les images ROI_IMG fournies par le gestionnaire de région d’intérêt ROI_MGR 251.
Le contrôleur AAAC 101 est configuré de sorte à fournir en sortie un signal SIG représentatif du résultat d’une comparaison, par le comparateur COMP 252, entre les images DB_IMG fournies par la base de données DB 201 par l’intermédiaire du gestionnaire de base de données DB_MGR 202 et les images fournies par le gestionnaire de région d’intérêt ROI_MGR 251. Pour permettre au comparateur COMP 252 de requérir auprès du gestionnaire de base de données DB_MGR 202 des images de la piste d’aéroport sur laquelle l’aéronef 100 est supposé atterrir, et d’éventuellement manipuler ces images en vue de leur alignement et comparaison avec les images ROI_IMG, le contrôleur AAAC 101 est configuré de sorte que le comparateur COMP 252 reçoit tout ou partie de l’ensemble d’informations INF en provenance de l’avionique 200 de l’aéronef 100.
De plus amples détails sur le fonctionnement du contrôleur AAAC 101, et plus particulièrement du gestionnaire de région d’intérêt ROI_MGR 251 et du comparateur COMP 252, sont fournis ci-après en relation avec la Fig. 4.
La illustre schématiquement un exemple d’architecture matérielle du contrôleur AAAC 101, qui comprend alors, reliés par un bus de communication 300 : un processeur ou CPU (pour « Central Processing Unit » en anglais) 301 ; une mémoire vive RAM (pour « Random Access Memory » en anglais) 302 ; une mémoire morte ROM (pour « Read Only Memory » en anglais) 303, par exemple une mémoire Flash ; un dispositif de stockage de données, tel qu’un disque dur HDD (pour « Hard Disk Drive » en anglais), ou un lecteur de support de stockage, tel qu’un lecteur de cartes SD (pour « Secure Digital » en anglais) 304 ; au moins une interface de communication 305 permettant au contrôleur AAAC 101 d’interagir dans le système d’assistance d’approche d’aéroports et avec d’autres éléments de l’aéronef 100, comme par exemple l’avionique 200.
Le processeur 301 est capable d’exécuter des instructions chargées dans la RAM 302 à partir de la ROM 303, d’une mémoire externe (non représentée), d’un support de stockage, tel qu’une carte SD, ou d’un réseau de communication (non représenté). Lorsque le contrôleur AAAC 101 est mis sous tension, le processeur 301 est capable de lire de la RAM 302 des instructions et de les exécuter. Ces instructions forment un programme d’ordinateur causant la mise en œuvre, par le processeur 301, des comportements, étapes et algorithmes décrits ici.
Tout ou partie des comportements, étapes et algorithmes décrits ici peut ainsi être implémenté sous forme logicielle par exécution d’un ensemble d’instructions par une machine programmable, telle qu’un DSP (« Digital Signal Processor » en anglais) ou un microcontrôleur, ou être implémenté sous forme matérielle par une machine ou un composant (« chip » en anglais) dédié, tel qu’un FPGA (pour « Field-Programmable Gate Array » en anglais) ou un ASIC (pour « Application-Specific Integrated Circuit » en anglais). D’une manière générale, le contrôleur AAAC 101 comprend de la circuiterie électronique agencée et configurée pour implémenter les comportements, étapes et algorithmes décrits ici.
La illustre schématiquement un algorithme d’assistance d’approche d’aéroports implémenté par le contrôleur AAAC 101. L’algorithme de la Fig. 4 est exécuté après qu’une piste d’atterrissage d’un aéroport a été sélectionnée dans l’avionique 200, typiquement par configuration du système de gestion de vol FMS.
Dans une étape 401, le contrôleur AAAC 101 obtient des images CAM_IMG capturées par la caméra CAM 102. Dans l’agencement particulier de la Fig. 3, l’étape 401 est effectuée par le gestionnaire de région d’intérêt ROI_MGR 251.
Dans une étape 402, le contrôleur AAAC 101 obtient au moins une image DB_IMG qui est contenue dans la base de données DB 201 et qui est associée avec la piste d’atterrissage d’aéroport qui a été sélectionnée dans l’avionique 200. Comme déjà indiqué, les images DB_IMG sont pré-stockées dans une base de données embarquée dans l’aéronef 100 ou sont obtenues en vol, après sélection de la piste d’atterrissage en question dans l’avionique 200 (configuration du système de gestion de vol FMS), grâce à des communication sol - air. Dans l’agencement particulier de la Fig. 3, l’étape 402 est effectuée par le comparateur COMP 252.
Dans une étape 403, le contrôleur AAAC 101 effectue des modifications sur les images CAM_IMG et/ou les images DB_IMG, afin de les transposer dans un même référentiel spatial. Ces modifications peuvent inclure des translations, rotations… Dans l’agencement particulier de la Fig. 3, les modifications éventuellement apportées aux images CAM_IMG sont effectuées par le gestionnaire de région d’intérêt ROI_MGR 251 et les modifications éventuellement apportées aux images DB_IMG sont effectuées par le comparateur COMP 252.
Plus particulièrement, les modifications de l’étape 403 incluent des opérations de reprojection.
Selon un premier mode de réalisation, les images IMG_DB sont des images de la piste d’atterrissage prises à la verticale et les images CAM_IMG sont des images en perspective. Des opérations de reprojection verticale des images CAM_IMG sont alors effectuées par le gestionnaire de région d’intérêt ROI_MGR 251, permettant ainsi de transformer les images CAM_IMG en images équivalentes prises à la verticale. Le gestionnaire de région d’intérêt ROI_MGR 251 utilise pour ce faire la position et l’attitude (orientation) de l’aéronef, ainsi que les coordonnées géographiques de la piste d’atterrissage en question.
Selon un deuxième mode de réalisation, les images IMG_DB sont des images de la piste d’atterrissage prises à la verticale et les images CAM_IMG sont des images en perspective. Mais dans ce cas, des opérations de reprojection en perspective des images DB_IMG sont effectuées par le comparateur COMP 252, permettant ainsi de transformer les images DB_IMG en images équivalentes en perspective. Le comparateur COMP 252 utilise aussi pour ce faire la position et l’attitude (orientation) de l’aéronef, ainsi que les coordonnées géographiques de la piste d’atterrissage en question.
D’autres opérations de reprojection peuvent être effectuées en variante, par exemple lorsque les images IMG_DB sont aussi des images de la piste d’atterrissage prises en perspective, mais selon vraisemblablement un angle de vue différent de celui ayant permis de capturer les images CAM_IMG.
Les opérations de reprojection sont des conversions géométriques triviales et ne sont pas plus amplement décrites ici.
Dans un mode de réalisation particulier, les modifications sur les images CAM_IMG et/ou les images DB_IMG incluent des opérations de mise à l’échelle les unes par rapport aux autres.
Dans une étape 404, le contrôleur AAAC 101 effectue des opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG, de manière à isoler une aire d’atterrissage dans lesdites images, et ainsi générer les images ROI_IMG susmentionnées. La région d’intérêt ROI en question est une portion polygonale des images CAM_IMG qui inclut l’aire d’atterrissage. L’aire d’atterrissage a des caractéristiques de forme et de texture reconnaissables dans des images aériennes qui permettent d’extraire la région d’intérêt ROI en question par application de techniques de traitement d’image. Notamment, la piste d’atterrissage dans une image est un rectangle long en perspective, avec un contraste fort entre ses bords et l’environnement immédiat. Ainsi, les opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG incluent de ressortir des changements de luminosité (contrastes) dans les images CAM_IMG en question, puis de chercher des intersections entre contrastes horizontaux et verticaux, pour finalement chercher quatre de ces intersections qui forment un rectangle long en perspective. Ainsi, par exemple, la région d’intérêt ROI isole une aire d’atterrissage constituée de la piste d’atterrissage avec une marge de 50 mètres sur chaque côté.
Dans un mode de réalisation particulier, le contrôleur AAAC 101 effectue des opérations de recentrage de la région d’intérêt ROI représentative de l’aire d’atterrissage isolée.
Dans un mode de réalisation particulier, le contrôleur AAAC 101 effectue en outre des opérations d’extraction d’au moins une région d’intérêt ROI représentative d’éléments significatifs autour de la région d’intérêt ROI représentative de l’aire d’atterrissage isolée. Cela permet ensuite de comparer ces régions d’intérêt ROI représentatives d’éléments significatifs (bâtiments, ) avec des régions d’intérêt ROI correspondantes dans les images DB_IMG, et permettre ainsi de discriminer deux pistes d’atterrissages qui apparaîtraient semblables.
Dans l’agencement particulier de la Fig. 3, les opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG sont effectuées par le gestionnaire de région d’intérêt ROI_MGR 251.
Les images DB_IMG sont aussi accompagnées d’informations de région d’intérêt ROI, qui sont préférentiellement prédéterminées et stockées en association avec lesdites images DB_IMG dans la base de données DB 201. Ces informations de région d’intérêt ROI associées avec les images DB_IMG fournies au contrôleur AAAC 101 délimitent une aire d’atterrissage qui inclut la piste d’atterrissage sur laquelle l’aéronef 100 est supposé atterrir. Par exemple, la région d’intérêt ROI associée à chaque image DB_IMG isole une aire d’atterrissage constituée de la piste d’atterrissage en question avec une marge de 50 mètres sur chaque côté. La région d’intérêt ROI ou d’autres régions d’intérêt complémentaires peuvent inclure des bâtiments, ou tout autre élément distinctif dans l’environnement de la piste d’atterrissage en question. Cela fournit une information de repérage supplémentaire, notamment avantageuse lorsque les aéroports comportent plusieurs pistes parallèles. Des étiquettes, selon un nommage prédéfini, apposées aux régions d’intérêt ROI des images DB_IMG peuvent être utilisées pour ce faire. De telles étiquettes peuvent être aussi utilisées pour valider que l’aéronef 100 s’aligne effectivement sur une piste d’atterrissage (et plus particulièrement sur la piste d’atterrissage attendue), comme décrit plus loin. Ces informations de région d’intérêt ROI sont obtenues selon les mêmes règles que lors des opérations d’extraction de région d’intérêt ROI sur les images CAM_IMG, de sorte que les régions d’intérêt ROI des images CAM_IMG et des images DB_IMG puissent être comparées de manière pertinente par le contrôleur AAAC 101. En variante, les informations de région d’intérêt ROI associées avec les images DB_IMG sont déterminées en temps-réel par le contrôleur AAAC 101 (par le comparateur COMP 252) de la même manière que pour les images CAM_IMG.
Les opérations d’extraction de région d’intérêt ROI sont des techniques largement répandues dans le domaine du traitement d’image et ne sont pas plus amplement décrites ici.
Dans une étape 405, le contrôleur AAAC 101 effectue une comparaison des images CAM_IMG et des images DB_IMG adaptée pour déterminer si leurs régions d’intérêt associées correspondent (e.g., montrent un pic de corrélation). La comparaison peut être effectuée grâce à une fonction de corrélation. Dans l’agencement particulier de la Fig. 3, l’étape 405 est effectuée par le comparateur COMP 252.
Dans une étape 406, le contrôleur AAAC 101 détermine si les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG comparées correspondent, c’est-à-dire qu’elles sont semblables avec une marge de tolérance prédéterminée. Dans l’agencement particulier de la Fig. 3, l’étape 406 est effectuée par le comparateur COMP 252. Si tel est le cas, l’étape 401 est réitérée ; sinon, une étape 407 est effectuée.
Dans un mode de réalisation particulier, notamment adapté aux aéroports disposant de plusieurs pistes d’atterrissage parallèles, le contrôleur AAAC 101 détermine, en fonction de l’attitude de l’aéronef 100 (telle que fournie par l’avionique 200), si l’aéronef 100 s’aligne sur la piste d’atterrissage attendue (celle qui correspond à la région d’intérêt ROI associée avec les images CAM_IMG). Un alignement sur une mauvaise piste d’atterrissage est alors considéré par le contrôleur AAAC 101 comme un défaut de correspondance entre les régions d’intérêt associées avec les images CAM_IMG et aux images DB_IMG.
Dans un mode de réalisation particulier, chaque région d’intérêt ROI des images DB_IMG sont associées avec des étiquettes représentatives du contenu de la région d’intérêt ROI en question. Les étiquettes sont établies en respectant un nommage prédéfini. Lorsque le contrôleur AAAC 101 trouve une ou plusieurs régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG qui correspondent, le contrôleur AAAC 101 vérifie, grâce au nommage prédéfini, si l’étiquette de la région d’intérêt ROI des images DB_IMG qui correspond à la région d’intérêt ROI des images CAM_IMG sur laquelle l’aéronef 100 s’aligne (pour atterrir) est représentative d’une piste d’atterrissage. Préférentiellement, lorsqu’un aéroport comporte plusieurs pistes d’atterrissage, le nommage prédéfini permet de savoir à quelle piste d’atterrissage la région d’intérêt ROI correspond exactement. Le contrôleur AAAC 101 vérifie alors que l’étiquette de la région d’intérêt ROI des images DB_IMG qui correspond à la région d’intérêt ROI des images CAM_IMG sur laquelle l’aéronef 100 s’aligne (pour atterrir) est représentative de la piste d’atterrissage attendue. Cela facilite la détection d’un alignement sur une région d’intérêt ROI ne correspondant pas à une piste d’atterrissage ou une piste d’atterrissage non autorisée.
Dans l’étape 407, le contrôleur AAAC 101 génère un signal SIG représentatif d’un défaut de correspondance entre les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG, et donc d’une approche potentielle de l’aéronef 100 sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue. L’étape 401 est ensuite réitérée. Dans l’agencement particulier de la Fig. 3, la génération du signal SIG est effectuée par le comparateur COMP 252. Dans un mode de réalisation particulier, le signal SIG n’est généré que lorsque l’aéronef 100 est en phase d’approche, telle que connue par l’avionique 200 et plus particulièrement par le système de gestion de vol FMS.
En réalisation optionnelle ou en variante, lorsque les régions d’intérêt ROI associées avec les images CAM_IMG et aux images DB_IMG comparées correspondent, le contrôleur AAAC 101 génère un signal SIG représentatif d’une concordance entre les régions d’intérêt associées avec les images CAM_IMG et aux images DB_IMG, et donc d’une approche de l’aéronef 100 sur une aire d’atterrissage qui correspond effectivement à la piste d’atterrissage attendue.

Claims (11)

  1. Système d’assistance d’approche d’aéroports pour aéronef (100), incluant un contrôleur (101) comportant de la circuiterie électronique configurée pour :
    - obtenir (401) une première image capturée par une caméra (102) configurée pour capturer des images d’un champ de vision devant l’aéronef (100) ;
    - obtenir (402) une deuxième image stockée dans une base de données (201) représentant une piste, dite piste d’atterrissage attendue, où l’aéronef (100) est supposé atterrir ;
    - effectuer (403) des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ;
    - extraire (404) une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ;
    - comparer (405) la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et
    - générer (407) un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent.
  2. Système selon la revendication 1, incluant en outre ladite caméra (102).
  3. Système selon la revendication 1 ou 2, incluant en outre ladite base de données (201).
  4. Système selon l’une quelconque des revendications 1 à 3, dans lequel les modifications sur la première image et/ou sur la deuxième image incluent des opérations de reprojection.
  5. Système selon l’une quelconque des revendications 1 à 4, dans lequel la circuiterie électronique est configurée pour déterminer, en fonction de l’attitude de l’aéronef (100), si l’aéronef (100) s’aligne sur la piste d’atterrissage attendue, et dans le cas contraire, générer le signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue.
  6. Système selon la revendication 5, dans lequel la deuxième région d’intérêt de la deuxième image est associée avec une étiquette représentative du contenu de la deuxième région d’intérêt, et dans lequel la circuiterie électronique est configurée pour vérifier, grâce à l’étiquette, que l’aéronef (100) s’aligne sur une piste d’atterrissage.
  7. Aéronef (100) comportant une caméra (102) installée et configurée pour capturer des images d’un champ de vision devant l’aéronef (100), ainsi que le système d’assistance d’approche d’aéroports selon l’une quelconque des revendications 1 à 6.
  8. Aéronef (100) selon la revendication 7, dans lequel la circuiterie électronique du contrôleur (101) du système d’assistance d’approche d’aéroports est configurée pour transmettre ledit signal à une interface homme machine (204) du cockpit de l’aéronef (100).
  9. Procédé implémenté par de la circuiterie électronique d’un contrôleur (101) d’un système d’assistance d’approche d’aéroports pour aéronef (100), incluant :
    - obtenir (401) une première image capturée par une caméra (102) configurée pour capturer des images d’un champ de vision devant l’aéronef (100) ;
    - obtenir (402) une deuxième image stockée dans une base de données (201) représentant une piste, dite piste d’atterrissage attendue, où l’aéronef (100) est supposé atterrir ;
    - effectuer (403) des modifications sur la première image et/ou sur la deuxième image, afin de les transposer dans un même référentiel spatial ;
    - extraire (404) une première région d’intérêt de la première image, de manière à isoler une aire d’atterrissage dans la première image ;
    - comparer (405) la première région d’intérêt extraite avec une deuxième région d’intérêt associée avec la deuxième image ; et
    - générer (407) un signal représentatif d’une approche sur une aire d’atterrissage qui ne correspond pas à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt ne concordent pas et/ou un signal représentatif d’une approche sur une aire d’atterrissage qui correspond à la piste d’atterrissage attendue lorsque la première région d’intérêt et la deuxième région d’intérêt concordent.
  10. Produit programme d’ordinateur comportant des instructions pour implémenter le procédé selon la revendication 9, lorsque lesdites instructions sont exécutées par un processeur.
  11. Support de stockage d’informations stockant un programme d’ordinateur comportant des instructions pour implémenter le procédé selon la revendication 9, lorsque lesdites instructions sont lues depuis le support de stockage d’informations et exécutées par un processeur.
FR2104510A 2021-04-29 2021-04-29 Syteme et procede d’assistance d’approche d’aeroports Active FR3122408B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2104510A FR3122408B1 (fr) 2021-04-29 2021-04-29 Syteme et procede d’assistance d’approche d’aeroports
US17/730,299 US20220348353A1 (en) 2021-04-29 2022-04-27 Airport approach assistance system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2104510 2021-04-29
FR2104510A FR3122408B1 (fr) 2021-04-29 2021-04-29 Syteme et procede d’assistance d’approche d’aeroports

Publications (2)

Publication Number Publication Date
FR3122408A1 true FR3122408A1 (fr) 2022-11-04
FR3122408B1 FR3122408B1 (fr) 2023-06-09

Family

ID=77710824

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2104510A Active FR3122408B1 (fr) 2021-04-29 2021-04-29 Syteme et procede d’assistance d’approche d’aeroports

Country Status (2)

Country Link
US (1) US20220348353A1 (fr)
FR (1) FR3122408B1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075657A1 (fr) * 2012-11-15 2014-05-22 Eads Deutschland Gmbh Procédé et dispositif de localisation d'une piste d'atterrissage assistée par imagerie
US20140236398A1 (en) * 2013-02-21 2014-08-21 Chengdu Haicun Ip Technology Llc Vision-Based Aircraft Landing Aid
US20150032299A1 (en) * 2013-07-24 2015-01-29 Airbus Operations (S.A.S.) Autonomous and automatic landing method and system
US20170283087A1 (en) * 2016-03-31 2017-10-05 Sikorsky Aircraft Corporation Sensor-based detection of landing zones

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7579978B1 (en) * 2006-07-31 2009-08-25 Rockwell Collins, Inc. Radar based runway confirmation database acquisition system
EP3198524B1 (fr) * 2014-09-22 2023-05-10 Sikorsky Aircraft Corporation Perception autonome basée sur un contexte
US11749126B2 (en) * 2018-08-07 2023-09-05 Reliable Robotics Corporation Landing site localization for dynamic control of an aircraft toward a landing site

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075657A1 (fr) * 2012-11-15 2014-05-22 Eads Deutschland Gmbh Procédé et dispositif de localisation d'une piste d'atterrissage assistée par imagerie
US20140236398A1 (en) * 2013-02-21 2014-08-21 Chengdu Haicun Ip Technology Llc Vision-Based Aircraft Landing Aid
US20150032299A1 (en) * 2013-07-24 2015-01-29 Airbus Operations (S.A.S.) Autonomous and automatic landing method and system
US20170283087A1 (en) * 2016-03-31 2017-10-05 Sikorsky Aircraft Corporation Sensor-based detection of landing zones

Also Published As

Publication number Publication date
FR3122408B1 (fr) 2023-06-09
US20220348353A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US11454988B2 (en) Systems and methods for automated landing of a drone
US9177481B2 (en) Semantics based safe landing area detection for an unmanned vehicle
JP6343123B2 (ja) 近赤外線映像取得を用いる交通監視および写真による取締りアプリケーションのためのリアルタイム映像トリガ
EP3187826B1 (fr) Affichage de donnees meteorologiques dans un aeronef
EP3270365B1 (fr) Dispositif d'aide au pilotage d'un giravion, giravion associe et procede d'aide au pilotage correspondant
FR2947083A1 (fr) Dispositif et procede d'aide a l'atterrissage
US10958828B2 (en) Advising image acquisition based on existing training sets
EP2378460A1 (fr) Dispositif d'assistance embarque au suivi d'une route aeroportuaire par un aeronef
US10281916B1 (en) Detection of transparent elements using specular reflection
Speth et al. Deep learning with RGB and thermal images onboard a drone for monitoring operations
EP2975362A1 (fr) Calcul de performance pour aeronef
FR2736149A1 (fr) Dispositif de reconnaissance et de poursuite d'objets
EP3956807A1 (fr) Réseau neuronal pour une estimation de pose de tête et de regard utilisant des données synthétiques photoréalistes
FR3103047A1 (fr) Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
US20110144954A1 (en) Geospatial modeling system using single optical images and associated methods
JP2021157847A (ja) 異常なナンバープレート認識方法、装置、デバイス及び読み取り可能な記憶媒体
WO2018087462A1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
US11989870B2 (en) Method and assembly for detecting objects on systems
FR3065801B1 (fr) Procede de visualisation du trafic aux environs d'un aeronef de reference dans une zone d'affichage conforme, produit programme d'ordinateur et systeme de visualisation associes
Teutsch et al. Computer vision in the infrared spectrum: challenges and approaches
EP2896936B1 (fr) Procédé d'assistance à la navigation pour giravion, par affichage dynamique d'une représentation du monde extérieur construite en vol instantanément et/ou en différé
Krylov et al. Object geolocation from crowdsourced street level imagery
FR3122408A1 (fr) Syteme et procede d’assistance d’approche d’aeroports
Dasilva et al. Unmanned aerial vehicle-based automobile license plate recognition system for institutional parking lots
US9584791B1 (en) Image misalignment correcting system, device, and method

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20221104

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4