FR3103048A1 - Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef - Google Patents

Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef Download PDF

Info

Publication number
FR3103048A1
FR3103048A1 FR1912488A FR1912488A FR3103048A1 FR 3103048 A1 FR3103048 A1 FR 3103048A1 FR 1912488 A FR1912488 A FR 1912488A FR 1912488 A FR1912488 A FR 1912488A FR 3103048 A1 FR3103048 A1 FR 3103048A1
Authority
FR
France
Prior art keywords
image
data
generating
ground
truth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1912488A
Other languages
English (en)
Other versions
FR3103048B1 (fr
Inventor
Thierry Ganille
Guillaume PABIA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1912488A priority Critical patent/FR3103048B1/fr
Priority to US17/027,629 priority patent/US11651302B2/en
Publication of FR3103048A1 publication Critical patent/FR3103048A1/fr
Application granted granted Critical
Publication of FR3103048B1 publication Critical patent/FR3103048B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)

Abstract

L’invention concerne un procédé mis en œuvre par ordinateur pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle, le procédé comprenant au moins des étapes de :- définir des paramètres pour au moins un scénario d’approche d’un aéronef vers une piste d’atterrissage ; - utiliser les paramètres dudit au moins un scénario dans un simulateur de vol pour générer des données de vol simulées, ledit simulateur de vol étant configuré pour simuler ledit aéronef en phase d’approche de ladite piste d’atterrissage et simuler un pilote automatique associé;- utiliser les données de vol simulées pour générer une pluralité d’images de vérité-terrain, lesdites images de vérité-terrain correspondant à différentes conditions de visibilité ; et- générer à partir de chaque image de vérité-terrain une pluralité d’images capteur simulées. Figure pour l’abrégé : Fig. 3.

Description

PROCEDE ET DISPOSITIF DE GENERATION DE DONNEES SYNTHETIQUES D’APPRENTISSAGE POUR MACHINE D’INTELLIGENCE ARTIFICIELLE POUR L’AIDE A l’ATTERRISSAGE D’AERONEF
L’invention concerne le domaine général des systèmes d’aide à l’atterrissage pour aéronefs, et en particulier elle propose un procédé et un dispositif pour générer des données d’apprentissage synthétiques pouvant être utilisées par une machine d’intelligence artificielle à apprentissage profond pour la reconnaissance d’une piste d’atterrissage.
En particulier, l’invention adresse le problème de la reconnaissance d’une piste d’atterrissage par conditions météorologiques difficiles, tel que du brouillard par exemple, amenant une visibilité réduite ou dégradée.
Les normes aériennes imposent des règles d’obtention de visibilité pendant la phase d’atterrissage. Ces règles se traduisent par des seuils de décision qui se réfèrent à l’altitude de l’avion lors de sa phase de descente. A chacun de ces seuils, des repères visuels identifiés doivent être obtenus pour poursuivre la manœuvre d’atterrissage, sans quoi elle doit être abandonnée. Les manœuvres d’atterrissage abandonnées représentent un réel problème pour la gestion du trafic aérien et pour la planification des vols. Il faut estimer avant le décollage la capacité à pouvoir atterrir à destination sur la base de prévisions météorologiques, plus ou moins fiables, et le cas échéant prévoir des solutions de repli.
Aussi le problème de l’atterrissage des aéronefs par conditions de visibilité réduite, outre l’identification visuelle faite par le pilote dans des données capteur, a fait l’objet du développement de plusieurs approches, comme le système d’atterrissage aux instruments ILS (« Instrument Landing System » en anglais), le système SVS (« Synthetic Vision System » en anglais), la technique de vision augmentée dite EVS ou EFVS (« Enhanced (Flight) Vision System » en anglais) ou encore les systèmes de visualisation CVS (« Combined Vision Systems » en anglais).
Les systèmes EVS, EFVS et CVS reposent sur la présentation d’une image capteur au pilote et l’identification par celui-ci de la piste d’atterrissage et sont basés sur des capteurs regardant vers l’avant de l’aéronef apportant une capacité de détection accrue par rapport à l’œil du pilote, en particulier par conditions de visibilité dégradée. Cependant ce type de capteur ne permet pas de détecter systématiquement par visibilité dégradée la piste d’atterrissage avant les minima réglementaires, typiquement avant que l’aéronef soit sous une hauteur de 200ft au-dessus du seuil de piste pour une approche ILS de catégorie I.
Des capteurs dits passifs, comme les capteurs IR dans le domaine infrarouge reposent sur le rayonnement infrarouge parasite de lampes présentes au voisinage de la piste. Pour des soucis de durabilité des lampes et donc de coûts, la tendance actuelle est au remplacement des lampes à incandescence par les lampes à LED. Ces dernières ont un spectre moins étendu dans le domaine infrarouge. Un effet collatéral est donc de provoquer une obsolescence technique des systèmes EVS à base de capteurs infrarouge.
Une alternative aux senseurs infrarouges est l’obtention d’images par un capteur dit actif comme un senseur radar, en bande centimétrique ou millimétrique. Certaines bandes de fréquence choisies en dehors des pics d’absorption de la vapeur d’eau présentent une sensibilité très faible aux conditions météorologiques difficiles. De tels senseurs permettent donc de produire une image au travers de brouillard par exemple. Cependant, même si ces capteurs ont une résolution en distance fine, ils présentent une résolution angulaire bien plus grossière que les solutions optiques. La résolution est directement liée à la taille des antennes utilisées, et elle est souvent trop grossière pour obtenir une image facilement interprétable par le pilote pour servir de guidage.
L’émergence de l’usage de capteurs actifs, comme par exemple les LIDAR (« Light Detection and Ranging » en anglais) ou les radars millimétriques, qui sont capables de détecter la piste d’atterrissage de plus loin et par quasiment n’importe quelles conditions de visibilité, amène de bien meilleurs résultats que les capteurs passifs comme les caméras IR. Cependant, les données issues de tels capteurs actifs ne permettent pas de générer une image nette et facilement interprétable comme l’est une image IR. Il se pose alors le problème de l’identification de la piste par le pilote, dans des données capteurs notamment issues de capteurs actifs regardant vers l’avant de l’aéronef.
Des solutions de traitement d’images dédient la tâche d’identification de la piste à un algorithme plutôt qu’au pilote.
Les traitements d’images actuels utilisent des algorithmes conventionnels (détection de droites, de coins, …) pour identifier la piste. Or la reconnaissance d’une piste d’atterrissage dans une image capteur par mauvaise visibilité peut manquer de fiabilité avec les algorithmes conventionnels. En effet, chaque météo dégradée est particulière et certaines conditions peuvent rendre inefficace les algorithmes de détection de piste. Il en résulte alors une performance réduite des calculateurs de pilotage ou d’affichage qui utilisent de l’imagerie pour les opérations aériennes.
Des approches récentes pour améliorer les algorithmes de traitement d’images pour les opérations aériennes liées à l’atterrissage lors de conditions météorologiques mauvaises amenant une visibilité réduite ou dégradée, mettent en œuvre des algorithmes à base de réseau de neurones artificiels.
Un réseau de neurones artificiels ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d’apprentissage automatique.
Ainsi, la large majorité des réseaux de neurones artificiels possède un algorithme d’apprentissage ou d’entrainement, qui consiste à modifier des poids synaptiques en fonction d’un jeu de données présentées en entrée du réseau. Le but de cet entraînement est de permettre au réseau de neurones d'apprendre à partir des exemples et de produire des modèles d’intelligence artificielle entrainés.
L’apprentissage profond (« Deep Learning » en anglais)  fait partie de la famille des méthodes d'apprentissage automatique. L’apprentissage profond automatique doit être effectué sur des bases de données suffisamment grandes, capables d'entraîner des systèmes de grandes tailles. De nouvelles données peuvent être ajoutées à la base d’apprentissage en permanence pour affiner l’apprentissage. L’avantage des algorithmes de Deep Learning sur les algorithmes conventionnels est leur capacité constante à s’améliorer en élargissant leur base d’apprentissage. La méthode classique de génération de bases de données d’apprentissage pour les algorithmes basés sur une intelligence artificielle de type apprentissage profond consiste à utiliser des données réelles, qui sont labélisées manuellement ou avec des outils peu automatisés, afin de générer une vérité-terrain VT (« ground truth » en anglais).
Un des fondements de réussite de l’apprentissage profond est la constitution d’une large base de données d’apprentissage. Or, dans le contexte de l’invention où les données d’apprentissage proviennent d’images capteurs réelles, la problématique est la variabilité des conditions, et réside dans la difficulté à obtenir un grand nombre d’images capteur pour différentes approches sur différentes pistes, avec différentes rampes lumineuses d’approches, par différentes conditions météorologiques et pour différents aéronefs.
Par ailleurs, un autre frein à l’enrichissement des bases de données d’apprentissage dans le contexte de l’invention, est le coût des vols pour collecter des images, faisant que le nombre de vols reste très limité.
Par conséquent la banque d’images qui regroupe l’ensemble des images capteur collectées reste actuellement de taille trop réduite.
Or, le volume d’une telle banque d’images doit atteindre un seuil suffisant pour que le contenu (les données d’apprentissage) soit fiable tant en termes de précision qu’en termes de couverture géographique.
Un objet de l’invention est alors de répondre aux besoins précités et de pallier les inconvénients des techniques connues.
Aussi, l’invention propose une solution pour générer des données synthétiques d’apprentissage labélisées, qui peuvent être utilisées par un algorithme par apprentissage profond afin de générer des modèles d’intelligence artificielle entrainés, qui sont embarqués dans des systèmes d’aide à l’atterrissage d’aéronef.
A cet effet, l’invention a pour objet une solution de génération automatique de données d’apprentissage ayant pour but d’entraîner une intelligence artificielle à reconnaître une piste d’atterrissage pour aéronef par conditions de visibilité dégradées.
Ainsi avantageusement, des images obtenues par un générateur d’images synthétiques selon le procédé de l’invention, peuvent être utilisées seules ou ajoutées à une banque d’images réelles comme données d’apprentissage additionnelles.
Le principe général de l’invention repose sur l’utilisation d’un simulateur de vol et un générateur automatique d’images de vérité-terrain réalistes combiné à la mise en œuvre sur un réseau de neurones antagonistes génératifs conditionnels (cGAN) d’un procédé de traduction d’image pour générer un grand nombre d’images capteur simulées à partir de chaque image de vérité-terrain.
Avantageusement, le procédé de l’invention permet d’avoir une base de données d’apprentissage bien plus volumineuse qu’avec des données réelles, et simulant bien plus de conditions différentes qu’il est possible avec des données réelles. Ceci permet d’augmenter considérablement la capacité de détection des systèmes de reconnaissance de piste d’atterrissage utilisant des modèles entraînés qui sont obtenus à partir de la base de données synthétiques d’apprentissage constituée selon l’invention.
Avantageusement, la base de données constituée avec des données synthétiques peut être utilisée pour valider la robustesse ou la faiblesse de différents algorithmes de détection de la piste d’atterrissage vis-à-vis de différents scénarios (« use cases » en anglais) considérés comme problématiques, en permettant de faire tourner en parallèle différents algorithmes sur le jeu de données synthétiques et de détecter sur les résultats fournis des écarts trop importants entre les différents algorithmes.
La présente invention trouvera de nombreux domaines d’application et notamment des applications pour la détection de piste, de contour de piste, de rampe lumineuse, de rampes d’approche.
Pour obtenir les résultats recherchés, il est proposé un procédé mis en œuvre par ordinateur pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle. Le procédé comprend au moins les étapes de :
- définir des paramètres pour au moins un scénario d’approche d’un aéronef vers une piste d’atterrissage ;
- utiliser les paramètres dudit au moins un scénario dans un simulateur de vol pour générer des données de vol simulées, ledit simulateur de vol étant configuré pour simuler ledit aéronef en phase d’approche de ladite piste d’atterrissage et simuler un pilote automatique associé;
- utiliser les données de vol simulées pour générer une pluralité d’images de vérité-terrain, lesdites images de vérité-terrain correspondant à différentes conditions de visibilité ; et
- générer à partir de chaque image de vérité-terrain une pluralité d’images capteur simulées.
Selon des modes de réalisation alternatifs ou combinés :
-l’étape de générer des images capteur simulées consiste à mettre en œuvre sur un réseau de neurones antagonistes génératifs conditionnels, un algorithme de traduction d’image à image, ledit algorithme de traduction d’image à image permettant de traduire une image de vérité-terrain en une image capteur simulée.
- l’étape de générer des images capteur simulées consiste à générer des images infra-rouge simulées.
- l’étape de générer une pluralité d’images de vérité-terrain comprend les étapes de :
- générer une image de vérité-terrain de premier niveau où ne figure sur l’image qu’un nombre restreint d’éléments d’intérêt, chaque élément d’intérêt étant représenté respectivement par un type d’information uniforme, lesdits éléments d’intérêt comprenant au moins la piste d’atterrissage représentée par un premier type d’information uniforme et la rampe lumineuse d’approche représentée par un second type d’information uniforme ; et
- générer à partir de l’image de vérité-terrain de premier niveau, différentes images de vérité-terrain masquées correspondant à des conditions de visibilité différentes.
- chaque image de vérité-terrain masquée contient au moins quatre classes ou couleur, chaque classe étant respectivement associée à un label.
- les quatre classes sont la piste d’atterrissage, la rampe d’approche, les données visibles et les données invisibles.
- l’étape de générer des images capteur simulées consiste à traduire un label dans une image de vérité-terrain en une texture pour une image capteur simulée.
- l’étape de définir au moins un scénario d’approche consiste à définir des paramètres relatifs à au moins une piste d’atterrissage donnée, à des conditions météorologiques et des conditions d’environnement.
- l’étape de générer des données de vol simulées consiste à simuler différentes trajectoires d’approche de l’aéronef simulé et du pilote automatique avec les paramètres de scénario, et à générer des données de vol simulées pour les différentes trajectoires comprenant la position (latitude, longitude, altitude) et l’attitude (lacet, tangage, roulis) de l’aéronef simulé.
- le procédé comprend de plus une étape consistant à stocker la pluralité d’images capteur simulées dans une base de données synthétiques d’apprentissage.
- le procédé comprend de plus des étapes consistant à utiliser les images capteurs simulées comme données d’apprentissage pour entrainer une machine d’intelligence artificielle pour l’aide à l’atterrissage d’aéronef.
L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé revendiqué, lorsque le programme est exécuté sur un ordinateur.
L’invention couvre de plus un dispositif pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle, le dispositif comprenant des moyens pour mettre en œuvre les étapes du procédé revendiqué selon l’une quelconque des revendications.
D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :
une architecture générale d’un système de génération de modèle d’intelligence artificielle entrainé pour la reconnaissance de piste et de rampe d’approche, utilisant une base de données synthétique d’apprentissage constituée selon un mode de réalisation de l’invention ;
un schéma d’un dispositif de génération de données synthétiques selon un mode de réalisation de l’invention ;
 un procédé pour générer des données synthétiques selon un mode de réalisation de l’invention ;
un exemple d’image de vérité-terrain de premier niveau obtenue selon un mode de réalisation du procédé de l’invention ;
 différentes images de vérité terrain masquées obtenues à partir de l’image de vérité-terrain de la figure 4a selon un mode de réalisation du procédé de l’invention ;
une traduction d’une image segmentée sémantiquement en une image IR  selon un mode de réalisation de l’invention ;
 [Fig.6] un exemple de sortie d’un cGAN pour le dataset MNIST ;
un exemple d’architecture pour un cGAN ;
une architecture générale d’un cGAN permettant de générer des données synthétiques d’apprentissage selon un mode de réalisation de l’invention.
La figure 1 illustre une architecture générale d’un système 100 de génération de modèle d’intelligence artificielle entrainé pour la reconnaissance de piste d’atterrissage, utilisant une base de données synthétiques d’apprentissage constituée selon un mode de réalisation de l’invention.
Le système 100 comprend généralement une base de données d’apprentissage 104 couplée à un module d’analyse d’images 106 configuré pour mettre en œuvre un algorithme d’intelligence artificielle d’apprentissage profond et générer des modèles 108 d’intelligence artificielle (modèles d’IA) entrainés.
La base de données d’apprentissage 104 doit contenir un très grand nombre de données représentant un maximum de situations possibles, englobant différentes approches sur différentes pistes avec différentes rampes lumineuses d’approches pour différentes conditions météorologiques. Afin de mettre en œuvre un procédé d’apprentissage profond et apprendre à reconnaître la piste d’atterrissage dans les données, la base de données d’apprentissage comprend des données synthétiques d’apprentissage générées selon les principes de l’invention.
Les données synthétiques d’apprentissage de la base d’apprentissage 104 sont fournies par un dispositif 102 apte à générer des données synthétiques selon le procédé de l’invention.
Dans un mode de réalisation non illustré, des données d’apprentissage réelles peuvent être ajoutées à la base de données d’apprentissage 104 pour augmenter le jeu de données d’apprentissage. Les données d’apprentissage réelles sont issues de capteurs équipant des aéronefs, qu’il s’agisse d’images dans le visible, dans l’infra-rouge ou de données radar.
Les images réelles peuvent être fournies par une multitude de capteurs différents équipant une pluralité d’aéronefs effectuant soit des vols réels, soit des vols dédiés à la prise d’images, chaque image étant associée à des paramètres du vol correspondant, et notamment des paramètres de position 3D et d’orientation 3D de l’appareil au moment de la prise de vue.
Revenant à la figure 1, le module d’analyse d’images 106 est configuré pour mettre en œuvre un algorithme d’apprentissage profond sur des jeux de données synthétiques d’apprentissage issus de la base de données d’apprentissage 104, et générer des modèles 108 d’intelligence artificielle (modèles IA) entrainés qui peuvent être embarqués à bord d’aéronefs pour leur utilisation en vol opérationnel.
Dans un mode de réalisation, le module d’analyse d’images de l’invention 106 met en œuvre un algorithme d’apprentissage profond pour la détection de piste et de rampe. Dans un mode de réalisation avantageux, l’algorithme est basé sur un réseau de neurones convolutif (CNN en anglais pour « Convolutional Neural Network »).
Dans le domaine de la vision par ordinateur, l’objectif de l’apprentissage profond est de modéliser avec un haut niveau d’abstraction les données. De manière synthétique, il y a deux phases : une phase d’apprentissage et une phase d’inférence. La phase d’apprentissage permet de définir un modèle d’IA entrainé qui répond au besoin opérationnel. Ce modèle est ensuite utilisé dans le contexte opérationnel lors de la phase d’inférence. La phase d’apprentissage est donc primordiale. Afin d’obtenir le meilleur modèle, la phase d’apprentissage nécessite donc d’avoir constitué une large base de données d’apprentissage qui soit la plus représentative du contexte opérationnel. L’invention répond à ce besoin de constitution d’une base d’apprentissage.
Un bon apprentissage définit un modèle prédictif qui s’adapte bien aux données d’apprentissage mais qui est aussi capable de bien prédire sur des données non vues lors de l’apprentissage. Si le modèle ne s’adapte pas aux données d’apprentissage, le modèle souffre de sous-apprentissage. Si le modèle s’adapte trop bien aux données d’apprentissage et n’est pas capable de généraliser, le modèle souffre de sur-apprentissage. Ainsi à partir de nombreuses données de la base d’apprentissage 104, la phase d’apprentissage permet de chercher les meilleurs hyper-paramètres de l’architecture qui modélisent le mieux les différents labels (piste/rampe). A chaque itération, le réseau neuronal 106 propage (i.e. extraction/ abstraction des caractéristiques propres aux objets d’intérêts) et estime la présence et la position des objets. A partir de cette estimation et de la vérité-terrain (i.e. l’image de la vérité-terrain), l’algorithme d’apprentissage calcule une erreur de prédiction et rétropropage l’erreur dans le réseau afin de mettre à jour les hyper-paramètres du modèle. Une phase d’apprentissage comporte ainsi de nombreuses itérations sur les différentes données d’apprentissage afin de converger vers une erreur faible et une précision forte du modèle IA.
La figure 2 montre un schéma d’un dispositif 200 de génération de données synthétiques d’apprentissage selon un mode de réalisation de l’invention, qui comprend plusieurs modules dont un générateur de scénario 202, un simulateur de vol et son pilote automatique 204, un générateur de vérité-terrain 206, et un traducteur d’image à image 208.
Dans un mode de réalisation, le dispositif de génération de données synthétiques d’apprentissage 200 est implémenté dans un ordinateur 102 qui comprend au moins un processeur, une mémoire configurée pour stocker des instructions de code de différents programmes dont des instructions de code pour permettre l’exécution des fonctions logiques des différents modules du dispositif 200 exécutables par le processeur selon un système d’exploitation, un module de stockage, des interfaces I/O d’entrée/sortie vers des périphériques, des bus d’interconnexion, tels que connu 112.
Le dispositif de l’invention 200 peut ainsi s’implémenter à partir d’éléments matériels et/ou logiciels. Il peut être disponible sur un support lisible par ordinateur en tant que produit programme d’ordinateur, exécutable par un processeur qui comprend des instructions pour exécuter les étapes des procédés dans leurs différents modes de réalisation.
Le dispositif de l’invention 200 est configuré pour générer à partir de différents scénario produits par le générateur de scénario 202, des images capteurs simulées 209 qui peuvent être ajoutées comme données d’apprentissage à une base de données d’apprentissage 104.
Le simulateur de vol 204 est configuré pour simuler un type d’aéronef avec un pilote automatique (PA) associé, le tout formant un module Vol/PA logiciel configuré pour simuler des trajectoires réalistes d’approches sur différentes pistes d’atterrissage et par différentes conditions météorologiques. Les facteurs météorologiques dimensionnant sont les conditions de visibilité qui vont conditionner le rendu graphique de la rampe et de la piste ainsi que le vent et les turbulences qui vont influencer l’orientation et la stabilité du capteur simulé par rapport à la piste d’atterrissage.
Avantageusement, le module Vol/PA 204 peut être configuré pour réaliser successivement un nombre déterminé d’approches en faisant varier différents paramètres, comme par exemple la piste sur laquelle l’aéronef va se poser, la direction et la force du vent, le niveau de turbulence.
Pour cela, le module de génération de scénario 202 permet d’initialiser automatiquement le module Simulateur Vol/PA 204 en début d’approche avec des paramètres d’initialisation 203 pour une piste d’atterrissage donnée, une météo donnée et des paramètres initiaux de l’aéronef. Le module de simulation de vol associé au pilote automatique réalise l’approche complète jusqu’à l’atterrissage avec les paramètres initiaux puis le module de génération de scénario réinitialise le module de simulation de vol avec de nouvelles conditions 203. Ainsi avantageusement, le module Simulateur Vol/PA 204 peut être configuré pour réaliser automatiquement un très grand nombre d’approches avec de multiples conditions initiales.
Dans un mode de réalisation, le générateur de scénario 202 est configuré pour paramétrer des conditions de l’environnement, comme par exemple l’heure et la date qui permettent de positionner le soleil ou de simuler des conditions de nuit, ainsi que la visibilité, le brouillard, la pluie, …
Le simulateur de vol 204 génère des données de vol simulées 205 pour un type d’aéronef simulé. Les données de vol qui sont la position (latitude, longitude, altitude) et l’attitude (lacet, tangage, roulis) de l’aéronef, deviennent les paramètres d’entrée du générateur de vérité-terrain 206.
Le générateur de vérité-terrain 208 est configuré pour générer automatiquement à partir des données de vol 205 des images de vérité-terrain 207 correspondant à différentes conditions de visibilité. Les images de vérité-terrain deviennent les entrées du traducteur d’image 208.
Le traducteur d’image 208 est configuré pour réaliser une fonction de traduction d’image afin pour chaque vérité-terrain d’obtenir différentes images capteurs simulées 209.
La traduction image à image est un sous-domaine de la vision par ordinateur, C’est un problème graphique où l’objectif est d’apprendre la correspondance entre une image source et une image de destination, Des techniques connues sont basées sur des réseaux cGANs, du « pixel-to-pixel translation », ou du cVAE « Condition Variational Auto-encoders », comme par exemple :
- La publication pix2pix par P. Isolaet al. “Image-to-image translation with conditional adversarial networks” in CVPR, 2017, dans laquelle des réseaux cGANs sont utilisés pour faire de la traduction image à image, avec par exemple la « traduction » d’une image noir et blanc en couleur ou bien encore la « traduction » d’une image prise de jour en une image prise de nuit. Une restriction importante de cette implémentation est qu’elle nécessite d’avoir comme données d’apprentissage des couples (x,y) qui correspondent à une image et sa traduction.
- La publication CycleGAN par J.-Y. Zhu et al., “Unpaired image-to-image translation using cycle-consistent adversarial networks” in Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017, dans laquelle on retrouve aussi du transfert de saison ou de la transfiguration d’objets (« traduction » d’une image de cheval à un zèbre). Cette implémentation améliore le modèle précédent en ne nécessitant que deux jeux de données et pas une correspondance une à une entre chaque image (par exemple on a un set d’image de cheval et un set d’image de zèbres).
Dans le contexte des systèmes d’aide à l’atterrissage à base d’image infra-rouge, l’image source est une image de vérité-terrain et l’image de destination est une image infra-rouge. La traduction image à image permet notamment de faire des transferts de styles entres images ou des changements de saisons.
La figure 3 illustre les étapes d’un procédé 300 pour générer des données synthétiques selon un mode de réalisation de l’invention, pouvant être opéré sur le dispositif de la figure 2.
Dans une première étape 302, le procédé permet d’initialiser automatiquement le modèle de vol et le pilote automatique 204 en début d’approche par des paramètres initiaux définissant une piste d’atterrissage, une météo et les paramètres initiaux de l’aéronef considéré. En effet, l’invention s’appuie sur l’utilisation d’un modèle de vol représentatif d’un certain type d’aéronef associé à un logiciel de pilote automatique pour simuler des trajectoires réalistes d’approches sur différentes pistes d’atterrissage et par différentes conditions météorologiques.
Dans une étape suivante 304, le procédé permet de simuler par le modèle de vol associé au pilote automatique 204 l’approche complète jusqu’à l’atterrissage, puis le procédé permet de reboucler pour générer un nouveau scenario et réinitialiser le modèle de vol avec de nouvelles conditions initiales. Le procédé peut réitérer un très grand nombre de fois la simulation d’approches et atterrissages pour de multiples conditions initiales.
Pour introduire une certaine variabilité sur la position du seuil de piste dans le modèle de vol, le procédé permet de définir des paramètres quant à la position du seuil de piste afin de simuler des approches légèrement décalées latéralement et/ou longitudinalement à la piste telle que cela pourrait se produire en pilotage manuel ou avec un faisceau ILS légèrement décalé biaisé ou avec une approche LPV avec une petite erreur de localisation GPS. La position du seuil de piste est paramétrée dans le module Simulateur de Vol/PA 204 via le module de génération de scénario 202, le pilote automatique guidant ainsi l’aéronef vers la piste décalée fournissant une vue sous un angle légèrement différent de la piste que par les données capteur.
Dans une étape suivante 306, le procédé permet de générer des vérités-terrain à partir des données issues du simulateur de Vol/PA 204.
Dans un mode de réalisation de l’étape 306, le procédé permet d’abord de générer des données théoriques spatiales uniquement telles qu’elles devraient sortir d’un capteur par bonne visibilité pour la piste d’atterrissage et la rampe lumineuse d’approche considérées.
Or, par conditions de visibilité dégradée, c’est généralement la rampe lumineuse d’approche qui est détectable avant la piste d’atterrissage et donc afin d’obtenir une détection au plus tôt, il est important d’entraîner l’IA à reconnaître les différents types de rampes lumineuses qui sont normalisées. Cependant, ce n’est pas toujours le cas et parfois, la piste d’atterrissage peut être le premier élément détectable. Par exemple si la rampe lumineuse est constituée de LEDs au lieu de lampes à incandescence, un capteur IR peut détecter la piste avant la rampe lumineuse. C’est également le cas d’un radar qui de loin, peut détecter le contraste entre le sol et l’asphalte de la piste bien avant le contraste entre le sol et le métal de la rampe dont les surfaces de réflexions sont trop petites de loin. Il est donc important d’entraîner l’IA à reconnaître également la piste d’atterrissage. Le générateur de vérité-terrain doit donc connaître la piste d’atterrissage, c’est-à-dire connaitre la position des deux seuils de piste et le type de rampe que l’on veut apprendre à reconnaître ainsi que les caractéristiques du capteur que l’on veut simuler, c’est-à-dire l’orientation du capteur dans le repère de l’aéronef, les champs horizontal et vertical du capteur et le type de données en sortie, par exemple pour une image, les résolutions horizontales et verticales en pixels, les éventuelles déformations, …
A partir de ces données, le procédé permet de générer une image de vérité-terrain de premier niveau (306-1) où ne figure sur l’image qu’un nombre restreint d’éléments d’intérêt. Les éléments ou catégorie d’intérêt comprennent au moins la piste d’atterrissage et la rampe lumineuse d’approche, l’ensemble des autres éléments formant une seule autre catégorie. Chaque catégorie d’intérêt est respectivement représentée par un type d’information uniforme, tel que la piste est représentée par un premier type d’information uniforme, la rampe lumineuse d’approche par un second type d’information uniforme et le reste des autres éléments par un troisième type d’information uniforme. La figure 4a illustre une image de vérité-terrain de premier niveau avec les catégories minimales - piste, rampe d’approche, autres éléments - pour une image 2D. La vérité-terrain peut par exemple être représentée comme une image de couleur uniforme 402 (noire sur la figure 4a pais qui peut être un fond rouge), avec la piste 404 et la rampe 406 apparaissant respectivement dans deux autres couleurs différentes (vert pour la piste et jaune pour la rampe par exemple).
Cependant, l’objectif de l’invention étant l’aide à l’atterrissage par conditions de visibilité dégradée, avantageusement dans une étape suivante (306-2), le procédé permet de générer à partir de l’image de la vérité-terrain de premier niveau, différentes images de vérité-terrain correspondant à différentes conditions de visibilité.
Les capteurs n’ayant pas tous la même sensibilité aux conditions de visibilité, la génération des images de vérité-terrain dépend du type de capteur qui est simulé. En reprenant l’exemple d’un capteur IR, les différentes conditions de visibilités se traduisent par une distance de visibilité plus ou moins réduite qui peut être traduite sur l’image de la vérité terrain de premier niveau par un masquage du haut de l’image évoluant sur l’image jusqu’à une hauteur variable. Les figures 4b à 4e illustrent quatre images de vérité-terrain générées à partir de la vérité-terrain de premier niveau de la figure 4a, et représentant quatre contextes de conditions de visibilité dégradée. Un masque ayant un quatrième type d’information uniforme (gris sur les figures mais qui pourrait être de couleur bleue par exemple) couvrant la partie correspondant aux zones sans visibilité est superposé sur l’image vérité-terrain de premier niveau afin de générer une image de vérité-terrain masquée (410-b à 410-e).
Ainsi, l’étape 306 de génération d’images de vérité-terrain permet à partir d’une image de vérité-terrain de premier niveau simplifié, de générer une multitude d’images de vérité-terrain masquées depuis une image correspondant à une excellente visibilité où le masque est appliqué du haut de l’image jusqu’à la ligne d’horizon (fig. 4b par exemple) jusqu’à une image correspondant à une visibilité quasi nulle où le masque recouvre la totalité de la piste d’atterrissage et de la rame d’approche (non illustré).
Dans des modes de réalisation, les images vérité-terrain masquées sont générées selon un pas qui est déterminé soit en nombre de pixels, soit en distance de visibilité convertie en pixels.
Dans une étape suivante 308, le procédé permet à partir des images de vérité-terrain masquées qui ont été générées, de réaliser de la traduction d’images afin pour chaque image de vérité-terrain masquée issue de l’étape précédente, d’obtenir différentes images de capteurs simulées. La figure 5 illustre une traduction d’une image 502 segmentée sémantiquement (selon les quatre classes ‘Ciel ; Piste ; Rampe ; Sol’) en une image IR  504.
Dans un mode de réalisation, les images capteur simulées peuvent être stockées dans une base de données synthétiques d’apprentissage.
Comme il a été expliqué, il est très difficile dans le domaine aéronautique de constituer une base de données d’apprentissage qui soit réaliste et variée, de part des limitations physiques (différentes pistes, météos, heures d’approches), financières (coûts importants pour réaliser ce type de vols) ou encore techniques. Aussi, pour pallier ces inconvénients, l’invention utilise les propriétés génératives des réseaux de neurones d’apprentissage profond basés sur des modèles génératifs profonds (« Deep Generative Models » en anglais) pour générer de nouvelles données synthétiques qui vont correspondre à une multitude de situations.
Avant de détailler l’utilisation de ces modèles génératifs profonds dans le cadre de l’invention, il en est fait une description générale.
Description des GANs :
Depuis quelques années, les progrès dans l’apprentissage profond (Deep Learning) ont permis l’émergence des modèles génératifs profonds dont l’objectif est de générer de nouvelles données complètement synthétiques mais similaires aux données utilisées lors de l’apprentissage. Les deux classes principales de ces algorithmes sont les GANs (« Generative Adversarials Network » en anglais) ou DCGAN (« Deep Convolutional GAN » en anglais), introduits par Goodfellow et al ou encore des VAEs (« Variational Auto-Encoders » en anglais). Ces modèles génératifs permettent de générer tous types de données, des exemples dans la littérature existent où des GANs sont ainsi employés pour générer des images, de la musique, du texte, ils peuvent aussi être utilisés pour améliorer la qualité de certaines données (images de simulation par exemple).
Un GAN est composé de deux réseaux de neurones qui sont en compétition l’un contre l’autre. Le premier réseau est le générateur (« Generator » en anglais) dont l’objectif est de générer une imitation des données en partant d’un vecteur de bruit («Vector of Noise » en anglais). Le second réseau de neurone est le discriminateur (« Discriminator » en anglais) dont l’objectif est déterminer si les données qu’on lui présente sont des vraies ou si ce sont des fausses générées par le générateur. Au cours de l’entrainement le générateur va générer des imitations de plus en plus proches des données réelles et le discriminateur va avoir de plus en plus de mal à différencier le vrai du faux. Lorsque pour chaque donnée qu’on lui présente le discriminateur n’arrive plus à déterminer si ce sont de vraies données ou des imitations (seuil à 50%), on considère que l’entrainement du GAN est terminé. Dès lors, le générateur peut être utilisé pour produire de nouvelles données qui seront très proches du jeu de départ. Pour générer des données qui ne sont pas réalistes et qui pourraient traduire une des situations présentées précédemment, un GAN partiellement entrainé est un candidat intéressant qui peut fournir des données d’entrée proches de la réalité (par exemple des images dont l’agencement des pixels est cohérent avec les données classiques) mais qui correspondraient à des situations impossible physiquement.
Il existe beaucoup d’architectures différentes pour les réseaux de neurones du générateur et du discriminateur mais généralement, ces réseaux de neurones sont constitués d’un enchainement de plusieurs couches de convolutions, de fonctions d’activation (« ReLu, Leaky ReLU, Sigmoid », etc) ainsi que d’autres opérations (« dropout, softmax, maxpooling », etc).
Un exemple d’architecture d’un GAN ou DCGAN peut être est la suivante :
Pour le générateur il peut être utilisé un réseau de neurones avec plusieurs couches de convolution à stries fractionnaires (« Fractional_Strided Convolutions » en anglais), par exemple 4, accompagné de normalisation par lots (« Batch Normalization » en anglais) ainsi que des fonctions d’activation telles que : tangente hyperbolique (tanh), LeakyReLU ou ReLU.
Pour le discriminateur, il peut aussi être utilisé un réseau de neurones avec plusieurs couches de convolutions à stries (« Strided Convolutions » en anglais), par exemple 4, accompagné de normalisation par lots ainsi que des fonctions d’activation (par exemple « LeakyReLU »).
Concernant la normalisation par lots, l’homme de l’art sait qu’il faut généralement insérer des « Batch Normalization » après des couches complètement connectés (« Fully Connected Layer » en anglais ou FCC) ou des couches de convolutions (« Convolutional Layer » en anglais) et avant de la non-linéarité (« Nonlinearity » en anglais).
Initialement, le générateur produit des images de qualité médiocre et la perte de valeur (« loss value » en anglais) est élevée. La rétro-propagation (« back-propagation » en anglais) permet de mettre à jour les poids des neurones du générateur afin de produire des images plus réalistes lors de l’entrainement. Il est important de noter que le générateur et le discriminateur ne sont pas nécessairement entrainés en même temps et que généralement l’entrainement du générateur et du discriminateur est alterné (les poids du générateur puis du discriminateur sont fixés respectivement quand l’un ou l’autre est entrainé).
Description des cGANs :
Bien que les GANs soient prometteurs, ils présentent un désavantage majeur lors de leur utilisation : les données qui sont produites par un GAN n’ont pas de label. Ainsi ces données peuvent être utilisées soit en données de tests ou alors elles doivent être labélisées par la suite.
Il existe de nombreuses variantes des GANs et les réseaux de neurones antagonistes génératifs conditionnels cGANs en font partie. Ils ont été introduits peu de temps après les GANs. Ils reprennent l’architecture classique d’un GAN en ajoutant un label additionnel en entrée du générateur et du discriminateur. Ce label qui correspond généralement à une classe agit comme un paramètre pour le cGAN, il conditionne la sortie du générateur et indique au discriminateur la base avec laquelle il doit comparer l’image du générateur. Par exemple, dans le cas du jeu de données (« Dataset » en anglais) de la base de données de chiffres MNIST («Mixed National Institute of Standards and Technology » en anglais), le label qui est introduit en entrée du générateur et du discriminateur est un vecteur qui correspond au chiffre que l’on souhaite générer. La figure 6 illustre un exemple de sortie d’un cGAN pour le dataset MNIST, où chacune des lignes de la matrice de gauche 602 montre le vecteur « y » qui a été passé en tant que paramètre conditionnel, et où chaque ligne de l’image de droite 604 montre les sorties du cGANs qui correspondent respectivement à ce paramètre. Ainsi par exemple, pour générer le chiffre ‘4’ visible sur la cinquième ligne de l’image de droite, le vecteur [0,0,0,0,1,0,0,0,0,0] a été passé en entrée du générateur du cGAN. Cette propriété permet d’avoir un mécanisme pour contrôler les sorties du générateur.
Un exemple d’architecture pour un cGAN montré sur la figure 7 peut être la suivante :
Un cGAN est composé d’un générateur 702 et d’un discriminateur 704. Ce modèle peut par exemple être entrainé à l’aide d’une descente stochastique du gradient (« Stochastic Gradient Descent » en anglais), l’objectif général étant de trouver le générateur qui minimise la précision des prédictions réel/faux (« Real/Fake » en anglais) ainsi que de trouver le discriminateur qui maximise ces mêmes prédictions. Un vecteur « z » désigne l’espace latent (« Latent Space » en anglais) qui dans le cas des GANs et des cGANs est généralement un vecteur de bruit (« Random Noise » en anglais) qui suit une distribution gaussienne.
Cet objectif s’exprime par une fonction illustrée par l’équation suivante où le vecteur « y » (parfois désigné « c ») représente le paramètre conditionnel (« Conditional Setting » en anglais) appliqué au cGAN, « z » correspond au vecteur de bruit et « x » correspond à la donnée à laquelle est comparé la sortie du générateur G(z/y) :
Comme précisé ci-dessus, le vecteur « y » est combiné avec le vecteur de bruit « z » sous une représentation cachée commune (« Joint hidden representation » en Anglais).
Le réseau de neurones du générateur utilise une architecture basée sur le réseau U-Net, qui est très similaire au réseau d’un auto-encodeur. Un auto-encodeur est un réseau de neurones non supervisés (« Unsupervised Artificiel Neural Network » en anglais) dont l’objectif est d’apprendre à correctement compresser et encoder des données puis ensuite reconstruire ces données le plus fidèlement possible. Un auto-encodeur réduit les dimensions des données en apprenant à ignorer le bruit présent dans celles-ci. Un réseau U-Net (et un auto-encodeur) possède deux réseaux : l’encodeur (« Encoder » en anglais) et le décodeur (« Decoder » en anglais). Un réseau U-Net est un auto-encodeur auquel sont ajoutées des connexions sautées (« skipped connections » en anglais) qui permettent à de l’information de transiter entre les couches de l’encodeur jusqu’au décodeur directement.
Un générateur utilise donc un réseau U-Net lui-même composé de deux réseaux : l’encodeur et le décodeur. Dans un exemple d’implémentation, l’encodeur de l’U-Net peut par exemple être constitué d’un ensemble de couches de convolution suivi par une fonction d’activation (« LeakyRelu » par exemple). Chaque couche peut également être suivie d’un batch de normalisation. Le décodeur du générateur est lui aussi constitué d’un ensemble de couches de convolution (de préférence un nombre similaire à celui de l’encodeur, par exemple 7) auxquelles peuvent être appliquées plusieurs opérations (par exemple des couches de ré-échantillonage ou « Upsampling layer » en anglais, des couches de convolutions, des batchs de normalisation, ainsi que des fonctions d’activation).
Le discriminateur s’appuie quant à lui sur l’architecture d’un réseau de neurones qui contient plusieurs couches de convolutions (par exemple 5) qui peuvent être suivies de plusieurs opérations comme des batchs de normalisation ainsi que des fonctions d’activations. Le discriminateur peut parfois s’appuyer sur une technique appelée « PatchGAN » où PatchGAN est un réseau de neurones convolutif profond dont l’objectif est de déterminer si l’image qui lui est présentée est une vraie image ou non. Pour cela au lieu de classifier l’intégralité de l’image PatchGAN classifie des blocs/patchs (de taille N*N avec N*N < taille de l’image, par exemple des blocs de taille 70 pixels x 70 pixels) de l’image et détermine si ces blocs sont vrais ou faux.
Dans une autre implémentation, le générateur et le discriminateur peuvent par exemple être de simples perceptrons à multicouches (« Multi-layer perceptrons » en anglais) avec des fonctions d’activation ReLU pour les couches cachées ainsi qu’une fonction sigmoïd pour la couche de sortie.
Il est possible d’améliorer le rendu des images générées par de telles méthodes en mettant en œuvre par exemple la technique « SPADE » pour « Spatially Adaptive Normalization » en anglais décrite dans l’article de Park, T. et al., “Semantic Image Synthesis with Spatially-adaptive Normalization”. In CVPR, 2019.
Les techniques de batch normalisation sont connues dans l’état l’art de la vision par ordinateur et permettent de sensiblement améliorer la qualité des réseaux de neurones tout en réduisant les temps d’entrainement pour ces derniers. Ces techniques de normalisation apprennent la couche affine (“Affine layer” en anglais) après l’étape de normalisation ce qui peut entrainer la perte d’information sémantique durant cette étape. SPADE apprend la couche affine directement depuis la carte de segmentation sémantique (« Semantic Segmentation Map » en anglais), afin que les informations sémantiques d’entrée puissent être conservées et agissent sur l’ensemble des couches. Cette technique permet de grandement améliorer la qualité des images générées.
Ainsi comme indiqué, l’invention utilise les propriétés génératives des GANs et cGANs présentées précédemment pour générer de nouvelles données synthétiques. Cette variété dans le jeu de données permet de rendre le système plus robuste ou d’éviter des biais lors de l’entrainement d’algorithmes de détection de pistes automatiques.
Dans un mode de réalisation, un réseau GAN peut être utilisé pour générer des données synthétiques de test. Comme rappelé ci-dessus, les données générées par un GAN ne sont pas labélisées, néanmoins une fois l’entrainement du GAN terminé, le générateur peut synthétiser de nouvelles données proches de celles fournies en entrée.
Dans un autre mode de réalisation, un réseau cGAN peut être utilisé pour générer des données synthétiques d’apprentissage. La figure 8 illustre schématiquement une architecture générale d’un cGAN 800 composée d’un générateur 802 et d’un discriminateur 804 et permettant de réaliser l’étape de traduction d’image 308 selon un mode de réalisation de l’invention. Les entrées du générateur du cGAN pour l’entrainer sont un vecteur de bruit « z » et un paramètre conditionnant « y » qui correspondent à une image segmentée sémantiquement. Une fois l’entrainement du cGAN terminé (illustré par le processus en pointillé), le générateur peut réaliser la traduction d’une image 502 fournie en entrée et segmentée sémantiquement, en une nouvelle image 504, qui peut par exemple correspondre à la même scène que l’image d’entrée mais avec une vision infrarouge.
Ainsi, en utilisant les techniques précédemment décrites, le procédé permet de réaliser une traduction d’image à d’image en utilisant en entrée des images segmentées sémantiquement, dans lesquelles chaque classe/couleur est associée à un label. Suite à son apprentissage, le cGAN est capable de réaliser une « traduction » d’un label vers une texture. Les vérités-terrains qui sont fournies par le générateur de vérités-terrain 206 sont directement utilisables comme entrées du cGAN pour une traduction d’image à images.
Dans un mode de réalisation, les vérités-terrain qui sont générées après traitement des données du modèle de vol et des paramètres de vols contiennent au moins quatre classes ou catégories (rampe, piste, données visibles, données invisibles), chaque classe étant respectivement associée à une couleur (jaune, vert, rouge, bleu). Cependant, le nombre de classes peut être supérieur à 4 pour améliorer le niveau de détail de l’image générée. De nouvelles classes potentielles peuvent par exemple être : les forêts, les routes, le ciel, les nuages, les bateaux, les mers/océans/lacs/rivières, les villes, les bâtiments, les aéroports, la terre, la neige, le désert, etc. Inversement, l’homme du métier peut considérer d’utiliser uniquement trois classes (par exemple : visible, invisible, piste) afin d’alléger les étapes de traitement des données.
Avantageusement, la base de données synthétiques créée selon les principes de l’invention, peut être utilisée comme base de données d’apprentissage pour mettre en œuvre un algorithme d’apprentissage profond pour la reconnaissance de piste, à base de réseau de neurones artificiels.
Dans un mode de réalisation, la base de données synthétiques d’apprentissage est associée à une base de données réelles d’apprentissage afin d’augmenter considérablement la quantité de données d’apprentissage.
Ainsi, la présente invention décrit différentes options de génération de nouvelles données :
- génération de nouvelles données synthétiques d’apprentissage par la mise en œuvre de techniques de traduction d’image utilisant des réseaux cGANs permettant de générer des images réalistes à partir d’images segmentées, la segmentation correspondant aux différents labels de l’image segmentée. L’image générée est une image labélisée simulée par un cGAN correspondant à une situation réaliste obtenue sur simulateur ;
- génération de nouvelles données de test non labélisées par l’utilisation de réseaux GANs à partir de données réelles non labélisées.
La présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.

Claims (13)

  1. Procédé mis en œuvre par ordinateur pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle, le procédé comprenant au moins des étapes de :
    -définir des paramètres pour au moins un scénario d’approche d’un aéronef vers une piste d’atterrissage ;
    -utiliser les paramètres dudit au moins un scénario dans un simulateur de vol pour générer des données de vol simulées, ledit simulateur de vol étant configuré pour simuler ledit aéronef en phase d’approche de ladite piste d’atterrissage et simuler un pilote automatique associé;
    -utiliser les données de vol simulées pour générer une pluralité d’images de vérité-terrain, lesdites images de vérité-terrain correspondant à différentes conditions de visibilité ; et
    -générer à partir de chaque image de vérité-terrain une pluralité d’images capteur simulées.
  2. Le procédé selon la revendication 1 dans lequel l’étape de générer des images capteur simulées consiste à mettre en œuvre sur un réseau de neurones antagonistes génératifs conditionnels, un algorithme de traduction d’image à image, ledit algorithme de traduction d’image à image permettant de traduire une image de vérité-terrain en une image capteur simulée.
  3. Le procédé selon la revendication 1 ou 2 lequel dans lequel l’étape de générer des images capteur simulées consiste à générer des images infra-rouge simulées.
  4. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de générer une pluralité d’images de vérité-terrain comprend les étapes de :
    -générer une image de vérité-terrain de premier niveau où ne figure sur l’image qu’un nombre restreint d’éléments d’intérêt, chaque élément d’intérêt étant représenté respectivement par un type d’information uniforme, lesdits éléments d’intérêt comprenant au moins la piste d’atterrissage représentée par un premier type d’information uniforme et la rampe lumineuse d’approche représentée par un second type d’information uniforme ; et
    -générer à partir de l’image de vérité-terrain de premier niveau, différentes images de vérité-terrain masquées correspondant à des conditions de visibilité différentes.
  5. Le procédé selon l’une quelconque des revendications précédentes dans lequel chaque image de vérité-terrain masquée contient au moins quatre classes ou couleur, chaque classe étant respectivement associée à un label.
  6. Le procédé selon la revendication 5 dans lesquelles au moins quatre classes sont la piste d’atterrissage, la rampe d’approche, les données visibles et les données invisibles.
  7. Le procédé selon la revendication 5 ou 6 dans lequel l’étape de générer des images capteur simulées consiste à traduire un label dans une image de vérité-terrain en une texture pour une image capteur simulée.
  8. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de définir au moins un scénario d’approche consiste à définir  des paramètres relatifs à au moins une piste d’atterrissage donnée, à des conditions météorologiques et des conditions d’environnement.
  9. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de générer des données de vol simulées consiste à simuler différentes trajectoires d’approche de l’aéronef simulé et du pilote automatique avec les paramètres de scénario, et à générer des données de vol simulées pour les différentes trajectoires comprenant la position (latitude, longitude, altitude) et l’attitude (lacet, tangage, roulis) de l’aéronef simulé.
  10. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus une étape consistant à stocker la pluralité d’images capteur simulées dans une base de données synthétiques d’apprentissage.
  11. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus des étapes consistant à utiliser les images capteurs simulées comme données d’apprentissage pour entrainer une machine d’intelligence artificielle pour l’aide à l’atterrissage d’aéronef.
  12. Un dispositif pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle, le dispositif comprenant des moyens pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications précédentes.
  13. Programme d'ordinateur comportant des instructions de code pour l'exécution des étapes du procédé pour générer des données synthétiques d’apprentissage pour une machine d’intelligence artificielle, selon l’une quelconque des revendications 1 à 11, lorsque ledit programme est exécuté par un processeur.
FR1912488A 2019-11-07 2019-11-07 Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef Active FR3103048B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1912488A FR3103048B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
US17/027,629 US11651302B2 (en) 2019-11-07 2020-09-21 Method and device for generating synthetic training data for an artificial-intelligence machine for assisting with landing an aircraft

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1912488 2019-11-07
FR1912488A FR3103048B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef

Publications (2)

Publication Number Publication Date
FR3103048A1 true FR3103048A1 (fr) 2021-05-14
FR3103048B1 FR3103048B1 (fr) 2021-10-22

Family

ID=70154468

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1912488A Active FR3103048B1 (fr) 2019-11-07 2019-11-07 Procede et dispositif de generation de donnees synthetiques d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef

Country Status (2)

Country Link
US (1) US11651302B2 (fr)
FR (1) FR3103048B1 (fr)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403813B2 (en) 2019-11-26 2022-08-02 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11270523B2 (en) * 2017-11-29 2022-03-08 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US10916053B1 (en) * 2019-11-26 2021-02-09 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11030801B2 (en) 2019-05-17 2021-06-08 Standard Cyborg, Inc. Three-dimensional modeling toolkit
US12056820B2 (en) 2019-05-17 2024-08-06 Sdc U.S. Smilepay Spv Three-dimensional modeling toolkit
US11694089B1 (en) * 2020-02-04 2023-07-04 Rockwell Collins, Inc. Deep-learned photorealistic geo-specific image generator with enhanced spatial coherence
US11347968B2 (en) * 2020-02-25 2022-05-31 Ford Global Technologies, Llc Image enhancement for realism
US20220189145A1 (en) * 2020-12-14 2022-06-16 The Boeing Company Unpaired image-to-image translation using a generative adversarial network (gan)
JP7453136B2 (ja) * 2020-12-25 2024-03-19 株式会社日立製作所 異常検出装置、異常検出方法及び異常検出システム
US11592791B1 (en) * 2021-09-14 2023-02-28 Beta Air, Llc Systems and methods for flight control system using simulator data
US11427305B1 (en) 2021-09-16 2022-08-30 Beta Air, Llc Methods and systems for flight control for managing actuators for an electric aircraft
US20230127840A1 (en) * 2021-10-27 2023-04-27 Dell Products L.P. Autonomous workload homing in a multi-tenant environment
EP4365790A1 (fr) * 2022-11-03 2024-05-08 The Boeing Company Génération de données de performance de vol synthétique
CN116168221B (zh) * 2023-04-25 2023-07-25 中国人民解放军火箭军工程大学 基于Transformer的跨模态图像匹配定位方法及装置

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
J.-Y. ZHU ET AL.: "Unpaired image-to-image translation using cycle-consistent adversarial networks", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION (ICCV, 2017
JOSEPHINE MERTENS: "Freie Universität Berlin Generating Data to Train a Deep Neural Network End-To-End within a Simulated Environment", 10 October 2018 (2018-10-10), XP055697870, Retrieved from the Internet <URL:https://www.mi.fu-berlin.de/inf/groups/ag-ki/Theses/Completed-theses/Master_Diploma-theses/2018/Mertens/MA-Mertens.pdf> [retrieved on 20200525] *
KORN ET AL: "Autonomous Sensor-based Landing Systems: Fusion of Vague and Incomplete Information by Application of Fuzzy Clustering Techniques", 1 January 2006 (2006-01-01), XP009520588, ISSN: 1431-8814, ISBN: 978-3-540-70981-7, Retrieved from the Internet <URL:http://link.springer.com/10.1007/3-540-31314-1_55> [retrieved on 20200525] *
LI XUEJIAN ET AL: "Research on improving the authenticity of simulated infrared image using adversarial networks", SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING. PROCEEDINGS, S P I E - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, US, vol. 11179, 14 August 2019 (2019-08-14), pages 1117902 - 1117902, XP060125266, ISSN: 0277-786X, ISBN: 978-1-5106-3377-3, DOI: 10.1117/12.2539602 *
LIU CHANGJIANG ET AL: "Runway Extraction in Low Visibility Conditions Based on Sensor Fusion Method", IEEE SENSORS JOURNAL, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 14, no. 6, 1 June 2014 (2014-06-01), pages 1980 - 1987, XP011545937, ISSN: 1530-437X, [retrieved on 20140417], DOI: 10.1109/JSEN.2014.2306911 *
OLEG VYGOLOV ET AL: "Enhanced, Synthetic and Combined Vision Technologies for Civil Aviation", 31 October 2014, COMPUTER VISION IN CONTROL SYSTEMS-2,, PAGE(S) 201 - 230, XP009191658 *
PARK, T. ET AL.: "Semantic Image Synthesis with Spatially-adaptive Normalization", CVPR, 2019
PATRICIA MAY VERVERS: "Design and Flight Test of a Primary Flight Display Combined Vision System", vol. 2011-01-2525, 18 October 2011 (2011-10-18), pages 1 - 13, XP008162878, ISSN: 0148-7191, Retrieved from the Internet <URL:http://papers.sae.org/2011-01-2525/> [retrieved on 20200525], DOI: 10.4271/2011-01-2525 *
SA\'UL ALONSO-MONSALVE ET AL: "Image-based model parameter optimization using Model-Assisted Generative Adversarial Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 30 November 2018 (2018-11-30), XP081618781, DOI: 10.1109/TNNLS.2020.2969327 *
SERGEY I NIKOLENKO: "Synthetic Data for Deep Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 25 September 2019 (2019-09-25), XP081483153 *
TIAN YONGLIN ET AL: "Training and testing object detectors with virtual images", IEEE/CAA JOURNAL OF AUTOMATICA SINICA, IEEE, vol. 5, no. 2, 1 March 2018 (2018-03-01), pages 539 - 546, XP011676953, ISSN: 2329-9266, [retrieved on 20180207], DOI: 10.1109/JAS.2017.7510841 *

Also Published As

Publication number Publication date
US20210141986A1 (en) 2021-05-13
FR3103048B1 (fr) 2021-10-22
US11651302B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
FR3103048A1 (fr) Procede et dispositif de generation de donnees synthetiques d&#39;apprentissage pour machine d&#39;intelligence artificielle pour l&#39;aide a l&#39;atterrissage d&#39;aeronef
US11227191B2 (en) Conditional loss function modification in a neural network
Geiger et al. Vision meets robotics: The kitti dataset
US11373064B2 (en) Cross-modality automatic target recognition
US10691133B1 (en) Adaptive and interchangeable neural networks
US11366434B2 (en) Adaptive and interchangeable neural networks
US20220044072A1 (en) Systems and methods for aligning vectors to an image
FR3103047A1 (fr) Procede et dispositif d&#39;apprentissage par reseau de neurones artificiels pour l&#39;aide a l&#39;atterrissage d&#39;aeronef
EP2517152B1 (fr) Procede de classification d&#39;objets dans un systeme de veille par imagerie
Bagwari et al. A comprehensive review on segmentation techniques for satellite images
Kim et al. Data-to-data translation-based nowcasting of specific sea fog using geostationary weather satellite observation
Babu et al. ABF de-hazing algorithm based on deep learning CNN for single I-Haze detection
Talaat et al. Enhanced aerial vehicle system techniques for detection and tracking in fog, sandstorm, and snow conditions
Baraldi et al. Probability sampling protocol for thematic and spatial quality assessment of classification maps generated from spaceborne/airborne very high resolution images
Baraldi et al. Quality assessment of preclassification maps generated from spaceborne/airborne multispectral images by the Satellite Image Automatic Mapper and Atmospheric/Topographic Correction-spectral classification software products: Part 1—theory
WO2021089536A1 (fr) Procede et dispositif de generation de donnees d&#39;apprentissage pour machine d&#39;intelligence artificielle pour l&#39;aide a l&#39;atterrissage d&#39;aeronef
CN116206257A (zh) 一种基于多尺度特征解耦的机场飞行区目标实时检测方法
Jian et al. Transfer-learning-based cloud detection for Zhuhai-1 satellite hyperspectral imagery
Wang General deep learning segmentation process used in remote sensing images
Lopez-Lopez et al. SAR image observations of the A-68 iceberg drift
Levin et al. Improving situational awareness in aviation: Robust vision-based detection of hazardous objects
Ahmadibeni Aerial Vehicles Automated Target Recognition of Synthetic SAR Imagery Using Hybrid Stacked Denoising Autoencoders
RU2779281C1 (ru) Способ обработки изображений обученными нейронными сетями
Lange Translation of remote sensing images for the classification of unlabeled SAR data using Deep Convolutional Generative Adversarial Networks
Guo Automated scene understanding from aerial imagery

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210514

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5