FR3058233A1 - Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe - Google Patents

Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe Download PDF

Info

Publication number
FR3058233A1
FR3058233A1 FR1601574A FR1601574A FR3058233A1 FR 3058233 A1 FR3058233 A1 FR 3058233A1 FR 1601574 A FR1601574 A FR 1601574A FR 1601574 A FR1601574 A FR 1601574A FR 3058233 A1 FR3058233 A1 FR 3058233A1
Authority
FR
France
Prior art keywords
image
images
transition zone
border
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1601574A
Other languages
English (en)
Other versions
FR3058233B1 (fr
Inventor
Baptiste PERRIN
Thierry Ganille
Johanna LUX
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1601574A priority Critical patent/FR3058233B1/fr
Priority to US15/786,473 priority patent/US10008179B2/en
Priority to CN201711058669.6A priority patent/CN108024070B/zh
Publication of FR3058233A1 publication Critical patent/FR3058233A1/fr
Application granted granted Critical
Publication of FR3058233B1 publication Critical patent/FR3058233B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Le domaine général de l'invention est celui des procédés de représentation graphique dans un système de visualisation de bord pour aéronef d'une image (EVS) issue d'un capteur d'image en superposition sur une image synthétique (SVS) du paysage extérieur. Le procédé selon l'invention comporte les étapes suivantes : - Analyse, à une fréquence temporelle, des images captées de façon à déterminer, dans chaque image, une frontière (F) entre l'information utile au pilotage et l'information inutile, l'information utile étant constituée d'éléments remarquables, ladite fréquence temporelle étant inférieure d'un ordre de grandeur à la fréquence de rafraîchissement vidéo ; - Détermination d'une zone de transition (T) au voisinage de chaque frontière ; - Affichage sur l'écran de visualisation, à la fréquence de rafraîchissement vidéo, des images captées, chaque image captée étant affichée en superposition sur une image synthétique du paysage, l'image captée étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continument variable dans la zone de transition.

Description

(54) PROCEDE DE SUPERPOSITION D'UNE IMAGE ISSUE D'UN CAPTEUR SUR UNE IMAGE SYNTHETIQUE PAR LA DETECTION AUTOMATIQUE DE LA LIMITE DE VISIBILITE ET SYSTEME DE VISUALISION ASSOCIE.
(© Le domaine général de l'invention est celui des procèdes de représentation graphique dans un système de visualisation de bord pour aéronef d'une image (EVS) issue d'un capteur d'image en superposition sur une image synthétique (SVS) du paysage extérieur. Le procédé selon l'invention comporte les étapes suivantes:
- Analyse, à une fréquence temporelle, des images captées de façon à déterminer, dans chaque image, une frontière (F) entre l'information utile au pilotage et l'information inutile, l'information utile étant constituée d'éléments remarquables, ladite fréquence temporelle étant inférieure d'un ordre de grandeur à la fréquence de rafraîchissement vidéo ;
- Détermination d'une zone de transition (T) au voisinage de chaque frontière;
- Affichage sur l'écran de visualisation, à la fréquence de rafraîchissement vidéo, des images captées, chaque image captée étant affichée en superposition sur une image synthétique du paysage, l'image captée étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable dans la zone de transition.
Procédé de superposition d’une image issue d’un capteur sur une image synthétique par ia détection automatique de la limite de visibilité et système de visualisation associé
Le domaine général de l’invention est celui des interfaces hommemachine de pilotage pour aéronef et, plus précisément, celui des systèmes de visualisation combinant image synthétique du paysage extérieur et image réelle donnée par un capteur.
Les systèmes d’imagerie synthétique sont connus sous l’appellation « SVS », acronyme signifiant « Synthetic Vision System ». Les systèmes d’imagerie réelle sont connus sous l’appellation « EVS », acronyme signifiant « Enhanced Vision System ». Les capteurs utilisés sont, par exemple, des capteurs infrarouges, des radars à ondes millimétriques ou encore des capteurs à bas niveau de lumière.
La combinaison des deux systèmes est appelée « CVS », signifiant « Combined Vision System ». L’imagerie « CVS » peut être affichée sur un écran en « tête basse » ou un dispositif de visualisation « tête haute », porté ou non par l’utilisateur.
L’imagerie SVS améliore considérablement la conscience de la situation de l’équipage en affichant une image de la scène extérieure indépendante des conditions météorologiques. Mais les imprécisions de la localisation par satellite et/ou le manque d’intégrité des bases de données ne permettent pas à ce système d’être suffisant pour l’utiliser lors d’un vol à basse altitude ou d’un atterrissage. Son utilisation est donc pertinente pour afficher du terrain relativement éloigné de l’aéronef.
Un système de vision améliorée EVS est un moyen électronique pour fournir une image de la scène extérieure améliorée par rapport à la vision naturelle grâce à l'utilisation d’un capteur d'imagerie. Le pilote a donc des informations en temps réel de l’extérieur. L’EVS augmente la visibilité de nuit et par mauvais temps mais, dans ce dernier cas, son efficacité est limitée et variable en fonctions des types de brouillards et des types de capteurs utilisés. Son utilisation est donc pertinente surtout lorsque l’on est relativement proche du terrain.
L’objectif de l’imagerie CVS est de tirer le meilleur parti des deux systèmes précédents en les combinant. Les fonctions attendues du CVS sont basées sur celles de l’EVS et du SVS pris individuellement avec une plus-value apportée par une combinaison pertinente. Ces fonctions s’articulent autour de deux axes :
- Améliorer la conscience de la situation de l’équipage vis-à-vis du terrain, des obstacles et d’éléments culturels pertinents, pouvant inclure les villes, les routes, les rivières, les hélipads, les pistes, l’environnement de l’aéroport, ...offrant ainsi la capacité à poursuivre un vol dit « VFR » par visibilité réduite de nuit ou par mauvais temps ;
- Suppléer les références visuelles requises en « IFR » offrant ainsi la capacité à l’aéronef de descendre sous les minima autorisés dans le cas d’approches dites « ILS CAT I » ou « LPV » sur aérodrome ou dans le cas d’approches sur hélistation de type « Point in Space », ou encore dans le cas d’approches off-shore.
Une première solution consiste à superposer la totalité de l’image EVS sur l’image SVS, masquant ainsi une partie utile du SVS, éventuellement avec un recalage de l’image SVS sur l’image EVS par identification d’un élément remarquable comme une piste d’atterrissage. Cette représentation limite nécessairement les cas d’utilisation. Elle est illustrée en figure 1. Sur cette figure, l’image SVS est représentée en filaire et l’image EVS en zones pointillées. La symbologie S est représentée par des figures géométriques simples. Cette solution basique consistant à afficher la totalité de l’image EVS sans transparence sur l’image SVS à champ plus large n’est pas très satisfaisante car l’image EVS masque l’information utile de l’image SVS pour toutes les parties représentant du terrain éloigné pour lequel le capteur ne perce pas.
Une seconde méthode possible consiste à proposer une transition entre l’image EVS et l’image SVS. Le problème à résoudre est alors de trouver une solution permettant de superposer et de passer d’une image à l’autre en maximisant la valeur ajoutée de chaque système. En effet, au-delà d’une certaine distance entre le terrain et l’aéronef, dépendante des conditions météo mais aussi de la réglementation aérienne applicable au vol, l’image SVS doit alors être prédominante puisque la visibilité du capteur EVS ne permet pas d’afficher une image exploitable à l’équipage de l’aéronef. A l’inverse, en-dessous d’une certaine distance du terrain, l’image EVS doit être prédominante car l’image SVS peut être une source d’erreurs dues à l’imprécision de la localisation de l’appareil et des bases de données.
Il existe différents critères et différentes formes de transition possibles. Une première solution consiste à n’afficher l’image EVS qu’endessous de l’horizon et de n’afficher l’image SVS qu’au-dessus. Une variante à cette solution est décrite dans la demande de brevet Honeywell US20120026190. Le rendu de l'image «EVS» sur l’image «SVS» est réalisé avec une première couleur et une première transparence au-dessus de l'horizon et une seconde couleur et une seconde transparence endessous de l'horizon. Cette solution du tout ou rien ne tire pas toujours le meilleur parti du potentiel des deux images.
Cette solution est moins brutale que la superposition totale de l’image EVS sur l’image SVS. Elle a cependant ses limites. Par mauvaise visibilité due au ou brouillard ou à la neige, par exemple, le capteur ne perce pas jusqu’à l’horizon. De l'information utile du SVS peut ainsi être masquée par absence de transparence. Cette solution peut également apporter de la confusion sur les parties proches du terrain car l’imprécision de la localisation et/ou des données issues des bases de données peut conduire à un affichage double avec décalage de la position de certains éléments du terrain ou d’obstacles ou de pistes d’atterrissage.
Un second type de solution de transition est basé sur l’analyse des images elles-mêmes. Une première variante consiste à détecter les zones ayant un contraste supérieur à un seuil donné dans l’image EVS et de ne superposer que ces zones à contraste élevé sur l’image SVS. La demande de brevet US2010283782 décrit une fusion d’images associant des couleurs ou des textures différentes selon le type de données SVS et EVS. La demande de brevet US2011227944 décrit une fusion d'images SVS et EVS après filtrage par seuil d'intensité ou de fréquence de l'image EVS, les deux images pouvant être distinguées par des formats et couleurs différents. Le brevet US7605719 décrit une solution voisine. Remplacer les zones inutiles de l’image du capteur par de l’imagerie SVS peut rendre l’affichage CVS confus. En effet, les différentes zones remplacées ne sont pas connexes, l’image EVS présente alors des « trous ». On ne peut plus distinguer ce qui est issu de l’image du senseur ou ce qui est issu de l’image synthétique, ce qui peut rendre difficile l’interprétation de l’image résultante par le pilote.
Un autre type de solution consiste à analyser le contenu «sémantique» de l’image. Ainsi, la demande de brevet US2008180351 décrit un procédé d’amélioration de l’image EVS autour d’un point d’intérêt connu par la base de données SVS. La demande de brevet US2012035789 reprend ce principe pour l’appliquer spécifiquement aux rampes d’approches. La demande de brevet US2010113149 décrit l'affichage dans une image SVS de portions d'images d'un ou plusieurs capteurs représentant un élément remarquable tel qu’une piste d’atterrissage ou un obstacle fixe ou mobile. Le brevet US7605719 décrit la détection des zones utiles et non utiles de l’image issue du senseur et le remplacement des zones non-utiles par du terrain synthétique, sans donner plus de détails.
L’amélioration locale de l’image EVS ou détourage autour d’un point d’intérêt connu de la base de données ne fonctionne que s’il y a effectivement un point d’intérêt survolé et stocké en base de données, typiquement une piste d’atterrissage. Cette solution n’est pas toujours satisfaisante, par exemple, lors de vols à basse altitude, typiques d’une mission en hélicoptère où l’hélicoptère vole constamment proche du sol sans pour autant survoler fréquemment des points d’intérêt stockés dans une base de données.
Une autre solution consiste à déterminer par différents moyens une distance de visibilité et à calculer, en fonction de cette distance, la frontière séparant les deux images SVS et EVS. Ainsi, le brevet FR2996670 revendique le masquage partiel d'une image SVS par le calcul de l'intersection d'une sphère centrée sur l'avion ou d'un plan perpendiculaire à l'axe avion avec le terrain, en fonction d'une distance de visibilité calculée automatiquement ou renseignée par l'opérateur. Le brevet FR2996671 décrit le masquage partiel d'une image SVS autour de la piste d'atterrissage et dans une zone, plus large, à l'avant de la piste dont la longueur dépend de la procédure d’approche dite « DH/A », acronyme signifiant « Décision Height/Altitude ». Dans ces deux brevets, la zone masquée sert à afficher l’image capteur.
Ce type de solution introduit une rupture brutale entre l’image EVS et l’image SVS qui n’est pas nécessairement appréciée par les pilotes car la limite de portée du capteur par mauvaise visibilité n’est pas franche et constante. De plus, cette solution nécessite la connaissance de la valeur de la distance de visibilité et ne peut être modifiée simplement, par exemple, si la distance de visibilité change au cours du temps.
Enfin, on peut également séparer l’image issue du senseur en trois zones distinctes rectangulaires. Une première zone, en bas de l’image est totalement ou presque opaque, la zone en haut de l’image est totalement ou presque transparente, et la zone de transition comporte un dégradé d’opacité linéaire vertical. L’inconvénient de cette solution est que la frontière entre les zones utiles et non utiles n’est pas déterminée. Ainsi, cette solution n’est pas optimale lorsque la visibilité de l’image du capteur ne correspond pas à la répartition des zones. Dans certains cas, de l’information utile issue du SVS est masquée par une partie de l’image du capteur qui se révèle non exploitable. Enfin, cette solution à base de zones rectangulaires convient moins bien lors d’un vol proche d’un relief escarpé car, dans ce cas, la limite de visibilité n’est plus une ligne droite.
La solution selon l’invention repose sur l’idée de privilégier le bas de l’image capteur correspondant au terrain proche à surveiller tout en laissant une plus grande place à l’image SVS pour le terrain lointain en partie haute de l’image pour améliorer la conscience de la situation. On superpose l’image EVS sur l’image SVS avec une opacité variable entre les différentes parties détectées au préalable, délimitées par une frontière calculée. Le bas de l’image est très ou complètement opaque et le haut de l’image est très ou complètement transparent avec une transition d’opacité d’une certaine largeur prédéterminée entre les parties basse et haute. Plus précisément, l’invention a pour objet un procédé de représentation graphique dans un système de visualisation de bord pour aéronef d’une première image issue d’un capteur d’image du paysage extérieur en superposition sur une seconde image représentant une image synthétique du même paysage extérieur, les deux images étant affichées sur un écran de visualisation du système de visualisation, caractérisé en ce que le procédé comporte les étapes suivantes :
- Analyse, à une fréquence temporelle, d’une première série de premières images issues du capteur d’image de façon à déterminer, à l’intérieur de chaque image, une frontière entre l’information utile au pilotage et l’information inutile au pilotage, l’information utile étant constituée de portions de terrain ou d’obstacles ou d’éléments d’intérêt remarquables, ladite fréquence temporelle étant inférieure d’un ordre de grandeur à la fréquence de rafraîchissement vidéo des images affichées sur l’écran de visualisation, ces premières images étant notées images analysées ;
- Détermination d’une zone de transition au voisinage de chaque frontière d’une largeur déterminée ;
- Affichage sur l’écran de visualisation, à la fréquence de rafraîchissement vidéo, d’une seconde série de premières images entre deux images analysées successives, chaque première image étant affichée en superposition sur une seconde image représentant une image synthétique du même paysage extérieur, la première image étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable entre l’opacité et la transparence totale dans la zone de transition.
Avantageusement, entre deux premières images affichées successivement à la fréquence de rafraîchissement vidéo, la position et l’inclinaison de la frontière correspondant auxdites images sont asservies à l’attitude de l’aéronef en tangage, roulis et lacet et aux variations de rotation du capteur d’images.
Avantageusement, la transition entre deux frontières calculées successivement à la fréquence temporelle est réalisée au moyen d’une morphose.
Avantageusement, la zone de transition est soit centrée sur la frontière, soit située en dessous de celle-ci, soit située au dessus de celle-ci.
Avantageusement, les premières images issues du capteur d’image et les secondes images synthétiques sont dans des gammes de couleur différentes.
L’invention concerne également un système de visualisation de bord pour aéronef comportant au moyen un capteur d’image du paysage extérieur, une base de données cartographiques, un calculateur graphique agencé de façon à générer une image synthétique du même paysage extérieur, un écran de visualisation affichant une première image issue du capteur d’image en superposition sur une seconde image représentant l’image synthétique, caractérisé en ce que le système de visualisation comporte :
- Des moyens d’analyse d’image, à une fréquence temporelle, d’une première série de premières images issues du capteur d’image de façon à déterminer, à l’intérieur de chaque image, une frontière entre l’information utile au pilotage et l’information inutile au pilotage, l’information utile étant constituée de portions de terrain ou d’obstacles ou d’éléments d’intérêt remarquables, ladite fréquence temporelle étant inférieure d’un ordre de grandeur à la fréquence de rafraîchissement vidéo des images affichées sur l’écran de visualisation, ces premières images étant notées images analysées ;
- Des premiers moyens de calcul d’une zone de transition au voisinage de chaque frontière d’une largeur déterminée ;
le calculateur graphique affichant, à la fréquence de rafraîchissement vidéo, une seconde série de premières images entre deux images analysées successives, chaque première image étant affichée en superposition sur une seconde image représentant une image synthétique du même paysage extérieur, la première image étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable entre l’opacité et la transparence totale dans la zone de transition.
Avantageusement, entre deux premières images affichées successivement à la fréquence de rafraîchissement vidéo, la position et l’inclinaison de la frontière correspondant auxdites images sont asservies à l’attitude de l’aéronef en tangage, roulis et lacet et aux variations de rotation du capteur d’images.
Avantageusement, la transition entre deux frontières calculées successivement à la fréquence temporelle est réalisée au moyen d’une morphoàe.
Avantageusement, le capteur d’images est une caméra infrarouge ou un dispositif à intensificateur de lumière ou un capteur d’ondes millimétriques.
Avantageusement, l’écran de visualisation est un écran de la planche de bord ou un écran de dispositif de visualisation en tête haute fixe ou un écran de dispositif de visualisation en tête haute porté ou un écran de dispositif de projection sur pare-brise.
L’invention sera mieux comprise et d’autres avantages apparaîtront à la lecture de la description qui va suivre donnée à titre non limitatif et grâce aux figures annexées parmi lesquelles :
La figure 1 représente une image EVS en superposition sur une image SVS selon l’art antérieur ;
La figure 2 représente une frontière selon l’invention dans une image issue d’un capteur ;
Les figures 3, 4 et 5 représentent les différentes positions de la zone de transition au voisinage de la frontière ;
La figure 6 représente une image EVS en superposition sur une image SVS selon l’invention ;
La figure 7 illustre les mouvements de la frontière en fonction de l’attitude de l’aéronef.
Le procédé selon l’invention est mis en oeuvre dans un système de visualisation comportant les moyens nécessaires à l’affichage d’une image synthétique du paysage extérieur, d’une image réelle du paysage extérieur, des moyens de traitement d’image permettant d’analyser l’image réelle et des moyens de traitement graphique permettant d’assurer la superposition de l’image réelle sur l’image synthétique.
Les moyens nécessaires à l’affichage d’une image synthétique comprennent une base de données cartographiques du terrain survolé, des capteurs permettant de géolocaliser l’appareil et son attitude dans l’espace, des moyens de calcul graphique permettant de générer une image synthétique tridimensionnelle correspondant au terrain survolé et un dispositif de visualisation. On sait que dans les aéronefs modernes, ces dispositifs de visualisation peuvent prendre diverses formes. Il peut s’agir d’écrans de visualisation de planche de bord, d’écrans de projections transparents, de dispositifs de visualisation Tête Haute fixes ou portés par l’utilisateur.
Les moyens nécessaires à la capture d’une image réelle sont essentiellement un capteur d’image. Ce capteur d’images peut être une caméra infrarouge ou un dispositif à intensificateur de lumière ou un capteur d’ondes millimétriques.
Dans le procédé selon l’invention, les moyens de traitement d’image permettent d’analyser l’image réelle de façon à déterminer, à l’intérieur de chaque image, une frontière entre l’information utile au pilotage et l’information inutile au pilotage, l’information utile étant constituée de portions de terrain ou d’obstacles ou d’éléments d’intérêt remarquables. Les zones de l’image dénuées d’informations sont, par exemple, le ciel ou des zones du terrain recouvertes par la brume. Cela revient à détecter la limite de visibilité de l’image issue du capteur.
Cette étape du procédé est représentée sur la figure 2. Sur cette figure, les zones de terrain sont représentées en surfaces pointillées et le ciel en blanc. Après traitement, la frontière déterminée est la ligne concave représentée en trait gras. La forme de cette frontière n’est donnée qu’à titre indicatif. Il est cependant préférable que la frontière est une forme simple.
Les fréquences de rafraîchissement vidéo ne permettent pas de faire cette analyse d’images en temps réel. Dans le procédé selon l’invention, cette analyse est faite à une fréquence inférieure à la fréquence vidéo. A titre d’exemple, cette fréquence est d’un ordre de grandeur inférieure à la fréquence vidéo.
Une fois cette frontière calculée, on détermine une zone de transition au voisinage de cette frontière. Cette zone de transition a une largeur qui, à titre d’exemple, peut être égale à 10% de la largeur de l’image. Comme on le voit sur les figures 3, 4 et 5, cette zone de transition peut être soit centrée sur la frontière, soit située en dessous de celle-ci, soit située au dessus de celle-ci.
Dans l’étape suivante du procédé, on affiche l’image réelle en superposition sur l’image synthétique de la façon suivante. L’image réelle est opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable entre l’opacité et la transparence totale dans la zone de transition. Si le nombre de valeurs de transparence possible est limité, on peut introduire un algorithme conventionnel dit de détramage ou de « dithering » pour obtenir des transitions invisibles à l’œil entre chaque niveau de transparence. La figure 6 représente une image EVS en superposition sur une image SVS selon l’invention. Sur cette figure, le pourtour de la partie opaque est représenté en traits continus et le pourtour de la partie transparente en traits pointillés. Sur cette figure, on constate que le paysage synthétique à l’arrière-plan symbolisé par une ligne de crêtes est réapparu.
Comme il a été dit, la frontière est calculée à une fréquence plus faible que la fréquence de rafraîchissement vidéo. Entre un premier calcul de frontière et le calcul suivant, la même frontière calculée est utilisée pour l’affichage d’un certain nombre d’images vidéo. Il est intéressant de faire évoluer de façon simple cette frontière avec les mouvements de l’avion de façon qu’entre deux images calculées, elle continue d’épouser au mieux les zones utiles de l’image. Ainsi, entre deux images affichées successivement à la fréquence de rafraîchissement vidéo, la position et l’inclinaison de la frontière correspondant aux images sont asservies à l’attitude de l’aéronef en tangage, roulis et lacet. La figure 7 illustre cette évolution. La frontière a été calculée à l’instant t, pour une première position de l’aéronef A. A l’instant t + At, le roulis de l’aéronef a augmenté d’un angle a, pour que la frontière continus d’épouser le paysage, celle-ci bascule d’un angle -a. Sur cette figure, pour des raisons de clarté, les angles de roulis sont notablement exagérés entre deux images successives.
Dans le cas d’un capteur d’image mobile, l’asservissement de la frontière au lacet est différent. En effet, comme on extrapole la courbe aux extrémités, il se peut que la frontière diverge. Ainsi, avec une caméra mobile, on n’extrapole pas la frontière mais on peut la prolonger par une droite parallèle à l’horizon.
De la même façon, il est préférable que le passage d’une image calculée à l’image calculée suivante se fasse avec une transition douce. A cette fin, il est possible d’utiliser un algorithme de morphose aussi connu sous la dénomination de « morphing » pour passer d’une frontière calculée à la suivante.
Pour bien distinguer ce qui relève de chaque image et si les afficheurs sont des afficheurs couleur, les images issues du capteur d’image et les images synthétiques peuvent être dans des gammes de couleur différentes.

Claims (10)

  1. REVENDICATIONS
    1. Procédé de représentation graphique dans un système de visualisation de bord pour aéronef d’une première image (EVS) issue d’un capteur d’image du paysage extérieur en superposition sur une seconde image (SVS) représentant une image synthétique du même paysage extérieur, les deux images étant affichées sur un écran de visualisation du système de visualisation, caractérisé en ce que le procédé comporte les étapes suivantes :
    - Analyse, à une fréquence temporelle, d’une première série de premières images issues du capteur d’image de façon à déterminer, à l’intérieur de chaque image, une frontière (F) entre l’information utile au pilotage et l’information inutile au pilotage, l’information utile étant constituée de portions de terrain ou d’obstacles ou d’éléments d’intérêt remarquables, ladite fréquence temporelle étant inférieure d’un ordre de grandeur à la fréquence de rafraîchissement vidéo des images affichées sur l’écran de visualisation, ces premières images étant notées images analysées ;
    - Détermination d’une zone de transition (T) au voisinage de chaque frontière d’une largeur déterminée ;
    - Affichage sur l’écran de visualisation, à la fréquence de rafraîchissement vidéo, d’une seconde série de premières images entre deux images analysées successives, chaque première image étant affichée en superposition sur une seconde image représentant une image synthétique du même paysage extérieur, la première image étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable entre l’opacité et la transparence totale dans la zone de transition.
  2. 2. Procédé de représentation graphique selon la revendication 1, caractérisé en ce que, entre deux premières images affichées successivement à la fréquence de rafraîchissement vidéo, la position et l’inclinaison de la frontière correspondant auxdites images sont asservies à l’attitude de l’aéronef en tangage, roulis et lacet et aux variations de rotation du capteur d’images.
  3. 3. Procédé de représentation graphique selon l’une des revendications précédentes, caractérisé en ce que la transition entre deux frontières calculées successivement à la fréquence temporelle est réalisée au moyen d’une morphose.
  4. 4. Procédé de représentation graphique selon l’une des revendications précédentes, caractérisé en ce que la zone de transition est soit centrée sur la frontière, soit située en dessous de celle-ci, soit située au dessus de celle-ci.
  5. 5. Procédé de représentation graphique selon l’une des revendications précédentes, caractérisé en ce que les premières images issue du capteur d’image et les secondes images synthétiques sont dans des gammes de couleur différentes.
  6. 6. Système de visualisation de bord pour aéronef comportant au moyen un capteur d’image du paysage extérieur, une base de données cartographiques, un calculateur graphique agencé de façon à générer une image synthétique du même paysage extérieur, un écran de visualisation affichant une première image issue du capteur d’image en superposition sur une seconde image représentant l’image synthétique, caractérisé en ce que le système de visualisation comporte :
    - Des moyens d’analyse d’image, à une fréquence temporelle, d’une première série de premières images issues du capteur d’image de façon à déterminer, à l’intérieur de chaque image, une frontière entre l’information utile au pilotage et l’information inutile au pilotage, l’information utile étant constituée de portions de terrain ou d’obstacles ou d’éléments d’intérêt remarquables, ladite fréquence temporelle étant inférieure d’un ordre de grandeur à la fréquence de rafraîchissement vidéo des images affichées sur l’écran de visualisation, ces premières images étant notées images analysées ;
    - Des premiers moyens de calcul d’une zone de transition au voisinage de chaque frontière d’une largeur déterminée ;
    le calculateur graphique affichant, à la fréquence de rafraîchissement vidéo, une seconde série de premières images entre deux images analysées successives, chaque première image étant affichée en superposition sur une seconde image représentant une image synthétique du même paysage extérieur, la première image étant opaque sous la zone de transition, totalement transparente au-dessus de la zone de transition et de transparence continûment variable entre l’opacité et la transparence totale dans la zone de transition.
  7. 7. Système de visualisation de bord pour aéronef selon la revendication 6, caractérisé en ce que, entre deux premières images affichées successivement à la fréquence de rafraîchissement vidéo, la position et l’inclinaison de la frontière correspondant auxdites images sont asservies à l’attitude de l’aéronef en tangage, roulis et lacet et aux variations de rotation du capteur d’images.
  8. 8. Système de visualisation de bord pour aéronef selon l’une des revendications 6 ou 7, caractérisée en ce que la transition entre deux frontières calculées successivement à la fréquence temporelle est réalisée au moyen d’une morphose.
  9. 9. Système de visualisation de bord pour aéronef selon l’une des revendications 6 à 8, caractérisée en ce que le capteur d’images est une caméra infrarouge ou un dispositif à intensificateur de lumière ou un capteur d’ondes millimétriques.
  10. 10. Système de visualisation de bord pour aéronef selon l’une des revendications 6 à 9, caractérisée en ce que l’écran de visualisation est un écran de la planche de bord ou un écran de dispositif de visualisation tête haute fixe ou un écran de dispositif de visualisation tête haute porté ou un écran de dispositif de projection sur pare-brise.
    1/3
    SVS
    J
FR1601574A 2016-11-03 2016-11-03 Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe Active FR3058233B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1601574A FR3058233B1 (fr) 2016-11-03 2016-11-03 Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe
US15/786,473 US10008179B2 (en) 2016-11-03 2017-10-17 Method for overlaying an image arising from a sensor on a synthetic image by automatic detection of the limit of visibility and associated viewing system
CN201711058669.6A CN108024070B (zh) 2016-11-03 2017-11-01 在合成图像上覆盖传感器图像的方法及相关显示系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1601574A FR3058233B1 (fr) 2016-11-03 2016-11-03 Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe
FR1601574 2016-11-03

Publications (2)

Publication Number Publication Date
FR3058233A1 true FR3058233A1 (fr) 2018-05-04
FR3058233B1 FR3058233B1 (fr) 2018-11-16

Family

ID=58455081

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1601574A Active FR3058233B1 (fr) 2016-11-03 2016-11-03 Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe

Country Status (3)

Country Link
US (1) US10008179B2 (fr)
CN (1) CN108024070B (fr)
FR (1) FR3058233B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3575746A1 (fr) * 2018-05-30 2019-12-04 Airbus Opérations SAS Dispositif et procédé d'insensibilisation à des pannes d'un système d'affichage
WO2021089539A1 (fr) * 2019-11-07 2021-05-14 Thales Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
WO2021089536A1 (fr) 2019-11-07 2021-05-14 Thales Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547710A (zh) * 2018-10-10 2019-03-29 中国航空工业集团公司洛阳电光设备研究所 一种增强视景和合成视景融合实现方法
US10891921B2 (en) * 2019-01-04 2021-01-12 Byton Limited Separate operating systems for dashboard display
CN113132788B (zh) * 2021-04-21 2023-01-13 华风气象传媒集团有限责任公司 一种控制气象图形场景的播放方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267422A1 (en) * 2013-03-12 2014-09-18 Honeywell International Inc. Aircraft flight deck displays and systems and methods for enhanced display of obstacles in a combined vision display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2733061B1 (fr) * 1995-04-13 1997-05-23 Sextant Avionique Dispositif optoelectronique d'aide au pilotage d'un aeronef par mauvaise visibilite
US7982767B2 (en) * 2003-11-11 2011-07-19 Supersonic Aerospace International, Llc System and method for mounting sensors and cleaning sensor apertures for out-the-window displays
US10168179B2 (en) 2007-01-26 2019-01-01 Honeywell International Inc. Vehicle display system and method with enhanced vision system and synthetic vision system image display
US7605719B1 (en) 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US9146132B2 (en) 2008-09-29 2015-09-29 Honeywell International Inc. Systems and methods for displaying images of terrain data
US8493412B2 (en) 2008-10-31 2013-07-23 Honeywell Internatioal Inc. Methods and systems for displaying sensor-based images of an external environment
US9105115B2 (en) 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
US9494447B2 (en) * 2010-07-28 2016-11-15 Honeywell International Inc. Methods and systems for attitude differentiation in enhanced vision images
US8914166B2 (en) 2010-08-03 2014-12-16 Honeywell International Inc. Enhanced flight vision system for enhancing approach runway signatures
US8493241B2 (en) * 2010-11-30 2013-07-23 Honeywell International Inc. Systems, methods and computer readable media for displaying multiple overlaid images to a pilot of an aircraft during flight
FR2996671B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour un aeronef en approche d'une piste d'atterrissage et procede de visualisation associe
FR2996670B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef, et procede de visualisation associe
US20140285661A1 (en) * 2013-03-22 2014-09-25 Honeywell International Inc Methods and systems for colorizing an enhanced image during alert
US9243910B1 (en) * 2013-08-27 2016-01-26 Rockwell Collins, Inc. Route image generating system, device, and method
US9584791B1 (en) * 2013-08-29 2017-02-28 Rockwell Collins, Inc. Image misalignment correcting system, device, and method
CN105292504B (zh) * 2015-11-30 2018-04-03 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种大型客机驾驶舱多屏幕显示控制系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267422A1 (en) * 2013-03-12 2014-09-18 Honeywell International Inc. Aircraft flight deck displays and systems and methods for enhanced display of obstacles in a combined vision display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLEG VYGOLOV ET AL: "Enhanced, Synthetic and Combined Vision Technologies for Civil Aviation", 31 October 2014, COMPUTER VISION IN CONTROL SYSTE,, PAGE(S) 201 - 230, XP009191658 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3575746A1 (fr) * 2018-05-30 2019-12-04 Airbus Opérations SAS Dispositif et procédé d'insensibilisation à des pannes d'un système d'affichage
FR3081838A1 (fr) * 2018-05-30 2019-12-06 Airbus Operations Dispositif et procede d’insensibilisation a des pannes d’un systeme d’affichage.
US11448520B2 (en) 2018-05-30 2022-09-20 Airbus Operations S.A.S. Device and method for desensitizing a display system to faults
WO2021089539A1 (fr) * 2019-11-07 2021-05-14 Thales Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
WO2021089536A1 (fr) 2019-11-07 2021-05-14 Thales Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
FR3103050A1 (fr) * 2019-11-07 2021-05-14 Thales Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
FR3103049A1 (fr) 2019-11-07 2021-05-14 Thales Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef

Also Published As

Publication number Publication date
FR3058233B1 (fr) 2018-11-16
US20180122331A1 (en) 2018-05-03
CN108024070B (zh) 2021-06-15
CN108024070A (zh) 2018-05-11
US10008179B2 (en) 2018-06-26

Similar Documents

Publication Publication Date Title
FR3058233A1 (fr) Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe
EP1460384B1 (fr) procédé et dispositif pour construire une image de synthèse de l'environnement d'un aéronef et la présenter sur un écran dudit aéronef
EP1991834B1 (fr) Procede et dispositif d ajustement automatique d une image d un ecran de navigation d aeronef
EP3226062B1 (fr) Procede de representation synthetique d elements d'interet dans un systeme de visualisation pour aeronef
FR2959052A1 (fr) Dispositif d'assistance embarque au suivi d'une route aeroportuaire par un aeronef
EP0928952A1 (fr) Procédé et dispositif d'anti-collision terrain pour aéronef
EP3187828B1 (fr) Procede de representation graphique de la position relative du ciel et de la terre dans un systeme de visualisation de bord pour aeronef
FR3062720A1 (fr) Systeme et procede d'aide a l'atterrissage d'un aeronef, et aeronef correspondant
FR2787907A1 (fr) Systeme d'aide a l'evitement de collisions d'aeronefs avec avec le terrain
EP3185216A1 (fr) Procede de representation graphique d'une image issue d'un capteur d'image en superposition sur une seconde image synthetique du paysage exterieur
FR3093583A1 (fr) Procede et systeme de peception 3d augmentee d'environnement lie au sol autour d'un aeronef et d'anticipation des menaces potencielles d'environnement
WO2021089539A1 (fr) Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
EP1570433B1 (fr) Dispositif de traitement d'images a reconnaissance et selection de sources de lumiere
FR2981779A1 (fr) Systeme embarque d'aide a la circulation d'un aeronef sur les voies d'aeroport
FR2987151A1 (fr) Systeme d'aide au sauvetage par helicoptere
EP3179291A1 (fr) Procede d'affichage d'un " indicateur de directeur d'attitude " dans un systeme de visualisation de tete pour aeronef
FR3036529A1 (fr) Procede pour afficher une image d'une scene exterieure a un aeronef dans un contexte de realite augmentee
FR3110985A1 (fr) Interface homme-machine d’un aéronef en phase de décollage ou d’atterrissage
WO2021089536A1 (fr) Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
EP3018450B1 (fr) Procede de representation d'une image cartographique dans un systeme de visualisation geolocalise prenant en compte la precision de geolocalisation
US20220309786A1 (en) Method for training a supervised artificial intelligence intended to identify a predetermined object in the environment of an aircraft
FR3073316A1 (fr) Procede et dispositif electronique de filtrage d'informations de trafic dans un domaine aeroportuaire, programme d'ordinateur associe
Koopman et al. Real-time aerodrome detection using deep learning methods
EP3184966A1 (fr) Procede de representation graphique tridimensionnelle d'un axe de piste d'atterrissage
EP3640891A1 (fr) Analyse rapide d'images

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180504

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8