DISPOSITIF DE CORRECTION ELECTRONIQUE DES DISTORSIONS OPTIQUES D'UNE VISUALISATION COLLIMATEE OBTENUE A PARTIR
D'UN AFFICHEUR MATRICIEL
Le domaine de l'invention est celui des systèmes de présentation d'images collimatées, et plus précisément celui des viseurs dits Tête Haute ou des visuels de casque utilisés sur aéronefs.
D'une façon générale, comme il est indiqué de façon schématique sur la figure 1 , un système de visualisation collimatée comprend un afficheur D et une optique O de collimation et de superposition permettant de présenter à un utilisateur U l'image V fournie par l'afficheur sous la forme d'une image aérienne A collimatée à l'infini et en superposition sur le paysage extérieur, cette image provenant de sources d'images non représentées sur la figure. Ces systèmes sont particulièrement utilisés sur aéronefs. Il en existe deux principaux types, d'une part les systèmes dits Tête Haute montés sur la planche de bord dans le champ de vision du pilote ; d'autre part les systèmes de visualisation de casque montés sur le casque du pilote, les composants optiques utilisés pour la superposition des images se trouvant placés alors devant l'œil du pilote.
Ces dispositifs sont fondamentaux pour l'aide au pilotage et à la navigation.
L'image superposée doit être d'excellente qualité optique pour éviter toute erreur de pilotage et ne pas entraîner de fatigue oculaire importante. Une des principales difficultés techniques pour obtenir une image de bonne qualité est la correction de la distorsion géométrique introduite d'une part par l'optique de collimation et de superposition et d'autre part, et dans une plus faible mesure, par la verrière transparente du cockpit de l'aéronef dans le cas d'une utilisation en viseur Tête Haute ou de la visière du casque dans le cas d'une utilisation en visuel de casque. Il est démontré, que compte-tenu des contraintes géométriques imposées par l'utilisation du système dans un cockpit ou sur un casque, la distorsion géométrique est importante et ne peut être corrigée simplement par des moyens optiques classiques. On appelle F la fonction de distorsion qui, à un point M(x, y) de l'image bidimensionnelle présentée par l'afficheur fait correspondre un point
M'(α,β), α,β représentant les coordonnées angulaires du point M', image de M à travers l'optique collimatée. On a les relations : α = K.Fα (x,y) et β = K.Fβ (x,y) K étant une constante de grandissement angulaire. La partie supérieure de la figure 2 représente à gauche l'image initiale V0 fournie par l'afficheur et à droite l'image finale A0 déformée par la fonction de distorsion F de l'optique vue à travers l'optique collimatée. Pour obtenir une image non déformée, la méthode classiquement employée consiste à faire subir à l'image de l'afficheur une distorsion inverse de celle de l'optique, cette fonction de distorsion étant notée F"1 comme il est indiqué sur la partie gauche de la figure 2 qui représente en haut l'image initiale non déformée V0 et en bas l'image V ayant subie la déformation inverse F"1. Lorsque cette image V déformée est collimatée, on obtient une image A sans distorsion comme il est indiqué dans le quadrant inférieur droit de la figure 2. En effet, on a, en écriture symbolique :
A = F(V) d'où A = F. F'1 (V0) et finalement A = V0 Cette méthode est particulièrement bien adaptée dans le cas où l'image fournie par l'afficheur est continue, c'est-à-dire que les points composant l'image ne sont pas différentiés. C'est le cas notamment des afficheurs à tubes à rayons cathodiques. Quelque soit la fonction de distorsion appliquée, il existe toujours un point de l'écran du tube correspondant. La fonction de distorsion est réalisée en modifiant les paramètres de réglage des systèmes de déflexion horizontaux et verticaux des rayons cathodiques. Cependant, les tubes à rayons cathodiques présentent un certain nombre d'inconvénients comme l'encombrement, une électronique complexe à mettre en oeuvre nécessitant notamment des hautes tensions de fonctionnement ainsi qu'une faible durée de vie. Actuellement, ils sont progressivement remplacés par des afficheurs plats de type matriciel qui ne présentent pas les inconvénients précédents. Plusieurs technologies de réalisation existent pour ce type d'afficheurs comme, par exemple, les matrices à cristaux liquides. L'emploi de ce type d'afficheurs est déjà généralisé aux visualisation de planches de bord dits Tête Basse.
Les afficheurs matriciels sont mal adaptés à la correction de la distorsion telle qu'elle a été décrite. Un afficheur matriciel comprend de façon
classique PUιV pixels organisés en matrice de R lignes et de S colonnes ; u, v étant des nombres entiers variant respectivement de 1 à R, et de 1 à S.
Soit une image électronique Ej provenant d'une source d'images comprenant Piι jι k pixels organisés en matrice de Mj lignes et de Nj colonnes ; j, k étant des nombres entiers variant respectivement de 1 à Mj, et de 1 à Ni, à chaque pixel est associé une valeur photométrique , j, ; pour afficher Ej selon la méthode connue de correction de la distorsion, il faut appliquer aux pixels P , k la fonction F"1. Bien entendu, l'application de cette fonction F"1 au pixel Pjj,k ne saurait correspondre, dans le cas général, exactement à un pixel Pu,v de l'afficheur. Il faudra alors nécessairement faire correspondre le résultat de calcul au pixel de l'afficheur le plus proche.
Cette méthode présente trois inconvénients :
• Elle ne garantit pas que tous les pixels de l'afficheur seront adressés, ce qui donne des zones aveugles dans l'image de l'afficheur. Ce cas est particulièrement sensible lorsque les images
Ej contiennent une quantité de pixels inférieure ou voisine de celle de l'afficheur.
• Elle ne garantit pas que le même nombre de pixels Pjj,k seront associés à chaque pixel de l'afficheur. Ce cas est particulièrement sensible lorsque les images Ej contiennent une quantité de pixels supérieure à celle de l'afficheur. On peut ainsi aboutir à des variations artificielles de la luminance des pixels de l'afficheur.
• Elle nécessite le calcul de la fontion F"1 qui n'est pas nécessairement simple à effectuer. Elle peut donc entraîner la création d'artefacts visuels difficilement supportables par l'observateur.
Pour pallier ces différents inconvénients, le dispositif selon l'invention construit l'image de l'afficheur en suivant le processus inverse, c'est-à-dire en associant à chaque pixel Pu,v toujours le même nombre de pixels Pjj.k de chaque image électronique Eι, les adresses des pixels Py.k étant obtenu à partir du calcul de F(PU,V)- La valeur photométrique Lu,v du pixel PU)v est obtenue à partir des valeurs photométriques L .k des Pg.k .
Cette méthode supprime, par son principe même, les inconvénients précédents.
Plus précisément, l'invention a pour objet un dispositif de correction électronique des aberrations de distorsion géométriques d'une optique de collimation et de superposition faisant partie d'un ensemble de visualisation comprenant : « un dispositif de génération d'au moins une image-source électronique Ej, i nombre entier variant entre 1 et L ;
• une électronique réalisant le mélange et la correction des images Ej et la génération d'une image visuelle sur un afficheur, ladite image étant organisée en matrice de R lignes et de S colonnes de pixels PUιV d'adresses (u,v) ; u, v étant des nombres entiers variant respectivement de 1 à R, et de 1 à S ; à chacun desdits pixels étant associé une valeur photométrique LUιV , cette valeur étant fonction des valeurs photométriques Lj>UlV issues de chacune des images électroniques ; • ladite optique de collimation assurant la collimation de ladite image visuelle pour former une image aérienne destinée à être perçue par un utilisateur, chaque pixel de l'image ayant une image aérienne Pα,β , (α, β) étant les coordonnées angulaires des points de l'image aérienne tels que α est égal à K.Fu(u,v) et β est égal à K.Fv(u,v) ; K étant une constante de grandissement angulaire et
Fu(u,v), Fv(u,v) étant les représentations de la fonction bidimensionnelle F de distorsion du système optique ; caractérisé en ce que l'électronique comporte un système de correction de la distorsion comprenant une unité de mémoire électronique permettant de stocker les images électroniques Ej, une unité de calcul d'adresse et une unité d'interpolation et de mélange tel que,
• L'unité de mémoire électronique organise chaque image en matrice de M lignes et de N colonnes de pixels Pjj.k auxquels correspondent des adresses électroniques (i,j,k) ; j, k étant des nombres entiers variant respectivement de 1 à Mj, et de 1 à Nj ; à chaque pixel Pj ιk étant associé une valeur photométrique Ljj,k ;
• l'unité de calcul d'adresses associe à chaque adresse (u,v) les adresses (i,j,k) des pixels Pjj.k stockés dans la mémoire électronique, lesdites adresses voisines des points calculés (i, jr, kr), jr, kr étant des nombres réels obtenus par le calcul de Kj'.Fu(u,v)
et de Kj'.Fv(uN) ; Kj' étant une constante de normalisation associée à chaque image électronique Ej telle que, pour tout i, jr est inférieur à Mj et kr est inférieur à Nj. • l'unité d'interpolation calcule la valeur photométrique Lj,u,v , contribution de chaque image électronique à la valeur LUιV à partir des valeurs photométriques Lj.k desdits pixels d'adresses (i,j,k) fournies par l'unité de calcul d'adresses.
Dans un mode préféré, pour chaque image Ej , les pixels utilisés par l'unité d'interpolation pour le calcul de la valeur photométrique LJ,UFV sont au moins les quatre pixels d'adresses référencées (i, je, ke) , (i, je +1 , ke), (i, je, ke+1 ) et (i, je+1 , ke+1 ) avec ( je, parties entières des nombres (jr, kr), LjιU,v étant une fonction d'au moins les quatre valeurs Ljje,ke . Ljje+ι,ke , e. ke+i et U, je+1, ke+1- Il est possible pour réaliser le calcul de la valeur photométrique de prendre en compte d'autres pixels que le carré de pixels entourant le point calculé. Dans ce cas, leur contribution à la valeur photométrique LjιU,v est alors pondéré en fonction de leur éloignement au point d'adresse (i, jr, kr). Cependant, le gain apporté reste marginal au prix d'une augmentation sensible du nombre de calculs nécessaires.
Il existe différentes méthodes possibles pour obtenir la valeur photométrique Lj,UιV . La méthode la plus simple, nécessitant le minimum de calculs est que la valeur photométrique LjιU,v soit proportionnelle à la somme des produits Lj e.ke-CI +je-jr)-(1 +ke-kr) ; Li,je+l,ke+1.0r-je).(kr-ke) ; Lj,je+ι,ke.(jr- je).(1 +ke-kr) et Li>je ke+1-(1 +je-jr)-(k ke).
Les constantes de normalisation Kj' sont calculées de telle sorte que tous les pixels de l'afficheur aient des correspondants dans chaque image électronique. Avantageusement, il est intéressant de pouvoir faire varier ces constantes entre une valeur minimale et leur valeur maximale. On obtient alors un effet de zoom électronique, une partie des images électroniques initiales étant seulement représentées agrandies sur toute la surface de l'afficheur.
Avantageusement, la correction électronique peut être implémentée dans un composant électronique comportant des matrices de portes logiques (ET ou OU). Ces composants peuvent être de type non programmables comme, par exemple, les ASIC (Application Spécifie Integrated Circuit) ou programmables comme, par exemple, les FPGA (Field
Programmable Gâte Array) ou EPLD (Erasable Programmable Logic Device). Ces composants électroniques sont largement utilisés en électronique professionnelle et en particulier pour les applications aéronautiques. Classiquement, la fonction de distorsion optique est approximée par un polynôme de degré n en (u,v), dans ce cas, le système de correction de la distorsion est obtenu par l'utilisation d'analyseurs différentiels digitaux (DDA pour Digital Differential Analysers).
Classiquement, les systèmes de visualisation collimatés utilisés sur aéronefs sont monochromes pour des raisons :
• de simplicité de réalisation du système (utilisation de tubes cathodiques monochromes et de composants d iff ractifs à haut rendement hautement sélectifs en longueur d'onde),
• d'absence d'images-sources polychromes (les images provenant de systèmes à intensificateur de lumière ou de caméras thermiques sont monochromes)
• d'ergonomie. Ces images sont présentées en superposition sur le paysage extérieur. Il est souvent intéressant, dans ce cas, pour améliorer la lisibilité des informations de symbologie présentées, d'utiliser une seule couleur.
Cependant, l'évolution des techniques et en particulier l'utilisation d'afficheurs matriciels selon l'invention permet l'utilisation et la présentation d'images colorées qui, en utilisation de nuit notamment peuvent présenter des avantages ergonomiques certains. Le dispositif est également adapté à la correction de distorsion d'images colorées. Dans ce cas, l'afficheur étant polychromatique constitué de pixels de couleur, chaque pixel étant composé d'un triplet de trois sous-pixels colorés, correspondant chacun à une couleur primaire et les images sources électroniques étant également polychromes constituées chacune de pixels de couleur, chaque pixel étant également composé d'un triplet de trois sous-pixels colorés, correspondant chacun à une couleur primaire ; les calculs effectués par l'unité de calcul d'adresse et l'unité d'interpolation afin de déterminer les valeurs photométriques de chaque pixel coloré de l'afficheur sont réalisées respectivement pour chaque type de sous-pixel de l'afficheur et pour chaque type de sous-pixel des images-sources de même couleur.
L'invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description qui va suivre donnée à titre non limitatif et grâce aux figures annexées parmi lesquelles : • La figure 1 représente une vue générale d'un dispositif de visualisation présentant des images collimatées dans le cas particulier d'un viseur Tête Haute.
• La figure 2 représente le principe de correction de distorsion suivant l'art connu. « La figure 3 représente le principe de correction selon l'invention.
• La figure 4 représente le principe de détermination des pixels des images électroniques retenus pour déterminer la valeur de luminance des pixels de l'afficheur. Les images Ej parvenant à un système de visualisation collimatée peuvent avoir plusieurs origines. Elles peuvent provenir :
• De systèmes de caméra vidéo montés sur l'aéronef lui-même, ces systèmes travaillant dans le visible ou l'infra-rouge ou ces systèmes étant à intensificateur de lumière ; • De générateurs d'images de synthèse provenant notamment de générateurs d'images cartographiques ou de générateurs de symbologie. Quelque soit leur origine, il est toujours possible de stocker ces images dans une mémoire électronique matricielle UMS telle que, chaque image est organisée en matrice de Mj lignes et de Nj colonnes de pixels Pjj>k auxquels correspondent des adresses électroniques (i,j,k) ; j, k étant des nombres entiers variant respectivement de 1 à Mj, et de 1 à Nj ; à chaque pixel Pjj,k étant associé une valeur photométrique Ljιjιk .
Soit un système de collimation présentant une fonction de distorsion F, cette fonction est une fonction à deux variables telle qu'à deux paramètres géométriques (x,y) est associé deux autres paramètres géométriques (u,v) tels que u = Fu(x,y) et v = Fv(x,y). Pour que l'image aérienne présentée au pilote soit sans distorsions, il est nécessaire que l'on applique à l'image électronique d'origine la correction inverse de distorsion F"1 avant de la transmettre à l'afficheur. Réciproquement, l'image
électronique est donc obtenue à partir de l'image de l'afficheur en lui appliquant ladite fonction F. On a ainsi la relation symbolique suivante :
Electroniquement, si l'image de l'afficheur est organisée en matrice de R lignes et de S colonnes de pixels Pu v d'adresses (u,v) ; u, v étant des nombres entiers variant respectivement de 1 à R, et de 1 à S, alors pour déterminer les pixels Pjj. des images électroniques, il suffit que l'unité électronique comporte une unité de calcul d'adresses UCA telle que ladite unité associe à chaque adresse (u,v) les adresses (i,j,k) des pixels Pjj,k stockés dans la mémoire électronique, lesdites adresses étant voisines des points calculés (i, jr, kr), jr, kr étant des nombres réels obtenus par le calcul de
Kj'.Fu(u,v) et de Kj'.Fv(uN) ; Kj' étant une constante de normalisation associée à chaque image électronique Ej telle que, pour tout i, jr est inférieur à Mj et kr est inférieur à Nj. Les constantes Kj' peuvent être obtenus par plusieurs méthodes.
On peut, à titre d'exemple, effectuer le calcul de Fu(u,v) et de Fv(u,v) pour un nombre limité de pixels appartenant au contour de l'image de l'afficheur. On détermine ainsi pour ces points les adresses maximales possibles. Il suffit alors de calculer les constantes Kj' de telle sorte que ces adresses maximales soient bien inférieures à (Mj, Nj). Il est possible, dans un mode particulier de l'invention, de donner à ces constantes des valeurs inférieures afin d'obtenir sur l'image de l'afficheur des effets de zoom.
Les fonctions de distorsion géométriques introduites par l'optique sont des fonctions d'origine physique. Elles sont en général continues et dérivables. On peut donc avec une bonne précision approximer la fonction F par une fonction polynominale de degré n. On a alors :
Fu(u,v) = Fu(uo,v0) + δFu(u0,Vo)/δu .u0 + δFu(u0,v0)/δv .v0 + ... + δnFu(u0lv0)/δvn .v0 n avec (uo.vo) adresse d'origine et δnFu(uo,vo)/δvn dérivée partielle de degré n de la fonction Fu par rapport à v autour de l'adresse (uo.Vo). et Fv(u,v) = Fv(uoNo) + δFv(u0,vo)/δu .u0 + δFv(u0,v0)/δv .v0 + ... + δnFv(u0,vo)/δvn .Vo" avec (uo,v0) adresse d'origine et δnFv(Uo,Vo)/δvn dérivée partielle de degré n de la fonction Fv par rapport à v autour de l'adresse (uo,v0).
Il existe deux cas de figures possibles :
• Si la fonction F est une fonction mathématique connue et dérivable, alors le calcul des dérivées partielles est immédiat.
• Si la fonction F n'a pas d'équation mathématique connue, ce qui, en pratique, est le cas le plus souvent rencontré, alors la détermination des dérivées partielles est obtenue de la façon suivante :
• On crée une matrice de points (u,v) correspondant chacun à un point (x,y) après passage par la fonction F. Ces points peuvent être soit simulés à partir de logiciels de calcul optique, soit mesurés sur le viseur lui-même en générant sur l'afficheur une grille de points.
• On obtient alors les coefficients des polynômes par inversion matricielle. Plusieurs méthodes sont possibles. Il est possible d'utiliser par exemple la méthode de Choleski qui permet de minimiser l'erreur sur l'ensemble des valeurs de la matrice. Cette méthode est couramment utilisée dans le domaine cartographique.
L'utilisation d'une fonction polynominale à la place de la fonction vraie permet de simplifier considérablement l'implantation des calculs effectués par l'unité de calculs d'adresses. Ce calcul est alors réalisé par un ensemble électronique constitué principalement d'un double DDA (Digital Differential Analyser) qui réalise l'approximation polynominale pour chacune des deux coordonnées u et v. Chaque DDA est constitué d'un certain nombre d'additionneurs/accumulateurs cascades prenant chacun en charge le calcul de chaque terme du polynôme. Les valeurs d'initialisation et les incréments nécessaires sont fournis par un microprocesseur annexe. Il est à noter que ces valeurs peuvent être facilement modifiées, par exemple pour obtenir une harmonisation parfaite du viseur sur aéronefs. On peut ainsi facilement prendre en compte les distorsions dues à une verrière spécifique ou à un positionnement du viseur différent, dans le cas par exemple d'aéronefs biplaces utilisant le même viseur à deux endroits différents du cockpit.
La fréquence de calcul de ces DDA est calquée sur celle du balayage de l'image de l'afficheur, les calculs devant être effectués en temps réel de façon à ne créer aucun retard entre l'image collimatée et l'image du paysage effectivement perçue qui peut se modifier très rapidement en fonction des évolutions de l'aéronef.
Afin d'éviter des artefacts visuels parasites, il est intéressant de choisir les tailles des unités de mémoire électronique de stockage différentes de celle de l'afficheur. C'est-à-dire que chaque couple (Mj.Nj) doit être significativement différent du couple (R,S). L'adresse (i, jr, kr) correspondant à l'adresse (u,v) du pixel Pu?v étant connue, l'unité d'interpolation UIM et de mélange calcule les valeurs photométriques Lj,u,v Pour réaliser ce calcul, on utilise les valeurs photométriques Ljj,k des pixels dont l'adresse est la plus proche de l'adresse (i, jr, kr) calculée. Chacune de ces valeurs étant pondérée par un coefficient de pondération dépendant essentiellement de la distance de l'adresse du pixel à l'adresse calculée. Dans le cas le plus simple et le plus général, on utilise quatre pixels groupés en carré tels que leurs adresses respectives soient : (i, je, ke) , (i, je+1 , e), (i, je, ke+1 ) et (i, je+1 , ke+1 ) avec ( je, ke) parties entières des nombres (jr, kr). Dans ce cas, le calcul de la valeur photométrique L|ιUιV peut être obtenu simplement. A titre d'exemple, il est possible d'utiliser la fonction suivante :
L|,u.v
+ Li,je+ι,ke-0rje).(1 +ke- kr) + je ke+1 -(1 +je-jr).(kr-ke)] Avec λj facteur de normalisation dépendant de chaque image Ej.
La valeur photométrique globale LjιUιV de chaque point de l'afficheur est égale à la contribution de chacune des valeurs photométriques LiιUιV . On écrit de façon générale :
En modulant les différents facteur de normalisation λj , il est ainsi possible de moduler les contributions de chaque image électronique à l'image finale. On peut ainsi ne faire apparaître qu'une seule image ou mélanger plusieurs images pour faire apparaître notamment des informations de symbologie sur une image réelle ou de cartographie synthétique.
Cette unité d'interpolation et de mélange ainsi que l'unité de calcul d'adresse peuvent être implémentés dans des composants électroniques comportant des matrices de portes logiques (ET ou OU). Ces composants peuvent être de type non programmables comme, par exemple, les ASIC (Application Spécifie Integrated Circuit) ; dans ce cas, les informations sont gravées au moment de la réalisation du circuit. Ces composants peuvent également être programmables comme, par exemple, les FPGA (Field Programmable Gâte Array) ou EPLD (Erasable Programmable Logic Device). Ces composants sont couramment utilisés pour des applications d'électronique professionnelle ou embarquée sur aéronefs.
Les calculs précédents sont faits dans le cas d'un afficheur monochrome et de sources d'images également monochromes, ce qui recouvre la plus grande partie des applications actuelles. Cependant, l'invention s'applique également au cas d'afficheurs polychromes et de sources d'images polychromes. En effet, une image polychrome se décompose toujours en trois images monochromes de couleur différente. Il suffit alors de faire les calculs pour chaque image monochrome. Plus précisément, l'afficheur étant polychromatique constitué de pixels de couleur, chaque pixel étant composé d'un triplet de trois sous-pixels colorés, correspondant chacun à une couleur primaire et les images sources électroniques étant également polychromes constituées chacune de pixels de couleur, chaque pixel étant également composé d'un triplet de trois sous- pixels colorés, correspondant chacun à une couleur primaire ; les calculs effectués par l'unité de calcul d'adresse et l'unité d'interpolation afin de déterminer les valeurs photométriques de chaque pixel coloré de l'afficheur sont réalisées respectivement pour chaque type de sous-pixel de l'afficheur et pour chaque type de sous-pixel des images-sources de même couleur.