FR2900261A1 - Procede de traitement d'images d'un simulateur - Google Patents

Abstract

La présente invention a pour objet un procédé de traitement d'images d'un simulateur. L'invention a pour but de réaliser une simulation de tirs sans nécessité de mettre en oeuvre des cibles réelles ni d'utiliser de missiles réels. L'invention propose ainsi un algorithme permettant d'élaborer une image panoramique du paysage (P') en la prélevant dans une base d'images de terrain (19). Ce prélèvement dépend d'une position du simulateur dans le paysage réel. Cet algorithme prélève également des images virtuelles (110) dans une base d'images (118). L'image panoramique est fusionnée avec les images virtuelles obtenant ainsi une image fusionnée (111). L'algorithme permet d'élaborer une image à visualiser (116) de l'image fusionnée sur un moniteur (M) du simulateur, sous un azimut ( B1) de la caméra. Enfin, il superpose sur le moniteur, l'image à visualiser avec l'image vidéo numérisée, afin d'accroître le réalisme de l'affichage.

Description

Procédé de traitement d'images d'un simulateur

Domaine de l'Invention La présente invention a pour objet un procédé de traitement d'images d'un simulateur. La présente invention trouve une application particulièrement avantageuse, mais non exclusive, dans le domaine de la simulation pour l'entraînement et l'instruction aux tirs de missiles antichars sol/sol ou sol/air. Le procédé de l'invention peut être appliqué à tout dispositif où un opérateur vise et tire au travers d'une lunette ou d'un écran moniteur.

L'invention concerne également un simulateur comportant un tel procédé. Un but de l'invention est de réaliser une simulation de tirs sans nécessité de mettre en oeuvre des cibles réelles ni d'utiliser de missiles réels. Etat de la technique Actuellement, les simulateurs de tirs sont destinés à l'entraînement, à l'amélioration des tirs effectués par un tireur et au maintien de leur niveau. Ils sont utilisés pour réaliser des exercices de tirs dont les difficultés sont préalablement définies. Ces exercices sont réalisés dans des conditions proches de la réalité, basées sur une réalité virtuelle. Cette réalité virtuelle est simulée par un ordinateur fournissant une image synthétique dans laquelle l'ordinateur incruste des images virtuelles, représentant des cibles. La réalité virtuelle est ainsi une simulation par ordinateur d'un environnement virtuel tridimensionnel, qui est par exemple un champ de bataille. Les cibles sont fixes ou mobiles dans l'image synthétique. L'environnement virtuel exploite la puissance de l'ordinateur et présente des animations et des caractéristiques tridimensionnelles de la réalité. Le simulateur comporte un système audio permettant de reproduire une ambiance sonore intégrée à la réalité virtuelle et un enregistrement des dialogues opérationnels. Cependant de tels simulateurs de tirs basés sur la réalité virtuelle présentent des inconvénients. En effet, ces simulateurs à base de réalité virtuelle présentent un environnement visuel dont l'illusion tridimensionnelle est produite activement par la majeure partie du cerveau de l'utilisateur. Par exemple, cette réalité virtuelle est obtenue en fournissant une image différente à chaque oeil afin de créer le relief présent en vision naturelle.

De ce fait, les yeux n'accommodent pas de la même façon en environnement virtuel et dans le monde réel. En réalité virtuelle, les objets semblent plus près ou plus loin qu'ils ne le sont en réalité, entraînant une désorientation causée par une surcharge sensorielle, un déficit visuel temporaire sérieux et des symptômes potentiellement incapacitants ressemblant au mal des transports. Ainsi, un simulateur basé sur la réalité virtuelle ne peut pas excéder un certain temps de simulation pour l'utilisateur. Ceci entraîne des pertes de productivité et d'efficacité de l'entraînement. Pour aider à la résolution de ces inconvénients des simulateurs à base de réalité virtuelle, il existe dans l'état de la technique de nouveaux simulateurs à base de réalité augmentée. Cette réalité augmentée comporte une simulation par un ordinateur fournissant une image vidéo d'un paysage réel captée par une caméra dans laquelle sont incrustées des images virtuelles. Cette image vidéo est captée puis numérisée et sauvegardée avant son utilisation en simulation. En faisant varier le contraste de ces deux images, on arrive à les visualiser avec une qualité d'image proche de la réalité. Cependant, ces nouveaux simulateurs présentent eux aussi des inconvénients. En effet, le fait de pré-filmer puis d'enregistrer l'image vidéo entraîne des situations de simulations spécifiques, d'où une limitation à des situations prédéterminées. En outre, il faut d'importantes ressources en calcul et en mémoire pour obtenir un réalisme de bonne qualité. En outre, l'image vidéo pré-filmée est une image bidimensionnelle ne comportant aucune information de courbe de niveaux des différents éléments présents dans cette image. De ce fait, les images virtuelles sont déplacées dans cette image vidéo sans aucune considération de la réalité de la scène filmée. Ceci entraîne un déplacement visualisé irréaliste sur le viseur ou sur le moniteur, des images virtuelles dans l'image vidéo. Pour ces deux types de simulateurs, l'affichage de la réalité augmentée ou de la réalité virtuelle est réalisée par projection sur une surface de grande dimension, de type mur d'images ou grand écran. Cet affichage peut être effectué par un renvoi à l'infini ou sur un moniteur à travers un épiscope. L'opérateur en formation sur le simulateur observe alors ce mur ou ce moniteur au travers de l'objectif du simulateur. Ceci, ajouté à d'éventuels éléments de décor ou à des matériels spécifiques au simulateur constituent une infrastructure spécifique importante. Le simulateur est ainsi restreint à une utilisation en salle d'entraînement. Avec ces types de simulateurs, à cause de spécifications exigeantes, le coût et l'encombrement sont augmentés. L'utilisation de ces types de simulateurs n'est pas adéquate pour un entraînement ou un apprentissage dans des conditions réelles d'entraînement. Exposé de l'invention L'invention a justement pour but de remédier aux inconvénients des techniques exposées précédemment. Pour cela, l'invention propose un procédé de traitement d'images d'un simulateur permettant de fusionner une image réelle, qui est une image vidéo numérisée, à une image virtuelle, en temps réel. Le simulateur est apte à réaliser une simulation, dans un viseur du poste de tir du simulateur, et dans les conditions d'environnement réel d'un tir de missile vers des cibles virtuelles présentées sur des paysages réels présents devant le poste de tir. L'invention met en oeuvre une interface homme-simulateur réalisée par un moniteur positionné immédiatement devant le viseur du poste de tir. Ce moniteur permet d'occulter le paysage réel et présente au viseur une image animée élaborée par un système de prise de vue et par des moyens de réalité augmentée du simulateur. Dans une variante, le simulateur peut ne pas comporter de viseur. Dans ce cas, l'opérateur visualise l'image animée directement sur le moniteur. Le moniteur est réalisé de telle sorte qu'il est optimisé de façon à prendre en compte le champ couvert par le viseur du poste de tir et le grossissement de ce viseur. L'invention met également en oeuvre la reproduction des effets visuels propres aux tirs de missiles antichars ainsi que des effets sonores. Ces effets visuels sont incrustés dans l'image présentée sur le viseur. Ces effets visuels peuvent être l'occultation de l'image au départ du missile puis la visualisation du missile. Et lors de la fin de la simulation d'un tir, des effets visuels et sonores réalistes sont présentés tels qu'explosions, fumées, etc. L'invention met ainsi en oeuvre un procédé de traitement d'images permettant de simuler un tir sans nécessité de mettre en oeuvre des cibles réelles, ni d'utiliser de missiles réels.

Lors de la réalisation de l'invention, on a mis en outre en évidence que la différence de luminosité de l'image vidéo numérisée avec celle de l'image virtuelle entraîne des difficultés pour réaliser une fusion de ces deux images. En effet, lors du balayage de l'image vidéo dans laquelle est fusionnée l'image virtuelle, des ressources de calcul assez importantes sont nécessaires pour effectuer cette fusion, entraînant un temps d'exécution relativement important pour visualiser les deux images fusionnées. Ces deux images ayant des luminosités différentes entraînent une visualisation avec une perte de qualité pour l'image virtuelle. Pour résoudre ce problème, l'invention comporte des moyens pour déterminer une image tridimensionnelle de l'image vidéo. Cette image tridimensionnelle est obtenue à partir de la position (x, y, z) du système de prise de vue du simulateur. Cette image tridimensionnelle est fournie par une base de données géographique prédéfinies. L'invention comporte des moyens pour fusionner l'image tridimensionnelle avec l'image virtuelle, en même temps que l'acquisition de l'image vidéo est exécutée. L'invention comporte également des moyens pour superposer l'image vidéo à une visualisation de l'image fusionnée, afin de coloriser des éléments de l'image fusionnée, de recadrer des contours des éléments de l'image fusionnée, et de rajouter des éléments de l'image vidéo non présents dans l'image fusionnée. L'invention augmente ainsi le réalisme de la réalité augmentée. Grâce à la définition de l'affichage, le réalisme, des images virtuelles présentées et de leur évolution dans le paysage réel, est accru. De même, l'invention permet une légèreté et une portabilité du simulateur grâce à un affichage des images produites par le moniteur dans la ligne de visée du tireur et non par projection comme dans l'état de la technique. L'invention est également adaptable à tous viseurs directs et en particulier à tout type de postes de tir de missile antichars. Son caractère de simulation en temps réel prend en compte tous les éléments de l'environnement, la trajectoire des cibles, le mouvement du poste de tir, etc.

Le simulateur de l'invention permet également une rapidité de mise en oeuvre dans des situations géographiques ou opérationnelles non prédéterminées par l'utilisation de bases de données géographiques décrivant le terrain. L'invention peut être mise en oeuvre par des matériels standards, notamment : des plates-formes informatiques, des cartes électroniques, des cartes d'acquisition, cartes graphiques, une caméra numérique, un moniteur. L'avantage de cette standardisation du matériel est de rendre le système indépendant du matériel facilitant ainsi le portage ultérieur du système vers de nouveaux matériels sans limitations aux éléments disponibles au moment du développement du simulateur. Plus précisément, l'invention a pour objet un procédé de traitement d'images d'un simulateur, dans lequel a) - on capture une image vidéo (102) d'une scène (7) d'un paysage (P) réel, au moyen d'une caméra (6), b) - on numérise l'image vidéo en associant à chaque pixel (103) de l'image une valeur numérique comportant des informations de luminance et/ou de chrominance, caractérisé en ce qu'il comporte les étapes suivantes : c) - on élabore une image tridimensionnelle panoramique du paysage 15 (P') en la prélevant dans une base d'images de terrain (19), ce prélèvement dépendant d'une position du simulateur dans le paysage réel, d) - on élabore des images d'objets virtuels (110) dans une base d'images virtuelles (118), e) - on fusionne l'image tridimensionnelle panoramique du paysage 20 avec les images des objets virtuels, et on obtient une image fusionnée (111), f) - on élabore une image à visualiser (116) de l'image fusionnée sur un moniteur (M) du simulateur, sous un azimut ( B1) de la caméra, l'azimut étant un angle d'une direction de visée (D) de la caméra par rapport à une direction de référence, et 25 g) - on superpose sur le moniteur, l'image à visualiser avec l'image vidéo numérisée. Selon des modes de réalisation non limitatifs, le procédé selon l'invention comporte les caractéristiques supplémentaires suivantes : - l'étape d'élaboration de l'image tridimensionnelle panoramique du 30 paysage comporte les étapes suivantes : h) - on calcule la position de la caméra dans le paysage au moyen d'un récepteur de positionnement, i) - on transmet à la base d'images de terrain la position calculée de la caméra, cette base fournissant en sortie une image tridimensionnelle 35 panoramique du paysage autour de la position de la caméra. - l'étape de visualisation de l'image fusionnée comporte les étapes suivantes : j) - on simule un trajet de rayons lumineux entre une position de la caméra dans l'image tridimensionnelle panoramique du paysage et des objets segmentés de l'image fusionnée, k) - la direction de visée simulée de la caméra est déterminée en fonction de l'azimut de la caméra, I) - le contenu d'information de voxels situé à des points d'impact des rayons lumineux avec les objets segmentés de l'image fusionnée est traité par un traitement de visualisation, m) - l'image à visualiser comprend, à un endroit correspondant aux orientations des rayons lumineux, une information de luminance ou de chrominance correspondant à ce traitement. - l'étape de superposition comporte les étapes suivantes: n) - on transmet simultanément au moniteur l'image à visualiser et l'image vidéo numérisée, o) - on recadre des contours des objets de l'image à visualiser par rapport aux contours des objets de l'image vidéo numérisée ou vice versa. p) - on effectue le cadrage des contours des objets de l'image à visualiser manuellement. q) - on détecte un déplacement du simulateur, r) - on réitère les étapes a) à e), s) - on rafraîchit l'image à visualiser en tenant compte de ce déplacement. t) - on détecte un déplacement du simulateur, u) - on transmet à un projectile une information de déplacement du simulateur. v) - on associe à une séquence de simulation avec le simulateur des effets sonores et des effets visuels. w) - on enregistre les résultats de la simulation. L'invention concerne également un simulateur caractérisé en ce qu'il comporte un moyen de mettre en oeuvre ledit procédé de traitement d'images de l'invention. Brève description des dessins L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Celles-ci sont présentées à titre indicatif et nullement limitatif de l'invention. La figure 1 montre une représentation schématique d'un simulateur de tirs, selon l'invention.

La figure 2 montre une illustration de moyens mettant en oeuvre le procédé de l'invention. Les figures 3, 4 et 5 montrent sur le moniteur du simulateur les différents déplacements d'un objet virtuel sur l'image réelle vue par le tireur. Description détaillée de modes de réalisation de l'invention La figure 1 représente schématiquement un mode de réalisation d'un simulateur, selon l'invention. Le procédé de l'invention peut être appliqué à tout type de simulateur utilisant une réalité augmentée. Dans l'exemple de l'invention, le simulateur 1 est un simulateur de tir. Ce simulateur 1 comporte un dispositif de simulation 2. Ce dispositif de simulation est réalisé de telle sorte qu'il respecte l'ergonomie et les performances utilisées à l'identique d'un système d'arme réelle. Ce dispositif de simulation 2 est interopérable avec les chars, hélicoptères, armes légères et missiles. Dans un exemple préféré, le dispositif de simulation 2 est un missile antichar. Le dispositif de simulation 2 comporte un viseur 3 ou dispositif de visée, dans laquelle la réalité augmentée est visionnée par un opérateur. Ce viseur 3 peut avoir diverses formes. Il peut avoir une forme rectangulaire, par exemple 16/9 ou 4/3. Le viseur 3 a une forme en général circulaire. Il est disposé sur une face arrière du dispositif de simulation 2. Le viseur 3 est de préférence un dispositif optique de visée. Dans une variante, le viseur 3 peut être électronique. Dans ce cas, il comporte une caméra couplée avec un moniteur. Le viseur 3 comporte un point lumineux 3a sur son axe optique faisant fonction de réticule matérialisant l'impact du rayon sur la cible. Le simulateur 1 peut comporter un trépied 4 permettant de maintenir le dispositif de simulation 2 stable, lors de la simulation. Le trépied 4 comporte trois branches 4a, 4b et 4c, pliantes ou non, parfois télescopiques, c'est-à-dire dont les éléments peuvent coulisser les uns dans les autres, branche par branche. Le simulateur 1 peut aussi être utilisé à l'épaulé. Le dispositif de simulation 2 comporte une poignée de tir 5. La mise en marche de la poignée de tir 5, par pression ou par détente, actionne automatiquement la mise à feu du simulateur 1. Cette mise à feu est simulée par l'ouverture ou la fermeture d'interrupteurs, déclenchant automatiquement des effets visuels et sonores dans l'image visualisée sur le viseur. Le simulateur 1 comporte une caméra 6 montée sur le dispositif de simulation 2. Cette caméra 6 permet de capter une image d'une scène 7 d'un paysage P réel. La caméra reçoit un faisceau d'éclairement F suivant une direction d'émission D, en fonction de la focale dudit caméra. La direction d'émission D est l'axe de visée ou l'axe focal de la caméra 6. La direction d'émission D est orientable. Le faisceau d'éclairement F représente le champ de vision modifiable par la focale de la caméra 6.

Le faisceau d'éclairement F permet à la caméra 6 de capturer une image vidéo d'une scène 7 réelle d'un paysage P. Après avoir reçu le faisceau F qui traverse une partie de la scène 7 par rapport à la direction d'émission D de la caméra 6, la caméra transforme en des signaux électriques l'énergie de l'éclairement reçu. Ces signaux électriques sont ensuite transmis à une logique de commande 8 par l'intermédiaire d'un bus de communication externe 9. Ces signaux électriques permettent à cette logique de commande 8 de produire une image vidéo plane correspondant à la scène 7 du paysage P visualisée. La logique de commande 8 transforme cette image vidéo en une réalité augmentée.

Le simulateur 1 comporte un moniteur M par laquelle la réalité augmentée, de la scène 7 du paysage filmée, est visualisée. Le moniteur M transmet au viseur 3 du dispositif de simulation 2 cette réalité augmentée. Dans une variante, le dispositif de simulation peut ne pas comporter de viseur 3. Dans ce cas la réalité augmentée est visualisée directement sur le moniteur M. Dans une autre variante, la réalité augmentée peut être visualisée sur un casque de visualisation. De manière générale, la réalité augmentée de la scène 7 filmée du paysage P peut être visualisée sur tout dispositif de visualisation le permettant. Le simulateur 1 comporte une enceinte acoustique E qui renferme un ou plusieurs haut-parleurs, ainsi qu'un système d'amplification. Cette enceinte E permet la restitution du son et l'amélioration de la qualité acoustique. Cette enceinte E peut être intégrée à l'écran du moniteur M, ou au clavier 14, ou au dispositif de simulation 2. Cette enceinte E peut être située à l'extérieur du simulateur 1.

Dans un exemple, la logique de commande 8 comporte un microprocesseur 10, une mémoire de programme 11, une mémoire de données 12, un écran de visualisation 13 muni d'un clavier 14, une interface d'entrée 15 et une interface de sortie 16. Le microprocesseur 10, la mémoire de programme 11, la mémoire de données 12, l'écran de visualisation 13 muni d'un clavier 14, l'interface d'entrée 15 et l'interface de sortie 16 sont interconnectés par un bus de communication interne 17. La logique de commande prélève d'une première base de données d'images 18 des images virtuelles. Elle prélève également d'une deuxième base de données d'images 19 de terrain des images tridimensionnelles du paysage. Ces deux bases de données 18 et 19 sont, de préférence, externes au simulateur 1. Ces deux bases de données 18 et 19 peuvent, dans une variante, être mémorisées dans la mémoire de données 12 de la logique de commande. La mémoire de données 12 comporte une base de données 20 comportant des effets sonores. Elle comporte une seconde base de données 21 comportant des effets visuels. Ces effets visuels et sonores reproduisent au départ, le bruit de départ du missile, l'occultation de la visée par la fumée, le dépointage de l'axe de visée au départ du missile, le délestage du missile, la représentation du missile en vol. Ils reproduisent à l'impact, une explosion des images virtuelles. Les effets visuels et sonores permettent de respecter fidèlement le déroulement de la séquence de tir réel d'un missile lors de la simulation. Dans la pratique, lorsque l'on prête une action à un dispositif, celle-ci est réalisée par un microprocesseur du dispositif commandé par des codes instructions enregistrés dans une mémoire de programme du dispositif. La logique de commande 8 est un tel dispositif. La logique de commande 8 est, souvent réalisée sous forme de circuits intégrés. La mémoire de programme 11 est divisée en plusieurs zones, chaque zone correspondant à des codes instructions pour réaliser une fonction du dispositif. La mémoire de programme 11 comporte, selon les variantes de l'invention, une zone 22 comportant des codes instructions pour recevoir un faisceau d'éclairement F du paysage P en vue d'obtenir une image vidéo de la scène 7 éclairée du paysage P. La mémoire 11 comporte une zone 23 comportant des codes instructions pour numériser l'image vidéo fournie par la caméra. La mémoire 11 comporte une zone 24 comportant des codes instructions pour déterminer une position (x, y, z) de la caméra. Cette position (x, y, z) est fournie de préférence par un système de positionnement mondial plus connu sous le nom anglais Global Positioning System (plus connu sous son sigle GPS). Le simulateur 1 comporte ainsi un récepteur de positionnement GPS placé, de préférence sur la caméra 6. Ce récepteur de positionnement GPS permet la localisation de la position de la caméra 6. La mémoire 11 comporte une zone 25 comportant des codes instructions pour déterminer, un azimut de la caméra. L'azimut est un angle compris entre le nord géographique et la direction d'émission D de la caméra. Pour mesurer cet angle, le simulateur comporte une boussole B. Cette boussole B permet de mesurer l'azimut entre 0 et 360 degrés dans le sens des aiguilles d'une montre. La mémoire 11 comporte une zone 26 comportant des codes instructions pour prélever, dans la base de données 19 d'images terrains, une image tridimensionnelle panoramique du paysage P, à partir de la position de la caméra 6. La mémoire 11 comporte une zone 27 comportant des codes instructions pour effectuer une segmentation de l'image tridimensionnelle panoramique du paysage P, afin d'attribuer à chaque voxel dudit image une valeur binaire. La valeur binaire 1 est attribuée à un voxel lorsque ce dernier appartient à un objet de l'image et la valeur binaire 0 est attribué à un voxel dans le cas contraire. La mémoire 11 comporte une zone 28 comportant des codes instructions pour prélever et segmenter des images d'objets virtuels dans la base d'images virtuelles 18. La mémoire 11 comporte une zone 29 comportant des codes instructions pour fusionner l'image tridimensionnelle panoramique du paysage P segmentés avec les images des objets virtuels segmentés. Cette fusion est réalisée sous le même azimut de la caméra 6.

La mémoire 11 comporte une zone 30 comportant des codes instructions pour appliquer un procédé de visualisation à l'image fusionnée. La mémoire 11 comporte une zone 31 comportant des codes instructions pour transmettre simultanément au moniteur M l'image à visualiser de l'image fusionnée de la zone 30 et l'image vidéo de la zone 23, par un bus de communication 37.

La mémoire 11 comporte une zone 32 comportant des codes instructions pour superposer l'image vidéo numérisée de la zone 23 avec l'image fusionnée de la zone 29, sur le moniteur M. La mémoire 11 comporte une zone 33 comportant des codes instructions pour permettre, lors de la superposition, le recadrage des contours des objets de l'image fusionnée par rapport aux contours des objets de l'image vidéo numérisée, la colorisation de l'image fusionnée en fonction des couleurs de l'image vidéo et le rajout à l'image fusionnée des objets de l'image vidéo non présents dans l'image fusionnée.

La mémoire 11 comporte une zone 34 comportant des codes instructions pour réaliser les différentes séquences de simulations dans lesquelles sont intégrées les effets sonores et visuels fournis respectivement par la base de données d'effets sonores 20 et la base de données d'effets visuels 21. Ces effets sonores sont transmis, par la logique de commande 8 à l'enceinte acoustique E par le bus de communication 37. La mémoire 11 comporte une zone 35 comportant des codes instructions pour asservir l'image fusionnée transmise au moniteur M en fonction d'un éventuel déplacement du simulateur 1. Le simulateur 1 comporte des capteurs de position (non représentés) permettant de détecter ce déplacement. La mémoire 11 comporte une zone 36 comportant des codes instructions pour relier en réseau à la logique de commande au moins deux simulateurs 1. Ces deux simulateurs 1 peuvent se situer à des positions différentes.

Les images des objets virtuels fournis par la base d'images virtuelles 18 peuvent être pilotées par les touches du clavier 14. Elles peuvent dans une variante être pilotées par une manche à balai plus communément connu sous le nom anglais joystick 38. Le joystick 38 comporte un manche 39 vertical inclinable dans toutes les directions. Ce manche 39 peut être manipulé selon plusieurs degrés de liberté. Le joystick 37 comporte également des boutons programmables qui commandent différentes actions des objets virtuels. La figure 2 montre un procédé, selon l'invention, de fonctionnement des moyens illustrés à la figure 1. Dans l'invention, les étapes 100 à 112 sont effectuées simultanément.

La figure 2 montre une étape 100 préliminaire dans laquelle la logique de commande acquiert un signal vidéo analogique. Pour acquérir ce signal vidéo analogique, dans l'exemple de la figure 2, la caméra 6 reçoit un faisceau d'éclairement F en fonction de la focale de la caméra 6 et de la direction d'émission D, d'une scène 7 du paysage réel P. La caméra 6 filme quasi systématiquement un plan d'ensemble fixe de la scène 7 du paysage P située dans le faisceau F. Les images fournies par la caméra donnent une vision globale de la scène 7. La caméra 6 transmet le signal vidéo analogique à la logique de commande. Ce signal vidéo est un courant électrique dont les variations de tensions sont proportionnelles aux variations de l'éclairement de la scène 7. La lumière reçue par la caméra est ainsi traduite en courant électrique. Dans cette étape 100 la logique de commande localise la position de la caméra. Cette position de la caméra est localisée par le système de positionnement mondial GPS. Le récepteur de positionnement GPS fournit des coordonnées (x, y, z) de la position de la caméra 6, dans un repère à trois axes et qui a pour origine le centre de gravité de masse terrestre. Dans une variante, la logique de commande peut utiliser n'importe quel autre type de référentiel.

Dans cette étape 100 la logique de commande détermine également l'azimut B1 de la caméra 6. Cet azimut B1 est mesuré par la boussole B. la boussole permet de mesurer l'azimut B1 qui est l'angle entre une référence donnée, qui est ici le nord géographique, et la ligne de visée ou la direction d'émission D de la caméra 6.

A l'étape 101, la logique de commande numérise le signal vidéo analogique en une image vidéo 102 numérique en associant à chaque pixel 103 dudit image une valeur numérique. Cette valeur numérique comporte des informations de couleurs formant la couleur de ce pixel 103. Les informations de couleurs sont la luminance et la chrominance. Un pixel étant un élément d'une image plane. A l'étape 104, la logique de commande transmet à la base de terrain 19 la position GPS de la caméra 6. La base de terrain fournit en sortie à la logique de commande, une image tridimensionnelle panoramique du paysage P' autour de la position GPS de la caméra. Cette image tridimensionnelle panoramique du paysage P' comporte des objets 105.

La base de données terrain 19 est fournie dans un exemple préféré par l'Institut Géographique National (IGN). En sachant que d'autres types de bases d'images peuvent être utilisés en fonction de la simulation à réaliser. A l'étape 106, la logique de commande applique un procédé desegmentation à l'image tridimensionnelle panoramique du paysage P'. Cette segmentation permet de délimiter les contours des objets 105. La logique de commande attribue à tous les voxels 107 se situant à l'intérieur des contours des objets 105 une valeur binaire égale à 1. Elle attribue à tous les voxels 108 situés à l'extérieur des contours des objets 105 une valeur binaire égale à 0. A l'étape 109, la logique de commande élabore des images des objets virtuels 110 à insérer dans l'image tridimensionnelle panoramique du paysage P'. Ces objets virtuels 110 sont segmentés avant leur insertion. La logique de commande obtient ainsi une image tridimensionnelle panoramique du paysage P' fusionnée 111. A l'étape 112, la logique de commande applique un procédé de visualisation à l'image tridimensionnelle panoramique du paysage P' fusionnée 111. Ce procédé de visualisation est de préférence un algorithme de lancer de rayons.

Cet algorithme de lancer de rayons permet de simuler informatiquement le trajet des rayons lumineux 114 entre une position 113 de la caméra 6 dans l'image tridimensionnelle panoramique du paysage P' fusionnée 111 et les objets 105 et 110 illuminés de l'image tridimensionnelle panoramique du paysage P' fusionnée. La direction de visée D simulée de la caméra est déterminée en fonction de l'azimut B1 de la caméra 6. Pour chaque rayon lumineux 114 lancé de la caméra 6, l'algorithme calcule des points d'impacts avec les voxels 107 des objets 105 ou 110 de l'image fusionnée. Le procédé de visualisation traite le contenu d'information de chaque voxel 107 situé aux points d'impact. Il fournit une image à visualiser 116 à l'étape 117. Cette image à visualiser 116 comporte à chaque endroit 118 une information de luminance et/ou de chrominance correspondant au traitement du contenu des informations de chaque voxel 107. L'endroit 118 correspond aux orientations 115a selon l'axe des X et 115b selon l'axe des Y, des trajets des rayons lumineux 114. Les cordonnées 20 et 20b de l'endroit 18 sont calculées en fonction des angles 115a et 115b du rayon lumineux 114. L'image à visualiser 116 correspond à une image augmentée de l'image de la scène du paysage filmée. D'autres algorithmes peuvent également être utilisés, notamment l'algorithme du Z-buffer ou tampon de profondeur, l'algorithme du peintre.

Quel que soit, la position du simulateur dans le paysage, la logique de commande, à partir des coordonnés GPS de la position de la caméra et de l'azimut, détermine une image augmentée de l'image de la scène du paysage filmée. Pour augmenter le réalisme de l'image à afficher, la logique de commande applique l'étape 119. A l'étape 119, la logique de commande transmet simultanément au moniteur M, l'image vidéo numérisée 102 et l'image à visualiser 116. La logique de commande superpose ces deux images sur le moniteur M. Cette superposition permet d'enrichir l'image affichée 120 sur le moniteur M. Elle fournit à la logique de commande des informations permettant à ce dernier d'accroître le réalisme de l'image affichée 120 transmise au viseur. En manipulant les touches du clavier, on peut réajuster les contours des objets de l'image à visualiser 116 par rapport aux contours des objets de l'image vidéo numérisée 102. Dans une variante, la logique de commande peut déterminer les contours de ces deux images et les réajuster automatiquement. La logique de commande transmet à chaque pixel de l'image à visualiser 116 l'information couleur contenue dans le pixel situé aux mêmes cordonnées dans l'image vidéo numérisée 102. Cette opération permet de coloriser ou d'augmenter le contraste des pixels de l'image à afficher 120. Pour tous les pixels 103 de l'image vidéo numérisée n'ayant pas de correspondance dans l'image à visualiser 116, la logique de commande les rajoute dans l'image affichée 120 sur le moniteur M. Dans une variante, l'image affichée 120 sur le moniteur M peut être enrichie par une incorporation d'images virtuelles d'arbres ou de bosquet fournies par une base de donnée. L'image affichée 120 sur le moniteur M est transmise du moniteur au viseur du simulateur par onde optique. Le simulateur comporte des capteurs de position (non représentés) permettant de détecter un éventuel déplacement dudit simulateur. Les capteurs de position sont placés sur le dispositif de simulation. Dès que les capteurs de position ont détecté un changement de position du dispositif de simulation, ils transmettent à la logique de commande des informations relatives au déplacement du dispositif de simulation. Ces informations peuvent être, la valeur absolue de la distance du déplacement, l'orientation et l'angle du déplacement. La logique de commande à partir de ces informations déplace la scène visualisée du paysage en conséquence. Pour ce faire, la logique de commande réapplique les étapes 100 à 111 de la figure 2. La logique de commande rafraîchit ainsi l'image affichée 120 en fonction du déplacement du simulateur. Ainsi, dès la détection d'un déplacement du dispositif de simulation, la logique de commande rafraîchit l'image visualisée sur le viseur. Le temps de rafraîchissement dépend de la puissance de calcul des matériels utilisés.

La logique de commande transmet également à un projectile (non représenté) du dispositif de simulation les informations concernant le déplacement dudit simulateur, afin de réajuster l'angle d'impact dudit projecteur. Dans un exemple, un ensemble de dispositifs de simulation peut être interconnecté à la logique de commande en réseau. Cette interconnexion est assurée par un protocole de communication existant. Ce protocole permet de définir la manière dont les informations sont échangées entre les dispositifs de simulation du réseau et la logique de commande. Ce protocole peut être un protocole GSM ou un protocole CAN plus connu le nom anglais Controller Area Network ou un protocole ethernet. A partir de la position de chaque caméra et de son azimut, pour chaque dispositif de simulation, la logique de commande détermine l'image à visualiser sur le viseur en appliquant les étapes 100 à 119 du procédé de la figure 2. Ainsi, l'image visualisée sur le viseur d'un dispositif de simulation dépend uniquement de la position et de l'azimut de la caméra. Les figures 3 à 5 montrent différentes interactions entre les images des objets virtuels 110 et les images des objets 107 de l'image tridimensionnelle panoramique du paysage P. Dans l'exemple de la figure 3, les objets virtuels 110 sont représentés par un hélicoptère 200 et un char 201. Les objets 107 de l'image tridimensionnelle panoramique du paysage P sont représentés par une dune 203, une montagne 204, un bâtiment 205 et une étendue d'herbes ou d'arbres 206. L'hélicoptère 200 et le char 201 sont déplacés dans l'image tridimensionnelle panoramique du paysage P en manipulant les touches du clavier et/ou le joystick. Dans l'exemple de la figure 3, l'hélicoptère 200 est posé sur le bâtiment 205 et le char 201 est déplacé derrière la dune 203. Dans ce cas, le char 201 doit s'incruster derrière la dune 203. Certaines parties du char 201 ne sont plus visualisées. La logique de commande en fonction de la direction d'émission et de l'azimut de la caméra, ne permet de visualiser que les objets illuminés par le trajet des rayons lumineux 114. De ce fait, lors du déplacement du char 201 tous les voxels dudit char ne se situant pas dans le trajet des rayons X, ne sont pas affichés par le procédé de visualisation. De même les voxels du char ayant un attribut binaire égal à 1 ne peuvent pas s'introduire dans un voxel d'un objet ayant un attribut d'une même valeur binaire. De ce fait, la logique de commande considère un objet dont les voxels ont comme attribut une valeur binaire égale à 1 comme un solide. Le char 201 ne peut ainsi être déplacé qu'en contournant la dune 203 ou en entrant en collision avec ce dernier.

Dans l'exemple de la figure 4, le char 201 est déplacé sur la dune 203. Dans l'exemple de la figure 5, le char 201 est déplacé devant la dune 203. En déplaçant les coordonnées des voxels du char 201, la logique de commande déplace le char. Pour ce faire, en manipulant le clavier ou le joystick des signaux électriques sont transmis à la logique de commande. La logique de commande traite ces signaux afin de déterminer quel est l'objet virtuel de l'image à déplacer, le sens du déplacement de l'objet et la distance de déplacement avant d'effectuer ledit déplacement..

Claims (10)

REVENDICATIONS

1 - Procédé de traitement d'images d'un simulateur (1), dans lequel, a) -on capture une image vidéo (102) d'une scène (7) d'un paysage (P) réel, au moyen d'une caméra (6) du simulateur, b) - on numérise l'image vidéo en associant à chaque pixel (103) de l'image une valeur numérique comportant des informations de luminance et/ou de chrominance, caractérisé en ce qu'il comporte les étapes suivantes : c) - on élabore une image tridimensionnelle panoramique (P') du paysage en la prélevant dans une base d'images de terrain (19), ce prélèvement dépendant d'une position (x, y, z) du simulateur dans le paysage réel, d) - on élabore des images d'objets virtuels (110) dans une base d'images virtuelles (118), e) - on fusionne (109) l'image tridimensionnelle panoramique du paysage avec les images des objets virtuels, et on obtient une image fusionnée (111), f) -on élabore (112) une image à visualiser (116) de l'image fusionnée sur un moniteur (M) du simulateur, sous un azimut (B1) de la caméra, l'azimut étant un angle d'une direction de visée (D) de la caméra par rapport à une direction de référence, et g) - on superpose (119) sur le moniteur, l'image à visualiser avec l'image vidéo numérisée.

2 - Procédé selon la revendication 1, caractérisé en ce que l'étape d'élaboration de l'image tridimensionnelle panoramique du paysage comporte les étapes suivantes : h) - on calcule la position de la caméra dans le paysage au moyen d'un récepteur de positionnement, i) - on transmet à la base d'images de terrain la position calculée de la caméra, cette base fournissant en sortie une image tridimensionnelle panoramique du paysage autour de la position de la caméra.

3 - Procédé selon l'une quelconque des revendications 1 à 2, caractérisé en ce que l'étape de visualisation de l'image fusionnée comporte les étapes suivantes :j) - on simule un trajet (114) de rayons lumineux entre une position (113) de la caméra dans l'image tridimensionnelle panoramique du paysage et des objets (105, 110) segmentés de l'image fusionnée, k) -la direction de visée simulée de la caméra est déterminée en fonction de l'azimut de la caméra, I) - le contenu d'information de voxels (107) situé à des points d'impact des rayons lumineux avec les objets segmentés de l'image fusionnée est traité par un traitement de visualisation, m) -l'image à visualiser comprend, à un endroit (118) correspondant aux orientations (115a, 115b) des rayons lumineux, une information de luminance ou de chrominance correspondant à ce traitement.

4 - Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'étape de superposition comporte les étapes suivantes: n) - on transmet simultanément au moniteur l'image à visualiser et l'image vidéo numérisée, o) - on recadre des contours des objets de l'image à visualiser par rapport aux contours des objets de l'image vidéo numérisée ou vice versa.

5 - Procédé selon la revendication 4 caractérisé en ce que p) - on effectue le cadrage des contours des objets de l'image à visualiser manuellement.

6 - Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que q) - on détecte un déplacement du simulateur, r) - on réitère les étapes a) à e), s) - on rafraîchit l'image à visualiser en tenant compte de ce déplacement.

7 - Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que t) - on détecte un déplacement du simulateur, u) - on transmet à un projectile une information de déplacement du simulateur.

8 - Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce que v) - on associe à une séquence de simulation avec le simulateur deseffets sonores (20) et des effets visuels (21).

9 - Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce que : w) - on enregistre les résultats de la simulation.

10 - Simulateur caractérisé en ce qu'il comporte un moyen de mettre en oeuvre un procédé de traitement d'images selon l'une quelconque des revendications 1 à 9.