DISPOSITIF DE VISUALISATION D'UN HABITACLE VIRTUEL D'UN VEHICULE EN SITUATION REELLE
La présente invention concerne le test et la validation de l'ergonomie d'environnements de conduite tels que des cockpits de véhicule et plus particulièrement un procédé et un dispositif pour tester et valider l'ergonomie d'un habitacle virtuel en situation réelle.
Elle trouve une application générale dans la visualisation d'un cockpit virtuel d'un véhicule dans le monde réel et la possibilité de conduire le véhicule.
Ainsi, l'invention a plus précisément pour objet un dispositif de visualisation dans lequel un cockpit virtuel modélisé est inséré en temps réel dans une vidéo capturée elle-même en temps réel.
Pour limiter les coûts de développement, le test et la validation de l'ergonomie d'un cockpit d'un véhicule ont évolué du monde réel vers un monde virtuel. Le test et la validation d'un cockpit réel exigent la fabrication de ce cockpit ainsi que son montage au sein du véhicule pour lequel il est destiné. Outre le temps et le coût exigés par cette solution, le cockpit ne peut être testé que dans un nombre de situations limité en raison, notamment, des problèmes de sécurité. L'utilisation d'une maquette virtuelle offre de nombreux avantages. En particulier, chaque modification n'impose pas la réalisation d'une nouvelle maquette, réduisant les temps et les coûts de conception. Le test et la validation d'un cockpit virtuel sont souvent réalisés à travers l'utilisation de projecteurs vidéo et d'écrans formant une salle immersive. La simulation de l'utilisation du cockpit virtuel est ainsi simulée dans un environnement d'images de synthèse pures. Dans une telle configuration, l'utilisateur est assis sur une plateforme mobile qui est pilotée par des vérins électriques ou hydrauliques, aussi appelé mouvement cabine. Bien que l'image de synthèse générée pour tester et valider le cockpit soit aussi proche que possible de la réalité, l'interface réelle du testeur avec le cockpit n'est pas reproduite. En effet, d'une part, l'environnement extérieur, c'est-à-dire le décor, est en images de synthèse donc il est d'un réalisme approximatif, la modélisation de décors étant longue à
réaliser. D'autre part, le mouvement cabine est un mouvement approximatif. En effet, la plateforme mobile fonctionne en basse fréquence, à savoir environ 4 Hz, du fait de la lenteur des vérins. De plus, un délai de réaction est introduit d'environ 300 millisecondes ou plus. En outre, une accélération de la cabine est limitée dans le temps car le mouvement de la plateforme arrive très vite en butée. Enfin, les équations dynamiques du mouvement sont approximatives du fait du calcul en temps réel. Ainsi, une telle solution manque particulièrement de réalisme de mouvement. Il existe donc un besoin d'optimiser le test et la validation de l'ergonomie des environnements de conduite pour véhicules.
L'invention permet de résoudre au moins un des problèmes exposés précédemment.
L'invention a ainsi pour objet un dispositif de visualisation d'un habitacle virtuel d'un véhicule, caractérisé en ce qu'il comprend :
- des moyens mobiles d'acquisition vidéo et de visualisation comprenant,
- au moins un moyen de visualisation ;
- au moins un moyen de capture vidéo apte à capturer le champ de vision; et,
- un dispositif de capture de mouvement ;
- au moins un moyen de traitement connecté auxdits moyens mobiles d'acquisition vidéo et de visualisation, ledit au moins un moyen de traitement étant adapté à,
- recevoir une vidéo d'au moins un moyen de capture vidéo ; et,
- insérer l'habitacle virtuel respectivement dans ladite vidéo reçue, selon les informations reçues dudit dispositif de capture de mouvement ; et,
- transmettre en temps réel audit au moins un moyen de visualisation la vidéo reçue dans laquelle l'habitacle virtuel a été inséré,
- des moyens de synchronisation entre ledit au moins un moyen de traitement et lesdits moyens mobiles d'acquisition vidéo et de visualisation.
Le dispositif selon l'invention permet de tester et valider l'ergonomie d'un habitacle virtuel, notamment en situation de conduite réelle.
En effet, au moyen de ce dispositif, un pilote est apte à conduire un véhicule réel dont l'habitacle est virtuel alors que le pilote conduit dans un contexte réel. Ainsi le pilote est immergé dans un habitacle virtuel au sein d'un véhicule réel.
Le véhicule réel peut être un véhicule simplifié formé par exemple, uniquement du châssis, du moteur, du volant et d'une bulle en plexiglas. Un tel véhicule permet d'avoir un habitacle réel aussi transparent que possible, pour ensuite visualiser un habitacle virtuel sans que cet habitacle soit contraint par des éléments de l'habitacle réel.
En outre, selon ce dispositif, il est permis d'obtenir en temps réel la vue du contexte réel de pilotage (notamment la route), c'est-à-dire un décor réel et l'habitacle virtuel.
Ceci est rendu possible notamment par les moyens de synchronisation entre les moyens de traitement et les moyens mobiles d'acquisition vidéo et de visualisation. En effet, ces moyens permettent d'optimiser le temps de transmission des images et supprimer les artefacts durant les mouvements de l'utilisateur.
Il est en outre à noter que ce dispositif permet de tester un habitacle dans des conditions réelles de conduite du véhicule.
Selon un mode de réalisation particulier, l'habitacle virtuel est un cockpit virtuel d'un véhicule préalablement modélisé.
Dans un mode particulier de réalisation, la fréquence de balayage dudit au moins un moyen de capture vidéo est sensiblement égale à la fréquence de balayage dudit au moins un moyen de visualisation.
Selon une caractéristique particulière, ledit au moins un moyen de visualisation est un casque virtuel.
Dans un autre mode particulier de réalisation, les moyens mobiles d'acquisition vidéo et de visualisation comprennent,
- au moins un moyen de visualisation ;
- au moins deux moyens de capture vidéo; et,
- un dispositif de capture de mouvement ; le dispositif comprenant en outre au moins deux moyens de traitement connectés auxdits moyens mobiles d'acquisition vidéo et de visualisation, chacun desdits moyens de traitement étant adapté à,
- recevoir une vidéo d'au moins un desdits moyens de capture vidéo ; et,
- insérer l'habitacle virtuel respectivement dans ladite vidéo reçue, selon les informations reçues dudit dispositif de capture de mouvement ; et,
- transmettre en temps réel audit au moins un moyen de visualisation la vidéo reçue dans laquelle l'habitacle virtuel a été inséré,
- des moyens de synchronisation entre lesdits moyens de traitement et lesdits moyens mobiles d'acquisition vidéo et de visualisation.
D'autres avantages, buts et caractéristiques de la présente invention ressortent de la description détaillée qui suit, faite à titre d'exemple non limitatif, au regard des dessins annexés dans lesquels :
- la figure 1 représente de façon schématique l'environnement de test et de validation de l'ergonomie d'un habitacle virtuel ;
- la figure 2 illustre le casque de réalité virtuelle porté par l'utilisateur durant le test et la validation de l'ergonomie d'un habitacle virtuel ;
- la figure 3 illustre de façon schématique le dispositif de la présente invention.
Le dispositif selon l'invention permet de mixer en temps réel les images d'un habitacle virtuel avec une vidéo réelle de façon à tester et valider de nouveaux habitacles en situation réelle.
Pour ce faire, un pilote est installé dans un véhicule réel. Celui-ci peut pour des raisons de sécurité être assisté par un copilote qui est apte lui aussi à piloter le véhicule. Ainsi, le copilote dispose des mêmes moyens de commande que le pilote, notamment des moyens de freiner, débrayer, accélérer.
Conformément à l'invention, le pilote dispose d'un dispositif comprenant des moyens mobiles d'acquisition vidéo et de visualisation, notamment, sous la forme d'un casque de réalité virtuelle aussi appelé visiocasque (HMD ou « Head Mounted Display » en terminologie anglo- saxonne). Ces moyens sont équipés par exemple d'au moins un moyen de visualisation, d'au moins un moyen de capture vidéo, notamment une caméra, apte à capturer le champ de vision du pilote et un dispositif de capture de mouvement rigidement lié au(x) moyen(s) de capture vidéo.
Au moyen de ce dispositif, le pilote est apte à visualiser, en temps réel, un habitacle virtuel, notamment un cockpit. Pour ce faire, à l'initialisation du dispositif, un habitacle virtuel est choisi parmi une pluralité.
Cet habitacle virtuel peut aussi consister en des enrichissements virtuels animés d'un habitacle virtuel ou réel, il peut notamment s'agit d'indicateurs de vitesse, jauges et système de navigation.
L'extérieur de l'habitacle est le monde réel provenant des moyens de capture du champ de vision du pilote.
Ainsi, conformément à l'invention, il est permis de tester et valider l'ergonomie d'un habitacle virtuel ou d'un enrichissement d'un habitacle réel ou virtuel en situation de pilotage réelle sans toutefois réaliser réellement ce nouvel habitacle.
De plus, le pilote est totalement immergé dans un habitacle virtuel.
Conformément à l'invention, le pilote dispose en temps réel d'une image réelle du contexte dans lequel il pilote, notamment via les moyens de capture de son champ de vision et des moyens de visualisation restituant ce champ de vision capturé.
La Figure 1 représente de façon schématique l'environnement de test et de validation 10 de l'ergonomie d'un habitacle virtuel dans un contexte de pilotage réel.
Le pilote 12 en charge d'effectuer le test et la validation est installé dans le véhicule réel 14. Le véhicule est par exemple une voiture réelle apte à être conduite sur une route.
Le pilote 12 porte un casque de réalité virtuelle 16 équipé d'un écran de visualisation, de deux caméras aptes à capturer le champ de vision du pilote et d'un dispositif de capture de mouvement rigidement lié aux caméras, par exemple un capteur de marque « Laser Bird ».
A l'arrière du véhicule, du matériel informatique et électronique 18 est embarqué.
La figure 2 illustre le casque de réalité virtuelle 16 porté sur la tête 20 du pilote 12. Le casque de réalité virtuelle 16 comprend un dispositif de capture de mouvement 22, ou capteur de mouvement, permettant de déterminer en temps réel la position et l'orientation du casque de réalité virtuelle 16. Le capteur de mouvement peut être, par exemple, du type « Laser Bird ». Selon cet exemple, le capteur de mouvement comprend une partie mobile 22 et une partie fixe (non représentée), le mouvement mesuré étant le mouvement relatif de la partie mobile par rapport à la partie fixe.
Le casque de réalité virtuelle 16 peut être monoscopique ou stéréoscopique. Si le casque de réalité virtuelle 16 est monoscopique, il comprend une seule caméra. S'il est stéréoscopique, il comprend deux caméras, l'une associée à l'œil gauche et l'autre associée à l'œil droit, dans le but de restituer les reliefs au pilote.
L'exemple de casque de réalité virtuelle 16 présenté sur la figure 2 est stéréoscopique et comprend deux caméras 24 et 25.
La partie mobile du dispositif de capture de mouvement est solidaire des caméras afin que les images de synthèse affichées soient bien calées par rapport aux images vidéo, les images de synthèse étant un habitacle virtuel.
Le casque de réalité virtuelle comprend également deux écrans de visualisation 26 et 27 pour visualiser des images transmises d'un ordinateur par une liaison 28, filaire ou non.
Un écran de visualisation est placé devant l'œil droit de l'utilisateur (écran 26), l'autre étant placé devant son œil gauche (écran 27). Les connexions aux écrans de visualisation et les écrans de visualisation peuvent être, par exemple, du type Super eXtended Graphics Array (SXGA).
Le principe, selon l'invention, est de placer un habitacle virtuel, par exemple un cockpit virtuel, dans le véhicule réel conduit par le pilote.
La figure 3 illustre de façon schématique le dispositif de la présente invention. Ce dispositif comprend le casque de réalité virtuelle 16, le capteur de mouvement ayant une partie fixe 22b et une partie mobile 22a solidaire des caméras 24 et 25 fixées sur le casque de réalité virtuelle et deux calculateurs
31 et 32 du type ordinateur individuel (ou Personal Computer, PC).
L'un des calculateurs est associé à l'une des caméras du casque de réalité virtuelle tandis que l'autre calculateur est associé à l'autre caméra. Ainsi, le calculateur connecté à la caméra associée à l'œil gauche gère l'image devant être présentée à l'œil gauche, l'autre gère l'image qui doit être présentée à l'œil droit. Si le casque de réalité virtuelle ne comprend qu'une seule caméra, un seul calculateur est nécessaire pour gérer l'image qui sera présentée aux deux yeux.
Les calculateurs 31 et 32 comprennent chacun des moyens de calcul et des périphériques d'entrée et de sortie. De préférence, les calculateurs 31 et
32 comprennent chacun,
- une entrée vidéo (311 et 321) reliée à l'une des caméras (24 et 25) du casque de réalité virtuelle 16 ;
- une sortie vidéo (312 et 322), par exemple de type SXGA, reliée à l'un des écrans de visualisation (26 et 27) du casque de réalité virtuelle 16 ;
- une connexion (313 et 323) vers l'autre calculateur, par exemple un port Ethernet, ainsi les calculateurs sont reliés entre eux par un câble réseau ; et,
- une connexion de synchronisation (314 et 324), par exemple de type Genlock, reliée aux caméras (24 et 25) du casque de réalité virtuelle 16 et à la connexion de synchronisation de l'autre calculateur.
En outre, l'un des calculateurs 31 ou 32 comprend de préférence une entrée 315, par exemple un port RS232 ou un port USB, connectée au dispositif de capture de mouvement 22b pour connaître la position et l'orientation des caméras 24 et 25. Ces informations peuvent être transmises au second
calculateur par l'intermédiaire de la connexion entre les deux calculateurs, par exemple via Ethernet.
Chaque calculateur est en charge d'afficher en temps réel l'image vidéo en provenance de la caméra correspondante, mixée avec les images de synthèse, sur l'écran de visualisation correspondant. De façon préférentielle, les images générées par les calculateurs sont à la résolution du casque de réalité virtuelle 16.
Il est à noter que le copilote peut également disposer d'un écran de visualisation de type écran LCD afin de visualiser la vue de l'œil gauche et de l'œil droit du pilote.
Pour ce faire, à l'architecture matérielle décrite en Figure 3, on ajoute un répartiteur de type VGA pour chaque PC et un commutateur (« switch » en terminologie anglo-saxonne) afin d'être apte à visualiser sur l'écran soit la vue de l'œil gauche soit la vue de l'œil droit.
A titre d'illustration, chaque calculateur peut être un ordinateur individuel ayant les caractéristiques suivantes,
- processeur Pentium IV, 3GHz ;
- mémoire vive ou RAM de 1 Go et disque dur de 80Go ;
- système d'exploitation de type Microsoft Windows XP Professional ;
- carte nVidia GeForceFX Quadro 4400G ;
- carte de synchronisation Genlock (G-SYNC) ; et,
- carte d'acquisition vidéo PAL ou NTSC qui utilise le bus PCI, ou qui est connectée à un port de type USB2, ou un port firewire, ou un port cameralink.
Dans un mode de réalisation, le casque de réalité virtuelle impose la fréquence de balayage (ou refresh rate), par exemple 60Hz. La sortie vidéo des calculateurs doit avoir une fréquence de balayage compatible avec celle du casque de réalité virtuelle.
Idéalement, les caméras vidéo ont une fréquence de balayage proche de celle du casque de réalité virtuelle par exemple 50Hz en Europe et 60Hz aux Etats-Unis.
Idéalement, les caméras vidéo et les sorties vidéo des calculateurs sont « genlockable » pour synchroniser les caméras vidéo et les sorties vidéo des calculateurs. La synchronisation des caméras vidéo et des sorties vidéo des calculateurs permet d'optimiser le temps de transmission des images (transport delay) et d'obtenir une restitution stéréoscopique sans artefact, même durant les mouvements de l'utilisateur.
Les caméras peuvent être de résolution SD, par exemple des caméras NTSC Sony XC555 avec une entrée de synchronisation Genlock. Les caméras peuvent être aussi progressives (non entrelacées) avec une sortie USB2, firewire ou cameralink, par exemple une caméra UEYE 2220C. Le champ de vision doit être le plus proche possible du champ de vision du casque de réalité virtuelle pour chaque œil, par exemple une optique de focale 3.5 mm sur monture NF ayant un champ de vision supérieur à 100 degrés et un capteur de VT. pouce.
Les caméras utilisées peuvent également être de résolution HD, utilisant une sortie HD-SDI ou cameralink. Les cartes d'acquisition vidéo peuvent avoir une entrée HD-SDI, par exemple sur bus PCI, PCI-X ou PCI- Express, comme par exemple la carte Decklink HD, ou une entrée cameralink. Il est également possible d'acquérir des signaux non entrelacées via les normes USB2 et cameralink par exemple.
Le mixage des images issues des caméras vidéo avec les images de synthèse représentant l'habitacle virtuel est de préférence réalisé par le logiciel D'FUSION de la société TOTAL IMMERSION conçu pour des applications de réalité augmentée. Dans un mode de réalisation particulier, chaque calculateur est équipé d'une version runtime de la technologie D'FUSION ayant les fonctionnalités suivantes, au lancement du logiciel, D'FUSION charge la pluralité d'environnements de conduite virtuel qui peuvent être testés lors de la séance de conduite ; acquisition et affichage de flux vidéo en temps réel avec de hautes performances ;
traitement temps réel des flux vidéo pour corriger les distorsions optiques radiales des caméras vidéo, permettant ainsi de mettre en parfaite correspondance les vidéos issues des caméras avec l'habitacle virtuel ; désentrelacement des images vidéo avant le tracé dans la boucle de rendu si les caméras sont entrelacées ; traitement en temps réel des informations de mouvement (par exemple le flux de « motion capture » délivré par le capteur « Laser Bird ») par des techniques d'extrapolations et d'interpolations pour synchroniser dynamiquement les flux vidéos des caméras et les images de synthèse de l'habitacle virtuel, en recalculant les positions et orientations du capteur de mouvement aux dates de réception des images vidéo ; calcul en temps réel des paramètres extrinsèques, c'est-à-dire les positions et orientations par rapport à un repère absolu, des deux caméras vidéo pour faire correspondre en temps réel les images issues caméras avec l'habitacle virtuel, même lorsque l'utilisateur déplace la position et l'orientation de sa tête ; choisir d'afficher un habitacle virtuel parmi la pluralité de N habitacles virtuels chargés en mémoire ; calibration « offline » du système, o calibration des distorsions optiques radiales des deux caméras (paramètres intrinsèques) par analyse d'images (mires de distorsions) et o calibration des paramètres extrinsèques des caméras dans le repère du capteur de mouvement selon notamment la méthode dite d'extraction de pose caméra à l'aide d'un outil de localisation.
Le tableau suivant résume les performances de la solution selon l'invention dans le cas d'un casque de réalité virtuelle ayant une fréquence de balayage de 60Hz et des entrées vidéo SXGA,
L'invention permet de valider la conception et l'ergonomie d'un habitacle par la visualisation d'un nouvel environnement dans un contexte réel de pilotage, sans contrainte d'angle de vue (le pilote peut déplacer sa tête selon les six degrés de liberté correspondant aux changements de positions et d'orientation).
Naturellement, pour satisfaire des besoins spécifiques, une personne compétente dans le domaine du traitement d'image et de la réalité augmentée pourra appliquer des modifications dans la description précédente pour satisfaire ses besoins.