FR2889753A1 - Systeme permettant a un utilisateur de visualiser un cockpit virtuel dans un environnement video - Google Patents

Abstract

L'invention concerne un système permettant de visualiser un cockpit virtuel dans un environnement vidéo comprenant :- un véhicule piloté par un utilisateur,- un casque de réalité virtuelle comprenant une première et une seconde caméras installées dans le prolongement de l'oeil droit et de l'oeil gauche de l'utilisateur,- un capteur de mouvement associé aux caméras,- des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à mélanger un signal vidéo reçu de la première caméra avec des images de synthèse du cockpit virtuel,- des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à mélanger un signal vidéo reçu de la seconde caméra avec des images de synthèse du cockpit virtuel,- des moyens d'affichage associés au casque de réalité virtuelle permettant de visualiser les images de synthèse du cockpit virtuel mélangées avec les signaux vidéo reçus de la première et de la seconde caméra.

Description

Système permettant à un utilisateur de visualiser un cockpit virtuel

dans un environnement vidéo L'inventeur a développé un produit, ci-après dénommé D'FUSION, qui permet de mixer et d'afficher en temps réel des images vidéo (en provenance de caméras) avec des images de synthèse, en utilisant du matériel PC standard.

Cette technologie permet de réaliser un cockpit virtuel mis en situation de conduite.

- L'utilisateur s'installe dans un vrai véhicule qu'il peut conduire.

- De préférence, l'utilisateur est assisté par un copilote qui peut lui aussi freiner, débrayer ou accélérer (principe de la conduite en double commande).

- L'utilisateur met sur sa tête un casque de réalité virtuelle ou HMD (Head Mounted Display), équipé de deux caméras et d'un capteur rigidement lié aux caméras.

Grâce à la technologie décrite dans ce document, l'utilisateur visualise, en temps réel: - L'intérieur d'un cockpit virtuel chargé au démarrage du logiciel (possibilité de sélectionner plusieurs cockpits virtuels).

- Si besoin, des enrichissements virtuels animés sur le cockpit virtuel (indicateurs de vitesse, jauges, système de navigation etc...).

- L'extérieur du cockpit virtuel est réel, il provient des images vidéo acquises par les caméras.

Les bénéfices de la technologie décrite sont les suivants: - Tests et validation d'ergonomie d'un cockpit virtuel en situation de conduite réelle (pouvoir conduire la maquette virtuelle dans le monde réel).

- Tests et validation d'enrichissements de cockpit (les ajouts virtuels sur le cockpit permettent de faire de nombreux tests sans réaliser réellement ces ajouts).

- La solution décrite utilisant un vrai véhicule, on n'a plus besoin d'avoir un mouvement cabine comme dans un simulateur de conduite classique.

- La solution décrite utilisant un HMD, on n'a plus besoin d'écran immersif comme dans un simulateur de conduite classique.

- La solution décrite permet d'être immergé dans le cockpit virtuel, ce qui est impossible dans un simulateur de conduite sur mouvement.

- La solution décrite permet d'obtenir en temps réel une image réelle de la route (à partir des caméras), ce qui est impossible dans un simulateur de conduite classique.

La présente invention concerne un système permettant à un utilisateur de visualiser un cockpit virtuel dans un environnement vidéo, notamment un environnement de conduite automobile, caractérisé en ce qu'il comprend: un véhicule, notamment une automobile, piloté par l'utilisateur, notamment sur un circuit d'essais, un casque de réalité virtuelle comprenant une première caméra installée dans le prolongement de l'oeil droit de l'utilisateur et une seconde caméra installée dans le prolongement de l'oeil gauche de l'utilisateur, - un capteur de mouvement associé à la première et à la deuxième caméra, - des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à mélanger un signal vidéo reçu de la première caméra avec des images de synthèse du cockpit virtuel, en fonction d'informations reçues du capteur de mouvement, - des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à mélanger un signal vidéo reçu de la seconde caméra avec des images de synthèse du cockpit virtuel, en fonction d'informations reçues du capteur de mouvement, - des moyens d'affichage associés au casque de réalité virtuelle permettant à l'utilisateur de visualiser les images de synthèse du cockpit virtuel mélangées avec les signaux vidéo reçus de la première et de la seconde caméra.

Description de la solution

Utilisateur équipé d'un HMD Véhicule réel: moteur, roues, pédales, volant. ..

Le schéma ci-dessus décrit le principe de la solution: L'utilisateur est assis dans un véhicule réel qui peut être conduit sur route.

L'utilisateur est muni d'un casque de réalité virtuelle ou HMD (Head Mounted Display).

Sur le casque sont fixées 2 caméras vidéo ainsi qu'un capteur de mouvement (par exemple, un capteur de marque Laser Bird (voir schéma suivant)).

A l'arrière du véhicule, du matériel informatique et électronique est embarqué.

Dispositif embarqué sur la tête de l'utilisateur Tête de l'utilisateur Capteur (ex:Laser Bird)

I !Lw

\\\\TCaméra oeil gauche Caméra oeil droit Casque virtuel (HMD) Le HMD peut être soit monoscopique (dans ce cas on utilise une seule caméra) soit stéréoscopique (dans ce cas on utilise deux caméras).

Si le HMD est en mode stéréoscopique, deux caméras vidéo sont fixées sur le HMD: une caméra par oeil dans le but de restituer le relief à l'utilisateur.

Le dispositif de capture de mouvement (par exemple de type Laser Bird ) est aussi fixé au HMD pour que le logiciel récupère en temps réel la position et l'orientation du HMD, ce qui permet ensuite d'afficher le cockpit de synthèse bien calé par rapport aux images vidéo. Le dispositif de capture de mouvement est rigidement lié aux caméras.

Architecture du système (dans le cas d'une utilisation stéréoscopique) PC OEil Gauche Entrée Vidéo

O O

Sortie SXGA Genlock : Capture de mouvement (ex: Laser Bird) RS232 Port Ethernet RJ45

HMD

Genlock Port Ethernet RJ45 PC OEil Droit Sortie SXGA Entrée Vidéo I Caméra gauche Caméra droite Légendes: Signal Video Composite Signal Genlock (synchro) Signal par exemple XGA (1280 X 1024) Remarque: le copilote peut aussi avoir une recopie sur un écran LCD des images oeil gauche / oeil droit vues par le conducteur. Dans ce cas on ajoute dans l'architecture: Un répartiteur VGA pour chaque PC - Un switch VGA pour pouvoir choisir de visualiser sur l'écran LCD soit l'image oeil gauche soit l'image oeil droit.

Description du système:

Deux PC sont utilisés: un PC génère les images pour l'oeil gauche, l'autre génère les images pour l'oeil droit.

La caméra oeil gauche est branchée sur l'entrée vidéo du PC oeil gauche.

La caméra oeil droit est branchée sur l'entrée vidéo du PC oeil droit.

Chaque PC est en charge d'afficher en temps réel l'image vidéo en provenance de sa caméra mixée avec les images de synthèse.

Le casque virtuel (HMD) est muni de deux entrées (par exemple de résolution SXGA), les deux PC génèrent des images à la résolution du HMD.

Le système de capture de mouvement (par exemple de type Laser Bird ) est connecté à un des deux PC par le port série (RS232). Ce PC est en charge de transmettre les informations de position/orientation du Laser Bird vers le second PC par des envois sur réseau Ethernet.

Le casque virtuel impose le refresh rate (par exemple 60 Hz), les sortie vidéo des 2 PC auront un refresh rate compatible avec le casque.

Idéalement, le choix des caméras vidéo se portera sur les fonctionnalités suivantes: - Caméras vidéo avec un standard de balayage le plus proche du casque: o Par exemple 60 Hz (standard US) pour un casque à 60 Hz o Par exemple 50 Hz (standard Europe) pour un casque à 50 Hz Idéalement, les caméras vidéo ainsi que les sorties des cartes graphiques sont genlockable , ce qui permet de synchroniser les éléments suivants entre eux (voir schéma ci-dessus) : - les 2 cartes graphiques - les 2 caméras vidéo La synchronisation de ces 4 éléments permet d'obtenir les avantages suivants: - Le meilleur transport delay possible pour le système visuel.

- Une restitution stéréoscopique sans artefacts même en dynamique (durant les mouvements de l'utilisateur).

Exemple des Moyens matériels mis en oeuvre pour réaliser la solution: Les deux PC oeil gauche et oeil droit : - Pentium 4, 3 Ghz.

- Disque dur 80 Go.

- RAM 1 Go.

- Cartes nVidia GeforceFX Quadro 4400G.

- Option Genlock (G-SYNC option card).

- Carte acquisition vidéo sur bus PCI, normes PAL et NTSC en entrée vidéo.

- Operating System Windows XP professional.

- Capteur de mouvement Laser Bird - Casque virtuel stéréoscopique Cas de Caméras en résolution SD: - 2 caméras NTSC sony XC555 avec entrée Genlock. Champ de vision le plus proche possible du champ de vision du casque pour chaque oeil (exemple: optique de focale 3.5 mm sur monture NF) .

Remarque: Le système décrit peut aussi être compatible HD: Dans ce cas la solution hardware préconisée est la suivante: - Caméras vidéo avec une sortie HD-SDI ou camera link.

- La carte d'acquisition est alors: o Soit une carte avec entrée HD-SDI (ex Decklink HD) sur bus PCI-X.

o Soit une carte avec entrée camera link.

Moyens logiciels Le logiciel D'FUSION configuré spécifiquement pour la solution L'inventeur a développé le logiciel D'FUSION, qui permet de réaliser des applications de Réalité Augmentée.

Chaque PC oeil gauche et oeil droit , est équipé d'une licence runtime de la technologie D'FUSION.

Le logiciel D'FUSION est configuré avec les fonctionnalités suivantes: Au lancement du logiciel, D'FUSION charge les N cockpits de synthèse qui seront utilisés lors de la séance de conduite.

- Acquisition et affichage de fluxs vidéo en temps réel avec de hautes performances.

- Le traitement temps réel des fluxs vidéo pour corriger les distorsions optiques radiales des caméras vidéo et permettre ainsi de mettre en parfaite correspondance les images caméra avec le cockpit de synthèse.

- Dé entrelacement des images vidéo avant tracé dans la boucle de rendu (dans le cas de caméras entrelacées).

- Le traitement temps réel du flux de motion capture (ex Laser Bird ) par des techniques d'extrapolations et d'interpolations pour synchroniser dynamiquement les flux vidéos et de synthèse, en recalculant les positions et orientations du capteur (ex Laser Bird ) aux dates de réception des images vidéo.

- Le calcul temps réel des paramètres extrinsèques (positions/orientations par rapport à un repère absolu) des deux caméras vidéo oeil gauche et oeil droit pour faire correspondre en temps réel les images caméras avec le cockpit de synthèse, même lorsque l'utilisateur déplace la position et l'orientation de sa tête.

- La possibilité de choisir d'afficher un cockpit parmi les N cockpits chargés en mémoire.

- Les outils de calibration offline du système: o Calibration des distorsions optiques radiales des deux caméras (paramètres intrinsèques) par analyse d'image (mires de distorsions).

o Calibration des paramètres extrinsèques des caméras dans le repère du capteur (ex Laser Bird ) (méthode dite d'extraction de pose caméra ) . Cette calibration s'effectue à l'aide de l'outil de localisation (voir fichier outil localisation. doc).

Performances de la solution (système de génération d'images) Le tableau suivant résume les performances de la solution dans le cas d'un HMD ayant un refresh rate de 60 Hz et des entrées vidéo SXGA (1280 par 1024).

Fonction Performance attendue Remarque Refresh Rate en sortie SXGA 60 Hz. 60 Hz imposé par l'utilisation des PC du casque (HMD) (fréquence de rafraîchissement des écrans LCD du HMD) Update Rate 60 Hz. On générera les images (fréquence de (images vidéo + synthèse) à la rafraîchissement des images) même fréquence que celle du Refresh Rate pour éviter les effets de dédoublement d'images.

Acquisitions vidéo Standard vidéo 60 Hz. Si besoin, les images vidéo sont désentrelacées avant mixage avec les images de synthèse.

Temps de réponse du système 33 ms (seulement si les Temps de réponse hors ( transport delay ) caméras sont genlockées affichage des images par le avec les cartes graphiques FX casque.

4400 G).

Résolution des images SXGA: 1280 pixels par 1024 Les images en provenance des générées lignes caméras vidéo seront adaptées à la résolution SXGA par la méthode de ré- échantillonnage avec filtrage bi-linéaire.

Claims (1)

Revendication

1. Système permettant à un utilisateur de visualiser un cockpit virtuel dans un environnement vidéo, notamment un environnement de conduite automobile, caractérisé en ce qu'il comprend: - un véhicule, notamment une automobile, piloté par l'utilisateur, notamment sur un circuit d'essais, un casque de réalité virtuelle comprenant une première caméra installée dans le prolongement de l'oeil droit de l'utilisateur et une seconde caméra installée dans le prolongement de l'oeil gauche de l'utilisateur, un capteur de mouvement associé à la première et à la deuxième caméra, des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à mélanger un signal vidéo reçu de la première caméra avec des images de synthèse du cockpit virtuel, en fonction d'informations reçues du capteur de mouvement, - des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à mélanger un signal vidéo reçu de la seconde caméra avec des images de synthèse du cockpit virtuel, en fonction d'informations reçues du capteur de mouvement, - des moyens d'affichage associés au casque de réalité virtuelle permettant à l'utilisateur de visualiser les images de synthèse du cockpit virtuel mélangées avec les signaux vidéo reçus de la première et de la seconde caméra.