FR2889754A1 - SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT - Google Patents
SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT Download PDFInfo
- Publication number
- FR2889754A1 FR2889754A1 FR0552476A FR0552476A FR2889754A1 FR 2889754 A1 FR2889754 A1 FR 2889754A1 FR 0552476 A FR0552476 A FR 0552476A FR 0552476 A FR0552476 A FR 0552476A FR 2889754 A1 FR2889754 A1 FR 2889754A1
- Authority
- FR
- France
- Prior art keywords
- cockpit
- real
- real cockpit
- user
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
L'invention concerne un système permettant à un utilisateur de visualiser un cockpit réel dans un environnement vidéo comprenant :- un cockpit réel d'un véhicule,- un écran cylindrique de couleur uniforme entourant le cockpit réel,- un casque de réalité virtuelle comprenant une première caméra installée dans le prolongement de l'oeil droit et une seconde caméra installée dans le prolongement de l'oeil gauche de l'utilisateur,- un capteur de mouvement,- des premiers moyens de traitement informatique destinés à mélanger un signal vidéo reçu de la première caméra avec des images de synthèse d'éléments ajoutés au cockpit réel,- des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à mélanger un signal vidéo reçu de la seconde caméra avec des images de synthèse d'éléments ajoutés au cockpit réel,- des moyens d'affichage permettant de visualiser le cockpit réel et les images de synthèse d'éléments ajoutés au cockpit réel.The invention relates to a system allowing a user to visualize a real cockpit in a video environment comprising: - a real cockpit of a vehicle, - a cylindrical screen of uniform color surrounding the real cockpit, - a virtual reality helmet comprising a first camera installed in the extension of the right eye and a second camera installed in the extension of the left eye of the user, - a motion sensor, - first computer processing means for mixing a video signal received from the first camera with synthetic images of elements added to the real cockpit, - second computer processing means, associated with a second computer equipment, for mixing a video signal received from the second camera with synthetic images of elements added to the real cockpit, - display means making it possible to visualize the real cockpit and the synthetic images of elements aj out of the real cockpit.
Description
Système permettant à un utilisateur de visualiser un cockpit réelSystem allowing a user to visualize a real cockpit
dans un environnement vidéo, notamment un environnement de conduite automobile L'inventeur a développé un produit, ci-après dénommé D'FUSION, qui permet de mixer et d'afficher en temps réel des images vidéo (en provenance de caméras) avec des images de synthèse, en utilisant du matériel PC standard. in a video environment, including a driving environment The inventor has developed a product, hereinafter called D'FUSION, which allows mixing and displaying in real time video images (from cameras) with images synthesis, using standard PC hardware.
Cette technologie permet de réaliser un enrichissement d'un cockpit réel par des images de synthèse. This technology makes it possible to enrich a real cockpit with computer-generated images.
- L'utilisateur s'installe dans un cockpit (par exemple dans le domaine automobile, le cockpit est tout simplement l'intérieur de la voiture, ou dans le domaine aéronautique, le cockpit est le poste de pilotage). - The user settles in a cockpit (for example in the automotive field, the cockpit is simply the interior of the car, or in the aeronautical field, the cockpit is the cockpit).
- Le cockpit est entouré d'un fond de couleur uniforme. - The cockpit is surrounded by a background of uniform color.
- L'utilisateur utilise un casque de réalité virtuelle ou HMD (Head Mounted Display). - The user uses a virtual reality headset or HMD (Head Mounted Display).
- Grâce à la technologie décrite dans ce document, l'utilisateur visualise, en temps réel: o Le cockpit réel. - Thanks to the technology described in this document, the user visualizes, in real time: o The real cockpit.
o Si besoin, des enrichissements virtuels intégrés au cockpit réel. o If necessary, virtual enrichments integrated into the real cockpit.
o Si besoin, l'extérieur du cockpit est une base de données de synthèse (par exemple un circuit routier dans le cas d'une application automobile). o If necessary, the exterior of the cockpit is a summary database (for example a road circuit in the case of an automotive application).
o Si besoin, l'utilisateur peut piloter son cockpit en temps réel dans le monde de synthèse. o If necessary, the user can control his cockpit in real time in the world of synthesis.
o Les bénéfices de la technologie décrite sont les suivants: ^ Tests et validation d'ergonomie d'un cockpit réel (pouvoir piloter la maquette réelle dans un monde de synthèse). o The benefits of the described technology are as follows: ^ Tests and validation of ergonomics of a real cockpit (to be able to pilot the real model in a world of synthesis).
^ Tests et validation d'enrichissements de cockpit (les ajouts virtuels sur le cockpit réel permettent de faire de nombreux tests sans réaliser réellement ces ajouts). ^ Tests and validation of cockpit enrichments (virtual additions on the real cockpit make it possible to do many tests without realizing these additions).
L'invention concerne un système permettant à un utilisateur de visualiser un cockpit réel dans un environnement vidéo, notamment un environnement de conduite automobile, caractérisé en ce qu'il comprend: -un cockpit réel d'un véhicule, notamment comprenant un siège, un tableau de bord, des montants, une partie d'un habitacle d'une automobile, - un écran cylindrique de couleur uniforme, notamment vert ou bleu, entourant le cockpit réel, - un casque de réalité virtuelle comprenant une première caméra installée dans le prolongement de l'oeil droit de l'utilisateur et une seconde caméra installée dans le prolongement de l'oeil gauche de l'utilisateur, - un capteur de mouvement associé à la première et à la deuxième caméra, - des premiers moyens de traitement informatique, associés à un premier équipement informatique, destinés à mélanger un signal vidéo reçu de la première caméra avec des images de synthèse d'éléments ajoutés au cockpit réel et/ou des images de synthèse représentant un environnement extérieur au cockpit réel, notamment un paysage routier, en fonction d'informations reçues du capteur de mouvement, - des seconds moyens de traitement informatique, associés à un second équipement informatique, destinés à mélanger un signal vidéo reçu de la seconde caméra avec des images de synthèse d'éléments ajoutés au cockpit réel et/ou des images de synthèse représentant un environnement extérieur au cockpit réel, notamment un paysage routier, en fonction d'informations reçues du capteur de mouvement, - des moyens d'affichage, associés au casque de réalité virtuelle, permettant à l'utilisateur de visualiser le cockpit réel, et les images de synthèse d'éléments ajoutés au cockpit réel et/ou les images de synthèse représentant un environnement extérieur au cockpit réel. The invention relates to a system enabling a user to visualize a real cockpit in a video environment, in particular an automobile driving environment, characterized in that it comprises: a real cockpit of a vehicle, notably comprising a seat, a dashboard, uprights, part of a passenger compartment of an automobile, - a cylindrical screen of uniform color, in particular green or blue, surrounding the real cockpit, - a virtual reality helmet including a first camera installed in the extension the right eye of the user and a second camera installed in the extension of the left eye of the user, - a motion sensor associated with the first and the second camera, - the first computer processing means, associated with a first computer equipment, for mixing a video signal received from the first camera with synthetic images of elements added to the real cockpit and / or computer graphics representing an environment outside the real cockpit, including a roadside landscape, based on information received from the motion sensor, - second computer processing means, associated with a second computer equipment, for mixing a video signal received from the second camera with synthetic images of elements added to the real cockpit and / or synthetic images representing an environment outside the real cockpit, in particular a road landscape, according to information received from the motion sensor, display, associated with the virtual reality headset, allowing the user to visualize the real cockpit, and the summary images of elements added to the real cockpit and / or the summary images representing an environment outside the real cockpit.
Description de la solution But de la solution Description of the solution Purpose of the solution
La solution permet de valider le design ainsi que l'ergonomie de l'intérieur du véhicule (planche de bord par exemple). The solution validates the design as well as the ergonomics of the interior of the vehicle (dashboard for example).
Grâce à la mise en oeuvre d'un casque virtuel stéréoscopique (le casque peut aussi être monoscopique), l'utilisateur voit en relief la planche de bord réelle, de plus à l'extérieur de la planche de bord l'utilisateur visualise un environnement synthétique (routes, bâtiments etc...). En final l'utilisateur peut valider l'ergonomie de la planche de bord mise en situation dans un environnement virtuel, l'utilisateur peut bien entendu déplacer sa tête selon 6 degrés de liberté (changements de position et d'orientation). Thanks to the implementation of a stereoscopic virtual headset (the helmet can also be monoscopic), the user sees in relief the real dashboard, moreover outside the dashboard the user visualizes an environment synthetic (roads, buildings etc ...). Finally the user can validate the ergonomics of the dashboard situation in a virtual environment, the user can of course move his head in 6 degrees of freedom (changes of position and orientation).
L'intérêt du système est qu'il propose une approche différente de l'utilisation de projecteurs vidéo et d'écrans de projection (cas des salles immersives traditionnelles) : coût de revient, fiabilité, rapidité d'installation etc... The advantage of the system is that it offers a different approach to the use of video projectors and projection screens (in the case of traditional immersive rooms): cost, reliability, speed of installation etc ...
Description générale de la solution General description of the solution
Le schéma ci-dessus décrit le principe de la solution: L'utilisateur est assis devant le tableau de bord réel d'un véhicule en cours de conception. Ce tableau de bord peut être plus ou moins complexe en fonction des besoins: il peut par exemple inclure ou non les montants du véhicule, il peut aussi être complété par un habitacle entourant plus ou moins l'utilisateur. The diagram above describes the principle of the solution: The user sits in front of the actual dashboard of a vehicle being designed. This dashboard may be more or less complex depending on the needs: it may for example include or not the amounts of the vehicle, it may also be completed by a cockpit surrounding more or less the user.
L'utilisateur est muni d'un casque de réalité virtuelle ou HMD (Head Mounted Display). Sur le casque sont fixés 2 caméras vidéo ainsi qu'un capteur de mouvement (par exemple, un capteur de marque Laser Bird (voir schéma suivant)). The user is equipped with a virtual reality headset or HMD (Head Mounted Display). On the headphones are attached 2 video cameras and a motion sensor (for example, a Laser Bird brand sensor (see following diagram)).
Un écran cylindrique de couleur uniforme entoure le tableau de bord. A cylindrical screen of uniform color surrounds the dashboard.
Ecran de couleur uniforme Casque Virtuel Screen of uniform color Virtual Headset
Tableau de bord réelReal dashboard
Dispositif embarqué sur la tête de l'utilisateur Tête de l'utilisateur Capteur (ex:Laser Bird) Device embedded on the head of the user Head of the user Sensor (ex: Laser Bird)
I !LwI! Lw
\\\\TCaméra oeil gauche Caméra oeil droit Casque virtuel (HMD) Le HMD peut être soit monoscopique (dans ce cas on utilise une seule caméra) soit stéréoscopique (dans ce cas on utilise deux caméras). \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\
Si le HMD est en mode stéréoscopique, deux caméras vidéo sont fixées sur le HMD: une caméra par oeil dans le but de restituer le relief à l'utilisateur. If the HMD is in stereoscopic mode, two video cameras are attached to the HMD: one camera per eye in order to restore the relief to the user.
Le dispositif de capture de mouvement (par exemple de type Laser Bird ) est aussi fixé au HMD pour que le logiciel récupère en temps réel la position et l'orientation du HMD, ce qui permet ensuite d'afficher les images de synthèse bien calées par rapport aux images vidéo. Le dispositif de capture de mouvement est rigidement lié aux caméras. The motion capture device (for example of the Laser Bird type) is also attached to the HMD so that the software retrieves in real time the position and the orientation of the HMD, which then makes it possible to display the computer images well calibrated by compared to video images. The motion capture device is rigidly linked to the cameras.
Principe du mixage des images de synthèse avec les images vidéo Le tableau de bord réel est placé devant un fond de couleur uniforme (fond bleu ou vert par exemple). Principle of mixing computer-generated images with video images The real dashboard is placed in front of a background of uniform color (blue or green background for example).
Les images vidéo en provenance des deux caméras sont acquises puis traitées selon l'algorithme du chroma-key: on autorise l'affichage des images de synthèse dans les zones où l'on rencontre la couleur bleu (schéma ci-dessous). The video images from the two cameras are acquired and then processed according to the chroma-key algorithm: we allow the display of computer images in the areas where we meet the blue color (diagram below).
Image vidéo originale Image après insertion du décor virtuel L'intérêt de cette technique est que le système informatique n'a pas besoin de connaître la forme de l'habitacle pour mixer les images vidéo avec les images virtuelles. Original video image Image after insertion of the virtual decoration The advantage of this technique is that the computer system does not need to know the shape of the cabin to mix the video images with the virtual images.
Image habitacle réel.Real interior image.
Fond bleu placé à l'extérieur de l'habitacle. Blue background placed outside the cockpit.
Les images de synthèse remplacent les zones bleues Architecture du système de génération d'images PC OEil Gauche Entrée Vidéo Computer Graphics Replace Blue Zones Architecture of Image Generation System PC Left Eye Video Input
O OO O
Genlock Sortie SXGA RS232 Capture de mouvement (ex: Laser Bird) : Genlock SXGA RS232 Output Motion Capture (ex: Laser Bird):
HMDHMD
Port Ethernet RJ45 É É Entrée Vidéo Genlock PC OEil Droit Port Ethernet RJ45 Sortie SXGA Caméra gauche Caméra droite Légendes: Signal Video Composite Signal Genlock (synchro) Signal par exemple XGA (1280 X 1024) RJ45 Ethernet Port E Video Input Genlock PC Right Eye RJ45 Ethernet Port SXGA Output Left Camera Right Camera Legends: Signal Composite Video Signal Genlock (sync) Signal eg XGA (1280 X 1024)
Description du système:Description of the system:
Deux PC sont utilisés: un PC génère les images pour l'oeil gauche, l'autre génère les images pour l'oeil droit. Two PCs are used: one PC generates the images for the left eye, the other generates the images for the right eye.
La caméra oeil gauche est branchée sur l'entrée vidéo du PC oeil gauche. The left eye camera is connected to the video input of the left eye PC.
La caméra oeil droit est branchée sur l'entrée vidéo du PC oeil droit. The right eye camera is connected to the video input of the right eye PC.
Chaque PC est en charge d'afficher en temps réel l'image vidéo en provenance de sa caméra mixée avec les images de synthèse. Each PC is in charge of displaying in real time the video image coming from its camera mixed with computer-generated images.
Le casque virtuel (HMD) est muni de deux entrées (par exemple de résolution SXGA), les deux PC génèrent des images à la résolution du HMD. The virtual headset (HMD) has two inputs (eg SXGA resolution), both PCs generate images at the resolution of the HMD.
Le système de capture de mouvement (par exemple de type Laser Bird ) est connecté à un des deux PC par le port série (RS232). Ce PC est en charge de transmettre les informations de position/orientation du Laser Bird vers le second PC par des envois sur réseau Ethernet. The motion capture system (for example of the Laser Bird type) is connected to one of the two PCs via the serial port (RS232). This PC is in charge of transmitting the position / orientation information of the Laser Bird to the second PC by sending over an Ethernet network.
Le casque virtuel impose le refresh rate (par exemple 60 Hz), les sortie vidéo des 2 PC auront un refresh rate compatible avec le casque. The virtual headset imposes the refresh rate (for example 60 Hz), the video output of the two PCs will have a refresh rate compatible with the headset.
Idéalement, le choix des caméras vidéo se portera sur les fonctionnalités suivantes: - Caméras vidéo avec un standard de balayage le plus proche du casque: o Par exemple 60 Hz (standard US) pour un casque à 60 Hz o Par exemple 50 Hz (standard Europe) pour un casque à 50 Hz Idéalement, les caméras vidéo ainsi que les sorties des cartes graphiques sont genlockable , ce qui permet de synchroniser les éléments suivants entre eux (voir schéma ci-dessus) : - les 2 cartes graphiques - les 2 caméras vidéo La synchronisation de ces 4 éléments permet d'obtenir les avantages suivants: - Le meilleur transport delay possible pour le système visuel. Ideally, the choice of video cameras will focus on the following features: - Video cameras with a scan standard closest to the headset: o For example 60 Hz (US standard) for headphones at 60 Hz o For example 50 Hz (standard) Europe) for a 50 Hz headphones Ideally, the video cameras as well as the outputs of the graphic cards are genlockable, which makes it possible to synchronize the following elements between them (see diagram above): - the 2 graphic cards - the 2 cameras video The synchronization of these 4 elements makes it possible to obtain the following advantages: - The best transport delay possible for the visual system.
- Une restitution stéréoscopique sans artefacts même en dynamique (durant les mouvements de l'utilisateur). - A stereoscopic restitution without artifacts even in dynamics (during the movements of the user).
Exemple des Moyens matériels mis en oeuvre pour réaliser la solution: Les deux PC oeil gauche et oeil droit : - Pentium 4, 3 Ghz. Example of the material means implemented to achieve the solution: The two PC left eye and right eye: - Pentium 4, 3 Ghz.
- Disque dur 80 Go.- 80 GB hard drive.
- RAM 1 Go.- RAM 1 GB.
- Cartes nVidia GeforceFX Quadro 4400G. - nVidia GeforceFX Quadro 4400G cards.
- Option Genlock (G-SYNC option card). - Genlock option (G-SYNC option card).
- Carte acquisition vidéo sur bus PCI, normes PAL et NTSC en entrée vidéo. - Video acquisition card on PCI bus, PAL and NTSC standards for video input.
- Operating System Windows XP professional. - Operating System Windows XP professional.
- Capteur de mouvement Laser Bird - Casque virtuel stéréoscopique Cas de Caméras en résolution SD: - 2 caméras NTSC sony XC555 avec entrée Genlock. Champ de vision le plus proche possible du champ de vision du casque pour chaque oeil (exemple: optique de focale 3.5 mm sur monture NF) . - Laser Bird motion sensor - stereoscopic virtual headset Camera case with SD resolution: - 2 NTSC sony XC555 cameras with Genlock input. Field of vision as close as possible to the field of vision of the helmet for each eye (example: 3.5 mm focal length optics on NF mount).
Remarque: Le système décrit peut aussi être compatible HD: Dans ce cas la solution hardware préconisée est la suivante: - Caméras vidéo avec une sortie HD-SDI ou camera link. Note: The described system can also be compatible HD: In this case the recommended hardware solution is as follows: - Video cameras with HD-SDI or camera link output.
- La carte d'acquisition est alors: o Soit une carte avec entrée HD-SDI (ex Decklink HD) sur bus PCI-X. - The acquisition card is then: o Either a card with HD-SDI input (eg Decklink HD) on PCI-X bus.
o Soit une carte avec entrée camera link. o Either a card with camera link input.
Moyens logiciels Le logiciel D'FUSION configuré spécifiquement pour la solution L'inventeur a développé le logiciel D'FUSION, qui permet de réaliser des applications de Réalité Augmentée. Software resources The FUSION software configured specifically for the solution The inventor has developed the FUSION software, which allows the realization of Augmented Reality applications.
Chaque PC oeil gauche et oeil droit , est équippé d'une licence runtime de la technologie D'FUSION. Each PC left eye and right eye, is equipped with a runtime license of FUSION technology.
Le logiciel D'FUSION est configuré avec les fonctionnalités suivantes: Acquisition et affichage de fluxs vidéo en temps réel avec de hautes performances. The FUSION software is configured with the following features: Acquisition and display of video streams in real time with high performance.
- Le traitement temps réel des fluxs vidéo pour corriger les distorsions optiques radiales des caméras vidéo et permettre ainsi de mettre en parfaite correspondance les images caméra avec les images de synthèse. - The real-time processing of video streams to correct the radial optical distortions of video cameras and allow to perfectly match the camera images with computer images.
- Dé-entrelacement des images vidéo avant tracé dans la boucle de rendu. - De-interlacing video images before tracing in the rendering loop.
- Le traitement temps réel du flux de motion capture (ex Laser Bird ) par des techniques d'extrapolations et d'interpolations pour synchroniser dynamiquement les flux vidéos et de synthèse, en recalculant les positions et orientations du capteur (ex Laser Bird ) aux dates de réception des images vidéo. - The real-time processing of the motion capture flow (ex Laser Bird) by extrapolations and interpolations techniques to dynamically synchronize the video and synthesis flows, by recalculating the positions and orientations of the sensor (ex Laser Bird) on the dates receiving video images.
- Le calcul temps réel des paramètres extrinsèques (positions/orientations par rapport à un repère absolu) des deux caméras vidéo oeil gauche et oeil droit pour faire correspondre les images caméras avec les images de synthèse. - The real-time calculation of the extrinsic parameters (positions / orientations relative to an absolute reference) of the two left-eye and right-eye video cameras to match the camera images with the computer-generated images.
- Les outils de calibration offline du système: o Calibration des distorsions optiques radiales des deux caméras (paramètres intrinsèques) par analyse d'image (mires de distorsions). - The offline calibration tools of the system: o Calibration of the radial optical distortions of the two cameras (intrinsic parameters) by image analysis (distortion patterns).
o Calibration des paramètres extrinsèques des caméras dans le repère du capteur (ex Laser Bird ) (méthode dite d'extraction de pose caméra ) . Cette calibration s'effectue à l'aide de l'outil de localisation (voir fichier outil localisation. doc). o Calibration of the extrinsic parameters of the cameras in the reference of the sensor (ex Laser Bird) (method called extraction of pose camera). This calibration is done using the localization tool (see localization tool file, doc).
- La fonction de chroma key qui peut être réalisée de deux manières différentes: o Transformation du flux vidéo en texture vidéo, avec formatage dans cette texture des données RGB et Alpha pour affichage ultérieur des images de synthèse à la place du fond bleu. - The function of chroma key which can be realized in two different ways: o Transformation of the video stream into a video texture, with formatting in this texture of the RGB and Alpha data for later display of the synthesis images instead of the blue background.
o A la fin de la boucle de rendu, l'image vidéo est tracée dans le back buffer avec l'algorithme suivant, pour chaque pixel: ^ Si le pixel à la couleur de l'écran uniforme placé à l'extérieur du cockpit, alors le pixel n'est pas tracé. o At the end of the rendering loop, the video image is plotted in the back buffer with the following algorithm, for each pixel: ^ If the pixel at the color of the uniform screen placed outside the cockpit, then the pixel is not drawn.
^ Sinon le pixel est tracé.^ Otherwise the pixel is drawn.
- Quelle que soit la manière de faire le chroma key, les performances du traitement chroma key sont optimisées grâce aux techniques des pixels shaders . - Whatever the way of the chroma key, chroma key processing performances are optimized thanks to pixel shader techniques.
Performances de la solution (système de génération d'images) Le tableau suivant résume les performances de la solution dans le cas d'un HMD ayant un refresh rate de 60 Hz et des entrées vidéo SXGA (1280 par 1024). Solution Performance (Image Generation System) The following table summarizes the performance of the solution for an HMD with a refresh rate of 60 Hz and SXGA video inputs (1280 by 1024).
Fonction Performance attendue Remarque Refresh Rate en sortie SXGA 60 Hz. 60 Hz imposé par l'utilisation des PC du casque (HMD) (fréquence de rafraîchissement des écrans LCD du HMD) Update Rate 60 Hz. On générera les images (fréquence de (images vidéo + synthèse) à la rafraîchissement des images) même fréquence que celle du Refresh Rate pour éviter les effets de dédoublement d'images. Function Expected performance Note Refresh Rate at SXGA output 60 Hz. 60 Hz imposed by the use of HMD (HMD) PCs (HMD LCD display refresh rate) Update Rate 60 Hz. Images will be generated (frame rate) video + synthesis) to refresh images) same frequency as the Refresh Rate to avoid the effects of image splitting.
Acquisitions vidéo Standard vidéo 60 Hz. Si besoin, les images vidéo sont désentrelacées avant mixage avec les images de synthèse. Video Acquisitions Standard 60 Hz video. If necessary, the video images are deinterlaced before mixing with the computer images.
Temps de réponse du système 33 ms (seulement si les Temps de réponse hors ( transport delay ) caméras sont genlockées affichage des images par le avec les cartes graphiques FX casque. System response time 33 ms (only if the response times out (transport delay) cameras are genlocked display images by the with the graphics cards FX headphones.
4400 G).4400 G).
Résolution des images SXGA: 1280 pixels par 1024 Les images en provenance des générées lignes caméras vidéo seront adaptées à la résolution SXGA par la méthode de ré- échantillonnage avec filtrage bi-linéaire. SXGA image resolution: 1280 pixels by 1024 The images from the generated video camera lines will be adapted to the SXGA resolution by the bi-linear filter resampling method.
Pour information: Inférieur à 5 ms grâce aux Le but est de laisser environ Temps de traitement pour une optimisations par les pixels 10 ms par cycle visuel pour acquisition vidéo + temps de shaders . afficher les polygones de la traitement des algorithmes de base de données de synthèse. For information: Less than 5 ms thanks to The goal is to leave approximately Processing time for an optimization by pixels 10 ms per visual cycle for video acquisition + shader time. display polygons for the processing of summary database algorithms.
type chroma key + temps de traitement des distorsions vidéo chroma key type + video distortion processing time
Claims (1)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0552476A FR2889754A1 (en) | 2005-08-09 | 2005-08-09 | SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT |
| EP06794314A EP1913765A2 (en) | 2005-08-09 | 2006-08-09 | Method and devices for visualising a real passenger compartment in a synthesis environment |
| PCT/FR2006/001932 WO2007017595A2 (en) | 2005-08-09 | 2006-08-09 | Method and devices for visualising a real passenger compartment in a synthesis environment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0552476A FR2889754A1 (en) | 2005-08-09 | 2005-08-09 | SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2889754A1 true FR2889754A1 (en) | 2007-02-16 |
Family
ID=37663328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0552476A Withdrawn FR2889754A1 (en) | 2005-08-09 | 2005-08-09 | SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1913765A2 (en) |
| FR (1) | FR2889754A1 (en) |
| WO (1) | WO2007017595A2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011116765A3 (en) * | 2010-03-24 | 2012-01-12 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Method for training a crew member of, in particular, a military vehicle |
| US10534430B2 (en) | 2017-03-23 | 2020-01-14 | Interdigital Ce Patent Holdings | Device and method for immersive visual representations and individual head equipment |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112908084A (en) * | 2021-02-04 | 2021-06-04 | 三一汽车起重机械有限公司 | Simulation training system, method and device for working machine and electronic equipment |
| CN113448445B (en) * | 2021-09-01 | 2021-11-30 | 深圳市诚识科技有限公司 | Target position tracking method and system based on virtual reality |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9121707D0 (en) * | 1991-10-12 | 1991-11-27 | British Aerospace | Improvements in computer-generated imagery |
| JP4878083B2 (en) * | 2001-03-13 | 2012-02-15 | キヤノン株式会社 | Image composition apparatus and method, and program |
| JP4022868B2 (en) * | 2002-11-13 | 2007-12-19 | マツダ株式会社 | Planning support program, method, apparatus and storage medium |
| JP4401727B2 (en) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | Image display apparatus and method |
-
2005
- 2005-08-09 FR FR0552476A patent/FR2889754A1/en not_active Withdrawn
-
2006
- 2006-08-09 WO PCT/FR2006/001932 patent/WO2007017595A2/en active Application Filing
- 2006-08-09 EP EP06794314A patent/EP1913765A2/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011116765A3 (en) * | 2010-03-24 | 2012-01-12 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Method for training a crew member of, in particular, a military vehicle |
| US9202385B2 (en) | 2010-03-24 | 2015-12-01 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Method for training a crew member of a, in particular, military vehicle |
| US10534430B2 (en) | 2017-03-23 | 2020-01-14 | Interdigital Ce Patent Holdings | Device and method for immersive visual representations and individual head equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007017595A2 (en) | 2007-02-15 |
| WO2007017595A3 (en) | 2007-04-05 |
| EP1913765A2 (en) | 2008-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11127217B2 (en) | Shared environment for a remote user and vehicle occupants | |
| US11823337B2 (en) | Systems and methods for enhancing and developing accident scene visualizations | |
| KR102359978B1 (en) | Mixed reality system with multi-source virtual content synthesis and method for creating virtual content using same | |
| JP4642723B2 (en) | Image generating apparatus and image generating method | |
| JP5815026B2 (en) | Simulated video for road information camera with additional viewpoint and increased resolution | |
| US20140285523A1 (en) | Method for Integrating Virtual Object into Vehicle Displays | |
| WO2012169355A1 (en) | Image generation device | |
| EP1840861A3 (en) | Forward looking virtual imaging | |
| JP2007042055A (en) | Image processing method and image processor | |
| CN110488979A (en) | A kind of automobile showing system based on augmented reality | |
| FR2889754A1 (en) | SYSTEM FOR USER TO VISUALIZE A REAL COCKPIT IN A VIDEO ENVIRONMENT, IN PARTICULAR A MOTOR DRIVING ENVIRONMENT | |
| US10088678B1 (en) | Holographic illustration of weather | |
| JP2011035638A (en) | Virtual reality space video production system | |
| CN105774657B (en) | Single-camera panoramic reverse image system | |
| CN111016787B (en) | Method and device for preventing visual fatigue in driving, storage medium and electronic equipment | |
| US11317082B2 (en) | Information processing apparatus and information processing method | |
| JP7176348B2 (en) | Image output system, method and program | |
| CN116661143A (en) | Image processing apparatus, image processing method, and storage medium | |
| FR2889753A1 (en) | SYSTEM FOR USER TO VIEW A VIRTUAL COCKPIT IN A VIDEO ENVIRONMENT | |
| KR20170044319A (en) | Method for extending field of view of head mounted display | |
| CN106412562A (en) | Method and system for displaying stereoscopic content in three-dimensional scene | |
| US8767053B2 (en) | Method and apparatus for viewing stereoscopic video material simultaneously with multiple participants | |
| CN104253951B (en) | Method and apparatus for adjusting the expression of the image on display screen | |
| JP6182883B2 (en) | Video signal processing apparatus, video display apparatus, and video signal processing method | |
| US20210255702A1 (en) | Method and system for displaying at least one spatial section depending on an eye position of a person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20070430 |