EP2132944A2 - Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant - Google Patents

Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant

Info

Publication number
EP2132944A2
EP2132944A2 EP08775670A EP08775670A EP2132944A2 EP 2132944 A2 EP2132944 A2 EP 2132944A2 EP 08775670 A EP08775670 A EP 08775670A EP 08775670 A EP08775670 A EP 08775670A EP 2132944 A2 EP2132944 A2 EP 2132944A2
Authority
EP
European Patent Office
Prior art keywords
image
screen
point
observer
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08775670A
Other languages
German (de)
English (en)
Inventor
Nicolas Filliard
Gilles Reymond
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP2132944A2 publication Critical patent/EP2132944A2/fr
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Definitions

  • the present invention relates generally to the projection of three-dimensional synthetic images on a two-dimensional screen. These projection systems are particularly used in simulation systems (eg driving simulation systems) and virtual reality systems.
  • simulation and virtual reality systems use panoramic projection screens to display computer-generated three-dimensional computer-generated images.
  • the curved screens are preferably used.
  • the projection on a curved screen necessarily produces a geometrical deformation of the images. But this deformation can be easily compensated by performing an inverse deformation using a static distortion correction module. In this way, the observer can visualize scenes in three dimensions with a correct perspective.
  • Known projection systems use hardware or software means which perform an inverse deformation of the image so as to compensate for the distortion produced by the curved screens (static distortion correction mentioned above).
  • These software hardware means are previously parameterized by an operator, depending on the geometric configuration of the projection system (optical characteristics of the projector (s) and geometric configuration of the screen).
  • the solution commonly used to avoid distortions due to the movements of the observer is to limit the movements of the latter around a point for which the projection system has been calibrated.
  • Document US 2005/01 40 575 describes a device for correcting the distortion generated by the projection of images on a curved screen.
  • This document proposes a method to very quickly perform an inverse deformation of an image by simple calculations and inexpensive in computing time, in order to display them correctly on the curved screen.
  • the parameters of the deformation are static. They require the intervention of an operator to adjust them for another configuration. Consequently, the device described in this document does not in any way make it possible to apply a deformation dependent on the point of view of the observer.
  • Document US 47 14 428 discloses a device for correcting distortions by applying an inverse deformation to the image to be displayed by a projector.
  • the proposed device is relatively complex since it requires a good knowledge of the correspondence between the image processed by the projector and the image actually displayed on the screen.
  • the correction device proposed by this document corrects the images by means of a single module which supports all the correction, that is to say both the correction of the so-called static deformation and the correction related to so-called dynamic deformation.
  • the device proposed by this document is therefore relatively complex and not very flexible.
  • Document US 544 68 34 describes a method used to display three-dimensional virtual images on CRT type screens while respecting the point of view of a chosen observer. This method requires a complete and mathematical modeling of the distortion caused by the display of the image on such screens (distortions due to the curvature and the optical properties of the screens). This modeling involves a relatively complex method.
  • Document JP 2004/35 69 89 discloses a geometric correction system of an input signal, to take account of the geometric configuration of the non-planar screens. However, this system does not make it possible to correct the distortions generated by the displacement of the observer.
  • An object of the invention is to propose a system for projecting three - dimensional images on a screen in two dimensions while correcting in a simple manner in real time and without the intervention of an operator, the distortions of the image generated by the Geometric configuration of the screen (static correction) and the movement of the observer in front of the screen (dynamic correction).
  • a three - dimensional image projection system is proposed on a two - dimensional screen, comprising a static correction module of each image, capable of deforming the image before its projection, depending on the configuration of the screen and with respect to a fixed reference point.
  • said system further comprises: a sensor able to detect in real time the position of a chosen observer looking at the screen, and
  • a dynamic correction module coupled upstream of the static correction module and able to automatically correct, in real time, the distortion created on each image by the movement of the observer with respect to said reference point, from said position of the observer, the position of the reference point and the configuration of the screen.
  • the image projection system comprises, in addition to a static correction module, a dynamic correction module that can correct the additional distortion caused by the movement of the observer in front of the screen.
  • This module is separate from the static correction module. This module is intended to operate in real time and independently of an operator intervention.
  • the invention has the particular advantage of having a relatively simple operation, in particular because the dynamic correction module is able to correct the distortion of the image created by the movement of the observer simply from the position of the observer, the position of the reference point and the configuration of the screen. Moreover, the invention has the advantage of no longer requiring the intervention of an operator during the projection.
  • the parameters to be set are those of the static correction module, the latter being set once and for all before the start of the image projection system.
  • said screen is curved. More particularly, the screen can be cylindrical, conical, spherical, toric. It can have the shape of any type of surface for which there is an analytical description (continuous or sampled).
  • the projection system may furthermore comprise an image generator comprising a calculation module capable of calculating a plane image according to a predefined configuration, on which each point of the image to be projected is placed as a function of its real position in space.
  • an image generator comprising a calculation module capable of calculating a plane image according to a predefined configuration, on which each point of the image to be projected is placed as a function of its real position in space.
  • said dynamic correction module may comprise a determining means able to determine for each point of the calculated plane image another point also situated on the plane image, such as the projection of the considered point of the plane image. on the screen relative to the reference point, and the projection of the other corresponding point on the screen relative to said position of the observer, coincide, and a substitution means adapted to substitute for each point of the plane image, the other corresponding point.
  • the dynamic correction module is coupled between the image generator and the static correction module.
  • a driving simulation apparatus comprising a three-dimensional image projection system on a two-dimensional screen, as described above.
  • a method for projecting three-dimensional images on a two-dimensional screen comprising a so-called static correction step in which each image is deformed before projection, depending on the configuration of the screen relative to a reference point.
  • the method further includes a step of detecting in real time the position of a selected observer looking at the screen, and a so-called dynamic correction step in which the distortion created on each image by the movement of the observer relative to the said reference point is corrected from the said observer position, the reference point position and the screen configuration.
  • the screen is curved.
  • the method may comprise an image generation step in which a plane image is calculated, on which each point of the image to be projected is placed in. a function of its real position in space, and in which the so - called dynamic correction step, may comprise a determination, for each point of the calculated plane image, of another point also situated on the plane image, such as the projection of the considered point of the image plane on the screen with respect to the reference point, and the projection of the other corresponding point on the screen with respect to said observer 's position, coincide, and a substitution. at each point of the plane image, of the other corresponding point.
  • the so-called dynamic correction step can be performed after the image generation step and before the so-called static correction step.
  • FIG. 1 schematically illustrates a projection system of three-dimensional images on a screen according to the invention
  • FIG. 2 represents a mode of implementation of the projection method according to the invention
  • FIG. 3 represents the different points calculated during the projection of the three-dimensional images on a curved screen.
  • FIG. 1 very schematically shows a three-dimensional image projection system 1 on a screen 2.
  • the screen 2 is cylindrical in shape. The image is projected on the surface of the screen.
  • the invention is not at all limited to cylindrical type projection screens. Indeed, the latter can be spherical, conical, toric or the shape of any type of surface for which there is an analytical description (continuous or sampled).
  • the projection system also includes video projectors, here three, referenced 3, 4 and 5.
  • the projectors 3, 4 and 5 are of any type and are generally arranged so as to form a composite image covering the screen 2.
  • Only one video projector can be used. An observer is placed in front of the screen, the position of the latter is generally determined from the position of his head and more particularly from the position of his eyes.
  • a three-dimensional position sensor referenced 7 can detect the position of the observer. More precisely in this example, the sensor 7 makes it possible to locate the three-dimensional position of the observer's eye, in order to dynamically update the point of view considered for displaying the three-dimensional image.
  • the position of the eye is given with respect to a mark R.
  • the position determined by the sensor is transmitted to an image generator 8 via a connection 9.
  • the image generator 8 generates, according to the position of the observer 's eye, three - dimensional images which will be displayed on the screen 2. To do this, the image generator 8 comprises a calculation module 10 whose function will be explained in more detail below.
  • the image generated by the image generator 8 is transmitted to a dynamic correction module 11, via a connection 12.
  • the dynamic correction module 1 1 also receives via a connection 13 the three-dimensional position of the observer's eye delivered by the sensor 7.
  • the function of the dynamic correction module 11 is to deform the image generated by the image generator 8 so as to compensate for the movement of the observer with respect to a given static calibration point, referenced 6. deformation can be applied using a technique called "pixel shading" in English, commonly available in current graphics cards. The main steps of this technique will be detailed below.
  • the dynamic correction module comprises a determination means 14 and a substitution means 15 whose functions will be explained in more detail below.
  • the dynamic correction module 1 1 comprises a memory 16 able to memorize the configuration of the curved screen 2.
  • the image deformed by the dynamic correction module 11 is then transmitted to a static correction module 17 via a connection 18.
  • the static correction module 17 performs an additional deformation of the image, so as to compensate for the distortions generated by the configuration of the curved screen 2 and the optical characteristics of the projectors 3, 4 and 5.
  • the static distortion correction module 17 deforms a projected image so as to provide a correct perspective view for a given point of view, referenced 6, generally chosen in the center of the screen (this position is transmitted via a connection 19). This view is also used by the Distortion 1 1 dynamic correction module mentioned above. This reference point is therefore transmitted to the module 1 1 via a connection 20.
  • the static correction module 17 is set by an operator prior to the projection. The adjustments are made once and for all and do not require any additional intervention by the operator during projection.
  • the dynamic correction module 1 1 for its part operates automatically, in real time depending on the position of the eye of the observer.
  • the static correction module is coupled to the projectors 3, 4 and 5 via a connection 21, so as to transmit the image to be projected.
  • the dynamic correction module 1 1 and the static correction module 17 are described. Firstly, the detector is detected. position of the observer, in particular the position of his eye, 100. Then, according to this position, the three-dimensional synthesis image is generated which will have to be displayed on the screen, 200.
  • the image generation 200 comprises in particular the calculation of a plane image, 201.
  • the calculation 201 is carried out by the calculation module referenced 10 in FIG.
  • each point of the three-dimensional synthesis image to be displayed is placed back into a plane image calculated by the calculation module of the image generator.
  • the plane image 30 is shown in FIG. 3.
  • the position of the plane image 30 is predefined by an operator within the calculation module 10.
  • a N 3 D point of a three-dimensional synthetic image is represented, if it is actually represented in space.
  • a point P corresponds to the point N 3D , once it has been represented in a plane in two dimensions, here the plane image
  • a dynamic correction 300 is performed at this plane image.
  • the dynamic correction 300 is performed by the dynamic correction module 1 1 of Figure 1.
  • the dynamic correction step comprises in particular a determination step for each point M of the plane image 30 of another point P.
  • the dynamic correction step 300 comprises a determination 301, for each point M of the calculated plane image, of another point P also situated on the plane image
  • the point N represented on the screen 2 corresponds to the common projection of the point M and of the other point P on the screen 2 as a function respectively of the reference position of the observer E Ref and the determined position of the observer E.
  • the substitution step 302 is performed by the substitution means 15 of FIG. 1.
  • the dynamic correction step 300 is repeated for all the points of the computer-generated image in three dimensions.
  • the image is effectively projected 500 on the screen.
  • the image of the point N 3 D on the screen 2, seen from the position E of the observer, is the point N.
  • the projection system can be used in driving simulators, a virtual world animation device, or an immersive CAD data visualization device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

L'invention vise un système de projection d'images en trois dimensions sur un écran (2) en deux dimensions, comprenant un module de correction statique (17) de chaque image, apte à déformer l'image avant sa projection, en fonction de la configuration de l'écran et ce par rapport à un point de référence fixé. Ledit système comporte en outre un capteur (7) apte à détecter en temps réel la position d'un observateur choisi regardant l'écran, et un module de correction dynamique (11) couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion crée sur chaque image par le mouvement de l'observateur par rapport audit point de référence, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran.

Description

Système de proj ection d'images en trois dimensions sur un écran en deux dimensions et procédé correspondant
La présente invention concerne, d'une manière générale, la projection d'images de synthèse en trois dimensions sur un écran en deux dimensions. Ces systèmes de projection sont notamment utilisés dans les systèmes de simulation (par exemple les systèmes de simulation de conduite) et les systèmes de réalité virtuelle.
En effet, les systèmes de simulation et de réalité virtuelle utilisent des écrans de projection panoramique pour afficher des images de synthèse en trois dimensions calculées par ordinateur. Afin d' augmenter le champ de vision disponible pour l'utilisateur tout en minimisant les variations de distance œil-écran, les écrans courbes sont préférentiellement utilisés. La projection sur un écran courbe produit nécessairement une déformation géométrique des images. Mais cette déformation peut être facilement compensée en effectuant une déformation inverse à l' aide d'un module de correction des distorsions statiques. De cette façon, l' observateur peut visualiser des scènes en trois dimensions avec une perspective correcte.
Cependant, les systèmes de projection actuels sur un écran courbe sont conçus pour un unique point de vue. En d' autres termes, chaque déplacement de l' observateur entraîne une distorsion de l' image qu' il visualise. Cette distorsion est distincte de celle engendrée par la courbure de l' écran.
Or, de nombreuses applications nécessitent des déplacements de l' observateur.
Les systèmes connus de proj ection utilisent des moyens matériels ou logiciels qui effectuent une déformation inverse de l' image de façon à compenser la distorsion produite par les écrans courbes (correction de distorsion statique mentionnée ci-avant). Ces moyens matériels logiciels sont paramétrés préalablement par un opérateur, en fonction de la configuration géométrique du système de projection (caractéristiques optiques du(des) projecteur(s) et configuration géométrique de l' écran).
Par contre, la solution couramment employée pour éviter les distorsions dues aux mouvements de l' observateur est de limiter les déplacements de ces derniers autour d'un point pour lequel le système de projection a été calibré.
Alternativement, il est également possible d'effectuer des calculs de correction d' image de la distorsion liée aux mouvements de l' observateur, au niveau du générateur d' images de synthèse en trois dimensions. Cependant, cette solution nécessite une connaissance très complète de la configuration géométrique du système de projection, qui n' est pas touj ours disponible en pratique. De plus, cette solution est relativement coûteuse en temps de calcul.
Plus précisément, il est connu du document US 2006/00 77 355 un moyen de correction de la distorsion pour des systèmes utilisant plusieurs projecteurs. Ce moyen permet d' obtenir une image continue sur l' écran sans souffrir des déformations dues à la forme de cet écran. Cependant, aucune mise à jour en temps réel des paramètres de correction n' est prévue.
Le document US 2005/01 40 575 décrit un dispositif de correction de la distorsion engendrée par la projection des images sur un écran courbe. Ce document propose une méthode pour réaliser très rapidement une déformation inverse d'une image par des calculs simples et peu coûteux en temps de calcul, afin de les afficher correctement sur l' écran courbe. Toutefois, les paramètres de la déformation sont statiques. Ils nécessitent l' intervention d'un opérateur afin de les régler pour une autre configuration. Par conséquent, le dispositif décrit dans ce document ne permet aucunement d' appliquer une déformation dépendant du point de vue de l' observateur.
On connaît du document US 47 14 428 un dispositif pour corriger les distorsions en appliquant une déformation inverse sur l' image devant être affichée par un projecteur. Cependant, le dispositif proposé est relativement complexe puisqu' il nécessite d' avoir une bonne connaissance de la correspondance entre l' image traitée par le projecteur et l' image effectivement affichée sur l' écran. En outre, le dispositif de correction proposé par ce document corrige les images à l' aide d'un unique module qui prend en charge toute la correction, c' est-à-dire à la fois la correction de la déformation dite statique et la correction liée à la déformation dite dynamique. Le dispositif proposé par ce document est donc relativement complexe et peu flexible.
Le document US 544 68 34 décrit une méthode utilisée pour afficher des images virtuelles en trois dimensions sur des écrans de type CRT en respectant le point de vue d'un observateur choisi. Cette méthode nécessite une modélisation complète et mathématique de la distorsion causée par l' affichage de l'image sur de tels écrans (distorsions dues à la courbure et aux propriétés optiques des écrans). Cette modélisation implique une méthode relativement complexe.
On connaît par le document JP 2004/35 69 89 un système de correction géométrique d'un signal d' entrée, pour tenir compte de la configuration géométrique des écrans non-plans. Cependant ce système ne permet aucunement de corriger les distorsions générées par le déplacement de l' observateur.
L 'invention vise à apporter une solution à ces problèmes. Un but de l' invention est de proposer un système pour projeter des images en trois dimensions sur un écran en deux dimensions tout en corrigeant de manière simple en temps réel et sans intervention d'un opérateur, les distorsions de l' image engendrées par la configuration géométrique de l 'écran (correction statique) et le déplacement de l' observateur devant l' écran (correction dynamique).
A cet effet, selon un premier aspect de l' invention, il est proposé un système de projection d' images en trois dimensions sur un écran en deux dimensions, comprenant un module de correction statique de chaque image, apte à déformer l' image avant sa projection, en fonction de la configuration de l' écran et ce par rapport à un point de référence fixé.
Selon une caractéristique générale de cet aspect de l' invention, ledit système comporte en outre - un capteur apte à détecter en temps réel la position d'un observateur choisi regardant l' écran, et
- un module de correction dynamique couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion créée sur chaque image par le mouvement de l' observateur par rapport audit point de référence, à partir de ladite position de l' observateur, de la position du point de référence et de la configuration de l' écran.
En d' autres termes, le système de projection d' images selon l' invention comprend, outre un module de correction statique, un module de correction dynamique pouvant corriger la distorsion supplémentaire engendrée par le mouvement de l' observateur devant l' écran. Ce module est distinct du module de correction statique. Ce module est prévu pour opérer en temps réel et indépendamment d'une intervention d'un opérateur.
L ' invention a notamment pour avantage d' avoir un fonctionnement relativement simple, notamment grâce au fait que le module de correction dynamique est capable de corriger la distorsion de l' image crée par le mouvement de l' observateur simplement à partir de la position de l' observateur, de la position du point de référence et de la configuration de l' écran. Par ailleurs, l 'invention a pour avantage de ne plus nécessiter l' intervention d'un opérateur au cours de la projection. En effet, les paramètres devant être réglés sont ceux du module de correction statique, ces derniers étant réglés une fois pour toutes avant le démarrage du système de projection d' images. De préférence, ledit écran est courbe. Plus particulièrement, l' écran peut être cylindrique, conique, sphérique, torique. Il peut avoir la forme de tout type de surface pour laquelle on dispose d'une description analytique (continue ou échantillonnée).
Selon un mode de réalisation, le système de projection peut comprendre en outre un générateur d' images comportant un module de calcul apte à calculer une image plane selon une configuration prédéfinie, sur laquelle chaque point de l' image à projeter est placé en fonction de sa position réelle dans l' espace.
Par ailleurs, ledit module de correction dynamique peut comprendre un moyen de détermination apte à déterminer pour chaque point de l' image plane calculé, un autre point également situé sur l' image plane, tel que la projection du point considéré de l' image plane sur l' écran par rapport au point de référence, et la projection de l' autre point correspondant sur l' écran par rapport à ladite position de l' observateur, coïncident, et un moyen de substitution apte à substituer à chaque point de l' image plane, l' autre point correspondant. Selon un mode de réalisation, le module de correction dynamique est couplé entre le générateur d' images et le module de correction statique.
Selon un autre aspect de l' invention, il est proposé un appareil de simulation de conduite comprenant un système de projection d' images en trois dimensions sur un écran en deux dimensions, tel que décrit ci-avant.
Selon un autre aspect de l' invention, il est proposé un procédé de projection d' images en trois dimensions sur un écran en deux dimensions comprenant une étape de correction dite statique dans laquelle chaque image est déformée avant sa projection, en fonction de la configuration de l' écran, et ce par rapport à un point de référence.
Ledit procédé comporte en outre, une étape de détection en temps réel de la position d'un observateur choisi regardant l' écran, et une étape de correction dite dynamique dans laquelle la distorsion créée sur chaque image par le mouvement de l' observateur par rapport audit point de référence est corrigée, à partir de ladite position de l' observateur, de la position du point de référence et de la configuration de l' écran. De préférence, selon un mode de mise en œuvre, l' écran est courbe.
Selon un mode de mise en œuvre, le procédé peut comprendre une étape de génération d' images dans laquelle on calcule une image plane, sur laquelle chaque point de l' image à projeter est placé en fonction de sa position réelle dans l 'espace, et dans laquelle l'étape de correction dite dynamique, peut comprendre une détermination, pour chaque point de l' image plane calculé, d'un autre point également situé sur l' image plane, tel que la projection du point considéré de l' image plane sur l' écran par rapport au point de référence, et la projection de l' autre point correspondant sur l 'écran par rapport à ladite position de l' observateur, coïncident, et une substitution à chaque point de l' image plane, de l' autre point correspondant. Selon un mode de mise en œuvre, l'étape de correction dite dynamique peut être réalisée après l' étape de génération d' images et avant l' étape de correction dite statique.
D ' autres avantages et caractéristiques de l' invention apparaîtront à l' examen de la description détaillée d'un mode de réalisation de l' invention, et d'un mode de mise en œuvre, nullement limitatifs, et des dessins annexés, sur lesquels : la figure 1 illustre schématiquement un système de projection d' images en trois dimensions sur un écran selon l' invention ; - la figure 2 représente un mode de mise en œuvre du procédé de projection selon l' invention ; et la figure 3 représente les différents points calculés lors de la projection des images en trois dimensions sur un écran courbe. Sur la figure 1 , est représenté très schématiquement un système de projection d' images en trois dimensions 1 , sur un écran 2. Dans cet exemple, l' écran 2 est de forme cylindrique. L ' image est projetée sur la surface de l' écran. Cependant, l' invention n' est pas du tout limitée aux écrans de projection de type cylindrique. En effet, ce dernier peut être de type sphérique, conique, torique ou de la forme de tout type de surface pour laquelle on dispose d'une description analytique (continue ou échantillonnée).
Le système de projection comprend également des projecteurs vidéos, ici trois, référencés 3 , 4 et 5.
Les projecteurs 3 , 4 et 5 sont de type quelconque et généralement disposés de manière à former une image composite couvrant l' écran 2.
Un seul projecteur vidéo peut être utilisé. Un observateur est placé devant l' écran, la position de celui-ci est généralement déterminée à partir de la position de sa tête et plus particulièrement à partir de la position de ses yeux.
A cet effet, un capteur de position en trois dimensions référencé 7 permet de détecter la position de l' observateur. Plus précisément dans cet exemple, le capteur 7 permet de repérer la position en trois dimensions de l' oeil de l ' observateur, afin de mettre à jour dynamiquement le point de vue considéré pour l' affichage de l 'image en trois dimensions. La position de l' oeil est donnée par rapport à un repère R. La position déterminée par le capteur est transmise à un générateur d'images 8 via une connexion 9.
Le générateur d' images 8 génère en fonction de la position de l' oeil de l' observateur, des images en trois dimensions qui seront affichée sur l' écran 2. Pour ce faire, le générateur d' images 8 comprend un module de calcul 10 dont la fonction sera explicitée plus en détail ci-après.
L' image générée par le générateur d' images 8 est transmise à un module de correction dynamique 1 1 , via une connexion 12. Le module de correction dynamique 1 1 reçoit également via une connexion 13 la position en trois dimensions de l' oeil de l' observateur délivrée par le capteur 7.
Le module de correction dynamique 1 1 a notamment pour fonction de déformer l' image générée par le générateur d' images 8, de manière à compenser le mouvement de l' observateur par rapport à un point d' étalonnage statique donné, référencé 6. Cette déformation peut être appliquée à l' aide d'une technique dite de « pixel shading » en langue anglaise, couramment disponible dans les cartes graphiques actuelles. Les principales étapes de cette technique seront détaillées ci-après.
Plus précisément, le module de correction dynamique comprend un moyen de détermination 14 et un moyen de substitution 15 dont les fonctions seront explicitées plus en détail ci-après. Par ailleurs, le module de correction dynamique 1 1 comprend une mémoire 16 apte à mémoriser la configuration de l' écran courbe 2.
L 'image déformée par le module de correction dynamique 1 1 est alors transmise à un module de correction statique 17 via une connexion 18. Le module de correction statique 17 effectue une déformation supplémentaire de l' image, de façon à compenser les distorsions engendrées par la configuration de l' écran courbe 2 et par les caractéristiques optiques des projecteurs 3 , 4 et 5.
Plus précisément, le module de correction statique 17 de distorsion réalise une déformation d'une image projetée de sorte à fournir une vue perspective correcte pour un point de vue donné, référencé 6, généralement choisi au centre de l' écran (cette position est transmise via une connexion 19). Ce point de vue est également utilisé par le module de correction dynamique 1 1 de distorsion mentionné ci-avant. Ce point de référence est donc transmis au module 1 1 via une connexion 20.
Le module de correction statique 17 est réglé par un opérateur préalablement à la projection. Les réglages sont effectués une fois pour toutes et ne nécessitent pas d' intervention supplémentaire de l' opérateur au cours de la projection. Le module de correction dynamique 1 1 fonctionne quant à lui automatiquement, en temps réel en fonction de la position de l' oeil de l 'observateur.
Enfin, le module de correction statique est couplé aux projecteurs 3 , 4 et 5 via une connexion 21 , de manière à leur transmettre l' image à projeter.
On se réfère à présent à la figure 2 qui décrit plus précisément l' algorithme mis en œuvre par le générateur d' images 8 , le module de correction dynamique 1 1 et le module de correction statique 17. Tout d' abord, on détecte la position de l ' observateur, en particulier la position de son oeil, 100. Puis, en fonction de cette position, on génère l' image de synthèse en trois dimensions qui devra être affichée sur l' écran, 200.
La génération d'images 200, comprend notamment le calcul d'une image plane, 201. Le calcul 201 est effectué par le module de calcul référencé 10 sur la figure 1.
Plus précisément, chaque point de l' image de synthèse en trois dimensions à afficher, est replacé dans une image plane calculée par le module de calcul du générateur d'images. L 'image plane 30 est représentée sur la figure 3. La position de l' image plane 30 est prédéfinie par un opérateur au sein du module de calcul 10. Sur la figure 3 , est représenté un point N3D d'une image de synthèse en trois dimensions, si celle-ci était réellement représentée dans l' espace.
Un point P correspond au point N3D, une fois que l' on a représenté celui-ci dans un plan en deux dimensions, ici l' image plane
30.
On se réfère à nouveau à la figure 2. On effectue au niveau de cette image plane une correction dynamique 300.
La correction dynamique 300 est effectuée par le module de correction dynamique 1 1 de la figure 1.
L 'étape de correction dynamique comprend notamment une étape de détermination pour chaque point M de l' image plane 30 d'un autre point P.
Plus précisément, l' étape de correction dynamique 300 comprend une détermination 301 , pour chaque point M de l' image plane calculée, d'un autre point P également situé sur l' image plane
30, tel que la projection du point M considéré sur l' écran 2, par rapport au point de référence ERef (position de référence de l' observateur), et la projection de l' autre point correspondant P sur l' écran 2 par rapport à ladite position de l'observateur E (position en trois dimensions déterminée par le capteur 7), coïncident.
Cette opération de la détermination du point P par rapport à un point M donné est très facilement réalisée par la technique du « pixelshading » mentionnée ci-avant. Les points mentionnés ci-dessus sont illustrés sur la figure 3.
Le point N représenté sur l' écran 2 correspond à la projection commune du point M et de l 'autre point P sur l' écran 2 en fonction respectivement de la position de référence de l' observateur ERef et de la position déterminée de l' observateur E. On se réfère à nouveau à la figure 2.
Une fois que l' autre point P est déterminé, on le substitue au point M correspondant 302. L ' étape de substitution 302 est effectuée par le moyen de substitution 15 de la figure 1. L 'étape de correction dynamique 300 est répétée pour tous les points de l'image de synthèse en trois dimensions.
Puis, on procède à une correction statique 400 sur l' image où l' on a remplacé le point M par le point P.
Une fois la correction statique 400 effectuée, on projette 500 effectivement l' image sur l' écran.
L 'image du point N3D sur l'écran 2, vue depuis la position E de l' observateur, est le point N.
Le système de projection peut être utilisé au sein de simulateurs de conduite, d'un appareil d'animation de monde virtuel, ou encore d'un appareil de visualisation immersive de données CAO.
Il peut également être utilisé pour des projections d' images sur des surfaces courbes translucides (par exemple en rétro-projection) ou réflectives (par exemple sur des surfaces vitrées semi-réflechissantes).

Claims

REVENDICATIONS
1 - Système de projection d' images en trois dimensions sur un écran (2) en deux dimensions, comprenant un module de correction statique ( 17) de chaque image, apte à déformer l' image avant sa projection, en fonction de la configuration de l 'écran et ce par rapport à un point de référence fixé, ledit système étant caractérisé en ce qu' il comporte en outre un capteur (7) apte à détecter en temps réel la position d'un observateur choisi regardant l' écran, et un module de correction dynamique ( 1 1 ) couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion crée sur chaque image par le mouvement de l' observateur par rapport audit point de référence, à partir de ladite position de l' observateur, de la position du point de référence et de la configuration de l' écran.
2-Système selon la revendication précédente, dans lequel ledit écran (2) est courbe.
3-Système de projection selon la revendication 1 ou 2, comprenant en outre un générateur d' image comportant un module de calcul ( 10) apte à calculer une image plane selon une configuration prédéfinie, sur laquelle chaque point de l' image à projeter est placé en fonction de sa position réelle dans l' espace, et dans lequel ledit module de correction dynamique ( 1 1 ) comprend un moyen de détermination ( 14) apte à déterminer pour chaque point de l' image plane calculée, un autre point également situé sur l' image plane, tel quel la projection du point considéré de l' image plane sur l' écran par rapport au point de référence, et la projection de l' autre point correspondant sur l'écran par rapport à ladite position de l' observateur, coïncident, et un moyen de substitution ( 15) apte à substituer à chaque point de l' image plane, l' autre point correspondant. 4- Système de projection selon la revendication précédente, dans lequel le module de correction dynamique ( 1 1 ) est couplé entre le générateur d'images et le module de correction statique.
6-Appareil de simulation de conduite comprenant un système de projection d' images en trois dimensions sur un écran en deux dimensions, tel que revendiqué dans l'une des revendications précédentes.
7-Procédé de projection d' images en trois dimensions sur un écran en deux dimensions, comprenant une étape de correction dite statique (400) dans laquelle chaque image est déformée avant sa projection, en fonction de la configuration de l 'écran et ce par rapport à un point de référence, ledit procédé étant caractérisé en ce qu' il comporte en outre, une étape de détection ( 100) en temps réel de la position d'un observateur choisi regardant l' écran, et une étape de correction dite dynamique (300) dans laquelle la distorsion crée sur chaque image par le mouvement de l' observateur par rapport audit point de référence est corrigée, à partir de ladite position de l' observateur, de la position du point de référence et de la configuration de l' écran. 8-Procédé selon la revendication précédente, dans lequel l' écran est courbe.
9-Procédé selon la revendication 7 ou 8, comprenant une étape de génération d' images (200) dans laquelle on calcule (210) une image plane, sur laquelle chaque point de l' image à projeter est placé en fonction de sa position réelle dans l 'espace, et dans laquelle l'étape de correction dite dynamique (300), comprend une détermination (301 ), pour chaque point de l' image plane calculée, d'un autre point également situé sur l' image plane, tel quel la projection du point considéré de l' image plane sur l' écran par rapport au point de référence, et la projection de l' autre point correspondant sur l' écran par rapport à ladite position de l' observateur, coïncident, et une substitution (302) à chaque point de l' image plane, de l' autre point correspondant.
10-Procédé selon la revendication précédente, dans laquelle l' étape de correction dite dynamique est réalisée après l' étape de génération d' images et avant l' étape de correction dite statique.
EP08775670A 2007-03-09 2008-03-04 Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant Ceased EP2132944A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0753747A FR2913552B1 (fr) 2007-03-09 2007-03-09 Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant
PCT/FR2008/050367 WO2008122742A2 (fr) 2007-03-09 2008-03-04 Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant

Publications (1)

Publication Number Publication Date
EP2132944A2 true EP2132944A2 (fr) 2009-12-16

Family

ID=38627048

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08775670A Ceased EP2132944A2 (fr) 2007-03-09 2008-03-04 Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant

Country Status (5)

Country Link
US (1) US20100149319A1 (fr)
EP (1) EP2132944A2 (fr)
JP (1) JP2010525375A (fr)
FR (1) FR2913552B1 (fr)
WO (1) WO2008122742A2 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269902B2 (en) 2009-06-03 2012-09-18 Transpacific Image, Llc Multimedia projection management
KR20110077672A (ko) * 2009-12-30 2011-07-07 전자부품연구원 가상 현실 캡슐 시스템
FR2983330B1 (fr) * 2011-11-24 2014-06-20 Thales Sa Procede et dispositif de representation d'environnements synthetiques
CN103149786B (zh) * 2013-03-29 2016-08-03 北京臻迪科技股份有限公司 全景屏幕、全景屏幕系统及其操作方法
EP2987027B1 (fr) * 2013-04-16 2018-12-12 Imax Corporation Projection double dans une courte distance d'écran
EP3392706B1 (fr) * 2015-12-16 2021-12-29 Sony Group Corporation Dispositif d'affichage d'image
DE102017010683B4 (de) * 2017-11-17 2019-08-14 domeprojection.com GmbH Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
CN114004733B (zh) * 2021-09-22 2025-02-21 苏州金橙子激光技术有限公司 基于二维振镜曲面投影的校正方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
DE69524332T2 (de) * 1994-09-19 2002-06-13 Matsushita Electric Ind Co Ltd Vorrichtung zur dreidimensionalen Bildwiedergabe
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
JPH09274144A (ja) * 1996-04-02 1997-10-21 Canon Inc 画像表示装置
US6304263B1 (en) * 1996-06-05 2001-10-16 Hyper3D Corp. Three-dimensional display system: apparatus and method
AU2154000A (en) * 1998-12-07 2000-06-26 Universal City Studios, Inc. Image correction method to compensate for point of view image distortion
US6144490A (en) * 1999-04-15 2000-11-07 Marsan; Kathryn A. Video display system having multiple panel screen assembly
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
DE10134430A1 (de) * 2001-07-19 2003-01-30 Daimler Chrysler Ag Verfahren und Anordnung zur stereoskopischen Projektion von Bildern
EP1442613A1 (fr) * 2001-10-24 2004-08-04 Neurok, LLC Projection d'images tridimensionnelles
CA2464569A1 (fr) * 2003-04-16 2004-10-16 Universite De Montreal Projecteur simple ou multiple pour surfaces arbitraires sans etalonnage ni reconstruction
JP3716258B2 (ja) * 2003-05-29 2005-11-16 Ｎｅｃビューテクノロジー株式会社 入力信号の幾何学補正システム
JP4266150B2 (ja) * 2003-10-20 2009-05-20 日本電信電話株式会社 投影装置、投影方法
JP4013922B2 (ja) * 2004-06-14 2007-11-28 松下電工株式会社 仮想現実感生成装置および方法
JP4488996B2 (ja) * 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
JP5340952B2 (ja) * 2006-11-29 2013-11-13 エフ・ポスザツト・ヒユー・エル・エル・シー 三次元投影ディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008122742A2 *

Also Published As

Publication number Publication date
FR2913552B1 (fr) 2009-05-22
FR2913552A1 (fr) 2008-09-12
WO2008122742A2 (fr) 2008-10-16
WO2008122742A3 (fr) 2008-12-04
JP2010525375A (ja) 2010-07-22
US20100149319A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
WO2008122742A2 (fr) Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant
US10948726B2 (en) IPD correction and reprojection for accurate mixed reality object placement
US12080012B2 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
KR102762580B1 (ko) 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템
JP7713949B2 (ja) ライブフィッティングを含む眼鏡フレームのフィッティング
CN109993713B (zh) 车载平视显示系统图像畸变矫正方法和装置
US20190251749A1 (en) Augmented Reality Mirror System
FR2983330A1 (fr) Procede et dispositif de representation d'environnements synthetiques
US10685457B2 (en) Systems and methods for visualizing eyewear on a user
EP3326147A1 (fr) Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane
FR3062229A1 (fr) Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes
US20230368403A1 (en) Systems and methods for facilitating display misalignment correction
WO2017187095A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
EP4356351B1 (fr) Procédé de simulation de produits optiques
FR3056770A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
EP1124212B1 (fr) Procédé et dispositif de présentation visuelle d'un espace virtuel à trois dimentsions simulant un véhicule automobile
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d
FR3166236A1 (fr) Traitement de données de réalité immersive pour une rémanence temporelle
WO2002039382A2 (fr) Procede de representation de scenes 3d en realite virtuelle et dispositif correspondant
WO2025012525A1 (fr) Technique de zoom par affichage iteratif de nouvelles images
FR3063559A1 (fr) Procede et dispositif electronique de determination d'un modele en perspective d'un objet, programme d'ordinateur et appareil electronique d'affichage associes
WO2025163253A1 (fr) Procédé de commande d'au moins un module caméra, programme d'ordinateur, dispositif de commande et système d'imagerie associés
EP3227743A1 (fr) Procédé d'étalonnage d'un système de restitution visuelle en réalité augmentée comprenant au moins un dispositif d'affichage partiellement transparent, par rapport à son utilisateur, et système associé
FR2836570A1 (fr) Procede de transmission de donnees d'images entre un serveur et un terminal
WO2025163252A1 (fr) Procédé de commande d'au moins un module caméra, programme d'ordinateur, dispositif de commande et système d'imagerie associés

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090804

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100125

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20111222