FR2913552A1

FR2913552A1 - Systeme de projection d'images en trois dimensions sur un ecran en deux dimensions et procede correspondant

Info

Publication number: FR2913552A1
Application number: FR0753747A
Authority: FR
Inventors: Nicolas Filliard; Gilles Reymond
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2007-03-09
Filing date: 2007-03-09
Publication date: 2008-09-12
Anticipated expiration: 2027-03-09
Also published as: WO2008122742A2; FR2913552B1; WO2008122742A3; JP2010525375A; US20100149319A1; EP2132944A2

Abstract

L'invention vise un système de projection d'images en trois dimensions sur un écran (2) en deux dimensions, comprenant un module de correction statique (17) de chaque image, apte à déformer l'image avant sa projection, en fonction de la configuration de l'écran et ce par rapport à un point de référence fixé. Ledit système comporte en outreun capteur (7) apte à détecter en temps réel la position d'un observateur choisi regardant l'écran, etun module de correction dynamique (11) couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion crée sur chaque image par le mouvement de l'observateur par rapport audit point de référence, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran.

Description

B06-5162FR - LB/EVH PJ 6641/YK

Société Anonyme dite : RENAULT s.a.s Système de projection d'images en trois dimensions sur un écran en deux dimensions et procédé correspondant

Invention de : FILLIARD Nicolas REYMOND Gilles

2 Système de projection d'images en trois dimensions sur un écran en deux dimensions et procédé correspondant

La présente invention concerne, d'une manière générale, la projection d'images de synthèse en trois dimensions sur un écran en deux dimensions. Ces systèmes de projection sont notamment utilisés dans les systèmes de simulation (par exemple les systèmes de simulation de conduite) et les systèmes de réalité virtuelle. En effet, les systèmes de simulation et de réalité virtuelle utilisent des écrans de projection panoramique pour afficher des images de synthèse en trois dimensions calculées par ordinateur. Afin d'augmenter le champ de vision disponible pour l'utilisateur tout en minimisant les variations de distance oeil-écran, les écrans courbes sont préférentiellement utilisés.

La projection sur un écran courbe produit nécessairement une déformation géométrique des images. Mais cette déformation peut être facilement compensée en effectuant une déformation inverse à l'aide d'un module de correction des distorsions statiques. De cette façon, l'observateur peut visualiser des scènes en trois dimensions avec une perspective correcte. Cependant, les systèmes de projection actuels sur un écran courbe sont conçus pour un unique point de vue. En d'autres termes, chaque déplacement de l'observateur entraîne une distorsion de l'image qu'il visualise. Cette distorsion est distincte de celle engendrée par la courbure de l'écran. Or, de nombreuses applications nécessitent des déplacements de l'observateur. Les systèmes connus de projection utilisent des moyens matériels ou logiciels qui effectuent une déformation inverse de

3 l'image de façon à compenser la distorsion produite par les écrans courbes (correction de distorsion statique mentionnée ci-avant). Ces moyens matériels logiciels sont paramétrés préalablement par un opérateur, en fonction de la configuration géométrique du système de projection (caractéristiques optiques du(des) projecteur(s) et configuration géométrique de l'écran). Par contre, la solution couramment employée pour éviter les distorsions dues aux mouvements de l'observateur est de limiter les déplacements de ces derniers autour d'un point pour lequel le système de projection a été calibré. Alternativement, il est également possible d'effectuer des calculs de correction d'image de la distorsion liée aux mouvements de l'observateur, au niveau du générateur d'images de synthèse en trois dimensions. Cependant, cette solution nécessite une connaissance très complète de la configuration géométrique du système de projection, qui n'est pas toujours disponible en pratique. De plus, cette solution est relativement coûteuse en temps de calcul. Plus précisément, il est connu du document US 2006/00 77 355 un moyen de correction de la distorsion pour des systèmes utilisant plusieurs projecteurs. Ce moyen permet d'obtenir une image continue sur l'écran sans souffrir des déformations dues à la forme de cet écran. Cependant, aucune mise à jour en temps réel des paramètres de correction n'est prévue. Le document US 2005/01 40 575 décrit un dispositif de correction de la distorsion engendrée par la projection des images sur un écran courbe. Ce document propose une méthode pour réaliser très rapidement une déformation inverse d'une image par des calculs simples et peu coûteux en temps de calcul, afin de les afficher correctement sur l'écran courbe. Toutefois, les paramètres de la

4 déformation sont statiques. Ils nécessitent l'intervention d'un opérateur afin de les régler pour une autre configuration. Par conséquent, le dispositif décrit dans ce document ne permet aucunement d'appliquer une déformation dépendant du point de vue de l'observateur. On connaît du document US 47 14 428 un dispositif pour corriger les distorsions en appliquant une déformation inverse sur l'image devant être affichée par un projecteur. Cependant, le dispositif proposé est relativement complexe puisqu'il nécessite d'avoir une bonne connaissance de la correspondance entre l'image traitée par le projecteur et l'image effectivement affichée sur l'écran. En outre, le dispositif de correction proposé par ce document corrige les images à l'aide d'un unique module qui prend en charge toute la correction, c'est-à-dire à la fois la correction de la déformation dite statique et la correction liée à la déformation dite dynamique. Le dispositif proposé par ce document est donc relativement complexe et peu flexible. Le document US 544 68 34 décrit une méthode utilisée pour afficher des images virtuelles en trois dimensions sur des écrans de type CRT en respectant le point de vue d'un observateur choisi. Cette méthode nécessite une modélisation complète et mathématique de la distorsion causée par l'affichage de l'image sur de tels écrans (distorsions dues à la courbure et aux propriétés optiques des écrans). Cette modélisation implique une méthode relativement complexe. On connaît par le document JP 2004/35 69 89 un système de correction géométrique d'un signal d'entrée, pour tenir compte de la configuration géométrique des écrans non-plans. Cependant ce système ne permet aucunement de corriger les distorsions générées par le déplacement de l'observateur. L'invention vise à apporter une solution à ces problèmes. Un but de l'invention est de proposer un système pour projeter des images en trois dimensions sur un écran en deux dimensions tout en corrigeant de manière simple en temps réel et sans intervention d'un opérateur, les distorsions de l'image engendrées par la 5 configuration géométrique de l'écran (correction statique) et le déplacement de l'observateur devant l'écran (correction dynamique). A cet effet, selon un premier aspect de l'invention, il est proposé un système de projection d'images en trois dimensions sur un écran en deux dimensions, comprenant un module de correction statique de chaque image, apte à déformer l'image avant sa projection, en fonction de la configuration de l'écran et ce par rapport à un point de référence fixé. Selon une caractéristique générale de cet aspect de l'invention, ledit système comporte en outre - un capteur apte à détecter en temps réel la position d'un observateur choisi regardant l'écran, et - un module de correction dynamique couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion créée sur chaque image par le mouvement de l'observateur par rapport audit point de référence, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran. En d'autres termes, le système de projection d'images selon l'invention comprend, outre un module de correction statique, un module de correction dynamique pouvant corriger la distorsion supplémentaire engendrée par le mouvement de l'observateur devant l'écran.

6 Ce module est distinct du module de correction statique. Ce module est prévu pour opérer en temps réel et indépendamment d'une intervention d'un opérateur. L'invention a notamment pour avantage d'avoir un fonctionnement relativement simple, notamment grâce au fait que le module de correction dynamique est capable de corriger la distorsion de l'image crée par le mouvement de l'observateur simplement à partir de la position de l'observateur, de la position du point de référence et de la configuration de l'écran.

Par ailleurs, l'invention a pour avantage de ne plus nécessiter l'intervention d'un opérateur au cours de la projection. En effet, les paramètres devant être réglés sont ceux du module de correction statique, ces derniers étant réglés une fois pour toutes avant le démarrage du système de projection d'images.

De préférence, ledit écran est courbe. Plus particulièrement, l'écran peut être cylindrique, conique, sphérique, torique. I1 peut avoir la forme de tout type de surface pour laquelle on dispose d'une description analytique (continue ou échantillonnée). Selon un mode de réalisation, le système de projection peut comprendre en outre un générateur d'images comportant un module de calcul apte à calculer une image plane selon une configuration prédéfinie, sur laquelle chaque point de l'image à projeter est placé en fonction de sa position réelle dans l'espace. Par ailleurs, ledit module de correction dynamique peut comprendre un moyen de détermination apte à déterminer pour chaque point de l'image plane calculé, un autre point également situé sur l'image plane, tel que la projection du point considéré de l'image plane sur l'écran par rapport au point de référence, et la projection de l'autre

7 point correspondant sur l'écran par rapport à ladite position de l'observateur, coïncident, et un moyen de substitution apte à substituer à chaque point de l'image plane, l'autre point correspondant.

Selon un mode de réalisation, le module de correction dynamique est couplé entre le générateur d'images et le module de correction statique. Selon un autre aspect de l'invention, il est proposé un appareil de simulation de conduite comprenant un système de projection d'images en trois dimensions sur un écran en deux dimensions, tel que décrit ci-avant. Selon un autre aspect de l'invention, il est proposé un procédé de projection d'images en trois dimensions sur un écran en deux dimensions comprenant une étape de correction dite statique dans laquelle chaque image est déformée avant sa projection, en fonction de la configuration de l'écran, et ce par rapport à un point de référence. Ledit procédé comporte en outre, une étape de détection en temps réel de la position d'un observateur choisi regardant l'écran, et une étape de correction dite dynamique dans laquelle la distorsion créée sur chaque image par le mouvement de l'observateur par rapport audit point de référence est corrigée, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran.

De préférence, selon un mode de mise en oeuvre, l'écran est courbe. Selon un mode de mise en oeuvre, le procédé peut comprendre une étape de génération d'images dans laquelle on calcule une image plane, sur laquelle chaque point de l'image à projeter est placé en

8 fonction de sa position réelle dans l'espace, et dans laquelle l'étape de correction dite dynamique, peut comprendre une détermination, pour chaque point de l'image plane calculé, d'un autre point également situé sur l'image plane, tel que la projection du point considéré de l'image plane sur l'écran par rapport au point de référence, et la projection de l'autre point correspondant sur l'écran par rapport à ladite position de l'observateur, coïncident, et une substitution à chaque point de l'image plane, de l'autre point correspondant.

Selon un mode de mise en oeuvre, l'étape de correction dite dynamique peut être réalisée après l'étape de génération d'images et avant l'étape de correction dite statique. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de réalisation de l'invention, et d'un mode de mise en oeuvre, nullement limitatifs, et des dessins annexés, sur lesquels : - la figure 1 illustre schématiquement un système de projection d'images en trois dimensions sur un écran selon l'invention ; - la figure 2 représente un mode de mise en oeuvre du procédé de projection selon l'invention ; et - la figure 3 représente les différents points calculés lors de la projection des images en trois dimensions sur un écran courbe.

Sur la figure 1, est représenté très schématiquement un système de projection d'images en trois dimensions 1, sur un écran 2. Dans cet exemple, l'écran 2 est de forme cylindrique. L'image est projetée sur la surface de l'écran. Cependant, l'invention n'est pas du tout limitée aux écrans de projection de type cylindrique.

9 En effet, ce dernier peut être de type sphérique, conique, torique ou de la forme de tout type de surface pour laquelle on dispose d'une description analytique (continue ou échantillonnée). Le système de projection comprend également des projecteurs vidéos, ici trois, référencés 3, 4 et 5. Les projecteurs 3, 4 et 5 sont de type quelconque et généralement disposés de manière à former une image composite couvrant l'écran 2. Un seul projecteur vidéo peut être utilisé.

Un observateur est placé devant l'écran, la position de celui-ci est généralement déterminée à partir de la position de sa tête et plus particulièrement à partir de la position de ses yeux. A cet effet, un capteur de position en trois dimensions référencé 7 permet de détecter la position de l'observateur Plus précisément dans cet exemple, le capteur 7 permet de repérer la position en trois dimensions de l'oeil de l'observateur, afin de mettre à jour dynamiquement le point de vue considéré pour l'affichage de l'image en trois dimensions. La position de l'oeil est donnée par rapport à un repère R.

La position déterminée par le capteur est transmise à un générateur d'images 8 via une connexion 9. Le générateur d'images 8 génère en fonction de la position de l'oeil de l'observateur, des images en trois dimensions qui seront affichée sur l'écran 2. Pour ce faire, le générateur d'images 8 comprend un module de calcul 10 dont la fonction sera explicitée plus en détail ci-après. L'image générée par le générateur d'images 8 est transmise à un module de correction dynamique 1l, via une connexion 12.

10 Le module de correction dynamique 11 reçoit également via une connexion 13 la position en trois dimensions de l'oeil de l'observateur délivrée par le capteur 7. Le module de correction dynamique 11 a notamment pour fonction de déformer l'image générée par le générateur d'images 8, de manière à compenser le mouvement de l'observateur par rapport à un point d'étalonnage statique donné, référencé 6. Cette déformation peut être appliquée à l'aide d'une technique dite de pixel shading en langue anglaise, couramment disponible dans les cartes graphiques actuelles. Les principales étapes de cette technique seront détaillées ci-après. Plus précisément, le module de correction dynamique comprend un moyen de détermination 14 et un moyen de substitution 15 dont les fonctions seront explicitées plus en détail ci-après.

Par ailleurs, le module de correction dynamique 11 comprend une mémoire 16 apte à mémoriser la configuration de l'écran courbe 2. L'image déformée par le module de correction dynamique 11 est alors transmise à un module de correction statique 17 via une connexion 18.

Le module de correction statique 17 effectue une déformation supplémentaire de l'image, de façon à compenser les distorsions engendrées par la configuration de l'écran courbe 2 et par les caractéristiques optiques des projecteurs 3, 4 et 5. Plus précisément, le module de correction statique 17 de distorsion réalise une déformation d'une image projetée de sorte à fournir une vue perspective correcte pour un point de vue donné, référencé 6, généralement choisi au centre de l'écran (cette position est transmise via une connexion 19). Ce point de vue est également utilisé par le module de correction dynamique 11 de distorsion

11 mentionné ci-avant. Ce point de référence est donc transmis au module 11 via une connexion 20. Le module de correction statique 17 est réglé par un opérateur préalablement à la projection. Les réglages sont effectués une fois pour toutes et ne nécessitent pas d'intervention supplémentaire de l'opérateur au cours de la projection. Le module de correction dynamique 11 fonctionne quant à lui automatiquement, en temps réel en fonction de la position de l'oeil de l'observateur. Enfin, le module de correction statique est couplé aux projecteurs 3, 4 et 5 via une connexion 21, de manière à leur transmettre l'image à projeter. On se réfère à présent à la figure 2 qui décrit plus précisément l'algorithme mis en oeuvre par le générateur d'images 8, le module de correction dynamique 11 et le module de correction statique 17.

Tout d'abord, on détecte la position de l'observateur, en particulier la position de son oeil, 100. Puis, en fonction de cette position, on génère l'image de synthèse en trois dimensions qui devra être affichée sur l'écran, 200. La génération d'images 200, comprend notamment le calcul d'une image plane, 201. Le calcul 201 est effectué par le module de calcul référencé 10 sur la figure 1. Plus précisément, chaque point de l'image de synthèse en trois dimensions à afficher, est replacé dans une image plane calculée par le module de calcul du générateur d'images.

L'image plane 30 est représentée sur la figure 3. La position de l'image plane 30 est prédéfinie par un opérateur au sein du module de calcul 10.

12 Sur la figure 3, est représenté un point N3D d'une image de synthèse en trois dimensions, si celle-ci était réellement représentée dans l'espace. Un point P correspond au point N3D, une fois que l'on a représenté celui-ci dans un plan en deux dimensions, ici l'image plane 30. On se réfère à nouveau à la figure 2. On effectue au niveau de cette image plane une correction dynamique 300. La correction dynamique 300 est effectuée par le module de correction dynamique 11 de la figure 1. L'étape de correction dynamique comprend notamment une étape de détermination pour chaque point M de l'image plane 30 d'un autre point P. Plus précisément, l'étape de correction dynamique 300 comprend une détermination 301, pour chaque point M de l'image plane calculée, d'un autre point P également situé sur l'image plane 30, tel que la projection du point M considéré sur l'écran 2, par rapport au point de référence ERef (position de référence de l'observateur), et la projection de l'autre point correspondant P sur l'écran 2 par rapport à ladite position de l'observateur E (position en trois dimensions déterminée par le capteur 7), coïncident. Cette opération de la détermination du point P par rapport à un point M donné est très facilement réalisée par la technique du pixelshading mentionnée ci-avant.

Les points mentionnés ci-dessus sont illustrés sur la figure 3. Le point N représenté sur l'écran 2 correspond à la projection commune du point M et de l'autre point P sur l'écran 2 en fonction respectivement de la position de référence de l'observateur ERef et de la position déterminée de l'observateur E.

13 On se réfère à nouveau à la figure 2. Une fois que l'autre point P est déterminé, on le substitue au point M correspondant 302. L'étape de substitution 302 est effectuée par le moyen de substitution 15 de la figure 1.

L'étape de correction dynamique 300 est répétée pour tous les points de l'image de synthèse en trois dimensions. Puis, on procède à une correction statique 400 sur l'image où l'on a remplacé le point M par le point P. Une fois la correction statique 400 effectuée, on projette 500 effectivement l'image sur l'écran. L'image du point N3D sur l'écran 2, vue depuis la position E de l'observateur, est le point N. Le système de projection peut être utilisé au sein de simulateurs de conduite, d'un appareil d'animation de monde virtuel, ou encore d'un appareil de visualisation immersive de données CAO. I1 peut également être utilisé pour des projections d'images sur des surfaces courbes translucides (par exemple en rétro-projection) ou réflectives (par exemple sur des surfaces vitrées semi-réflechissantes).

Claims

REVENDICATIONS

1- Système de projection d'images en trois dimensions sur un écran (2) en deux dimensions, comprenant un module de correction statique (17) de chaque image, apte à déformer l'image avant sa projection, en fonction de la configuration de l'écran et ce par rapport à un point de référence fixé, ledit système étant caractérisé en ce qu'il comporte en outre un capteur (7) apte à détecter en temps réel la position d'un observateur choisi regardant l'écran, et un module de correction dynamique (11) couplé en amont du module de correction statique et apte à corriger automatiquement et en temps réel, la distorsion crée sur chaque image par le mouvement de l'observateur par rapport audit point de référence, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran.

2-Système selon la revendication précédente, dans lequel ledit écran (2) est courbe.

3-Système de projection selon la revendication 1 ou 2, comprenant en outre un générateur d'image comportant un module de calcul (10) apte à calculer une image plane selon une configuration prédéfinie, sur laquelle chaque point de l'image à projeter est placé en fonction de sa position réelle dans l'espace, et dans lequel ledit module de correction dynamique (11) comprend un moyen de détermination (14) apte à déterminer pour chaque point de l'image plane calculée, un autre point également situé sur l'image plane, tel quel la projection du point considéré de l'image plane sur l'écran par rapport au point de référence, et la projection de 15 l'autre point correspondant sur l'écran par rapport à ladite position de l'observateur, coïncident, et un moyen de substitution (15) apte à substituer à chaque point de l'image plane, l'autre point correspondant.

4- Système de projection selon la revendication précédente, dans lequel le module de correction dynamique (11) est couplé entre le générateur d'images et le module de correction statique. 6-Appareil de simulation de conduite comprenant un système de projection d'images en trois dimensions sur un écran en deux dimensions, tel que revendiqué dans l'une des revendications précédentes. 7-Procédé de projection d'images en trois dimensions sur un écran en deux dimensions, comprenant une étape de correction dite statique (400) dans laquelle chaque image est déformée avant sa projection, en fonction de la configuration de l'écran et ce par rapport à un point de référence, ledit procédé étant caractérisé en ce qu'il comporte en outre, une étape de détection (100) en temps réel de la position d'un observateur choisi regardant l'écran, et une étape de correction dite dynamique (300) dans laquelle la distorsion crée sur chaque image par le mouvement de l'observateur par rapport audit point de référence est corrigée, à partir de ladite position de l'observateur, de la position du point de référence et de la configuration de l'écran. 8-Procédé selon la revendication précédente, dans lequel l'écran est courbe. 9-Procédé selon la revendication 7 ou 8, comprenant une étape de génération d'images (200) dans laquelle on calcule (210) une image plane, sur laquelle chaque point de l'image à projeter est placé en fonction de sa position réelle dans l'espace, et dans laquelle l'étape de 16 correction dite dynamique (300), comprend une détermination (301), pour chaque point de l'image plane calculée, d'un autre point également situé sur l'image plane, tel quel la projection du point considéré de l'image plane sur l'écran par rapport au point de référence, et la projection de l'autre point correspondant sur l'écran par rapport à ladite position de l'observateur, coïncident, et une substitution (302) à chaque point de l'image plane, de l'autre point correspondant. 10-Procédé selon la revendication précédente, dans laquelle l'étape de correction dite dynamique est réalisée après l'étape de génération d'images et avant l'étape de correction dite statique.