FR3039028A1 - Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane - Google Patents
Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane Download PDFInfo
- Publication number
- FR3039028A1 FR3039028A1 FR1556810A FR1556810A FR3039028A1 FR 3039028 A1 FR3039028 A1 FR 3039028A1 FR 1556810 A FR1556810 A FR 1556810A FR 1556810 A FR1556810 A FR 1556810A FR 3039028 A1 FR3039028 A1 FR 3039028A1
- Authority
- FR
- France
- Prior art keywords
- projection
- display
- display surface
- dimensional
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 235000014121 butter Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
L'invention concerne un procédé et un dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel. Le procédé comporte l'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle. Il comporte : - une première phase (A1) de projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection (PL), la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection (lproj) de la surface d'affichage du point de vue de l'utilisateur, - une deuxième phase (A2) de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection (lproj).
Description
Procédé et dispositif d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane
La présente invention concerne un procédé d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane, pour visualisation par un utilisateur ayant une position donnée dans un référentiel spatial. L’invention se situe dans le domaine de l’infographie, en particulier de la projection de scènes tridimensionnelles utilisée notamment dans les systèmes de réalité virtuelle immersifs.
De tels systèmes sont utilisés par exemple à des fins industrielles, ludiques ou pédagogiques.
On connaît des installations d’immersion virtuelle composées de plusieurs écrans afin de couvrir entièrement le champ de visualisation de l’utilisateur, permettant une immersion dans un univers de scènes tridimensionnelles. Afin de simplifier le traitement graphique induit par la projection, les écrans sont généralement plans et disposés les uns à côté des autres. Afin de maximiser le champ de vision de l’utilisateur, les écrans sont positionnés pour former un cube ou une portion de cube, comme par exemple dans une installation CAVE (« Cave Automatic Virtual Environment >>). Cependant une telle installation comporte des défauts de visualisation au niveau des angles joignant les écrans, qui sont perçus par les utilisateurs comme des artefacts dans l’image de la scène projetée.
Pour pallier ces inconvénients, des installations comportant des écrans courbés ont été conçues, pour des applications notamment dans le domaine du cinéma et de la simulation de vol. Ces écrans sont en général de forme hémisphérique ou cylindrique. Cependant, la projection de scènes tridimensionnelles (3D), comportant des objets définis par une modélisation 3D, sur des surfaces de projection non planaires nécessite une correction des modèles géométriques des objets pour une perception géométriquement correcte pour l’utilisateur. Ce processus, appelé correction de distorsion ou correction géométrique, implique une grande complexité calculatoire.
Il est à noter que la perception, par un utilisateur, de la géométrie d’un objet tridimensionnel projeté sur une surface de projection non planaire dépend de la géométrie de la surface d’affichage et de la position de l’utilisateur, comme illustré schématiquement sur la figure 1.
La figure 1 illustre schématiquement, en vue de dessus, une surface d’affichage S de forme courbe quelconque, un projecteur P, un objet O à projeter, ainsi que les positions de deux utilisateurs notés User-1 et User-2, chaque position associée aux yeux de l’utilisateur considéré.
Plusieurs approches ont été proposées pour l’affichage ou le rendu de scènes tridimensionnelles sur des surfaces d’affichage courbes.
La famille des méthodes dites de lancer de rayon est bien connue, mais ces méthodes présentent une complexité calculatoire trop importante pour une mise en oeuvre en temps réel.
La famille des méthodes de rendu en deux passes par déformation d’image bidimensionnelle (2D), utilisée classiquement pour corriger la perspective dans des systèmes immersifs, n’est pas adaptée à une génération dynamique de l’image à afficher en fonction de la position de l’utilisateur.
Le brevet US6 793 350 intitulé « Projecting warped images onto curved surfaces >> décrit une méthode de rendu tridimensionnel faisant partie de la famille des méthodes de transfert sur surfaces quadriques. Cette méthode décrit l’affichage d’objets modélisés par des modèles vectoriels, définis par des sommets. La méthode consiste à modifier la position spatiale dans un référentiel 3D des sommets, de sorte que l’image générée par une projection orthographique classique soit correctement déformée en fonction de la courbure de la surface de projection et de la position de l’utilisateur. Cette méthode nécessite un calcul pour chaque sommet du modèle 3D, et est limitée à des surfaces d’affichage quadratiques (ou quadriques), modélisables par une équation de second degré. Par conséquent, cette méthode est limitée à des surfaces d’affichage de forme quadrique. L’invention a pour objet de remédier aux inconvénients de l’état de la technique, en proposant un procédé d’affichage de scènes tridimensionnelles sur une surface d’affichage qui présente une forme arbitraire non plane, avec une correction de distorsion du point de vue d’un utilisateur, et présentant une complexité calculatoire moindre que les méthodes préalables. A cet effet, l’invention propose, selon un premier aspect, un procédé d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le procédé comportant l’affichage d’une image d’affichage comportant des pixels représentatifs de la scène tridimensionnelle.
Le procédé comporte : - une première phase de projection en perspective d’un modèle tridimensionnel de la surface d’affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l’utilisateur dans le référentiel spatial, permettant d’obtenir une image de projection de la surface d’affichage du point de vue de l’utilisateur, - une deuxième phase de calcul d’une projection de la scène tridimensionnelle sur la surface d’affichage utilisant ladite image de projection.
Avantageusement, le procédé d’affichage de scène tridimensionnelle sur surface d’affichage de forme arbitraire selon l’invention permet d’effectuer une correction de distorsion afin de rendre l’affichage géométriquement correct du point de vue d’un utilisateur. Le procédé de l’invention ne se limite pas aux surfaces d’affichage de forme quadrique, mais s’applique à toute forme de surface d’affichage.
De plus, avantageusement, le procédé de l’invention présente une complexité calculatoire limitée pour l’affichage d’une scène tridimensionnelle quelle que soit la forme de la surface d’affichage.
Le procédé d’affichage de scène tridimensionnelle selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes combinaisons techniquement acceptables.
La première phase comporte, pour chaque point d’un espace d’affichage de l’image d’affichage, l’obtention des coordonnées dans le référentiel spatial tridimensionnel d’un point de la surface d’affichage correspondant.
Le procédé comporte en outre un calcul d’un modèle tridimensionnel de la surface d’affichage comportant les points de la surface d’affichage préalablement obtenus.
Le modèle tridimensionnel de la surface d’affichage est un maillage, les sommets du maillage étant définis par lesdits points de la surface d’affichage préalablement obtenus.
Le procédé comporte une détermination dudit plan de projection à partir de la position de l’utilisateur dans le référentiel spatial et du barycentre des points de la surface d’affichage préalablement obtenus.
Il comporte une détermination et une mémorisation de paramètres représentatifs de la projection en perspective appliquée au modèle tridimensionnel de la surface d’affichage.
La première phase comporte une étape de calcul, pour chaque point de coordonnées (s,t) de l’image de projection, d’un point de coordonnées (u,v) correspondant de l’image d’affichage, ledit point de coordonnées (u,v) étant le point de l’image d’affichage affiché au point de coordonnées (x,y,z) de la surface d’affichage qui est projeté, par ladite projection, au point de coordonnées (s,t) du plan de projection.
La deuxième phase comporte une application de la projection en perspective à un modèle tridimensionnel de la scène à afficher sur ledit plan de projection, et une récupération, à partir de la table de correspondance mémorisée, des coordonnées du point de l’image d’affichage correspondant.
Le modèle tridimensionnel de la scène à afficher est composé de primitives, chaque primitive comportant un polygone défini par un ensemble de premiers sommets et des arêtes reliant les premiers sommets, le procédé comportant une étape de subdivision par ajout de deuxièmes sommets dans chaque primitive, en fonction d’une distance entre l’utilisateur et lesdits premiers sommets.
Selon un deuxième aspect, l’invention concerne un dispositif d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le dispositif comportant des moyens d’affichage d’une image d’affichage comportant des pixels représentatifs de la scène tridimensionnelle. Ce dispositif comporte : - un module apte à mettre en oeuvre une première phase de projection en perspective d’un modèle tridimensionnel de la surface d’affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l’utilisateur dans le référentiel spatial, permettant d’obtenir une image de projection de la surface d’affichage du point de vue de l’utilisateur, -un module apte à mettre en oeuvre une deuxième phase de calcul d’une projection de la scène tridimensionnelle sur la surface d’affichage utilisant ladite image de projection.
Les avantages de ce dispositif d’affichage étant analogues à ceux du procédé d’affichage brièvement décrit ci-dessus, ils ne sont pas rappelés ici.
Selon un troisième aspect, l’invention concerne un programme d’ordinateur comportant des instructions pour mettre en oeuvre les étapes d’un procédé d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire tel que brièvement décrit ci-dessus lors de l’exécution du programme par au moins un processeur d’un dispositif programmable. D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles : -la figure 1, déjà décrite, illustre schématiquement la problématique de l’affichage d’objet 3D sur une surface d’affichage de forme arbitraire ; -la figure 2 est un synoptique d’un système d’affichage de scène 3D selon un mode de réalisation de l’invention ; -la figure 3 est un schéma bloc d’un dispositif programmable adapté à mettre en oeuvre un procédé d’affichage de scène tridimensionnelle ; -la figure 4 est un organigramme des principales étapes d’un procédé d’affichage de scène 3D selon un mode de réalisation de l’invention ; -la figure 5 illustre schématiquement la projection en perspective d’un maillage d’une surface d’affichage courbe ; -la figure 6 illustre schématiquement la projection en perspective d’une modélisation 3D d’un objet 3D à afficher ; -la figure 7 est un organigramme des principales étapes de la projection sur la surface d’affichage d’une scène 3D selon un mode de réalisation. L’invention sera décrite ci-après dans son application pour l’affichage de scène 3D ayant un modèle tridimensionnel associé. Une scène 3D est composée d’un ou plusieurs objets à afficher, chaque objet étant décrit par des primitives géométriques (par exemple des triangles) associées à des paramètres (valeurs de texture, couleur, ...).
Il est à noter que l’application de l’invention n’est pas limitée à un système de projection de scènes 3D sur une surface d’affichage de forme courbe arbitraire, mais se généralise à tout système d’affichage sur surface de forme courbe arbitraire, par exemple un écran LCD courbe. L’invention s'applique également aux affichages à pixels déformés, par exemple un système de projecteur muni de lentilles déformantes.
En d’autres termes, l’invention s’applique pour l’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane, potentiellement munie d’optique déformante.
La figure 2 est un synoptique d’un système d’affichage 10 apte à mettre en oeuvre l’invention.
Le système 10 comporte un système d’affichage 12 de scènes 3D sur une surface d’affichage de forme arbitraire non planaire.
Le système d’affichage 12 comporte une surface d’affichage 14 sur laquelle sont affichées des images d’affichage 18 formées sur une unité d’affichage 16.
Dans un mode de réalisation, la surface d’affichage 12 est une surface de projection de forme courbe, et l’unité d’affichage 16 est un projecteur.
En variante, les éléments 14 et 16 sont intégrés dans un écran LCD courbe.
Le système d’affichage 12 reçoit une image d’affichage 18 définie par une ou plusieurs matrices de pixels à afficher, chaque pixel ayant une valeur colorimétrique et étant situé à une position définie par un indice de ligne u et un indice de colonne vde la matrice. On définit un espace d’affichage E = {(w,v),0 < u < M,0 < v < N} pour une résolution d’affichage de M lignes et de N colonnes.
Il est à noter que le système d’affichage 12 est apte à afficher un flux vidéo composé d’une pluralité d’images d’affichage successives.
Les images d’affichage 18 sont calculées par un dispositif programmable 20, par exemple un ordinateur ou une carte graphique, comportant un ou plusieurs processeurs GPU et des mémoires associées.
Le dispositif programmable 20 reçoit en entrée une position spatiale 22 associée aux yeux de l’utilisateur dans un référentiel 3D donné, permettant de définir le champ de vision de l’utilisateur.
La position des yeux de l’utilisateur est fournie par tout système de suivi (ou tracking en anglais) connu.
Le dispositif programmable 20 reçoit également en entrée une représentation 24 de la scène à afficher, comportant une modélisation 3D de cette scène à afficher.
Le système 10 comporte en outre une unité 26 permettant de capturer la géométrie 3D de la surface d’affichage 14.
Dans un mode de réalisation, l’unité 26 est une caméra TOF pour « Time of Flight >>, en français caméra « temps de vol >>, permettant de mesurer en temps réel une scène en trois dimensions.
En variante, l’acquisition est réalisée par un dispositif stéréoscopique.
Selon une autre variante, lorsque les éléments 14 et 16 sont intégrés dans un écran LCD et que la position spatiale des pixels est connue, par exemple à l’aide d’un réseau déformable de fibre optique, l’unité 26 est intégrée et permet d’acquérir la géométrie de la surface d’affichage.
Il est à noter que l’unité 26 a été représentée séparément, mais dans un mode de réalisation, lorsque le dispositif d’affichage 12 comporte un projecteur 16, l’unité 26 est une caméra TOF embarquée près de l’optique de projection du projecteur 16.De préférence, une caméra optique classique 28 est également présente, également embarquée près de l’optique de projection dans un mode de réalisation. L’utilisation conjointe d’une caméra TOF 26 et d’une caméra optique 28 permet de trouver des paramètres de mise en correspondance de chaque position (u,v) de l’espace d’affichage, associé à l’image d’affichage, avec un point correspondant de coordonnées (.x,y,z) de la surface d’affichage 14.
La figure 3 est un synoptique des principaux modules fonctionnels mis en oeuvre par un dispositif programmable 20 apte à mettre en oeuvre l’invention.
La dispositif comprend un premier module 30 apte à mettre en oeuvre une projection en perspective d’un modèle tridimensionnel de la surface d’affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l’utilisateur dans le référentiel spatial, permettant d’obtenir une image planaire de projection de la surface d’affichage du point de vue de l’utilisateur.
Il comprend également une mémoire 32, dans laquelle sont mémorisés divers paramètres du procédé, et en particulier une table de correspondance qui associe à chaque point de l’image de projection, la position (u,v) correspondant au point projeté de coordonnées (x,y,z) de la surface d’affichage 14.
Le dispositif 20 comporte également un deuxième module 34 apte à mettre en oeuvre le calcul d’une projection de la scène tridimensionnelle sur la surface d’affichage utilisant ladite image de projection.
La figure 4 est un synoptique des principales étapes d’un procédé d’affichage de scène tridimensionnelle selon un mode de réalisation de l’invention.
Ces étapes sont de préférence mises en oeuvre par un processeur graphique GPU d’un dispositif programmable.
Le procédé comporte, dans le mode de réalisation, deux phases.
Une première phase A1 de projection de la surface d’affichage du point de vue de l’utilisateur est mise en oeuvre lors d’un changement de forme de la surface d’affichage ou lors d’un changement de position de l’utilisateur.
Les données fournies à l’issue de cette phase sont mémorisées pour une utilisation dans une deuxième phase A2 de projection de la scène 3D à afficher.
De préférence, la géométrie des objets 3D à afficher est représentée sous forme d’une modélisation comportant une liste de sommets permettant ainsi de définir une pluralité de faces polygonales de ces objets.
Avantageusement, l’exécution de la deuxième phase A2 est réalisée en temps de calcul linéaire par rapport au nombre des sommets de la modélisation.
Dans le mode de réalisation de la figure 4, la première phase A1 comporte une première étape 40 de récupération des coordonnées spatiales (x,y,z), représentées dans un référentiel (Χ,Υ, Z) donné, de la surface d’affichage associées à des pixels {u,v) de l’espace d’affichage du dispositif d’affichage.
La figure 5 illustre schématiquement cette correspondance dans un mode de réalisation dans lequel le système d’affichage comporte un projecteur.
Sur la figure 5, on a représenté schématiquement une surface d’affichage de forme courbe arbitraire 14 (en vue de dessus) et un projecteur P, ainsi qu’un référentiel spatial (Χ,Υ,Ζ). A chaque point (ui,vi) de l’espace d’affichage correspond un point de coordonnées (xi,yi,zi) de la surface d’affichage 14. A la suite de l’étape 40, des étapes 42 de construction d’un modèle 3D de la surface d’affichage et 44 de détermination de paramètres de projection perspective sont mises en oeuvre.
Dans le mode de réalisation préféré, les étapes 42 et 44 sont mises en oeuvre sensiblement en parallèle.
Dans un mode de réalisation, une triangulation de Delaunay est appliquée à l’étape 42 en prenant comme sommets les points déterminés précédemment en utilisant leurs coordonnées (ui, v,.). Il en résulte une surface d’affichage représentée par un maillage de triangles de ces points en considérant leurs coordonnées (xi,yi,zi) associés.
En variante, d’autres modélisations 3D connues dans le domaine de l’infographie peuvent être utilisées, par exemple des B-splines rationnelles non uniformes (NURBS) ou une surface de Bézier, en utilisant les points (χ,,^,ζ,) déterminés précédemment comme points de contrôle. L’étape 44 détermine des paramètres de projection perspective et un plan de projection PL associé. Les points (x, y, z) correspondant aux pixels (u,v) de l’espace d’affichage sont utilisés dans l’étape 44.
Des paramètres de projection en perspective prenant comme centre de projection les coordonnées spatiales d’une position spatiale des yeux de l’utilisateur dans le référentiel spatial (Χ,Υ,Ζ) sont définis à l’étape 44. Par conséquent, le centre de projection est directement lié à la position spatiale de l’utilisateur considéré.
On définit un plan de projection PL associé à cette projection en perspective.
De préférence, le plan de projection PL est un plan perpendiculaire à la droite D passant par le centre de projection C et le point du maillage de la surface d’affichage le plus proche du barycentre du maillage.
Il est à noter que mathématiquement, il est suffisant de considérer un plan PL ne passant pas par le centre de projection C.
La figure 5 illustre schématiquement un tel plan de projection PL et les points notés respectivement Proj(uhvi) du plan PL, correspondant à la projection des points (Χί,Υί,ζ,) du référentiel spatial associés aux pixels (u„v,) de l’espace d’affichage.
Ce plan de projection ainsi défini permettra de stocker une image de projection lproj bidimensionnelle rectangulaire de la surface d’affichage du point de vue de l’utilisateur, définie par des points de coordonnées (s,t), ainsi que des coordonnées des pixels de l’espace d’affichage correspondants.
Le plan de projection PL est choisi de manière à ce que la projection en perspective de la surface d’affichage occupe un maximum de place dans l’image de projection bidimensionnelle.
Les points extrêmes de l’image de projection bidimensionnelle sont calculés en effectuant une première passe de projection et en sélectionnant les coordonnées minimales et maximales sur les axes de projection.
La résolution de l’image de projection bidimensionnelle est supérieure ou égale à la résolution de l’image à afficher, et de préférence égale au double de la résolution de l’image à afficher, afin de minimiser les artefacts perceptibles par l’utilisateur.
De préférence, lorsque l’espace d’affichage correspond à une image d’affichage de MxN pixels, l’image de projection a une résolution de 2Mx2N : Iproj(s,t),0<s<2M,0<t<2N.
Les paramètres de la projection en perspective déterminée à l’étape 44 sont mémorisés. Ces paramètres comprennent les coordonnées spatiales du centre de projection C ainsi que celles du frustum associé à la projection : distance entre plan de projection et centre de projection C, coordonnées des points extrêmes définissant le cône de vision du point de vue de l’utilisateur. L’étape 44 d’obtention des paramètres de projection est suivie d’une étape 46 de calcul de la projection en perspective de la modélisation 3D de la surface d’affichage obtenue à l’étape 42, avec les paramètres de projection en perspective définis à l’étape 44.
En chaque point (s,f) de l’image de projection on obtient, par interpolation, les coordonnées {u,v) dans l’espace d’affichage du pixel du dispositif d’affichage correspondant au point (x,y,z) de la surface d’affichage projeté.
Le calcul de l’étape 46 est suivi d’une mémorisation des coordonnées {u,v) calculées lors d’une étape de mémorisation 48, dans une table de correspondance.
On mémorise, pour chaque point (s,t), les coordonnées {u,v) calculées.
Dans un mode de réalisation la table de correspondance est mémorisée dans un tampon (ou butter en anglais) du dispositif programmable mettant en oeuvre le procédé.
La première phase A1 du procédé est terminée.
La deuxième phase A2 comprend une étape 50 d’application de la projection en perspective, avec les paramètres de projection calculés lors de l’étape 44 et mémorisés, à un modèle 3D de la scène à afficher.
La projection en perspective est appliquée aux sommets de la modélisation 3D de la scène. Chaque sommet de la modélisation 3D de la scène de coordonnées spatiales (,Ρί,η,,η) est projeté en un point {sji) de l’image de projection. A titre d’exemple, la figure 6 illustre schématiquement la projection des sommets S, d’un objet, en vue du dessus, sur le plan de projection PL préalablement déterminé, avec le centre de projection C dépendant de la position du regard de l’utilisateur User-1.
La projection en perspective 50 est suivie d’une étape 52 d’obtention des coordonnées {u,v) correspondant aux points (s,t) respectifs, en utilisant la table de correspondance préalablement mémorisée, indiquant les coordonnées du pixel de l’espace d’affichage à mettre en correspondance avec le sommet de coordonnées (p,q,r) pour que l’affichage s’effectue de manière correcte du point de vue de l’utilisateur.
La mise en oeuvre de cette étape comporte simplement un accès dans la table de correspondance.
Avantageusement, l’obtention de la correspondance des coordonnées est linéaire en fonction du nombre de sommets définissant la scène 3D à afficher, quelle que soit la forme de la surface d’affichage. L’étape 52 est suivie d’une étape 54 de correction géométrique des coordonnées (,p,q,r) de chaque sommet à afficher, en fonction des coordonnées {u,v) obtenues à l’étape 52 et de la distance de l’œil de l’utilisateur au sommet considéré. L’utilisation de cette distance permet de préserver des données correctes pour le calcul d’occlusion en employant une méthode de tampon de profondeur (ou Z-buffer en anglais).
Dans un mode de réalisation, dans la deuxième phase A2 du procédé, la modélisation géométrique des objets à afficher est adaptée dynamiquement pour améliorer le rendu visuel, par subdivision, également appelée tessellation en anglais. Le niveau de subdivision est adapté en fonction de la distance séparant la projection sur le plan PL de 2 sommets d’une même primitive géométrique de la scène 3D à afficher.
Dans le mode de réalisation décrit en référence à la figure 7, la subdivision s’applique à chaque primitive de la modélisation 3D de la scène. Une primitive de la modélisation 3D comprend un polygone défini par un ensemble de sommets, par exemple trois sommets pour le cas d’un triangle.
La subdivision comprend alors, pour chaque primitive de la modélisation 3D de la scène les étapes suivantes.
Pour chaque primitive Prim-i de la modélisation 3D (étape 60), et pour chaque sommet Sj de Prim-i (étape 62), la projection perspective est appliquée à l’étape 64, de manière analogue à l’étape 50 décrite ci-dessus. A l’étape 66, les coordonnées (uj,Vj) correspondantes sont obtenues à partir de la table de correspondance, de manière analogue à l’étape 52 préalablement décrite. A l’étape 70, on choisit d’appliquer une subdivision plus ou moins importante de la primitive Prim-i traitée, en fonction de la distance maximale Dmax entre les points (Ui,Vj). Plus cette dernière sera grande, plus forte sera la subdivision de la primitive.
Dans un mode de réalisation, on n’appliquera pas de subdivision si Dmax < Dseuil_min avec Dseuil_min une distance de seuil minimum prédéterminée, un nombre de subdivision égal à Subdivmax si Dmax > Dseuil_max, avec Dseuil_max une distance de seuil maximum prédéterminée supérieure à Dseuil_min, et un nombre de subdivision égal à floor((Dmax-Dseuil_min)/(Dseuil_max-Dseuil_min)*Subdiv_max sinon.
Les valeurs de distance de seuil minimum et maximum sont sélectionnées en fonction de la résolution à afficher.
Par exemple, pour la résolution full HD classique, on peut utiliser Dseuil_min=20 pixels et Dseuil_max=400 pixels. Ces valeurs sont données à titre d’exemple non limitatif. L’étape 70 est suivie de l’étape 60 précédemment décrite, pour le traitement d’une autre primitive de la modélisation 3D.
Après subdivision, les étapes 50 à 54 précédemment décrites sont appliquées.
Claims (11)
- REVENDICATIONS1. - Procédé d’affichage de scène tridimensionnelle sur une surface d’affichage (14) de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le procédé comportant l’affichage d’une image d’affichage comportant des pixels représentatifs de la scène tridimensionnelle, caractérisé en ce qu’il comporte : - une première phase (A1) de projection en perspective d’un modèle tridimensionnel de la surface d’affichage (14) sur un plan de projection (PL), la projection en perspective ayant un centre de projection (C) dépendant de la position de l’utilisateur dans le référentiel spatial, permettant d’obtenir une image de projection (lproj) de la surface d’affichage du point de vue de l’utilisateur, - une deuxième phase (A2) de calcul d’une projection de la scène tridimensionnelle sur la surface d’affichage (14) utilisant ladite image de projection (lproj).
- 2. - Procédé d’affichage selon la revendication 1, caractérisé en ce que la première phase comporte : - pour chaque point d’un espace d’affichage de l’image d’affichage, l’obtention (40) des coordonnées dans le référentiel spatial tridimensionnel d’un point de la surface d’affichage correspondant.
- 3. - Procédé d’affichage selon la revendication 2, caractérisé en ce qu’il comporte en outre un calcul (42) d’un modèle tridimensionnel de la surface d’affichage comportant les points de la surface d’affichage préalablement obtenus.
- 4. - Procédé d’affichage selon la revendication 3, caractérisé en ce que le modèle tridimensionnel de la surface d’affichage est un maillage, les sommets du maillage étant définis par lesdits points de la surface d’affichage préalablement obtenus.
- 5. - Procédé d’affichage selon l’une quelconque des revendications 2 à 4, caractérisé en ce qu’il comporte une détermination (44) dudit plan de projection (PL) à partir de la position (C) de l’utilisateur dans le référentiel spatial et du barycentre des points de la surface d’affichage préalablement obtenus.
- 6. - Procédé d’affichage selon la revendication 5, caractérisé en ce qu’il comporte une détermination (44) et une mémorisation de paramètres représentatifs de la projection en perspective appliquée au modèle tridimensionnel de la surface d’affichage.
- 7. - Procédé d’affichage selon l’une quelconque des revendications 1 à 6, caractérisé en ce que la première phase comporte une étape de calcul (46), pour chaque point de coordonnées (s,t) de l’image de projection, d’un point de coordonnées (u,v) correspondant de l’image d’affichage, ledit point de coordonnées (u,v) étant le point de l’image d’affichage affiché au point de coordonnées (x,y,z) de la surface d’affichage qui est projeté, par ladite projection, au point de coordonnées (s,t) du plan de projection.
- 8. - Procédé d’affichage selon la revendication 7, caractérisé en ce que la deuxième phase comporte une application (50) de la projection en perspective à un modèle tridimensionnel de la scène à afficher sur ledit plan de projection (PL), et une récupération, à partir de la table de correspondance mémorisée, des coordonnées (u,v) du point de l’image d’affichage correspondant.
- 9. - Procédé d’affichage selon la revendication 8, dans lequel le modèle tridimensionnel de la scène à afficher est composé de primitives, chaque primitive comportant un polygone défini par un ensemble de premiers sommets et des arêtes reliant les premiers sommets, le procédé comportant une étape (70) de subdivision par ajout de deuxièmes sommets dans chaque primitive, en fonction d’une distance entre l’utilisateur et lesdits premiers sommets.
- 10. - Dispositif d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le dispositif comportant des moyens d’affichage d’une image d’affichage comportant des pixels représentatifs de la scène tridimensionnelle, caractérisé en ce qu’il comporte : - un module apte à mettre en oeuvre une première phase de projection en perspective d’un modèle tridimensionnel de la surface d’affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l’utilisateur dans le référentiel spatial, permettant d’obtenir une image de projection de la surface d’affichage du point de vue de l’utilisateur, -un module apte à mettre en œuvre une deuxième phase de calcul d’une projection de la scène tridimensionnelle sur la surface d’affichage utilisant ladite image de projection.
- 11.- Programme d’ordinateur comportant des instructions pour mettre en œuvre les étapes d’un procédé d’affichage de scène tridimensionnelle sur une surface d’affichage de forme arbitraire non plane conforme aux revendications 1 à 9 lors de l’exécution du programme par au moins un processeur d’un dispositif programmable.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1556810A FR3039028B1 (fr) | 2015-07-17 | 2015-07-17 | Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane |
| PCT/EP2016/067063 WO2017013068A1 (fr) | 2015-07-17 | 2016-07-18 | Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane |
| US15/745,410 US20180213215A1 (en) | 2015-07-17 | 2016-07-18 | Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape |
| EP16741599.1A EP3326147A1 (fr) | 2015-07-17 | 2016-07-18 | Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1556810A FR3039028B1 (fr) | 2015-07-17 | 2015-07-17 | Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane |
| FR1556810 | 2015-07-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3039028A1 true FR3039028A1 (fr) | 2017-01-20 |
| FR3039028B1 FR3039028B1 (fr) | 2018-03-09 |
Family
ID=54937200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1556810A Expired - Fee Related FR3039028B1 (fr) | 2015-07-17 | 2015-07-17 | Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180213215A1 (fr) |
| EP (1) | EP3326147A1 (fr) |
| FR (1) | FR3039028B1 (fr) |
| WO (1) | WO2017013068A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853152A (zh) * | 2019-11-14 | 2020-02-28 | 上海未高科技有限公司 | 一种三维超大场景的细分切割加载方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055293B (zh) * | 2016-05-23 | 2019-03-22 | 京东方科技集团股份有限公司 | 用于显示图像的方法、装置和系统 |
| CN110830781B (zh) * | 2019-10-30 | 2021-03-23 | 歌尔科技有限公司 | 一种基于双目视觉的投影图像自动校正方法及系统 |
| CN113297701B (zh) * | 2021-06-10 | 2022-12-20 | 清华大学深圳国际研究生院 | 多种类工业零件堆叠场景的仿真数据集生成方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162633A1 (en) * | 2003-12-10 | 2013-06-27 | Geomagic, Inc. | Apparatus and methods for adjusting a texture wrapping onto the surface of a virtual object |
| US20130271625A1 (en) * | 2012-04-12 | 2013-10-17 | Qualcomm Incorporated | Photometric registration from arbitrary geometry for augmented reality |
| US20150193964A1 (en) * | 2014-01-07 | 2015-07-09 | Electronics And Telecommunications Research Institute | Real-time dynamic non-planar projection apparatus and method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6811264B2 (en) | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
-
2015
- 2015-07-17 FR FR1556810A patent/FR3039028B1/fr not_active Expired - Fee Related
-
2016
- 2016-07-18 US US15/745,410 patent/US20180213215A1/en not_active Abandoned
- 2016-07-18 WO PCT/EP2016/067063 patent/WO2017013068A1/fr active Application Filing
- 2016-07-18 EP EP16741599.1A patent/EP3326147A1/fr not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162633A1 (en) * | 2003-12-10 | 2013-06-27 | Geomagic, Inc. | Apparatus and methods for adjusting a texture wrapping onto the surface of a virtual object |
| US20130271625A1 (en) * | 2012-04-12 | 2013-10-17 | Qualcomm Incorporated | Photometric registration from arbitrary geometry for augmented reality |
| US20150193964A1 (en) * | 2014-01-07 | 2015-07-09 | Electronics And Telecommunications Research Institute | Real-time dynamic non-planar projection apparatus and method |
Non-Patent Citations (3)
| Title |
|---|
| BIMBER O ET AL: "Enabling View-Dependent Stereoscopic Projection in Real Environments", MIXED AND AUGMENTED REALITY, 2005. PROCEEDINGS. FOURTH IEEE AND ACM IN TERNATIONAL SYMPOSIUM ON VIENNA, AUSTRIA 05-08 OCT. 2005, PISCATAWAY, NJ, USA,IEEE, 5 October 2005 (2005-10-05), pages 14 - 23, XP010856753, ISBN: 978-0-7695-2459-7 * |
| RASKAR R ET AL: "Multi-projector displays using camera-based registration", VISUALIZATION '99. PROCEEDINGS SAN FRANCISCO, CA, USA 24-29 OCT. 1999, IEEE, PISCATAWAY, NJ, USA, 29 October 1999 (1999-10-29), pages 161 - 522, XP031385538, ISBN: 978-0-7803-5897-3 * |
| YAMANAKA T ET AL: "Adaptive Image Projection onto Non-planar Screen Using Projector-Camera Systems", 2010 20TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR 2010) : ISTANBUL, TURKEY, 23 - 26 AUGUST 2010, IEEE, PISCATAWAY, NJ, USA, 23 August 2010 (2010-08-23), pages 307 - 310, XP031772728, ISBN: 978-1-4244-7542-1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853152A (zh) * | 2019-11-14 | 2020-02-28 | 上海未高科技有限公司 | 一种三维超大场景的细分切割加载方法 |
| CN110853152B (zh) * | 2019-11-14 | 2024-01-30 | 上海未高科技有限公司 | 一种三维超大场景的细分切割加载方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180213215A1 (en) | 2018-07-26 |
| WO2017013068A1 (fr) | 2017-01-26 |
| EP3326147A1 (fr) | 2018-05-30 |
| FR3039028B1 (fr) | 2018-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
| US10540576B1 (en) | Panoramic camera systems | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| US10453249B2 (en) | Method for alignment of low-quality noisy depth map to the high-resolution colour image | |
| Delaunoy et al. | Photometric bundle adjustment for dense multi-view 3d modeling | |
| US11189043B2 (en) | Image reconstruction for virtual 3D | |
| CN108475327A (zh) | 三维采集与渲染 | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| US9437034B1 (en) | Multiview texturing for three-dimensional models | |
| CN109660783A (zh) | 虚拟现实视差校正 | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| EP3326147A1 (fr) | Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane | |
| US20210174570A1 (en) | Systems and methods for providing a mixed-reality pass-through experience | |
| US20230274455A1 (en) | Systems and methods for low compute high-resolution depth map generation using low-resolution cameras | |
| EP4107601A1 (fr) | Reprojection d'image basée sur un écart planaire | |
| US11636578B1 (en) | Partial image completion | |
| Chuchvara et al. | A speed-optimized RGB-Z capture system with improved denoising capabilities | |
| JP7125847B2 (ja) | ３ｄモデル表示装置、３ｄモデル表示方法及び３ｄモデル表示プログラム | |
| Ishihara et al. | Integrating Both Parallax and Latency Compensation into Video See-through Head-mounted Display | |
| US20230186500A1 (en) | Image-based environment reconstruction | |
| US20240169492A1 (en) | Selective extended depth-of-field correction for image reconstruction | |
| FR3013492A1 (fr) | Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d | |
| Zyglarski et al. | Stereoscopy in User: VR Interaction. | |
| Bailey et al. | Finite Aperture Stereo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20170120 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| ST | Notification of lapse |
Effective date: 20210305 |