EP3326147A1 - Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane - Google Patents

Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane

Info

Publication number
EP3326147A1
EP3326147A1 EP16741599.1A EP16741599A EP3326147A1 EP 3326147 A1 EP3326147 A1 EP 3326147A1 EP 16741599 A EP16741599 A EP 16741599A EP 3326147 A1 EP3326147 A1 EP 3326147A1
Authority
EP
European Patent Office
Prior art keywords
projection
display
display surface
dimensional
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16741599.1A
Other languages
German (de)
English (en)
Inventor
Fabien PICAROUGNE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite de Nantes
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite de Nantes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite de Nantes filed Critical Centre National de la Recherche Scientifique CNRS
Publication of EP3326147A1 publication Critical patent/EP3326147A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Definitions

  • the present invention relates to a three-dimensional scene display method on a non-planar arbitrary shaped display surface for viewing by a user having a given position in a spatial repository.
  • the invention lies in the field of computer graphics, particularly the projection of three-dimensional scenes used in particular in immersive virtual reality systems.
  • Such systems are used for example for industrial, recreational or educational purposes.
  • Virtual immersion installations consisting of several screens are known in order to fully cover the user's field of view, allowing immersion into a universe of three-dimensional scenes.
  • the screens are generally flat and arranged next to each other.
  • the screens are positioned to form a cube or a portion of a cube, for example in a Cave Automatic Virtual Environment (CAVE) installation.
  • CAVE Cave Automatic Virtual Environment
  • FIG. 1 schematically illustrates, in plan view, a display surface S of any curved shape, a projector P, an object O to be projected, as well as the positions of two users rated User-1 and User-2, each position associated with the eyes of the considered user.
  • the family of two-dimensional (2D) image distortion rendering methods is not suitable for dynamic image generation to be displayed as a function of position of the user.
  • US Patent 6,793,350 entitled “Projecting warped images onto curved surfaces” describes a three-dimensional rendering method belonging to the family of methods of transfer on quadric surfaces.
  • This method describes the display of objects modeled by vector models, defined by vertices.
  • the method consists in modifying the spatial position in a 3D repository of the vertices, so that the image generated by a conventional orthographic projection is correctly deformed according to the curvature of the projection surface and the position of the user.
  • This method requires a calculation for each vertex of the 3D model, and is limited to quadratic (or quadric) display surfaces that can be modeled by a second-degree equation. Therefore, this method is limited to quadrically shaped display surfaces.
  • the object of the invention is to overcome the drawbacks of the state of the art, by proposing a method of displaying three-dimensional scenes on a display surface which has an arbitrary non-planar shape, with a distortion correction of the point of view. view of a user, and having computational complexity less than the previous methods.
  • the invention proposes, according to a first aspect, a three-dimensional scene display method on a non-planar arbitrary shaped display surface, for correct viewing by a user having a given position in a three-dimensional spatial repository, the method comprising displaying a display image having pixels representative of the three-dimensional scene.
  • the method comprises:
  • a first projection phase in perspective of a three-dimensional model of the display surface on a projection plane the projection in perspective having a projection center depending on the position of the user in the spatial reference system, making it possible to obtain a projection image of the display surface from the point of view of the user,
  • the three-dimensional display method on an arbitrarily shaped display surface makes it possible to carry out a distortion correction in order to make the display geometrically correct from the point of view of a user.
  • the method of the invention is not limited to quadrically shaped display surfaces, but applies to any form of display surface.
  • the method of the invention has a limited computational complexity for displaying a three-dimensional scene regardless of the shape of the display surface.
  • the three-dimensional scene display method according to the invention may have one or more of the features below, taken independently or in any technically acceptable combination.
  • the first phase comprises, for each point of a display space of the display image, obtaining the coordinates in the three-dimensional spatial reference of a point of the corresponding display surface.
  • the method further comprises calculating a three-dimensional model of the display surface having the points of the display surface previously obtained.
  • the three-dimensional model of the display surface is a mesh, the vertices of the mesh being defined by said previously obtained points of the display surface.
  • the method comprises a determination of said projection plane from the position of the user in the spatial reference and the barycentre of the previously obtained points of the display surface.
  • It comprises a determination and storage of parameters representative of the perspective projection applied to the three-dimensional model of the display surface.
  • the first phase comprises a step of calculating and storing, for each coordinate point (s, t) of the projection image, a corresponding coordinate point (u, v) of the display image, said point of coordinates (u, v) being the point of the display image displayed at the coordinate point (x, y, z) of the display surface which is projected by said projection at the coordinate point (s) , t) of the projection plane.
  • the second phase comprises applying the perspective projection to a three-dimensional model of the scene to be displayed on said projection plane, and recovering, from a memorized correspondence table, the coordinates of the point of the image of the image. corresponding display.
  • the three-dimensional model of the scene to display is composed of primitives, each primitive comprising a polygon defined by a set of first vertices and edges connecting the first vertices, the method comprising a subdivision step by adding second vertices in each primitive, in function of a distance between the user and said first vertices.
  • the invention relates to a three-dimensional scene display device on a non-planar arbitrary shaped display surface, for correct viewing by a user having a given position in a three-dimensional spatial reference, the device comprising means displaying a display image having pixels representative of the three-dimensional scene.
  • This device comprises:
  • a module able to implement a first projection phase in perspective of a three-dimensional model of the display surface on a projection plane, the projection in perspective having a projection center depending on the position of the user in the spatial reference system, making it possible to obtain a projection image of the display surface from the point of view of the user,
  • a module able to implement a second phase of calculating a projection of the three-dimensional scene on the display surface using said projection image.
  • the invention relates to a computer program comprising instructions for implementing the steps of a three-dimensional scene display method on a display surface of arbitrary shape as briefly described above when the execution of the program by at least one processor of a programmable device.
  • FIG. 1 already described, schematically illustrates the problem of displaying a 3D object on a display surface of arbitrary shape
  • FIG. 2 is a block diagram of a 3D scene display system according to one embodiment of the invention.
  • FIG. 3 is a block diagram of a programmable device adapted to implementing a three-dimensional scene display method
  • FIG. 4 is a flowchart of the main steps of a 3D scene display method according to one embodiment of the invention.
  • FIG. 5 schematically illustrates the projection in perspective of a mesh of a curved display surface
  • FIG. 6 schematically illustrates the projection in perspective of a 3D modeling of a 3D object to be displayed
  • FIG. 7 is a flowchart of the main steps of the projection on the display surface of a 3D scene according to one embodiment.
  • a 3D scene is composed of one or more objects to display, each object being described by geometric primitives (for example triangles) associated with parameters (texture values, color, ).
  • the application of the invention is not limited to a projection system of 3D scenes on a display surface of arbitrary curved shape, but is generalized to any display system on a curved surface arbitrary, for example a curved LCD screen.
  • the invention also applies to displays with deformed pixels, for example a projector system provided with deforming lenses.
  • the invention applies for the three-dimensional scene display on a display surface of arbitrary non-planar shape, potentially equipped with deforming optics.
  • FIG. 2 is a block diagram of a display system 10 adapted to implement the invention.
  • the system 10 comprises a display system 12 of 3D scenes on a non-planar arbitrary shaped display surface.
  • the display system 12 has a display surface 14 on which display images 18 are displayed on a display unit 16.
  • the display surface 12 is a curved projection surface
  • the display unit 16 is a projector.
  • the elements 14 and 16 are integrated in a curved LCD screen.
  • the display system 12 receives a display image 18 defined by one or more arrays of pixels to be displayed, each pixel having a colorimetric value and being located at a position defined by a line index u and a column index v of the matrix.
  • a display space E ⁇ (w, v), 0 ⁇ u ⁇ M ⁇ v ⁇ N ⁇ is defined for a display resolution of M rows and N columns.
  • the display system 12 is able to display a video stream composed of a plurality of successive display images.
  • the display images 18 are calculated by a programmable device 20, for example a computer or a graphics card, comprising one or more GPU processors and associated memories.
  • the programmable device 20 receives as input a spatial position 22 associated with the user's eyes in a given 3D reference system, making it possible to define the user's field of vision.
  • the position of the eyes of the user is provided by any known tracking system.
  • the programmable device 20 also receives as input a representation 24 of the scene to be displayed, comprising a 3D modeling of this scene to be displayed.
  • the system 10 further comprises a unit 26 for capturing the 3D geometry of the display surface 14.
  • the unit 26 is a TOF camera for "Time of Flight", in French “flight time” camera, for measuring in real time a scene in three dimensions.
  • the acquisition is performed by a stereoscopic device.
  • the unit 26 is integrated and allows to acquire the geometry of the display surface.
  • the unit 26 has been shown separately, but in one embodiment, when the display device 12 comprises a projector 16, the unit 26 is a TOF camera mounted near the projection optics of the projector. Projector 16. Preferably, a conventional optical camera 28 is also present, also embedded near the projection optics in one embodiment.
  • FIG. 3 is a block diagram of the main functional modules implemented by a programmable device 20 adapted to implement the invention.
  • the device comprises a first module 30 able to implement a perspective projection of a three-dimensional model of the display surface on a projection plane, the projection in perspective having a projection center depending on the position of the user. in the spatial reference system, making it possible to obtain a planar projection image of the display surface from the point of view of the user.
  • It also comprises a memory 32, in which are stored various process parameters, and in particular a correspondence table which associates with each point of the projection image, the position (u, v) corresponding to the projected point of coordinates (x , y, z) of the display surface 14.
  • the device 20 also comprises a second module 34 adapted to implement the calculation of a projection of the three-dimensional scene on the display surface using said projection image.
  • Figure 4 is a block diagram of the main steps of a three-dimensional scene display method according to one embodiment of the invention.
  • the method comprises, in the embodiment, two phases.
  • a first phase A1 projection of the display surface from the point of view of the user is implemented during a change of shape of the display surface or during a change of position of the user.
  • the data provided at the end of this phase are stored for use in a second A2 projection phase of the 3D scene to be displayed.
  • the geometry of the 3D objects to be displayed is represented in the form of a model comprising a list of vertices thus making it possible to define a plurality of polygonal faces of these objects.
  • the execution of the second phase A2 is performed in linear calculation time with respect to the number of vertices of the modeling.
  • the first phase A1 comprises a first step 40 for recovering the spatial coordinates (x, y, z), represented in a given frame ( ⁇ , ⁇ , Z), of the surface of display associated with pixels (u, v) of the display space of the display device.
  • Figure 5 schematically illustrates this correspondence in an embodiment in which the display system comprises a projector.
  • FIG. 5 diagrammatically shows a display surface of arbitrary curved shape 14 (seen from above) and a projector P, as well as a spatial reference ( ⁇ , ⁇ , ⁇ ).
  • steps 42 for constructing a 3D model of the display surface and 44 for determining perspective projection parameters are implemented.
  • steps 42 and 44 are implemented substantially in parallel.
  • a Delaunay triangulation is applied at step 42 taking as vertices the points previously determined using contact information (w;, v;).
  • the result is a display surface represented by a mesh of triangles of these points by considering their coordinates (xi, yi, zi) associated.
  • NURBS non-uniform rational B-splines
  • Bezier surface
  • Step 44 determines perspective projection parameters and an associated projection plane PL.
  • the points (x, y, z) corresponding to the pixels (u, v) of the display space are used in step 44.
  • Perspective projection parameters taking as a projection center the spatial coordinates of a spatial position of the user's eyes in the spatial reference frame ( ⁇ , ⁇ , ⁇ ) are defined in step 44. Therefore, the center of projection is directly related to the spatial position of the considered user.
  • the projection plane P L is a plane perpendicular to the line D passing through the projection center C and the mesh point of the display surface closest to the center of the mesh.
  • This projection plane thus defined will make it possible to store a projection image of the rectangular two-dimensional projection of the display surface from the point of view of the user, defined by coordinate points (s, t), as well as coordinates of the pixels. corresponding display space.
  • the projection plane P L is chosen so that the perspective projection of the display surface takes up maximum space in the two-dimensional projection image.
  • the endpoints of the two-dimensional projection image are calculated by performing a first projection pass and selecting the minimum and maximum coordinates on the projection axes.
  • the resolution of the two-dimensional projection image is greater than or equal to the resolution of the image to be displayed, and preferably equal to twice the resolution of the image to be displayed, in order to minimize the artefacts perceptible by the user.
  • the projection image has a resolution of 2Mx2N:
  • the parameters of the perspective projection determined in step 44 are stored. These parameters include the spatial coordinates of the projection center C as well as those of the frustum associated with the projection: distance between the projection plane and the projection center C, coordinates of the extreme points defining the cone of vision from the point of view of the user.
  • the step 44 of obtaining the projection parameters is followed by a step 46 of calculating the perspective projection of the 3D modeling of the display surface obtained in step 42, with the defined projection parameters in perspective at step 44.
  • the coordinates (u, v) in the display space of the pixel of the display device corresponding to the point (x, y, z) are obtained by interpolation. ) of the projected display area.
  • step 46 The calculation of step 46 is followed by a storage of the coordinates (u, v) calculated during a storage step 48, in a correspondence table.
  • the calculated coordinates (u, v) are stored.
  • the correspondence table is stored in a buffer (or buffer in English) of the programmable device implementing the method.
  • the first phase A1 of the process is completed.
  • the second phase A2 comprises a step 50 of applying the projection in perspective, with the projection parameters calculated during step 44 and stored, to a 3D model of the scene to be displayed.
  • the perspective projection is applied to the vertices of the 3D modeling of the scene.
  • Each vertex of the 3D modeling of the spatial coordinates scene (Pi, qi, ri) is projected at a point (s ,, /,) of the projection image.
  • FIG. 6 schematically illustrates the projection of the vertices S of an object, seen from above, on the previously determined projection plane P L , with the projection center C depending on the position of the gaze. the user User-1.
  • the perspective projection 50 is followed by a step 52 of obtaining the coordinates (u, v) corresponding to the points (s, t) respectively, using the correspondence table previously stored, indicating the coordinates of the pixel of the space display to be mapped to the vertex of coordinates ( ⁇ , ⁇ , ⁇ ) so that the display is performed correctly from the point of view of the user.
  • the implementation of this step simply includes an access in the correspondence table.
  • obtaining the correspondence of the coordinates is linear as a function of the number of vertices defining the 3D scene to be displayed, whatever the shape of the display surface.
  • Step 52 is followed by a step 54 of geometric correction of the coordinates (p, q, r) of each vertex to be displayed, as a function of the coordinates (u, v) obtained in step 52 and the distance of the eye of the user at the considered vertex.
  • the geometric modeling of the objects to be displayed is dynamically adapted to improve the visual rendering, by subdivision, also called tessellation in English.
  • the level of subdivision is adapted according to the distance separating the projection on the plane P L of two vertices of the same geometric primitive of the 3D scene to be displayed.
  • a primitive of the 3D modeling includes a polygon defined by a set of vertices, for example three vertices for the case of a triangle.
  • the subdivision then comprises, for each primitive of the 3D modeling of the scene, the following steps.
  • the perspective projection is applied to the step 64, analogously to the step 50 described herein. -above.
  • step 66 the corresponding coordinates ( ⁇ ,, ⁇ ) are obtained from the correspondence table, analogously to step 52 previously described.
  • step 70 it is chosen to apply a more or less significant subdivision of the treated Prim-i primitive, as a function of the maximum distance Dmax between the points ( ⁇ ,, ⁇ ,). The greater the latter, the stronger the subdivision of the primitive.
  • subdivision will not be applied if Dmax ⁇ Dseuil_min with Dseuil_min a predetermined minimum threshold distance, a subdivision number equal to Subdiv max if Dmax> Dseuil_max, with Dseuil_max a predetermined maximum threshold distance greater than Dseuil_min , and a number of subdivision equal to floor ((Dmax-Dseuil_min) / (Dseuil_max-Dseuil_min) * Subdiv_max otherwise.
  • the minimum and maximum threshold distance values are selected based on the resolution to display.
  • Step 70 is followed by step 60 previously described, for the treatment of another primitive of the 3D modeling.
  • steps 50 to 54 previously described are applied.
  • the invention is advantageously applicable whatever the display surface, in particular without limitation to the display surfaces that can be modeled by a Cartesian or other mathematical equation. It applies in particular, as explained above, in the case of a projector with deforming lenses or flexible screens.
  • the invention is advantageously applied when there is no intrinsic modeling matrix of a projector-camera system, that is to say when the projector-camera system is not parameterizable by linear equations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

L'invention concerne un procédé et un dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel. Le procédé comporte l'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle. Il comporte : - une première phase (A1) de projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection (PL), la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection (lproj) de la surface d'affichage du point de vue de l'utilisateur, - une deuxième phase (A2) de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection (lproj).

Description

Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane
La présente invention concerne un procédé d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation par un utilisateur ayant une position donnée dans un référentiel spatial.
L'invention se situe dans le domaine de l'infographie, en particulier de la projection de scènes tridimensionnelles utilisée notamment dans les systèmes de réalité virtuelle immersifs.
De tels systèmes sont utilisés par exemple à des fins industrielles, ludiques ou pédagogiques.
On connaît des installations d'immersion virtuelle composées de plusieurs écrans afin de couvrir entièrement le champ de visualisation de l'utilisateur, permettant une immersion dans un univers de scènes tridimensionnelles. Afin de simplifier le traitement graphique induit par la projection, les écrans sont généralement plans et disposés les uns à côté des autres. Afin de maximiser le champ de vision de l'utilisateur, les écrans sont positionnés pour former un cube ou une portion de cube, comme par exemple dans une installation CAVE (« Cave Automatic Virtual Environment »). Cependant une telle installation comporte des défauts de visualisation au niveau des angles joignant les écrans, qui sont perçus par les utilisateurs comme des artefacts dans l'image de la scène projetée.
Pour pallier ces inconvénients, des installations comportant des écrans courbés ont été conçues, pour des applications notamment dans le domaine du cinéma et de la simulation de vol. Ces écrans sont en général de forme hémisphérique ou cylindrique. Cependant, la projection de scènes tridimensionnelles (3D), comportant des objets définis par une modélisation 3D, sur des surfaces de projection non planaires nécessite une correction des modèles géométriques des objets pour une perception géométriquement correcte pour l'utilisateur. Ce processus, appelé correction de distorsion ou correction géométrique, implique une grande complexité calculatoire.
Il est à noter que la perception, par un utilisateur, de la géométrie d'un objet tridimensionnel projeté sur une surface de projection non planaire dépend de la géométrie de la surface d'affichage et de la position de l'utilisateur, comme illustré schématiquement sur la figure 1 .
La figure 1 illustre schématiquement, en vue de dessus, une surface d'affichage S de forme courbe quelconque, un projecteur P, un objet O à projeter, ainsi que les positions de deux utilisateurs notés User-1 et User-2, chaque position associée aux yeux de l'utilisateur considéré.
Plusieurs approches ont été proposées pour l'affichage ou le rendu de scènes tridimensionnelles sur des surfaces d'affichage courbes.
La famille des méthodes dites de lancer de rayon est bien connue, mais ces méthodes présentent une complexité calculatoire trop importante pour une mise en œuvre en temps réel.
La famille des méthodes de rendu en deux passes par déformation d'image bidimensionnelle (2D), utilisée classiquement pour corriger la perspective dans des systèmes immersifs, n'est pas adaptée à une génération dynamique de l'image à afficher en fonction de la position de l'utilisateur.
Le brevet US6 793 350 intitulé « Projecting warped images onto curved surfaces » décrit une méthode de rendu tridimensionnel faisant partie de la famille des méthodes de transfert sur surfaces quadriques. Cette méthode décrit l'affichage d'objets modélisés par des modèles vectoriels, définis par des sommets. La méthode consiste à modifier la position spatiale dans un référentiel 3D des sommets, de sorte que l'image générée par une projection orthographique classique soit correctement déformée en fonction de la courbure de la surface de projection et de la position de l'utilisateur. Cette méthode nécessite un calcul pour chaque sommet du modèle 3D, et est limitée à des surfaces d'affichage quadratiques (ou quadriques), modélisables par une équation de second degré. Par conséquent, cette méthode est limitée à des surfaces d'affichage de forme quadrique.
L'invention a pour objet de remédier aux inconvénients de l'état de la technique, en proposant un procédé d'affichage de scènes tridimensionnelles sur une surface d'affichage qui présente une forme arbitraire non plane, avec une correction de distorsion du point de vue d'un utilisateur, et présentant une complexité calculatoire moindre que les méthodes préalables.
A cet effet, l'invention propose, selon un premier aspect, un procédé d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le procédé comportant l'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle.
Le procédé comporte :
- une première phase de projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection de la surface d'affichage du point de vue de l'utilisateur,
- une deuxième phase de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection.
Avantageusement, le procédé d'affichage de scène tridimensionnelle sur surface d'affichage de forme arbitraire selon l'invention permet d'effectuer une correction de distorsion afin de rendre l'affichage géométriquement correct du point de vue d'un utilisateur. Le procédé de l'invention ne se limite pas aux surfaces d'affichage de forme quadrique, mais s'applique à toute forme de surface d'affichage.
De plus, avantageusement, le procédé de l'invention présente une complexité calculatoire limitée pour l'affichage d'une scène tridimensionnelle quelle que soit la forme de la surface d'affichage.
Le procédé d'affichage de scène tridimensionnelle selon l'invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes combinaisons techniquement acceptables.
La première phase comporte, pour chaque point d'un espace d'affichage de l'image d'affichage, l'obtention des coordonnées dans le référentiel spatial tridimensionnel d'un point de la surface d'affichage correspondant.
Le procédé comporte en outre un calcul d'un modèle tridimensionnel de la surface d'affichage comportant les points de la surface d'affichage préalablement obtenus.
Le modèle tridimensionnel de la surface d'affichage est un maillage, les sommets du maillage étant définis par lesdits points de la surface d'affichage préalablement obtenus.
Le procédé comporte une détermination dudit plan de projection à partir de la position de l'utilisateur dans le référentiel spatial et du barycentre des points de la surface d'affichage préalablement obtenus.
Il comporte une détermination et une mémorisation de paramètres représentatifs de la projection en perspective appliquée au modèle tridimensionnel de la surface d'affichage.
La première phase comporte une étape de calcul et de mémorisation, pour chaque point de coordonnées (s,t) de l'image de projection, d'un point de coordonnées (u,v) correspondant de l'image d'affichage, ledit point de coordonnées (u,v) étant le point de l'image d'affichage affiché au point de coordonnées (x,y,z) de la surface d'affichage qui est projeté, par ladite projection, au point de coordonnées (s,t) du plan de projection. La deuxième phase comporte une application de la projection en perspective à un modèle tridimensionnel de la scène à afficher sur ledit plan de projection, et une récupération, à partir d'une table de correspondance mémorisée, des coordonnées du point de l'image d'affichage correspondant.
Le modèle tridimensionnel de la scène à afficher est composé de primitives, chaque primitive comportant un polygone défini par un ensemble de premiers sommets et des arêtes reliant les premiers sommets, le procédé comportant une étape de subdivision par ajout de deuxièmes sommets dans chaque primitive, en fonction d'une distance entre l'utilisateur et lesdits premiers sommets.
Selon un deuxième aspect, l'invention concerne un dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le dispositif comportant des moyens d'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle. Ce dispositif comporte :
- un module apte à mettre en œuvre une première phase de projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection de la surface d'affichage du point de vue de l'utilisateur,
-un module apte à mettre en œuvre une deuxième phase de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection.
Les avantages de ce dispositif d'affichage étant analogues à ceux du procédé d'affichage brièvement décrit ci-dessus, ils ne sont pas rappelés ici.
Selon un troisième aspect, l'invention concerne un programme d'ordinateur comportant des instructions pour mettre en œuvre les étapes d'un procédé d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire tel que brièvement décrit ci-dessus lors de l'exécution du programme par au moins un processeur d'un dispositif programmable.
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles : -la figure 1 , déjà décrite, illustre schématiquement la problématique de l'affichage d'objet 3D sur une surface d'affichage de forme arbitraire ;
-la figure 2 est un synoptique d'un système d'affichage de scène 3D selon un mode de réalisation de l'invention ;
-la figure 3 est un schéma bloc d'un dispositif programmable adapté à mettre en œuvre un procédé d'affichage de scène tridimensionnelle ;
-la figure 4 est un organigramme des principales étapes d'un procédé d'affichage de scène 3D selon un mode de réalisation de l'invention ;
-la figure 5 illustre schématiquement la projection en perspective d'un maillage d'une surface d'affichage courbe ;
-la figure 6 illustre schématiquement la projection en perspective d'une modélisation 3D d'un objet 3D à afficher ;
-la figure 7 est un organigramme des principales étapes de la projection sur la surface d'affichage d'une scène 3D selon un mode de réalisation.
L'invention sera décrite ci-après dans son application pour l'affichage de scène 3D ayant un modèle tridimensionnel associé. Une scène 3D est composée d'un ou plusieurs objets à afficher, chaque objet étant décrit par des primitives géométriques (par exemple des triangles) associées à des paramètres (valeurs de texture, couleur, ...).
II est à noter que l'application de l'invention n'est pas limitée à un système de projection de scènes 3D sur une surface d'affichage de forme courbe arbitraire, mais se généralise à tout système d'affichage sur surface de forme courbe arbitraire, par exemple un écran LCD courbe. L'invention s'applique également aux affichages à pixels déformés, par exemple un système de projecteur muni de lentilles déformantes.
En d'autres termes, l'invention s'applique pour l'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, potentiellement munie d'optique déformante.
La figure 2 est un synoptique d'un système d'affichage 10 apte à mettre en œuvre l'invention.
Le système 10 comporte un système d'affichage 12 de scènes 3D sur une surface d'affichage de forme arbitraire non planaire.
Le système d'affichage 12 comporte une surface d'affichage 14 sur laquelle sont affichées des images d'affichage 18 formées sur une unité d'affichage 16.
Dans un mode de réalisation, la surface d'affichage 12 est une surface de projection de forme courbe, et l'unité d'affichage 16 est un projecteur. En variante, les éléments 14 et 16 sont intégrés dans un écran LCD courbe.
Le système d'affichage 12 reçoit une image d'affichage 18 définie par une ou plusieurs matrices de pixels à afficher, chaque pixel ayant une valeur colorimétrique et étant situé à une position définie par un indice de ligne u et un indice de colonne v de la matrice. On définit un espace d'affichage E = {(w, v),0 < u < M fi≤ v < N} pour une résolution d'affichage de M lignes et de N colonnes.
Il est à noter que le système d'affichage 12 est apte à afficher un flux vidéo composé d'une pluralité d'images d'affichage successives.
Les images d'affichage 18 sont calculées par un dispositif programmable 20, par exemple un ordinateur ou une carte graphique, comportant un ou plusieurs processeurs GPU et des mémoires associées.
Le dispositif programmable 20 reçoit en entrée une position spatiale 22 associée aux yeux de l'utilisateur dans un référentiel 3D donné, permettant de définir le champ de vision de l'utilisateur.
La position des yeux de l'utilisateur est fournie par tout système de suivi (ou tracking en anglais) connu.
Le dispositif programmable 20 reçoit également en entrée une représentation 24 de la scène à afficher, comportant une modélisation 3D de cette scène à afficher.
Le système 10 comporte en outre une unité 26 permettant de capturer la géométrie 3D de la surface d'affichage 14.
Dans un mode de réalisation, l'unité 26 est une caméra TOF pour « Time of Flight », en français caméra « temps de vol », permettant de mesurer en temps réel une scène en trois dimensions.
En variante, l'acquisition est réalisée par un dispositif stéréoscopique.
Selon une autre variante, lorsque les éléments 14 et 16 sont intégrés dans un écran LCD et que la position spatiale des pixels est connue, par exemple à l'aide d'un réseau déformable de fibre optique, l'unité 26 est intégrée et permet d'acquérir la géométrie de la surface d'affichage.
Il est à noter que l'unité 26 a été représentée séparément, mais dans un mode de réalisation, lorsque le dispositif d'affichage 12 comporte un projecteur 16, l'unité 26 est une caméra TOF embarquée près de l'optique de projection du projecteur 16.De préférence, une caméra optique classique 28 est également présente, également embarquée près de l'optique de projection dans un mode de réalisation.
L'utilisation conjointe d'une caméra TOF 26 et d'une caméra optique 28 permet de trouver des paramètres de mise en correspondance de chaque position (u,v) de l'espace d'affichage, associé à l'image d'affichage, avec un point correspondant de coordonnées (x,y,z) de la surface d'affichage 14.
La figure 3 est un synoptique des principaux modules fonctionnels mis en œuvre par un dispositif programmable 20 apte à mettre en œuvre l'invention.
La dispositif comprend un premier module 30 apte à mettre en œuvre une projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image planaire de projection de la surface d'affichage du point de vue de l'utilisateur.
II comprend également une mémoire 32, dans laquelle sont mémorisés divers paramètres du procédé, et en particulier une table de correspondance qui associe à chaque point de l'image de projection, la position (u,v) correspondant au point projeté de coordonnées (x,y,z) de la surface d'affichage 14.
Le dispositif 20 comporte également un deuxième module 34 apte à mettre en œuvre le calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection.
La figure 4 est un synoptique des principales étapes d'un procédé d'affichage de scène tridimensionnelle selon un mode de réalisation de l'invention.
Ces étapes sont de préférence mises en œuvre par un processeur graphique GPU d'un dispositif programmable.
Le procédé comporte, dans le mode de réalisation, deux phases.
Une première phase A1 de projection de la surface d'affichage du point de vue de l'utilisateur est mise en œuvre lors d'un changement de forme de la surface d'affichage ou lors d'un changement de position de l'utilisateur.
Les données fournies à l'issue de cette phase sont mémorisées pour une utilisation dans une deuxième phase A2 de projection de la scène 3D à afficher.
De préférence, la géométrie des objets 3D à afficher est représentée sous forme d'une modélisation comportant une liste de sommets permettant ainsi de définir une pluralité de faces polygonales de ces objets.
Avantageusement, l'exécution de la deuxième phase A2 est réalisée en temps de calcul linéaire par rapport au nombre des sommets de la modélisation.
Dans le mode de réalisation de la figure 4, la première phase A1 comporte une première étape 40 de récupération des coordonnées spatiales (x,y,z), représentées dans un référentiel (Χ,Υ, Z) donné, de la surface d'affichage associées à des pixels (u, v) de l'espace d'affichage du dispositif d'affichage. La figure 5 illustre schématiquement cette correspondance dans un mode de réalisation dans lequel le système d'affichage comporte un projecteur.
Sur la figure 5, on a représenté schématiquement une surface d'affichage de forme courbe arbitraire 14 (en vue de dessus) et un projecteur P, ainsi qu'un référentiel spatial (Χ,Υ,Ζ).
A chaque point (u^v^ de l'espace d'affichage correspond un point de coordonnées (^ , ^ , Ζ; ) de la surface d'affichage 14.
A la suite de l'étape 40, des étapes 42 de construction d'un modèle 3D de la surface d'affichage et 44 de détermination de paramètres de projection perspective sont mises en œuvre.
Dans le mode de réalisation préféré, les étapes 42 et 44 sont mises en œuvre sensiblement en parallèle.
Dans un mode de réalisation, une triangulation de Delaunay est appliquée à l'étape 42 en prenant comme sommets les points déterminés précédemment en utilisant leurs coordonnées (w; , v; ) . Il en résulte une surface d'affichage représentée par un maillage de triangles de ces points en considérant leurs coordonnées (xi,yi,zi) associés.
En variante, d'autres modélisations 3D connues dans le domaine de l'infographie peuvent être utilisées, par exemple des B-splines rationnelles non uniformes (NURBS) ou une surface de Bézier, en utilisant les points (Xi,yi,Zi) déterminés précédemment comme points de contrôle.
L'étape 44 détermine des paramètres de projection perspective et un plan de projection PL associé. Les points (x, y, z) correspondant aux pixels (u, v) de l'espace d'affichage sont utilisés dans l'étape 44.
Des paramètres de projection en perspective prenant comme centre de projection les coordonnées spatiales d'une position spatiale des yeux de l'utilisateur dans le référentiel spatial (Χ,Υ,Ζ) sont définis à l'étape 44. Par conséquent, le centre de projection est directement lié à la position spatiale de l'utilisateur considéré.
On définit un plan de projection PL associé à cette projection en perspective.
De préférence, le plan de projection PL est un plan perpendiculaire à la droite D passant par le centre de projection C et le point du maillage de la surface d'affichage le plus proche du barycentre du maillage.
Il est à noter que mathématiquement, il est suffisant de considérer un plan PL ne passant pas par le centre de projection C. La figure 5 illustre schématiquement un tel plan de projection PL et les points notés respectivement Proj(u„i ,) du plan PL, correspondant à la projection des points (Χί,ν,,ζ,) du référentiel spatial associés aux pixels (υ,, ι/,) de l'espace d'affichage.
Ce plan de projection ainsi défini permettra de stocker une image de projection lproj bidimensionnelle rectangulaire de la surface d'affichage du point de vue de l'utilisateur, définie par des points de coordonnées (s,t), ainsi que des coordonnées des pixels de l'espace d'affichage correspondants.
Le plan de projection PL est choisi de manière à ce que la projection en perspective de la surface d'affichage occupe un maximum de place dans l'image de projection bidimensionnelle.
Les points extrêmes de l'image de projection bidimensionnelle sont calculés en effectuant une première passe de projection et en sélectionnant les coordonnées minimales et maximales sur les axes de projection.
La résolution de l'image de projection bidimensionnelle est supérieure ou égale à la résolution de l'image à afficher, et de préférence égale au double de la résolution de l'image à afficher, afin de minimiser les artefacts perceptibles par l'utilisateur.
De préférence, lorsque l'espace d'affichage correspond à une image d'affichage de MxN pixels, l'image de projection a une résolution de 2Mx2N :
Ipmj (s, t), ≤s < 2M,0≤t < 2N .
Les paramètres de la projection en perspective déterminée à l'étape 44 sont mémorisés. Ces paramètres comprennent les coordonnées spatiales du centre de projection C ainsi que celles du frustum associé à la projection : distance entre plan de projection et centre de projection C, coordonnées des points extrêmes définissant le cône de vision du point de vue de l'utilisateur.
L'étape 44 d'obtention des paramètres de projection est suivie d'une étape 46 de calcul de la projection en perspective de la modélisation 3D de la surface d'affichage obtenue à l'étape 42, avec les paramètres de projection en perspective définis à l'étape 44.
En chaque point (s,/) de l'image de projection on obtient, par interpolation, les coordonnées (u, v) dans l'espace d'affichage du pixel du dispositif d'affichage correspondant au point (x,y,z) de la surface d'affichage projeté.
Le calcul de l'étape 46 est suivi d'une mémorisation des coordonnées (u, v) calculées lors d'une étape de mémorisation 48, dans une table de correspondance.
On mémorise, pour chaque point (s,t), les coordonnées (u, v) calculées. Dans un mode de réalisation la table de correspondance est mémorisée dans un tampon (ou buffer en anglais) du dispositif programmable mettant en œuvre le procédé.
La première phase A1 du procédé est terminée.
La deuxième phase A2 comprend une étape 50 d'application de la projection en perspective, avec les paramètres de projection calculés lors de l'étape 44 et mémorisés, à un modèle 3D de la scène à afficher.
La projection en perspective est appliquée aux sommets de la modélisation 3D de la scène. Chaque sommet de la modélisation 3D de la scène de coordonnées spatiales (Pi,qi,ri) est projeté en un point (s,,/,) de l'image de projection.
A titre d'exemple, la figure 6 illustre schématiquement la projection des sommets S, d'un objet, en vue du dessus, sur le plan de projection PL préalablement déterminé, avec le centre de projection C dépendant de la position du regard de l'utilisateur User-1 .
La projection en perspective 50 est suivie d'une étape 52 d'obtention des coordonnées (u, v) correspondant aux points (s,t) respectifs, en utilisant la table de correspondance préalablement mémorisée, indiquant les coordonnées du pixel de l'espace d'affichage à mettre en correspondance avec le sommet de coordonnées (ρ,η,ή pour que l'affichage s'effectue de manière correcte du point de vue de l'utilisateur.
La mise en œuvre de cette étape comporte simplement un accès dans la table de correspondance.
Avantageusement, l'obtention de la correspondance des coordonnées est linéaire en fonction du nombre de sommets définissant la scène 3D à afficher, quelle que soit la forme de la surface d'affichage.
L'étape 52 est suivie d'une étape 54 de correction géométrique des coordonnées (p,q,r) de chaque sommet à afficher, en fonction des coordonnées (u, v) obtenues à l'étape 52 et de la distance de l'œil de l'utilisateur au sommet considéré.
L'utilisation de cette distance permet de préserver des données correctes pour le calcul d'occlusion en employant une méthode de tampon de profondeur (ou Z-buffer en anglais).
Dans un mode de réalisation, dans la deuxième phase A2 du procédé, la modélisation géométrique des objets à afficher est adaptée dynamiquement pour améliorer le rendu visuel, par subdivision, également appelée tessellation en anglais. Le niveau de subdivision est adapté en fonction de la distance séparant la projection sur le plan PL de 2 sommets d'une même primitive géométrique de la scène 3D à afficher.
Dans le mode de réalisation décrit en référence à la figure 7, la subdivision s'applique à chaque primitive de la modélisation 3D de la scène. Une primitive de la modélisation 3D comprend un polygone défini par un ensemble de sommets, par exemple trois sommets pour le cas d'un triangle.
La subdivision comprend alors, pour chaque primitive de la modélisation 3D de la scène les étapes suivantes.
Pour chaque primitive Prim-i de la modélisation 3D (étape 60), et pour chaque sommet Sj de Prim-i (étape 62), la projection perspective est appliquée à l'étape 64, de manière analogue à l'étape 50 décrite ci-dessus.
A l'étape 66, les coordonnées (ιι,,ν ) correspondantes sont obtenues à partir de la table de correspondance, de manière analogue à l'étape 52 préalablement décrite.
A l'étape 70, on choisit d'appliquer une subdivision plus ou moins importante de la primitive Prim-i traitée, en fonction de la distance maximale Dmax entre les points (υ,,ν,). Plus cette dernière sera grande, plus forte sera la subdivision de la primitive.
Dans un mode de réalisation, on n'appliquera pas de subdivision si Dmax < Dseuil_min avec Dseuil_min une distance de seuil minimum prédéterminée, un nombre de subdivision égal à Subdiv max si Dmax > Dseuil_max, avec Dseuil_max une distance de seuil maximum prédéterminée supérieure à Dseuil_min, et un nombre de subdivision égal à floor((Dmax-Dseuil_min)/(Dseuil_max-Dseuil_min)*Subdiv_max sinon.
Les valeurs de distance de seuil minimum et maximum sont sélectionnées en fonction de la résolution à afficher.
Par exemple, pour la résolution full HD classique, on peut utiliser Dseuil_min=20 pixels et Dseuil_max=400 pixels. Ces valeurs sont données à titre d'exemple non limitatif.
L'étape 70 est suivie de l'étape 60 précédemment décrite, pour le traitement d'une autre primitive de la modélisation 3D.
Après subdivision, les étapes 50 à 54 précédemment décrites sont appliquées. L'invention s'applique avantageusement quelle que soit la surface d'affichage, en particulier sans limitation aux surfaces d'affichage modélisables par une équation mathématique cartésienne ou autre. Elle s'applique en particulier, comme expliqué ci- dessus, dans le cas d'un projecteur à lentilles déformantes ou des écrans souples. L'invention s'applique avantageusement lorsqu'on ne dispose pas d'une matrice intrinsèque de modélisation d'un système projecteur-caméra, c'est-à-dire lorsque le système projecteur-caméra n'est pas paramétrable par équations linéaires.

Claims

REVENDICATIONS
1 . - Procédé d'affichage de scène tridimensionnelle sur une surface d'affichage (14) de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le procédé comportant l'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle, caractérisé en ce qu'il comporte :
- une première phase (A1 ) de projection en perspective d'un modèle tridimensionnel de la surface d'affichage (14) sur un plan de projection (PL), la projection en perspective ayant un centre de projection (C) dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection (lpr0j) de la surface d'affichage du point de vue de l'utilisateur,
- une deuxième phase (A2) de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage (14) utilisant ladite image de projection (lpr0j).
2. - Procédé d'affichage selon la revendication 1 , caractérisé en ce que la première phase comporte :
- pour chaque point d'un espace d'affichage de l'image d'affichage, l'obtention (40) des coordonnées dans le référentiel spatial tridimensionnel d'un point de la surface d'affichage correspondant.
3. - Procédé d'affichage selon la revendication 2, caractérisé en ce qu'il comporte en outre un calcul (42) d'un modèle tridimensionnel de la surface d'affichage comportant les points de la surface d'affichage préalablement obtenus.
4. - Procédé d'affichage selon la revendication 3, caractérisé en ce que le modèle tridimensionnel de la surface d'affichage est un maillage, les sommets du maillage étant définis par lesdits points de la surface d'affichage préalablement obtenus.
5. - Procédé d'affichage selon l'une quelconque des revendications 2 à 4, caractérisé en ce qu'il comporte une détermination (44) dudit plan de projection (PL) à partir de la position (C) de l'utilisateur dans le référentiel spatial et du barycentre des points de la surface d'affichage préalablement obtenus.
6.- Procédé d'affichage selon la revendication 5, caractérisé en ce qu'il comporte une détermination (44) et une mémorisation de paramètres représentatifs de la projection en perspective appliquée au modèle tridimensionnel de la surface d'affichage.
7.- Procédé d'affichage selon l'une quelconque des revendications 1 à 6, caractérisé en ce que la première phase comporte une étape de calcul (46) et de mémorisation (48), pour chaque point de coordonnées (s,t) de l'image de projection, d'un point de coordonnées (u,v) correspondant de l'image d'affichage, ledit point de coordonnées (u,v) étant le point de l'image d'affichage affiché au point de coordonnées (x,y,z) de la surface d'affichage qui est projeté, par ladite projection, au point de coordonnées (s,t) du plan de projection.
8. - Procédé d'affichage selon la revendication 7, caractérisé en ce que la deuxième phase comporte une application (50) de la projection en perspective à un modèle tridimensionnel de la scène à afficher sur ledit plan de projection (PL), et une récupération, à partir d'une table de correspondance mémorisée, des coordonnées (u,v) du point de l'image d'affichage correspondant.
9. - Procédé d'affichage selon la revendication 8, dans lequel le modèle tridimensionnel de la scène à afficher est composé de primitives, chaque primitive comportant un polygone défini par un ensemble de premiers sommets et des arêtes reliant les premiers sommets, le procédé comportant une étape (70) de subdivision par ajout de deuxièmes sommets dans chaque primitive, en fonction d'une distance entre l'utilisateur et lesdits premiers sommets.
10. - Dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane, pour visualisation correcte par un utilisateur ayant une position donnée dans un référentiel spatial tridimensionnel, le dispositif comportant des moyens d'affichage d'une image d'affichage comportant des pixels représentatifs de la scène tridimensionnelle, caractérisé en ce qu'il comporte :
- un module apte à mettre en œuvre une première phase de projection en perspective d'un modèle tridimensionnel de la surface d'affichage sur un plan de projection, la projection en perspective ayant un centre de projection dépendant de la position de l'utilisateur dans le référentiel spatial, permettant d'obtenir une image de projection de la surface d'affichage du point de vue de l'utilisateur, -un module apte à mettre en œuvre une deuxième phase de calcul d'une projection de la scène tridimensionnelle sur la surface d'affichage utilisant ladite image de projection.
1 1 .- Programme d'ordinateur comportant des instructions pour mettre en œuvre les étapes d'un procédé d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane conforme aux revendications 1 à 9 lors de l'exécution du programme par au moins un processeur d'un dispositif programmable.
EP16741599.1A 2015-07-17 2016-07-18 Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane Withdrawn EP3326147A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1556810A FR3039028B1 (fr) 2015-07-17 2015-07-17 Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane
PCT/EP2016/067063 WO2017013068A1 (fr) 2015-07-17 2016-07-18 Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane

Publications (1)

Publication Number Publication Date
EP3326147A1 true EP3326147A1 (fr) 2018-05-30

Family

ID=54937200

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16741599.1A Withdrawn EP3326147A1 (fr) 2015-07-17 2016-07-18 Procédé et dispositif d'affichage de scène tridimensionnelle sur une surface d'affichage de forme arbitraire non plane

Country Status (4)

Country Link
US (1) US20180213215A1 (fr)
EP (1) EP3326147A1 (fr)
FR (1) FR3039028B1 (fr)
WO (1) WO2017013068A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055293B (zh) * 2016-05-23 2019-03-22 京东方科技集团股份有限公司 用于显示图像的方法、装置和系统
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN110853152B (zh) * 2019-11-14 2024-01-30 上海未高科技有限公司 一种三维超大场景的细分切割加载方法
CN114241162A (zh) * 2020-09-09 2022-03-25 广州励丰文化科技股份有限公司 异形投影面的投影方法、服务器及计算机可读存储介质
CN113297701B (zh) * 2021-06-10 2022-12-20 清华大学深圳国际研究生院 多种类工业零件堆叠场景的仿真数据集生成方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6811264B2 (en) 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
US8963958B2 (en) * 2003-12-10 2015-02-24 3D Systems, Inc. Apparatus and methods for adjusting a texture wrapped onto the surface of a virtual object
US9578226B2 (en) * 2012-04-12 2017-02-21 Qualcomm Incorporated Photometric registration from arbitrary geometry for augmented reality
KR101710003B1 (ko) * 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법

Also Published As

Publication number Publication date
FR3039028B1 (fr) 2018-03-09
FR3039028A1 (fr) 2017-01-20
US20180213215A1 (en) 2018-07-26
WO2017013068A1 (fr) 2017-01-26

Similar Documents

Publication Publication Date Title
US10540576B1 (en) Panoramic camera systems
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US10453249B2 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
US11189043B2 (en) Image reconstruction for virtual 3D
Delaunoy et al. Photometric bundle adjustment for dense multi-view 3d modeling
EP3326147A1 (fr) Procédé et dispositif d&#39;affichage de scène tridimensionnelle sur une surface d&#39;affichage de forme arbitraire non plane
EP1646012A1 (fr) Procede de creation d&#39;une image de point visuel virtuel, procede et dispositif d&#39;affichage d&#39;images 3d
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
CN109660783A (zh) 虚拟现实视差校正
US9147279B1 (en) Systems and methods for merging textures
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
US11651506B2 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
Baričević et al. User-perspective augmented reality magic lens from gradients
US20220222842A1 (en) Image reconstruction for virtual 3d
US10026213B1 (en) Filtering for 3D scene rendering using ray divergence
US20220108420A1 (en) Method and system of efficient image rendering for near-eye light field displays
US11636578B1 (en) Partial image completion
Ishihara et al. Integrating both parallax and latency compensation into video see-through head-mounted display
US20230186500A1 (en) Image-based environment reconstruction
Bailey et al. Finite Aperture Stereo
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d&#39;image de realite virtuelle dans un espace 3d
T K et al. A Review on 3D Photo in Painting Techniques

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20180115

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20200312

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603