EP4260166A1 - Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d - Google Patents

Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d

Info

Publication number
EP4260166A1
EP4260166A1 EP21848173.7A EP21848173A EP4260166A1 EP 4260166 A1 EP4260166 A1 EP 4260166A1 EP 21848173 A EP21848173 A EP 21848173A EP 4260166 A1 EP4260166 A1 EP 4260166A1
Authority
EP
European Patent Office
Prior art keywords
eye
avatar
scene
img
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21848173.7A
Other languages
German (de)
English (en)
Inventor
Richard Guignon
Sébastien Poivre
Gildas Belay
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4260166A1 publication Critical patent/EP4260166A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding three-dimensional [3D] tree structures onto two-dimensional [2D] planes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • Title of the invention Methods and devices for immersing a user in an immersive scene and for processing 3D objects.
  • the present invention belongs to the general field of virtual reality. It relates more particularly to a solution for displaying synthetic objects in an immersive scene.
  • immersion device designates a device which allows a user to be immersed in an immersive scene displayed on the screen of the device, in particular a scene reproduction device in N dimensions, N being greater than or equal to 3.
  • virtual reality helmets and glasses 3D reproduction terminals or more, such as 3D televisions, 3D projection systems and more used, for example, in cinemas, virtual reality, etc., holographic devices, etc. constitute immersion devices within the meaning of the invention.
  • Some of its devices allow the user to move around the immersive scene and manipulate synthetic objects modeled in three dimensions.
  • a complex object can be modeled by a mesh broken down into polygons, for example triangles, each polygon being covered with a texture.
  • autonomous immersion devices are distinguished which embed the hardware and software means necessary for the processing of synthetic objects for their display and their manipulation by the user in the immersive scene.
  • These devices have computing power and memory capacity which may prove to be insufficient to process complex objects, for example objects comprising a large number of meshes, polygons or textures.
  • a solution to overcome this difficulty consists in connecting the immersion device to a more powerful device, in deporting the calculations of the synthetic objects (calculation of the positions and orientations of the objects, of the shadows cast, of the occlusions, etc.) on this powerful device, to send a stream of data representative of the immersive scene thus calculated to the immersion device for display on its screen.
  • the immersion device communicates the positioning information of the user's eyes, the immersive scene is recalculated by the remote device based on this information and sent back to the immersion device.
  • the object of the present invention is to remedy all or part of the drawbacks of the prior art, in particular those set out above.
  • the invention relates to a method for immersing a user in an immersive scene, this method being implemented by an immersion device and comprising:
  • - a step of sending, to a device for processing three-dimensional objects, a request comprising a position and an orientation of an eye of an avatar of the user in the immersive scene and display parameters of an object modeled in three dimensions in said scene;
  • the invention relates to a device for immersing a user in an immersive scene, this device comprising:
  • - a module for receiving a two-dimensional image and a position of said image in said scene, calculated by said device for processing three-dimensional objects, said image representing a point of view of the eye of the avatar on said object;
  • the invention relates to a method for processing at least one object modeled in three dimensions, this method comprising:
  • - a step of receiving, from a device for immersing a user in an immersive scene, a request comprising a position and an orientation of an eye of an avatar of a user in said immersive scene and display parameters of said object in said scene;
  • the invention relates to an object processing device configured to process at least one object modeled in three dimensions, this method comprising:
  • the invention also relates to a virtual reality system comprising a device for immersing a user in an immersive scene and a device for processing objects as presented above and interconnected by a communications network.
  • the invention is advantageous if the object processing device has computing capacities (processor, memory, etc.) greater than those of the immersion device.
  • the invention proposes a virtual reality system in which, for at least one object modeled in three dimensions which should be displayed by the immersion device, one displays in the immersive scene, instead of this three-dimensional object (or 3D object) a two-dimensional image of this object, which represents the point of view of the user's eye on the object.
  • the method implemented by the immersion device for displaying this 3D object is very simple since it essentially consists in displaying a two-dimensional image of this object according to a position and an orientation determined by the object processing device.
  • the data flow between the immersion device and the object processing device is limited since it essentially consists of a two-dimensional image.
  • the recalculated 3D model of the object does not need to be exchanged.
  • the image calculated by the object processing device comprises a projection of the object on a plane perpendicular to the orientation of the eye of the avatar and centered on the avatar's eye position.
  • the image sent to the immersion device consists exactly of this projection. In one embodiment of the invention, the image is a rectangle comprising this projection and transparent pixels.
  • the fact that the rest of the rectangular image, in other words the background of the image, is made up of transparent pixels avoids unnecessarily obscuring other objects which would be behind this background in the immersive scene.
  • the image must be positioned between the user's avatar and the position of the complex object in the immersive scene.
  • the position of the image is located at a predetermined distance from the eye of the avatar, if this distance is less than a distance separating the position of the eye of the avatar and that of the object;
  • the user continues to see the object even if he approaches the object in the immersive scene.
  • the object processing method includes:
  • the immersion method comprises:
  • said display step comprising the display of said pixel of said image or the display of the pixel of said other synthetic object according to the result of said search.
  • This embodiment of the invention very advantageously makes it possible to manage the occlusions (which masks which) between the various objects of the synthetic scene. Indeed, conventionally, the problems of occlusion between the synthetic objects are managed by knowing the position of the 3D objects in the immersive scene and that of the avatar with respect to these objects.
  • the object processing device calculates the two-dimensional image and its position without taking into account the position of the other synthetic objects of the immersive scene. The calculation is therefore very fast, even for a complex 3D object. But on the other hand, this device cannot manage the occlusion between this object and the other objects of the immersive scene.
  • the immersion device does not know the position that each pixel of the 3D object would have in the immersive scene, if this object were represented in 3D in the immersive scene as in the conventional way.
  • the immersion device before displaying a pixel of the two-dimensional image representing the point of view of the object by the user, determines the position that a pixel of the 3D virtual object if it was displayed in 3D in the immersive scene and whether or not this pixel would have been obscured by another object in the scene.
  • this calculation is performed only for the pixels of the two-dimensional image and not for all the points of the 3D object.
  • the invention also relates to a computer program comprising instructions for implementing the immersion method according to the invention when said program is executed by a computer.
  • the invention also relates to a computer program comprising instructions for implementing the method for processing objects according to the invention when said program is executed by a computer.
  • These programs may use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in partially compiled form, or in any other desirable form.
  • the invention relates to a computer-readable information or recording medium on which a computer program according to the invention is recorded.
  • the information or recording medium can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a hard disk.
  • the information or recording medium can be a transmissible medium such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from an Internet-type network.
  • the information or recording medium may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • FIG. 1 schematically represents a virtual reality system according to the invention.
  • FIG. 2 schematically represents an example of hardware architecture of an immersion device according to a particular embodiment of the invention
  • FIG. 3 represents an example of an immersive scene
  • FIG. 4 represents, in the form of a flowchart, the main steps of an immersion method and the main steps of a method of processing objects in accordance with a particular example of implementation of the invention
  • FIG. 5 schematically represents an example of hardware architecture of an object processing device according to a particular embodiment of the invention
  • FIG. 6 represents an example of obtaining a two-dimensional image of an object according to a particular embodiment of the invention.
  • FIG. 7 represents this two-dimensional image
  • FIG. 8 illustrates the distances of a depth matrix according to a particular embodiment of the invention
  • FIG. 9 represents the objects of an immersive scene in accordance with the invention with an avatar
  • FIG. 10 represents the objects of an immersive scene in accordance with the invention with two avatars;
  • FIG. 11 represents an example of occlusion in an immersive scene according to the invention
  • FIG. 12 represents the functional architecture of an immersion device according to the invention.
  • FIG. 12 represents the functional architecture of an object processing device according to the invention.
  • FIG. 1 schematically represents a virtual reality system SYS in accordance with the invention.
  • This system 10 comprises a device HLM for immersing a user USR in an immersive scene SI and a device DTOC for processing objects interconnected to the immersion device by a communication network NET.
  • the HLM immersion device is a virtual reality headset.
  • the object processing device DTOC is included in a server SRV.
  • FIG. 2 represents the hardware architecture of the HLM immersion device in one embodiment of the invention.
  • This immersion device comprises an SCR screen, a processor 11, a RAM 12, a ROM 13, a non-volatile memory 14 and a communication module 15 interconnected by a bus.
  • the read only memory 13 constitutes a recording medium in accordance with the invention, readable by the processor 11 and on which is recorded a computer program PROGHLM in accordance with the invention, comprising instructions for the execution of the steps of the method of immersion PIMM according to the invention and whose main steps will be described with reference to Figure 4.
  • This computer program PROGHLM includes a state-of-the-art RV3D module for displaying, moving and manipulating synthetic three-dimensionally modeled objects (3D objects) in the SI immersive scene.
  • the user USR is equipped with the virtual reality headset HLM and a glove GLV. It operates in a real EVR environment in which there are one or more CAM sensors configured to determine the position and orientation of the HLM virtual reality headset and the GLV glove.
  • FIG. 3 represents an example of an immersive scene SI in which an avatar AVT of the user USR can move.
  • the immersive scene SI comprises three synthetic objects, namely an object TB representing a table, an object representing a part of the body of the avatar AVT and an object representing a hand of the avatar AVT.
  • the immersive scene SI is projected onto the SCR screen of the HLM immersion device.
  • the images projected on the SCR screen are calculated in real time to adapt to the movement of the head and therefore to the point of view of the USR user.
  • the images are calculated at least 72 times per second to prevent the USR user from feeling the effect of motion sickness (or motion sickness).
  • the PIMM immersion method comprises a PCAP process to obtain (step E10):
  • the PIMM immersion process includes a PA T process to control:
  • the position and orientation of the eye of the avatar can correspond to those of an eye of the user.
  • the invention can be implemented for one eye or independently for each of the user's two eyes.
  • the eye of the avatar can correspond to a fictitious point placed between the two eyes of the user.
  • the position of the eye of the avatar represents, in the immersive scene SI, a point situated between the two eyes of the user USR in the real world.
  • the avatar control PAVT process positions and orients the eye and the hand of the avatar AVT at positions of origin and according to predetermined origin orientations (step E15).
  • the PIMM immersion process has a PAFOS process to display 3D synthetic objects in the SL immersive scene
  • the immersion device HLM carries out a different processing depending on whether the 3D object to be displayed is a simple synthetic object or a complex synthetic object.
  • simple 3D synthetic objects can be processed locally by the HLM immersion device, more precisely by its RV3D module.
  • a complex 3D synthetic object OC is too complex to be able to be processed by the hardware and software elements of the immersion device HLM, in particular the processor 11 and the RAM 12, and the RV3D module.
  • the models of complex 3D synthetic objects are stored in a BDOC database of the SRV server.
  • a complex synthetic object is represented here by a cube.
  • a cube is a simple synthetic object within the meaning of the invention.
  • a complex synthetic object can consist for example of a synthetic object representing a car.
  • FIG. 5 represents the hardware architecture of the object processing device DTOC in one embodiment of the invention.
  • This device comprises a processor 21, a random access memory 22, a read only memory 23, a non-volatile memory 24 and a communication module 25 interconnected by a bus.
  • the ROM 23 constitutes a recording medium in accordance with the invention, readable by the processor 21 and on which is recorded a computer program PROGTOC in accordance with the invention, comprising instructions for the execution of the steps of the PTOC method. treatment synthetic object according to the invention and whose main steps will be described with reference to Figure 4.
  • the communication means 15 of the immersion device HLM and the communication means 25 of the device DTOC are configured to allow the immersion device HLM and the device DTOC to communicate with each other via the network NET.
  • the immersion device HLM determines whether this synthetic object OS is simple or complex.
  • the result of the E25 test is negative, and the 3D synthetic object is displayed by the RV3D three-dimensional object display module conforming to the state of the art.
  • each complex object is modeled at scale 1
  • the display size SZoc is a number defining a scale factor
  • the immersion device HLM sends a request RQ to the object processing device DTOC, this request comprising the position POSYA T and the orientation ORYA T of the eye of the avatar AVT in the reference mark REPsi of the immersive scene SI and of the display parameters of the complex object OC in the immersive scene.
  • the display parameters of the complex object OC comprise the identifier IDoc of the complex object OC, its position POSoc and its orientation ORoc in the reference mark REPsi of the immersive scene SI and the size SZoc of the complex object.
  • This request is received by the device DTOC during a step F30.
  • the object processing device DTOC defines a plane P perpendicular to the orientation ORYAVT and positioned between the eye of the avatar AVT and the object OC complex.
  • a plane P perpendicular to the orientation ORYAVT and positioned between the eye of the avatar AVT and the object OC complex.
  • the plane P is located at a predetermined distance dAP from the position POSYAVT of the eye of the avatar, if this distance is less than the distance separating the eye of the avatar AVT and the complex object OC;
  • the object processing device DTOC performs a Poe projection of the complex object on the plane P, centered on the position POSYA T of the eye of the avatar AVT.
  • the object processing device DTOC obtains a two-dimensional image IMG whose outline corresponds to the smallest rectangle of the plane P in which the Poe projection can be inscribed.
  • the pixels of the two-dimensional IMG image which are not part of the Poe projection of the complex object in other words the pixels of the background of the image, are transparent.
  • the object processing device DTOC calculates, for each pixel p of the projection Poe, the distance d P between this pixel and the complex object OC, according to the direction defined by the position POSYA T of the avatar AVT and this pixel p. For the pixels p of the IMG image which are not part of the Poe projection of the complex object, this distance dp is considered infinite.
  • the object processing device DTOC forms a matrix of these distances dp for each pixel of the image IMG, called the “depth matrix” MP.
  • the object processing device DTOC sends, in response to the request RQ, to the immersion device HLM:
  • the immersion device HLM knows the orientation of the two-dimensional image IMG since it is situated in a plane P perpendicular to the orientation ORYAVT of the eye of the avatar AVT.
  • the immersion device HLM receives this response during a step E60.
  • FIG. 9 represents the objects of the immersive scene SI as present in the non-volatile memory 14 of the immersion device HLM.
  • Figure 10 represents the objects of the immersive scene with two avatars. It is understood that this scene comprises two two-dimensional images, each corresponding to the point of view of a user on the complex object OC.
  • the frame HLM displays the image IMG in the immersive scene SI.
  • this display step takes into account the depth matrix MP.
  • the immersion device HLM determines a distance dyo corresponding to the sum of the distance dy P between the eye of the avatar YAT and the pixel p and of the distance dp included in the MP depth matrix for this pixel. This distance corresponds to the distance which would separate the eye of the avatar AVT from the complex object OC if the latter were displayed in 3D in the immersive scene.
  • the immersion device HLM determines, if there is a pixel p' of another synthetic object 00 of the immersive scene SI located on the line defined by the eye of the avatar Y AT and the pixel p, at a distance from the eye YAT less than the dyo distance. If this is the case, this means that there would exist this other synthetic object (known as an occluding object) between the eye of the avatar and the complex object OC if the latter were displayed in 3D in the immersive scene.
  • this other synthetic object known as an occluding object
  • the immersion device displays the pixel p' of the occluding object 00, otherwise it displays the pixel p of the image IMG.
  • FIG. 11 represents the immersive scene SI, the thumb of the hand HAVT of the avatar constituting an occluding object 00 within the meaning of the invention.
  • FIG. 12 represents the functional architecture of an immersion device in accordance with a particular embodiment of the invention. It comprises :
  • an ME30 module configured to send requests to a three-dimensional object processing device, a request comprising a position and an orientation of an eye of an avatar of a user in an immersive scene and display parameters for an object modeled in three dimensions in this scene;
  • an ME60 module configured to receive a two-dimensional image and a position of this image in the scene, calculated by said three-dimensional object processing device, this image representing a point of view of an eye of the avatar AVT on the object;
  • an ME70 module for displaying this two-dimensional image in the immersive scene at the aforementioned position and taking into account the orientation of the avatar's eye.
  • FIG. 13 represents the functional architecture of an object processing device configured to process at least one object and in accordance with a particular embodiment of the invention. It comprises :
  • module MF30 for receiving, from a device for immersing a user in an immersive scene, a request comprising a position and an orientation of an eye of an avatar of a user in the scene immersive and 3D object display settings;
  • a module MF40 for determining a two-dimensional image and a position of this image in the scene, this image representing a point of view of the eye of the avatar on the object; - a module MF60 for sending this two-dimensional image and said position of this image in the immersive scene to the immersion device.
  • the two-dimensional image determined by the MF40 module comprises a projection of the object on a plane perpendicular to the orientation of the eye of the avatar and the object processing device comprises a module MF50 to calculate, for at least one pixel of this projection, a distance between this pixel and the object, along a direction defined by the position of the eye of the avatar and this pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Le dispositif d'immersion d'un utilisateur (USR) dans une scène immersive (SI) envoi (E30), à un dispositif (DTOC) de traitement d'objets 3D, une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d'un œil d'un avatar (AVT) de l'utilisateur (USR) dans la scène immersive (SI) et des paramètres d'affichage (POSOC, OROC, SZOC) d'un objet 3D (OC) dans ladite scène (SI). Le dispositif (DTOC) de traitement d'objets 3D détermine (E60) une image bidimensionnelle (IMG) représentant un point de vue de l'œil de l'avatar (AVT) sur l'objet 3D (OC) et une position (POSIMG) de cette image (IMG) dans ladite scène. Cette image bidimensionnelle est (E70) affichée dans la scène immersive (SI) pour représenter l'objet.

Description

Description
Titre de l'invention : Procédés et dispositifs d'immersion d'un utilisateur dans une scène immersive et de traitement d'objets 3D.
La présente invention appartient au domaine général de la réalité virtuelle. Elle concerne plus particulièrement une solution pour afficher des objets synthétiques dans une scène immersive.
Dans ce document, on désigne par « dispositif d'immersion », un dispositif qui permet à un utilisateur d'être immergé dans une scène immersive affichée sur l'écran du dispositif, notamment un dispositif de reproduction de scène en N dimensions, N étant supérieurs ou égal à 3.
A titre d'exemple, les casques et les lunettes de réalité virtuelle, des terminaux de reproduction 3D ou plus, tels que des téléviseurs 3D, des systèmes de projections 3D et plus utilisé, par exemple, dans les salles de cinéma, les salles de réalité virtuelle, etc., des dispositifs holographiques... constituent des dispositifs d'immersion au sens de l'invention.
Certains de ses dispositifs permettent à l'utilisateur de se déplacer dans la scène immersive et de manipuler des objets synthétiques modélisés en trois dimensions.
De façon connue, un objet complexe peut être modélisé par un maillage décomposé en polygones, par exemple triangles, chaque polygone étant recouvert d'une texture.
Parmi ces dispositifs d'immersion, on distingue les dispositifs d'immersion dits « autonomes » qui embarquent les moyens matériels et logiciels nécessaires au traitement des objets synthétiques pour leur affichage et leur manipulation par l'utilisateur dans la scène immersive.
Ces dispositifs disposent d'une puissance de calcul et d'une capacité mémoire qui peuvent s'avérer insuffisantes pour traiter des objets complexes, par exemple des objets comportant un nombre important de maillages, de polygones ou de textures.
Une solution pour palier à cette difficulté consiste à connecter le dispositif d'immersion à un dispositif plus puissant, à déporter les calculs des objets synthétiques (calcul des positions et des orientations des objets, des ombres portées, des occlusions, ...) sur ce dispositif puissant, à envoyer un flux de données représentatif de la scène immersive ainsi calculée au dispositif d'immersion pour affichage sur son écran.
Pour éviter les effets de la cinétose, il est essentiel que la scène immersive s'adapte au mouvement des yeux de l'utilisateur : le dispositif d'immersion communique les informations de positionnement des yeux de l'utilisateur, la scène immersive est recalculée par le dispositif distant en fonction de ces informations et renvoyée au dispositif d'immersion.
Mais en pratique, cette mise à jour doit être calculée au moins 72 fois par seconde et il a été constaté que cette solution présentait un problème de latence. Exposé de l'invention
La présente invention a pour objectif de remédier à tout ou partie des inconvénients de l'art antérieur, notamment ceux exposés ci-avant.
A cet effet, l'invention concerne un procédé d'immersion d'un utilisateur dans une scène immersive, ce procédé étant mis en œuvre par un dispositif d'immersion et comportant :
- une étape d'envoi, à un dispositif de traitement d'objets tridimensionnels, d'une requête comportant une position et une orientation d'un œil d'un avatar de l'utilisateur dans la scène immersive et des paramètres d'affichage d'un objet modélisé en trois dimensions dans ladite scène;
- une étape de réception d'une image bidimensionnelle et d'une position de ladite image dans ladite scène calculées par ledit dispositif de traitement d'objets tridimensionnels, ladite image représentant un point de vue de l'œil de l'avatar sur ledit objet ; et
- une étape d'affichage de ladite image bidimensionnelle dans la scène immersive à ladite position et en prenant compte ladite orientation de l'œil de l'avatar.
Corrélativement, l'invention concerne un dispositif d'immersion d'un utilisateur dans une scène immersive, ce dispositif comportant:
- un module d'envoi, à un dispositif de traitement d'objets tridimensionnels, d'une requête comportant une position et une orientation d'un œil de l'un avatar de l'utilisateur dans la scène immersive et des paramètres d'affichage d'un objet modélisé en trois dimensions dans ladite scène;
- un module de réception d'une image bidimensionnelle et d'une position de ladite image dans ladite scène, calculées par ledit dispositif de traitement d'objets tridimensionnels, la dite image représentant un point de vue de l'œil de l'avatar sur ledit objet ; et
- un module d'affichage de ladite image bidimensionnelle dans la scène immersive à ladite position et en prenant compte ladite orientation de l'œil de l'avatar.
Selon un deuxième aspect, l'invention concerne un procédé de traitement d' au moins un objet modélisé en trois dimensions, ce procédé comportant :
- une étape de réception, en provenance d'un dispositif d'immersion d'un utilisateur dans une scène immersive, d'une requête comportant une position et une orientation d'un œil d'un avatar d'un utilisateur dans ladite scène immersive et des paramètres d'affichage dudit objet dans ladite scène;
- une étape de détermination d'une image bidimensionnelle et d'une position de ladite image dans ladite scène, ladite image représentant un point de vue de l'œil de l'avatar sur ledit objet; et
- une étape d'envoi de ladite image bidimensionnelle et de ladite position de ladite image dans la scène immersive audit dispositif d'immersion. Corrélativement, l'invention concerne un dispositif de traitement d'objets configuré pour traiter au moins un objet modélisé en trois dimensions, ce procédé comportant :
- un module de réception, en provenance d'un dispositif d'immersion d'un utilisateur dans une scène immersive, d'une requête comportant une position et une orientation d'un œil d'un avatar d'un utilisateur dans ladite scène immersive et des paramètres d'affichage dudit objet dans ladite scène;
- un module de détermination d'une image bidimensionnelle et d'une position de ladite image dans ladite scène, ladite image représentant un point de vue de l'œil de l'avatar sur ledit objet; et
- un module d'envoi de ladite image bidimensionnelle et de ladite position de ladite image dans la scène immersive audit dispositif d'immersion.
L'invention concerne aussi un système de réalité virtuelle comportant un dispositif d'immersion d'un utilisateur dans une scène immersive et un dispositif de traitement d'objets tels que présentés ci-dessus et interconnectés par un réseau de communications.
L'invention est avantageuse si le dispositif de traitement d'objets possède des capacités de calcul (processeur, mémoire, ...) supérieures à celles du dispositif d'immersion.
Ainsi, et d'une façon générale, l'invention propose un système de réalité virtuelle dans lequel, pour au moins un objet modélisé en trois dimensions qui devrait être affiché par le dispositif d'immersion, on affiche dans la scène immersive, au lieu de cet objet tridimensionnel (ou objet 3D) une image bidimensionnelle de cet objet, qui représente le point de vue de l'œil de l'utilisateur sur l'objet.
L'homme du métier comprendra que l'objet 3D en tant que tel n'est pas affiché dans la scène immersive.
Le procédé mis en œuvre par le dispositif d'immersion pour l'affichage de de cet objet 3D, même pour un objet 3D complexe, est très simple puisqu'il consiste essentiellement à afficher une image bidimensionnelle de cet objet selon une position et une orientation déterminées par le dispositif de traitement d'objets.
Par ailleurs, le flux de données entre le dispositif d'immersion et le dispositif de traitement d'objets est limité puisqu'il consiste essentiellement en une image bidimensionnelle .En particulier, le modèle 3D recalculé de l'objet n'a pas besoin d'être échangé.
Dans un mode de réalisation du procédé de traitement d'objets, l'image calculée par le dispositif de traitement d'objets comporte une projection de l'objet sur un plan perpendiculaire à l'orientation de l'œil de l'avatar et centrée sur la position de l'œil de l'avatar.
Dans un mode de réalisation de l'invention, l'image envoyée au dispositif d'immersion est constituée exactement par cette projection. Dans un mode de réalisation de l'invention, l'image est un rectangle comportant cette projection et des pixels transparents.
Le fait d'envoyer une image constituée par un rectangle plutôt qu'une image de forme quelconque correspondant à celle de la projection simplifie le traitement de l'image par le dispositif d'immersion.
De façon très avantageuse, le fait que le reste de l'image rectangulaire, autrement dit le fond de l'image soit constitué de pixels transparents évite d'occulter inutilement d'autres objets qui se trouveraient derrière ce fond dans la scène immersive.
L'image doit être positionnée ente l'avatar de l'utilisateur et la position de l'objet complexe dans la scène immersive.
Dans un mode de réalisation du procédé de traitement d'objets :
- la position de l'image est située à une distance prédéterminée de l'œil de l'avatar, si cette distance est inférieure à une distance séparant la position de l'œil de l'avatar et celle de l'objet ; ou
- entre la position de l'œil de l'avatar et celle de l'objet dans le cas contraire.
Ainsi, l'utilisateur continue à voir l'objet même s'il se rapproche de l"objet dans la scène immersive.
Dans un mode de réalisation, et comme de façon connue en réalité virtuelle, si l'avatar de l'utilisateur pénètre dans l'objet, celui-ci disparaît.
Dans un mode de réalisation, le procédé de traitement d'objets comporte :
- une étape de calcul, pour au moins un pixel de ladite projection, d'une distance entre ce pixel et l'objet, selon une direction définie par la position de l'œil de l'avatar et ce pixel ; et
- une étape d'envoi de cette distance au dispositif d'immersion.
Dans ce mode de réalisation, le procédé d'immersion comporte :
- une étape de réception, pour au moins un pixel de ladite image, d'une première distance ;
- une étape de détermination d'une deuxième distance correspondant à la somme de ladite première distance et d'une distance entre ladite position de l'œil de l'avatar et ledit pixel dans la scène immersive ;
- une étape de recherche d'un pixel d'un autre objet synthétique de la scène immersive situé sur une droite définie par ladite position de l'œil de l'avatar et ledit pixel et à une distance de la position de l'œil de l'avatar inférieure à ladite deuxième distance ;
- ladite étape d'affichage comprenant l'affichage dudit pixel de ladite image ou l'affichage du pixel dudit autre objet synthétique selon le résultat de ladite recherche.
Ce mode de réalisation de l'invention permet très avantageusement de gérer les occlusions (qui masque qui) entre les différents objets de la scène synthétique. En effet, de façon classique, les problèmes d'occlusion entre les objets synthétiques sont gérés en connaissant la position des objets 3D dans la scène immersive et celle de l'avatar par rapport à ces objets.
Mais, conformément à l'invention, et de façon très avantageuse, le dispositif de traitement d'objets calcule l'image bidimensionnelle et sa position sans tenir compte de la position des autres objets synthétiques de la scène immersive. Le calcul est donc très rapide, même pour un objet 3D complexe. Mais en contrepartie, ce dispositif ne peut pas gérer l'occlusion entre cet objet et les autres objets de la scène immersive.
Par ailleurs, le dispositif d'immersion ne connait pas la position qu'aurait chaque pixel de l'objet 3D dans la scène immersive, si cet objet était représenté en 3D dans la scène immersive comme de façon classique.
Ainsi, dans ce mode particulier de réalisation de l'invention, avant d'afficher un pixel de l'image bidimensionnelle représentant le point de vue de l'objet par l'utilisateur, le dispositif d'immersion détermine la position qu'aurait un pixel de l'objet virtuel 3D s'il était affiché en 3D dans la scène immersive et si ce pixel aurait ou non été occulté par un autre objet de la scène.
De façon très avantageuse, ce calcul est effectuée pour les seuls pixels de l'image bidimensionnelle et non pas pour tous les points de l'objet 3D.
L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé d'immersion selon l'invention lorsque ledit programme est exécuté par un ordinateur.
L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement d'objets selon l'invention lorsque ledit programme est exécuté par un ordinateur.
Ces programmes peuvent utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention concerne un support d'informations ou d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur selon l'invention.
Le support d'informations ou d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur.
D'autre part, le support d'informations ou d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'informations ou d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Brève description des dessins
D'autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :
[Fig. 1] la figure 1 représente schématiquement un système de réalité virtuelle conforme à l'invention.
[Fig. 2] la figure 2 représente schématiquement un exemple d'architecture matérielle d'un dispositif d'immersion conforme à un mode particulier de réalisation de l'invention ;
[Fig. 3] la figure 3 représente un exemple de scène immersive ;
[Fig. 4] la figure 4 représente, sous forme d'ordinogramme, les principales étapes d'un procédé d'immersion et les principales étapes d'un procédé de traitement d'objets conformes à un exemple particulier de mise en œuvre de l'invention ;
[Fig. 5] la figure 5 représente schématiquement un exemple d'architecture matérielle d'un dispositif de traitement d'objets conforme à un mode particulier de réalisation de l'invention ;
[Fig. 6] la figure 6 représente un exemple d'obtention d'une image bidimensionnelle d'un objet selon un mode particulier de réalisation de l'invention ;
[Fig. 7] la figure 7 représente cette image bidimensionnelle ;
[Fig. 8] la figure 8 illustre les distances d'une matrice de profondeur selon un mode particulier de réalisation de l'invention ;
[Fig. 9] la figure 9 représente les objets d'une scène immersive conforme à l'invention avec un avatar ;
[Fig. 10] la figure 10 représente les objets d'une scène immersive conforme à l'invention avec deux avatars ;
[Fig. 11] la figure 11 représente un exemple d'occlusion dans une scène immersive conforme à l'invention; [Fig. 12] la figure 12 représente l'architecture fonctionnelle d'un dispositif d'immersion conforme à l'invention ; et
[Fig. 13] la figure 12 représente l'architecture fonctionnelle d'un dispositif de traitement d'objets conforme à l'invention.
Description de modes de réalisation de l'invention
La figure 1 représente schématiquement un système SYS de réalité virtuelle conforme à l'invention.
Ce système 10 comporte un dispositif HLM d'immersion d'un utilisateur USR dans une scène immersive SI et un dispositif DTOC de traitement d'objets interconnecté au dispositif d'immersion par un réseau de communication NET.
Dans le mode de réalisation décrit ici, le dispositif d'immersion HLM est un casque de réalité virtuelle.
Dans le mode de réalisation décrit ici, le dispositif DTOC de traitement d'objets est compris dans un serveur SRV.
La figure 2 représente l'architecture matérielle du dispositif d'immersion HLM dans un mode de réalisation de l'invention. Ce dispositif d'immersion comporte un écran SCR, un processeur 11, une mémoire vive 12, une mémoire morte 13, une mémoire non volatile 14 et un module de communication 15 interconnectés par un bus.
La mémoire morte 13 constitue un support d'enregistrement conforme à l'invention, lisible par le processeur 11 et sur lequel est enregistré un programme d'ordinateur PROGHLM conforme à l'invention, comportant des instructions pour l'exécution des étapes du procédé d'immersion PIMM selon l'invention et dont les principales étapes seront décrites en références à la figure 4.
Ce programme d'ordinateur PROGHLM comporte un module RV3D conforme à l'état de la technique pour afficher, déplacer et manipuler dans la scène immersive SI des objets synthétiques modélisés en trois dimensions (objets 3D).
Dans l'exemple de la figure 1, l'utilisateur USR est équipé du casque de réalité virtuelle HLM et d'un gant GLV. Il évolue dans un environnement réel EVR dans lequel se trouvent un ou plusieurs capteurs CAM configurés pour déterminer la position et l'orientation du casque de réalité virtuelle HLM et du gant GLV.
La figure 3 représente un exemple de scène immersive SI dans laquelle un avatar AVT de l'utilisateur USR peut se déplacer. Dans cet exemple, la scène immersive SI comporte trois objets synthétiques à savoir un objet TB représentant une table, un objet représentant une partie du corps de l'avatar AVT et un objet représentant une main de l'avatar AVT.
Ces objets synthétiques sont simples au sens de l'invention car les calculs nécessaires à leur affichage, leur déplacement, et leur manipulation peuvent être effectués par les éléments matériels du dispositif d'immersion HLM, notamment le processeur 11, la mémoire vive 12 et le module RV3D.
La scène immersive SI est projetée sur l'écran SCR du dispositif d'immersion HLM.
Les images projetées sur l'écran SCR sont calculées en temps réel pour s'adapter au déplacement de la tête et donc au point de vue de l'utilisateur USR.
Plus précisément, dans le mode de réalisation décrit ici, les images sont calculées au moins 72 fois par seconde pour éviter que l'utilisateur USR ne ressente l'effet de cinétose (ou mal des transports).
Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PCAP pour obtenir (étape E10) :
- la position courante POSHLM et l'orientation courante ORHLM du dispositif d'immersion HLM de l'utilisateur USR dans le repère REPCAP lié au réseau de capteurs ; et
- la position courante POSGLV et l'orientation courante ORGLV du dispositif d'immersion HLM de l'utilisateur USR dans le repère REPCAP.
Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PA T pour contrôler :
- la position POSYA T et l'orientation ORYA T d'un œil de l'avatar AVT ; et
- la position POSHAVT et l'orientation ORHAVT de la main de l'avatar AVT dans un repère REPsi de la scène synthétique.
De façon connue de l'homme du métier, la position et l'orientation de l'œil de l'avatar peut correspondre à celles d'un œil de l'utilisateur. L'invention peut être mise en œuvre pour un œil ou indépendamment pour chacun des deux yeux de l'utilisateur.
En variante, l'œil de l'avatar peut correspondre à un point fictif placé entre les deux yeux de l'utilisateur.
Dans la description faite ci-après, on considérera que la position de l'œil de l'avatar représente, dans la scène immersive SI, un point situé entre les deux yeux de l'utilisateur USR dans le monde réel. Dans le mode de réalisation décrit ici, lorsque le dispositif d'immersion HLM est allumé (étape E05), le processus PAVT de contrôle de l'avatar positionne et oriente l'œil et la main de l'avatar AVT à des positions d'origine et selon des orientations d'origine prédéterminées (étape E15).
Puis, au cours d'une étape générale E20, le processus PA T de contrôle de l'avatar contrôle :
- la position POSYA T et l'orientation ORYA T de l'œil de l'avatar AVT dans le repère REPsi en fonction de la position POSHLM et de l'orientation ORHLM du dispositif d'immersion HLM dans le repère REPCAP; et
- la position POSHAVT et l'orientation ORHAVT de la main de l'avatar AVT dans le repère REPsi en fonction de la position POSGLV et de l'orientation ORGLV du gant GLV dans le repère REPCAP.
Le procédé d'immersion PIMM possède un processus PAFOS pour afficher des objets synthétiques 3D dans la scène immersive SL
Conformément à l'invention, le dispositif d'immersion HLM opère un traitement différent selon que l'objet 3D à afficher est un objet synthétique simple ou un objet synthétique complexe.
Comme indiqué précédemment, les objets synthétiques 3D simples peuvent être traités localement par le dispositif d'immersion HLM, plus précisément par son module RV3D.
Au contraire, un objet synthétique 3D complexe OC est trop complexe pour pouvoir être traité par les éléments matériels et logiciels du dispositif d'immersion HLM, notamment le processeur 11 et la mémoire vive 12, et le module RV3D.
Dans le mode de réalisation décrit ici :
- les modèles des objets synthétiques 3D simples sont stockés dans la mémoire morte 13 du dispositif d'immersion HLM ; et
- les modèles des objets synthétiques 3D complexes sont stockés dans une base de données BDOC du serveur SRV.
Pour simplifier la description et les figures on représente ici un objet synthétique complexe par un cube. L'homme du métier comprendra qu'en pratique un cube est un objet synthétique simple au sens de l'invention. Un objet synthétique complexe peut être constitué par exemple par un objet synthétique représentant une voiture.
La figure 5 représente l'architecture matérielle du dispositif DTOC de traitement d'objets dans un mode de réalisation de l'invention. Ce dispositif comporte un processeur 21, une mémoire vive 22, une mémoire morte 23, une mémoire non volatile 24 et un module de communication 25 interconnectés par un bus.
La mémoire morte 23 constitue un support d'enregistrement conforme à l'invention, lisible par le processeur 21 et sur lequel est enregistré un programme d'ordinateur PROGTOC conforme à l'invention, comportant des instructions pour l'exécution des étapes du procédé PTOC de traitement d'objet synthétique selon l'invention et dont les principales étapes seront décrites en références à la figure 4.
Les moyens de communication 15 du dispositif d'immersion HLM et les moyens de communication 25 du dispositif DTOC sont configurés pour permettre au dispositif d'immersion HLM et au dispositif DTOC de communiquer entre eux via le réseau NET.
On suppose qu'au cours d'une étape E22, l'utilisateur USR souhaite afficher un objet synthétique 3D OS dans la scène immersive.
Au cours d'une étape E25, le dispositif d'immersion HLM détermine si cet objet synthétique OS est simple ou complexe.
Si l'objet synthétique est simple, le résultat du test E25 est négatif et l'objet synthétique 3D est affiché par le module RV3D d'affichage d'objets en trois dimensions conforme à l'état de la technique.
Si l'objet synthétique OS est complexe, le résultat du test E25 est positif.
Le traitement d'un objet synthétique complexe OC va maintenant être décrit dans un mode particulier de réalisation de l'invention. Ce traitement est mis en œuvre lorsque l'objet complexe OC doit être affiché pour la première fois ou recalculé, typiquement 72 fois par seconde, pour la prise en compte des mouvements de la tête de l'utilisateur USR, ou de la manipulation des objets synthétiques par l'utilisateur.
On suppose que l'objet complexe OC doit être affiché :
- à une position POSoc et selon une orientation ORoc dans la scène immersive SI ;
- avec une taille SZoc.
Dans le mode de réalisation décrit ici, chaque objet complexe est modélisé à l'échelle 1, et la taille d"affichage SZoc est un nombre définissant un facteur d'échelle.
Au cours de cette étape E30, le dispositif d'immersion HLM envoie une requête RQ au dispositif DTOC de traitement d'objets, cette requête comportant la position POSYA T et l'orientation ORYA T de l'œil de l'avatar AVT dans le repère REPsi de la scène immersive SI et des paramètres d'affichage de l'objet complexe OC dans la scène immersive.
Dans le mode de réalisation décrit ici, les paramètres d'affichage de l'objet complexe OC comportent l'identifiant IDoc de l'objet complexe OC, sa position POSoc et son orientation ORoc dans le repère REPsi de la scène immersive SI et la taille SZoc de l'objet complexe.
Cette requête est reçue par le dispositif DTOC au cours d'une étape F30.
Comme représenté en référence à la figure 6, au cours d'une étape F40, le dispositif DTOC de traitement d'objets définit un plan P perpendiculaire à l'orientation ORYAVT et positionné entre l'œil de l'avatar AVT et l'objet complexe OC. Dans le mode de réalisation décrit ici :
- le plan P est situé à une distance prédéterminée dAP de la position POSYAVT de l'œil de l'avatar, si cette distance est inférieure à la distance séparant l'œil de l'avatar AVT et l'objet complexe OC ; ou
- à mi-chemin entre les yeux de l'avatar AVT et l'objet complexe OC dans le cas contraire.
Au cours de cette étape F40, le dispositif DTOC de traitement d'objets effectue une projection Poe de l'objet complexe sur le plan P, centrée sur la position POSYA T des de l'œil de l'avatar AVT.
Au cours de cette étape F40, le dispositif DTOC de traitement d'objets obtient une image IMG bidimensionnelle dont le contour correspond au plus petit rectangle du plan P dans lequel la projection Poe peut être inscrite.
Dans le mode de réalisation, les pixels de l'image IMG bidimensionnelle qui ne sont pas partie de la projection Poe de l'objet complexe, autrement dit les pixels du fond de l'image, sont transparents.
Cette image IMG bidimensionnelle est représentée à la figure 7.
Au cours d'une étape F50, et comme représenté à la figure 8, le dispositif DTOC de traitement d'objets calcule, pour chaque pixel p de la projection Poe, la distance dP entre ce pixel et l'objet complexe OC, selon la direction définie par la position POSYA T de de l'avatar AVT et ce pixel p. Pour les pixels p de l'image IMG qui ne sont pas partie de la projection Poe de l'objet complexe, cette distance dp est considérée infinie.
Le dispositif DTOC de traitement d'objets constitue une matrice de ces distances dp pour chaque pixel de l'image IMG, appelée « matrice de profondeur » MP.
Au cours d'une étape F60, le dispositif DTOC de traitement d'objets envoie, en réponse à la requête RQ, au dispositif d'immersion HLM :
- l'image bidimensionnelle IMG, et la position POSIMG du centre de l'image dans le repère SI ; et -la matrice de profondeur MP.
On notera que le dispositif d'immersion HLM connaît l'orientation de l'image bidimensionnelle IMG puisqu'elle est située dans un plan P perpendiculaire à l'orientation ORYAVT de l'œil de l'avatar AVT.
Le dispositif d'immersion HLM reçoit cette réponse au cours d'une étape E60.
La figure 9 représente les objets de la scène immersive SI tels que présents dans la mémoire non volatile 14 du dispositif d'immersion HLM.
La figure 10 représente les objets de la scène immersive avec deux avatars. On comprend que cette scène comprend deux images bidimensionnelles, chacune correspondant au point de vue d'un utilisateur sur l'objet complexe OC.
Au cours d'une étape E70, le cadre HLM affiche l'image IMG dans la scène immersive SI. Dans le mode de réalisation décrit ici, cette étape d'affichage prend en compte la matrice de profondeur MP.
Ainsi, pour chaque pixel p de l'image IMG, le dispositif d'immersion HLM détermine une distance dyo correspondant à la somme de la distance dyP entre l'œil de l'avatar YA T et le pixel p et de la distance dp comprise dans la matrice de profondeur MP pour ce pixel. Cette distance correspond à la distance qui séparerait l'œil de l'avatar AVT de l'objet complexe OC si celui-ci était affiché en 3D dans la scène immersive.
Le dispositif d'immersion HLM détermine ensuite, s'il existe un pixel p' d'un autre objet synthétique 00 de la scène immersive SI situé sur la droite définie par l'œil de l'avatar YA T et le pixel p, à une distance de l'œil YA T inférieure à la distance dyo. Si c'est le cas le cas cela signifie qu'il existerait cet autre objet synthétique (dit objet occluant) entre l'œil de l'avatar et l'objet complexe OC si celui-ci était affiché en 3D dans la scène immersive.
Si le pixel p' existe, le dispositif d'immersion affiche le pixel p' de l'objet occluant 00, sinon il affiche le pixel p de l'image IMG.
La figure 11 représente la scène immersive SI, le pouce de la main HAVT de l'avatar constituant un objet occluant 00 au sens de l'invention.
La figure 12 représente l'architecture fonctionnelle d'un dispositif d'immersion conforme à un mode particulier de réalisation de l'invention. Il comporte :
- un module ME30 configuré pour envoyer des requêtes à un dispositif de traitement d'objets tridimensionnels , une requête comportant une position et une orientation d'un œil d'un avatar d'un utilisateur dans une scène immersive et des paramètres d'affichage d'un objet modélisé en trois dimensions dans cette scène ;
- un module ME60 configuré pour recevoir une image bidimensionnelle et une position de cette image dans la scène, calculées par ledit dispositif de traitement d'objets tridimensionnels, cette image représentant un point de vue d'un œil de l'avatar AVT sur l'objet; et
- un module ME70 d'affichage de cette image bidimensionnelle dans la scène immersive à la position précitée et en prenant compte l'orientation de l'œil de l'avatar.
La figure 13 représente l'architecture fonctionnelle d'un dispositif de traitement d'objets configuré pour traiter au moins un objet et conforme à un mode particulier de réalisation de l'invention. Il comporte :
- un module MF30 de réception, en provenance d'un dispositif d'immersion d'un utilisateur dans une scène immersive, d'une requête comportant une position et une orientation d'un œil d'un avatar d'un utilisateur dans la scène immersive et des paramètres d'affichage de l'objet 3D;
- un module MF40 de détermination d'une image bidimensionnelle et d'une position de cette image dans la scène, cette image représentant un point de vue de l'œil de l'avatar sur l'objet; - un module MF60 d'envoi de cette image bidimensionnelle et de ladite position de cette image dans la scène immersive au dispositif d'immersion.
Dans le mode de réalisation décrit ici, l'image bidimensionnelle déterminée par le module MF40 comporte une projection de l'objet sur un plan perpendiculaire à l'orientation de l'œil de l'avatar et le dispositif de traitement d'objets comporte un module MF50 pour calculer, pour au moins un pixel de cette projection une distance entre ce pixel et l'objet, selon une direction définie par la position de l'œil de l'avatar et ce pixel.

Claims

Revendications
[Revendication 1] Procédé d'immersion d'un utilisateur (USR) dans une scène immersive (SI), ce procédé étant mis en œuvre par un dispositif d'immersion (HLM) et comportant :
- une étape (E30) d'envoi, à un dispositif (DTOC) de traitement d'objets tridimensionnels , d'une requête (RQ) comportant une position (POSYA T) et une orientation (ORYA T) d'un œil d'un avatar (AVT) de l'utilisateur (USR) dans la scène immersive (SI) et des paramètres d'affichage (IDoc, POSoc, ORoc, SZoc) d'un objet (OC) modélisé en trois dimensions dans ladite scène (SI), la position et l'orientation de l'œil de l'avatar étant celles d'un œil de l'utilisateur ou celles d'un point fictif placé entre les deux yeux de l'utilisateur, les paramètres d'affichage de l'objet complexe (OC) comportant un identifiant, une position une orientation et une taille de l'objet complexe (OC) dans un repère de la scène immersive;
- une étape (E60) de réception d'une image bidimensionnelle (IMG) et d'une position (POSIMG) de ladite image (IMG) dans ladite scène (SI) calculées par ledit dispositif de traitement d'objets tridimensionnels, ladite image (IMG) représentant un point de vue de l'œil de l'avatar (AVT) sur ledit objet (OC) ; et
- une étape (E70) d'affichage de ladite image bidimensionnelle (IMG) dans la scène immersive (SI) à ladite position (POSIMG) et en prenant compte ladite orientation (ORYAVT) de l'œil de l'avatar (AVT).
[Revendication 2] Procédé d'immersion selon la revendication 1, ledit procédé comportant :
- une étape (E60) de réception, pour au moins un pixel (p) de ladite image (IMG), d'une première distance (dP) ;
- une étape de détermination d'une deuxième distance (dvo) correspondant à la somme de ladite première distance (dp) et d'une distance (dvP) entre ladite position de l'œil de l'avatar (POSA T) et ledit pixel (p) dans la scène immersive ;
- une étape de recherche d'un pixel (p') d'un autre objet synthétique (00) de la scène immersive (SI) situé sur une droite définie par ladite position de l'œil de l'avatar (POSA T) et ledit pixel (p) et à une distance de ladite position de l'œil de l'avatar (POSAVT) inférieure à ladite deuxième distance (dYo) ;
- ladite étape (E70) d'affichage comprenant l'affichage dudit pixel (p) de ladite image ou l'affichage du pixel (p7) dudit autre objet synthétique (00) selon le résultat de ladite recherche.
[Revendication 3] Procédé de traitement d'au moins un objet (OC) modélisé en trois dimensions, ce procédé comportant :
- une étape (F30) de réception, en provenance d'un dispositif (HLM) d'immersion d'un utilisateur (USR) dans une scène immersive (SI), d'une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d'un œil d'un avatar (AVT) d'un utilisateur (USR) dans ladite scène immersive et des paramètres d'affichage (IDoc, POSoc, ORoc, SZoc) dudit objet (OC) dans ladite scène (SI), la position et l'orientation de l'œil de l'avatar étant celles d'un œil de l'utilisateur ou celles d'un point fictif placé entre les deux yeux de l'utilisateur, les paramètres d'affichage de l'objet complexe (OC) comportant un identifiant, une position une orientation et une taille de l'objet complexe (OC) dans un repère de la scène immersive;
- une étape (F40) de détermination d'une image bidimensionnelle (IMG) et d'une position (POSIMG) de ladite image (IMG) dans ladite scène, ladite image (IMG) représentant un point de vue de l'œil de l'avatar (AVT) sur ledit objet (OC); et
- une étape (F60) d'envoi de ladite image bidimensionnelle (IMG) et de ladite position (POSIMG) de ladite image (IMG) dans la scène immersive (SI) audit dispositif (HLM) d'immersion.
[Revendication 4] Procédé de traitement d'objets (OC) selon la revendication 3 dans lequel ladite image (IMG) comporte une projection (Poe) dudit objet (OC) sur un plan (P) perpendiculaire à l'orientation (ORYAVT) de l'œil de l'avatar (AVT) et centrée sur la position (POSYAVT) de l'œil de l'avatar (AVT).
[Revendication 5] Procédé de traitement d'objets (OC) selon la revendication 4 dans lequel ladite image (IMG) est un rectangle comportant ladite projection (Poe) et des pixels transparents.
[Revendication 6] Procédé de traitement d'objets (OC) selon l'une quelconque des revendications 3 à 5 dans lequel :
- ladite position (POSIMG) de l'image est située à une distance prédéterminée (dAp) de ladite position (POSAVT) de l'œil de l'avatar, si cette distance est inférieure à une distance séparant la position (POSAVT) de l'œil de l'avatar (AVT) et celle (POSoc) dudit objet (OC) ; ou
- entre la position (POSA T) de l'œil de l'avatar (AVT) et ladite position (POSoc) de l'objet (OC) dans le cas contraire.
[Revendication 7] Procédé de traitement d'objets selon l'une quelconque des revendications 3 à 6, ledit procédé comportant :
- une étape (F50) de calcul, pour au moins un pixel (p) de ladite projection (Poe), d'une distance (dP) entre ledit pixel et ledit objet (OC), selon une direction définie par ladite position (POSYAVT) de l'œil de l'avatar (AVT) et ledit pixel (p) ; et
- une étape (F60) d'envoi de ladite distance (dP) audit dispositif (HLM) d'immersion.
[Revendication 8] Dispositif d'immersion d'un utilisateur (USR) dans une scène immersive (SI), ce dispositif comportant: 16
- un module (ME30) d'envoi, à un dispositif (DTOC) de traitement d'objets tridimensionnels, d'une requête (RQ) comportant une position (POSYAVT) et une orientation (O YAVT) d'un œil d'un avatar (AVT) de l'utilisateur (USR) dans la scène immersive (SI) et des paramètres d'affichage (IDoc, POSoc, ORoc, SZoc) d'un objet (OC) modélisé en trois dimensions dans ladite scène (SI), la position et l'orientation de l'œil de l'avatar étant celles d'un œil de l'utilisateur ou celles d'un point fictif placé entre les deux yeux de l'utilisateur, les paramètres d'affichage de l'objet complexe (OC) comportant un identifiant, une position une orientation et une taille de l'objet complexe (OC) dans un repère de la scène immersive;
- un module (ME60) de réception d'une image bidimensionnelle (IMG) et d'une position (POSIMG) de ladite image (IMG) dans ladite scène, calculées par ledit dispositif de traitement d'objets tridimensionnels, la dite image (IMG) représentant un point de vue de l'œil de l'avatar (AVT) sur ledit objet (OC) ; et
- un module (ME70) d'affichage de ladite image bidimensionnelle (IMG) dans la scène immersive (SI) à ladite position (POSIMG) et en prenant compte ladite orientation (ORYAVT) de l'œil de l'avatar (AVT).
[Revendication 9] Dispositif de traitement d'objets (OC) configuré pour traiter au moins un objet modélisé en trois dimensions, ce procédé comportant :
- un module (MF30) de réception, en provenance d'un dispositif (HLM) d'immersion d'un utilisateur (USR) dans une scène immersive (SI), d'une requête (RQ) comportant une position (POSYA T) et une orientation (ORYAVT) d'un œil d'un avatar (AVT) d'un utilisateur (USR) dans ladite scène immersive et des paramètres d'affichage (IDoc, POSoc, ORoc, SZoc) dudit objet (OC) dans ladite scène (SI), la position et l'orientation de l'œil de l'avatar étant celles d'un œil de l'utilisateur ou celles d'un point fictif placé entre les deux yeux de l'utilisateur, les paramètres d'affichage de l'objet complexe (OC) comportant un identifiant, une position une orientation et une taille de l'objet complexe (OC) dans un repère de la scène immersive;
- un module (MF40) de détermination d'une image bidimensionnelle (IMG) et d'une position (POSIMG) de ladite image (IMG) dans ladite scène, ladite image (IMG) représentant un point de vue de l'œil de l'avatar (AVT) sur ledit objet (OC); et
- un module (MF60) d'envoi de ladite image bidimensionnelle (IMG) et de ladite position (POSIMG) de ladite image (IMG) dans la scène immersive (SI) audit dispositif (HLM) d'immersion.
[Revendication 10] Système (SYS) de réalité virtuelle comportant un dispositif d'immersion d'un utilisateur (USR) dans une scène immersive (SI) selon la revendication 8 et un dispositif de traitement d'objets (OC) modélisés en trois dimensions selon la revendication 9 interconnectés par un réseau de communications (NET). 17
[Revendication 11] Programme d'ordinateur (PGHLM) comportant des instructions configurées pour mettre en œuvre les étapes d'un procédé d'immersion selon la revendication 1 ou 2 lorsqu'elles sont exécutées par un ordinateur (HLM).
[Revendication 12] Programme d'ordinateur (PGTOC) comportant des instructions configurées pour mettre en œuvre les étapes d'un procédé de traitement d'objets selon l'une quelconque revendication 3 à 7 lorsqu'elles sont exécutées par un ordinateur (SRV).
EP21848173.7A 2020-12-14 2021-12-13 Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d Pending EP4260166A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2013132A FR3117632A1 (fr) 2020-12-14 2020-12-14 Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.
PCT/FR2021/052288 WO2022129752A1 (fr) 2020-12-14 2021-12-13 Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d

Publications (1)

Publication Number Publication Date
EP4260166A1 true EP4260166A1 (fr) 2023-10-18

Family

ID=74592194

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21848173.7A Pending EP4260166A1 (fr) 2020-12-14 2021-12-13 Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d

Country Status (4)

Country Link
US (1) US12592028B2 (fr)
EP (1) EP4260166A1 (fr)
FR (1) FR3117632A1 (fr)
WO (1) WO2022129752A1 (fr)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10963931B2 (en) * 2017-05-12 2021-03-30 Wookey Search Technologies Corporation Systems and methods to control access to components of virtual objects
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11170579B2 (en) * 2019-04-09 2021-11-09 Microsoft Technology Licensing, Llc Hybrid rendering

Also Published As

Publication number Publication date
WO2022129752A1 (fr) 2022-06-23
US12592028B2 (en) 2026-03-31
US20240046559A1 (en) 2024-02-08
FR3117632A1 (fr) 2022-06-17

Similar Documents

Publication Publication Date Title
US10948982B2 (en) Methods and systems for integrating virtual content into an immersive virtual reality world based on real-world scenery
US11113891B2 (en) Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
EP2104925B1 (fr) Procédé et dispositifs pour insérer en temps réel des objets virtuels dans un flux d'images à partir de données issues de la scène réelle représentée par ces images
JP6643357B2 (ja) 全球状取込方法
CN114586071A (zh) 支持多设备类型的交叉现实系统
KR20200130472A (ko) 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련
KR20200146040A (ko) 깊이 추정 시스템의 자가 감독 훈련
US20170286993A1 (en) Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World
WO2008040918A2 (fr) Dispositif d'affichage pour la visualisation stéréoscopique
JP2023514207A (ja) 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム
US11210860B2 (en) Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11410387B1 (en) Systems, methods, and media for generating visualization of physical environment in artificial reality
FR3041804A1 (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
CN114648614A (zh) 一种目标对象的三维重现方法及系统
CN113262464A (zh) 一种虚拟现实场景的动态改变方法、装置及电子设备
WO2022129752A1 (fr) Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d
WO2020001905A1 (fr) Procédé de génération d'un hologramme numérique, dispositif, système de restitution holographique et programme d'ordinateur associés
FR3048521A1 (fr) Dispositif d'interface homme machine avec des applications graphiques en trois dimensions
WO2014170482A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
FR3104743A1 (fr) Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
FR2978841A1 (fr) Systeme electronique d'aide a la vente
FR3054062A1 (fr) Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement
EP4441712A1 (fr) Procédé de gestion de la représentation de points d'intérêts
FR3090941A1 (fr) Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle
FR3077910A1 (fr) Procede d'aide a la maintenance d'un systeme complexe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS