FR3117632A1 - Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D. - Google Patents

Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D. Download PDF

Info

Publication number
FR3117632A1
FR3117632A1 FR2013132A FR2013132A FR3117632A1 FR 3117632 A1 FR3117632 A1 FR 3117632A1 FR 2013132 A FR2013132 A FR 2013132A FR 2013132 A FR2013132 A FR 2013132A FR 3117632 A1 FR3117632 A1 FR 3117632A1
Authority
FR
France
Prior art keywords
img
pos
avatar
eye
avt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2013132A
Other languages
English (en)
Inventor
Richard Guignon
Sébastien POIVRE
Gildas Belay
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR2013132A priority Critical patent/FR3117632A1/fr
Priority to US18/257,410 priority patent/US20240046559A1/en
Priority to EP21848173.7A priority patent/EP4260166A1/fr
Priority to PCT/FR2021/052288 priority patent/WO2022129752A1/fr
Publication of FR3117632A1 publication Critical patent/FR3117632A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • G06T3/067
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Abstract

Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D. Le dispositif d’immersion d’un utilisateur (USR) dans une scène immersive (SI) envoi (E30), à un dispositif (DTOC) de traitement d’objets 3D, une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d’un œil d’un avatar (AVT) de l’utilisateur (USR) dans la scène immersive (SI) et des paramètres d’affichage (POSOC, OROC, SZOC) d’un objet 3D (OC) dans ladite scène (SI). Le dispositif (DTOC) de traitement d’objets 3D détermine (E60) une image bidimensionnelle (IMG) représentant un point de vue de l’œil de l’avatar (AVT) sur l’objet 3D (OC) et une position (POSIMG) de cette image (IMG) dans ladite scène. Cette image bidimensionnelle est (E70) affichée dans la scène immersive (SI) pour représenter l’objet. Figure pour l’abrégé : Fig. 4

Description

Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.
La présente invention appartient au domaine général de la réalité virtuelle. Elle concerne plus particulièrement une solution pour afficher des objets synthétiques dans une scène immersive.
Dans ce document, on désigne par « dispositif d’immersion », un dispositif qui permet à un utilisateur d’être immergé dans une scène immersive affichée sur l’écran du dispositif.
A titre d’exemple, les casques et les lunettes de réalité virtuelle constituent des dispositifs d’immersion au sens de l’invention.
Certains de ses dispositifs permettent à l’utilisateur de se déplacer dans la scène immersive et de manipuler des objets synthétiques modélisés en trois dimensions.
De façon connue, un objet complexe peut être modélisé par un maillage décomposé en polygones, par exemple triangles, chaque polygone étant recouvert d’une texture.
Parmi ces dispositifs d’immersion, on distingue les dispositifs d’immersion dits « autonomes » qui embarquent les moyens matériels et logiciels nécessaires au traitement des objets synthétiques pour leur affichage et leur manipulation par l’utilisateur dans la scène immersive.
Ces dispositifs disposent d’une puissance de calcul et d’une capacité mémoire qui peuvent s’avérer insuffisantes pour traiter des objets complexes, par exemple des objets comportant un nombre important de maillages, de polygones ou de textures.
Une solution pour palier à cette difficulté consiste à connecter le dispositif d’immersion à un dispositif plus puissant, à déporter les calculs des objets synthétiques (calcul des positions et des orientations des objets, des ombres portées, des occlusions, …) sur ce dispositif puissant, à envoyer un flux de données représentatif de la scène immersive ainsi calculée au dispositif d’immersion pour affichage sur son écran.
Pour éviter les effets de la cinétose, il est essentiel que la scène immersive s’adapte au mouvement des yeux de l’utilisateur : le dispositif d’immersion communique les informations de positionnement des yeux de l’utilisateur, la scène immersive est recalculée par le dispositif distant en fonction de ces informations et renvoyée au dispositif d’immersion.
Mais en pratique, cette mise à jour doit être calculée au moins 72 fois par seconde et il a été constaté que cette solution présentait un problème de latence.
La présente invention a pour objectif de remédier à tout ou partie des inconvénients de l’art antérieur, notamment ceux exposés ci-avant.
A cet effet, l’invention concerne un procédé d’immersion d’un utilisateur dans une scène immersive, ce procédé étant mis en œuvre par un dispositif d’immersion et comportant :
- une étape d’envoi, à un dispositif de traitement d’objets tridimensionnels, d’une requête comportant une position et une orientation d’un œil d’un avatar de l’utilisateur dans la scène immersive et des paramètres d’affichage d’un objet modélisé en trois dimensions dans ladite scène;
- une étape de réception d’une image bidimensionnelle et d’une position de ladite image dans ladite scène calculées par ledit dispositif de traitement d’objets tridimensionnels, ladite image représentant un point de vue de l’œil de l’avatar sur ledit objet ; et
- une étape d’affichage de ladite image bidimensionnelle dans la scène immersive à ladite position et en prenant compte ladite orientation de l’œil de l’avatar.
Corrélativement, l’invention concerne un dispositif d’immersion d’un utilisateur dans une scène immersive, ce dispositif comportant:
- un module d’envoi, à un dispositif de traitement d’objets tridimensionnels, d’une requête comportant une position et une orientation d’un œil de l’un avatar de l’utilisateur dans la scène immersive et des paramètres d’affichage d’un objet modélisé en trois dimensions dans ladite scène;
- un module de réception d’une image bidimensionnelle et d’une position de ladite image dans ladite scène, calculées par ledit dispositif de traitement d’objets tridimensionnels, la dite image représentant un point de vue de l’œil de l’avatar sur ledit objet ; et
- un module d’affichage de ladite image bidimensionnelle dans la scène immersive à ladite position et en prenant compte ladite orientation de l’œil de l’avatar.
Selon un deuxième aspect, l’invention concerne un procédé de traitement d’ au moins un objet modélisé en trois dimensions, ce procédé comportant :
- une étape de réception, en provenance d’un dispositif d’immersion d’un utilisateur dans une scène immersive, d’une requête comportant une position et une orientation d’un œil d’un avatar d’un utilisateur dans ladite scène immersive et des paramètres d’affichage dudit objet dans ladite scène;
- une étape de détermination d’une image bidimensionnelle et d’une position de ladite image dans ladite scène, ladite image représentant un point de vue de l’œil de l’avatar sur ledit objet; et
- une étape d’envoi de ladite image bidimensionnelle et de ladite position de ladite image dans la scène immersive audit dispositif d’immersion.
Corrélativement, l’invention concerne un dispositif de traitement d’objets configuré pour traiter au moins un objet modélisé en trois dimensions, ce procédé comportant :
- un module de réception, en provenance d’un dispositif d’immersion d’un utilisateur dans une scène immersive, d’une requête comportant une position et une orientation d’un œil d’un avatar d’un utilisateur dans ladite scène immersive et des paramètres d’affichage dudit objet dans ladite scène;
- un module de détermination d’une image bidimensionnelle et d’une position de ladite image dans ladite scène, ladite image représentant un point de vue de l’œil de l’avatar sur ledit objet; et
- un module d’envoi de ladite image bidimensionnelle et de ladite position de ladite image dans la scène immersive audit dispositif d’immersion.
L’invention concerne aussi un système de réalité virtuelle comportant un dispositif d’immersion d’un utilisateur dans une scène immersive et un dispositif de traitement d’objets tels que présentés ci-dessus et interconnectés par un réseau de communications.
L’invention est avantageuse si le dispositif de traitement d’objets possède des capacités de calcul (processeur, mémoire, …) supérieures à celles du dispositif d’immersion.
Ainsi, et d’une façon générale, l’invention propose un système de réalité virtuelle dans lequel, pour au moins un objet modélisé en trois dimensions qui devrait être affiché par le dispositif d’immersion, on affiche dans la scène immersive, au lieu de cet objet tridimensionnel (ou objet 3D) une image bidimensionnelle de cet objet, qui représente le point de vue de l’œil de l’utilisateur sur l’objet.
L’homme du métier comprendra que l’objet 3D en tant que tel n’est pas affiché dans la scène immersive.
Le procédé mis en œuvre par le dispositif d’immersion pour l’affichage de de cet objet 3D, même pour un objet 3D complexe, est très simple puisqu’il consiste essentiellement à afficher une image bidimensionnelle de cet objet selon une position et une orientation déterminées par le dispositif de traitement d’objets.
Par ailleurs, le flux de données entre le dispositif d’immersion et le dispositif de traitement d’objets est limité puisqu’il consiste essentiellement en une image bidimensionnelle .En particulier, le modèle 3D recalculé de l’objet n’a pas besoin d’être échangé.
Dans un mode de réalisation du procédé de traitement d’objets, l’image calculée par le dispositif de traitement d’objets comporte une projection de l’objet sur un plan perpendiculaire à l’orientation de l’œil de l’avatar et centrée sur la position de l’œil de l’avatar.
Dans un mode de réalisation de l’invention, l’image envoyée au dispositif d’immersion est constituée exactement par cette projection.
Dans un mode de réalisation de l’invention, l’image est un rectangle comportant cette projection et des pixels transparents.
Le fait d’envoyer une image constituée par un rectangle plutôt qu’une image de forme quelconque correspondant à celle de la projection simplifie le traitement de l’image par le dispositif d’immersion.
De façon très avantageuse, le fait que le reste de l’image rectangulaire, autrement dit le fond de l’image soit constitué de pixels transparents évite d’occulter inutilement d’autres objets qui se trouveraient derrière ce fond dans la scène immersive.
L’image doit être positionnée ente l’avatar de l’utilisateur et la position de l’objet complexe dans la scène immersive.
Dans un mode de réalisation du procédé de traitement d’objets :
- la position de l’image est située à une distance prédéterminée de l’œil de l’avatar, si cette distance est inférieure à une distance séparant la position de l’œil de l’avatar et celle de l’objet ; ou
- entre la position de l’œil de l’avatar et celle de l’objet dans le cas contraire.
Ainsi, l’utilisateur continue à voir l’objet même s’il se rapproche de l’’objet dans la scène immersive.
Dans un mode de réalisation, et comme de façon connue en réalité virtuelle, si l’avatar de l’utilisateur pénètre dans l’objet, celui-ci disparaît.
Dans un mode de réalisation, le procédé de traitement d’objets comporte :
- une étape de calcul, pour au moins un pixel de ladite projection, d’une distance entre ce pixel et l’objet, selon une direction définie par la position de l’œil de l’avatar et ce pixel ; et
- une étape d’envoi de cette distance au dispositif d’immersion.
Dans ce mode de réalisation, le procédé d’immersion comporte :
- une étape de réception, pour au moins un pixel de ladite image, d’une première distance ;
- une étape de détermination d’une deuxième distance correspondant à la somme de ladite première distance et d’une distance entre ladite position de l’œil de l’avatar et ledit pixel dans la scène immersive ;
- une étape de recherche d’un pixel d’un autre objet synthétique de la scène immersive situé sur une droite définie par ladite position de l’œil de l’avatar et ledit pixel et à une distance de la position de l’œil de l’avatar inférieure à ladite deuxième distance ;
- ladite étape d’affichage comprenant l’affichage dudit pixel de ladite image ou l’affichage du pixel dudit autre objet synthétique selon le résultat de ladite recherche.
Ce mode de réalisation de l’invention permet très avantageusement de gérer les occlusions (qui masque qui) entre les différents objets de la scène synthétique.
En effet, de façon classique, les problèmes d’occlusion entre les objets synthétiques sont gérés en connaissant la position des objets 3D dans la scène immersive et celle de l'avatar par rapport à ces objets.
Mais, conformément à l’invention, et de façon très avantageuse, le dispositif de traitement d’objets calcule l’image bidimensionnelle et sa position sans tenir compte de la position des autres objets synthétiques de la scène immersive. Le calcul est donc très rapide, même pour un objet 3D complexe. Mais en contrepartie, ce dispositif ne peut pas gérer l’occlusion entre cet objet et les autres objets de la scène immersive.
Par ailleurs, le dispositif d’immersion ne connait pas la position qu’aurait chaque pixel de l’objet 3D dans la scène immersive, si cet objet était représenté en 3D dans la scène immersive comme de façon classique.
Ainsi, dans ce mode particulier de réalisation de l’invention, avant d’afficher un pixel de l’image bidimensionnelle représentant le point de vue de l’objet par l’utilisateur, le dispositif d’immersion détermine la position qu’aurait un pixel de l’objet virtuel 3D s’il était affiché en 3D dans la scène immersive et si ce pixel aurait ou non été occulté par un autre objet de la scène.
De façon très avantageuse, ce calcul est effectuée pour les seuls pixels de l’image bidimensionnelle et non pas pour tous les points de l’objet 3D.
L’invention concerne également un programme d’ordinateur comportant des instructions pour la mise en œuvre du procédé d’immersion selon l’invention lorsque ledit programme est exécuté par un ordinateur.
L’invention concerne également un programme d’ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement d’objets selon l’invention lorsque ledit programme est exécuté par un ordinateur.
Ces programmes peuvent utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
L’invention concerne un support d’informations ou d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur selon l’invention.
Le support d'informations ou d’enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur.
D'autre part, le support d'informations ou d’enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'informations ou d’enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :
la représente schématiquement un système de réalité virtuelle conforme à l’invention.
la représente schématiquement un exemple d’architecture matérielle d’un dispositif d’immersion conforme à un mode particulier de réalisation de l’invention ;
la représente un exemple de scène immersive ;
la représente, sous forme d’ordinogramme, les principales étapes d’un procédé d’immersion et les principales étapes d’un procédé de traitement d’objets conformes à un exemple particulier de mise en œuvre de l’invention ;
la représente schématiquement un exemple d’architecture matérielle d’un dispositif de traitement d’objets conforme à un mode particulier de réalisation de l’invention ;
la représente un exemple d’obtention d’une image bidimensionnelle d’un objet selon un mode particulier de réalisation de l’invention ;
la représente cette image bidimensionnelle ;
la illustre les distances d’une matrice de profondeur selon un mode particulier de réalisation de l’invention ;
la représente les objets d’une scène immersive conforme à l’invention avec un avatar ;
la représente les objets d’une scène immersive conforme à l’invention avec deux avatars ;
la représente un exemple d’occlusion dans une scène immersive conforme à l’invention;
la représente l’architecture fonctionnelle d’un dispositif d’immersion conforme à l’invention ; et
la représente l’architecture fonctionnelle d’un dispositif de traitement d’objets conforme à l’invention.
Description de modes de réalisation de l’invention
La représente schématiquement un système SYS de réalité virtuelle conforme à l’invention.
Ce système 10 comporte un dispositif HLM d’immersion d’un utilisateur USR dans une scène immersive SI et un dispositif DTOC de traitement d’objets interconnecté au dispositif d’immersion par un réseau de communication NET.
Dans le mode de réalisation décrit ici, le dispositif d’immersion HLM est un casque de réalité virtuelle.
Dans le mode de réalisation décrit ici, le dispositif DTOC de traitement d’objets est compris dans un serveur SRV.
La représente l’architecture matérielle du dispositif d’immersion HLM dans un mode de réalisation de l’invention. Ce dispositif d’immersion comporte un écran SCR, un processeur 11, une mémoire vive 12, une mémoire morte 13, une mémoire non volatile 14 et un module de communication 15 interconnectés par un bus.
La mémoire morte 13 constitue un support d’enregistrement conforme à l’invention, lisible par le processeur 11 et sur lequel est enregistré un programme d’ordinateur PROGHLMconforme à l’invention, comportant des instructions pour l’exécution des étapes du procédé d’immersion PIMMselon l’invention et dont les principales étapes seront décrites en références à la .
Ce programme d’ordinateur PROGHLMcomporte un module RV3D conforme à l’état de la technique pour afficher, déplacer et manipuler dans la scène immersive SI des objets synthétiques modélisés en trois dimensions (objets 3D).
Dans l’exemple de la , l’utilisateur USR est équipé du casque de réalité virtuelle HLM et d’un gant GLV. Il évolue dans un environnement réel EVR dans lequel se trouvent un ou plusieurs capteurs CAM configurés pour déterminer la position et l’orientation du casque de réalité virtuelle HLM et du gant GLV.
La représente un exemple de scène immersive SI dans laquelle un avatar AVT de l’utilisateur USR peut se déplacer.
Dans cet exemple, la scène immersive SI comporte trois objets synthétiques à savoir un objet TB représentant une table, un objet représentant une partie du corps de l’avatar AVT et un objet représentant une main de l’avatar AVT.
Ces objets synthétiques sont simples au sens de l’invention car les calculs nécessaires à leur affichage, leur déplacement, et leur manipulation peuvent être effectués par les éléments matériels du dispositif d’immersion HLM, notamment le processeur 11, la mémoire vive 12 et le module RV3D.
La scène immersive SI est projetée sur l’écran SCR du dispositif d’immersion HLM.
Les images projetées sur l’écran SCR sont calculées en temps réel pour s’adapter au déplacement de la tête et donc au point de vue de l’utilisateur USR.
Plus précisément, dans le mode de réalisation décrit ici, les images sont calculées au moins 72 fois par seconde pour éviter que l’utilisateur USR ne ressente l’effet de cinétose (ou mal des transports).
Dans le mode de réalisation décrit ici, le procédé d’immersion PIMMcomporte un processus PCAPpour obtenir (étape E10) :
- la position courante POSHLMet l’orientation courante ORHLMdu dispositif d’immersion HLM de l’utilisateur USR dans le repère REPCAPlié au réseau de capteurs ; et
- la position courante POSGLVet l’orientation courante ORGLVdu dispositif d’immersion HLM de l’utilisateur USR dans le repère REPCAP.
Dans le mode de réalisation décrit ici, le procédé d’immersion PIMMcomporte un processus PAVTpour contrôler :
- la position POSYAVTet l’orientation ORYAVTd’un œil de l’avatar AVT ; et
- la position POSHAVTet l’orientation ORHAVTde la main de l’avatar AVT
dans un repère REPSIde la scène synthétique.
De façon connue de l’homme du métier, la position et l’orientation de l’œil de l’avatar peut correspondre à celles d’un œil de l’utilisateur. L’invention peut être mise en œuvre pour un œil ou indépendamment pour chacun des deux yeux de l’utilisateur.
En variante, l’œil de l’avatar peut correspondre à un point fictif placé entre les deux yeux de l’utilisateur.
Dans la description faite ci-après, on considèrera que la position de l’œil de l’avatar représente, dans la scène immersive SI, un point situé entre les deux yeux de l’utilisateur USR dans le monde réel.
Dans le mode de réalisation décrit ici, lorsque le dispositif d’immersion HLM est allumé (étape E05), le processus PAVTde contrôle de l’avatar positionne et oriente l’œil et la main de l’avatar AVT à des positions d’origine et selon des orientations d’origine prédéterminées (étape E15).
Puis, au cours d’une étape générale E20, le processus PAVTde contrôle de l’avatar contrôle :
- la position POSYAVTet l’orientation ORYAVTde l’œil de l’avatar AVT dans le repère REPSIen fonction de la position POSHLMet de l’orientation ORHLMdu dispositif d’immersion HLM dans le repère REPCAP; et
- la position POSHAVTet l’orientation ORHAVTde la main de l’avatar AVT dans le repère REPSIen fonction de la position POSGLVet de l’orientation ORGLVdu gant GLV dans le repère REPCAP.
Le procédé d’immersion PIMMpossède un processus PAFOSpour afficher des objets synthétiques 3D dans la scène immersive SI.
Conformément à l’invention, le dispositif d’immersion HLM opère un traitement différent selon que l’objet 3D à afficher est un objet synthétique simple ou un objet synthétique complexe.
Comme indiqué précédemment, les objets synthétiques 3D simples peuvent être traités localement par le dispositif d’immersion HLM, plus précisément par son module RV3D.
Au contraire, un objet synthétique 3D complexe OC est trop complexe pour pouvoir être traité par les éléments matériels et logiciels du dispositif d’immersion HLM, notamment le processeur 11 et la mémoire vive 12, et le module RV3D.
Dans le mode de réalisation décrit ici :
- les modèles des objets synthétiques 3D simples sont stockés dans la mémoire morte 13 du dispositif d’immersion HLM ; et
- les modèles des objets synthétiques 3D complexes sont stockés dans une base de données BDOC du serveur SRV.
Pour simplifier la description et les figures on représente ici un objet synthétique complexe par un cube. L’homme du métier comprendra qu’en pratique un cube est un objet synthétique simple au sens de l’invention. Un objet synthétique complexe peut être constitué par exemple par un objet synthétique représentant une voiture.
La représente l’architecture matérielle du dispositif DTOC de traitement d’objets dans un mode de réalisation de l’invention. Ce dispositif comporte un processeur 21, une mémoire vive 22, une mémoire morte 23, une mémoire non volatile 24 et un module de communication 25 interconnectés par un bus.
La mémoire morte 23 constitue un support d’enregistrement conforme à l’invention, lisible par le processeur 21 et sur lequel est enregistré un programme d’ordinateur PROGTOCconforme à l’invention, comportant des instructions pour l’exécution des étapes du procédé PTOCde traitement d’objet synthétique selon l’invention et dont les principales étapes seront décrites en références à la .
Les moyens de communication 15 du dispositif d’immersion HLM et les moyens de communication 25 du dispositif DTOC sont configurés pour permettre au dispositif d’immersion HLM et au dispositif DTOC de communiquer entre eux via le réseau NET.
On suppose qu’au cours d’une étape E22, l’utilisateur USR souhaite afficher un objet synthétique 3D OS dans la scène immersive.
Au cours d’une étape E25, le dispositif d’immersion HLM détermine si cet objet synthétique OS est simple ou complexe.
Si l’objet synthétique est simple, le résultat du test E25 est négatif et l’objet synthétique 3D est affiché par le module RV3D d’affichage d’objets en trois dimensions conforme à l’état de la technique.
Si l’objet synthétique OS est complexe, le résultat du test E25 est positif.
Le traitement d’un objet synthétique complexe OC va maintenant être décrit dans un mode particulier de réalisation de l’invention. Ce traitement est mis en œuvre lorsque l’objet complexe OC doit être affiché pour la première fois ou recalculé, typiquement 72 fois par seconde, pour la prise en compte des mouvements de la tête de l’utilisateur USR, ou de la manipulation des objets synthétiques par l’utilisateur.
On suppose que l’objet complexe OC doit être affiché :
- à une position POSOCet selon une orientation OROCdans la scène immersive SI ;
- avec une taille SZOC.
Dans le mode de réalisation décrit ici, chaque objet complexe est modélisé à l’échelle 1, et la taille d’’affichage SZOCest un nombre définissant un facteur d’échelle.
Au cours de cette étape E30, le dispositif d’immersion HLM envoie une requête RQ au dispositif DTOC de traitement d’objets, cette requête comportant la position POSYAVTet l’orientation ORYAVTde l’œil de l’avatar AVT dans le repère REPSIde la scène immersive SI et des paramètres d’affichage de l’objet complexe OC dans la scène immersive.
Dans le mode de réalisation décrit ici, les paramètres d’affichage de l’objet complexe OC comportent l’identifiant IDOCde l’objet complexe OC, sa position POSOCet son orientation OROCdans le repère REPSIde la scène immersive SI et la taille SZOCde l’objet complexe.
Cette requête est reçue par le dispositif DTOC au cours d’une étape F30.
Comme représenté en référence à la , au cours d’une étape F40, le dispositif DTOC de traitement d’objets définit un plan P perpendiculaire à l’orientation ORYAVT et positionné entre l’œil de l’avatar AVT et l’objet complexe OC.
Dans le mode de réalisation décrit ici :
- le plan P est situé à une distance prédéterminée dAPde la position POSYAVTde l’œil de l’avatar, si cette distance est inférieure à la distance séparant l’œil de l’avatar AVT et l’objet complexe OC ; ou
- à mi-chemin entre les yeux de l’avatar AVT et l’objet complexe OC dans le cas contraire.
Au cours de cette étape F40, le dispositif DTOC de traitement d’objets effectue une projection POCde l’objet complexe sur le plan P, centrée sur la position POSYAVTdes de l’œil de l’avatar AVT.
Au cours de cette étape F40, le dispositif DTOC de traitement d’objets obtient une image IMG bidimensionnelle dont le contour correspond au plus petit rectangle du plan P dans lequel la projection POCpeut être inscrite.
Dans le mode de réalisation, les pixels de l’image IMG bidimensionnelle qui ne sont pas partie de la projection POCde l’objet complexe, autrement dit les pixels du fond de l’image, sont transparents.
Cette image IMG bidimensionnelle est représentée à la .
Au cours d’une étape F50, et comme représenté à la , le dispositif DTOC de traitement d’objets calcule, pour chaque pixel p de la projection POC, la distance dp entre ce pixel et l’objet complexe OC, selon la direction définie par la position POSYAVT de de l’avatar AVT et ce pixel p. Pour les pixels p de l’image IMG qui ne sont pas partie de la projection POC de l’objet complexe, cette distance dp est considérée infinie.
Le dispositif DTOC de traitement d’objets constitue une matrice de ces distances dppour chaque pixel de l’image IMG, appelée « matrice de profondeur » MP.
Au cours d’une étape F60, le dispositif DTOC de traitement d’objets envoie, en réponse à la requête RQ, au dispositif d’immersion HLM :
- l’image bidimensionnelle IMG, et la position POSIMGdu centre de l’image dans le repère SI ; et
-la matrice de profondeur MP.
On notera que le dispositif d’immersion HLM connaît l’orientation de l’image bidimensionnelle IMG puisqu’elle est située dans un plan P perpendiculaire à l’orientation ORYAVTde l’œil de l’avatar AVT.
Le dispositif d’immersion HLM reçoit cette réponse au cours d’une étape E60.
La représente les objets de la scène immersive SI tels que présents dans la mémoire non volatile 14 du dispositif d’immersion HLM.
La représente les objets de la scène immersive avec deux avatars. On comprend que cette scène comprend deux images bidimensionnelles, chacune correspondant au point de vue d’un utilisateur sur l’objet complexe OC.
Au cours d’une étape E70, le cadre HLM affiche l’image IMG dans la scène immersive SI.
Dans le mode de réalisation décrit ici, cette étape d’affichage prend en compte la matrice de profondeur MP.
Ainsi, pour chaque pixel p de l’image IMG, le dispositif d’immersion HLM détermine une distance dYOcorrespondant à la somme de la distance dYpentre l’œil de l’avatar YAVTet le pixel p et de la distance dpcomprise dans la matrice de profondeur MP pour ce pixel. Cette distance correspond à la distance qui séparerait l’œil de l’avatar AVT de l’objet complexe OC si celui-ci était affiché en 3D dans la scène immersive.
Le dispositif d’immersion HLM détermine ensuite, s’il existe un pixel p’ d’un autre objet synthétique OO de la scène immersive SI situé sur la droite définie par l’œil de l’avatar YAVTet le pixel p, à une distance de l’œil YAVTinférieure à la distance dYO. Si c’est le cas le cas cela signifie qu’il existerait cet autre objet synthétique (dit objet occluant) entre l’œil de l’avatar et l’objet complexe OC si celui-ci était affiché en 3D dans la scène immersive.
Si le pixel p’ existe, le dispositif d’immersion affiche le pixel p’ de l’objet occluant OO, sinon il affiche le pixel p de l’image IMG.
La représente la scène immersive SI, le pouce de la main HAVT de l’avatar constituant un objet occluant OO au sens de l’invention.
La représente l’architecture fonctionnelle d’un dispositif d’immersion conforme à un mode particulier de réalisation de l’invention. Il comporte :
- un module ME30 configuré pour envoyer des requêtes à un dispositif de traitement d’objets tridimensionnels , une requête comportant une position et une orientation d’un œil d’un avatar d’un utilisateur dans une scène immersive et des paramètres d’affichage d’un objet modélisé en trois dimensions dans cette scène ;
- un module ME60 configuré pour recevoir une image bidimensionnelle et une position de cette image dans la scène, calculées par ledit dispositif de traitement d’objets tridimensionnels, cette image représentant un point de vue d’un œil de l’avatar AVT sur l’objet; et
- un module ME70 d’affichage de cette image bidimensionnelle dans la scène immersive à la position précitée et en prenant compte l’orientation de l’œil de l’avatar.
La représente l’architecture fonctionnelle d’un dispositif de traitement d’objets configuré pour traiter au moins un objet et conforme à un mode particulier de réalisation de l’invention. Il comporte :
- un module MF30 de réception, en provenance d’un dispositif d’immersion d’un utilisateur dans une scène immersive, d’une requête comportant une position et une orientation d’un œil d’un avatar d’un utilisateur dans la scène immersive et des paramètres d’affichage de l’objet 3D;
- un module MF40 de détermination d’une image bidimensionnelle et d’une position de cette image dans la scène, cette image représentant un point de vue de l’œil de l’avatar sur l’objet;
- un module MF60 d’envoi de cette image bidimensionnelle et de ladite position de cette image dans la scène immersive au dispositif d’immersion.
Dans le mode de réalisation décrit ici, l’image bidimensionnelle déterminée par le module MF40 comporte une projection de l’objet sur un plan perpendiculaire à l’orientation de l’œil de l’avatar et le dispositif de traitement d’objets comporte un module MF50 pour calculer, pour au moins un pixel de cette projection une distance entre ce pixel et l’objet, selon une direction définie par la position de l’œil de l’avatar et ce pixel.

Claims (12)

  1. Procédé d’immersion d’un utilisateur (USR) dans une scène immersive (SI), ce procédé étant mis en œuvre par un dispositif d’immersion (HLM) et comportant :
    - une étape (E30) d’envoi, à un dispositif (DTOC) de traitement d’objets tridimensionnels , d’une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d’un œil d’un avatar (AVT) de l’utilisateur (USR) dans la scène immersive (SI) et des paramètres d’affichage (POSOC, OROC, SZOC) d’un objet (OC) modélisé en trois dimensions dans ladite scène (SI);
    - une étape (E60) de réception d’une image bidimensionnelle (IMG) et d’une position (POSIMG) de ladite image (IMG) dans ladite scène (SI) calculées par ledit dispositif de traitement d’objets tridimensionnels, ladite image (IMG) représentant un point de vue de l’œil de l’avatar (AVT) sur ledit objet (OC) ; et
    - une étape (E70) d’affichage de ladite image bidimensionnelle (IMG) dans la scène immersive (SI) à ladite position (POSIMG) et en prenant compte ladite orientation (ORYAVT) de l’œil de l’avatar (AVT).
  2. Procédé d’immersion selon la revendication 1, ledit procédé comportant :
    - une étape (E60) de réception, pour au moins un pixel (p) de ladite image (IMG), d’une première distance (dp) ;
    - une étape de détermination d’une deuxième distance (dYO) correspondant à la somme de ladite première distance (dp) et d’une distance (dYp) entre ladite position de l’œil de l’avatar (POSAVT) et ledit pixel (p) dans la scène immersive ;
    - une étape de recherche d’un pixel (p’) d’un autre objet synthétique (OO) de la scène immersive (SI) situé sur une droite définie par ladite position de l’œil de l’avatar (POSAVT) et ledit pixel (p) et à une distance de ladite position de l’œil de l’avatar (POSAVT) inférieure à ladite deuxième distance (dYO) ;
    - ladite étape (E70) d’affichage comprenant l’affichage dudit pixel (p) de ladite image ou l’affichage du pixel (p’) dudit autre objet synthétique (OO) selon le résultat de ladite recherche.
  3. Procédé de traitement d’au moins un objet (OC) modélisé en trois dimensions, ce procédé comportant :
    - une étape (F30) de réception, en provenance d’un dispositif (HLM) d’immersion d’un utilisateur (USR) dans une scène immersive (SI), d’une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d’un œil d’un avatar (AVT) d’un utilisateur (USR) dans ladite scène immersive et des paramètres d’affichage (POSOC, OROC, SZOC) dudit objet (OC) dans ladite scène (SI);
    - une étape (F40) de détermination d’une image bidimensionnelle (IMG) et d’une position (POSIMG) de ladite image (IMG) dans ladite scène, ladite image (IMG) représentant un point de vue de l’œil de l’avatar (AVT) sur ledit objet (OC); et
    - une étape (F60) d’envoi de ladite image bidimensionnelle (IMG) et de ladite position (POSIMG) de ladite image (IMG) dans la scène immersive (SI) audit dispositif (HLM) d’immersion.
  4. Procédé de traitement d’objets (OC) selon la revendication 3 dans lequel ladite image (IMG) comporte une projection (POC) dudit objet (OC) sur un plan (P) perpendiculaire à l’orientation (ORYAVT) de l’œil de l’avatar (AVT) et centrée sur la position (POSYAVT) de l’œil de l’avatar (AVT).
  5. Procédé de traitement d’objets (OC) selon la revendication 4 dans lequel ladite image (IMG) est un rectangle comportant ladite projection (POC) et des pixels transparents.
  6. Procédé de traitement d’objets (OC) selon l’une quelconque des revendications 3 à 5 dans lequel :
    - ladite position (POSIMG) de l’image est située à une distance prédéterminée (dAP) de ladite position (POSAVT) de l’œil de l’avatar, si cette distance est inférieure à une distance séparant la position (POSAVT) de l’œil de l’avatar (AVT) et celle (POSOC) dudit objet (OC) ; ou
    - entre la position (POSAVT) de l’œil de l’avatar (AVT) et ladite position (POSOC) de l’objet (OC) dans le cas contraire.
  7. Procédé de traitement d’objets selon l’une quelconque des revendications 3 à 6, ledit procédé comportant :
    - une étape (F50) de calcul, pour au moins un pixel (p) de ladite projection (POC), d’une distance (dp) entre ledit pixel et ledit objet (OC), selon une direction définie par ladite position (POSYAVT) de l’œil de l’avatar (AVT) et ledit pixel (p) ; et
    - une étape (F60) d’envoi de ladite distance (dp) audit dispositif (HLM) d’immersion.
  8. Dispositif d’immersion d’un utilisateur (USR) dans une scène immersive (SI), ce dispositif comportant:
    - un module (ME30) d’envoi, à un dispositif (DTOC) de traitement d’objets tridimensionnels, d’une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d’un œil d’un avatar (AVT) de l’utilisateur (USR) dans la scène immersive (SI) et des paramètres d’affichage (POSOC, OROC, SZOC) d’un objet (OC) modélisé en trois dimensions dans ladite scène (SI);
    - un module (ME60) de réception d’une image bidimensionnelle (IMG) et d’une position (POSIMG) de ladite image (IMG) dans ladite scène, calculées par ledit dispositif de traitement d’objets tridimensionnels, la dite image (IMG) représentant un point de vue de l’œil de l’avatar (AVT) sur ledit objet (OC) ; et
    - un module (ME70) d’affichage de ladite image bidimensionnelle (IMG) dans la scène immersive (SI) à ladite position (POSIMG) et en prenant compte ladite orientation (ORYAVT) de l’œil de l’avatar (AVT).
  9. Dispositif de traitement d’objets (OC) configuré pour traiter au moins un objet modélisé en trois dimensions, ce procédé comportant :
    - un module (MF30) de réception, en provenance d’un dispositif (HLM) d’immersion d’un utilisateur (USR) dans une scène immersive (SI), d’une requête (RQ) comportant une position (POSYAVT) et une orientation (ORYAVT) d’un œil d’un avatar (AVT) d’un utilisateur (USR) dans ladite scène immersive et des paramètres d’affichage (POSOC, OROC, SZOC) dudit objet (OC) dans ladite scène (SI);
    - un module (MF40) de détermination d’une image bidimensionnelle (IMG) et d’une position (POSIMG) de ladite image (IMG) dans ladite scène, ladite image (IMG) représentant un point de vue de l’œil de l’avatar (AVT) sur ledit objet (OC); et
    - un module (MF60) d’envoi de ladite image bidimensionnelle (IMG) et de ladite position (POSIMG) de ladite image (IMG) dans la scène immersive (SI) audit dispositif (HLM) d’immersion.
  10. Système (SYS) de réalité virtuelle comportant un dispositif d’immersion d’un utilisateur (USR) dans une scène immersive (SI) selon la revendication 8 et un dispositif de traitement d’objets (OC) modélisés en trois dimensions selon la revendication 9 interconnectés par un réseau de communications (NET).
  11. Programme d’ordinateur (PGHLM) comportant des instructions configurées pour mettre en œuvre les étapes d’un procédé d’immersion selon la revendication 1 ou 2 lorsqu’elles sont exécutées par un ordinateur (HLM).
  12. Programme d’ordinateur (PGTOC) comportant des instructions configurées pour mettre en œuvre les étapes d’un procédé de traitement d’objets selon l’une quelconque revendication 3 à 7 lorsqu’elles sont exécutées par un ordinateur (SRV).
FR2013132A 2020-12-14 2020-12-14 Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D. Pending FR3117632A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR2013132A FR3117632A1 (fr) 2020-12-14 2020-12-14 Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.
US18/257,410 US20240046559A1 (en) 2020-12-14 2021-12-13 Methods and devices for immersing a user in an immersive scene and for processing 3d objects
EP21848173.7A EP4260166A1 (fr) 2020-12-14 2021-12-13 Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d
PCT/FR2021/052288 WO2022129752A1 (fr) 2020-12-14 2021-12-13 Procedes et dispositifs d'immersion d'un utilisateur dans une scene immersive et de traitement d'objets 3d

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2013132A FR3117632A1 (fr) 2020-12-14 2020-12-14 Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.
FR2013132 2020-12-14

Publications (1)

Publication Number Publication Date
FR3117632A1 true FR3117632A1 (fr) 2022-06-17

Family

ID=74592194

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2013132A Pending FR3117632A1 (fr) 2020-12-14 2020-12-14 Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.

Country Status (4)

Country Link
US (1) US20240046559A1 (fr)
EP (1) EP4260166A1 (fr)
FR (1) FR3117632A1 (fr)
WO (1) WO2022129752A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200304A1 (en) * 2015-06-30 2017-07-13 Ariadne's Thread (Usa), Inc. (Dba Immerex) Variable resolution virtual reality display system
US20200327740A1 (en) * 2019-04-09 2020-10-15 Microsoft Technology Licensing, Llc Hybrid rendering
US20200368616A1 (en) * 2017-06-09 2020-11-26 Dean Lindsay DELAMONT Mixed reality gaming system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200304A1 (en) * 2015-06-30 2017-07-13 Ariadne's Thread (Usa), Inc. (Dba Immerex) Variable resolution virtual reality display system
US20200368616A1 (en) * 2017-06-09 2020-11-26 Dean Lindsay DELAMONT Mixed reality gaming system
US20200327740A1 (en) * 2019-04-09 2020-10-15 Microsoft Technology Licensing, Llc Hybrid rendering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Rendering (computer graphics) - Wikipedia, the free encyclopedia", 7 January 2014 (2014-01-07), XP055160347, Retrieved from the Internet <URL:http://en.wikipedia.org/wiki/Rendering_(computer_graphics)> [retrieved on 20150107] *

Also Published As

Publication number Publication date
US20240046559A1 (en) 2024-02-08
WO2022129752A1 (fr) 2022-06-23
EP4260166A1 (fr) 2023-10-18

Similar Documents

Publication Publication Date Title
JP7220717B2 (ja) レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
US20220353432A1 (en) Augmented reality self-portraits
EP2104925B1 (fr) Procédé et dispositifs pour insérer en temps réel des objets virtuels dans un flux d&#39;images à partir de données issues de la scène réelle représentée par ces images
KR20200146040A (ko) 깊이 추정 시스템의 자가 감독 훈련
CN115427758A (zh) 具有精确共享地图的交叉现实系统
CN107636534A (zh) 一般球面捕获方法
US11113891B2 (en) Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
KR20200130472A (ko) 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련
WO2013139814A2 (fr) Modèle et procédé de production de modèle 3d photo-réalistes
US10803653B2 (en) Methods and systems for generating a surface data projection that accounts for level of detail
FR2857133A1 (fr) Procede de generation de flou
CN115699097A (zh) 用于图像处理的软件开发工具包
CN115698927A (zh) 用于与图像处理sdk一起使用的界面轮播
CN114648614A (zh) 一种目标对象的三维重现方法及系统
FR3117632A1 (fr) Procédés et dispositifs d’immersion d’un utilisateur dans une scène immersive et de traitement d’objets 3D.
KR20220127718A (ko) 전자 장치 및 전자 장치의 제어 방법
CA2949683A1 (fr) Procede de determination d&#39;au moins un parametre comportemental
WO2014170482A1 (fr) Procede de generation d&#39;un flux video de sortie a partir d&#39;un flux video large champ
US11210860B2 (en) Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
FR3066304A1 (fr) Procede de compositon d&#39;une image d&#39;un utilisateur immerge dans une scene virtuelle, dispositif, equipement terminal, systeme de realite virtuelle et programme d&#39;ordinateur associes
FR3104743A1 (fr) Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
WO2020128206A1 (fr) Procédé d&#39;interaction d&#39;un utilisateur avec un environnement de réalité virtuelle
WO2023099302A1 (fr) Procédé de gestion de la représentation de points d&#39;intérêts
FR3077910A1 (fr) Procede d&#39;aide a la maintenance d&#39;un systeme complexe
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d&#39;image de realite virtuelle dans un espace 3d

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20220617