FR3050834A1 - Dispositif et procede de partage d'immersion dans un environnement virtuel - Google Patents
Dispositif et procede de partage d'immersion dans un environnement virtuel Download PDFInfo
- Publication number
- FR3050834A1 FR3050834A1 FR1653758A FR1653758A FR3050834A1 FR 3050834 A1 FR3050834 A1 FR 3050834A1 FR 1653758 A FR1653758 A FR 1653758A FR 1653758 A FR1653758 A FR 1653758A FR 3050834 A1 FR3050834 A1 FR 3050834A1
- Authority
- FR
- France
- Prior art keywords
- immersive
- source
- display
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007654 immersion Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims description 60
- 230000009466 transformation Effects 0.000 claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 39
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000000844 transformation Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008014 freezing Effects 0.000 claims description 7
- 238000007710 freezing Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 2
- 230000003111 delayed effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
Dans un dispositif 100 et un procédé mis en œuvre par le dispositif, deux systèmes immersifs sont connectés de sorte qu'un environnement virtuel généré sur un système immersif source 10 est reproduit sur un système immersif cible 20. Les images de l'environnement virtuel affichées sur le système d'affichage du système immersif source sont transformées pour être affichées sur le système d'affichage du système immersif cible de sorte qu'une reproduction virtuelle de l'environnement virtuel soit correctement représentée sur le système immersif cible pour un observateur, indépendamment des différences de structure et de logiciels entre les deux systèmes immersifs.
Description
DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION DANS UN ENVIRONNEMENT VIRTUEL
Domaine de l'invention
La présente invention appartient au domaine de la réalité virtuelle et de la présentation des environnements virtuels et du partage d'environnements virtuels.
Plus particulièrement, l'invention concerne un dispositif et un procédé de partage de l'immersion dans un environnement virtuel avec des utilisateurs disposant de moyens d'immersion autres que les moyens ayant généré l'environnement virtuel.
Etat de l'art
Dans le domaine de la réalité virtuelle un ou plusieurs utilisateurs d'un système d'immersion dans un environnement virtuel sont immergés dans l'environnement virtuel au moyen d'un environnement matériel produisant des stimuli pour donner aux utilisateurs des sensations proches, sinon identiques, sinon supposées, de celles qui seraient ressenties dans un environnement réel que l'environnement virtuel est sensé reproduire.
On comprend ici que la représentation n'est pas nécessairement réaliste mais peut aussi être déformée, atténuée ou exagérée dans certains effets, pour produire des sensations particulières telles qu'une perception accrue de phénomènes dans le monde virtuel. Par exemple par un effet d'échelle, un utilisateur peut se trouver immergé dans un univers microscopique qui lui est normalement inaccessible. Un utilisateur peut être immergé pour observer un environnement non visible en conditions ordinaires comme par exemple un écoulement aérodynamique, ou encore pour observer une représentation d'un environnement non physique comme par exemple une base de données visualisée en 3D.
Dans certains cas, un même environnement virtuel est partagé entre plusieurs utilisateurs.
Par la suite, il sera considéré une représentation visuelle de l'environnement virtuel, à deux ou à trois dimensions, et il sera exposé plus particulièrement les problèmes et solutions liés à cette représentation visuelle dans le contexte de l'invention.
Une solution connue pour permettre à au moins deux utilisateurs d'être immergés dans un environnement virtuel consiste à dupliquer les données utilisées pour construire la représentation visuelle de l’environnement virtuel sur deux systèmes immersifs, chaque système étant affecté à un utilisateur, pour obtenir sur chacun des deux systèmes un rendu temps réel correspondant au point de vue de chaque utilisateur associé à un système. Dans ce cas les informations relatives à la position et ou aux interactions réalisées par chacun des utilisateurs sont synchronisées pour permettre à chacun des environnements virtuels reproduits sur chacun des systèmes d’être dans un état identique.
Cette solution a l’avantage de permettre à chacun des utilisateurs partageant l’immersion d’avoir son propre point de vue sur l’environnement virtuel partagé.
Ainsi, un utilisateur en immersion au moyen d'un premier système immersif peut regarder le côté gauche d’un objet et un second utilisateur en immersion dans le même environnement virtuel au moyen d'un second système immersif peut regarder simultanément le côté droit du même objet.
Dans une telle solution, chacun des systèmes immersifs doit disposer des données utilisées pour construire l’environnement virtuel, et sa représentation visuelle, et de l’ensemble des applications, en particulier des logiciels, permettant d’exploiter ces données, conditions qui imposent de passer par une étape de duplication des données et de disposer des licences, pouvant s'avérer coûteuses, sur les logiciels mis en oeuvre sur chacun des systèmes.
En outre, lorsque les deux systèmes immersifs sont distants, la transmission de données pose un problème de confidentialité, notamment dans les environnements industriels où les données emportent un important volume d'informations pouvant être sensibles sur la définition de l'environnement virtuel, par exemple une maquette numérique d'une machine prototype.
Un autre inconvénient de cette solution est de nécessiter sur chaque système immersif des systèmes de traitement numériques avec des performances suffisantes pour générer en temps réel les images de l'environnement virtuel affichées sur les moyens d’affichage du système immersif, performances encore plus importantes lorsque le système immersif doit exploiter un environnement en trois dimensions et ou produire une représentation en trois dimensions.
Un autre inconvénient de cette solution est que le confort de partage de l’expérience du monde virtuel dépend très fortement de la qualité des moyens de communication réseau mis en place. Le partage reposant sur la synchronisation des données entre plusieurs systèmes immersifs, les temps de latence introduits par les moyens de communication réseau affectent la vitesse à laquelle les données provenant d’un système immersif distant sont remises à jour dans un système immersif donné, provoquant un écart potentiellement important entre l’état effectif de l'environnement virtuel à un instant donné du système immersif distant et celui retranscrit à l’intérieur du système immersif considéré au même instant.
Suivant un autre procédé connu, qui évite la transmission de certaines données sensibles, des images produites par un système immersif pour un utilisateur sont filmées par une caméra portée par l'utilisateur, orientée pour montrer les images dans le champ visuel de l'utilisateur, et sont transmises pour être observées sur un écran par des personnes plus ou moins éloignées. Ce procédé n'offre cependant pas la qualité attendue par une personne distante devant observer un environnement virtuel du fait de l'exploitation de l'image filmée sur un écran unique et du fait que l'image filmée comporte en général des défauts et artefacts en raison de la mise en œuvre par le système immersif de systèmes d'affichage des images comportant plusieurs écrans assemblés pour former l'environnement immersif. En outre les personnes qui observent l'image à distance sont passives et n'ont pas d'interaction avec lesdites images. De plus, une telle solution n'est pas envisageable lorsque le système immersif met en œuvre un casque de réalité virtuelle, les images étant dans ce cas affichées très près des yeux de l'utilisateur.
Dans le cas d'un système immersif composé de plusieurs écrans et/ou images combinées pour obtenir un grand champ de vision, l'homme du métier sait que les images sont composées pour être vues d'un emplacement donné du système d'affichage et qu'observées depuis un autre emplacement les images sont vues déformées et avec des défauts de raccordement lorsque qu'il est mis en oeuvre plusieurs écrans.
Ainsi, même lorsque le système d'affichage du système immersif distant est identique à celui du système immersif générant les images de l'environnement virtuel, pour que les images affichées soient correctement vues par l'observateur distant il est nécessaire que la position de son point d'observation dans le système d'affichage distant soit la même que celle du point d'observation de l'utilisateur dans le système d'affichage du système immersif. Cette dernière contrainte s'avère en pratique impossible à respecte, chaque utilisateur devant être libre de réaliser des mouvements de tête, même de faibles amplitudes.
Il résulte du non-respect de cette contrainte de positions des points d'observation que les différentes images affichées dans le système d'affichage distant présentent des incohérences avec des déformations et des discontinuités généralement inacceptables pour la compréhension de l'information affichée, et incompatible pour réaliser une immersion.
Présentation de l'invention L'invention apporte une solution aux différents problèmes de l'art antérieur dans le domaine de l'immersion d'un observateur dans un environnement virtuel généré pour un autre utilisateur d'un système immersif.
Un avantage est d'éviter de multiplier les coûts des licences.
Un autre avantage est d'éviter la duplication des données et les contraintes de transmission de volumes important de données.
Un autre avantage est de ne pas être limités dans le choix des architectures matérielles de chacun des systèmes immersifs mis en oeuvre.
Un autre avantage est de préserver la confidentialité des données de l'environnement virtuel.
Un autre avantage est de conserver la qualité de la représentation visuelle de l'environnement virtuel et de l'immersion dans un système distant.
Pour cela, l'invention concerne un dispositif de partage d'immersion dans un environnement virtuel, comportant : - un système immersif source, comportant un système de traitement numérique comportant une base de données, dont un ensemble de données définit un environnement virtuel, et délivrant des données d'affichage à un système d'affichage de ce système immersif source ; - un logiciel de calcul d'images de synthèse, exécuté sur les moyens de traitement numérique du système immersif source, de construction d'une représentation visuelle de l'environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage du système immersif source, le logiciel de calcul d'images prenant en compte des conditions d'observation effectives dans ledit système d'affichage ; - au moins un système immersif cible, comportant un système de traitement numérique délivrant des données d'affichage, correspondant aux images à afficher, à un système d'affichage dudit système immersif cible ; - des moyens de transmission de données du système immersif source au système immersif cible, et à chacun des deuxièmes systèmes immersifs lorsque plusieurs systèmes immersifs cibles sont utilisés.
En outre, dans le dispositif : - des données d'affichage du système immersif source, et les données des conditions d'observation effectives dans le système d'affichage du système immersif source, utilisées pour calculer les images affichées dans le système d'affichage du système immersif source, sont transmises via les moyens de transmission de données au système immersif cible, le cas échéant à chacun des systèmes immersifs cibles ; - lesdites données d'affichage du système immersif source sont transformées par un logiciel de traitement des données d'affichage pour construire des données d'affichage correspondant à des images affichées sur le ou les écrans du système d'affichage du ou de chacun des systèmes immersifs cibles, chaque point image d'une image transformée affichée sur un écran du système d'affichage du système immersif cible correspondant à la projection d'un point image d'un écran du système d'affichage du système immersif source, la projection étant réalisée en fonction d'au moins un point d'observation effectif dans le système d'affichage du système immersif source, et en fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible, points d'observation considérés, pour calculer la projection, comme même point d'observation de l'environnement virtuel dont la représentation visuelle est affichée sur le système immersif source, les données d'affichage du système immersif source étant transformées par le système de traitement numérique du système immersif cible, au moins pour une partie des transformations fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible considéré.
Il est ainsi obtenu un dispositif pour transmettre une représentation d'un environnement virtuel, générée pour un système immersif source, à un ou plusieurs systèmes immersifs cibles différents de sorte qu'un observateur sur un système immersif cible partage la perception de l'environnement virtuel qu'en a un utilisateur du système immersif source générant la représentation de l'environnement virtuel. Cette transmission est réalisée sans duplication nécessaire des moyens matériels et ou logiciels du système immersif source. Le ou les systèmes cibles peuvent être très différents entre eux et différents du système immersif source, tant par leurs structures que par leurs performances, et il n'est pas nécessaire que chacun des systèmes immersifs cibles dispose des données de la base de données mise en oeuvre pour construire l'environnement virtuel sur le système immersif source.
Le partage peut être effectué en temps réel, la transmission des données étant alors réalisée en continu, ou en temps différé.
En outre, en réalisant par le système immersif cible la transformation des données d'affichage pour la partie fonction du point d'observation effectif, position d'observation et le cas échéant direction d'observation, dans le système d'affichage dudit système immersif cible, il est minimisé l'impact du temps de latence entre l'affichage dans le système cible des images transformées et la prise en compte pour la transformation des données d'affichage du point d'observation effectif dans le système d'affichage du système cible.
Dans une forme de réalisation, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel d'une position d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et l'au moins un système immersif cible comporte un système de mesure en temps réel de la position d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.
Il est ainsi connu une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur et une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et au moins un système immersif cible comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.
Il est ainsi connu une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur, et une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.
Un logiciel de traitement partiel des données d'affichage peut être exécuté sur les moyens de traitement numérique du système immersif source, ou sur un calculateur annexe connecté à un réseau par lequel des données sont transmises entre les systèmes immersifs source et cibles, ledit logiciel transformant les données d'affichage générées par le système immersif source, correspondant aux images affichées sur les écrans du système d'affichage dudit système immersif source, en données d'affichage correspondant à des images adimensionnelles indépendantes d'une structure d'un système de visualisation devant afficher les images, lesdites données d'affichage correspondant aux images adimensionnelles étant transmises à l'au moins un système immersif cible.
Dans cette configuration, les calculs de transformation des données d'affichage qui ne dépendent pas du système immersif cible sont réalisés sur le système immersif source ou un calculateur annexe indépendant. Une telle solution permet dans un dispositif comportant plusieurs systèmes immersifs cibles de transmettre aux différents systèmes immersifs cibles des données d'affichage dans une forme neutre adimensionnelle dont seul le traitement ultérieur, spécifique au système immersif cible, est réalisé par chacun des systèmes immersifs cibles.
Dans une forme de réalisation, les images adimensionnelles correspondent à des images projetées sur une paroi intérieure d'une sphère, au centre de laquelle sphère est placé le point d'observation du système immersif source, pour former des images adimensionnelles dans un angle solide jusqu'à quatre Pi sté radian s.
Il est ainsi possible de donner à un observateur d'un système cible de choisir une direction d'observation dans n'importe quelle direction de l'espace sans être limité par le champ visuel de l'opérateur du système source.
Le logiciel de traitement des données d'affichage pour construire des images affichées sur le ou les écrans du système d'affichage de l'au moins un système immersif cible peut également être exécuté sur les moyens de calculs dudit système immersif cible.
Il est dans ce cas transmis par le système immersif source les mêmes données à tous les systèmes immersifs cibles et les traitements numériques de la transformation des données d'affichage sont réalisés par chaque système immersif cible en fonction de la configuration qui lui est propre et de variables locales telles que les position et directions d'observation de l'observateur dans le système d'affichage du système immersif cible.
Dans une forme de réalisation, le dispositif comporte une pluralité de systèmes immersifs cibles connectés simultanément au système immersif source. Il est ainsi possible avec les bénéfices de l'invention de permettre à de nombreux observateurs, pouvant être distants et dispersés, de suivre l'immersion vécue par un utilisateur d'un système source.
Dans une forme de réalisation, un équipement du système immersif source qui capture le signal, numérique ou analogique, porteur des données d'affichage, envoyé par le système de traitement numérique du système immersif source au système d'affichage dudit système immersif source, convertit, si besoin, le signal prélevé en données numériques correspondant aux données d'affichage et transmet sous forme de données numériques lesdites données d'affichage correspondant au signal capturé, directement ou indirectement, aux systèmes immersifs cibles.
Il est ainsi évité toute intervention ou modification, matérielle ou logicielle, autre que le raccordement dudit équipement de capture, du système immersif source, de telles interventions ou modifications, lorsqu'elles sont possibles, étant le plus souvent contraignantes.
Dans une forme de réalisation, le système immersif source comporte un logiciel, exécuté sur le système de traitement numérique du système immersif source, qui capture les contenus des données d'affichage correspondant aux images affichées sur chacun des éléments du système d’affichage du système immersif source après que les données d'affichage ont été calculées et, dans la chaîne de transmission des données d'affichage, avant que lesdites données d'affichage ne soient envoyées au système d’affichage du système immersif source, ledit logiciel de capture transmettant sous forme numérique lesdits contenus.
Dans ces formes de réalisation de tels contenus correspondent avantageusement à un ensemble de données suffisant pour reconstituer les images affichées sur le système immersif source. Lesdites données sont par exemple les données numériques envoyées au système d'affichage du système source, le cas échéant avant une conversion analogique, ou des données soumises à des algorithmes de compression spatiale et ou temporelle pour en diminuer la taille, ou des ensembles d'attributs de chaque image : contours, textures, couleurs...
Dans une forme de réalisation les contenus sont des images, dans une autre forme des flux vidéo, dans encore une autre forme des images stéréo, dans un autre exemple de forme un flux vidéo stéréo.
Avantageusement, en particulier lorsqu'il est recherché une synchronisation des affichages, des systèmes immersifs source et cibles, une forme des contenus est déterminée en fonction des moyens de calcul du système immersif source et ou du ou des systèmes immersifs cibles, et ou aux moyens de transmission de données, pour limiter autant que possible les retards entre l'affichage des images sur le système immersif cible par rapport au système immersif source en prenant en considération toute la chaîne de transmission des données et de leurs traitements par les deux systèmes immersifs.
Dans une forme de réalisation, le dispositif comporte un système d'enregistrement des données configuré pour enregistrer les données transmises à l'au moins un système immersif cible et pour transmettre lesdites données en temps différé.
Il est ainsi possible de rejouer à tout moment, et sans limite de nombre de fois, une immersion enregistrée sur un système immersif source sur un système immersif cible quelconque, qui peut être le même système immersif que le système immersif source. Cette possibilité tient au fait que les données d'affichage sont transformées par le système immersif cible en fonction des conditions d'observation qui sont toujours différentes en pratique lors de chaque mise en œuvre du système immersif cible.
Dans une forme de réalisation, le système immersif source comporte également un logiciel de traitement d'image et un système immersif cible comporte également un logiciel de calcul d'images de synthèse et de construction d'une représentation visuelle d'un environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage dudit système immersif cible et comporte également un équipement ou un logiciel de capture des données d'affichage correspondant aux images affichées sur le système de visualisation dudit système immersif cible, de sorte que chacun desdits systèmes immersifs cible et source peut être alternativement un système source et un système cible. Le dispositif s'avère dans cette forme de réalisation particulièrement adapté à un travail collaboratif entre un utilisateur et un observateur susceptibles d'inverser leurs rôles.
Dans cette configuration les deux systèmes immersifs cible et source pouvant inverser leurs conditions peuvent être différents tant dans leurs configurations matérielles que logicielles, le dispositif suivant l'invention permettant de s'affranchir sur ces points des contraintes de compatibilité habituellement rencontrées dans les systèmes connus. Cette configuration est également compatible avec la connexion simultanée d'autres systèmes immersifs cibles.
Dans un tel dispositif le système d'affichage du système immersif source et le système d'affichage d'un système immersif cible appartiennent à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans traditionnels, les écrans portés par un utilisateur ou un observateur.
Ces catégories, indépendamment des dimensions et de la forme des écrans, qui peuvent être plats ou courbes, peuvent cohabiter dans le dispositif de l'invention, seuls les calculs de transformation des données d'affichage étant modifiés pour s'adapter aux caractéristiques spécifiques des écrans et des systèmes d'affichage. L'invention concerne également un procédé de partage d'immersion dans un environnement virtuel, mettant en oeuvre le dispositif décrit précédemment, entre un opérateur du système immersif source et un observateur de l'au moins un système immersif cible, comportant une étape de génération d'environnement par le système immersif source, ladite étape produisant des données d'affichage correspondant à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage du système source, et une étape d'affichage par le système immersif cible d'images transformées.
Suivant l'invention, le procédé comporte une étape de : transformation, au moins pour partie sur le système immersif cible, des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et dont les images sont affichées sur les écrans du système d'affichage dudit système immersif source pour être vues par l'utilisateur dudit système immersif source, en données d'affichage dudit environnement virtuel adaptées à l'affichage sur un ou des écrans du système d'affichage dudit système immersif cible, et dont les images sont affichées pour être vues par l'observateur dudit système immersif cible, la transformation consistant en des modifications des données d'affichage, générées par le système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif cible, et en fonction de variables de conditions d'observations des écrans dans chacun des systèmes d'affichage desdits systèmes immersifs source et cible, ladite transformation étant réalisée de manière récurrente pour reproduire sur le système immersif cible, afin de restituer à un observateur dans ledit système cible l'immersion d'un utilisateur dans le système immersif source, prenant en compte les évolutions de la représentation du monde virtuel sur le système immersif source et des évolutions des variables des conditions d’observation.
Il est ainsi réalisé la transformation des données d'affichage générées par le système immersif source, données d'affichage correspondant à des images adaptées au système d'affichage dudit système immersif source et aux conditions d'observation par l'utilisateur dudit système immersif source, en données d'affichage correspondant à des images adaptées au système d'affichage du système immersif cible et aux conditions d'observation d'un observateur dudit système immersif cible pour présenter audit observateur l'environnement immersif vécu par l'utilisateur.
Dans une forme de mise en oeuvre, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.
Suivant cette forme, il est créé un système d'affichage source virtuel dont la position par rapport à l'observateur est calquée sur la position de l'utilisateur dans le système d'affichage source réel.
Il est reconstruit virtuellement sur le système immersif cible le système d'affichage du système immersif source, reconstruction virtuelle qui est affichée sur le système d'affichage du système immersif cible de manière à ce que les conditions d’observation de l’observateur de ladite reconstruction virtuelle du système source dans le système immersif cible correspondent au moins en partie aux conditions d’observation de l’utilisateur du système immersif source dans le système immersif source.
Cette transformation permet de s'affranchir d'une duplication des données de l'environnement virtuel et peut être appliquée pour toute forme de système immersif cible et pour tout logiciel exécuté sur le système immersif source.
Dans un mode de mise en oeuvre, l'étape de transformation des données d'affichage est réalisée totalement sur le système immersif cible après une étape de transmission des conditions d'observation et des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source.
Dans un autre mode de mise en oeuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des conditions d'observation et des données d'affichage transformées partiellement de l'environnement virtuel au système immersif cible, et le système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation du système immersif cible pour former les images affichées sur le système d'affichage cible.
Dans un autre mode de mise en oeuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des données d'affichage partiellement transformées de l'environnement virtuel au système immersif cible, lequel système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation dudit système immersif cible.
Avantageusement dans ce cas, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont indépendantes des caractéristiques et des données d'exploitation d'un système cible.
Dans un mode de mise en oeuvre, la reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source est réalisée par le système immersif source ou le calculateur annexe connecté au réseau.
Dans un mode de mise en oeuvre, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont transformées en données d'affichage pour un affichage sur l'au moins un système immersif cible en considération des caractéristiques dudit système cible et de données d'exploitation dudit système immersif cible, et dans lequel les données d'affichage sont transformées par le système immersif cible pour corriger des différences entre les données d'exploitation dudit système immersif cible, utilisées pour les transformations réalisées par le système immersif source, et les données d'exploitation dudit système immersif cible lorsque lesdites données d'affichages sont converties en images affichées par ledit système immersif cible.
Il est ainsi limité les calculs à réaliser sur le système immersif cible à des corrections des conditions d'observation de sorte qu'il est possible de limiter la puissance de calculs du système immersif cible, et donc de mettre en oeuvre des systèmes réduits, et de limiter les temps de latence introduits par les traitements numériques sur le système immersif cible.
Dans un mode de mise en oeuvre, le procédé comporte une étape de gel des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et destinées à être transformées, et de gel des variables de positions et orientations d'observations des écrans dans le système d'affichage du système immersif source.
Il est ainsi obtenu la possibilité de maintenir pour l'utilisateur du système source une perception de l'environnement virtuel généré par le système immersif source, tout en conservant dans le système immersif cible une vision correcte et stable dudit environnement virtuel placé dans cette condition de gel malgré des variations des conditions d'observation dans ledit système immersif source. Les données d'affichage dans le système immersif cible sont ainsi interprétées comme si l’environnement virtuel était totalement statique et que l’utilisateur du système source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de l’état du système immersif source.
Dans un mode de mise en oeuvre, le procédé comporte une étape d'initialisation dans laquelle des informations de configuration de chacun des systèmes immersifs sont transmis par chaque système immersif à l'autre ou aux autres systèmes immersifs, directement ou par l'intermédiaire d'un serveur, via les moyens de communication de données. Une telle étape permet de configurer les différents systèmes immersifs connectés entre eux et d'adapter simplement la configuration de chacun d'eux à la manière dont le dispositif doit travailler dans des conditions définies.
Dans un mode de mise en œuvre, le procédé comporte une étape d'enregistrement de données représentant les données d'affichage du système d'affichage du système immersif source et de données des conditions d'observation utilisées pour calculer lesdites données d'affichage, et de transmission en temps différé desdites données à l'au moins un système immersif cible.
Il est ainsi possible de reprendre une immersion enregistrée à tout moment.
Présentation des figures
La description de l'invention est faite en référence aux figures qui représentent de manière schématique et de manière non limitative :
Figure 1 : un exemple simplifié d'un dispositif de partage d'immersion dans un environnement visuel avec un système immersif source comportant un système d'affichage de type multi-écrans et un système immersif cible de type mono écran plat ;
Figure 2 : un exemple illustré de principes de transformation d'une image, générée dans un système immersif source avec un système d'affichage et observé dans un système immersif cible avec un système d'affichage différent, pour conserver les conditions visuelles d'immersion ;
Figure 3 : une illustration d'un dispositif comportant plusieurs système immersifs cibles avec des systèmes d'affichage de technologies différentes reproduisant l'environnement virtuel d'un même système immersif source ;
Figure 4 : un synoptique simplifié du procédé suivant l'invention.
Dans la description, il devra être donné aux termes et expressions suivantes les sens précisés ci-après :
Système immersif = Système destiné à restituer en temps réel des impressions sensorielles à un utilisateur par des moyens de stimulation adaptés aux sensations devant être restituées. Le système immersif comprend généralement un ensemble de moyens matériels et logiciels pour au moins : construire un environnement virtuel à partir d'informations contenues dans une base de données ; calculer une représentation visuelle de cet environnement virtuel ; afficher des images à l'attention d'au moins un utilisateur ; mesurer la position et la direction d'observation de l'utilisateur dans un référentiel de moyens d'affichage sur lesquels les images sont regardées par l'utilisateur ; les images affichées étant calculées pour représenter l'environnement virtuel tel qu'il doit être perçu par l'utilisateur suivant ses conditions d'observation de l'environnement virtuel.
Système d'affichage : ensemble de moyens matériels et au besoin logiciels comportant un ou plusieurs écrans d'affichage d'images agencés entre eux dans l'espace pour présenter des images à un opérateur. Le système d'affichage est associé à des moyens pour déterminer en temps réel, dans un référentiel lié aux écrans, la position au moins, et accessoirement l'orientation d'observation, d'un opérateur regardant les images affichées par lesdits écrans.
Casque : cas particulier de système d'affichage dans lequel les écrans sont fixés sur un support porté sur la tête par l'opérateur. Dans ce cas particulier la position d'observation est fixe dans le référentiel lié aux écrans et la direction d'observation est fonction des mouvements de la tête. Ce type d’équipement peut être associé à des moyens de suivi temps réel de la position de la tête dans l’environnement physique, qui ne modifieront bien entendu pas la position de la tête de l’opérateur par rapport au système d’affichage mais pourront être exploitées par le logiciel de calcul de la représentation de l’environnement virtuel pour modifier la position de la tête de l’utilisateur dans l’environnement virtuel.
Image : toute forme de représentation visuelle affichée sur un écran. Une image peut être fixe, animée résultant d'une succession d'images dans le temps, résulter d'un flux vidéo... Une image peut être transmise en vue de son affichage sur un écran par un signal analogique ou par un ensemble de données numériques représentant tout ou partie (par exemple dans le cas de signal compressé) d'une image, ou les deux suivant un emplacement considéré dans la chaîne de transmission de l'image entre la génération de l'image et son affichage.
Environnement virtuel : un environnement déterminé par un ensemble de données numériques définissant les caractéristiques de cet environnement et nécessaires à la construction d'une représentation visuelle de cet environnement tel qu'il doit être perçu par un utilisateur ou un observateur d'un système immersif.
Immersion : situation dans laquelle des représentations d'un environnement virtuel consistent en un ensemble de stimuli auquel sont soumises une ou plusieurs personnes pour donner à ces personnes l'impression d'être physiquement entourées des informations contenues dans l'environnement virtuel.
Description détaillée d'un exemple de réalisation
En particulier, il sera dans la présente invention considéré le cas d'un environnement virtuel dont la représentation visuelle est restituée par le système immersif au moyen d'un dispositif d'affichage comportant un ou plusieurs écrans d'affichage, le cas échéant mettant en oeuvre des systèmes optiques conventionnels tels que des miroirs, des lames semi-transparentes, des optiques de collimation, des filtres ... L'environnement virtuel restitué peut être à deux dimensions, 2D, ou à trois dimensions, 3D. Pour augmenter les impressions sensorielles dans ce dernier cas le dispositif d'affichage comporte un système de reconstructions des effets du relief, par exemple des lunettes à occultation synchronisées avec les images affichées pour présenter à l'utilisateur du système immersif des images correspondant à chacun de ses yeux pour produire un effet stéréoscopique.
Les informations numériques utilisées par le système immersif peuvent correspondre, et correspondent souvent, à des données d'un environnement immersif en trois dimensions 3D, auquel cas une application logicielle du système immersif est une application de création d'images de synthèse qui élabore à chaque instant une ou plusieurs nouvelles images de synthèse par un traitement numérique des informations 3D en fonction d'une position d'un point d'observation, par exemple correspondant à un centre optique d'un objectif d'une caméra virtuelle.
Les informations numériques peuvent également être des données d'un environnement à deux dimensions, 2D, comme des films, éventuellement panoramiques préenregistrés, qui peuvent être traités numériquement par une application logicielle pour afficher des images vues depuis un point d'observation contrôlé par l’utilisateur ou contrôlé par une logique plus ou moins interactive. L'homme du métier dans le domaine de la réalité virtuelle connaît les principes et le fonctionnement des systèmes immersifs qui sont répandus aujourd'hui dans de nombreuses applications industrielles, par exemple en conception assistée par ordinateurs, dans des simulateurs et systèmes d'entraînement tels que la formation et l'entraînement à la conduite de véhicules, dans des applications ludiques généralement regroupées sous l'expression « jeu vidéo >>.
La description de ces systèmes immersifs connus ne sera donc pas développée en détail dans la présente demande, tout au plus il sera fait appel à des éléments, parties ou sous-ensembles et à des principes lorsqu'ils seront jugés utiles à la clarté de l'exposé ou lorsque qu'il pourra être considéré que le système immersif de l'invention risque d'échapper au sens le plus conventionnel de ce terme. En particulier, dans l'invention un seul écran, d'ordinateur ou d'un moniteur vidéo, peut former la partie affichage d'un système d'affichage d'un système immersif.
En outre dans l'exemple de réalisation décrit, ne seront considérés que les aspects visuels de l'immersion, les autres aspects, sonores par exemple, n'étant pas abordés, tout au plus évoqués.
La figure 1 illustre un dispositif 100 comportant deux systèmes immersifs, un système immersif source 10 et un système immersif cible 20, connectés par des moyens de transmission de données.
Le système immersif source 10 de la figure 1 est un système connu qui comporte, dans l'exemple illustré, un système de traitement numérique 11, comportant une base de données 11a d'informations numériques décrivant un environnement immersif, et des moyens d’affichage 12 d'images générées par le système de traitement numérique.
Le système de traitement numérique 11 est en pratique un calculateur, de puissance adaptée aux calculs d'images en temps réel, sur lequel sont exécutés des logiciels de calculs d'images de synthèse.
La base de données 11a comporte l'ensemble des données propres définissant l'environnement virtuel et nécessaires au calcul d'une représentation visuelle dudit environnement virtuel. Ces données sont par exemple des données définissant les formes géométriques d'objets de l'environnement virtuel, des couleurs desdits objets et de divers attributs (conditions de visibilité, de transparence, de mobilité ou positions fixes dans l'espace par exemple). L'homme du métier connaît bien ce type de données et de représentation numérique d'un environnement.
La base de données comporte également des données relatives au système immersif source lui-même, en particulier des paramètres relatifs aux moyens d'affichage 12, dont des dimensions, positions et formes d'écrans (12a, 12b, 12c, 12d), sur lesquels sont affichées les images devant former une représentation de l'environnement virtuel dans lequel est immergé un utilisateur 90.
Il doit être noté qu'outre les données relatives à l'environnement virtuel et les paramètres relatifs aux moyens d'affichage 12, les moyens de calculs 11 reçoivent également des valeurs de variables, généralement fonction d'un utilisateur 90 en condition d'immersion et ou d'un opérateur du système immersif, qui sont nécessaires aux logiciels pour les calculs d'images de synthèses.
Les variables comportent plus particulièrement une position d'observation et une direction d'observation de l'utilisateur 90 par rapport aux moyens d'affichage 12, position et direction d'observation qui dont dépendent les dimensions apparentes et perspectives des écrans du système d'affichage et donc les images de l'environnement virtuel devant être affichées pour présenter, vue par l'utilisateur, une représentation correcte dudit environnement virtuel depuis une position dans ledit environnement virtuel ou est sensé se trouver l'utilisateur.
Les position et direction d'observation devant être connues pour le calcul des images affichées, lesdites position et direction d'observation sont, de manière connue par l'homme du métier, mesurées ou estimées en temps réel ou présupposées pour être prises en compte dans le calcul de chaque nouvelle image.
De telles variables sont par exemple des ordres envoyés au système de traitement numérique 11, par exemple par l'utilisateur 90 par l'intermédiaire d'organes de commande, pour agir directement ou indirectement sur l'environnement virtuel.
On comprend ici que les variables sont traitées à chaque instant par l’application logicielle réalisant la synthèse de l’environnement virtuel pour présenter en temps réel, c'est-à-dire avec un temps de latence suffisamment court pour que ses effets sur le retard entre l'évolution des variables et les images affichées ne soit pas sensiblement perceptibles à l’utilisateur, pour le moins ne soit pas gênant dans le contexte de l'utilisation du système immersif, un point de vue dans l’environnement virtuel correspondant à un point d'observation de l'utilisateur 90 dans le système d'affichage du système immersif physique.
Les moyens d’affichage 12 du système immersif source 10 de la figure 1 comportent une pluralité d'écrans 12a, 12b, 12c, 12d formant un système multi-faces à quatre écrans, dans l'exemple illustré, fréquemment appelé CAVE dans le domaine de la réalité virtuelle.
Cet agencement consiste en des écrans, par exemple des écrans de projection, placés les uns à côté des autres et de dimensions suffisantes pour former un volume dans lequel l'utilisateur 90 peut se tenir. Les écrans déterminent un angle solide correspondant à une ouverture visuelle de l’utilisateur 90 sur l'environnement virtuel. De tels écrans, qui dans des systèmes CAVE atteignent fréquemment trois mètres de côté, voire plus, sont positionnés les uns par rapport aux autres pour déterminer le volume, plus ou moins fermé suivant le nombre et l'agencement relatif des écrans, dans lequel se place l'utilisateur 90, et les différents écrans sont en outre placés de sorte à assurer la continuité des images de l'environnement virtuel affichées par lesdits écrans le long d'une arrête commune à deux écrans.
Dans l'exemple de la figure 1, quatre écrans sont agencés suivant les parois d'un cube dont deux côtés mitoyens sont absents, le dispositif CAVE étant donc ouvert dans cette forme de réalisation. Il doit être noté que les dimensions de cet exemple ne sont pas imposées et que toute forme de système d'affichage, multi-faces ou non, peut être mise en œuvre, en particulier en fonction d'avantages qu'elle procure en terme d’immersion suivant les objectifs de représentation de l'environnement virtuel.
Par exemple un agencement de deux écrans en L favorise l’immersion verticale. Par exemple un agencement à trois, quatre ou cinq écrans avec des angles plus ouverts que 90° favorise l'immersion de plusieurs utilisateurs simultanément. Certains écrans peuvent également être courbes, cylindriques ou sphériques, et éviter ou limiter le nombre de juxtapositions d'écrans formant des angles. Les écrans peuvent également être portés par l'utilisateur aux moyens d'équipements tels que des casques de visualisation, qui peuvent être plus ou moins transparents en fonction du résultat recherché pour la perception de l’environnement physique environnant.
Le système immersif source 10 appartient, dans le contexte de l'invention, à un dispositif 100 comportant également au moins un système immersif cible 20.
Le système immersif cible 20 comporte au moins un système de traitement numérique 21 et un système d'affichage 22. Le système immersif cible peut être similaire, voir identique, dans sa structure et ses moyens au, ou différent du système immersif source 10.
En particulier, le système d'affichage 22 du système immersif cible 20 peut être identique au système d'affichage 12 du système immersif source 10 ou au contraire en être différent, par exemple par un nombre d'écrans mis en œuvre, et ou par une forme des écrans, et ou par la taille des écrans, et ou par un agencement des écrans, et ou par le fait que le ou les écrans soient portés ou non par l'utilisateur, et ou par la capacité ou non de restituer des images pour une observation en stéréoscopie.
Dans l'exemple du dispositif 100 schématisé sur la figure 1, le système d'affichage 22 du système immersif cible ne comporte qu'un seul écran 22a alors que le système d'affichage 12 du système immersif source en comporte quatre. L'écran 22a, unique écran du système d'affichage 22 dans l'exemple de réalisation illustré sur la figure 1, est par exemple un écran de projection du même type que ceux d'un CAVE, ou un écran vidéo conventionnel, télévision ou écran d'ordinateur, voire un écran de téléphone ordinateur, seule la portion d'environnement virtuel affichée par le système d'affichage 22 du système cible différant entre ces diverses possibilités.
Le système de traitement numérique 21 du dispositif immersif cible 20 comporte principalement une mémoire, ou base de données locale, dans laquelle sont stockées les données du système immersif source et du système immersif cible utilisées pour la transformation de données d'affichage correspondant aux images, et un calculateur numérique sur lequel est exécuté un logiciel de traitement des données d'affichage dont les principes sont exposés ultérieurement dans la description.
Par simplification, dans la suite de la description, les termes « source » et « cible » seront utilisés pour désigner les éléments respectivement du système immersif source 10 et du système immersif cible 20. En particulier, le système immersif source 10 sera également désigné « système source » et le système immersif cible 20 sera également désigné « système cible ».
Le dispositif 100 comporte également des moyens de transmission de données 30 entre le système source 10 et le système cible 20.
De tels moyens de transmission de données 30 consistent en tous moyens connus dans le domaine de la transmission de données entre des ordinateurs, et qui seront dans le cas de l'invention choisis en fonction du débit de données qui devra être assuré, de la distance entre les deux systèmes immersifs du dispositif et des ressources disponibles en moyens de communication. Dans une forme de réalisation, la transmission de données est réalisée par un réseau 31 de communication tel que le réseau Internet et la mise en oeuvre des interfaces et protocoles de communications adaptées à ce réseau. La transmission des données peut également mettre en oeuvre des liaisons optiques, des liaisons radio, et des liaisons filaires de différents types, pour autant que la liaison mise en oeuvre soit apte à assurer le débit nécessaire à la transmission des données.
La suite de la description est faite en référence au fonctionnement du dispositif 100 lorsque le système source 10 génère les données d'affichage d'un environnement virtuel dont les images sont affichées sur le système d'affichage source 12, environnement virtuel dans lequel l'utilisateur 90 est immergé, et que ledit système source transmet au système cible 20 des données relatives aux données d'affichage générées par le système de traitement numérique source 11.
Il doit être noté que la description détaillée ne considère qu'un seul système cible pour des raisons de simplification, mais que le dispositif 100 peut comporter un nombre quelconque de systèmes cibles, tous les systèmes cibles étant indépendants entre eux, pouvant être différents dans leurs structures, et fonctionnent de manière similaire avec les données reçues du système source.
Lors du fonctionnement du dispositif 100, le logiciel de calcul d'images de synthèse exécuté sur le système de traitement numérique source 11 génère une représentation de l'environnement virtuel dans lequel l'utilisateur 90 du système source est immergé et produit des données d'affichage de ladite représentation de l'environnement virtuel pour chacun des différents écrans 12a, 12b, 12c, 12d du système d'affichage source 12.
Ces données d'affichage sont générées en fonction des paramètres susceptibles de modifier la perception visuelle de l'environnement virtuel par l'utilisateur 90, en particulier d'une position dans l'espace d'un point depuis lequel l'utilisateur 90 voit chacun des écrans 12a, 12b, 12c, 12d du système d'affichage source 12 et une direction d'observation dans laquelle regarde l'utilisateur, la direction d'observation correspondant à un axe optique des moyens d'observation, en pratique des yeux. Cette position et cette direction qui lui sont associées sont désignées globalement par la suite « point d'observation ».
Le point d'observation peut être unique et par exemple correspondre sur l'utilisateur 90 à une position intermédiaire entre ses deux yeux.
Le point d'observation peut également être double, lorsqu'il est recherché une perception du relief par une vision binoculaire, et alors la position de chacun des deux yeux de l'utilisateur 90 détermine un point d'observation.
Il est à noter ici que, pour réaliser les calculs correspondant à la génération des données d'affichage correspondant aux images affichées sur chacun des écrans, le système de traitement numérique associé au système d'affichage dispose nécessairement des données relatives aux caractéristiques et à l’agencement des différents écrans du système d'affichage.
Les images calculées sont affichées sur les écrans correspondants. Comme il a déjà été précisé, les images sont avantageusement calculées avec une fréquence de rafraîchissement suffisante pour éviter les phénomènes de latence désagréables pour l'utilisateur et également pour assurer une fluidité des images lors de mouvements.
Les données d'affichage calculées par le système source sont transmises, via les moyens de transmission de données 30, au système cible. Le point d’observation utilisé par le système de traitement du système source pour calculer les données d'affichage est également transmis, via les moyens de transmission de données 30, au système cible.
Il doit être compris ici que lesdites données d'affichage peuvent être transmises sous toutes formes de données suivant un protocole compris par le système cible et qui permet la reconstruction desdites données d'affichage ainsi que l’identification du point d’observation utilisé pour calculer lesdites données d'affichage.
Les données d'affichage générées par le système source ne peuvent cependant pas produire des images affichées correctement sur le système d'affichage cible 22 en particulier en raison des différences de structure des systèmes d'affichage cible et source, et des points d'observation, respectivement de l'utilisateur 90 et de l'observateur 91, dans chacun des systèmes source et cible qui ne sont pas corrélés.
En effet, même dans l'hypothèse où les systèmes d'affichage source et cible sont identiques, il est en pratique impossible que le point d'observation de l'observateur 91 dans un référentiel du système d'affichage cible 22 soit maintenu à tout instant identique au point d'observation de l'utilisateur 90 dans un référentiel du système d'affichage source 12, et en supposant que des données d'affichage générées par le système source soient affichées directement sous la forme d'images sur des écrans du système d'affichage cible, elles donneraient à un observateur 91 du système cible une vision de l'environnement virtuel déformée, voire inutilisable. A titre d'illustration d'une situation simple où les systèmes d'affichage source et cible sont identiques, une ligne droite de l'environnement virtuel, qui serait affichée dans le système source 10 sur deux écrans dont les surfaces d'affichage ne seraient pas coplanaires, apparaîtrait comme une ligne brisée pour un observateur du système cible 20 dont le point d'observation serait différent de celui ayant servi à générer les données d'affichage dans le système source.
Afin de présenter à l'observateur 91 du système immersif cible une représentation cohérente de l'environnement virtuel dans lequel est immergé l'utilisateur du système source, chaque image reçue du système source par le système cible est transformée par un logiciel de traitement d'données d'affichage en fonction du point d’observation du système source et du point d’observation du système cible. Le logiciel de traitement d'image est opéré, au moins pour partie, par le système de traitement numérique cible 21.
Comme il sera compris de la suite de la description, une partie du traitement d'image peut également être opérée par le système source, ou par tout système disposant des capacités de communiquer avec les systèmes source et cible pour recevoir et transmettre les données nécessaires.
La transformation des données d'affichage consiste principalement à reconstituer virtuellement l'environnement physique du système d'affichage source 12 et à forcer le point d’observation de l’observateur 91 à la même position dans l’environnement source virtuel que le point d’observation de l’utilisateur 90 dans le système d’affichage source 12.
Suivant ce principe, comme illustré sur la figure 2, il est créé dans le système cible 20 une représentation virtuelle 3D du système d'affichage source 12', en fonction des paramètres du système d'affichage source 12, sur des écrans virtuels 12'a, 12'd, 12'c de laquelle représentation virtuelle du système d'affichage source sont affichées les images des données d'affichage reçues correspondant à chacun des écrans 12a, 12d, 13c réels du système source, voir figure 2. Il est ainsi formé dans le système cible un environnement virtuel 3D représentant à tout moment, au délai de latence près, le système d'affichage source 12, au moins les surfaces des écrans dudit système d'affichage source, avec sa représentation visuelle de l'environnement virtuel du système source.
Le système cible 10 traite alors numériquement la représentation virtuelle 3D du système d'affichage source 12' pour en construire une représentation visuelle sur le système d'affichage cible 22 en fonction du point d'observation de l'observateur 91 du système cible, dans laquelle représentation visuelle sur le système d'affichage cible, les position et orientation effectives, mesurées ou présupposées, d'observation dans le système d'affichage cible sont exactement les position et orientation d'observation dans la représentation virtuelle 3D du système d'affichage source et qui correspondent aux positions effectives, mesurées ou présupposées, d'observation de l'utilisateur dans le système de visualisation source réel, comme illustré sur la figure 2 où le centre 40 des projections correspond à la fois au point d'observation virtuel dans la représentation virtuelle 3D du système source et au point d'observation effectif dans le système cible 22.
Le traitement numérique correspond dans ce cas en des projections 3D des images de la représentation virtuelle 3D du système d'affichage source 12' sur le ou les écrans du système d'affichage cible 22, lesdites projection ayant comme centre 40 de projection les position et orientation d'observations dans la représentation virtuelle 3D de l'observateur 91.
Le système cible 20 présente ainsi à l'observateur 91 un système source virtuel en ce qu'il reconstruit à tout moment le comportement, pour les images affichées de l'environnement virtuel, du système source 10 et qu'il assure que, quelle que soit la position et l'orientation de l'observateur 91, ledit observateur a une position et une orientation dans la représentation virtuelle 3D du système d'affichage source 12', identique à celle de l'utilisateur 90 dans le système source 10, bien que les systèmes source et cible puisse avoir des configurations différentes et que l'utilisateur 90 et l'observateur 91 aient des points d'observation dont les mouvements sont, en pratique, indépendants dans systèmes immersifs respectifs.
Un tel résultat est obtenu par exemple par des projections des différentes images générées par le système source dans un référentiel des surfaces d'affichage des écrans du système cible, dont un principe est exposé sur la figure 2.
Pour le calcul d'une représentation cohérente de l'environnement virtuel sur le système cible, les points d'observation de l'utilisateur 90 du système source et de l'observateur 91 du système cible sont superposés dans la représentation virtuelle 3D du système d'affichage source 12' et pris comme le centre 40 et un axe de référence 41 d'un système de coordonnées sphériques utilisé pour réaliser les projections. Chaque point image 121 du système d'affichage source réel 12 ou virtuel 12' dans une direction 42 donnée depuis le point d'observation 40 correspond à un point image 221 du système d'affichage cible 22 dans la même direction et le point image 221 dans le système cible reprend alors les caractéristiques (couleur, luminosité...) du point image 121 du système source. Cette condition n'est bien sûr valide que lorsque les deux points images visuellement superposés dans les deux systèmes immersifs existent.
Si, lors de ces projections, un point image du système source n'a pas d'équivalent en projection dans le système cible, il ne pourra pas être affiché dans ledit système cible. A contrario, si un point image du système cible n'a pas d'équivalent en projection dans le système source, le point image dans ledit système cible correspondra à une zone aveugle dans l'affichage du système cible.
Lorsque les données d'affichage générées par le système source 10 ont été traitées suivant les principes exposés supra, les images sont affichées par le système cible 20 sur le ou les écrans dudit système cible.
Il doit être remarqué que la position et l'orientation de l'observateur 91 du système cible par rapport au système d'affichage cible 22 sont des paramètres pris en compte pour réaliser la transformation des données d'affichage. Cette prise en compte est nécessaire pour que la représentation de l'environnement virtuel soit cohérente avec le point de vue qui l'a générée sur le système source et qu'il soit reproduit sur le système cible l'effet immersif recherché.
Toutefois, pour la reconstruction cohérente des données d'affichage sur le système cible, la condition de superposition des positions d'observation est nécessaire alors que la condition de superposition des directions d'observations est optionnelle, et que cette dernière condition ne se justifie que lorsqu'il est recherché que la représentation visuelle vue par l'observateur 91 dans le système cible 20 soit celle de l'utilisateur 90 dans le système source, y compris en direction.
Lorsque seules les positions d'observation sont maintenues identiques, l'observateur 91 dans le système cible dispose, dans les limites de l'angle solide de l'espace dans lequel une image est affichée, de la possibilité de regarder la représentation de l'environnement virtuel dans une direction différente de celle dans laquelle l'observateur 90 regarde cet environnement virtuel dans le système source, mais qui correspond alors à la représentation visuelle qu'en aurait ledit utilisateur dans le système source s'il regardait dans la même direction que l'observateur dans le système cible.
Les expressions « condition d'observation >> et « position et direction d'observation >> doivent donc être comprises, en fonction de l'effet recherché, comme étant la position du point d'observation seule ou bien la position du point d'observation combinée avec la direction d'observation. Tout comme la position du point d'observation et l'orientation d'observation de l'utilisateur 90, la position du point d'observation et l'orientation d'observation de l'observateur 91 doivent être déterminées, par exemple mesurées en temps réel et transmises au système de traitement numérique cible 21 pour être prises en compte dans les calculs de transformation des données d'affichage, elles peuvent également être présupposées. Par exemple, lorsque plusieurs observateurs regardent le ou les écrans dans le système d'affichage du système cible des valeurs moyennes des conditions d'observation des différents observateurs peuvent être calculées ou supposées, étant compris qu'il s'agit d'un compromis produisant nécessairement des distorsions des images affichées par le système cible qui pourront être perçues par certains observateurs.
Ainsi il est réalisé un système cible 20 qui permet à un observateur 91 d'être immergé dans un environnement virtuel créé par un système source 10, distant, dans lequel est immergé, et le cas échéant interagit, un opérateur 90.
Ce résultat est obtenu sans transmission des données de la base de données 11a mise en oeuvre par le système source, y compris avec un système cible 20 dont la configuration est différente de celle du système source 10. Il permet, entre autres, de mettre en œuvre dans le système cible 20 un système de traitement numérique 21 de performances inférieures à celui nécessaire au système source 10 pour générer l'environnement virtuel. Il n'exige pas la mise en œuvre de coûteux logiciels de calculs d'images de synthèses. Il n'exige pas la compatibilité des systèmes d'affichages des systèmes cible et source, ni que l'observateur 91 soit tenu de maintenir des conditions d'observation imposées dans le système de visualisation cible 22 pour visualiser les images comme l'utilisateur 90 les perçoit dans le système d'affichage source 12. L'exemple de réalisation du dispositif 100 décrit n'est cité qu'à titre d'exemple.
Les architectures matérielles des systèmes immersifs source et cibles peuvent être différentes de celles schématisées dans la description pour réaliser les mêmes fonctions.
La transformation des données d'affichage transmises peut être réalisée par tout algorithme de transformation pouvant réaliser les projections nécessaires, la méthode décrite précédemment n'étant qu'une illustration théorique de la transformation par projection polaire.
La transformation des données d'affichage est avantageusement réalisée par le système cible qui connaît la définition de son système d'affichage 22 et qui prend localement en temps réel, avec un temps de latence minimum, les autres paramètres qui lui sont propres comme les conditions d’observation de l'observateur. Dans ce cas, le système cible doit également disposer de la définition du système source, paramètres du système d'affichage en particulier, par exemple transmise en début de connexion au dispositif des systèmes source et cibles, ainsi que les position et orientation d'observation de l'utilisateur 90 dans le système d'affichage source 12.
Toutefois la transformation des données d'affichage peut être réalisée en partie par le système source, ou par un autre système, pour autant que soit transmises par le système source les données d'exploitation nécessaires aux calculs des données d'affichage devant être affichées sur le système d'affichage dudit système cible.
Dans ce cas, comme déjà signalé, les transformations des données d'affichage nécessitant l'utilisation de variables propres au système cible 20, notamment les position et direction d'observation de l'utilisateur 91 dudit système cible, sont réalisées sur le système de traitement numérique 21 dudit système cible, ce qui permet de réaliser la synchronisation des images affichées par le système d'affichage cible 22 avec lesdites variables propres au système cible.
Dans une forme de réalisation, le système source 10, ou un autre calculateur annexe, réalise une première transformation des données d'affichage en données d'affichage adimensionnelles, indépendantes de la structure d'un système de visualisation devant afficher les images, par exemple en attribuant les caractéristiques de chaque point image associées à une direction dudit point image déterminée en coordonnées polaires dans un système d'axes attaché au point d'observation dans le système d'affichage 12 dudit système source. Le système cible 20 transforme alors les données d'affichage adimensionnelles reçues en données d'affichage adaptées à son système d'affichage 22 en attribuant à chaque point d'un écran dans une direction donnée des conditions d'observation dans le système d'affichage cible 22 les caractéristiques attribuées au point image correspondant à la même direction dans les données d'affichage adimensionnelles.
Lorsque qu'il est, dans un système immersif, réalisé une visualisation 3D de l'environnement virtuel, chaque œil voit une image différente et correspond à des conditions d'observation différentes qui nécessitent de réaliser les transformations des données d'affichage pour chacune des conditions d'observation, au moins lorsque les deux systèmes source et cible sont configurés pour afficher les images de l'environnement virtuel en relief. L'invention concerne également un procédé 200, figure 4, pour partager un environnement immersif entre un système immersif source 10 et au moins un système immersif cible 20, d'un dispositif 100, en limitant les données échangées tant en raison de leur aspect confidentiel que du flux de données que leur transmission impliquerait et en limitant les exigences matérielles et logicielles du système cible.
Suivant le procédé, il est échangé entre le système source et un ou plusieurs systèmes cibles un ensemble d’informations ou données permettant à chaque système cible de reconstituer et mettre à jour en temps réel une représentation visuelle d'un environnement virtuel répliquant, au moins en partie, la représentation visuelle de l'environnement virtuel du système source.
Comme décrit précédemment, dans le dispositif 100, chacun des systèmes immersifs qui interviendra dans le partage d'immersion intègre des moyens de connexion à des moyens de transmission 30 assurant la mise en relation desdits systèmes immersifs.
Suivant le procédé, dans une étape préalable 210, à chacun des systèmes immersifs est associé un ensemble de données de configuration.
Les données de configuration intègrent toutes les informations nécessaires à la description physique du système immersif, et notamment à sa reconstruction à l’échelle 1.
Les données de configuration d'un système immersif comportent par exemple : - un identifiant du système immersif ; - un nombre d’écrans ; - des tailles et formes de chaque écran ; - un agencement des écrans dans un référentiel d'un système d'affichage ; - une capacité d’affichage d'images stéréoscopiques et des conditions associées ; -des transformations colorimétriques et ou géométriques propres au système et devant être appliquées à chaque pixel d'une image devant être affichée sur un écran ; - des capacités à restituer une ou plusieurs positions et directions d'observation.
Les données de configuration, dont la liste ci-dessus n'est pas exhaustive mais qui doit comprendre au minimum toutes les informations nécessaires aux échanges de données et au traitement des données réalisées lors de la mise en oeuvre du procédé, sont établies pour chaque système immersif du dispositif, de façon manuelle, automatique ou semi-automatique en fonction des capacités du système immersif considéré.
Dans certaines formes de réalisation de systèmes immersifs, certaines de ces données peuvent varier au cours du temps, par exemple dans le cas d'un système immersif mobile dont l'orientation et ou la position des écrans varient au cours du temps lors d'une immersion.
Dans une telle situation, les données de configuration sont transmises au(x) système(s) cible(s) de manière similaire aux données d'exploitation comme exposé pour les étapes suivantes.
Dans une première étape 220 d'initialisation, le dispositif 100, regroupant les systèmes immersifs source 10 et cibles 20 au moyen desquels une immersion doit être partagée, est initialisé.
Dans cette étape d'initialisation, chacun des systèmes immersifs cibles 20 du dispositif initialise un registre du système immersif source connecté, ledit registre comprenant avantageusement l’ensemble des données de configurations de chacun desdits systèmes immersifs connectés, et avantageusement l'ensemble des données de configurations au moins du système source 10 pour les systèmes cibles 20.
Dans la pratique les données de configuration, ainsi que des valeurs d'initialisation de variables, initialisées par un système immersif donné pourront être limitées aux seules données strictement nécessaires aux transmissions de données et aux calculs qui devront être réalisés par ledit système immersif. A tout instant, l’ensemble des données de configuration du système source doit pouvoir être accessible d'un système cible pour que ledit système source puisse partager son immersion avec ledit système cible, l’accessibilité à ces données pouvant être réalisée dans une forme de réalisation d’un dispositif 100 par exemple via un enregistrement dans une base de données locale au système de traitement numérique dudit système cible.
Dans une autre forme de réalisation d'un dispositif 100, un serveur de données 32a, connecté au réseau 31 des moyens de transmission des données 30, et accessible par chacun des systèmes immersifs 10, 20, comporte une base de données dans laquelle sont stockées les données de configuration de chacun des systèmes immersifs dudit dispositif, au moins pour celles qui sont nécessaires lors de l'étape d'initialisation, et chacun des systèmes immersifs pendant cette étape d'initialisation reçoit du serveur les données de configuration, au moins pour celles qui lui sont nécessaires compte tenu des transformations qu'il devra réaliser sur les données d'affichage.
Avantageusement, quel que soit le mode de mise en œuvre de cette première étape, la base de données pourra être mise à jour pendant la mise en œuvre du procédé en fonction de la connexion, déconnexion ou changement de rôle d’au moins un système immersif du réseau.
Dans une étape 230 de génération d'environnement, étape indépendante réalisée de manière récurrente lorsque le système source 10 est en fonctionnement pour générer un environnement immersif sur ledit système source, des données d’exploitation sources sont créées sur le système source.
Les données d’exploitation sources comportent : - les « données du ou des conditions d'observation » - les « données d'affichage »
Les données d'affichage correspondent à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage 12 du système source 10.
Par exemple les données d'affichage correspondent à l'ensemble des attributs de chacun des pixels composant les images affichées sur chacun des écrans du système d'affichage source 12, ces attributs comportant notamment, outre des caractéristiques de luminance et de couleur, la position du pixel dans ledit système d'affichage.
Les informations d'affichage sont par exemple des informations contenues dans des trames vidéo émises par le système de traitement numérique 11 du système source pour chaque écran 12a, 12b, 12c, 12d sur une liaison vidéo 13 avec le système d'affichage source 12.
Les données du ou des conditions d'observations sont principalement la position depuis laquelle et la direction dans laquelle, avantageusement des position et direction mesurées ou présupposées, l'utilisateur regarde dans le système d'affichage source 12 à un moment donné. Ces données sont prises en compte dans le calcul de la vision de l'environnement virtuel tel qu'il doit être représenté pour un utilisateur du système source immergé dans ledit environnement et interviennent dans la construction des images affichées. A défaut de valeur mesurées, les position et, le cas échéant, la direction sont présupposées, par exemple par identification d’une position et ou orientation idéale pour utiliser le système d’affichage, ou moyenne si plusieurs utilisateurs peuvent être accueillis, ou imposée si le système immersif pousse le ou les utilisateurs à se rapprocher d’une position et ou orientation spécifique.
Dans un mode de mise en oeuvre, les données d'affichage, calculées pour chaque cycle d'affichage en fonction d'une fréquence de rafraîchissement des dites données d'affichage, sont capturées, une fois calculées, par une application logicielle opérée dans le système de traitement numérique 11 du système source.
Dans un autre mode de mise en oeuvre, les données d'affichage sont capturées lors de leurs transmissions aux moyens d'affichage source 12, par exemple par un branchement sur la liaison vidéo 13 d'un équipement vidéo 14 entre le système de traitement numérique source 11 et les moyens d’affichage source 12. Cette forme de capture présente l'avantage de ne pas nécessiter d'intervention, matérielle ou logicielle, sur le système de traitement numérique, ni d'installer une application logicielle supplémentaire sur le système de traitement numérique 11 du système source.
Dans un mode de mise en oeuvre, si le système immersif source affiche des images stéréoscopiques, les données d'affichage capturées sont capturées pour une seule des conditions d'observation, par exemple les données d'affichage correspondant à un seul œil, ou en stéréo, en fonction des capacités du système cible à restituer ou non des images en mode stéréoscopique ou en fonction d'options choisies par un opérateur du système cible. Il est ainsi possible de réduire le flux de données et les besoins en bande passante des moyens de transmission des données 30.
Dans un mode de mise en oeuvre, si le système immersif source estime et utilise des positions et orientations de plusieurs utilisateurs simultanément, les données d'affichage sont capturées pour chacune des conditions d'observation et associées aux conditions d'observation correspondantes dans les données d’exploitation. L'équipement vidéo 14 réalise ainsi la capture des données d'affichage lors de leur transmission au système d'affichage source 12, par exemple par une lecture des signaux correspondant aux images sur la liaison vidéo 13, convertit lesdites images dans un format adapté à leurs transmissions et les transmets via les moyens de transmission de données 30 du dispositif. A l'issue de cette étape 230, les données d’exploitation source sont envoyées, directement ou indirectement, par le système source vers les utilisateurs des informations contenues dans lesdites données d'exploitation source. Les utilisateurs sont par exemple chacun des systèmes cibles qui sont connectés audit système source ou un calculateur annexe 32b raccordé au réseau 31 qui reçoit les données pour les retransmettre aux systèmes cible, éventuellement après avoir réalisé un traitement des données d'exploitation.
Dans une deuxième étape 240 de transformation, les données d’exploitation source sont transformées en fonction des données de configuration du système source, établies lors de l'étape 220, en fonction des données de configuration d'un système cible, également établies lors de l'étape 220, et en fonction de variables générées 242 par ledit système cible, notamment la position d'observation et de la direction d'observation dans le système d'affichage 22 dudit système cible.
Au cours de cette deuxième étape, sont réalisées les opérations de : - Reconstruction 3D à l’échelle 1, par rapport au système de visualisation cible, de la configuration géométrique du système d'affichage source pour obtenir un système d'affichage source virtuel sans image, i.e. indépendamment d'images qui sont affichées sur les écrans dudit système d'affichage source ; - Affichage sur chacun des écrans du système d'affichage source virtuel des données d’affichage associées, pour obtenir une représentation virtuelle complète de l’état des affichages du système source décrit par les données d’affichage reçues. - Repositionnement du système d'affichage source virtuel par rapport à l'observateur utilisateur du système cible pour que les données des conditions d'observation source virtuelles, correspondant dans le système d'affichage source virtuel aux données des conditions d'observation réelles dans le système d'affichage source réel, correspondent aux données des conditions d'observation cible réelles, au moins pour la position d'observation. -Synthèse des images constituant l’ensemble des données d’affichage du système cible par les moyens de traitement numérique du système cible en fonction des données des conditions d'observation cible, en utilisant les données de l'environnement reconstitué sur le système cible à partir des données d'exploitation du système source.
Avantageusement, dans un mode de réalisation, la reconstruction 3D virtuelle du système d'affichage source, sans image affichée sur les moyens d’affichage du système source virtuel, peut être mise en cache par le système de traitement numérique du système immersif cible, et ainsi être réutilisée pour les itérations suivantes.
Suivant le principe de transformation des données d'affichage du procédé, les données des conditions d'observation de l'utilisateur 90 dans l'environnement virtuel affiché dans le système source sont les mêmes que les données des conditions d'observation de l'observateur 91 dans l'environnement virtuel affiché dans le système d'affichage source virtuel sur le système cible, la représentation visuelle dudit environnement virtuel étant reconstituée dans cet objectif. Cette condition est forcée pour que les images générées par le système source 10 et vues par l'utilisateur 90 dans le système d'affichage source 12, puissent être vues sans déformation par l'observateur 91 dans le système d'affichage cible 22.
Les données d’affichage initialement calculées par le système source n'ont donc pas besoin d'être recalculées pour de nouvelles conditions d'observation dans le système cible, les conditions d'observation, en position et en direction, étant virtuellement superposées pour chaque œil dans l'environnement virtuel du système source et dans l'environnement virtuel du système cible. L’ensemble des données et programmes nécessaires aux calculs des données d’affichage par les moyens de traitement numérique du système source n’a ainsi pas besoin d’être répliqué sur le système cible, au contraire de l’art antérieur.
Dans un mode de mise en œuvre, les données d'exploitation transmises par le système source ne sont temporairement plus prises en compte par le système cible et les dernières données d'exploitations reçues et traitées par le système cible sont figées, par exemple sur un ordre de l'observateur 91 ou d'un opérateur du système cible.
Lors de l'activation de cette étape 241 de gel des données, la possibilité de mettre à jour les images sur le système cible par le traitement des données d'exploitations figées dans ledit mode gel d'exploitation est maintenu, le système cible pouvant dans ce cas recalculer en temps réel les données d'affichage pour les images devant être affichées par les moyens d'affichage cible 22 en fonction de modification des conditions d'observation pour conserver une représentation correcte de l'environnement virtuel figé dans le système d'affichage virtuel source.
Dans ce mode de fonctionnement, il est possible pour un opérateur 91 de se déplacer dans le système de visualisation cible sans que la représentation de l'environnement virtuel ne soit instable. Il est alors plus aisé à l'opérateur 91 de mettre en œuvre des méthodes de pointage ou d'annotations, bien connues de l'homme du métier, sur le système source virtuel, par exemple dans le contexte d'un travail collaboratif sur l'environnement virtuel, même si de telles méthodes peuvent être appliquées lorsque la fonction de gel n'est pas activée.
Avantageusement, les données affichées par le système d'affichage source virtuel ne varient plus, et les points image dudit système d'affichage source virtuel sur lesquels sont réalisés les pointages et ou annotations sont constants.
Dans un mode de mise en œuvre, une étape 243 d’enregistrement des données d’exploitation source est activée.
Avantageusement, dans un mode de réalisation, lesdites données d’exploitation source préenregistrées sont utilisées par le système de traitement en tant que données d’exploitation source, permettant ainsi sur le système cible, qui pourrait être ledit système source, de rejouer une immersion préenregistrée.
Dans une troisième étape 250 d'affichage, l'ensemble des données d'affichage résultant de la transformation est transmis au système d'affichage cible 22 dont les données d'exploitation ont été prise en compte lors de la transformation des images générées par le système source.
Afin de former en temps réel une représentation visuelle d'un environnement immersif pour un observateur, disposant d'un système immersif cible, copie de la représentation visuelle de l'environnement immersif généré pour un utilisateur du système immersif source, le procédé est rebouclé après la troisième étape 250 sur la deuxième étape 240.
Le cycle avec lequel le procédé est rebouclé pour afficher une nouvelle représentation de l'environnement virtuel sur les moyens d'affichage du système cible, cycle dont le temps peut être contraint par les performances de calculs des systèmes de traitement numérique de chacun des systèmes immersifs, ainsi que par les performances des moyens de transmission des données par lesquels les données sont échangées entre lesdits systèmes immersifs, est repris à chaque fois que le système cible a fait une acquisition de données d'exploitation correspondant à une représentation de l'environnement virtuel sur le système source.
Pour autant qu'il n'aura pas été mis en pause par l'activation de l'étape 241 de gel de données, le calcul est répété avantageusement aussi rapidement que les systèmes de traitement numérique des systèmes source et cible le permettent, au moins pour offrir à un observateur 91 une immersion perçue simultanée comme avec celle de l'utilisateur 90 du système source.
Variantes de réalisation
Comme précisé, la notion de conditions d'observation regroupe les notions de position d'observation et le cas échéant de direction d'observation lorsque la prise en considération de cette direction est souhaitée. Toutefois ces paramètres de position et de direction peuvent être déduits de mesures ou analyses. Par exemple la direction d'observation peut se déduire d'une mesure de position des deux yeux d'un utilisateur ou d'un observateur.
Des conditions d'observations présupposées ou prédéterminées peuvent également être utilisées pour l'un ou l'autre des systèmes immersifs source et cible, ou pour les deux, la mise en œuvre du procédé permettant d'adapter les affichages par la prise en compte des différences entre les deux systèmes. L'invention telle que décrite dans le cas d'un système immersif source 10 comportant un système d'affichage 12 multi-écrans de type CAVE et d'un seul système immersif cible 20 comportant un système d'affichage 22 avec un seul écran, est susceptible de variantes sans se démarquer des principes de l'inventions détaillés dans l'exemple décrit.
Comme il a été signalé, le dispositif peut dans sa structure et suivant la mise en œuvre du procédé comporter un système source et un nombre quelconque de systèmes cibles, comme schématisé sur la figure 3 d'un dispositif 100 comportant trois systèmes cibles 20 de différents types, qui peuvent reproduire simultanément un environnement virtuel correspondant au système source comme des représentations du même environnement virtuel dans les systèmes cibles.
Dans une forme de réalisation, un système immersif donné peut être mis en œuvre soit comme système cible ou soit comme système source. En outre le dispositif peut mettre en relation au moins deux systèmes immersifs pouvant générer des images d'un environnement virtuel, un des deux systèmes immersifs pouvant être alternativement le système source ou l'un des systèmes cibles, l'autre système immersif étant inversement un des systèmes cibles ou le système source, une commutation entre les deux configurations pouvant être déclenchée à tout moment, par exemple dans le contexte d'un travail collaboratif entre les utilisateurs des deux systèmes immersifs en question, et ce pour peu que chacun des deux systèmes immersifs disposent de moyens de capture des données d'affichage calculées et affichées sur le système d’affichage associé. L'invention permet de réaliser un partage d'immersion dans de nombreuses configurations de systèmes immersifs, en particulier de systèmes d'affichages desdits systèmes immersifs, la figure 3 illustrant des configurations possibles de manière non limitative.
Dans une forme de réalisation le système source et un système cible comportent tous deux un système d'affichage multi-faces. Avantageusement les systèmes immersifs disposent dans ce cas de systèmes de mesure de la position du point d'observation et de la direction d'observation de l'utilisateur ou de l'observateur.
Dans d'autre formes de réalisation, le système source comporte un système d'affichage multi-faces et un système cible comporte un système de visualisation de type casque.
Les systèmes de visualisation de type casque mettent en oeuvre des écrans qui sont physiquement très proches des yeux de l'utilisateur du casque mais qui sont pourvus, pour rester utilisables, de systèmes optiques qui assurent une collimation qui place une image virtuelle, ici considérée au sens de l'optique géométrique, de la surface de l'écran à une distance suffisante de l’œil. C'est cette image virtuelle qui est alors considérée comme l'image affichée dans le système de visualisation.
Dans un premier mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position et à la même orientation que celles de l’utilisateur du système source dans le système source. Dans un mode alternatif, seule l’orientation source autour de l’axe défini par le centre des deux yeux n’est pas prise en compte pour donner un peu plus de liberté à l’observateur. Avantageusement, dans ce mode, l’observateur dans le système cible voit exactement ce que voit l’utilisateur du système source.
Dans un deuxième mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position que celle de l’utilisateur du système source dans le système source. Avantageusement, dans ce mode, l’observateur dans le système cible peut regarder dans d’autres directions que l’utilisateur du système source.
Dans d'autres formes de réalisation, le système source comporte un système d'affichage de type casque.
Les informations de configuration incluent alors une description de la transformation géométrique inverse de la transformation géométrique associée aux pixels des images destinées à chacun des deux yeux ainsi que le champ de vision associé au casque.
Le système immersif cible reçoit les données d'affichage directement capturées par le système de capture et leur applique la transformation géométrique décrite dans les informations de configuration pour retrouver des images aplanies destinées à l’œil gauche et à l’œil droit sans les déformations optiques souvent nécessaires pour l’affichage dans ce type de système immersif de type casque.
Dans une forme de réalisation associée, le système immersif source est de type casque et le système immersif cible est également de type casque. La transformation réalisée par le système cible consiste alors à placer autour de l’observateur dans le système cible, dans un environnement virtuel, une fenêtre mouvante dans laquelle sont affichés les contenus en provenance du système source, la taille de la fenêtre étant fonction des caractéristiques du système source pour au moins correspondre au champ de vision rendu par ledit système source.
Dans un premier mode de fonctionnement, la fenêtre est affichée tout le temps dans le champ de vision de l’observateur, imposant ainsi que sa position et son orientation dans l’environnement virtuel correspondent exactement à la position et orientation de l’utilisateur du système source dans le système source.
Dans encore un autre mode de fonctionnement, seule la position de l’observateur dans le système cible est contrainte dans l’environnement virtuel. L’observateur peut orienter son regard dans n’importe laquelle des directions, même si il ne perçoit le contenu visualisé par l’utilisateur du système source que quand les directions de regard de l’un et l’autre sont suffisamment proches.
Avantageusement, des éléments graphiques intégrés dans le champ de vision dudit observateur lui montreront dans quelle direction regarder pour retrouver l’image dudit utilisateur, i.e. comment regarder dans la même direction.
Dans une variation de ce mode de réalisation, les données d'affichage des anciennes images affichées dans l’environnement virtuel dudit observateur peuvent mettre du temps à disparaître, permettant alors de superposer dans son champ de vision les contenus actuellement visualisés selon la direction de regard actuelle dudit utilisateur et les contenus antérieurement visualisés selon des directions de regard passées dudit utilisateur. Si ledit observateur ne regarde pas exactement dans la même direction que ledit utilisateur, il pourra ainsi percevoir une portion plus importante de l’environnement virtuel visualisé par ledit utilisateur.
Dans une autre forme de réalisation associée, le système source est de type casque et le système cible est un écran plat traditionnel, éventuellement stéréoscopique. Avantageusement, dans cette forme de réalisation, transformer les données d'affichage venant dudit casque en fonction des données de position et ou orientation venant dudit casque permet de positionner dans l’environnement virtuel du système cible la portion de contenu de l’environnement virtuel visible au travers du système d’affichage du système source de façon stabilisée, atténuant l’impact des mouvements de tête fréquents de l’utilisateur du système cible.
Dans un mode de fonctionnement de cette forme de réalisation, la fenêtre de l’environnement virtuel du système immersif cible dans laquelle est affichée l’image correspondant à la portion d’environnement virtuel source visible est positionnée sur une forme géométrique assimilable à une sphère fixe et invisible centrée sur la tête de l’observateur, sa position à la surface de la sphère étant fonction de la direction de regard de l’utilisateur du système source, ladite fonction pouvant être linéaire ou non. Pour pallier au manque de système de positionnement sur un écran classique, la sphère peut tourner sur elle-même pour accompagner le regard de l’utilisateur du système immersif source quand cet utilisateur regarde dans une direction initialement située hors du champ du système d’affichage cible.
Avantageusement, un tel fonctionnement donne le sentiment aux observateurs du système cible que l’environnement virtuel source est dévoilé au fur et à mesure que l’utilisateur du système source regarde dans des directions différentes, à la manière d’une lampe torche qui n’éclairerait à tout instant que la partie de l’environnement vers laquelle elle est pointée.
Par extension aux formes de réalisation ci-dessus, le système immersif source peut aussi être un casque de visualisation de réalité augmentée, auquel cas l’environnement pris en compte par les moyens de capture dudit système source sont une combinaison des affichages virtuels et des images de la scène réelle, toutes deux surimposées.
Un avantage du procédé de l'invention est de corriger les images produites pour être affichées dans le système cible en fonction des modifications des conditions d'observation dans le système source pour le premier cas et dans le système cible pour le second cas.
Dans une forme de réalisation, si le système source produit des images stéréoscopiques de l'environnement immersif et que le système cible dispose de capacités d'affichage en stéréoscopie, avantageusement la transformation des données d'affichage du système source pour leur affichage sur le système cible réalise les transformations pour chacune des images correspondant à un œil gauche de l'utilisateur et des images correspondant à un œil droit de l'utilisateur.
Dans une forme de réalisation, les moyens d’affichage du système immersif source sont virtuels, l’enjeu étant principalement de faire calculer les contenus à afficher sur un système immersif cible par les moyens de traitement numérique du système immersif source sans se soucier d’afficher les informations sur le système d’affichage du système immersif source. Avantageusement, le système immersif source peut utiliser comme position et orientation du calcul des données d'affichage la position et orientation de l’observateur dans le système immersif cible, qui parvient audit système source via les moyens de connexion réseau.
Dans un mode de fonctionnement de cette forme de réalisation, le système immersif source calcule une image adimensionnelle consistant en une projection à 360° de l’environnement virtuel, résultant en une image ou un ensemble d’images qui peut être transformée par le système immersif cible en prenant en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.
Dans un autre mode de fonctionnement de cette forme de réalisation, le système immersif source calcule un ensemble de données d'affichage correspondant à la configuration géométrique du système d’affichage du système immersif cible. Les transformations réalisées par le système immersif cible prennent en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.
Bien que l'invention ait été exposée de manière détaillée dans le cas de la mise en oeuvre de systèmes d'affichage utilisant des écrans rectangulaires, ou carrés, et plats, un système immersif comportant d'autres formes d'écrans peut être mis en oeuvre dans le dispositif et dans le procédé tant comme système source que comme système cible.
Par exemple il peut dans un système d'affichage être mis en oeuvre un ou des écrans courbes. Dans ce cas, suivant l'invention, sont assurées les transformations nécessaires en prenant en compte les caractéristiques de courbure de la surface sur laquelle est, dans le cas du système source, ou doit être, dans le cas du système cible, affichée une image. L'invention peut, en particulier dans cette situation, adapter une image à une courbure différente entre un écran du système source et un écran du système cible, puisque le système de traitement associé au système cible dispose de toutes les informations géométriques associées au système source pour construire virtuellement exactement le même écran avec les mêmes courbures.
Dans une forme de réalisation, indépendamment du type de système immersif mis en oeuvre comme système source, le système d'affichage d'un système immersif cible comporte un écran plat conventionnel unique, ayant le cas échéant des capacités d'affichage en stéréoscopie.
Une telle forme de réalisation permet à plusieurs spectateurs de vivre en immersion sur le système cible une expérience de l’utilisateur en immersion sur le système source. Dans un mode de fonctionnement de cette forme de réalisation, position et orientation d'observation par l’utilisateur du système cible sont présupposés pour qu’ils correspondent à des position et orientation par défaut dans le système cible.
Dans une forme de réalisation alternative sur un modèle proche de la forme de réalisation précédente, le système d’affichage du système cible est un dispositif mobile ou transportable type tablette, smartphone ou ordinateur portable.
Dans un mode de fonctionnement complémentaire applicable aux formes de réalisation précédente, le système d’affichage et le système de traitement du système cible possède des moyens d’interaction. Ces moyens d’interaction peuvent être de toutes formes, comprenant de façon non exhaustive des capacités tactiles directes ou indirectes, un clavier, une souris, un dispositif de pointage 3D, un dispositif de pointage gyroscopique, des capacités de suivi du regard... La fonction de gel des données d'affichage sur le système cible peut alors être activée grâce à ces moyens d’interaction et le ou les observateurs sur le système cible peuvent utiliser les moyens d’interaction dudit système cible pour pointer et ou annoter à la surface de l’image gelée, puis enregistrer ces images annotées par une interface adaptée. Pour simplifier les systèmes et éviter la mise en œuvre d'un dispositif de mesure de la position de la tête et des yeux d'un utilisateur ou d'un observateur, ces paramètres peuvent être estimés en fonctions de mesures ou d'observations plus ou moins précises, mais suffisantes pour obtenir une reconstruction de l'image de l'environnement immersif acceptable par l'observateur.
Par exemple le système cible peut être un téléphone ordinateur dont l'écran forme le système d'affichage et dont une caméra sur la face avant dudit téléphone ordinateur assure, par une application logicielle dédiée, le suivi de la position de la tête ou des yeux de l'observateur.
Dans tous les cas, comme il est compris de la description détaillée d'un mode de réalisation, les paramètres des conditions d'observation source et cibles sont nécessaires à la formulation des transformations des images du système source en images cohérentes sur le système cible. Suivant que l'un ou l'autre des systèmes source ou cible, ou les deux, sont équipés ou non d'un système pour établir les valeurs variables des paramètres relatifs aux conditions d'observation, les valeurs du paramètre sont prises en compte ou à défaut sont prises à des valeurs présupposées fonction des moyens d'affichage et des conditions d'observation.
Avantageusement, selon l’invention, tous les types de systèmes immersifs décrits peuvent être combinés dans un dispositif plus ou moins complexe ne se restreignant pas à un unique couple système source / système cible. L'invention peut également s'appliquer à différents types d'environnements virtuels. L'environnement virtuel peut être un environnement en trois dimensions. L'environnement virtuel peut également être un environnement en deux dimensions représenté par des images fixes ou animées stéréoscopiques ou non.
Dans le cas d'images stéréoscopiques, la connaissance de propriétés de l'appareil de prise de vue permet de restituer les proportions correctes pour l’observateur sur le système cible.
Ainsi suivant le dispositif et le procédé de l'invention, il est obtenu de reproduire un environnement généré sur un système immersif source dans un ou plusieurs autres systèmes immersifs cibles sans transmettre nécessairement d'autres informations que celles correspondant aux données d'affichage générées par le système immersif source et à leurs conditions d'observation dans ledit système immersif source.
Malgré les différences entre le système cible et le système source, l'environnement perçu par un utilisateur du système source est reproduit de manière cohérente vis à vis d'un observateur du système cible qui bénéficie ainsi de l'expérience d'immersion perçue par l'utilisateur du système source.
Ce résultat est obtenu avec un niveau d'exigence minimal en termes de transmission de données et en termes de coût d'adaptation des systèmes existants.
Claims (21)
- REVENDICATIONS MODIFIEES1 - Dispositif (100) de partage d’immersion dans un environnement virtuel, comportant : - un système immersif source (10), comportant un système de traitement numérique (11) comportant une base de données (11a), dont un ensemble de données définit un environnement virtuel, et délivrant des données d'affichage à un système d'affichage (12) dudit système immersif source ; - un logiciel de calcul d'images de synthèse, exécuté sur les moyens de traitement numérique (11) dudit système immersif source, de construction d'une représentation visuelle de l'environnement virtuel sous la forme d'images affichées sur un ou des écrans (12a, 12b, 12c, 12d) du système d'affichage (12) du système immersif source (10), ledit logiciel de calcul d'images prenant en compte des conditions d'observation dans ledit système d'affichage ; - au moins un système immersif cible (20), comportant un système de traitement numérique (21) délivrant des images à un système d'affichage (22) dudit système immersif cible ; - des moyens de transmission (30) de données du système immersif source (10) à l'au moins un système immersif cible (20) ; le dit dispositif étant caractérisé en ce que : - des données d'affichage représentant les images affichées sur les écrans du système d'affichage (12) du système immersif source (10) et des données des conditions d'observation utilisées pour calculer lesdites images dans le système d’affichage du système immersif source, sont transmises via les moyens de transmission (30) de données à l'au moins un système immersif cible (20) ; - lesdites données d'affichage représentant les images transmises par le système immersif source (10) sont transformées par un logiciel de traitement des données d'affichage pour construire des images affichées sur le ou les écrans du système d'affichage dudit système immersif cible, chaque point image d'une image transformée affichée sur un écran (22a) du système d'affichage (22) dudit système immersif cible correspondant à la projection d'un point image d'un écran (12a, 12b, 12c, 12d) du système d'affichage (12) du système immersif source (10), ladite projection étant réalisée en fonction d'au moins un point d'observation effectif dans le système d'affichage (12) du système immersif source et en fonction d’au moins un point d'observation effectif dans le système d'affichage (22) du système immersif cible considérés, pour calculer la projection, comme même point d'observation de l'environnement virtuel affiché sur le système immersif cible et le système immersif source, - les données d'affichage représentant les images affichées par le système immersif source (10) étant transformées par le système de traitement numérique (21) du système immersif cible, au moins pour une partie des transformations fonction de l'au moins un point d'observation effectif dans le système d'affichage (22) dudit système immersif cible, 2 — Dispositif suivant la revendication 1, dans lequel la transformation des données d’affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source (12') de l'environnement physique du système d'affichage source (12), une position du point d’observation de l’observateur (91) étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l'utilisateur (90) dans le système d’affichage source (12).
- 3 - Dispositif suivant la revendication 1 ou 2, dans lequel le système immersif source (10) comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage (12) du système immersif source, d'un utilisateur (90) qui serait immergé dans l'environnement virtuel dudit système immersif source, et l’au moins un système immersif cible (20) comporte un système de mesure de la direction d'observation, dans le système d'affichage dudit système immersif cible, d'un observateur (91) qui serait immergé dans l'environnement virtuel représenté sur ledit système immersif cible.
- 4 - Dispositif suivant l’une quelconque des revendications précédentes, dans lequel le système immersif source (10) comporte un système de mesure en temps réel d'une position d'observation, dans le système d'affichage (12) du système immersif source, d'un utilisateur (90) qui serait immergé dans l'environnement virtuel représenté sur ledit système immersif source, et l’au moins un système immersif cible (20) comporte un système de mesure en temps réel de la position d'observation, dans le système d'affichage (22) dudit au moins un système immersif cible, d’un observateur (91) qui serait immergé dans l'environnement virtuel représenté sur ledit système immersif cible. 5 — Dispositif suivant l'une des revendications précédentes, dans lequel un logiciel de traitement partiel de données d’affichage est exécuté sur les moyens de traitement numérique (11) du système immersif source (10), ou sur un calculateur annexe (32b) connecté à un réseau (31) par lequel des données sont transmises entre les systèmes immersifs source et cibles, ledit logiciel transformant des données d'affichage générées par le système immersif source (10), correspondant au images affichées sur les écrans (12a, 12b, 12c, 1d) du système d'affichage (12) dudit système immersif source, en données d'affichage correspondant à des images adimensionnelles indépendantes d'une structure d'un système de visualisation devant afficher les images, les dites données d’affichage correspondant à des images adimensionnelles étant transmises à Pau moins un système immersif cible (20).
- 6 - Dispositif suivant la revendication 5, dans lequel les images adimensionnelles correspondent à des images projetées sur une paroi intérieure d'une sphère, au centre de laquelle sphère est placé le point d'observation du système immersif source (10), pour former des images adimensionnelles dans un angle solide jusqu’à quatre Pi stéradians.
- 7 - Dispositif suivant l'une des revendications 1 à 4, dans lequel le logiciel de traitement des données d’affichage pour construire des images affichées sur le ou les écrans du système d’affichage (22) de l'au moins un système immersif cible (20) est exécuté sur les moyens de calculs (21) dudit système immersif cible (20).
- 8 - Dispositif suivant l’une des revendications précédentes, comportant une pluralité de systèmes immersifs cibles (20) connectés simultanément au système immersif source (10),
- 9 - Dispositif suivant l'une des revendications précédentes, dans lequel le système immersif source (10) comporte un équipement (14) de capture d’un signal porteur des données d'affichage, envoyé par le système de traitement numérique (11) du système immersif source (10) au système d'affichage (12) dudit système immersif source, et qui transmet sous forme de données numériques les dites données d'affichage correspondant au signal capturé, directement ou indirectement, à l’au moins un système immersif cible (20).
- 10 - Dispositif suivant l’une des revendications 1 à 8, dans lequel le système immersif source (10) comporte un logiciel, exécuté sur le système de traitement numérique (11), de capture de contenus des données d’affichage du système immersif source, après que les données d'affichage ont été Calculées, et, dans la chaîne de transmission des données d'affichage, avant que lesdites données d'affichage ne soient envoyées audit système d'affichage du système immersif source, et qui transmet sous forme de données numériques lesdits contenus des données d'affichage capturés, directement ou indirectement, à l'au moins un système immersif cible (20).
- 11 - Dispositif suivant l'une des revendications précédentes, comportant un système d'enregistrement des données configuré pour enregistrer les données transmises à l’au moins un système immersif cibfe (20) et pour transmettre lesdites données en temps différé.
- 12 - Dispositif suivant l’une des revendications précédentes dans lequel le système immersif source (10) comporte également un logiciel de traitement d'image et dans lequel un système immersif cible (20) comporte également un logiciel de calcul d'images de synthèse de construction d’une représentation visuelle d'un environnement virtuel sous la forme d'images affichées sur un ou des écrans (22a) du système d’affichage (22) dudit système immersif cible, et comporte également un équipement ou un logiciel de capture des données d’affichage correspondant aux images affichées sur le système de visualisation dudit système immersif cible, de sorte que chacun desdits systèmes immersifs peut être alternativement un système source et un système cible.
- 13 - Dispositif suivant l’une des revendications précédentes dans lequel le système d'affichage (12) du système immersif source (10) et le système d’affichage (22) de l'au moins un système immersif cible (20) appartient à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans, les écrans portés par un utilisateur ou un observateur.
- 14 - Procédé (200) de partage d'immersion dans un environnement virtuel, mettant en œuvre le dispositif (100) suivant l'une des revendications précédentes, entre un opérateur (90) du système immersif source (10) et un observateur (91) de l'au moins un système immersif cible (20), comportant une étape de génération d'environnement (230) par le système immersif source (10), ladite étape produisant des données d’affichage correspondant à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage 12 du système source 10, et une étape d'affichage (250) par le système immersif cible (20) d'images transformées, caractérisé en ce que ledit procédé comporte une étape de transformation (240), au moins pour partie sur le système immersif cible (20), des données d’affichage de l'environnement virtuel, générées par le système de traitement numérique (11) du système immersif source (10), en données d'affichage dudit environnement virtuel adaptées à l'affichage sur un ou des écrans (22a) du système d'affichage (22) dudit système immersif cible, la transformation consistant en des modifications des données d'affichage, générées par le système immersif source (10), en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans (12a, 12b, 12c, 12d) du système d’affichage (12) du système immersif source (10), en fonction de paramètres déterminés par des caractéristiques géométriques associées à l’écran ou aux écrans (22a) du système d'affichage (22) du système immersif cible (20), et en fonction de variables de conditions d'observations des écrans dans chacun des systèmes d'affichage (12,22) desdits systèmes immersifs source et cible, ladite transformation étant réalisée de manière récurrente pour reproduire sur le système immersif cible (20) afin de restituer à un observateur (91) dans ledit système cible l'immersion d’un utilisateur (90) dans le système immersif source (10) prenant en compte les évolutions de la représentation du monde virtuel sur le système immersif source et des évolutions des variables des conditions d'observation.
- 15 - Procédé suivant la revendication 14, dans lequel la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source (12') de l'environnement physique du système d'affichage source (12), une position d’observation de l’observateur (91 ) étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d’affichage source que la position d’observation de l’utilisateur (90) dans le système d’affichage source (12).
- 16 - Procédé suivant la revendication 14 ou la revendication 15, dans lequel l'étape de transformation (240) des données d'affichage est réalisée totalement sur le système immersif cible (20) après une étape de transmission des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique (11) du système immersif source (10).
- 17 - Procédé suivant la revendication 14 ou la revendication 15, dans lequel l'étape de transformation (240) des données d'affichage est réalisée pour partie sur le système immersif source (10), ou sur un calculateur annexe (32b) connecté à Un réseau (31) des moyens de transmission de données (30), avant une étape de transmission des données des données d'affichage partiellement transformée de l'environnement virtuel au système immersif cible (20), lequel système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation dudit système immersif cible pour former des images affichées sur le système d'affichage (22) dudit système cible.
- 18 - Procédé suivant la revendication 17, dans lequel les données d'affichage transformées partiellement par le système immersif source (10), ou le calculateur annexe (32b), sont indépendantes des caractéristiques et des données d'exploitation d'un système cible.
- 19 - Procédé suivant la revendication 17 prise en combinaison avec la revendication 15, dans lequel la reconstitution d'une représentation virtuelle 3D du système d'affichage source (12') de l’environnement physique du système d'affichage source (12) est réalisée par le système immersif source (10) ou le calculateur annexe (32b) connecté au réseau (31).
- 20 - Procédé suivant la revendication 17, dans lequel les données d'affichage transformées partiellement par le système immersif source (10), ou le calculateur annexe (32b), sont transformées en données d'affichage pour un affichage sur Tau moins un système immersif cible (20) en considération des caractéristiques dudit système cible et de données d'exploitation dudit système immersif cible, et dans lequel les données d’affichage sont transformées par le système immersif cible (20) pour corriger des différences entre les données d'exploitation dudit système immersif cible, utilisées pour les transformations réalisées par le système immersif source, et les données d'exploitation dudit système immersif cible lorsque lesdites données d'affichages sont converties en images affichées par ledit système immersif cible.
- 21 - Procédé suivant l'une des revendications 14 à 20, comportant une étape (241 ) de gel des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique (11) du système immersif source (10) et destinées à être transformées et de gel des conditions d'observations des écrans dans le systèmes d’affichage (12) du système immersif source (10).
- 22 - Procédé suivant l’une des revendications 14 à 21, comportant une étape (220) d'initialisation dans laquelle Pau moins un système immersif cible (20) initialise un registre du système immersif source (10), ledit registre comprenant des données de configurations dudit système immersif source.
- 23 - Procédé suivant l'une des revendications 14 à 22, comportant une étape d'enregistrement (243) de données représentant les données d'affichage du système d’affichage (12) du système immersif source (10) et de données des conditions d’observation utilisées pour calculer lesdites données d'affichage, et de transmission en temps différé desdites données à Pau moins un système immersif cible (20).
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1653758A FR3050834B1 (fr) | 2016-04-27 | 2016-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| PCT/FR2017/051004 WO2017187095A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| EP17725317.6A EP3449340A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| SG11201810432YA SG11201810432YA (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| US16/096,906 US11727645B2 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| CA3022298A CA3022298A1 (fr) | 2016-04-27 | 2017-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1653758 | 2016-04-27 | ||
| FR1653758A FR3050834B1 (fr) | 2016-04-27 | 2016-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3050834A1 true FR3050834A1 (fr) | 2017-11-03 |
| FR3050834B1 FR3050834B1 (fr) | 2018-06-01 |
Family
ID=56684024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1653758A Active FR3050834B1 (fr) | 2016-04-27 | 2016-04-27 | Dispositif et procede de partage d'immersion dans un environnement virtuel |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3050834B1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120162384A1 (en) * | 2010-12-22 | 2012-06-28 | Vesely Michael A | Three-Dimensional Collaboration |
| US20120212499A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content control during glasses movement |
| US20150130839A1 (en) * | 2013-11-13 | 2015-05-14 | Sony Corporation | Display control device, display control method, and program |
| WO2016002445A1 (fr) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | Dispositif de traitement d'informations, procédé de traitement d'informations et programme |
-
2016
- 2016-04-27 FR FR1653758A patent/FR3050834B1/fr active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120212499A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content control during glasses movement |
| US20120162384A1 (en) * | 2010-12-22 | 2012-06-28 | Vesely Michael A | Three-Dimensional Collaboration |
| US20150130839A1 (en) * | 2013-11-13 | 2015-05-14 | Sony Corporation | Display control device, display control method, and program |
| WO2016002445A1 (fr) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | Dispositif de traitement d'informations, procédé de traitement d'informations et programme |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3050834B1 (fr) | 2018-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| US12026833B2 (en) | Few-shot synthesis of talking heads | |
| TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
| EP1913559A2 (fr) | Procede et dispositifs pour visualiser un modele numerique dans un environnement reel | |
| WO2017187095A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| US11461942B2 (en) | Generating and signaling transition between panoramic images | |
| JP7426413B2 (ja) | ブレンドモード３次元ディスプレイシステムおよび方法 | |
| EP1651995A2 (fr) | Systeme de visualisation d' images en relief | |
| FR3056770A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| CN111699460A (zh) | 多视图虚拟现实用户界面 | |
| EP3210378B1 (fr) | Méthode pour collecter des données d'images destinées à produire une vidéo immersive et méthode de visualisation d'un espace sur base de ces données d'images | |
| FR3066304A1 (fr) | Procede de compositon d'une image d'un utilisateur immerge dans une scene virtuelle, dispositif, equipement terminal, systeme de realite virtuelle et programme d'ordinateur associes | |
| CN103871094A (zh) | 一种基于体扫描三维显示系统数据源生成方法 | |
| FR2988962A1 (fr) | Procede et dispositif de creation d'images | |
| FR3050834A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
| EP2987319A1 (fr) | Procede de generation d'un flux video de sortie a partir d'un flux video large champ | |
| FR3057430A1 (fr) | Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images | |
| Barabas | Holographic television: measuring visual performance with holographic and other 3D television technologies | |
| Nocent et al. | 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards | |
| US20220232201A1 (en) | Image generation system and method | |
| Hristov | Research of Modern Technologies and Approaches for the Development of a Web-Based Information System for Visualization of Three-Dimensional Models... | |
| JP2004200784A (ja) | ３次元映像端末装置、プログラムおよび記録媒体 | |
| CN118585154A (zh) | 电子设备的显示内容的跨平台共享 | |
| Lång | 3D Teleconferencing: The construction of a fully functional, novel 3D Teleconferencing system | |
| Swannack et al. | Assessment of Differences in Human Depth Understanding in Cube Displays Using Light-Field Displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20171103 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |