FR3057430A1 - Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images - Google Patents

Abstract

Un dispositif d'immersion (10) reçoit des images d'une représentation d'un environnement vu dans une fenêtre d'observation (40) déterminée par des angles d'ouverture. Les images sont associées à des métadonnées dont au moins une direction d'observation (24) de l'environnement dans un référentiel absolu (31) de l'environnement. Le système de visualisation détermine une fenêtre de visualisation (50) est également orientée dans le référentiel de l'environnement et les données d'affichage reçues sont interprétées par les moyens de calculs (11) du dispositif d'immersion pour reconstruire, dans la fenêtre de visualisation (50) du système de visualisation (12), une représentation (40a) de l'environnement (30) vu dans la fenêtre d'observation (40), avec des dimensions, formes et position dans la fenêtre de visualisation en fonction des métadonnées.

Description

DOMAINE

La présente invention appartient au domaine de l’immersion dans un environnement visuel.

Plus particulièrement l'invention concerne un dispositif d’immersion qui permet à une personne de visualiser un environnement, réel ou virtuel, de manière cohérente avec les conditions dans lesquelles les images de l’environnement sont générées.

ÉTAT DE L'ART

La présentation visuelle d’un environnement est aussi ancienne que le dessin et la peinture, que ce soit dans le domaine du réalisme ou dans le domaine de l’abstrait.

La naissance de la photographie et de son développement à travers la créations d’images enchaînées pour produire les effets d’animation du cinématographe sur support physique dans un premier temps et aujourd’hui également sous ses divers formats numériques plus ou moins dématérialisés en ont été la suite logique qui a accompagné les développements des sciences et de la technologie.

Très tôt dans l’histoire de la représentation visuelle s’est posé la question d’une représentation visuelle dont le champ dépasse celui de l’œil humain, en particulier le champ particulièrement étroit dans lequel la perception visuelle permet de percevoir les détails de ce qui est vu.

Ainsi il a été réalisé des fresques, linéaires ou non, par exemple circulaires à 360 degrés dans les cycloramas, devant lequel un observateur se déplace ou tourne son regard pour observer successivement différente partie de l’environnement visuel formé par ces fresques. Ces différentes parties peuvent être construites suivant une logique d’unité de temps, par exemple pour présenter un panorama vue depuis un point d’observation donné, exemple des tables d’orientations, ou être construite suivant une unité de lieu pour présenter une suite d’événements dans un lieu donné, exemple du cyclorama de la bataille d’Atlanta qui retrace un épisode de la guerre de sécession en Amérique du nord.

Le cinématographe et son développement télévisuel est un autre exemple qui combine par l’affichage d’images enchaînées une représentation visuelle d’un environnement dans lequel la fenêtre par laquelle est vu l’environnement, c’est-à-dire dans ce cas le champ de l’objectif de la caméra réalisant les prises de vues, se déplace le plus souvent dans l’espace, en position et ou en orientation, ne montrant simultanément qu’une partie de l’environnement dans lequel évolue la caméra, et dans lequel le temps est souvent une dimension des images réalisées.

Un développement plus récent des systèmes de représentation visuelle d’un environnement est celui des systèmes immersifs mis en oeuvre en particulier pour la présentation d’environnements virtuels, par exemple les simulateurs de conduite de véhicules, ou de réalité augmentée par superpositions d’images de synthèse sur une vision d’un environnement réel, comme par exemple dans les viseurs tête haute.

Dans tous les dispositifs de visualisation connus par lesquels un observateur visualise une partie d’un environnement dont les images reçues sont produites sans son intervention, l’observateur, indépendamment du fait qu’il puisse dans certains cas agir sur l’environnement, est esclave par rapport au système de visualisation en ce qu’il voit ce que voit une caméra, réelle ou virtuelle, dont les images sont affichées.

Une illustration de cette réalité est l’exemple du film représenté sur un écran, de télévision ou autre, où le spectateur subit en image tous les mouvements de la caméra sans aucune perception physique autre, en particulier des déplacements de la caméra, à tel point que certains mouvements de la caméra se traduisent par des images qui peuvent incommoder physiologiquement l’observateur.

Ces problèmes ne se présentent généralement pas, ou avec des effets très atténués, lorsque l’observateur est un acteur et que les images qu’il visualise sont des conséquences naturelles pour la physiologie humaine des actions qu’il réalise. Par exemple la rotation vers la gauche des images visualisées dans un casque de réalité virtuelle est une réponse physiologique à la rotation de la tête vers la droite de l’utilisateur du casque, corrélation entre l’image et l’observateur qui n’existe pas lorsque la même image vue par l’utilisateur dans son casque est reproduite sur un écran fixe devant un observateur lui même nécessairement fixe lorsqu’il regarde l’écran.

II existe donc de réelles difficultés pour présenter à un observateur une représentation visuelle d’un environnement dont les images sont générées par un système dont il ne maîtrise pas les mouvements, en particulier l’orientation d’un axe d’observation dans l’environnement observé.

EXPOSE DE L'INVENTION

La présente invention a précisément pour but de présenter à un observateur des images d’un environnement, réel ou virtuel ou mixte, sur la génération desquelles il n’intervient pas, mais dont le comportement apparent dans son système d’affichage avec lequel il regarde l’environnement est conforme à sa physiologie.

Suivant l’invention, un dispositif d’immersion comporte au moins un système de visualisation d’une représentation d’un environnement réel et ou d’un environnement virtuel, comporte des moyens de calculs et comporte des moyens de communication adaptés à recevoir des données d’affichage, comportant des images d’une représentation de l’environnement vu dans une fenêtre d'observation déterminée par des angles d'ouverture de ladite fenêtre d’observation.

En outre :

- les données d’affichage comportent, associées à au moins une partie desdites images, des métadonnées relatives aux conditions de formation desdites images, lesdites métadonnées comportant pour les images considérées de ladite partie au moins des données déterminant une direction d’observation de l’environnement dans un référentiel absolu dudit environnement ;

- le système de visualisation détermine une fenêtre de visualisation à laquelle sont attribués à chaque instant au moins une direction de visualisation et des angles de visualisation de ladite fenêtre de visualisation dans le référentiel absolu de l’environnement ;

- les données d’affichage reçues par le dispositif d’immersion sont interprétées par les moyens de calculs dudit dispositif d’immersion pour reconstruire, dans la fenêtre de visualisation du système de visualisation, une représentation de l’environnement vue dans la fenêtre d’observation, avec des dimensions et formes de ladite représentation dans ladite fenêtre de visualisation correspondant aux dimensions et formes de l’image de l’environnement dans ladite fenêtre d’observation, compte tenu des données respectives des angles d’ouverture des dites fenêtre de visualisation et fenêtre d’observation, et avec une position de la représentation de l’image de la fenêtre d’observation dans un référentiel du système de visualisation déterminé en fonction des écarts entre la direction d’observation et la direction de visualisation dans le référentiel absolu de l’environnement.

Ainsi il est présenté à l’observateur dans le dispositif d’immersion une représentation stable de l’environnement observé dont le comportement de l’image affichée dans le système de visualisation est cohérent avec celui de la fenêtre par laquelle cet environnement est ou a été vu.

Le dispositif d’immersion comporte le cas échéant toute ou partie des caractéristiques suivantes, pouvant être combinées entre elles dans le dispositif d’immersion pour autant qu’elles soient compatibles entre elles :

- des zones de la fenêtre de visualisation du système d’affichage du système immersif, hors la représentation de l’image de la fenêtre d’observation, affichent un fond d’affichage généré par les moyens de calculs dudit dispositif d’immersion. La partie de la fenêtre de visualisation non consacrée à l’affichage de l’environnement visible dans la fenêtre d’observation étant ainsi utilisé pour améliorer la visibilité ou la lisibilité de la représentation affichée.

- le fond d’affichage comporte un ou plusieurs motifs parmi : une couleur, un gris ou un noir uniforme ; des zones de couleurs, gris ou noir, différentes dont des directions de séparations et ou transitions correspondent à des directions privilégiées de l’environnement ; une ou des textures.

- une texture est superposée à l’image de la fenêtre d’observation. Une telle texture augmente au besoin la qualité de la perception de la représentation de l’environnement par l’utilisateur du dispositif d’immersion en produisant une représentation correspondant à une perception coutumière de l’environnement.

- les moyens de calculs du système immersif sont configurés pour incruster un ou des d’éléments d’interface dans la fenêtre de visualisation, représentés comme des objets à une, deux ou trois dimensions. De la sorte l’utilisateur du dispositif d’immersion dispose d’un ensemble de fonctions qui lui sont accessibles au travers des dits éléments d’interface comme par exemple des fonctions de gel d’image, des fonctions d’enregistrement, des fonctions d’annotation.

- une position et ou des dimensions de l’image de la fenêtre d’observation représentée dans la fenêtre de visualisation du système d’affichage du système immersif sont fonction d’une position depuis laquelle, et ou d'une direction vers laquelle, dans le système d'affichage dudit système immersif, un observateur immergé dans ledit système immersif regarde ledit système d'affichage. De la sorte les mouvements de l’observateur sont pris en compte suivant les principes des systèmes immersifs conventionnel, pour corriger les images affichées dans le système de visualisation afin d’en maintenir la vision avec une perspective exacte au travers d’une reconstruction virtuelle de l’environnement à l’origine des images reçues.

- au moins une partie de l’image de la fenêtre d’observation est maintenue affichée dans la fenêtre de visualisation du système d’affichage lorsque ladite image de la fenêtre d’observation est théoriquement hors de ladite fenêtre de visualisation, ladite au moins une partie de l’image de la fenêtre d’observation étant représentée maintenue contre un bord de la fenêtre de visualisation du système d’affichage dans une direction dans le référentiel du système d’affichage vers laquelle un observateur du système immersif devrait déplacer une direction vers laquelle il regarde ou devrait déplacer la direction de visualisation de la fenêtre de visualisation pour se rapprocher de la direction d’observation associée à la fenêtre d’observation.

L’utilisateur du dispositif d’immersion ne perd ainsi pas totalement la vision de l’environnement bien que la fenêtre d’observation soit théoriquement en dehors de son champ de visibilité, lui permettant de trouver intuitivement la direction vers laquelle doit se diriger le regard pour retrouver à sa position actuelle la fenêtre sur l’environnement.

- lorsque l’image de la fenêtre d’observation est hors de la fenêtre de visualisation du système d’affichage du système immersif, une représentation symbolique est incrustée à proximité d'un bord ou attachée à un bord de ladite fenêtre de visualisation dans une direction, dans le référentiel du système d’affichage vers laquelle un observateur du système immersif devrait déplacer une direction vers laquelle il regarde ou devrait déplacer la direction de visualisation de la fenêtre de visualisation pour se rapprocher de la direction d’observation associée à la fenêtre d’observation. Ainsi l’utilisateur identifie naturellement la direction dans laquelle se trouve l’image de la fenêtre d’observation même lorsqu’il n’en a plus aucune visibilité dans son système d’affichage.

- le système de visualisation du système immersif appartient à une des catégories parmi : les casques de réalité virtuel porté par un utilisateur, les casques de réalité augmentée porté par un utilisateur, les écrans simples, les ensembles d’écrans juxtaposés.

- le dispositif d’immersion comporte des capacités d’interaction par un utilisateur dudit dispositif d’immersion, par des commandes réelles ou virtuelles accessible audit utilisateur, avec les images affichées par le système de visualisation.

- les capacités d’interaction comporte de superposer des annotations, textes et ou dessins, aux images affichées.

- le dispositif d’immersion comporte un enregistreur des images affichées par le système de visualisation lors d’une séance d’immersion.

L’invention concerne également un ensemble comportant au moins deux dispositifs d’immersion conformes à l’invention dans lequel les dits au moins deux dispositifs d’immersion sont synchronisés pour afficher les mêmes images d’un environnement à des observateurs de chacun desdits au moins deux dispositifs d’immersion.

L’invention concerne également un ensemble comportant un système immersif conforme à l’invention et au moins un système de génération d’images d’un environnement dans lequel toutes ou partie des images, générées par ledit système de génération d'images et transmises audit système immersif, correspondent aux images vues dans une fenêtre d'observation par laquelle est observé ledit environnement et sont associées à des métadonnées comportant au moins des données de direction d’observation dans un référentiel absolu dudit environnement.

Dans une forme de réalisation, le système de génération d’images est un dispositif de prises de vue d’un environnement réel produisant une séquence d’images dudit environnement réel, lesdites images étant transmises au dispositif d’immersion en temps réel ou en temps différé ou sous la forme d’un enregistrement destiné à être lu par ledit dispositif d’immersion.

Dans une forme de réalisation, le système de génération d’images est un dispositif de génération d’images d’un environnement virtuel produisant une séquence d’images dudit environnement virtuel, lesdites images étant transmises au dispositif d’immersion en temps réel ou en temps différé ou sous la forme d’un enregistrement destiné à être lu par ledit dispositif d’immersion.

Dans une forme de réalisation, le système de génération d’images d’un environnement virtuel est un système immersif source dans lequel les images sont générées en fonction de mouvements d’un utilisateur dudit système immersif source dans un référentiel dudit système immersif source. L’invention permet ainsi à un utilisateur du dispositif d’immersion de partager l’environnement tel qu’il est vu par l’utilisateur du système immersif source.

Dans une forme de réalisation, le système de génération d’images produit des images combinant des images d’un environnement réel et des images d’un environnement virtuel. Dans cette forme de réalisation il est ainsi possible à l’utilisateur du dispositif d’immersion de suivre la perception de l’environnement dans un contexte de réalité augmenté.

PRESENTATION DES FIGURES

L’invention sera mieux comprise à la lecture de la description qui suit et à l’examen des figures qui l’accompagnent. Celles-ci sont données à titre indicatif d’un exemple de réalisation et nullement limitatif de l’invention. Les figures montrent de manière schématique :

- Figure 1 : une illustration d’un ensemble comportant un dispositif de génération d’images d’un environnement transmettant les images à un dispositif d’immersion ;

- Figures 2a et 2b : un exemple d’un environnement réel schématisé sur lequel sont matérialisées par un cadre quatre position d’une fenêtre d’observation correspondant à des images prises d’un même point d’observation de l’environnement ; Figures 3a à 3d : un écran, unique dans la forme illustrée, d’un système d’affichage représentant une fenêtre de visualisation sur laquelle est affiché la représentation de l’environnement visible dans la fenêtre d’observation pour chacune des positions illustrées sur les figures 2a et 2b. Dans la figure 3c la fenêtre d’observation est partiellement sortie de la fenêtre de visualisation, seule la partie de l’image à intérieure à cette fenêtre de visualisation étant affichée. Dans la figure 3d, la fenêtre d’observation est totalement sortie de la fenêtre de visualisation et une partie en est affiché pour orienter le regard de l’utilisateur dans la direction correspondante ;

- Figure 4 : un autre exemple d’environnement correspondant à un intérieur de bureau sur lequel est représenté une fenêtre d’observation ;

- Figure 5a : un exemple de représentation dans laquelle l’image affichée dans la fenêtre de visualisation est complétée par un motif formant une grille au niveau du sol, dans cet exemple la grille s’étendant dans l’image de la fenêtre d’observation et dans la fenêtre de visualisation en dehors de cette image ;

- Figure 5b : un exemple de représentation dans laquelle l’apparence de l’image affichée dans la fenêtre de visualisation est modifiée par l’application d’une texture, dans l’exemple une texture donnant l’impression de voir l’environnement dans la lumière d’une lampe torche.

DESCRIPTION DÉTAILLÉE D'UN MODE DE RÉALISATION

L'invention concerne un dispositif d’immersion dans un environnement, réel et ou virtuel, dans lequel l’environnement est défini par un ensemble d’images.

L’ensemble d’images définissant l’environnement peut être constitué d’images préenregistrées, par exemple les images successives d’un film se présentant avantageusement pour les besoins de la forme de réalisation décrite de l’invention, au moins à un stade de la visualisation, sous une forme numérique d’un enregistrement vidéo, ou par exemple l’enregistrement des images de synthèse générées pour l’affichage dans un casque de réalité virtuelle en réponse aux mouvements de tête d’un utilisateur initial.

L’ensemble d’images définissant l’environnement peut également être constitué d’images filmées, en particulier dans le cas d’un environnement réel, ou générées, dans le cas d’images de synthèse d’un environnement virtuel, et transmises en temps réel au dispositif d’immersion.

Les images peuvent également être des images réelles transformées, ou des images résultant d’incrustations d’images de synthèses dans des images d’un environnement réel.

En pratique il sera considéré que l’ensemble d’images dont des images sont affichées par le dispositif d’immersion sont générées et séquencées indépendamment du dispositif d’immersion utilisé par un observateur dudit dispositif d’immersion, qui n’a pas d’interaction avec la génération des images reçues.

L’ensemble d’images dont il est question dans l’invention est un ensemble cohérent correspondant à la vision d’un environnement plus ou moins grand vue à travers une fenêtre d’observation par laquelle il n’est vu qu’une partie de l’environnement observable.

ίο

La fenêtre d’observation correspond en pratique au champ de vision d’un objectif d’un dispositif de prise de vue, par exemple une caméra vidéo, depuis un point d’observation, la position de la caméra vidéo, pour les puristes la position du centre optique de la caméra.

La référence à une caméra vidéo est ici adaptée à l’exemple d’un environnement réel mais est transposable à celui d’une caméra virtuelle lorsque les images sont des images de synthèse d’un environnement virtuel qui auront été, par définition, synthétisées à travers une caméra virtuelle associée à la tête d’un utilisateur initial.

La figure 1 représente schématiquement un ensemble 100 comportant un dispositif d’immersion 10 et un système 20 de génération et de transmission d’un ensemble d’images.

Dans l’exemple illustré sur la figure 1, le système 20 de génération et de transmission d’un ensemble d’images comporte une caméra 21 fixée sur un support 22 pour permettre des mouvements de la caméra, par exemple un mouvement de rotation autour d’un axe vertical pour réaliser un panorama d’un environnement 30 comme par exemple l’environnement urbain des figures 3a et 2b ou l’environnement d’un bureau de la figure 4. Ledit système comporte également un support de transmission 23, comportant ou non des liaisons filaires ou des liaisons sans fil, radio ou optique, ou des supports d’enregistrement, et d’une manière générale tous moyens possibles permettant de transmettre, en temps réel ou différé, l’ensemble d’images au dispositif d’immersion 10 de tels moyens étant aujourd’hui connus et largement mis en oeuvre dans les réseaux de communication.

Comme précisé, les images peuvent également être des images de synthèse, cas du bureau de la figure 4, ou des montages d’images de synthèse avec des images d’un environnement réel, les principes d’une transmission des images et d’affichage qui sont développés infra s’appliquant d’égale manière.

Quelque soit le système de génération des images utilisés, chaque image est en outre associée à des métadonnées sur des conditions d’acquisition de cette image.

Selon l’invention, les métadonnées d’une image comportent en particulier au moins une direction d’observation définie dans un référentiel 31 fixe de l’environnement, le cas échéant une position d’observation dans l’environnement, le cas échéant un champ de l’image, en particulier si celui-ci n’est pas défini par défaut ou s’il est variable.

De manière implicite ou explicite, les métadonnées comportent une date ou au moins un rang associé à chaque image, c’est-à-dire que les images sont séquencées de sorte à être affichées dans un ordre précis. Cette date est en particulier implicite lorsque les images sont celles d’une séquence vidéo où les images sont transmises ou lues dans l’ordre de leur enregistrement ou de leur prise de vue (éventuellement réorganisé dans un montage ultérieur aux prises de vues).

Dans une situation où les images sont formées depuis un point d’observation immobile dans le référentiel 31 de l’environnement, cette donnée relative à la position peut en également être omise et considérée comme une valeur par défaut.

La direction d’observation est exprimée par exemple par des angles de coordonnées polaires centrée sur la position d’observation. Ces angles sont par exemple, lorsque les images sont générées par une caméra 21, mesurés par des capteurs de valeur angulaire d’une tête du support 22 de la caméra, ou mesuré par des gyromètres de la caméra en particulier si la caméra est portée par une personne.

Dans le cas d’un environnement virtuel le générateur des images représentant ledit environnement virtuel connaît la direction d’observation qu’il utilise pour construire l’image.

Le champ de l’image correspond à une dimension angulaire des bords de l’image générée depuis le point d’observation. Dans une forme simple d’expression, le champ de l’image est rectangulaire, comme dans les exemple illustrés, et défini par une ouverture angulaire verticale (en site) et une ouverture angulaire horizontale (en azimut) comme dans le cas des dispositifs de prise de vues du type caméra où ces ouvertures angulaires sont fonction de la focale de l’objectif utilisé et des dimensions du capteur d’images utilisé. Dans ce cas simple, la direction d’observation correspond à la ligne bissectrice à la fois de l’angle d’ouverture angulaire vertical et horizontal qui correspond à l’axe optique 24 de l’objectif non décentré d’une caméra.

La forme de la fenêtre d’observation n’est cependant pas imposée et peut s’éloigner de la forme rectangulaire et la direction d’observation peut être une direction arbitraire pour autant que le point d’intersection de cette direction avec la fenêtre d’observation soit connu et transmis.

Comme déjà précisé, dans le cas de l’utilisation d’une caméra sans la mise en oeuvre d’une focale variable, ou d’un zoom numérique, les données relatives au champ de l’image sont constantes et peuvent n’être transmises qu’une fois au dispositif d’immersion 10, par exemple dans une phase d’initialisation.

En pratique, les métadonnées sur des conditions d’acquisition des images doivent être connues du dispositif d’immersion 10 qui va utiliser les dites images.

La transmission des métadonnées pour chaque image doit donc répondre à cette exigence ce qui peut être obtenu par d’autres méthodes que de transmettre toutes les métadonnées pour chaque image. Des algorithmes de compression de données ou d’interpolation de données transmises avec une autre fréquence que les images peuvent être mis en oeuvre lorsqu’ils s’avèrent adaptés pour autant qu’ils permettent au dispositif d’immersion 10 de retrouver les données nécessaires pour chaque image.

Le dispositif d’immersion 10 reçoit du système 20 de génération et de transmission un ensemble d’images comportant les métadonnées.

Le dispositif d’immersion 10 comporte principalement un système de visualisation 12 et des moyens de calculs 11. Le dispositif d’immersion 10 comporte également autant que de besoin des moyens d’interaction actifs, tels que désignateurs tactiles, souris, minimanche, et ou passifs, tels que capteurs de position, capteur d’orientation.

Les moyens de calculs 11 consiste en un système informatique conventionnel comportant une ou des unités de calculs, des mémoires, des interfaces de communication et des programmes dans ce cas adaptés au traitement d’images et à la génération des images devant être affichées sur un ou des écrans du système de visualisation.

Dans la description suivante il sera considéré un système d’affichage 12 ne comportant qu’un seul écran 12a, l’écran devant être considéré comme la partie de l’équipement sur laquelle une image peut être visible.

Lorsque le système d’affichage comporte plusieurs écrans, il sera considéré que des écrans sont équivalents à un seul écran dès lors qu’ils sont assemblés fonctionnellement pour afficher une même image fractionnée en parties d’image réparties sur les écrans pour donner une impression de continuité et reconstituer l’image à afficher. Dans une telle configuration, de manière connue dans les systèmes d’immersion visuelle, les moyens de calculs réalisent des transformations des images en fonction des caractéristiques géométriques et de l’agencement des écrans, et en fonction de la position d’un observateur pour que les images ne soient pas vue déformées compte tenu des distances et des perspectives liées au point d’observation dans un système d’axes des écrans. Ces considérations ne seront pas détaillées plus avant et supposées prises en compte si besoin par la suite de la description.

Dans une phase d’initialisation, l’écran 12a est identifié comme une fenêtre de visualisation sur l’environnement dont les images sont reçues par le dispositif d’immersion pour être affichées.

Des caractéristiques de la fenêtre de visualisation, en particulier un axe principal d’observation de l’écran 12a et des angles d’ouverture de ladite fenêtre de visualisation, sont déterminées par rapport au référentiel 31 de l’environnement.

Les caractéristiques de la fenêtre de visualisation peuvent être fixées arbitrairement, par exemple une direction d’observation parallèle à un axe du référentiel et un angle d’ouverture de 90 degrés horizontalement au niveau d’un plan horizontal comportant axe principal d’observation de l’écran.

Les caractéristiques peuvent également être déterminées par les moyens de calculs 11 en fonction des métadonnées associées à la ou aux premières images reçues, par exemple en choisissant d’orienter l’axe principal d’observation de l’écran 12a dans le référentiel 31 de l’environnement comme la direction d’observation définie dans lesdites métadonnées, par exemple en choisissant une ouverture de la fenêtre de visualisation égale à un multiple de l’ouverture de la fenêtre d’observation transmise dans lesdites métadonnées. L’ouverture peut également être le résultat de la géométrie du système d’affichage et de la position de l’observateur dans ledit système d’affichage pour assurer une cohérence complète entre le champ visuel affiché et le champ réel de visualisation de l’utilisateur, solution généralement mise en oeuvre dans les système de réalité virtuelle.

Dans cet exemple, la première image reçue, fenêtre d’observation 40-1 sur les figures 2a et 2b, dont les métadonnées associées seront prises en compte pour l’initialisation du dispositif d’immersion 10, sera affichée avec l’axe d’observation de ladite image confondu avec l’axe principal d’observation de l’écran de la fenêtre de visualisation et avec une couverture linéaire de l’écran 12a inversement proportionnelle au rapport de l’angle ouverture de la fenêtre de visualisation 50 sur l’angle d’ouverture de la fenêtre d’observation, comme dans l’exemple de la figure 3a.

Dans certaine situation la condition d’alignement initial pourra être différente, par exemple en imposant une direction de l’axe principal d’observation de l’écran de la fenêtre de visualisation horizontal dans le référentiel 31 de l’environnement.

Une fois définie lors de l'étape d’initialisation, les caractéristiques de la fenêtre de visualisation sont conservées fixes, du moins tant qu’un observateur ou un opérateur du dispositif d’immersion 10 ou une application logicielle surveillant une occurrence de conditions prédéfinies n’auront pas modifié ces caractéristiques.

Dans ce cas, lorsque des images suivantes, fenêtres 40-2, 40-3 et 40-4 sur les figures 1a et 2b, correspondant à des représentations du même environnement 30 mais observées dans des directions différentes, c’est-àdire que la fenêtre d’observation s’est déplacée dans le référentiel 31 dudit environnement, sont affichées dans le système de visualisation 12, elles vont se déplacer sur l’écran 12a en fonction des variations des directions d’observations des images successives par rapport à la direction dans l’environnement affectée à la direction principale d’observation de l’écran 12a.

Dans ce cas la fenêtre de visualisation 50 supportée par le dispositif d’immersion correspond aux capacités de visualisation de l’environnement duquel n’est visible à un instant donné que la partie 40a-1, 40a-2, 40a-3, 40a-4 correspondant à la fenêtre d’observation qui recouvre ladite fenêtre de visualisation, mais qui est affichée sur l’écran 12a à l’emplacement qu’elle aurait eu si la fenêtre de visualisation avait eu une vision complète de l’environnement dans la fenêtre de visualisation.

II résulte de ce comportement, dans lequel l’environnement est fixe par rapport au système de visualisation 12, une totale stabilité de la perception de l’environnement réel ou virtuel ou mixte même si les images interprétées se déplacent ou présentent des mouvements rapides des directions d’observation ou sont affectées par des vibrations du dispositif de prise de vue.

Ce comportement des images affichées est également adapté à un dispositif d’immersion en ce qu’il conduit naturellement l’observateur à diriger son regard dans le même sens que la direction d’observation. Lorsque l’image affichée dans l’écran 12a est déplacée vers la droite c’est effectivement pour montrer une partie de l’environnement se situant à droite comme l’illustre la séquence des figures 3a, 3b, 3c, phénomène qui est inversé dans le cinéma classique ou l’image défile sur l’écran vers la gauche lorsque la caméra tourne vers la droite.

La stabilité des images affichées dans un tel dispositif d’immersion permet à un observateur d’apporter des annotations sur les images car son sujet d’intérêt restera à la même place même s’il n’est plus affiché car temporairement hors de la fenêtre d’observation. De telles annotations et les méthodes pour leur mise en oeuvre et leur enregistrement dans un système historisant les actions d’un observateur sont connues des systèmes d’affichage numérique et ne seront pas détaillées ici.

En termes de comportement, il peut être noté que si la fenêtre de visualisation est plus petite que la fenêtre d’observation, tant qu’elle est entièrement incluse dans cette dernière, l’observateur du dispositif d’immersion 10 n’observera aucun mouvement de l’image affichée alors que la fenêtre d’observation se déplace pourtant.

Si le dispositif générant les images dispose de fonction de grossissement tel qu’un objectif à focale variable sur une caméra ou un zoom numérique, les dimensions de la fenêtre d’observation seront variables. Bien que l’image ait les mêmes dimensions vues par le système de prise de génération d’image (le format de l’image) l’ouverture de la fenêtre d’observation sera modifiée et ses dimensions apparentes seront modifiées, cas non illustré, dans la fenêtre de visualisation dont l’ouverture sera inchangée.

Le fonctionnement du dispositif d’immersion présente d’autres particularités en particulier dans certaines conditions aux limites.

Dans les conditions considérées précédemment, il est possible que la fenêtre d’observation sorte en partie ou totalement de la fenêtre de visualisation dans laquelle l’image de l’environnement dans ladite fenêtre d’observation peut être visualisée.

Une telle condition peut être traitée de différentes façons.

Une première façon consiste à laisser l’image disparaître progressivement sur le bord de la fenêtre de visualisation correspondant à son déplacement. L’observateur dans ce cas peut disposer d’un organe de commande pour lui permettre de déplacer, dans le référentiel 31 de l’environnement, l’axe principal de la fenêtre de visualisation 50 pour rapprocher ce dernier de la direction d’observation. Un tel organe de commande consiste par exemple en une commande impulsionnelle par laquelle l’axe principal de la fenêtre de visualisation est superposé à la direction d’observation.

Suivant une autre façon, le déplacement de l’image dans l’écran 12a est interrompu dans le sens radial par rapport à un centre de l’écran pour maintenir au moins une partie de l’image affichée comme dans le cas de la fenêtre d’observation 40-4 sur la figure 2b représentée partiellement sur le bord 51 de la fenêtre de visualisation figure 3d, bien que celle-ci soit théoriquement sortie de l’écran.

Suivant une autre façon, il est apporté une information à l’observateur de la direction vers laquelle il doit orienter son système de visualisation 12 pour retrouver l’image de la fenêtre d’observation. Dans une variante de réalisation, l’image disparaît totalement et est remplacée par un symbole indiquant à chaque instant la direction dans laquelle se trouve l’image correspondant à la fenêtre d’observation.

La présence d’une image de la fenêtre d’observation ne remplissant qu’une partie de l’écran 12a matérialisant la fenêtre de visualisation, au moins lorsque le champ de la fenêtre de visualisation est sensiblement plus grand que celui de la fenêtre d’observation, peut être la source d’une fatigabilité de l’observateur du dispositif d’immersion 10, voire de perte de référence lors de mouvements rapides de la fenêtre d’observation.

Pour pallier à ces difficultés potentielles, il est avantageusement introduit des représentations symboliques qui introduisent des références visuelles stables dans l’environnement restitué via la fenêtre d’observation et ou dans des zones de l’écran 12a hors de ladite image.

De telles représentations symboliques sont par exemple des lignes ou des quadrillages 53, comme dans l’exemple illustré sur la figure 5a d’une visualisation d’une fenêtre d’observation 40 présentée sur l’environnement 30de la figure 4 d’un bureau virtuel, stables dans le référentiel 31 de l’environnement qui représentent des horizontales, et ou des verticales, et ou des quadrillages de surfaces, tel qu’un sol comme illustré sur la figure 4 représentant en environnement 30 d’un bureau, en prenant en considération la perspective liée à la position, connue, du point d’observation.

Les zones de l’écran 12a hors de l’image de la fenêtre d’observation, sont affichées avec un arrière plan noir, gris ou coloré, uni ou non, généré par les moyens de calculs 11 en fonction du type d’environnement et d’éventuels effets recherchés.

Un fond sombre, noir par exemple, associé à une texture superposée à l’image de la fenêtre d’observation reproduit la sensation connue de découverte d’un environnement éclairé par une lampe torche qui se déplace dans la fenêtre de visualisation et dont un exemple d’aspect de l’image 40’a est illustré sur la figure 5b.

A cette fin un traitement est appliqué à l’image de la fenêtre d’observation. Un tel traitement peut consister en l’application de la texture qui augmente au besoin la qualité de la perception de la représentation de l’environnement par l’utilisateur du dispositif d’immersion en produisant une représentation correspondant à une perception coutumière de l’environnement. Un tel traitement peut également consister en un lissage des pixels de l’image pour en atténuer les défauts. Un tel traitement peut également consister en une déformation des pixels pour en annuler les déformations spatiales résultant des moyens de capture et ou affichage source.

Pour assurer un pilotage du dispositif d’immersion 10, autant que de besoins des éléments d’interface, générés les moyens de calculs 11, sont affichés sous la forme d’objets à deux ou à trois dimensions, au moins dans toute ou partie de l’environnement virtuel non représenté sous la forme d’images dans le système d’affichage 12 du dispositif d’immersion 10.

L’exemple de réalisation considère un écran 12a pour le système d’affichage 12.

Le terme « écran » doit ici être considéré de manière large et en particulier il recouvre des systèmes d’affichage comportant plusieurs écrans juxtaposés pour former une surface d’affichage, plane ou non plane, de dimensions supérieures à celle d’un écran physiquement unique.

Il recouvre dans cette acception les systèmes immersifs dits CAVE dans lesquels la juxtaposition d’écrans forme un volume plus ou moins refermé dans lequel se place l’observateur.

Il recouvre également les systèmes à casque de visualisation soit à occultation totale, généralement désignés casque de réalité virtuelle, soit maintenant l’espace extérieur visible, généralement désignés casque à réalité augmentée, soit permettant une commutation brutale ou progressive entre ces deux configurations.

Il doit être noté que la description ne considère que le cas d’une représentation sans restitution du relief de l’environnement. Si une restitution du relief doit être prise en compte, il est alors à chaque instant considéré, tant au niveau de la source des images que de leur affichage, deux images couplées à chacune desquelles seront appliqués les principes exposés pour être observée par l’œil gauche ou par l’œil droit. Les problèmes liés à la vision stéréoscopique seront traités dans ce cas comme pour les systèmes de réalité virtuelle en relief.

En ce qui concerne la source des images de l’environnement, elle peut être de toute nature pour autant qu’elle associe aux images les métadonnées attendues par le dispositif immersif 10 et qui ne pourraient pas être choisies arbitrairement par ledit système immersif.

L’ensemble d’images peut ainsi consister en une séquence d’image formant une vidéo réalisée par une caméra vidéo, qui peut être celle d’un téléphone portable ou d’un autre équipement nomade pourvu de ces capacités, et qui peut être fixé sur un support en autorisant les mouvements souhaités ou être porté à la main.

L’ensemble d’images peut être le résultat d’une visualisation d’un environnement virtuel.

L’ensemble d’images est par exemple transmis au dispositif d’immersion 10 sous la forme d’un enregistrement vidéo, sur un support matériel ou par un réseau de communication, pour être joué en temps différé et de manière autonome par ledit dispositif d’immersion.

Dans une autre forme de réalisation, l’ensemble d’images est transmis par un flux vidéo, soit en direct lors de la saisie des images soit en différé, pour être observé en direct.

L’environnement considéré est défini par un angle solide visible par le système de génération des images, et suffisamment ouvert pour autoriser le déplacement de la fenêtre d’observation.

Dans un exemple particulier, l’environnement couvre un angle solide sur un horizon de 360 degrés permettant une observation panoramique de l’environnement.

Claims (18)

1. REVENDICATIONS

   1 - Dispositif d’immersion (10) comportant au moins un système de visualisation (12) d’une représentation d’un environnement réel et ou d’un environnement virtuel, comportant des moyens de calculs (11) et comportant des moyens de communication adaptés à recevoir des données d’affichage, comportant des images d’une représentation dudit environnement vu dans une fenêtre d'observation (40) déterminée par des angles d'ouverture de ladite fenêtre d’observation, caractérisé en ce que :

   - les données d’affichage comportent, associées à au moins une partie desdites images, des métadonnées relatives aux conditions de formation desdites images, lesdites métadonnées comportant pour les images considérées de ladite partie au moins des données déterminant une direction d’observation (24) de l’environnement dans un référentiel absolu (31) dudit environnement ;

   - le système de visualisation détermine une fenêtre de visualisation (50) à laquelle sont attribués à chaque instant au moins une direction de visualisation et des angles de visualisation de ladite fenêtre de visualisation dans le référentiel absolu (31) de l’environnement ;

   - les données d’affichage reçues par le dispositif d’immersion (10) sont interprétées par les moyens de calculs (11) dudit dispositif d’immersion pour reconstruire, dans la fenêtre de visualisation (50) du système de visualisation (12), une représentation (40a) de l’environnement (30) vue dans la fenêtre d’observation (40), avec des dimensions et formes de ladite représentation dans ladite fenêtre de visualisation correspondant aux dimensions et formes de l’image de l’environnement dans ladite fenêtre d’observation, compte tenu des données respectives des angles d’ouverture des dites fenêtre de visualisation et fenêtre d’observation, et avec une position de la représentation (40a) de l’image de la fenêtre d’observation (40) dans un référentiel (121) du système de visualisation (12) déterminé en fonction des écarts entre la direction d’observation et la direction de visualisation dans le référentiel absolu de l’environnement.
2. 2 - Dispositif d’immersion suivant la revendication 1 dans lequel des zones de la fenêtre de visualisation (50) du système d’affichage du système immersif, hors la représentation (40a) de l’image de la fenêtre d’observation (40), affichent un fond d’affichage (52) généré par les moyens de calculs (11 ) dudit dispositif d’immersion.
3. 3 - Dispositif d’immersion suivant la revendication 2 dans lequel le fond d’affichage (52) comporte un ou plusieurs motifs parmi : une couleur, un gris ou un noir uniforme ; des zones de couleurs, gris ou noir , différentes dont des directions de séparations et ou transitions correspondent à des directions privilégiées de l’environnement ; une ou des textures.
4. 4 - Dispositif d’immersion suivant l'une des revendications précédentes dans lequel une texture est superposée à l’image de la fenêtre d’observation (40).
5. 5 - Dispositif d’immersion suivant l'une des revendications précédentes dans lequel les moyens de calculs (11) du système immersif (10) sont configurés pour incruster un ou des d’éléments d’interface dans la fenêtre de visualisation, représentés comme des objets à une, deux ou trois dimensions.
6. 6 - Dispositif d’immersion suivant l'une des revendications précédentes dans lequel une position et ou des dimensions de l’image (40a) de la fenêtre d’observation (40) représentée dans la fenêtre de visualisation (50) du système d’affichage du système immersif sont fonction d’une position depuis laquelle, et ou d'une direction vers laquelle, dans le système d'affichage (12) dudit système immersif, un observateur immergé dans ledit système immersif regarde ledit système d'affichage.
7. 7 - Dispositif d’immersion suivant l'une des revendications précédentes dans lequel au moins une partie de l’image (40a) de la fenêtre d’observation (40) est maintenue affichée dans la fenêtre de visualisation (50) du système d’affichage lorsque ladite image de la fenêtre d’observation est théoriquement hors de ladite fenêtre de visualisation, ladite au moins une partie de l’image de la fenêtre d’observation étant représentée maintenue contre un bord (51) de la fenêtre de visualisation (50) du système d’affichage dans une direction dans le référentiel (121) du système d’affichage (12) vers laquelle un observateur du système immersif devrait déplacer une direction vers laquelle il regarde ou devrait déplacer la direction de visualisation de la fenêtre de visualisation (50) pour se rapprocher de la direction d’observation associée à la fenêtre d’observation (40).
8. 8 - Dispositif d’immersion suivant l'une des revendications 1 à 6 dans lequel, lorsque l’image (40a) de la fenêtre d’observation (40) est hors de la fenêtre de visualisation (50) du système d’affichage du système immersif, une représentation symbolique est incrustée à proximité d'un bord (51) ou attachée à un bord de ladite fenêtre de visualisation (50) dans une direction, dans le référentiel (121) du système d’affichage (12) vers laquelle un observateur du système immersif devrait déplacer une direction vers laquelle il regarde ou devrait déplacer la direction de visualisation de la fenêtre de visualisation (50) pour se rapprocher de la direction d’observation associée à la fenêtre d’observation (40).
9. 9 - Dispositif d’immersion suivant l'une des revendications précédentes dans lequel le système de visualisation (12) du système immersif (10) appartient à une des catégories parmi : les casques de réalité virtuel porté par un utilisateur, les casques de réalité augmentée porté par un utilisateur, les écrans simples, les ensembles d’écrans juxtaposés.
10. 10 - Dispositif d’immersion suivant l'une des revendications précédentes comportant des capacités d’interaction par un utilisateur dudit dispositif d’immersion, par des commandes réelles ou virtuelles accessible audit utilisateur, avec les images affichées par le système de visualisation (12).
11. 11 - Dispositif d’immersion suivant la revendication 10 dans lequel les capacités d’interaction comporte de superposer des annotations, textes et ou dessins, aux images affichées.
12. 12 - Dispositif d'immersion suivant l'une des revendications précédentes comportant un enregistreur des images affichées par le système de visualisation (12) lors d’une séance d’immersion.
13. 13- Ensemble comportant au moins deux dispositifs d’immersion (10) suivant l’une des revendications précédentes dans lequel les dits au moins deux dispositifs d’immersion sont synchronisés pour afficher les mêmes images d’un environnement à des observateurs de chacun desdits au moins deux dispositifs d’immersion.
14. 14 - Ensemble (100) comportant un dispositif d’immersion (10) suivant l’une des revendications 1 à 12 et au moins un système de génération d’images (20) d’un environnement (30) dans lequel toutes ou partie des images, générées par ledit système de génération d'images et transmises audit dispositif d’immersion, correspondent aux images vues dans une fenêtre d'observation (40) par laquelle est observé ledit environnement et sont associées à des métadonnées comportant au moins des données de direction d’observation dans un référentiel absolu (31) dudit environnement
15. 15 - Ensemble suivant la revendication 14 dans lequel le système de génération d’images (20) est un dispositif de prises de vue d’un environnement réel produisant une séquence d’images dudit environnement réel, lesdites images étant transmises au dispositif d’immersion (10) en temps réel ou en temps différé ou sous la forme d’un enregistrement destiné à être lu par ledit dispositif d’immersion.
16. 16 - Ensemble suivant la revendication 14 dans lequel le système de génération d’images (20) est un dispositif de génération d’images d’un environnement virtuel produisant une séquence d’images dudit environnement virtuel, lesdites images étant transmises au dispositif

    5 d’immersion (10) en temps réel ou en temps différé ou sous la forme d’un enregistrement destiné à être lu par ledit dispositif d’immersion.
17. 17 - Ensemble suivant la revendication 16 dans lequel le système de génération d’images (20) d’un environnement virtuel est un système

    10 immersif source dans lequel les images sont générées en fonction de mouvements d’un utilisateur dudit système immersif source dans un référentiel dudit système immersif source.
18. 18 - Ensemble suivant la revendication 14 dans lequel le système de génération d’images (20) produit des images combinant des images d’un environnement réel et des images d’un environnement virtuel.

    1/4