FR3107390A1 - Dispositif, système et procédé de traitement de données de réalité virtuelle - Google Patents
Dispositif, système et procédé de traitement de données de réalité virtuelle Download PDFInfo
- Publication number
- FR3107390A1 FR3107390A1 FR2001408A FR2001408A FR3107390A1 FR 3107390 A1 FR3107390 A1 FR 3107390A1 FR 2001408 A FR2001408 A FR 2001408A FR 2001408 A FR2001408 A FR 2001408A FR 3107390 A1 FR3107390 A1 FR 3107390A1
- Authority
- FR
- France
- Prior art keywords
- virtual
- data processing
- processing device
- user
- tangible device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000003993 interaction Effects 0.000 claims abstract description 133
- 230000015654 memory Effects 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 241001393742 Simian endogenous retrovirus Species 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/75—Information technology; Communication
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/80—Homes; Buildings
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
L’invention concerne un dispositif de traitement de données de réalité virtuelle destiné à être porté par la tête d’un utilisateur, et configuré pour :
- restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d’interaction, au moins une partie de ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- suivre au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
L’invention concerne également un système et un procédé de traitement de données de réalité virtuelle.
Figure pour l’abrégé : Figure 4
Description
1. Domaine de l'invention
L'invention concerne le domaine de la réalité virtuelle et mixte et notamment des interactions utilisateurs dans un environnement de réalité virtuelle/mixte.
2. Art Antérieur
Il existe des systèmes interactifs mixant environnement réel et environnement virtuel. De tels systèmes sont appelés systèmes interactifs mixtes (MIS pour Mixed Interactive System en anglais). Un modèle de systèmes mixtes est utilisé par Coutrix et al «Mixed reality: a model of mixed interaction»Proceedings of the working conference on Advanced visual interfaces, AVI’06, p. 43 ACM Press , Venezi , Italy , 2006, pour produire une réalité mixte dans lequel un système est composé d’objets mixtes formés de deux parties: une partie physique ou réelle décrite par ses propriétés physiques et une partie digitale ou virtuelle constituée de propriétés digitales. Les deux parties réelle et virtuelle sont synchronisées de sorte qu’une modification d’une propriété de la partie réelle, respectivement virtuelle, soit reproduite sur la propriété correspondante de la partie virtuelle, respectivement réelle.
Les systèmes interactifs mixtes permettent de mélanger la réalité virtuelle, les interfaces utilisateur naturelles et l’Internet des objets. La réalité virtuelle synchronise des mondes réels et virtuels et permet d’interagir simultanément dans ces mondes réels et virtuels. Les interfaces utilisateur naturelles utilisent le corps humain comme interface pour délivrer des interactions naturelles et intuitives avec les technologies digitales. Par exemple, des telles interactions naturelles sont notamment des commandes vocales, ou des interactions gestuelles.
L’Internet des objets (ou IoT pour Internet of Things en anglais) fournit et améliore les interactions avec des objets du quotidien.
La convergence des technologies précitées permet de rapprocher les interactions réelles et les interactions virtuelles. Il existe déjà des exemples d’une telle convergence. Par exemple, les assistants vocaux sont un exemple de combinaison d’une interface utilisateur naturelle avec l’Internet des objets.
La réalité virtuelle, quant à elle, permet de fournir des informations sur des objets mixtes de l’environnement d’un utilisateur.
Toutefois, la convergence des technologies précitées est limitée par le manque d’outils dédiés permettant d’étendre cette convergence à tout objet connecté, tout système de réalité virtuelle, et tout type d’interface utilisateur naturelle.
De plus, on remarque que les interactions utilisateur dans un environnement de réalité virtuelle sont limitées quand bien même ces interactions utilisateur sont mises en œuvre par des gestes naturels de l’utilisateur. En effet, lors de telles interactions, l’utilisateur manque de ressenti réel.
Des systèmes haptiques existent pour permettre de fournir un retour physique à l’utilisateur suite à une interaction utilisateur dans un environnement virtuel. Par exemple, l’utilisateur d’un système de réalité virtuelle peut être équipé de gants avec un mécanisme haptique lui procurant une sensation tactile lors d’une interaction gestuelle dans l’environnement de réalité virtuelle. Toutefois, ces mécanismes nécessitent le port de gants spécifiques diminuant le caractère naturel d’une interaction gestuelle. De plus, les performances de ces systèmes de retour haptique sont limitées, notamment dans la modélisation de la sensation que l’utilisateur aurait ressentie s’il avait interagi dans le monde réel.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne un dispositif de traitement de données de réalité virtuelle, destiné à être porté par la tête d’un utilisateur, et configuré pour:
- restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d’interaction, au moins une partie de ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- suivre au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
Le dispositif selon l’invention permet de fournir un mécanisme d’interaction utilisateur hybride conjuguant interaction virtuelle de l’utilisateur sur des éléments virtuels d’une interface virtuelle et interaction tangible de l’utilisateur sur un support physique.
Un tel dispositif permet d’améliorer les sensations ressenties par l’utilisateur lors d’interactions dans un environnement de réalité virtuelle, en améliorant la sensation d’immersion dans la réalité virtuelle. De plus, l’utilisation d’une interface virtuelle d’interaction avec un support d’interaction tangible permet d’augmenter virtuellement la surface d’affichage, permettant ainsi d’afficher plus de données que sur le support physique.
Selon un mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est en outre configuré:
-pour communiquer avec une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction, et
- pour modifier ou sélectionner, en fonction de ladite au moins une interaction utilisateur détectée, au moins une donnée réelle de ladite entité réelle de l’objet mixte.
Le dispositif de traitement de données selon le mode particulier de réalisation ci-dessus permet de fournir de nouveaux services d’utilisation des objets connectés. Par exemple, les objets connectés sont souvent limités en termes d’affichage des données les concernant. Le dispositif selon l’invention permet d’afficher des informations ou des menus relatifs à l’objet connecté qui ne sont classiquement pas directement accessibles via des propriétés physiques de l’objet connecté.
Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données est configuré en outre pour déplacer l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
Selon ce mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction est déplacée par rapport au dispositif tangible de sorte qu’une partie de l’interface virtuelle sur laquelle l’utilisateur est susceptible d’interagir est placée juste au-dessus du dispositif tangible. Ce mode particulier de réalisation de l’invention permet de fournir un support d’interaction tangible, i.e. fournissant un retour tactile à l’utilisateur, même si l’interface virtuelle d’interaction affiche un grand nombre d’éléments d’interaction.
Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est configuré pour déterminer une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
Selon ce mode particulier de réalisation de l’invention, le dispositif de traitement de données peut déterminer la position relative du dispositif tangible, même si le dispositif tangible bouge, par exemple dans le cas d’un smartphone tenu en main par l’utilisateur.
Selon un autre mode particulier de réalisation de l’invention, pour détecter au moins une interaction utilisateur, le dispositif de traitement de données est configuré pour obtenir une information représentative d’un contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information représentative d’un contact étant reçue en provenance du dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction comprend une pluralité d’éléments virtuels représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible, ladite au moins une interaction utilisateur sélectionnant au moins un élément virtuel parmi la pluralité d’éléments virtuels, ladite sélection dudit au moins un élément virtuel parmi la pluralité d’éléments virtuels correspondant à une sélection d’une donnée réelle correspondante dans la mémoire du dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, le dispositif de traitement de données de réalité virtuelle est configuré pour recevoir en provenance du dispositif tangible, ladite pluralité de données réelles.
Selon un autre mode particulier de réalisation de l’invention, l’entité réelle de l’objet mixte est connectée au dispositif de traitement de données via un réseau de données.
Selon ce mode particulier de réalisation de l’invention, la partie réelle de l’objet mixte peut être distante du dispositif tangible et du dispositif de traitement de données.
Selon un autre mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction comprend une représentation virtuelle d’un environnement réel, ledit environnement réel comprenant au moins un objet connecté, la représentation virtuelle comprenant un élément virtuel représentatif dudit objet connecté, l’élément virtuel correspondant à l’entité virtuelle de l’objet mixte et l’objet connecté correspondant à l’entité réelle de l’objet mixte.
Selon ce mode particulier de réalisation de l’invention, le système comprend un ou plusieurs objets mixtes, chaque partie réelle, respectivement virtuelle, étant placée dans son environnement réel, respectivement virtuel. L’environnement réel peut également être distant du dispositif de traitement de données et du dispositif tangible. Par exemple, ce mode particulier de réalisation de l’invention permet de contrôler des objets connectés non accessibles, ou distants de l’utilisateur.
L’invention concerne également un système de traitement de données de réalité virtuelle comprenant un dispositif de traitement de données de réalité virtuelle selon l’un quelconque des modes particuliers de réalisation cités ci-dessus et un dispositif tangible configuré pour communiquer avec le dispositif de traitement de données de réalité virtuelle.
Selon un mode particulier de réalisation de l’invention, le dispositif tangible correspond à l’entité réelle de l’objet mixte.
Selon ce mode particulier de réalisation de l’invention, l’interface virtuelle d’interaction et le dispositif tangible forment un objet mixte au sens où l’interface virtuelle d’interaction constitue la partie virtuelle de l’objet mixte et le dispositif tangible constitue la partie réelle de l’objet mixte.
Selon un autre mode particulier de réalisation de l’invention, l’entité réelle de l’objet mixte est connectée à un réseau de communication, le système comprend en outre un serveur réseau configuré pour établir des communications entre l’entité réelle de l’objet mixte et le dispositif de traitement de données.
Ce mode particulier de réalisation de l’invention permet d’appliquer le système de l’invention à tout type d’objets connectés. En outre, le système s’applique à tout type d’objet réel dès lors que l’objet réel est adapté pour être connecté à un réseau, par exemple via une prise connectée.
Selon un autre mode particulier de réalisation de l’invention, ladite au moins une donnée réelle correspond à un état de l’objet réel. Par exemple, l’état de l’objet réel correspond à un état allumé ou éteint de l’objet réel.
L’invention concerne également un procédé de traitement de données de réalité virtuelle, mis en œuvre par le dispositif de traitement de données de réalité virtuelle selon l’un quelconque des modes particuliers cités ci-dessus.
Avantageusement, un tel procédé comprend:
- la restitution, dans un champ de vision du dispositif de traitement de données, d’une interface virtuelle d’interaction, ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- le suivi d’au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- la détection d’au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible.
Selon un mode particulier de réalisation de l’invention, le procédé comprend en outre la modification ou la sélection, en fonction de ladite au moins une interaction utilisateur détectée, d’au moins une donnée réelle d’une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction.
Selon un autre mode particulier de réalisation de l’invention, le procédé de traitement de données de réalité virtuelle comprend en outre la détermination d’un déplacement de l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, le procédé de traitement de données de réalité virtuelle comprend en outre la détermination d’une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
Selon un autre mode particulier de réalisation de l’invention, la détection d’au moins une interaction utilisateur, comprend l’obtention d’une information de contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information de contact étant reçue en provenance du dispositif tangible.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de traitement de données de réalité virtuelle selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
Selon encore un autre aspect, un support d'enregistrement ou support d'informations lisible par un ordinateur est proposé, qui comprend des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire de type Read-Only Memory (ROM), par exemple un CD- ROM ou une ROM de circuit microélectronique, une mémoire flash montée sur un support de stockage amovible, tel qu’une clé USB, ou encore une mémoire de masse magnétique de type Hard-Disk Drive (HDD) ou Solid-State Drive (SSD), ou une combinaison de mémoires fonctionnant selon une ou plusieurs technologies d’enregistrement de données. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. En particulier, le programme d’ordinateur proposé peut être téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Le procédé de traitement de données de réalité virtuelle selon l'invention peut donc être mis en œuvre de diverses manières, notamment sous forme matérielle ou sous forme logicielle, ou être mise en œuvre sous forme d’une combinaison d’éléments matériels et logiciels.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels:
5. Description de modes particuliers de réalisation de l'invention
La figure 1 illustre un exemple d’environnement 10 de mise en œuvre de l’invention selon un mode particulier de réalisation de l’invention. L’environnement 10 comprend notamment un utilisateur USR équipé d’un dispositif de traitement de données de réalité virtuelle HL. Par exemple, le dispositif de traitement de données de réalité virtuelle HL est un casque de réalité virtuelle porté par la tête de l’utilisateur, tel qu’un casque Hololens de la société Microsoft©. L’environnement comprend également un dispositif tangible DT configuré pour communiquer avec le dispositif de traitement de données HL.
Dans l’exemple décrit ici, le dispositif tangible est un objet réel tel qu’un ventilateur (figure 3). Toutefois, l’exemple ne se limite pas à un tel dispositif tangible qui aussi être une ampoule, un thermomètre, un détecteur de présence ou tout autre type d’objet domotique. Pour permettre au dispositif tangible DT de communiquer avec le dispositif de traitement de données HL, le dispositif tangible DT comprend une prise connectée PR connectée à un serveur SERV de l’environnement 10. Le serveur SERV et le dispositif de traitement de données HL sont configurés pour établir des communications via une connexion sans fil, par exemple en Bluetooth ou WiFi.
Le dispositif de traitement de données HL, le dispositif tangible DT et le serveur SERV forment un système de traitement de données au sens de l’invention.
Selon ce mode particulier de réalisation de l’invention, le dispositif de traitement de données HL est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT associée au dispositif tangible. La figure 3 illustre un exemple d’interaction utilisateur dans l’environnement de mise en œuvre décrit en relation avec la figure 1.
Plus particulièrement, dans l’exemple décrit ici, l’interface virtuelle d’interaction INT comprend un élément virtuel (interrupteur virtuel sur les images 3b et 3d) sur lequel l’utilisateur peut interagir pour modifier un état du dispositif tangible DT.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT est un objet mixte comprenant une entité réelle, ici l’objet réel, et une entité virtuelle correspondant à une représentation numérique de l’objet réel par le dispositif de traitement de données HL. Dans l’exemple décrit ici, l’entité virtuelle de l’objet mixte peut être l’élément virtuel de l’interface virtuelle d’interaction INT.
Dans l’exemple décrit ici, lorsque l’utilisateur interagit sur l’interface virtuelle d’interaction, l’état virtuel de la représentation virtuelle du dispositif tangible est modifié et l’état réel du dispositif tangible est modifié. L’état du dispositif tangible correspond ici à un état éteint/allumé.
Afin d’améliorer le ressenti de l’utilisateur lors d’une interaction utilisateur sur l’interface virtuelle d’interaction, comme illustré en figure 3 (images b, d), l’interface virtuelle d’interaction INT est restituée à l’utilisateur en superposition du dispositif tangible DT, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT (figure 3 image c), il soit en contact avec le dispositif tangible DT (figure 3 image d).
Pour cela, le dispositif de traitement de données HL détecte la collision entre la représentation virtuelle de la main de l’utilisateur USR et l’interrupteur virtuel du dispositif tangible. Sur la figure 3 image d, l’interrupteur virtuel est affiché au-dessus de la surface du dispositif tangible DT. Lorsque l’utilisateur touche l’interrupteur virtuel, il touche également la surface tangible du dispositif tangible DT, rendant tangible la partie virtuelle de l’objet mixte/dispositif tangible DT.
La figure 2 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 1. Le procédé de traitement de données de réalité virtuelle est mis en œuvre par le dispositif de traitement de données HL décrit en relation avec la figure 1.
Lors d’une étape 20, le dispositif de traitement de données HL détermine la position relative du dispositif tangible DT dans son système de coordonnées 3D.
Dans le mode particulier de réalisation de l’invention décrit ici, il est considéré que le dispositif tangible DT est fixe dans l’environnement 10. La position du dispositif tangible DT dans l’environnement 10 est obtenue par le dispositif de traitement de données HL en détectant dans l’environnement réel 10, la pose d’une texture prédéfinie dont l’emplacement est connu dans la représentation virtuelle de l’environnement 10 mise en œuvre par le dispositif de traitement de données HL.
Lors d’une étape 21, le dispositif de traitement de données HL restitue à l’utilisateur une interface virtuelle d’interaction. Cette interface virtuelle est restituée dans le champ de vision du dispositif de traitement de données. Avantageusement, l’interface virtuelle d’interaction est restituée à l’utilisateur, en superposition du dispositif tangible DT, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données. Autrement dit, lorsque l’utilisateur voit le dispositif tangible DT via le dispositif de traitement de données HL, l’interface virtuelle d’interaction INT est restituée à l’utilisateur au-dessus du dispositif tangible DT.
Lors d’une étape 22, au moins une partie du corps de l’utilisateur susceptible d’interagir via l’interface virtuelle d’interaction INT est suivie par le dispositif de traitement de données HL. Dans l’exemple décrit en relation avec les figures 1a-d, la main de l’utilisateur est suivie par le dispositif de traitement de données HL.
Lors d’une étape 23, lorsque la partie suivie du corps de l’utilisateur URS est à proximité ou en contact avec le dispositif tangible DT, le dispositif de traitement de données HL détecte une interaction utilisateur sur un élément virtuel de l’interface virtuelle d’interaction INT.
Lors d’une étape 24, en fonction de l’une interaction utilisateur détectée, l’état du dispositif tangible, correspondant par exemple à un état allumé ou éteint du dispositif tangible, est modifié. Pour cela, le dispositif de traitement de données HL modifie l’état virtuel de la représentation virtuelle du dispositif tangible. Cette modification est transmise via la connexion COM au serveur qui modifie l’état de l’interrupteur de la prise PR. L’état réel du dispositif tangible est ainsi modifié via le changement d’état de la prise PR.
La figure 4 illustre un exemple d’environnement 40 de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention.
L’environnement 40 comprend notamment un utilisateur USR’ équipé d’un dispositif de traitement de données de réalité virtuelle HL’, par exemple un casque de réalité virtuelle porté par la tête de l’utilisateur. L’environnement comprend également un dispositif tangible DT’ configuré pour communiquer avec le dispositif de traitement de données HL’. Dans l’exemple décrit ici, le dispositif tangible DT’ est un terminal mobile, par exemple un smartphone (pour téléphone intelligent en anglais).
Le dispositif tangible DT’ et le dispositif de traitement de données HL’ sont configurés pour établir des communications via une connexion sans fil COM’, par exemple en Bluetooth ou WiFi. Notamment, le dispositif tangible DT’ et le dispositif de traitement de données HL’ sont configurés pour échanger leur position relative dans leur système de coordonnées 3D respectif.
Le dispositif de traitement de données HL’’, le dispositif tangible DT forment un système de traitement de données au sens de l’invention.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif de traitement de données HL’ est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT’ associée au dispositif tangible DT’.
Plus particulièrement, et comme illustré par les figures 6 et 7, l’interface virtuelle d’interaction INT’ est restituée à l’utilisateur en superposition du dispositif tangible DT’, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT’ (figure 7 images f, g), il soit en contact avec le dispositif tangible DT’.
Pour cela, comme dans l’exemple décrit en relation avec la figure 1, le dispositif de traitement de données HL’ détecte la collision entre la représentation virtuelle de la main de l’utilisateur USR’ et un élément virtuel ELT de l’interface virtuelle d’interaction INT’.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT’ est un objet mixte comprenant une entité réelle, ici le smartphone, et une entité virtuelle correspondant à une représentation numérique du smartphone par le dispositif de traitement de données HL’.
La figure 5 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec la figure 4. Le procédé de traitement de données de réalité virtuelle est mis en œuvre par le dispositif de traitement de données HL’ décrit en relation avec la figure 4.
Lors d’une étape 50, le dispositif de traitement de données HL’ détermine la position relative du dispositif tangible DT’ dans son système de coordonnées 3D.
Pour cela, le dispositif de traitement de données HL’ détermine une position relative du dispositif tangible DT’ dans le système de coordonnées 3D du dispositif de traitement de données DT’, à partir d’une position du dispositif tangible DT’ transmise par le dispositif tangible DT’. Cette position du dispositif tangible DT’ transmise correspond à la position relative du dispositif tangible DT’ dans son système de coordonnées 3D.
Dans le mode particulier de réalisation de l’invention décrit ici, le dispositif tangible DT’ est tenu en main par l’utilisateur et peut donc bouger. Le dispositif de traitement de données HL’ calcule alors une matrice de passage entre les deux systèmes de coordonnées 3D.
Pour cela, le dispositif de traitement de données HL’ connaît sa propre pose (position et orientation) dans son propre système de coordonnées 3D, par exemple via un composant dédié de type SLAM (pour «Simultaneous Localization And Mapping» en anglais) intégré dans le dispositif de traitement de données HL’. De même, le dispositif tangible DT’ connaît sa propre pose dans son propre système de coordonnées 3D, par exemple à l’aide d’un composant dédié intégré tel que l’ARCore SLAM de la société Google©. Le dispositif tangible DT’ transmet en continu au dispositif de traitement de données HL’ sa position et son orientation. Les deux systèmes de coordonnées 3D (celui du dispositif de traitement de données HL’ et celui du dispositif tangible DT’) sont synchronisés lorsque le dispositif de traitement de données HL’ calcule la pose du dispositif tangible DT’ dans le système de coordonnées 3D du dispositif de traitement de données HL’. Pour cela, le dispositif tangible DT’ affiche une texture déterminée et connue du dispositif de traitement de données HL’. Lorsque le dispositif de traitement de données HL’ détecte, à l’aide de sa ou ses caméras, la texture affichée par le dispositif tangible DT’, le dispositif de traitement de données HL’ calcule la matrice de transformation du dispositif tangible DT’. Par exemple, le dispositif de traitement de données HL’ peut comprendre un module logiciel de vision par ordinateur pour reconnaître et suivre des images et des objets 3D en temps réel, tel que le logiciel VuForia.
Une matrice de passage est ensuite déterminée à partir de la matrice de transformation du dispositif tangible DT’. Une telle matrice de passage définit un système de coordonnées 3D commun pour les positions du dispositif de traitement de données HL’ et du dispositif tangible DT’. La somme de la position du dispositif de traitement de données HL’ et de la pose du dispositif tangible DT’ estimée par le dispositif de traitement de données HL’ est comparée à la position du dispositif tangible DT’ estimé par lui-même pour fournir la matrice de passage.
Le dispositif de traitement de données HL’ détermine en continu dans son système de coordonnées 3D, la position de la représentation virtuelle du dispositif tangible DT’ à partir de la position relative transmise par le dispositif tangible DT’ et de la matrice de passage.
Lors d’une étape 52, le dispositif de traitement de données HL’ restitue à l’utilisateur une interface virtuelle d’interaction INT’. Cette interface virtuelle INT’ est restituée dans le champ de vision du dispositif de traitement de données, en superposition du dispositif tangible DT’, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données.
Comme le dispositif tangible DT’ peut être manipulé et déplacé, lorsque le dispositif tangible DT’ est déplacé, l’interface virtuelle d’interaction INT’ est restituée par le dispositif de traitement de données HL’ en suivant les mouvements du dispositif tangible DT’. Ce fonctionnement est par exemple illustré en figure 6.
Sur la figure 6, l’interface virtuelle INT’ a la forme d’un visage virtuel affiché en superposition de la surface du dispositif tangible DT’. Les images successives de la figure 6 illustrent le déplacement de l’interface virtuelle INT’ suivant les mouvements du dispositif tangible DT’.
La figure 7 illustre également un exemple d’interaction utilisateur selon le mode particulier de réalisation de l’invention décrit ici. Selon cet exemple, l’interface virtuelle d’interaction INT’ comprend une pluralité d’éléments virtuels (E1, E2, ….) représentés sur la figure 7 par des carrés blanc ou gris. Cette pluralité d’éléments virtuels est représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible DT’. Pour pouvoir afficher une telle interface virtuelle d’interaction INT’, lors d’une étape 51, le dispositif de traitement de données HL’ reçoit en provenance du dispositif tangible DT’ des données représentatives de cette pluralité de données réelles. Par exemple, les données réelles correspondent ici à des contacts mémorisés dans la mémoire du smartphone DT’.
Chaque élément virtuel de l’interface virtuelle d’interaction INT’ affiché sur les images b à g de la figure 7 correspond à un contact mémorisé dans le smartphone DT’.
Lors d’une étape 53, au moins une partie du corps de l’utilisateur susceptible d’interagir via l’interface virtuelle d’interaction INT’ est suivie par le dispositif de traitement de données HL’. Dans l’exemple décrit en relation avec la figure 7 images a à g, la main de l’utilisateur USR’ est suivie par le dispositif de traitement de données HL’.
Lors d’une étape 54, l’interface virtuelle d’interaction INT’ est restituée à l’utilisant en suivant le déplacement de la partie du corps suivie, ici la main de l’utilisateur USR’. Ceci permet qu’un élément virtuel ELT’ sur lequel la partie du corps de l’utilisateur interagit soit restitué en superposition avec le dispositif tangible DT’.
La succession des images b à g de la figure 7 illustre un tel déplacement de l’interface virtuelle d’interaction INT’ avec la main de l’utilisateur USR’. Initialement (image b de la figure 7), l’interface virtuelle d’interaction INT’ est restituée de façon centrée par rapport au dispositif tangible DT’ apparaissant dans le champ de vision du dispositif de traitement de données HL’. Lorsque la main de l’utilisateur, et plus particulièrement son doigt tendu, se déplace vers le haut, l’interface virtuelle d’interaction INT’ est déplacée vers le haut (figure 7 image c). Lorsque le doigt tendu de l’utilisateur descend, l’interface virtuelle d’interaction INT’ descend (figure 7 image d). Sur l’image e de la figure 7, le doigt de l’utilisateur se rapproche du dispositif tangible DT’, indiquant que l’utilisateur est susceptible d’interagir sur un élément virtuel ELT’ localisé dans cette zone de l’interface virtuelle INT’. Le dispositif de traitement de données HL’ détermine l’élément virtuel ELT’ sur lequel l’utilisateur est susceptible d’interagir, en fonction de la position du doigt par rapport à l’interface virtuelle d’interaction INT’. Cet élément ELT’ est restitué visuellement en plus grand pour indiquer à l’utilisateur sur quel élément il va interagir.
Lorsque le doigt de l’utilisateur se rapproche encore du dispositif tangible DT’, l’interface virtuelle d’interaction INT’ est déplacée de sorte que l’élément virtuel ELT’ sur lequel l’utilisateur souhaite interagir soit placé au-dessus de la surface du dispositif tangible DT’ (image f de la figure 7).
Lors d’une étape 55, lorsque la partie suivie du corps de l’utilisateur USR est à proximité ou en contact avec le dispositif tangible DT’, le dispositif de traitement de données HL’ détecte une interaction utilisateur sur l’interface virtuelle d’interaction INT’ correspondant ici à une sélection de l’élément virtuel ELT’ par l’utilisateur.
Sur l’image g de la figure 7, lorsque l’utilisateur interagit sur l’élément virtuel ELT’, le doigt de l’utilisateur entre en contact avec le dispositif tangible DT’.
Pour détecter l’interaction utilisateur, le dispositif de traitement de données HL’ détecte la représentation virtuelle de la main ou du doigt de l’utilisateur et fait un focus sur l’élément virtuel le plus près de la représentation virtuelle de la main ou du doigt de l’utilisateur. Lors de l’étape 55, lorsque l’utilisateur touche la surface du dispositif tangible DT’, par exemple ici l’écran tactile du smartphone, le dispositif tangible DT’ détecte le contact du doigt de l’utilisateur sur cette surface. Le dispositif tangible DT’ transmet cette information de contact au dispositif de traitement de données HL’ qui peut alors l’utiliser pour valider la détection de l’interaction utilisateur dans sa représentation virtuelle.
Lors d’une étape 56, le contact mémorisé dans la mémoire du dispositif tangible DT’ et correspondant à l’élément virtuel ELT’ sur lequel l’utilisateur a interagit est sélectionné.
Pour cela, le dispositif de traitement de données HL’ transmet au dispositif tangible DT’ une information indiquant la sélection du contact associé à l’élément virtuel ELT’. L’utilisateur peut ensuite agir sur ce contact, par exemple lancer un appel, émettre un message, etc…
La figure 8 illustre un exemple d’environnement 80 de mise en œuvre de l’invention selon un autre mode particulier de réalisation de l’invention. L’environnement 80 comprend notamment un utilisateur USR’’ équipé d’un dispositif de traitement de données de réalité virtuelle HL’’, par exemple un casque de réalité virtuelle porté par la tête de l’utilisateur. L’environnement comprend également un dispositif tangible DT’’ configuré pour communiquer avec le dispositif de traitement de données HL’’. Dans l’exemple décrit ici, le dispositif tangible DT’’ est un terminal mobile, par exemple un smartphone.
Le dispositif tangible DT’’ et le dispositif de traitement de données HL’’ sont configurés pour établir des communications via une connexion sans fil COM’’, par exemple en Bluetooth ou WiFi. Notamment, le dispositif tangible DT’’ et le dispositif de traitement de données HL’’ sont configurés pour échanger leur position relative dans leur système de coordonnées 3D respectif.
Le dispositif de traitement de données HL’’, le dispositif tangible DT’’ forment un système de traitement de données au sens de l’invention.
Selon le mode particulier de réalisation de l’invention décrit ici, le dispositif de traitement de données HL’’ est configuré pour afficher à l’utilisateur une interface d’interaction virtuelle INT’’ associée au dispositif tangible DT’’. Par exemple, une telle interface virtuelle d’interaction INT’’ comprend une représentation virtuelle d’un environnement réel 81 dans lequel un ou plusieurs objets réels connectés sont placés.
Dans l’exemple de la figure 8, l’environnement réel 81 comprend un objet connecté OBJ configuré pour communiquer via un réseau de données RES avec le dispositif de traitement de données HL’’.
L’environnement 80 illustré en figure 8 comprend ainsi un objet mixte dont la partie réelle correspond à l’objet connecté OBJ et la partie virtuelle correspond à un élément virtuel restitué dans la représentation virtuelle de l’environnement réel 81 affiché par l’interface virtuelle d’interaction INT’’.
La figure 9 illustre l’environnement 80 (images a et c) et la représentation virtuelle de l’environnement 81 affichée par l’interface virtuelle d’interaction INT’’ (images b et d).
Avantageusement, l’interface virtuelle d’interaction INT’’ est restituée à l’utilisateur en superposition du dispositif tangible DT’’, de sorte que lorsque l’utilisateur interagit sur l’interface d’interaction virtuelle INT’’ (figure 9 image c), son doigt soit en contact avec le dispositif tangible DT’’. Pour cela, comme dans l’exemple décrit en relation avec la figure 1, le dispositif de traitement de données HL’’ détecte la collision entre la représentation virtuelle de la main de l’utilisateur USR’’ et un élément virtuel de l’interface virtuelle d’interaction INT’’. Selon le mode particulier de réalisation décrit ici, lorsque l’utilisateur interagit sur un élément virtuel de l’interface virtuelle d’interaction INT’’ qui est associé à un objet mixte de l’environnement 80, une donnée de la partie réelle de l’objet mixte est modifiée. Par exemple, dans l’exemple de la figure 9, l’état allumé/éteint de l’objet OBJ est modifié.
Dans l’exemple décrit en relation avec la figure 9, le dispositif tangible DT’’ est tenu en main par l’utilisateur USR’’ du dispositif de traitement de données HL’’. L’interface virtuelle d’interaction INT’’ est associée au dispositif tangible DT’’ par le dispositif de traitement de données HL’’ de sorte qu’un mouvement du dispositif tangibles DT’’ par l’utilisateur provoque un mouvement correspondant de l’affichage de l’interface virtuelle d’interaction INT’’ comme déjà décrit en relation avec la figure 6.
Il est à noter que selon ce mode particulier de réalisation de l’invention, le dispositif tangible DT’’ est également un objet mixte de l’environnement 80. En effet, le dispositif tangible DT’’ correspond à la partie réelle de l’objet mixte et le dispositif de traitement de données HL’’ dispose d’une représentation virtuelle du dispositif tangible DT’’ dans sa représentation virtuelle de l’environnement 80 afin de pouvoir afficher l’interface virtuelle d’interaction INT’’ en association avec le dispositif tangible DT’’. De plus, on voit que le mouvement réel du dispositif tangible DT’’ provoque un mouvement de la représentation virtuelle du dispositif tangible DT’’ dans la représentation virtuelle de l’environnement 80 du dispositif de traitement HL’’. Il est à noter ici que la représentation virtuelle du dispositif tangible DT’’ n’est pas affichée à l’utilisateur.
Selon le mode particulier de réalisation décrit ici, l’interaction utilisateur combine deux interfaces utilisateurs: le dispositif de traitement de données HL’’ mettant en œuvre l’interface virtuelle d’interaction INT’’ et le dispositif tangible DT’’. Le dispositif tangible DT’’ est utilisé comme interface tangible et tactile et comme un dispositif de suivi des manipulations de la représentation virtuelle de l’environnement réel 81 par l’utilisateur. Le dispositif tangible DT’’ n’est ici pas utilisé en tant que dispositif de restitution visuelle. Il sert de support physique de restitution. Le dispositif tangible DT’’ permet de manipuler de manière tangible la représentation virtuelle de l’environnement réel 81 affichée via l’interface virtuelle d’interaction en manipulant le dispositif tangible lui-même.
La figure 10 illustre des étapes du procédé de traitement de données de réalité virtuelle selon le mode particulier de réalisation de l’invention décrit en relation avec les figures 8 et 9.
Lors d’une étape 100, une représentation virtuelle de l’environnement réel 81 est créée. Par exemple, elle peut être créée manuellement par l’utilisateur à l’aide d’un logiciel de réalité virtuelle appropriée ou bien à l’aide du dispositif de traitement de données HL’’ placé dans l’environnement 81.
Le dispositif de traitement de données HL’’ met ensuite en œuvre les étapes 50 à 55 qui sont identiques à celles décrites en relation avec la figure 5 et ne sont pas décrites plus en détail. La seule différence provient de l’interface virtuelle d’interaction INT’’ qui comprend ici la représentation virtuelle de l’environnement réel 81.
Ainsi, selon le mode particulier de réalisation décrit ici, l’utilisateur peut visualiser une représentation virtuelle d’un environnement réel alors même qu’il n’est pas localisé dans cet environnement réel.
Il est supposé ici que lors de l’étape 55, l’utilisateur a interagit sur l’élément virtuel OBJV représentatif de l’objet mixte OBJ de l’environnement 81.
Suite à l’étape 55 de détection de l’interaction utilisateur sur l’élément virtuel OBJV, lors d’une étape 101, le dispositif de traitement de données HL’’ transmet à la partie réelle de l’objet mixte OJB une commande de modification de l’état de l’objet mixte OBJ. Par exemple, si l’objet mixte OBJ est une lampe connectée et que son état était «allumé» avant l’interaction utilisateur, l’envoi de la commande de modification d’état provoque le passage à l’état «éteint» de la lampe.
La figure 11 illustre de manière schématique la structure d'un dispositif de traitement de données de réalité virtuelle DISP selon un mode particulier de réalisation de l’invention. Un tel dispositif de traitement de données de réalité virtuelle DISP est adapté pour mettre en œuvre le procédé de traitement de données selon l‘un quelconque des modes particuliers décrits en relation avec les figures 2, 5 et 10.
Notamment, le dispositif DISP est un dispositif d’affichage optique portatif, tel qu’un casque de réalité virtuelle à travers lequel l’utilisateur du casque peut voir le monde réel.
Dans l’exemple non limitatif illustré sur la figure 11, le dispositif de traitement de données de réalité virtuelle DISP comprend une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de traitement de données, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre le procédé de traitement de données selon l'un quelconque des modes de réalisation décrits ci-dessus selon les instructions du programme d'ordinateur PG.
Pour cela, le dispositif de traitement de données de réalité virtuelle DISP comprend un détecteur de position CAPT configuré pour détecter la position de la tête et des mains d’un utilisateur porteur du dispositif portatif DISP.
Le dispositif de traitement de données de réalité virtuelle DISP comprend également un dispositif de projection PROJ permettant de restituer visuellement une interface virtuelle d’interaction à l'utilisateur, par exemple via une technique de projection holographique.
Le dispositif de traitement de données de réalité virtuelle DISP comprend également un émetteur/récepteur ou module de communication CM permettant au dispositif DISP de communiquer avec au moins un objet connecté et/ou un dispositif tangible, tel qu’un terminal mobile.
Selon un mode particulier de réalisation de l'invention, le dispositif de traitement de données de réalité virtuelle DISP décrit précédemment est compris dans un terminal, par exemple un casque de réalité augmentée.
Claims (15)
- Dispositif de traitement de données de réalité virtuelle, destiné à être porté par la tête d’un utilisateur, le dispositif de traitement de données est configuré pour:
- restituer, dans un champ de vision du dispositif de traitement de données, une interface virtuelle d’interaction, au moins une partie de ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- suivre au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- détecter au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible. - Dispositif de traitement de données de réalité virtuelle selon la revendication 1, dans lequel le dispositif de traitement de données de réalité virtuelle est en outre configuré:
-pour communiquer avec une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction, et
- pour modifier ou sélectionner, en fonction de ladite au moins une interaction utilisateur détectée, au moins une donnée réelle de ladite entité réelle de l’objet mixte. - Dispositif de traitement de données de réalité virtuelle selon la revendication 1 ou 2, configuré en outre pour déplacer l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
- Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 3, configuré pour déterminer une première position relative du dispositif tangible dans un système de coordonnées 3D du dispositif de traitement de données, à partir d’une deuxième position du dispositif tangible dans un système de coordonnées 3D du dispositif tangible, ladite deuxième position étant reçue en provenance du dispositif tangible.
- Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 4, dans lequel pour détecter au moins une interaction utilisateur, le dispositif de traitement de données est configuré pour obtenir une information représentative d’un contact de la partie du corps de l’utilisateur avec le dispositif tangible, ladite information représentative d’un contact étant reçue en provenance du dispositif tangible.
- Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 5, dans lequel l’interface virtuelle d’interaction comprend une pluralité d’éléments virtuels représentative d’une pluralité de données réelles mémorisées dans une mémoire du dispositif tangible, ladite au moins une interaction utilisateur sélectionnant au moins un élément virtuel parmi la pluralité d’éléments virtuels, ladite sélection dudit au moins un élément virtuel parmi la pluralité d’éléments virtuels correspondant à une sélection d’une donnée réelle correspondante dans la mémoire du dispositif tangible.
- Dispositif de traitement de données de réalité virtuelle selon la revendication 6, configuré pour recevoir en provenance du dispositif tangible, ladite pluralité de données réelles.
- Dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 7, dans lequel l’entité réelle de l’objet mixte est connectée au dispositif de traitement de données via un réseau de données.
- Dispositif de traitement de données de réalité virtuelle selon la revendication 8, dans lequel l’interface virtuelle d’interaction comprend une représentation virtuelle d’un environnement réel, ledit environnement réel comprenant au moins un objet connecté, la représentation virtuelle comprenant un élément virtuel représentatif dudit objet connecté, l’élément virtuel correspondant à l’entité virtuelle de l’objet mixte et l’objet connecté correspondant à l’entité réelle de l’objet mixte.
- Système de traitement de données de réalité virtuelle comprenant un dispositif de traitement de données de réalité virtuelle selon l’une quelconque des revendications 1 à 9 et un dispositif tangible configuré pour communiquer avec le dispositif de traitement de données de réalité virtuelle.
- Système de traitement de données de réalité virtuelle selon la revendication 10, dans lequel le dispositif de traitement de données de réalité virtuelle est selon l’une quelconque des revendications 2 à 9 et dans lequel le dispositif tangible correspond à l’entité réelle de l’objet mixte.
- Procédé de traitement de données de réalité virtuelle, mis en œuvre par un dispositif de traitement de données de réalité virtuelle destiné à être porté par la tête d’un utilisateur, le procédé comprend:
- la restitution, dans un champ de vision du dispositif de traitement de données, d’une interface virtuelle d’interaction, ladite interface virtuelle d’interaction étant restituée en superposition d’un dispositif tangible, lorsque le dispositif tangible est situé dans le champ de vision du dispositif de traitement de données,
- le suivi d’au moins une partie du corps de l’utilisateur susceptible d’interagir via ladite interface virtuelle d’interaction,
- la détection d’au moins une interaction utilisateur sur un élément virtuel de ladite interface virtuelle d’interaction, lorsque ladite au moins une partie du corps de l’utilisateur est à proximité ou en contact avec le dispositif tangible. - Procédé de traitement de données de réalité virtuelle selon la revendication 12, comprenant en outre la modification ou la sélection, en fonction de ladite au moins une interaction utilisateur détectée, d’au moins une donnée réelle d’une entité réelle d’un objet mixte comprenant ladite entité réelle et une entité virtuelle, ladite entité virtuelle dudit objet mixte étant comprise dans ladite interface virtuelle d’interaction.
- Procédé de traitement de données de réalité virtuelle selon la revendication 12 ou 13, comprenant en outre la détermination d’un déplacement de l’interface virtuelle d’interaction restituée en fonction d’un déplacement de la partie du corps suivie, de sorte que ledit élément virtuel sur lequel ladite au moins une partie du corps interagit soit restitué en superposition avec le dispositif tangible.
- Programme comportant des instructions pour la mise en œuvre du procédé de de traitement de données selon l’une quelconque des revendications 12 à 14, lorsque ledit programme est exécuté par un processeur.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2001408A FR3107390B1 (fr) | 2020-02-13 | 2020-02-13 | Dispositif, système et procédé de traitement de données de réalité virtuelle |
| PCT/EP2020/057357 WO2020187950A1 (fr) | 2019-03-21 | 2020-03-17 | Dispositif, système et procédé de traitement de données de réalite virtuelle |
| US17/593,542 US11875465B2 (en) | 2019-03-21 | 2020-03-17 | Virtual reality data-processing device, system and method |
| EP20711590.8A EP3942390A1 (fr) | 2019-03-21 | 2020-03-17 | Dispositif, système et procédé de traitement de données de réalite virtuelle |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2001408 | 2020-02-13 | ||
| FR2001408A FR3107390B1 (fr) | 2020-02-13 | 2020-02-13 | Dispositif, système et procédé de traitement de données de réalité virtuelle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3107390A1 true FR3107390A1 (fr) | 2021-08-20 |
| FR3107390B1 FR3107390B1 (fr) | 2023-10-20 |
Family
ID=70614112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2001408A Active FR3107390B1 (fr) | 2019-03-21 | 2020-02-13 | Dispositif, système et procédé de traitement de données de réalité virtuelle |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3107390B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4336323A1 (fr) * | 2022-09-06 | 2024-03-13 | Nokia Technologies Oy | Détection d'orientation de dispositif |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034039A1 (en) * | 2013-03-21 | 2016-02-04 | Sony Corporation | Information processing apparatus, operation control method and program |
| US20160313902A1 (en) * | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached control elements |
| US20180024362A1 (en) * | 2016-07-22 | 2018-01-25 | Arm Ltd | Data processing |
-
2020
- 2020-02-13 FR FR2001408A patent/FR3107390B1/fr active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034039A1 (en) * | 2013-03-21 | 2016-02-04 | Sony Corporation | Information processing apparatus, operation control method and program |
| US20160313902A1 (en) * | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached control elements |
| US20180024362A1 (en) * | 2016-07-22 | 2018-01-25 | Arm Ltd | Data processing |
Non-Patent Citations (2)
| Title |
|---|
| COUTRIX ET AL.: "Proceedings of the working conférence on Advanced visual interfaces, AVI'06", 2006, ACM PRESS, article "Mixed reality : a model of mixed interaction" |
| NORMAND ERWAN ET AL: "Enlarging a Smartphone with AR to Create a Handheld VESAD (Virtually Extended Screen-Aligned Display)", 2018 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR), IEEE, 16 October 2018 (2018-10-16), pages 123 - 133, XP033502091, DOI: 10.1109/ISMAR.2018.00043 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4336323A1 (fr) * | 2022-09-06 | 2024-03-13 | Nokia Technologies Oy | Détection d'orientation de dispositif |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3107390B1 (fr) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11678004B2 (en) | Recording remote expert sessions | |
| US9672660B2 (en) | Offloading augmented reality processing | |
| US10210664B1 (en) | Capture and apply light information for augmented reality | |
| US20150185825A1 (en) | Assigning a virtual user interface to a physical object | |
| WO2015102866A1 (fr) | Découverte d'un objet physique | |
| KR20220013384A (ko) | 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술 | |
| US20180005440A1 (en) | Universal application programming interface for augmented reality | |
| US20200104028A1 (en) | Realistic gui based interactions with virtual gui of virtual 3d objects | |
| FR3107390A1 (fr) | Dispositif, système et procédé de traitement de données de réalité virtuelle | |
| US8934044B2 (en) | Systems and methods for live view photo layer in digital imaging applications | |
| KR20190035373A (ko) | 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 | |
| EP3942390A1 (fr) | Dispositif, système et procédé de traitement de données de réalite virtuelle | |
| EP2818965A1 (fr) | Procédé d'interaction entre un objet numérique, représentatif d'au moins un objet réel ou virtuel localisé dans un périmètre géographique distant, et un dispositif de pointage local | |
| FR3104743A1 (fr) | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. | |
| WO2023046902A1 (fr) | Systeme d'interface homme-machine | |
| FR3068803A1 (fr) | Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle. | |
| WO2021122410A1 (fr) | Procédé et système de visualisation d'un contenu numérique affiché par un appareil électronique | |
| US10817153B2 (en) | Augmented audio development | |
| WO2020187631A1 (fr) | Entite mixte, systeme mixte, procede de generation d'entite mixte, procede de generation de systeme mixte | |
| FR3127597A1 (fr) | Systeme d’interface homme-machine | |
| EP4127990A1 (fr) | Procédé et dispositif de contrôle d'accès | |
| EP3038354B1 (fr) | Procédé d'affichage d'images ou de vidéos | |
| FR3121251A3 (fr) | Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur | |
| FR3079320A1 (fr) | Procede et dispositif de traitement de donnees d' un environnement de realite virtuelle en mode perception de l'accessibilite | |
| CN117075770A (zh) | 基于扩展现实的交互控制方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210820 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |