FR3069936B1 - Interaction tactile avec des ihm dans un environnement immersif - Google Patents

Abstract

Dispositif d'interaction (10) tactile de moyens de communication et de contrôle dans un environnement immersif d'un objet virtuel (19) représentant un objet réel (26), ledit dispositif comprenant: -un dispositif de navigation (100) en environnement virtuel et immersif apte à diffuser des flux vidéo d'environnement d'un utilisateur et comportant : -une salle immersive (11), -un système de détection (15) comprenant des caméras de détection (16), -un système de diffusion d'images (17), -un élément de suivi porté (41,43), -l'objet réel (26) fonctionnant de façon autonome et étant apte à recevoir et exécuter des commandes, et générer des flux vidéo d'affichage, caractérisé en ce que ledit dispositif d'interaction comprend des moyens pour commander la génération des flux vidéo de l'objet réel (26) et autoriser la diffusion desdits flux vidéo d'affichage dans l'environnement immersif, suite au contact par l'élément de suivi porté (43), de zones spatiales prédéterminées.

Description

INTERACTION TACTILE AVEC DES IHM DANS UN ENVIRONNEMENT IMMERSIF

Domaine technique de l’invention

La présente invention concerne un dispositif d’interaction tactile avec des objets dans un environnement de réalité virtuelle.

La présente invention concerne plus particulièrement un dispositif d’interface de commandes tactiles d’une maquette virtuelle dans un milieu immersif.

La présente invention concerne aussi un procédé d’interfaçage des commandes tactiles envers une maquette de représentation numérique dans un environnement immersif.

Etat de la technique

De manière connue, les véhicules automobiles comportent un poste de conduite dans lequel vient s’installer un conducteur. Devant ce dernier sont disposés un volant de direction et un tableau de bord comportant différents éléments tels que des commandes de climatisation, de radio, d’un ordinateur de bord ou de système de navigation assistée par satellite connu souvent sous le nom de navigation GPS pour «Global Positioning System » de géolocalisation par satellite. Ces commandes peuvent être regroupées au niveau d’une tablette agencée contre une planche de bord devant le conducteur et à portée de main du conducteur. Ladite tablette devient l’objet de différentes études notamment d’ergonomie, de réactivité et de performances. Il est connu d’associer à la tablette un accessoire de commande tel qu’une manette ou « joystick » en anglais. Cet accessoire ou périphérique de commande ne présente pas une utilisation très intuitive. Par exemple, il peut être nécessaire de passer par des menus déroulants avant d’atteindre une application désirée.

De manière générale, les différentes applications offertes par la tablette sont le résultat d’équipes d’études et de mises au point dissociées des équipes d’ergonomie. Il est donc nécessaire de faire une mise en accord des différents résultats. L’avancement technologique actuel de la réalité virtuelle permet de projeter un opérateur au sein d’un univers virtuel dans lequel sont affichés divers contenus, par exemple un objet 3D ou tridimensionnel à étudier. Il est non seulement possible de visualiser différents contenus 3D mais également d’interagir avec ceux-ci en temps réel, ce qui ouvre la voie à bon nombre d’applications. La revue de projet numérique immersive par exemple se matérialise par l’utilisation de la réalité virtuelle comme un outil de contrôle et un support de discussion entre les différents interlocuteurs d’un projet.

Dans le domaine automobile, des maquettes numériques de véhicules peuvent alors être utilisées par différents interlocuteurs dont des designers, des ingénieurs ou des ergonomes qui peuvent dialoguer lors de réunions immersives centrées sur la maquette numérique, ladite maquette servant de support de communication et d’échange de points de vue entre les différents métiers. Ladite maquette numérique permet également de vérifier que le modèle du véhicule respecte bien des critères d’architecture, d’ergonomie, de qualité perçue ou encore d’habitabilité entre autres.

Alors que les maquettes physiques sont massivement utilisées jusqu’à présent, l’objectif actuel est de réduire drastiquement leur usage car elles sont coûteuses et peu écologiques. Classiquement, on commande une maquette physique qui correspond à l’état du prototype à un instant donné. Après d’importants délais, la maquette est livrée mais elle peut être déjà périmée. Par contre, une maquette numérique est disponible plus rapidement, dans une version plus à jour et modifiable en temps réel ce qui permet une plus grande réactivité de l’ensemble des acteurs et démontre l’intérêt de la maquette numérique.

Un autre avantage est que contrairement aux maquettes physiques habituelles de véhicules qui sont souvent à l’échelle un quart, les maquettes virtuelles apparaissent à l’échelle 1, ce qui signifie que l’opérateur peut se mettre dans la peau d’un utilisateur final et entrer dans l’habitacle.

La visualisation d’architecture de véhicule automobile dans un environnement virtuel est donc un enjeu majeur chez les constructeurs automobiles car elle permet d’accélérer les processus de conception. On utilise généralement une salle immersive qui permet de disposer d’un excellent rendu visuel et dans laquelle on déploie deux technologies pour la perception de la profondeur : la stéréovision qui exploite l’effet de disparité binoculaire et la capture et le suivi des déplacements ou « tracking » en anglais qui permet la parallaxe du mouvement. L’étape de mise en accord peut être effectuée dans un environnement immersif tel que le « CAVE© » pour « Cave Automatic Virtual Environment ». Cet environnement immersif est formé par une salle comprenant des capteurs de position d’un utilisateur ici le conducteur et des projecteurs pour projeter des images sur les différentes parois de ladite salle afin de recréer de manière réaliste l’environnement de conduite.

Dans cet environnement immersif, on utilise souvent une manette d’interaction sans fil ou « flystick » en anglais que l’utilisateur représentant le conducteur tient à la main. La position des données « 3D » pour 3 dimensions spatiales et de l’utilisateur dans l’environnement virtuel sont alors modifiés via ladite manette de commande dont l’utilisation n’est pas intuitive. La gestuelle nécessaire pour les interactions n’est non plus ni confortable ni naturelle pour l’utilisateur. Un problème est l’absence de la sensation de toucher de la tablette lors de l’actionnement de la commande.

Un autre cas d’environnement virtuel est formé au niveau d’un casque de réalité virtuelle. Dans ce cadre, l’environnement de l’utilisateur est formé uniquement par des images diffusées devant ses yeux sur l’écran du casque de réalité virtuelle. Ainsi, sa main est représentée par une image de main. La position de la main peut être captée par des caméras.

La publication US 2016/0180595-AI propose un dispositif de captation ou « tracking » en anglais de la main dans un environnement virtuel créé grâce à un casque de réalité virtuelle.

Le problème est que l’utilisateur est plongé dans un environnement virtuel et perd par exemple les sensations de toucher ou de vision de ses propres membres. Cela ne permet donc pas une bonne perception des solutions mises en œuvre.

La publication FR3023626 - A1 propose un dispositif de navigation en réalité virtuelle dans une salle immersive pour étudier un élément d’examen disposé dans ladite salle et solidaire d’une interface haptique.

Le problème est que les images de représentation de l’élément d’examen ne sont pas générées par un système propre audit élément d’examen et autonome. L’utilisateur ne peut percevoir tous les aspects de l’élément d’examen.

Le but de l’invention est de remédier à ces problèmes et un des objets de l’invention est un dispositif d’interaction avec un système de contrôle et de communication d’un objet par action digitale dans un environnement immersif, ledit objet étant apte à produire des transformations selon les positions des manipulations.

Le but de l’invention est plus particulièrement un objet virtuel agencé dans un environnement virtuel immersif reproduisant un objet réel qui est une interface homme-machine telle qu’une console de commande, ledit objet virtuel étant apte à communiquer avec l’objet réel.

Présentation de l’invention

La présente invention concerne un dispositif d’interaction tactile de moyens de communication et de contrôle dans un environnement immersif d’un objet virtuel représentant un objet réel, ledit dispositif comprenant : -un dispositif de navigation en environnement virtuel et immersif apte à diffuser des flux vidéo d’environnement d’un utilisateur et comportant : -une salle immersive, -un système de détection comprenant des caméras de détection, -un système de diffusion d’images, -un élément de suivi porté, -l’objet réel fonctionnant de façon autonome et étant apte à recevoir et exécuter des commandes et générer des flux vidéo d’affichage,

Caractérisé en ce que le dispositif comprend des moyens pour commander la génération des flux vidéo d’affichage de l’objet réel et autoriser la diffusion desdits flux vidéo d’affichage dans l’environnement immersif, suite au contact par l’élément de suivi porté, de zones spatiales prédéterminées.

De manière avantageuse, le dispositif d’interaction tactile de moyens de contrôle et de communication d’un objet virtuel, comprend d’une part, un environnement immersif 3D dans lequel l’utilisateur est immergé, ce dernier ne souffrant donc pas des restrictions par exemple d’un casque de réalité virtuelle et l’intégralité de son champ de vision étant couverte, et d’autre part, un objet réel fonctionnant de façon autonome et apte à recevoir et exécuter des commandes et générer des flux vidéo d’affichage ; ledit dispositif permet de lancer des commandes à destination dudit objet réel et autoriser la diffusion dans l’environnement virtuel des images générées par l’objet réel. Ainsi l’objet réel peut être conçu et développé de façon indépendante à l’environnement immersif, il peut aussi fonctionner de autonome vis-à-vis de l’environnement immersif. Le dispositif d’interaction est apte à générer des commandes dudit objet virtuel sans avoir à créer de maquette physique et en ayant en retour une perception optimale de l’objet actuellement virtuel dans son agencement futur.

De manière avantageuse, le flux vidéo d’affichage généré par l’objet réel est généré de façon autonome indépendamment du flux vidéo généré pour l’environnement immersif, ledit flux vidéo d’affichage est projeté par le système de diffusion d’images du dispositif de navigation en environnement virtuel et immersif ; ce qui permet une perception optimale de l’objet virtuel représentant l’objet réel et fonctionnant de manière autonome.

Selon d’autres caractéristiques de l’invention : -les zones spatiales prédéterminées sont portées par un plan de commande agencé dans la salle immersive.

De manière avantageuse, les zones spatiales prédéterminées sont portées par un plan de commande agencé dans la salle immersive, plan de commande que l’utilisateur pourra ajuster, ou qui sera ajusté de façon automatique par une interface logicielle dédiée. Le plan de commande est virtuel et représenté par ses cordonnées numériques spatiales. -le plan de commande est coplanaire avec une plaque translucide.

De manière avantageuse, le plan de commande est coplanaire avec une plaque translucide c’est-à-dire qu’il est porté physiquement par la plaque translucide qui permet un passage des images diffusées par le système de diffusion d’images de l’environnement immersif sur les parois de la salle immersive et donc sans créer de gêne visuelle pouvant perturber l’immersion de l’utilisateur. Ladite plaque présente une forme rectangulaire sensiblement identique aux tablettes centrales des commandes des véhicules automobiles. - ledit dispositif est apte à procurer un retour haptique au contact par l’élément de suivi porté avec une des zones spatiales prédéterminées.

De manière avantageuse, la plaque translucide formant le plan de commande permet au dispositif de procurer un retour haptique à l’utilisateur lorsque l’élément de suivi porté vient en contact avec le plan de commande. Cela empêche également ledit élément de suivi porté de pouvoir traverser le plan de commande pour rester en cohérence avec un dispositif de commande réel tel qu’une tablette de commande. -l’élément de suivi porté est porté à un doigt.

De manière avantageuse, l’élément de suivi porté est simplement porté à un doigt de l’utilisateur et de manière préférentielle à l’extrémité dudit doigt. Ledit élément de suivi porté peut comprendre un anneau adapté à entourer le doigt, ledit anneau présentant de petits bras, de manière préférentielle au nombre de trois, s’étendant radialement depuis ledit anneau et portant à l’autre extrémité une boule sphérique permettant le suivi par les caméras de détection de l’environnement immersif. La captation du positionnement des boules sphériques permet alors de préciser le positionnement de l’extrémité du doigt de l’utilisateur dans l’espace de la salle immersive et donc son positionnement relatif envers le plan de commande et des zones spatiales prédéterminées. -l’objet réel comporte une interface homme-machine de contrôle et de commande d’une machine.

De manière avantageuse, l’objet réel comporte une interface de contrôle et de commande d’une machine et plus précisément une interface homme-machine d’un système interactif, ledit système étant par exemple un élément de conduite ou de confort du véhicule tel que la navigation assistée par satellite ou la radio dudit véhicule. L’objet réel peut aussi être une console centrale comprenant un ensemble de centralisation des commandes de différents éléments de conduite ou de confort du véhicule. -les zones spatiales sont des zones de déclenchement d’évènements de l’objet réel.

De manière avantageuse, les zones spatiales sont des zones de déclenchement d’évènements de l’objet réel et plus précisément de déclenchements l’interface homme-machine. -ledit dispositif comprend un outil de fusion des flux vidéo d’affichage de l’objet réel et des flux vidéo de l’environnement immersif.

De manière avantageuse, le flux vidéo d’affichage généré par l’objet réel est intégré dans le flux vidéo de l’environnement immersif, ce qui permet de garder les caractéristiques 3D dudit environnement immersif au niveau de l’objet virtuel représentant l’objet réel et donc sans risque de perturber la vision de l’utilisateur. - le flux vidéo d’affichage de l’objet réel est formé par des images bidimensionnelles.

De manière avantageuse, le flux vidéo d’affichage de l’objet réel peut être d’un format différent au flux vidéo de l’environnement immersif, ce qui montre une souplesse d’adaptation du dispositif d’interaction dans un environnement immersif avec diverses interfaces homme-machine telles que celles des différents éléments de conduite et de confort d’un véhicule automobile. L’invention concerne également un procédé de fonctionnement du dispositif d’interaction selon l’invention. Les caractéristiques du procédé sont : -le procédé de fonctionnement d’un dispositif d’interaction tactile de moyens de contrôle et de communications d’objet virtuel comprend : -une étape préalable de calibration en au moins trois points de contact de l’élément de suivi porté avec la plaque translucide.

Avant l’utilisation du dispositif d’interaction tactile de moyens de communication et de contrôle d’un objet virtuel dans un environnement immersif, il est nécessaire de procéder à des réglages ou calibration notamment pour positionner spatialement la représentation de l’objet virtuel. L’utilisateur peut, soit positionner visuellement la plaque transparente de façon à concorder avec la position de l’objet virtuel, soit la positionner de façon automatique au moyen de brique logicielle dédiée. Pour interagir avec l’objet virtuel, le système de captation ou « tracking » repère la position des doigts dans l’espace. Une phase de calibration en trois ou plusieurs points (coins de l’afficheur) permet de repérer avec exactitude les doigts de la main vis-à-vis de l’objet virtuel. Une fois la phase de calibration terminée, les différents modèles sont lancés, les doigts de la main suivis en positionnement spatial peuvent interagir avec l’objet virtuel en ayant un retour tactile grâce à la plaque transparente.

Brève description des figures D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes particuliers de réalisation de l'invention donnés à titre d'exemples non limitatifs et représentés sur les dessins annexés, dans lesquels : -la figure 1 est une vue du dispositif d’interaction. -la figure 2 est une vue de la planche de bord d’un véhicule automobile avec le dispositif d’interaction selon l’invention -la figure 3 est une vue du dispositif d’interaction selon l’invention avec l’élément de suivi porté. -la figure 4 est une vue du dispositif d’interaction lors d’une étape de calibration.

Description détaillée des figures

Dans la description qui va suivre, des chiffres de référence identiques désignent des pièces identiques ou ayant des fonctions similaires.

Le terme « 3D » est équivalent au terme « tridimensionnel ».

Le terme « 2D » est équivalent au terme « bidimensionnel ».

On entend par « superposition » d’un élément sur un autre le fait que les coordonnées spatiales des deux éléments coïncident.

Par la suite, on expose l’invention avec les termes « Interface de contrôle et de commande de machine» en équivalence avec le terme « IHM ». L’invention concerne un dispositif d’interaction permettant à un utilisateur ou opérateur de percevoir dans un environnement virtuel immersif et avec un minimum de gêne l’intégration de différents composants et notamment dans le cas décrit ci-après au niveau du tableau de bord d’un véhicule automobile, d’une console centrale de commandes de divers éléments de confort ou de conduite dudit véhicule automobile. Ces éléments de confort ou de conduite sont par exemple un système de radio ou de climatisation ou de vérification des paramètres de roulage du véhicule. Il est entendu que chacun desdits éléments de confort ou de conduite est un système interactif et comporte une interface homme-machine connue sous l’acronyme IHM, de contrôle et de commande ; ladite interface peut être conçue et développée de façon indépendante de l’environnement de navigation virtuelle immersif et des autres interfaces. Dans le cas décrit ci-après le système interactif est formé par une tablette de commandes centralisées.

On comprend que l’invention n’est pas restreinte à une centralisation des interfaces homme-machine de contrôle et de commandes des éléments de confort ou de conduite du véhicule.

De manière connue, notamment dans le domaine automobile, des maquettes physiques peuvent être utilisées pour mieux percevoir l’intégration des différents composants plus particulièrement au niveau du poste de conduite ou dans l’habitacle du véhicule. Toutefois, ces maquettes sont coûteuses et peu écologiques. Classiquement, une maquette physique correspond à l’état d’un prototype à un instant donné. Ladite maquette possède certains avantages dont l’aspect à échelle 1 humaine et de permettre le toucher. Cependant, ladite maquette présente un défaut de réactivité : la maquette est livrée après d’importants délais et peut être déjà périmée. Par contre, une maquette numérique est disponible plus rapidement, dans une version plus à jour et modifiable en temps réel ce qui permet une plus grande réactivité de l’ensemble des acteurs et démontre l’intérêt de la maquette numérique. L’invention concerne donc un dispositif d’interaction 10 en environnement virtuel immersif avec un ou plusieurs systèmes interactifs de contrôle ou de commandes de machines ; les systèmes interactifs pouvant être des éléments matériels ou des éléments issus de projection d’images ou des moyens et procédés de communication, comme ici, une interface homme-machine de contrôle et de commande d’une machine.

Le dispositif d’interaction 10 comprend donc un dispositif de navigation 100 en environnement virtuel comportant une salle immersive 11, notamment une salle plus connue sous le nom de CAVE pour «Cave Automatic Virtual Environment» en anglais. Ladite salle immersive comprend un espace délimité par des parois 12 comprenant un plancher 13 et des cloisons verticales 14. Ladite salle est équipée d’un système de détection 15 comportant par exemple des caméras de détection 16 ou « trackers » en anglais, et un système de diffusion 17 d’images qui peut comprendre des moyens de vidéo-projection ou des projecteurs 18, lesdits systèmes de détection et de diffusion étant disposés de manière préférentielle aux coins de la salle immersive comme représenté en figure 1.

Le système de diffusion 17 est apte à diffuser des images 3D sur les parois 12 de la salle immersive. Un utilisateur 40 est introduit dans la salle immersive et porte des éléments de suivi portés 41 dont des lunettes 3D 42 pour être immergé dans l’environnement 3D virtuel de la salle immersive 11 entouré par des objets virtuels en 3D 19. L’objet de l’invention est un dispositif permettant une interaction avec un objet virtuel 19, qui dans la suite de description et pour faciliter la compréhension, représente une interface homme-machine d’un système interactif ou IHM 50 d’un élément de confort ou de conduite d’un véhicule automobile. Le système interactif reçoit des commandes et affiche ensuite des résultats desdites commandes. L’utilisateur peut donc agir par des commandes dans l’environnement immersif, sur l’objet virtuel 19 qui lui renvoie ensuite par affichage les résultats de ses commandes. Ledit objet virtuel 19 est étroitement associé à un objet réel 26 agencé de manière préférentielle en dehors de la salle immersive 11. L’objet réel 26 fonctionne de façon autonome et est apte à recevoir et exécuter des commandes et générer des flux vidéo d’affichage. Toute commande sur l’objet virtuel 19 entraîne une commande sur l’objet réel 26. De même les images d’affichage de l’objet réel 26 seront également affichées par l’objet virtuel 19.

De manière connue, dans l’environnement immersif, le système de détection 15 est destiné à détecter des mouvements et à relever des positions d’un ou de plusieurs éléments de suivi 41, puis à adresser des informations à une unité centrale de contrôle 27 ; ladite unité centrale est alors apte à commander la diffusion d’images selon le point de vue de l’utilisateur, sur les parois 12 de la salle immersive 11.

Un ensemble d’examen est disposé dans la salle immersive 11, ledit ensemble peut être une partie d’un véhicule et dans l’exemple présenté en figure 1, un poste de conduite comprenant un tableau de bord 21.

Grâce au dispositif de navigation virtuelle, on peut ainsi vérifier les différentes composantes du tableau de bord 21 comme par exemple un poste de radiophonie, et notamment leur intégration dans ledit tableau de bord. Dans la salle immersive 11 du dispositif d’interaction 10, une maquette physique 22 est installée, représentant un élément d’examen qui est une tablette 23 de contrôle et de commande d’éléments de confort ou de conduite du véhicule. Ladite tablette 23 est agencée contre une planche du tableau de bord 21. Dans l’exemple présenté dans les figures 2 à 4, la tablette 23 est une console centrale fixée solidaire de l’ensemble d’examen.

La figure 2 montre ainsi un poste de conduite de véhicule automobile avec une console centrale 23 sur laquelle défilent des images d’un système de navigation par géolocalisation. La console centrale ainsi que tout l’environnent du poste de conduite sont issues d’images projetées sur les parois 12 de la salle immersive 11, par le système de diffusion 17 d’images du dispositif de navigation 100 en environnement virtuel immersif.

Les positions, dimensions et orientations de la maquette physique 22 sont parfaitement définies par rapport aux positions et dimensions de l’ensemble d’examen 17. En effet la maquette physique 22 est parfaitement représentée par ses coordonnées numériques comme un composant de l’ensemble d’examen.

La tablette 23 est de manière préférentielle une plaque translucide 24 rectangulaire de dimensions sensiblement égales aux dimensions d’une console centrale réelle (non représentée) sujet de l’examen. Ainsi les images projetées par le système de diffusion 17 d’images sur les parois 12 de la salle peuvent être vues de façon optimale par l’utilisateur sans gêne.

La plaque translucide 24 est coplanaire avec un plan de commande 25. Le plan de commande 25 est un plan virtuel pour permettre la validation d’une commande par l’utilisateur 40, ladite commande étant prise en compte par le dispositif de navigation 100.

En effet, selon un mode de réalisation de l’invention, une commande est générée dans l’environnement virtuel par un contact entre un élément de suivi 41 porté et le plan de commande 25. Le contact peut par exemple être établi par la superposition de la position spatiale de l’élément de suivi avec la projection de ladite position spatiale de l’élément de suivi sur le plan de commande.

De façon physique, un contact d’un doigt de l’utilisateur avec la plaque translucide 24 plus précisément un contact avec une face dite active de ladite plaque translucide, tournée vers l’utilisateur 40, est susceptible de générer des commandes sur l’objet virtuel 19 entraînant des commandes sur l’objet réel 26 et donc des évènements sur l’objet réel 26. Le contact avec la face active de la plaque peut définir donc une commande pour au moins une IHM réelle 50 de contrôle et de commande de machine.

Le dispositif de navigation 100 en environnement virtuel est ainsi apte à détecter et à recevoir des commandes de l’utilisateur 40 et de transmettre ensuite ces commandes à l’interface IHM réelle de contrôle et de commande de machine.

On note ainsi comme représenté en figure 2, que des changements de l’environnement du poste de conduite, par exemple en manœuvrant le volant de direction du véhicule, entraînent des commandes sur ΙΊΗΜ 50 de la console centrale représentant un dispositif de navigation par géolocalisation et de fait des changements sur les images sur la console centrale, dans ce cadre, des images pour des changements de la signalisation de la route suivie.

Selon un mode de réalisation préféré, l’utilisateur 40 porte autour et à l’extrémité d’un doigt, ici un index, un deuxième élément de suivi porté 43. Après une phase de calibration et de réglages représentée en figure 4, la position dudit élément de suivi porté 43 permet de connaître de façon précise la position du doigt. La position spatiale dudit élément de suivi porté 43 peut ainsi être assimilée à la position spatiale du doigt de l’utilisateur 40. Les caméras 16 du système de détection 15 peuvent ainsi suivre les déplacements dudit élément de suivi porté 43 et donc du doigt dans l’espace de la salle immersive 11 et calculer la position relative dudit élément de suivi porté 43 par rapport à la plaque translucide 24. La phase de calibration comprend au moins trois points de mesures avec un contact du doigt avec le deuxième élément de suivi porté 43 avec la plaque translucide 24 représentant physiquement le plan de commande 25.

Selon la figure 3, ledit deuxième élément de suivi porté 43 peut comprendre un anneau adapté à entourer le doigt, ledit anneau présentant de petits bras, de manière préférentielle au nombre de trois, s’étendant radialement depuis ledit anneau et portant à l’autre extrémité une boule sphérique 44 permettant le suivi par les caméras 16 du système de détection 15 de l’environnement immersif. La captation du positionnement des boules sphériques 44 permet alors de déduire le positionnement de l’extrémité du doigt de l’utilisateur dans l’espace de la salle immersive 11 et donc son positionnement relatif envers le plan de commande 25.

La surface de la plaque translucide 24 peut être divisée en une ou plusieurs zones comme représentée dans la figure 3 qui sont des zones spatiales prédéterminées 28, chacune desdites zones spatiales prédéterminées est associée à une IHM prédéfinie de contrôle et de commande de machine. La zone spatiale prédéterminée 28 est portée par le plan de commande 25. Le contact avec une desdites zones spatiales peut ainsi déclencher un évènement propre à une IHM prédéfinie de contrôle et de commande 50 de machine, associée à ladite zone spatiale prédéterminée 28. La captation des positions spatiales des boules sphériques permet alors de préciser la position de l’extrémité du doigt de l’utilisateur dans l’espace de la salle immersive 11 et donc sa position relative vis-à-vis des zones spatiales prédéterminées 28.

Les positions et mouvements de l’élément de suivi porté 43 et donc du doigt de l’opérateur peuvent être détectés par les caméras 16 du système de détection 15 de la salle. Ainsi l’utilisateur 40 peut agir avec l’objet 3D virtuel qui lui est présenté : il peut ainsi appuyer sur une portion de l’objet 3D représentant une zone spatiale prédéterminée. Le deuxième élément de suivi porté 43 entre en contact avec le plan de commande ou de façon réelle le doigt de l’utilisateur entre alors en contact avec la plaque translucide. L’opérateur peut alors ressentir un contact. La position et le mouvement du deuxième élément de suivi porté 43 sont détectés par les caméras du système de détection et les valeurs de position sont adressées à l’unité de contrôle 27 qui est alors apte à adresser une commande à ΙΊΗΜ 50 de contrôle et de commande de machine prédéfinie, celle-ci est apte à générer d’autres images consécutives à la commande lancée par l’opérateur.

Il faut noter que le contact de l’élément de suivi porté 43 avec le plan de commande 25 est capté par le système de détection 15 de la salle immersive et l’unité centrale transforme ce contact en une validation par exemple un clic d’un moyen de pointage tel qu’une souris d’un ordinateur, avant de l’adresser vers l’interface de contrôle et de commande de machine choisie qui exécute alors la commande validée. L’IHM de contrôle et de commande 50 de machine fonctionne de façon autonome, indépendamment des programmes de calcul de l’environnement virtuel de l’utilisateur 40 se déroulant sur l’unité centrale 27 dont elle reçoit des commandes. En effet, ladite IHM de contrôle et de commande est conçue de façon indépendante et ne présente pas de moyens de connexions spécifiques avec l’unité centrale 27 de la salle immersive. On entend ici par moyens spécifiques un ou des protocoles de communications spécifiques. L’unité centrale 27 est donc apte à détecter et à transmettre des commandes d’une personne envers ΙΊΗΜ 50 réelle de contrôle et de commande de machine. Ladite IHM de contrôle et de commande 50 de machine reçoit des commandes d’une personne et renvoie en affichage des images sur son écran d’affichage dédié

De plus l’unité centrale 27 est alors mise en état pour afficher des images reçues de l’interface de contrôle et de commande 50 de machine choisie. Ainsi, après validation du choix de l’utilisateur sur un écran avec un choix multiple entre différentes IHM de contrôle et de commande prédéfinies, chacune desdites IDM correspondant à une des zones spatiales prédéterminées affichées, l’affichage ne concerne plus que l’interface de contrôle et de commande choisie.

Selon l’invention, les flux vidéo des images passant par la plaque translucide sont également projetés par le système de diffusion 17 d’images mais ils proviennent de l’objet réel 26 qui est ΙΊΗΜ de contrôle et de commande de machine 50 choisie. L’IHM de contrôle et de commande de machine peut être un programme informatique se déroulant sur une unité de calcul 29 de façon indépendante aux programmes informatiques pour la génération des images d’environnement virtuel tournant sur l’unité centrale 27. Lesdits flux vidéo d’affichage sont générés de façon indépendante par ΙΊΗΜ 50 de contrôle et de commande de machine, lesquels flux sont transmis à l’unité centrale 27 puis fusionnés avec les flux vidéo d’environnement du dispositif de navigation 100 en environnement virtuel immersif et ensuite projetés sur les parois 12 de la salle immersive 11 par les mêmes projecteurs 18 du système de diffusion 17 d’images. L’IHM de contrôle et de commande envoie des images d’affichage qui sont des images 2D bidimensionnelles. Lesdites images sont adressées en un flux vidéo d’affichage vers l’unité centrale 27. Ladite unité centrale 27 comprend un moyen de transformation de flux vidéo 2D en flux vidéo 3D et d’intégration ou d’assemblage dans le flux vidéo de l’environnement virtuel, ledit moyen est un logiciel dédié pour traiter les flux vidéo. A réception des flux vidéo d’affichage de ΙΊΗΜ de contrôle et de commande réel ou de l’objet réel 26, ladite unité centrale 27 est alors apte à transformer le flux vidéo d’affichage 2D reçues pour les intégrer avec le flux vidéo des images 3D d’environnement virtuel de l’utilisateur 40.

Le flux d’images vidéo d’affichage issu de ΙΊΗΜ de contrôle et de commande 50 de machines et le flux d’images d’environnement virtuel généré par l’unité centrale 27 sont ensuite adressés au système de diffusion 17 de la salle pour être diffués par las projecteurs 18 sur les parois 12 de la salle immersive pour générer l’environnement 3D pour l’utilisateur. Le flux d’images issu de ΙΊΗΜ de contrôle et de commande de machine est ainsi perçu par l’utilisateur au travers de la plaque translucide et plus précisément le flux vidéo 2D de ΙΊΗΜ de contrôle et de commande 50 de machine ou IHM est affiché dans un plan virtuel confondu avec le plan de commande 25 de la plaque translucide 24, de manière à faire coïncider la vue de ΙΊΗΜ de contrôle et de commande 50 de machine avec la plaque translucide 24 de commande tactile de l'opérateur. L’utilisateur peut alors agir sur l’objet virtuel 19 qui est cette console virtuelle comme sur une console centrale réelle. La plaque translucide 24 permet un retour haptique à l’appui sur une zone spatiale prédéterminée. L’objectif est atteint : le dispositif d’interaction permet une interaction directe et un contrôle sur un objet virtuel, ledit objet virtuel étant généré par un système de représentation vidéo fonctionnant de manière autonome.

Comme il va de soi, l'invention ne se limite pas aux seules formes d'exécution de cette prise, décrites ci-dessus à titre d'exemples, elle en embrasse au contraire toutes les variantes.

Par exemple, les zones spatiales prédéterminées peuvent être portées par une surface présentant une courbure.

Par exemple, ledit dispositif peut être appliqué dans un domaine ludique avec une interface de contrôle et de commande de jeu sur ordinateur par exemple.

Claims (10)

1. Revendications

   1. Dispositif d’interaction (10) tactile de moyens de communication et de contrôle dans un environnement immersif d’un objet virtuel (19) représentant un objet réel (26), ledit dispositif comprenant: -un dispositif de navigation (100) en environnement virtuel et immersif apte à diffuser des flux vidéo d’environnement d’un utilisateur et comportant : -une salle immersive (11), -un système de détection (15) comprenant des caméras de détection (16), -un système de diffusion d’images (17), -un élément de suivi porté (41,43), -l’objet réel (26) fonctionnant de façon autonome et indépendante au dispositif de navigation en environnement virtuel et étant apte à recevoir et exécuter des commandes, et générer des flux vidéo d’affichage, caractérisé en ce que ledit dispositif d’interaction comprend des moyens pour commander la génération des flux vidéo à l’objet réel (26) et autoriser la diffusion desdits flux vidéo d’affichage générés en 2D bidimensionnel oar l’obiet réel (26) dans l’environnement immersif 3D par le dispositif de navigation (100), suite au contact par l’élément de suivi porté (43), de zones spatiales prédéterminées (28).
2. 2. Dispositif d’interaction (10) selon la revendication 1, caractérisé en ce que les zones spatiales prédéterminées (28) sont portées par un plan de commande (25) agencé dans la salle immersive (11).
3. 3. Dispositif d’interaction (10) selon la revendication 2, caractérisé en ce que le plan de commande (25) est coplanaire avec une plaque translucide (24).
4. 4. Dispositif d’interaction (10) selon l’une quelconque des revendications 1 à 3, caractérisé en ce que ledit dispositif est apte à procurer un retour haptique au contact par l’élément de suivi porté (43) sur une des zones spatiales prédéterminées (28).
5. 5. Dispositif d’interaction (10) selon l’une quelconque des revendications 1 à 4, caractérisé en ce que l’élément de suivi porté (43) est porté par un doigt.
6. 6. Dispositif d’interaction selon l’une quelconque des revendications 1 à 5, caractérisé en ce que l’objet réel (26) comporte une interface homme-machine (50).
7. 7. Dispositif d’interaction selon la revendication 6, caractérisé en ce que les zones spatiales prédéterminées (28) sont des zones de déclenchement d’évènements de l’objet réel (26).
8. 8. Dispositif d’interaction (10) selon l’une quelconque des revendications 1 à 7, caractérisé en ce que ledit dispositif comprend un outil de fusion des flux vidéo d’affichage de l’objet réel (26) et des flux vidéo de l’environnement immersif.
9. 9. Dispositif d’interaction (10) selon l’une quelconque des revendications 1 à 8, caractérisé en ce que le flux vidéo d’affichage de l’objet réel (26) est formé par des images bidimensionnelles.
10. 10. Procédé de fonctionnement d’un dispositif d’interaction (10) tactile de moyens de contrôle et de communications d’objet virtuel selon l’une quelconque des revendications 3 à 9, comprenant : -une étape préalable de calibration en au moins trois points de contact de l’élément de suivi porté (43) avec la plaque translucide (24).