FR3041804A1 - Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe - Google Patents

Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe Download PDF

Info

Publication number
FR3041804A1
FR3041804A1 FR1501977A FR1501977A FR3041804A1 FR 3041804 A1 FR3041804 A1 FR 3041804A1 FR 1501977 A FR1501977 A FR 1501977A FR 1501977 A FR1501977 A FR 1501977A FR 3041804 A1 FR3041804 A1 FR 3041804A1
Authority
FR
France
Prior art keywords
virtual
user
sensor
dimensional simulation
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1501977A
Other languages
English (en)
Other versions
FR3041804B1 (fr
Inventor
Igor Fain
Patrice Kurdijian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Aviation SA
Original Assignee
Dassault Aviation SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Aviation SA filed Critical Dassault Aviation SA
Priority to FR1501977A priority Critical patent/FR3041804B1/fr
Priority to CA2942652A priority patent/CA2942652C/fr
Priority to US15/273,587 priority patent/US20170092223A1/en
Publication of FR3041804A1 publication Critical patent/FR3041804A1/fr
Application granted granted Critical
Publication of FR3041804B1 publication Critical patent/FR3041804B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ce système (10) comprend : - un premier capteur (18) de détection d'une direction de vision d'un premier utilisateur (14), - une unité de calcul (22) propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur (18) ; - pour au moins un deuxième utilisateur (16), un ensemble de restitution (24) immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul (22).. Le système comprend, pour le premier utilisateur (14), un deuxième capteur (20) de détection de la position d'une partie d'un membre réel du premier utilisateur (14), L'unité de calcul (22) est propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du premier utilisateur (14), comprenant une tête virtuelle etn membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur (18) et du deuxième capteur (20).

Description

Système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d’utilisateurs et procédé associé
La présente invention concerne un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d’utilisateurs, comprenant : - pour au moins un premier utilisateur, un premier capteur de détection d’une direction de vision du premier utilisateur, - une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l’environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection ; - pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l’unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle.
Un tel système est destiné notamment à être utilisé pour organiser des formations techniques regroupant plusieurs utilisateurs dans un même environnement virtuel.
En particulier, le système selon l’invention est adapté pour regrouper les utilisateurs dans un environnement virtuel reproduisant une partie d’un aéronef, notamment pour apprendre et répéter des procédures de maintenance et/ou d’utilisation de l’aéronef.
Ces procédures nécessitent généralement d'effectuer des opérations successives sur des équipements variés suivant un ordre déterminé avec des gestes définis. Généralement, les formations de ce type sont conduites dans une salle de classe, à l'aide de supports bidimensionnels projetés sur des écrans, tels que des présentations comprenant des images.
De telles présentations sont peu représentatives de l’environnement réel au sein d’un aéronef. Elles permettent d’acquérir une connaissance théorique de la procédure à effectuer, mais peu d'expérience pratique. D’autres formations sont conduites directement sur un aéronef ou sur une maquette de l’aéronef, ce qui permet d’appréhender plus concrètement la procédure à effectuer. Lors de ces formations, le nombre de participants pouvant simultanément visualiser la procédure à effectuer doit souvent être limité, notamment si l’environnement est confiné, comme par exemple dans la soute technique d’un aéronef.
Par ailleurs, ces formations nécessitent d’immobiliser un aéronef ou de reproduire une maquette représentative de l'aéronef, ce qui est onéreux et peu pratique.
En outre, tous les participants doivent être présents simultanément à la formation, ce qui peut être coûteux si les participants proviennent de sites divers.
Il est par ailleurs connu de plonger un utilisateur unique dans un environnement tridimensionnel virtuel, par exemple en le munissant d’un casque propre à restituer une maquette tridimensionnelle virtuelle. L’utilisateur perçoit l’environnement virtuel, mais pas nécessairement d’autres utilisateurs, ce qui rend la formation très peu interactive.
Un but de l’invention est de fournir un système de simulation tridimensionnelle qui permette d’une manière peu coûteuse et pratique d’offrir un support très interactif pour interagir entre utilisateurs dans un environnement d’une plate-forme complexe, notamment pour former des utilisateurs à la maintenance et/ou à l’utilisation de la plateforme complexe. À cet effet, l’invention a pour objet un système du type précité, caractérisé en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d’une partie d’un membre réel du premier utilisateur, l’unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l’un par rapport à l’autre sur la base des données du premier capteur et du deuxième capteur.
Le système selon l’invention peut comprendre l’une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible : - le membre et le membre virtuel sont des bras respectivement de l’utilisateur et de l’avatar ; - la partie du membre de l’utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur ; - l’unité de calcul est propre à déterminer la position d’une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à déterminer la position d’une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection ; - l’unité de calcul est propre à déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel ; - l’unité de calcul est propre à engendrer une représentation d’une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d’un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s’étendant à partir de l’extrémité de l’épaule virtuelle ; - il comprend, pour une pluralité de premiers utilisateurs, un premier capteur de détection d'une direction de vision de l’utilisateur, et un deuxième capteur de détection de la position d’une partie d’un membre de l’utilisateur, l’unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle un avatar de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l’un par rapport à l’autre sur la base des données du premier capteur et du deuxième capteur du premier utilisateur, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l’avatar d’un ou plusieurs premiers utilisateurs dans la simulation tridimensionnelle virtuelle ; - l’unité de calcul est propre à placer les avatars d’une pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l’avatar d’un seul premier utilisateur à la localisation donnée ; - il comprend, pour le ou chaque premier utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l’unité propre à plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle virtuelle ; - l’ensemble de restitution est propre à être porté par la tête du premier utilisateur, le premier capteur et/ou le deuxième capteur étant montés sur l’ensemble de restitution ; - dans une position donnée prédéfinie de la partie d’un membre de l’utilisateur détectée par le deuxième capteur, l’unité de calcul est propre à afficher au moins une fenêtre d’information et/ou de sélection dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième utilisateur ; - l’unité de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à masquer l’affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n’est pas physiologiquement possible ; - il comprend, pour le ou chaque premier utilisateur, un capteur de position, propre à fournir à l’unité de calcul des données géographiques de positionnement du premier utilisateur. L’invention a également pour objet un procédé d’élaboration d’une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les étapes suivantes : - fourniture d’un système tel que décrit plus haut; - activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l’unité de calcul, - génération d’une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l’un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur.
Le système selon l’invention peut comprendre l’une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible : - la génération de la simulation tridimensionnelle virtuelle comprend le chargement d’une maquette représentative d’une plateforme, et la représentation tridimensionnelle virtuelle de l’environnement virtuel d’une région de la plateforme, le ou chaque premier utilisateur évoluant dans l’environnement d’aéronef pour effectuer au moins une simulation d’opération de maintenance et/ou d’utilisation de la plateforme. L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple, et faite en se référant aux dessins annexés, sur lesquels : - la figure 1 est une vue schématique d’un premier système de simulation tridimensionnelle virtuelle selon l’invention ; - la figure 2 est une vue de l’environnement virtuel crée par le système de simulation selon l’invention, comprenant une pluralité d’avatars représentatifs de plusieurs utilisateurs ; - les figures 3 et 4 sont des vues agrandies illustrant la définition d’un avatar ; - la figure 5 est une vue illustrant une étape d’activation d’un menu de sélection au sein de la simulation tridimensionnelle virtuelle ; - la figure 6 est une vue d’un indicateur de sélection d’une zone ou d’un objet dans la simulation tridimensionnelle virtuelle ; - la figure 7 est une vue détaillée d’un menu de sélection ; - la figure 8 est une vue illustrant la sélection d’une région d’un aéronef dans la simulation tridimensionnelle virtuelle.
Un premier système 10 de simulation tridimensionnelle virtuelle selon l’invention, propre à engendrer un environnement virtuel 12, visible sur la figure 2, réunissant une pluralité d’utilisateurs 14, 16 est illustré par la figure 1.
Le système 10 est destiné à être mis en oeuvre notamment pour simuler une opération de maintenance et/ou d’utilisation d’une plate-forme, notamment d’un aéronef, par exemple dans le cadre d’une formation.
Dans cet exemple, au moins un premier utilisateur 14 est propre à recevoir et à reproduire des informations relatives à l’opération de maintenance et/ou d’utilisation, notamment les étapes d’une procédure de maintenance et/ou d’utilisation. Au moins un deuxième utilisateur 16 est un formateur diffusant les informations auprès de chaque premier utilisateur 14 et vérifiant la bonne reproduction des informations.
Les opérations de maintenance et/ou d’utilisation comportent par exemple des étapes de montage / démontage d’équipements de la plateforme, ou encore des étapes de test et/ou d’activation d’équipements de la plateforme.
Dans cet exemple, le système 10 comporte, pour chaque utilisateur 14, 16, un capteur 17 de position de l’utilisateur, un premier capteur 18 de détection de la direction de vision de l’utilisateur 14, 16, et un deuxième capteur 20 de détection de la position d’une partie d’un membre de l’utilisateur 14, 16.
Le système 10 comporte en outre au moins une unité de calcul et de synchronisation 22, propre à recevoir et à synchroniser les données provenant de chaque capteur 17, 18, 20 et à créer une simulation tridimensionnelle virtuelle réunissant les utilisateurs 14, 16 dans l’environnement virtuel 12, sur la base des données des capteurs 17, 18, 20 et sur la base d’une maquette tridimensionnelle représentative de l’environnement virtuel 12. La maquette tridimensionnelle est par exemple une maquette d’au moins une zone de la plateforme.
Le système 10 comporte en outre, pour chaque utilisateur 14, 16, un ensemble de restitution 24 de la simulation tridimensionnelle virtuelle engendrée par l’unité de calcul 22 à partir du point de vue de l’utilisateur 14, 16, pour immerger chaque utilisateur 14, 16 dans l’environnement virtuel 12. L’ensemble de restitution 24 est par exemple un casque de réalité virtuelle. Il est porté par la tête de l’utilisateur 14, 16 avec une orientation fixe par rapport à la tête de l'utilisateur. Il comporte généralement un système d’affichage tridimensionnel, disposé en regard des yeux de l’utilisateur, notamment un écran et/ou des lunettes. L’ensemble de restitution 24 est par exemple un casque de type Oculus Rift DK2.
Le capteur de position 17 comporte avantageusement au moins un élément fixé sur l’ensemble de restitution 24.
Le capteur de position 17 est par exemple un capteur comprenant au moins une source lumineuse, notamment une diode électroluminescente, fixée sur l’ensemble de restitution et un détecteur optique, par exemple infrarouge, disposé en regard de l’utilisateur pour détecter la source lumineuse.
En variante, le capteur de position 17 est un gyroscope à accéléromètre, fixé sur l’ensemble de restitution 24, dont les données sont intégrées pour donner à chaque instant la position de l’utilisateur.
Le capteur de position 17 est propre à fournir des données géographiques de positionnement de l’utilisateur, notamment pour déterminer les mouvements globaux de la tête de l’utilisateur 14, 16 par rapport à un repère centralisé commun à tous les utilisateurs 14, 16.
Le premier capteur de détection 18 est propre à détecter la direction de vision de l’utilisateur 14, 16.
Le premier capteur 18 comporte avantageusement au moins un élément fixé sur l’ensemble de restitution 24 pour être mobile conjointement avec la tête de l’utilisateur 14, 16. Il est apte à suivre la direction de vision de l’utilisateur suivant au moins un axe vertical et au moins un axe horizontal, de préférence suivant au moins trois axes.
Il est par exemple formé par un gyroscope à accéléromètre qui peut être identique, le cas échéant, au gyroscope du capteur de position 17.
En variante, le premier capteur 18 comporte une source lumineuse portée par l’ensemble de restitution 24 et au moins une caméra, de préférence plusieurs caméras de détection de la source lumineuse, la ou chaque caméra étant fixée en regard de l’utilisateur, et pouvant être commune avec le capteur de position 17, le cas échéant.
Le premier capteur 18 est propre à produire des données dans un repère propre à chaque utilisateur 14, 16 qui sont ensuite transposées selon l’invention dans le repère centralisé, en utilisant des données du capteur de position 17.
Le deuxième capteur 20 est un capteur de détection d’au moins une partie d’un membre réel de l’utilisateur 14, 16. En particulier, le membre de l'utilisateur est un bras, et le deuxième capteur 20 est propre à détecter la position et l’orientation de la main et d’au moins un tronçon de l’avant-bras de l’utilisateur 14, 16.
De préférence, le deuxième capteur 20 est propre à détecter la position et l’orientation des deux mains et des avants bras associés de l’utilisateur 14, 16.
Le deuxième capteur 20 est par exemple un capteur de mouvements, fonctionnant avantageusement par détection infrarouge. Le capteur est par exemple de type « Leap Motion ».
En variante, le deuxième capteur 20 est une caméra opérant dans le domaine visible, associée à un logiciel de reconnaissance de forme.
Avantageusement, le deuxième capteur 20 est également fixé sur l’ensemble de restitution 24, pour être mobile conjointement avec la tête de l’utilisateur, en minimisant la gêne pour l’utilisateur.
Le champ de détection du capteur 20 s’étend en regard de l’utilisateur 14, 16, pour maximiser les chances de détection de la partie du membre de l’utilisateur 14, 16 à chaque instant.
Le deuxième capteur 20 est propre à produire des données dans un repère propre au capteur 20, qui sont ensuite transposées selon l’invention dans le repère du premier capteur 18, puis dans le repère centralisé sur la base de la position et de l’orientation connues du deuxième capteur 20 sur l’ensemble de restitution 24, et des données du capteur de position 17 et du premier capteur 18.
Les données engendrées par le premier capteur 18 et par le deuxième capteur 20 sont propres à être transmises en temps réel à l’unité de calcul 22, à une fréquence par exemple comprise entre 60 Hz et 120 Hz.
De préférence, l’ensemble de restitution 24 est muni d'un système 26 de transmission de données permettant une communication bidirectionnelle entre l’unité de calcul 22 et l’ensemble de restitution 24 via un moyen de transmission, incluant par exemple un câble USB, pour transmettre les données des capteurs 17, 18, 20, et pour recevoir de l'unité de calcul 22, les données nécessaires à l’immersion de l’utilisateur 14, 16 dans la simulation tridimensionnelle virtuelle engendrée par l’unité de calcul 22. L’unité de calcul 22 comporte au moins un processeur 30, et au moins une mémoire 32 contenant des applications logicielles propres à être exécutées par le processeur 30.
La mémoire 32 contient notamment une application 34 de chargement d’une maquette tridimensionnelle représentative de l’environnement virtuel 12 dans lequel les utilisateurs 14, 16 sont destinés à être réunis, une application 35 de génération de l’environnement virtuel 12 sur la base de la maquette tridimensionnelle chargée et, selon l’invention, une application 36 de création et de positionnement, pour chaque utilisateur, 14, 16 d’un avatar animé 38 dans l’environnement virtuel 12.
La mémoire 32 contient en outre une application 40 de contrôle et de restitution sélective de l’environnement virtuel 12 et du ou des avatars 38 de chaque utilisateur 14, 16. L’application de chargement 34 est propre à récupérer sous forme informatique un fichier de maquette tridimensionnelle représentatif de l’environnement virtuel 12 dans lequel vont être plongés les utilisateurs 14, 16.
La maquette tridimensionnelle est par exemple une maquette représentative d’une plate-forme, notamment un aéronef dans son ensemble, ou d’une partie de la plate-forme. La maquette tridimensionnelle comporte par exemple des données de positionnement relatif et de forme d’une ossature supportant des composants et de chacun des composants montés sur l’ossature. Elle comporte notamment des données d'attribution de chaque composant à un système fonctionnel (par exemple un numéro de série pour chaque composant).
La maquette est généralement organisée au sein d’un fichier informatique, sous la forme d’une arborescence de modèles issue d’un logiciel de conception assistée par ordinateur, cette arborescence étant par exemple organisée par type de systèmes (structure, fixation, équipement). L’application 35 de génération est propre à utiliser les données de la maquette tridimensionnelle pour engendrer une représentation tridimensionnelle virtuelle de l’environnement virtuel 12. L’application 36 de création et de positionnement d'avatars animés 38 est propre à analyser la position de chaque utilisateur 14, 16 dans l’environnement virtuel 12 sur la base des données de positionnement du capteur de position 17, et de données de direction de vision, reçues du premier capteur 18.
Selon l’invention, l’application 36 de création et de positionnement est propre à créer, pour chaque utilisateur 14, 16 un avatar animé 38 représentatif de l’attitude et du positionnement d’au moins un membre de l’utilisateur, notamment d’au moins un bras de l’utilisateur et à placer chaque avatar 38 dans l’environnement virtuel 12.
Dans l'exemple illustré par la figure 3 et par la figure 4, l’avatar 38 comprend une tête virtuelle 50, mobile en fonction des déplacements de la tête de l’utilisateur 14, 16, mesurés par le premier capteur 18, un tronc virtuel 54 relié à la tête virtuelle 50 par un cou virtuel 56 et des épaules virtuelles 58, le tronc virtuel 54 et les épaules virtuelles 58 étant mobiles conjointement en rotation avec la tête virtuelle 50. L’avatar 38 comprend en outre deux membres virtuels 59, chaque membre virtuel 59 étant mobile en fonction du déplacement et de l’orientation de la partie de membre correspondante de l’utilisateur détectée par le deuxième capteur 20. Chaque membre virtuel comprend ici une main virtuelle 62, une première région 64 et une deuxième région 66 reliées entre elles par un coude virtuel 68.
Pour créer et positionner l’avatar 38, l’application 36 comprend un module de positionnement de la tête virtuelle 50 de l’avatar 38, sur la base des données reçues du capteur de position 17 et du premier capteur 18, un module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 de l’avatar 38, en fonction des données de positionnement de la tête virtuelle 50, et un module de positionnement des membres virtuels 59 de l'utilisateur 14, 16 dans l’environnement virtuel 12, sur la base notamment des données du deuxième capteur 20.
Pour chaque utilisateur 14, 16, le module de positionnement de la tête virtuelle 50 est propre à utiliser les données du capteur de position 17, pour situer la tête virtuelle 50 de l’avatar 38 dans l’environnement virtuel 12.
Les données du capteur de position 17 sont recalées dans un référentiel commun à l’ensemble des utilisateurs 14, 16 dans l’environnement virtuel 12.
Dans un premier mode de fonctionnement, les avatars 38 d’utilisateurs 14, 16 sont positionnés à des localisations distinctes les unes des autres, au sein de l’environnement virtuel 12, comme illustré sur la figure 2.
Dans un autre mode de fonctionnement, les avatars 38 d’utilisateurs 14, 16 sont positionnés avec un recouvrement les uns par rapport aux autres, notamment si l’environnement virtuel 12 est confiné. Dans ce cas, comme on le verra plus bas, chaque utilisateur 14, 16 n’est pas apte à voir tous les avatars 38 présents dans l’environnement virtuel 12 confiné.
Le module de positionnement de la tête virtuelle 50 est propre à traiter des données provenant du premier capteur 18, pour engendrer en temps réel, des données d’orientation de la tête virtuelle 50 de l’avatar 38 correspondant à la direction de vision mesurée à partir du premier capteur 18.
La tête virtuelle de l’avatar 38 présente ici une forme sensiblement sphérique. Elle comporte un marqueur représentatif de la direction de vision, notamment un pavé 52 illustrant la position des yeux de l’utilisateur, et de l’ensemble de restitution 24 placé sur les yeux. L’orientation de la direction de vision de l’avatar 38 est possible autour d’au moins un axe vertical A-A’ et d’un axe horizontal B-B’, et avantageusement suivant un deuxième axe horizontal C-C’. L’avatar 38 n’est ainsi pas limité en rotation et peut déplacer sa direction de vision de plus de 90° de chaque côté de sa direction de vision de base.
Le module de détermination du positionnement du tronc virtuel 54 et des épaules 58 est propre à caler en temps réel la position du tronc virtuel 54, représentée également par une sphère sur l’avatar 38 à une distance prédéterminée de la tête 50. Cette distance prédéterminée correspond à la hauteur du cou virtuel 56 de l’avatar 38 représenté par un cylindre orienté verticalement.
Le cou virtuel 56 est placé verticalement au niveau du point de pivot vertical de la tête virtuelle 50 autour de l’axe vertical A-A’.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à fixer l’orientation angulaire des épaules virtuelles 58, en les maintenant dans un plan vertical, avec un angle fixe par rapport à l’horizontale, de part et d’autre de l’axe vertical A-A’ du cou 56.
Il est propre à faire pivoter le plan contenant les épaules virtuelles 58 conjointement avec la tête virtuelle 50 autour de l'axe vertical A-A', pour suivre en permanence la rotation de la tête virtuelle 50 autour de l’axe vertical A-A’.
Ainsi, les épaules virtuelles 58 de l'avatar 38 restent fixes en distance et en orientation dans leur plan par rapport au tronc virtuel 54, mais pivotent conjointement avec la tête virtuelle 50 autour de l’axe A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à définir en temps réel la position des extrémités 60 des épaules virtuelles 58, représentées ici par des sphères, qui servent de base pour la construction des membres virtuels 59 de l’avatar 38, comme on le verra plus bas.
La position des extrémités 60 est définie par une distance d1 prédéterminée entre les extrémités 60 et le tronc 54, par exemple de l’ordre de 20 cm (distance moyenne tête-épaule).
Le module de positionnement des membres virtuels 59 est propre à recevoir les données provenant du deuxième capteur 20 pour déterminer la position et l’orientation d’une partie de chaque membre de l’utilisateur 14,16 dans le monde réel.
Dans cet exemple, la partie du membre de l’utilisateur 14, 16 détectée par le deuxième capteur 20 comprend la main de l’utilisateur, et au moins le début de l’avant-bras.
Le module de positionnement des membres virtuels 59 est apte à traiter les données du deuxième capteur 20 pour recaler les données de position issues du deuxième capteur 20 depuis le référentiel du deuxième capteur 20 vers le référentiel commun, en se fondant notamment sur la position fixe du deuxième capteur 20 sur l’ensemble de restitution 24 et sur les données du capteur de position 17 et du premier capteur 18.
Le module de positionnement des membres virtuels 59 est propre à engendrer et à positionner une représentation virtuelle orientée de la partie du membre de l’utilisateur 14, 16 détectée par le deuxième capteur 20, ici d’une main virtuelle 62 sur l’avatar 38.
Le module de positionnement des membres virtuels 59 est également propre à déterminer l’orientation et la position de la deuxième région 66 de chaque membre virtuel sur la base des données reçues du deuxième capteur 20. Dans cet exemple, la deuxième région 66 du membre virtuel est l’avant-bras. À cet effet, le module de positionnement des membres virtuels 59 est propre à déterminer l’orientation du début de l’avant-bras de l’utilisateur 14, 16 dans le monde réel, sur la base des données du capteur 20, et à utiliser cette orientation pour orienter la deuxième région 66 de chaque membre virtuel 59 à partir de la position de la main virtuelle 62, de l’orientation du début de l’avant-bras et d’une distance d2 prédéfinie définissant la longueur de la deuxième région 66 entre la main virtuelle 62 et un coude virtuel 68, par exemple de l’ordre de 30 cm (longueur moyenne de l’avant-bras).
Puis, une fois la position du coude virtuelle 68 connue, le module de positionnement des membres virtuels 59 est propre à déterminer la position et l’orientation de la première région 64 de chaque membre virtuel entre l’extrémité 60 de l’épaule virtuelle 58, obtenue notamment à partir des données du premier capteur 18, tel que décrit plus haut et le coude virtuel 68.
Le module de positionnement est en outre apte à déterminer si la position de la main virtuelle 62, telle qu’obtenue à partir du capteur 20, est physiologiquement possible. Cette détermination est par exemple effectuée en déterminant la distance d3 séparant l’extrémité 60 de l’épaule virtuelle 58 du coude virtuel 68 et en la comparant à une valeur physiologique maximale possible, par exemple égale à 45 cm.
Ainsi, pour chaque utilisateur 14, 16, les caractéristiques et le positionnement d'un avatar 38 correspondant à l’utilisateur 14, 16 est créé et est défini par l’application de création et de positionnement 36. L’avatar 38 suit les orientations générales de la tête, et des mains de l’utilisateur 14, 16. L’avatar 38 présente en outre des membres virtuels 59 animés, dont les orientations sont proches, sans être identiques à celles des membres réels de l’utilisateur 14, 16 dans le monde réel, ce qui simplifie le fonctionnement du système 10, tout en offrant une perception représentative des mouvements réels des membres.
Les informations de définition et de position de chaque avatar 38 sont définies et/ou transposées dans le référentiel commun et sont partagées au sein de l’unité de calcul 22.
Chaque avatar 38 peut ainsi être positionné et orienté en temps réel dans l’environnement virtuel 12. L’application 40 de contrôle et de restitution de l’environnement virtuel 12 et des avatars 38 est propre à traiter les données engendrées par l’application de création et de positionnement 36 pour restituer une représentation tridimensionnelle virtuelle représentative de l’environnement virtuel 12 et d’au moins un avatar 38 présent dans cet environnement virtuel 12 dans chaque ensemble de restitution 24.
Sur cette base, l’application 40 est propre à engendrer une représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16, qui dépend de la position de l’utilisateur 14, 16 dans l’environnement virtuel 12, et de la direction de vision de l’utilisateur 14, 16.
La représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16 est propre à être transmise en temps réel à l’ensemble de restitution 24 de l'utilisateur 14, 16 concerné. À cet effet, l’application 40 comporte pour chaque utilisateur 14, 16, un module de contrôle de l’affichage de l’environnement virtuel 12 et de l’affichage sélectif d’un ou plusieurs avatars 38 d’autres utilisateurs 14, 16 dans cet environnement virtuel 12, et un module de masquage partiel de l’avatar 38 de l’utilisateur 14, 16 et/ou des autres utilisateurs 14, 16.
Avantageusement, l’application 40 comporte en outre un module d'affichage et/ou de sélection d’objets virtuels dans l’environnement à partir de l’avatar 38 de l’utilisateur 14, 16. L’application 40 de contrôle et de restitution est par exemple pilotée et paramétrée uniquement par le deuxième utilisateur 16.
Le module de contrôle de l’affichage est propre à traiter les données obtenues de manière centralisée dans l’unité de calcul 22 en temps réel pour afficher, dans l’ensemble de restitution 24 associé à un utilisateur donné 14, 16, une représentation tridimensionnelle virtuelle de l’environnement virtuel 12, pris à la position de l’utilisateur 14, 16, suivant la direction de vision de l’utilisateur, tel que déterminé par les capteurs de position 17 et par le premier capteur 18.
Le module de contrôle de l’affichage est en outre propre à afficher dans la représentation tridimensionnelle virtuelle les avatars 38 d’un ou plusieurs utilisateurs 14, 16, en fonction des préférences fournies parle deuxième utilisateur 16.
Dans un mode de fonctionnement, le module de contrôle de l’affichage est propre à afficher pour chaque utilisateur 14, tous les avatars 38 d’autres utilisateurs 14, 16 présents dans l’environnement virtuel 12.
Dans un autre mode de fonctionnement, le module de contrôle de l’affichage est propre à maintenir masqué l’avatar 38 d’au moins un utilisateur 14, 16.
Ainsi, le deuxième utilisateur 16 est apte à paramétrer le module de contrôle de l’affichage pour recevoir dans son ensemble de restitution 24 uniquement l’avatar 38 d’un utilisateur 14 choisi, sans voir les avatars des autres utilisateurs 14.
Ceci permet par exemple d’isoler un ou plusieurs utilisateurs 14, et d’exclure les autres utilisateurs 14 qui reçoivent avantageusement un message leur indiquant qu’ils sont temporairement exclus de la simulation.
De même, le deuxième utilisateur 16 est apte à commander le module de contrôle de l’affichage pour empêcher à chaque premier utilisateur 14 de voir les avatars 38 des autres utilisateurs 14 dans leurs ensembles de restitutions respectifs, tout en conservant la possibilité d’observer tous les utilisateurs 14 dans son propre ensemble de restitution 24.
Ceci permet de grouper un grand nombre d’utilisateurs à une même localisation confinée dans l’environnement virtuel 12, en évitant que les utilisateurs ne soient gênés par les avatars 38 d’autres utilisateurs 14, 16. Ceci est particulièrement avantageux par rapport à un environnement réel qui ne pourrait recevoir tous les utilisateurs 14, 16 dans une localisation confinée.
Le module de masquage partiel est propre à masquer la partie supérieure du propre avatar 38 de l’utilisateur 14, 16 dans la représentation tridimensionnelle virtuelle engendrée par l’ensemble de restitution 24 de cet utilisateur 14, 16. Ainsi, la tête virtuelle 50, les épaules virtuelles 58 et le cou virtuel 56 du propre avatar 38 de l’utilisateur 14, 16 sont masqués dans son ensemble de restitution 24 pour ne pas créer de sensations désagréables du fait du positionnement différent entre les épaules virtuelles 58 et les épaules réelles.
Le module de masquage partiel est en outre apte à masquer les membres virtuels 59 d’au moins un utilisateur 14, 16, en l’absence de données détectées par les deuxièmes capteurs 20 de cet utilisateur 14, 16, et/ou si ces données produisent des positions de main virtuelle 62 qui ne sont pas physiologiquement possibles, comme décrit plus haut.
Le module d’affichage et/ou de sélection d’objets virtuels est propre à permettre l’affichage d’un menu de commande, dans une position prédéfinie d’au moins une partie du membre de l’utilisateur 14, 16 par rapport à la tête de l’utilisateur 14, 16.
La position prédéfinie est par exemple une orientation particulière de la paume de la main de l'utilisateur 14, 16 par rapport à sa tête, notamment lorsque la paume de la main fait face à la tête. À cet effet, le module d’affichage et/ou de sélection d’objets virtuels est propre à déterminer l’angle entre un vecteur perpendiculaire à la paume de la main, obtenu à partir du deuxième capteur 20 et un deuxième vecteur s’étendant entre la main et la tête.
Si cet angle est inférieur à une valeur donnée, par exemple à 80°, ce qui se produit lorsque la paume de la main se rapproche de la tête pour faire face à la tête (voir figure 5), le module d’affichage et/ou de sélection d’objets virtuels est propre à afficher un menu de sélection 90 dans l’environnement virtuel 12, en regard de la tête de l’utilisateur 14,16.
Le module d’affichage et/ou de sélection d’objets virtuels est propre à refermer le menu de sélection 90 si l’angle précité augmente au-delà de la valeur prédéfinie, pendant un temps prédéfini, par exemple supérieur à une seconde.
Le module d'affichage et/ou de sélection d’objets virtuels est propre à permettre le choix d’une fonction 92 dans le menu de sélection 90, par déplacement d’un doigt de la main virtuelle 62 de l’avatar 38 sur une zone de choix du menu de sélection 90 affiché.
Dans une variante, le module d’affichage et/ou de sélection d’objets virtuels est propre à permettre la sélection d’une fonction 92 dans le menu affiché, en effectuant un lancer de rayon. Le lancer de rayon consiste à maintenir la direction de vision dans l’ensemble de restitution 24 pour viser la fonction 92 à sélectionner pendant un temps prédéfini.
Si la direction de vision, telle que détectée par le premier capteur 18 vise la zone correspondant à la fonction 92 pendant une durée supérieure à un temps prédéterminé, le module d'affichage et/ou de sélection d’objets virtuels est propre à sélectionner cette fonction. Avantageusement, il est propre à faire apparaître un compteur 94, visible sur la figure 6, représentatif du temps de visée nécessaire pour activer la sélection.
Le module d’affichage et/ou de sélection d’objets virtuels est également propre à faire apparaître des informations correspondant à un élément présent dans l’environnement virtuel 12, par exemple une pièce de l’aéronef, lorsque cette pièce est sélectionnée soit par visée, comme décrit précédemment, soit par contact virtuel entre la main virtuelle 62 de l’avatar 38 de l’utilisateur et la pièce.
Dans l’exemple représenté sur la figure 7, le module d’affichage et/ou de sélection d’objets virtuels est propre à faire apparaître un menu contextuel 96 désignant la pièce et un certain nombre de choix possibles C1 à C4 pour l’utilisateur comme masquer la pièce (C1), isoler la pièce (C2), agrandir la pièce (C3), ou annuler la sélection (C4).
Dans la variante représentée sur la figure 8, l’utilisateur 16 est propre à faire apparaître un modèle 98 à échelle réduite de la plate-forme pour sélectionner une zone 99 de cette plate-forme destinée à être utilisée comme environnement virtuel 12. La sélection est effectuée comme précédemment, par contact virtuel entre la main virtuelle 62 de l’avatar 38 de l’utilisateur et le modèle 98 et/ou par visée.
Une fois la sélection effectuée, l’environnement virtuel 12 est modifié pour faire apparaître la zone sélectionnée 99.
Un procédé d’élaboration et de mise en oeuvre d’une simulation tridimensionnelle virtuelle partagée entre plusieurs utilisateurs 14, 16 va maintenant être décrit.
Initialement, le système de simulation virtuelle 10 est activé. Chaque utilisateur 14, 16 s’équipe d’un ensemble de restitution 24 muni d’un capteur de position 17, d’un premier capteur 18 de détection d’une direction de vision de l’utilisateur 14, 16 et d’un deuxième capteur 20 de détection de la position d’une partie d’un membre de l’utilisateur 14, 16. L’unité de calcul 22 récupère les données concernant l’environnement virtuel 12 dans lequel sont destinés à être plongés virtuellement les utilisateurs 14, 16 au moyen de l’application 34. Ces données proviennent par exemple d’une maquette numérique de la plate-forme ou de la région de la plate-forme dans lequel vont être immergés les utilisateurs 14, 16. L’application 35 génère une représentation tridimensionnelle virtuelle de l'environnement virtuel 12. L’unité de calcul 22 recueille alors en temps réel les données provenant de chaque capteur 17, 18, 20 pour créer et positionner un avatar 38 correspondant à chaque utilisateur 14, 16 dans l'environnement virtuel 12. À cet effet, pour chaque utilisateur 14, 16, l’application 34 transpose les données du deuxième capteur 20 pour les placer dans le repère associé au premier capteur 18, puis transpose à nouveau les données obtenues, ainsi que les données provenant du premier capteur 18 dans un repère de l’environnement virtuel 12, commun à tous les utilisateurs.
Le module de positionnement de la tête virtuelle 60 utilise les données du capteur de position 17 et les données du premier capteur 18 pour orienter la tête virtuelle 50 de l’avatar 38 et le marqueur 52 représentatif de la direction de vision.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 détermine ensuite la position et l’orientation du tronc virtuel 54, et fixe l’orientation des épaules virtuelles 58, dans un plan vertical dont l’orientation pivote conjointement avec la direction de vision autour d’un axe vertical A-A’ passant par la tête virtuelle 60. Il détermine ensuite la position de chaque extrémité 60 d’une épaule virtuelle comme défini plus haut.
Simultanément, le module de positionnement des membres virtuels 59 détermine la position et l’orientation des mains et de l’avant-bras de l’utilisateur 14, 16, à partir du deuxième capteur 20.
Le module de positionnement des membres virtuels 59 détermine alors la position et l’orientation de la main virtuelle 62 et de la deuxième région 66 du membre virtuel, jusqu’au coude 68 situé à une distance prédéfinie de la main virtuelle 62. Il détermine alors la position de la première région 64 du membre virtuel 59 en reliant linéairement l’extrémité 60 de l’épaule virtuelle 58 au coude 68. À chaque instant, la position et l’orientation de chaque partie de l’avatar 38 correspondant à chaque utilisateur 14, 16 est donc obtenue par l’unité centrale 22 dans un référentiel commun à chacun des utilisateurs 14, 16.
Puis, en fonction des préférences sélectionnées par le deuxième utilisateur 16, le module de contrôle de l’affichage de l’application de restitution 40 fournit à l’ensemble de restitution 24 d'au moins un utilisateur 14, 16, une représentation tridimensionnelle de l’environnement virtuel 12, et du ou des avatars 38 d'un ou plusieurs autres utilisateurs 14, 16.
Le module de masquage masque la partie supérieure du propre avatar 38 de l’utilisateur 14, 16, comme décrit précédemment, notamment la tête virtuelle 50, et les épaules virtuels 58 pour éviter d’interférer avec la vision de l’utilisateur 14, 16.
En outre, le module de masquage détecte les positions physiologiquement impossibles de la main virtuelle 62 de chaque utilisateur 14, 16, en se fondant sur la longueur calculée de la première région 64 du membre virtuel 59, comme décrit précédemment.
Lorsque des positions physiologiquement impossibles sont détectées, l’affichage du membre virtuel 59 correspondant est masqué.
Grâce au système 10 selon l’invention, les utilisateurs 14,16 peuvent évoluer dans le même environnement virtuel 12 en étant représentés sous forme d’un avatar 38 animé.
Chaque utilisateur 14, 16 est apte à observer les avatars des autres utilisateurs 14, 16, qui sont correctement localisés dans l’environnement virtuel 12.
La fourniture d’avatar 38 animés, sur la base de données d’orientation de la tête de l'utilisateur et de position réelles d’une partie des membres de l’utilisateur permet également de suivre les gestes de chacun des utilisateurs 14, 16 dans l’environnement virtuel 12 à travers leurs avatars 38 respectifs.
Ceci permet donc d’organiser une réunion entre plusieurs utilisateurs 14, 16, dans un environnement virtuel 12, sans nécessairement que les utilisateurs 14, 16 soient localisés au même endroit.
En outre, les avatars animés 38 permettent à au moins un utilisateur 16 de suivre la position et les gestes d’un autre utilisateur 14 ou d’une pluralité d’utilisateurs 14 simultanément.
Ainsi, les utilisateurs 14 peuvent simuler simultanément ou individuellement des opérations de maintenance et/ou d’utilisation d’une plateforme et au moins un utilisateur 16 est apte à suivre les opérations effectuées.
La sélection, pour chaque utilisateur 14, 16, du ou des avatars 38 que l’utilisateur 14, 16 peut voir augmente les fonctionnalités du système 10. Il est ainsi possible pour un utilisateur 16 de suivre et d’évaluer les mouvements d’autres utilisateurs 14 simultanément, en permettant aux utilisateurs 14 de désigner des équipements ou des circuits sur la plateforme, sans que chaque utilisateur 14 puisse voir les mouvements des autres utilisateurs 14.
Le système 10 est en outre avantageusement équipé de moyens permettant de faire apparaître des fenêtres d’information et/ou de sélection dans l’environnement tridimensionnel virtuel 12, et de sélectionner des fonctions au sein de ces fenêtres directement dans l’environnement virtuel 12.
En outre, le système 10 et le procédé associé permettent de placer une pluralité d’utilisateurs 14 dans une même région confinée, alors que dans la réalité, une telle région serait trop étroite pour accueillir tous les utilisateurs 14,16.
La perception des autres utilisateurs 14, 16 via les avatars 38 animés est particulièrement riche, puisque chaque utilisateur 14, 16 peut observer sélectivement la direction générale de la tête de chaque autre utilisateur 14, 16, ainsi que la position des mains et une représentation globalement proche de la position des membres de l’utilisateur 14, 16.
Dans une variante, le système 10 comporte un système d’enregistrement des mouvements du ou des avatars 38 dans l’environnement virtuel 12 au cours du temps, et un système de rejeu en immersif ou sur un écran des données enregistrées.
Dans une autre variante, le deuxième utilisateur 16 n’est pas représenté par un avatar 38 dans l’environnement virtuel 12. Il ne porte alors pas nécessairement de premier capteur 18, ni de deuxième capteur 20.
Dans une variante, l'application de contrôle et de restitution 40 est propre à faire varier le niveau de transparence de chaque avatar 38 situé à distance d’un utilisateur 14, 16 donné, en fonction de la distance séparant cet avatar 38 de l’avatar 38 de l’utilisateur donné dans l’environnement virtuel 12. Par exemple, si l’avatar 18 d’un autre utilisateur 14, 16 se rapproche de l’avatar 18 de l’utilisateur donné, le niveau de transparence augmente, jusqu'à rendre l’avatar 18 de l’autre utilisateur 14, 16 totalement transparent lorsque la distance entre les avatars est inférieure à une distance définie, par exemple comprise entre 10 cm et 15 cm.
Au contraire, le niveau de transparence diminue lorsque les avatars 18 s’éloignent.

Claims (15)

  1. REVENDICATIONS
    1. - Système (10) de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel (12) réunissant une pluralité d’utilisateurs, comprenant, - pour au moins un premier utilisateur (14), un premier capteur (18) de détection d’une direction de vision du premier utilisateur (14), - une unité de calcul (22) propre à engendrer une simulation tridimensionnelle virtuelle de l’environnement virtuel (12), sur la base des données reçues du ou de chaque premier capteur (18) de détection ; - pour au moins un deuxième utilisateur (16), un ensemble de restitution (24) immersive de la simulation tridimensionnelle virtuelle engendrée par l’unité de calcul (22), propre à plonger le ou chaque deuxième utilisateur (16) dans la simulation tridimensionnelle virtuelle; caractérisé en ce que le système (10) comprend, pour le ou chaque premier utilisateur (14), un deuxième capteur (20) de détection de la position d’une partie d’un membre réel du premier utilisateur (14), l’unité de calcul (22) étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar (38) du ou de chaque premier utilisateur (14), comprenant au moins une tête virtuelle (50) et au moins un membre virtuel (59), reconstitués et orientés l’un par rapport à l'autre sur la base des données du premier capteur (18) et du deuxième capteur (20).
  2. 2. - Système (10) selon la revendication 1, dans lequel le membre et le membre virtuel (59) sont des bras respectivement de l’utilisateur et de l’avatar (38).
  3. 3. - Système (10) selon la revendication 2, dans lequel la partie du membre de l’utilisateur détectée par le deuxième capteur (20) comprend la main du premier utilisateur.
  4. 4. - Système (10) selon l’une quelconque des revendications précédentes, dans lequel l’unité de calcul (22) est propre à déterminer la position d’une première région (64) du membre virtuel (59), sur la base des données reçues du premier capteur (18) de détection, et est propre à déterminer la position d’une deuxième région (66) du membre virtuel (59) à partir des données reçues du deuxième capteur (20) de détection.
  5. 5. - Système (10) selon la revendication 4, dans lequel l’unité de calcul (22) est propre à déterminer la position de la première région (64) du membre virtuel (59) après avoir déterminé la position de la deuxième région (66) du membre virtuel (59).
  6. 6. - Système (10) selon l’une des revendications 4 ou 5, prises en combinaison avec l’une des revendications 2 ou 3, dans lequel l’unité de calcul (22) est propre à engendrer une représentation d’une épaule virtuelle (58) du premier utilisateur (14), mobile conjointement en rotation autour d’un axe vertical (A-A') avec la tête virtuelle (50) du premier utilisateur (14), la première région du membre virtuel (59) s’étendant à partir de l’extrémité (60) de l’épaule virtuelle (58).
  7. 7. - Système (10) selon l’une quelconque des revendications précédentes, comprenant, pour une pluralité de premiers utilisateurs (14), un premier capteur (18) de détection d’une direction de vision de l’utilisateur (14, 16), et un deuxième capteur (20) de détection de la position d’une partie d’un membre de l’utilisateur (14, 16), l’unité de calcul (22) étant propre à créer, dans la simulation tridimensionnelle virtuelle un avatar (38) de chaque premier utilisateur (14), comprenant au moins une tête virtuelle (50) et au moins un membre virtuel (59), reconstitués et orientés l’un par rapport à l’autre sur la base des données du premier capteur (18) et du deuxième capteur (20) du premier utilisateur (14), le ou chaque ensemble de restitution (24) étant propre à faire apparaître sélectivement l’avatar (38) d’un ou plusieurs premiers utilisateurs (14) dans la simulation tridimensionnelle virtuelle.
  8. 8. - Système (10) selon la revendication 7, dans lequel l’unité de calcul (22) est propre à placer les avatars (38) d’une pluralité de premiers utilisateurs (14) à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution (24) étant propre à faire apparaître sélectivement l’avatar (38) d’un seul premier utilisateur (14) à la localisation donnée.
  9. 9. - Système (10) selon l’une quelconque des revendications précédentes, comprenant, pour le ou chaque premier utilisateur (14), un ensemble de restitution (24) immersive de la simulation tridimensionnelle virtuelle engendrée par l’unité propre à plonger le ou chaque premier utilisateur (14) dans la simulation tridimensionnelle virtuelle.
  10. 10. - Système (10) selon la revendication 9, dans lequel l’ensemble de restitution (24) est propre à être porté par la tête du premier utilisateur (14), le premier capteur (18) et/ou le deuxième capteur (20) étant montés sur l’ensemble de restitution (24).
  11. 11. - Système (10) selon l’une quelconque des revendications 9 à 10, dans lequel, dans une position donnée prédéfinie de la partie d’un membre de l’utilisateur détectée par le deuxième capteur (20), l’unité de calcul (22) est propre à afficher au moins une fenêtre d’information et/ou de sélection (90) dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur (14) et/ou par le ou chaque deuxième utilisateur (16).
  12. 12. - Système (10) selon l’une quelconque des revendications précédentes, dans lequel l’unité de calcul (22) est propre à déterminer si la position de la partie du membre réel du premier utilisateur (14) détectée par le deuxième capteur (20) est physiologiquement possible et à masquer l’affichage du membre virtuel (59) de l’avatar (38) du premier utilisateur (14) si la position de la partie du membre réel du premier utilisateur (14) détectée par le deuxième capteur (20) n’est pas physiologiquement possible .
  13. 13. - Système (10) selon l’une quelconque des revendications précédentes comprenant, pour le ou chaque premier utilisateur (14), un capteur de position (17), propre à fournir à l’unité de calcul (22) des données géographiques de positionnement du premier utilisateur (14).
  14. 14. - Procédé d’élaboration d’une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs (14, 16), comportant les étapes suivantes : - fourniture d’un système (10) selon l’une quelconque des revendications 1 à 13 ; - activation du premier capteur (18) et du deuxième capteur (20) et transmission des données reçues du premier capteur (18) et du deuxième capteur (20) vers l’unité de calcul (22), - génération d’une simulation tridimensionnelle virtuelle d’un avatar (38) du ou de chaque premier utilisateur (14), comprenant au moins une tête virtuelle (50) et au moins un membre virtuel (59), reconstitués et orientés l’un par rapport à l’autre sur la base des données du premier capteur (18) et du deuxième capteur (20).
  15. 15. - Procédé selon la revendication 14, dans lequel la génération de la simulation tridimensionnelle virtuelle comprend le chargement d’une maquette représentative d’une plateforme, et la représentation tridimensionnelle virtuelle de l'environnement virtuel d’une région de la plateforme, le ou chaque premier utilisateur (14) évoluant dans l’environnement d’aéronef pour effectuer au moins une simulation d’opération de maintenance et/ou d’utilisation de la plateforme.
FR1501977A 2015-09-24 2015-09-24 Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe Active FR3041804B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1501977A FR3041804B1 (fr) 2015-09-24 2015-09-24 Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
CA2942652A CA2942652C (fr) 2015-09-24 2016-09-20 Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US15/273,587 US20170092223A1 (en) 2015-09-24 2016-09-22 Three-dimensional simulation system for generating a virtual environment involving a plurality of users and associated method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1501977A FR3041804B1 (fr) 2015-09-24 2015-09-24 Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe

Publications (2)

Publication Number Publication Date
FR3041804A1 true FR3041804A1 (fr) 2017-03-31
FR3041804B1 FR3041804B1 (fr) 2021-11-12

Family

ID=55411426

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1501977A Active FR3041804B1 (fr) 2015-09-24 2015-09-24 Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe

Country Status (3)

Country Link
US (1) US20170092223A1 (fr)
CA (1) CA2942652C (fr)
FR (1) FR3041804B1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067848A1 (fr) * 2017-06-16 2018-12-21 Kpass Airport Procede pour la formation pratique d un agent de piste mettant en oeuvre un environnement virtuel et installation pour sa mise en oeuvre
CN113609599A (zh) * 2021-10-09 2021-11-05 北京航空航天大学 一种飞行器湍流绕流模拟的壁面距有效单元计算方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
US11462121B2 (en) * 2017-02-15 2022-10-04 Cae Inc. Visualizing sub-systems of a virtual simulated element in an interactive computer simulation system
CN110531846B (zh) 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
US11115468B2 (en) * 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
CN112102499A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 融合现实系统和方法
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154266A1 (en) * 2009-12-17 2011-06-23 Microsoft Corporation Camera navigation for presentations
DE102012017700A1 (de) * 2012-09-07 2014-03-13 Sata Gmbh & Co. Kg System und Verfahren zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs
US8920172B1 (en) * 2011-03-15 2014-12-30 Motion Reality, Inc. Method and system for tracking hardware in a motion capture environment
WO2015044851A2 (fr) * 2013-09-25 2015-04-02 Mindmaze Sa Système de mesure de paramètres physiologiques et de rétroaction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154266A1 (en) * 2009-12-17 2011-06-23 Microsoft Corporation Camera navigation for presentations
US8920172B1 (en) * 2011-03-15 2014-12-30 Motion Reality, Inc. Method and system for tracking hardware in a motion capture environment
DE102012017700A1 (de) * 2012-09-07 2014-03-13 Sata Gmbh & Co. Kg System und Verfahren zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs
WO2015044851A2 (fr) * 2013-09-25 2015-04-02 Mindmaze Sa Système de mesure de paramètres physiologiques et de rétroaction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067848A1 (fr) * 2017-06-16 2018-12-21 Kpass Airport Procede pour la formation pratique d un agent de piste mettant en oeuvre un environnement virtuel et installation pour sa mise en oeuvre
CN113609599A (zh) * 2021-10-09 2021-11-05 北京航空航天大学 一种飞行器湍流绕流模拟的壁面距有效单元计算方法

Also Published As

Publication number Publication date
FR3041804B1 (fr) 2021-11-12
CA2942652A1 (fr) 2017-03-24
US20170092223A1 (en) 2017-03-30
CA2942652C (fr) 2024-02-13

Similar Documents

Publication Publication Date Title
CA2942652C (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US20220366598A1 (en) Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display
US11043031B2 (en) Content display property management
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
JP6643357B2 (ja) 全球状取込方法
US11678004B2 (en) Recording remote expert sessions
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
US20170123488A1 (en) Tracking of wearer's eyes relative to wearable device
JP2021508426A (ja) 双方向性拡張または仮想現実装置
CN108351691A (zh) 用于虚拟图像的远程渲染
CN105324811A (zh) 语音到文本转换
EP4254333A2 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video
CN109923509A (zh) 虚拟现实中的对象的协同操纵
EP3195593A1 (fr) Dispositif et procédé d'orchestration de surfaces d'affichage, de dispositifs de projection et de dispositifs d'intéraction spatialisés 2d et 3d pour la création d'environnements intéractifs
CN118338237A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
CN114207557A (zh) 虚拟和物理相机的位置同步
EP3884390A1 (fr) Développement commandé par expérience de dispositifs de réalité mixte à rétroaction immersive
FR3097363A1 (fr) Système numérique de préparation de mission
WO2018178563A1 (fr) Système de transparence pour caméra banalisée
WO2017149254A1 (fr) Dispositif d'interface homme machine avec des applications graphiques en trois dimensions
FR3077910A1 (fr) Procede d'aide a la maintenance d'un systeme complexe
WO2018011497A1 (fr) Système et procédé de capture embarquée et de reproduction 3d/360° du mouvement d'un opérateur dans son environnement
WO2021205130A1 (fr) Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20170331

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9