CA2942652C - Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe - Google Patents
Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe Download PDFInfo
- Publication number
- CA2942652C CA2942652C CA2942652A CA2942652A CA2942652C CA 2942652 C CA2942652 C CA 2942652C CA 2942652 A CA2942652 A CA 2942652A CA 2942652 A CA2942652 A CA 2942652A CA 2942652 C CA2942652 C CA 2942652C
- Authority
- CA
- Canada
- Prior art keywords
- virtual
- user
- sensor
- avatar
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012423 maintenance Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000009189 diving Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 26
- 210000003414 extremity Anatomy 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 210000000245 forearm Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003100 immobilizing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Geometry (AREA)
- Aviation & Aerospace Engineering (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d'utilisateurs et un procédé
associé sont décrits. Le système comprend un premier capteur de détection d'une direction de vision d'un premier utilisateur, une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, basé sur les données reçues du ou de chaque premier capteur, pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul. Le système comprend, pour le premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur.
L'unité de calcul est propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du premier utilisateur, comprenant une tête virtuelle et un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier et du deuxième capteur.
associé sont décrits. Le système comprend un premier capteur de détection d'une direction de vision d'un premier utilisateur, une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, basé sur les données reçues du ou de chaque premier capteur, pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul. Le système comprend, pour le premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur.
L'unité de calcul est propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du premier utilisateur, comprenant une tête virtuelle et un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier et du deuxième capteur.
Description
Système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d'utilisateurs et procédé
associé
La présente invention concerne un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité
d'utilisateurs, comprenant :
- pour au moins un premier utilisateur, un premier capteur de détection d'une direction de vision du premier utilisateur, - une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection ;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle.
Un tel système est destiné notamment à être utilisé pour organiser des formations techniques regroupant plusieurs utilisateurs dans un même environnement virtuel.
En particulier, le système selon l'invention est adapté pour regrouper les utilisateurs dans un environnement virtuel reproduisant une partie d'un aéronef, notamment pour apprendre et répéter des procédures de maintenance et/ou d'utilisation de l'aéronef.
Ces procédures nécessitent généralement d'effectuer des opérations successives sur des équipements variés suivant un ordre déterminé avec des gestes définis.
Généralement, les formations de ce type sont conduites dans une salle de classe, à l'aide de supports bidimensionnels projetés sur des écrans, tels que des présentations comprenant des images.
De telles présentations sont peu représentatives de l'environnement réel au sein d'un aéronef. Elles permettent d'acquérir une connaissance théorique de la procédure à
effectuer, mais peu d'expérience pratique.
D'autres formations sont conduites directement sur un aéronef ou sur une maquette de l'aéronef, ce qui permet d'appréhender plus concrètement la procédure à
effectuer. Lors de ces formations, le nombre de participants pouvant simultanément visualiser la procédure à effectuer doit souvent être limité, notamment si l'environnement est confiné, comme par exemple dans la soute technique d'un aéronef.
Par ailleurs, ces formations nécessitent d'immobiliser un aéronef ou de reproduire une maquette représentative de l'aéronef, ce qui est onéreux et peu pratique.
En outre, tous les participants doivent être présents simultanément à la formation, ce qui peut être coûteux si les participants proviennent de sites divers.
Date Reçue/Date Received 2022-11-30
associé
La présente invention concerne un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité
d'utilisateurs, comprenant :
- pour au moins un premier utilisateur, un premier capteur de détection d'une direction de vision du premier utilisateur, - une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection ;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle.
Un tel système est destiné notamment à être utilisé pour organiser des formations techniques regroupant plusieurs utilisateurs dans un même environnement virtuel.
En particulier, le système selon l'invention est adapté pour regrouper les utilisateurs dans un environnement virtuel reproduisant une partie d'un aéronef, notamment pour apprendre et répéter des procédures de maintenance et/ou d'utilisation de l'aéronef.
Ces procédures nécessitent généralement d'effectuer des opérations successives sur des équipements variés suivant un ordre déterminé avec des gestes définis.
Généralement, les formations de ce type sont conduites dans une salle de classe, à l'aide de supports bidimensionnels projetés sur des écrans, tels que des présentations comprenant des images.
De telles présentations sont peu représentatives de l'environnement réel au sein d'un aéronef. Elles permettent d'acquérir une connaissance théorique de la procédure à
effectuer, mais peu d'expérience pratique.
D'autres formations sont conduites directement sur un aéronef ou sur une maquette de l'aéronef, ce qui permet d'appréhender plus concrètement la procédure à
effectuer. Lors de ces formations, le nombre de participants pouvant simultanément visualiser la procédure à effectuer doit souvent être limité, notamment si l'environnement est confiné, comme par exemple dans la soute technique d'un aéronef.
Par ailleurs, ces formations nécessitent d'immobiliser un aéronef ou de reproduire une maquette représentative de l'aéronef, ce qui est onéreux et peu pratique.
En outre, tous les participants doivent être présents simultanément à la formation, ce qui peut être coûteux si les participants proviennent de sites divers.
Date Reçue/Date Received 2022-11-30
2 Il est par ailleurs connu de plonger un utilisateur unique dans un environnement tridimensionnel virtuel, par exemple en le munissant d'un casque propre à
restituer une maquette tridimensionnelle virtuelle. L'utilisateur perçoit l'environnement virtuel, mais pas nécessairement d'autres utilisateurs, ce qui rend la formation très peu interactive.
Un but de l'invention est de fournir un système de simulation tridimensionnelle qui permette d'une manière peu coûteuse et pratique d'offrir un support très interactif pour interagir entre utilisateurs dans un environnement d'une plate-forme complexe, notamment pour former des utilisateurs à la maintenance et/ou à l'utilisation de la plate-forme complexe.
A cet effet, l'invention a pour objet un système du type précité, caractérisé
en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
Le système selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :
- le membre et le membre virtuel sont des bras respectivement de l'utilisateur et de l'avatar ;
- la partie du membre de l'utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur ;
- l'unité de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à déterminer la position d'une deuxième région du membre virtuel à
partir des données reçues du deuxième capteur de détection ;
- l'unité de calcul est propre à déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel ;
- l'unité de calcul est propre à engendrer une représentation d'une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s'étendant à
partir de l'extrémité de l'épaule virtuelle ;
Date Reçue/Date Received 2022-11-30
restituer une maquette tridimensionnelle virtuelle. L'utilisateur perçoit l'environnement virtuel, mais pas nécessairement d'autres utilisateurs, ce qui rend la formation très peu interactive.
Un but de l'invention est de fournir un système de simulation tridimensionnelle qui permette d'une manière peu coûteuse et pratique d'offrir un support très interactif pour interagir entre utilisateurs dans un environnement d'une plate-forme complexe, notamment pour former des utilisateurs à la maintenance et/ou à l'utilisation de la plate-forme complexe.
A cet effet, l'invention a pour objet un système du type précité, caractérisé
en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
Le système selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :
- le membre et le membre virtuel sont des bras respectivement de l'utilisateur et de l'avatar ;
- la partie du membre de l'utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur ;
- l'unité de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à déterminer la position d'une deuxième région du membre virtuel à
partir des données reçues du deuxième capteur de détection ;
- l'unité de calcul est propre à déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel ;
- l'unité de calcul est propre à engendrer une représentation d'une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s'étendant à
partir de l'extrémité de l'épaule virtuelle ;
Date Reçue/Date Received 2022-11-30
3 - il comprend, pour une pluralité de premiers utilisateurs, un premier capteur de détection d'une direction de vision de l'utilisateur, et un deuxième capteur de détection de la position d'une partie d'un membre de l'utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle un avatar de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur du premier utilisateur, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation tridimensionnelle virtuelle ;
- l'unité de calcul est propre à placer les avatars d'une pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée ;
- il comprend, pour le ou chaque premier utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité
propre à
plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle virtuelle ;
- l'ensemble de restitution est propre à être porté par la tête du premier utilisateur, le premier capteur et/ou le deuxième capteur étant montés sur l'ensemble de restitution ;
- dans une position donnée prédéfinie de la partie d'un membre de l'utilisateur détectée par le deuxième capteur, l'unité de calcul est propre à afficher au moins une fenêtre d'information et/ou de sélection dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième utilisateur ;
- l'unité de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible ;
- il comprend, pour le ou chaque premier utilisateur, un capteur de position, propre à fournir à l'unité de calcul des données géographiques de positionnement du premier utilisateur.
L'invention a également pour objet un procédé d'élaboration d'une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système tel que décrit plus haut;
Date Reçue/Date Received 2022-11-30
- l'unité de calcul est propre à placer les avatars d'une pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée ;
- il comprend, pour le ou chaque premier utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité
propre à
plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle virtuelle ;
- l'ensemble de restitution est propre à être porté par la tête du premier utilisateur, le premier capteur et/ou le deuxième capteur étant montés sur l'ensemble de restitution ;
- dans une position donnée prédéfinie de la partie d'un membre de l'utilisateur détectée par le deuxième capteur, l'unité de calcul est propre à afficher au moins une fenêtre d'information et/ou de sélection dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième utilisateur ;
- l'unité de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible ;
- il comprend, pour le ou chaque premier utilisateur, un capteur de position, propre à fournir à l'unité de calcul des données géographiques de positionnement du premier utilisateur.
L'invention a également pour objet un procédé d'élaboration d'une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système tel que décrit plus haut;
Date Reçue/Date Received 2022-11-30
4 - activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l'unité de calcul, - génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur.
Le système selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :
- la génération de la simulation tridimensionnelle virtuelle comprend le chargement d'une maquette représentative d'une plateforme, et la représentation tridimensionnelle virtuelle de l'environnement virtuel d'une région de la plateforme, le ou chaque premier utilisateur évoluant dans l'environnement d'aéronef pour effectuer au moins une simulation d'opération de maintenance et/ou d'utilisation de la plateforme.
Les aspects suivants sont également décrits :
1. - Un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d'utilisateurs, comprenant, - pour au moins un premier utilisateur, un premier capteur de détection d'une direction de vision du premier utilisateur;
- une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
2. - Le système selon l'aspect 1, dans lequel le membre et le membre virtuel sont des bras respectivement de l'utilisateur et de l'avatar.
3. - Le système selon l'aspect 2, dans lequel la partie du membre de l'utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur.
Date Reçue/Date Received 2022-11-30
Le système selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible :
- la génération de la simulation tridimensionnelle virtuelle comprend le chargement d'une maquette représentative d'une plateforme, et la représentation tridimensionnelle virtuelle de l'environnement virtuel d'une région de la plateforme, le ou chaque premier utilisateur évoluant dans l'environnement d'aéronef pour effectuer au moins une simulation d'opération de maintenance et/ou d'utilisation de la plateforme.
Les aspects suivants sont également décrits :
1. - Un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d'utilisateurs, comprenant, - pour au moins un premier utilisateur, un premier capteur de détection d'une direction de vision du premier utilisateur;
- une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
2. - Le système selon l'aspect 1, dans lequel le membre et le membre virtuel sont des bras respectivement de l'utilisateur et de l'avatar.
3. - Le système selon l'aspect 2, dans lequel la partie du membre de l'utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur.
Date Reçue/Date Received 2022-11-30
5 4. - Le système selon l'un quelconque des aspects 1 à 3, dans lequel l'unité
de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à
déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection.
5. - Le système selon l'aspect 2 ou 3, dans lequel l'unité de calcul est propre à
déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, est propre à déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection, et est propre à engendrer une représentation d'une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s'étendant à
partir de l'extrémité de l'épaule virtuelle.
de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à
déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection.
5. - Le système selon l'aspect 2 ou 3, dans lequel l'unité de calcul est propre à
déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, est propre à déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection, et est propre à engendrer une représentation d'une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s'étendant à
partir de l'extrémité de l'épaule virtuelle.
6. - Le système selon l'aspect 4 ou 5, dans lequel l'unité de calcul est propre à
déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel.
déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel.
7. - Le système selon l'un quelconque des aspects 1 à 6, comprenant, pour une pluralité de premiers utilisateurs, un premier capteur de détection d'une direction de vision de l'utilisateur, et un deuxième capteur de détection de la position d'une partie d'un membre de l'utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle un avatar de chaque premier utilisateur, comprenant au moins une tète virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur du premier utilisateur, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation tridimensionnelle virtuelle.
8. - Le système selon l'aspect 7, dans lequel l'unité de calcul est propre à
placer les avatars de la pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à
faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée.
placer les avatars de la pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à
faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée.
9. - Le système selon l'aspect 7 ou 8, dans lequel l'unité de calcul est propre à
transposer les données du deuxième capteur, produites dans un repère propre au deuxième capteur, pour les placer dans un repère associé au premier capteur, puis à
transposer à nouveau les données obtenues, ainsi que les données provenant du premier Date Reçue/Date Received 2022-11-30 capteur, produites dans le repère du premier capteur, dans un repère de l'environnement virtuel, commun à tous les utilisateurs.
transposer les données du deuxième capteur, produites dans un repère propre au deuxième capteur, pour les placer dans un repère associé au premier capteur, puis à
transposer à nouveau les données obtenues, ainsi que les données provenant du premier Date Reçue/Date Received 2022-11-30 capteur, produites dans le repère du premier capteur, dans un repère de l'environnement virtuel, commun à tous les utilisateurs.
10. - Le système selon l'un quelconque des aspects 1 à 9, comprenant, pour le ou chaque premier utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité propre à plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle virtuelle.
11. - Le système selon l'aspect 10, dans lequel l'ensemble de restitution est propre à être porté par la tête du premier utilisateur, le premier capteur et/ou le deuxième capteur étant montés sur l'ensemble de restitution.
12. - Le système selon l'aspect 10 ou 11, dans lequel, dans une position donnée prédéfinie de la partie d'un membre de l'utilisateur détectée par le deuxième capteur, l'unité de calcul est propre à afficher au moins une fenêtre d'information et/ou de sélection dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième utilisateur.
13. - Le système selon l'un quelconque des aspects 1 à 12, dans lequel l'unité
de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible.
de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible.
14. - Le système selon l'un quelconque des aspects 1 à 13 comprenant, pour le ou chaque premier utilisateur, un capteur de position, propre à fournir à l'unité
de calcul des données géographiques de positionnement du premier utilisateur.
de calcul des données géographiques de positionnement du premier utilisateur.
15. - Un procédé d'élaboration d'une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système selon l'un quelconque des aspects 1 à 14;
- activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l'unité de calcul, - génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur.
- fourniture d'un système selon l'un quelconque des aspects 1 à 14;
- activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l'unité de calcul, - génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur.
16. - Le procédé selon l'aspect 15, dans lequel la génération de la simulation tridimensionnelle virtuelle comprend le chargement d'une maquette représentative d'une plateforme, et la représentation tridimensionnelle virtuelle de l'environnement virtuel d'une région de la plateforme, le ou chaque premier utilisateur évoluant dans l'environnement Date Reçue/Date Received 2022-11-30 d'aéronef pour effectuer au moins une simulation d'opération de maintenance et/ou d'utilisation de la plateforme.
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et faite en se référant aux dessins annexés, sur lesquels :
- la figure 1 est une vue schématique d'un premier système de simulation tridimensionnelle virtuelle selon l'invention ;
- la figure 2 est une vue de l'environnement virtuel crée par le système de simulation selon l'invention, comprenant une pluralité d'avatars représentatifs de plusieurs utilisateurs ;
- les figures 3 et 4 sont des vues agrandies illustrant la définition d'un avatar ;
- la figure 5 est une vue illustrant une étape d'activation d'un menu de sélection au sein de la simulation tridimensionnelle virtuelle ;
- la figure 6 est une vue d'un indicateur de sélection d'une zone ou d'un objet dans la simulation tridimensionnelle virtuelle ;
- la figure 7 est une vue détaillée d'un menu de sélection ;
- la figure 8 est une vue illustrant la sélection d'une région d'un aéronef dans la simulation tridimensionnelle virtuelle.
Un premier système 10 de simulation tridimensionnelle virtuelle selon l'invention, propre à engendrer un environnement virtuel 12, visible sur la figure 2, réunissant une pluralité d'utilisateurs 14, 16 est illustré par la figure 1.
Le système 10 est destiné à être mis en uvre notamment pour simuler une opération de maintenance et/ou d'utilisation d'une plate-forme, notamment d'un aéronef, par exemple dans le cadre d'une formation.
Dans cet exemple, au moins un premier utilisateur 14 est propre à recevoir et à
reproduire des informations relatives à l'opération de maintenance et/ou d'utilisation, notamment les étapes d'une procédure de maintenance et/ou d'utilisation. Au moins un deuxième utilisateur 16 est un formateur diffusant les informations auprès de chaque premier utilisateur 14 et vérifiant la bonne reproduction des informations.
Les opérations de maintenance et/ou d'utilisation comportent par exemple des étapes de montage / démontage d'équipements de la plateforme, ou encore des étapes de test et/ou d'activation d'équipements de la plateforme.
Dans cet exemple, le système 10 comporte, pour chaque utilisateur 14, 16, un capteur 17 de position de l'utilisateur, un premier capteur 18 de détection de la direction de vision de l'utilisateur 14, 16, et un deuxième capteur 20 de détection de la position d'une partie d'un membre de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30 Le système 10 comporte en outre au moins une unité de calcul et de synchronisation 22, propre à recevoir et à synchroniser les données provenant de chaque capteur 17, 18, 20 et à créer une simulation tridimensionnelle virtuelle réunissant les utilisateurs 14, 16 dans l'environnement virtuel 12, sur la base des données des capteurs
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et faite en se référant aux dessins annexés, sur lesquels :
- la figure 1 est une vue schématique d'un premier système de simulation tridimensionnelle virtuelle selon l'invention ;
- la figure 2 est une vue de l'environnement virtuel crée par le système de simulation selon l'invention, comprenant une pluralité d'avatars représentatifs de plusieurs utilisateurs ;
- les figures 3 et 4 sont des vues agrandies illustrant la définition d'un avatar ;
- la figure 5 est une vue illustrant une étape d'activation d'un menu de sélection au sein de la simulation tridimensionnelle virtuelle ;
- la figure 6 est une vue d'un indicateur de sélection d'une zone ou d'un objet dans la simulation tridimensionnelle virtuelle ;
- la figure 7 est une vue détaillée d'un menu de sélection ;
- la figure 8 est une vue illustrant la sélection d'une région d'un aéronef dans la simulation tridimensionnelle virtuelle.
Un premier système 10 de simulation tridimensionnelle virtuelle selon l'invention, propre à engendrer un environnement virtuel 12, visible sur la figure 2, réunissant une pluralité d'utilisateurs 14, 16 est illustré par la figure 1.
Le système 10 est destiné à être mis en uvre notamment pour simuler une opération de maintenance et/ou d'utilisation d'une plate-forme, notamment d'un aéronef, par exemple dans le cadre d'une formation.
Dans cet exemple, au moins un premier utilisateur 14 est propre à recevoir et à
reproduire des informations relatives à l'opération de maintenance et/ou d'utilisation, notamment les étapes d'une procédure de maintenance et/ou d'utilisation. Au moins un deuxième utilisateur 16 est un formateur diffusant les informations auprès de chaque premier utilisateur 14 et vérifiant la bonne reproduction des informations.
Les opérations de maintenance et/ou d'utilisation comportent par exemple des étapes de montage / démontage d'équipements de la plateforme, ou encore des étapes de test et/ou d'activation d'équipements de la plateforme.
Dans cet exemple, le système 10 comporte, pour chaque utilisateur 14, 16, un capteur 17 de position de l'utilisateur, un premier capteur 18 de détection de la direction de vision de l'utilisateur 14, 16, et un deuxième capteur 20 de détection de la position d'une partie d'un membre de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30 Le système 10 comporte en outre au moins une unité de calcul et de synchronisation 22, propre à recevoir et à synchroniser les données provenant de chaque capteur 17, 18, 20 et à créer une simulation tridimensionnelle virtuelle réunissant les utilisateurs 14, 16 dans l'environnement virtuel 12, sur la base des données des capteurs
17, 18, 20 et sur la base d'une maquette tridimensionnelle représentative de l'environnement virtuel 12. La maquette tridimensionnelle est par exemple une maquette d'au moins une zone de la plateforme.
Le système 10 comporte en outre, pour chaque utilisateur 14, 16, un ensemble de restitution 24 de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul 22 à partir du point de vue de l'utilisateur 14, 16, pour immerger chaque utilisateur 14, 16 dans l'environnement virtuel 12.
L'ensemble de restitution 24 est par exemple un casque de réalité virtuelle.
Il est porté par la tête de l'utilisateur 14, 16 avec une orientation fixe par rapport à la tête de l'utilisateur. Il comporte généralement un système d'affichage tridimensionnel, disposé en regard des yeux de l'utilisateur, notamment un écran et/ou des lunettes.
L'ensemble de restitution 24 est par exemple un casque de type Oculus Rift DK2.
Le capteur de position 17 comporte avantageusement au moins un élément fixé
sur l'ensemble de restitution 24.
Le capteur de position 17 est par exemple un capteur comprenant au moins une source lumineuse, notamment une diode électroluminescente, fixée sur l'ensemble de restitution et un détecteur optique, par exemple infrarouge, disposé en regard de l'utilisateur pour détecter la source lumineuse.
En variante, le capteur de position 17 est un gyroscope à accéléromètre, fixé
sur l'ensemble de restitution 24, dont les données sont intégrées pour donner à
chaque instant la position de l'utilisateur.
Le capteur de position 17 est propre à fournir des données géographiques de positionnement de l'utilisateur, notamment pour déterminer les mouvements globaux de la tête de l'utilisateur 14, 16 par rapport à un repère centralisé commun à tous les utilisateurs 14, 16.
Le premier capteur de détection 18 est propre à détecter la direction de vision de l'utilisateur 14, 16.
Le premier capteur 18 comporte avantageusement au moins un élément fixé sur l'ensemble de restitution 24 pour être mobile conjointement avec la tête de l'utilisateur 14, 16. Il est apte à suivre la direction de vision de l'utilisateur suivant au moins un axe vertical et au moins un axe horizontal, de préférence suivant au moins trois axes.
Date Reçue/Date Received 2022-11-30 Il est par exemple formé par un gyroscope à accéléromètre qui peut être identique, le cas échéant, au gyroscope du capteur de position 17.
En variante, le premier capteur 18 comporte une source lumineuse portée par l'ensemble de restitution 24 et au moins une caméra, de préférence plusieurs caméras de détection de la source lumineuse, la ou chaque caméra étant fixée en regard de l'utilisateur, et pouvant être commune avec le capteur de position 17, le cas échéant.
Le premier capteur 18 est propre à produire des données dans un repère propre à
chaque utilisateur 14, 16 qui sont ensuite transposées selon l'invention dans le repère centralisé, en utilisant des données du capteur de position 17.
Le deuxième capteur 20 est un capteur de détection d'au moins une partie d'un membre réel de l'utilisateur 14, 16. En particulier, le membre de l'utilisateur est un bras, et le deuxième capteur 20 est propre à détecter la position et l'orientation de la main et d'au moins un tronçon de l'avant-bras de l'utilisateur 14, 16.
De préférence, le deuxième capteur 20 est propre à détecter la position et l'orientation des deux mains et des avants bras associés de l'utilisateur 14, 16.
Le deuxième capteur 20 est par exemple un capteur de mouvements, fonctionnant avantageusement par détection infrarouge. Le capteur est par exemple de type Leap Motion .
En variante, le deuxième capteur 20 est une caméra opérant dans le domaine visible, associée à un logiciel de reconnaissance de forme.
Avantageusement, le deuxième capteur 20 est également fixé sur l'ensemble de restitution 24, pour être mobile conjointement avec la tête de l'utilisateur, en minimisant la gêne pour l'utilisateur.
Le champ de détection du capteur 20 s'étend en regard de l'utilisateur 14, 16, pour maximiser les chances de détection de la partie du membre de l'utilisateur 14, 16 à
chaque instant.
Le deuxième capteur 20 est propre à produire des données dans un repère propre au capteur 20, qui sont ensuite transposées selon l'invention dans le repère du premier capteur 18, puis dans le repère centralisé sur la base de la position et de l'orientation connues du deuxième capteur 20 sur l'ensemble de restitution 24, et des données du capteur de position 17 et du premier capteur 18.
Les données engendrées par le premier capteur 18 et par le deuxième capteur 20 sont propres à être transmises en temps réel à l'unité de calcul 22, à une fréquence par exemple comprise entre 60 Hz et 120 Hz.
De préférence, l'ensemble de restitution 24 est muni d'un système 26 de transmission de données permettant une communication bidirectionnelle entre l'unité de Date Reçue/Date Received 2022-11-30 calcul 22 et l'ensemble de restitution 24 via un moyen de transmission, incluant par exemple un câble USB, pour transmettre les données des capteurs 17, 18, 20, et pour recevoir de l'unité de calcul 22, les données nécessaires à l'immersion de l'utilisateur 14, 16 dans la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul 22.
L'unité de calcul 22 comporte au moins un processeur 30, et au moins une mémoire 32 contenant des applications logicielles propres à être exécutées par le processeur 30.
La mémoire 32 contient notamment une application 34 de chargement d'une maquette tridimensionnelle représentative de l'environnement virtuel 12 dans lequel les utilisateurs 14, 16 sont destinés à être réunis, une application 35 de génération de l'environnement virtuel 12 sur la base de la maquette tridimensionnelle chargée et, selon l'invention, une application 36 de création et de positionnement, pour chaque utilisateur, 14, 16 d'un avatar animé 38 dans l'environnement virtuel 12.
La mémoire 32 contient en outre une application 40 de contrôle et de restitution sélective de l'environnement virtuel 12 et du ou des avatars 38 de chaque utilisateur 14, 16.
L'application de chargement 34 est propre à récupérer sous forme informatique un fichier de maquette tridimensionnelle représentatif de l'environnement virtuel 12 dans lequel vont être plongés les utilisateurs 14, 16.
La maquette tridimensionnelle est par exemple une maquette représentative d'une plate-forme, notamment un aéronef dans son ensemble, ou d'une partie de la plate-forme.
La maquette tridimensionnelle comporte par exemple des données de positionnement relatif et de forme d'une ossature supportant des composants et de chacun des composants montés sur l'ossature. Elle comporte notamment des données d'attribution de chaque composant à un système fonctionnel (par exemple un numéro de série pour chaque composant).
La maquette est généralement organisée au sein d'un fichier informatique, sous la forme d'une arborescence de modèles issue d'un logiciel de conception assistée par ordinateur, cette arborescence étant par exemple organisée par type de systèmes (structure, fixation, équipement).
L'application 35 de génération est propre à utiliser les données de la maquette tridimensionnelle pour engendrer une représentation tridimensionnelle virtuelle de l'environnement virtuel 12.
L'application 36 de création et de positionnement d'avatars animés 38 est propre à
analyser la position de chaque utilisateur 14, 16 dans l'environnement virtuel 12 sur la Date Reçue/Date Received 2022-11-30 base des données de positionnement du capteur de position 17, et de données de direction de vision, reçues du premier capteur 18.
Selon l'invention, l'application 36 de création et de positionnement est propre à
créer, pour chaque utilisateur 14, 16 un avatar animé 38 représentatif de l'attitude et du positionnement d'au moins un membre de l'utilisateur, notamment d'au moins un bras de l'utilisateur et à placer chaque avatar 38 dans l'environnement virtuel 12.
Dans l'exemple illustré par la figure 3 et par la figure 4, l'avatar 38 comprend une tête virtuelle 50, mobile en fonction des déplacements de la tête de l'utilisateur 14, 16, mesurés par le premier capteur 18, un tronc virtuel 54 relié à la tête virtuelle 50 par un cou virtuel 56 et des épaules virtuelles 58, le tronc virtuel 54 et les épaules virtuelles 58 étant mobiles conjointement en rotation avec la tête virtuelle 50.
L'avatar 38 comprend en outre deux membres virtuels 59, chaque membre virtuel 59 étant mobile en fonction du déplacement et de l'orientation de la partie de membre correspondante de l'utilisateur détectée par le deuxième capteur 20. Chaque membre virtuel comprend ici une main virtuelle 62, une première région 64 et une deuxième région 66 reliées entre elles par un coude virtuel 68.
Pour créer et positionner l'avatar 38, l'application 36 comprend un module de positionnement de la tête virtuelle 50 de l'avatar 38, sur la base des données reçues du capteur de position 17 et du premier capteur 18, un module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 de l'avatar 38, en fonction des données de positionnement de la tête virtuelle 50, et un module de positionnement des membres virtuels 59 de l'utilisateur 14, 16 dans l'environnement virtuel 12, sur la base notamment des données du deuxième capteur 20.
Pour chaque utilisateur 14, 16, le module de positionnement de la tête virtuelle 50 est propre à utiliser les données du capteur de position 17, pour situer la tête virtuelle 50 de l'avatar 38 dans l'environnement virtuel 12.
Les données du capteur de position 17 sont recalées dans un référentiel commun à l'ensemble des utilisateurs 14, 16 dans l'environnement virtuel 12.
Dans un premier mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16 sont positionnés à des localisations distinctes les unes des autres, au sein de l'environnement virtuel 12, comme illustré sur la figure 2.
Dans un autre mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16 sont positionnés avec un recouvrement les uns par rapport aux autres, notamment si l'environnement virtuel 12 est confiné. Dans ce cas, comme on le verra plus bas, chaque utilisateur 14, 16 n'est pas apte à voir tous les avatars 38 présents dans l'environnement virtuel 12 confiné.
Date Reçue/Date Received 2022-11-30 Le module de positionnement de la tête virtuelle 50 est propre à traiter des données provenant du premier capteur 18, pour engendrer en temps réel, des données d'orientation de la tête virtuelle 50 de l'avatar 38 correspondant à la direction de vision mesurée à partir du premier capteur 18.
La tête virtuelle de l'avatar 38 présente ici une forme sensiblement sphérique. Elle comporte un marqueur représentatif de la direction de vision, notamment un pavé 52 illustrant la position des yeux de l'utilisateur, et de l'ensemble de restitution 24 placé sur les yeux.
L'orientation de la direction de vision de l'avatar 38 est possible autour d'au moins un axe vertical A-A' et d'un axe horizontal B-B', et avantageusement suivant un deuxième axe horizontal C-C'.
L'avatar 38 n'est ainsi pas limité en rotation et peut déplacer sa direction de vision de plus de 90 de chaque côté de sa direction de vision de base.
Le module de détermination du positionnement du tronc virtuel 54 et des épaules 58 est propre à caler en temps réel la position du tronc virtuel 54, représentée également par une sphère sur l'avatar 38 à une distance prédéterminée de la tête 50.
Cette distance prédéterminée correspond à la hauteur du cou virtuel 56 de l'avatar 38 représenté par un cylindre orienté verticalement.
Le cou virtuel 56 est placé verticalement au niveau du point de pivot vertical de la tête virtuelle 50 autour de l'axe vertical A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à fixer l'orientation angulaire des épaules virtuelles 58, en les maintenant dans un plan vertical, avec un angle fixe par rapport à l'horizontale, de part et d'autre de l'axe vertical A-A' du cou 56.
Il est propre à faire pivoter le plan contenant les épaules virtuelles 58 conjointement avec la tête virtuelle 50 autour de l'axe vertical A-A', pour suivre en permanence la rotation de la tête virtuelle 50 autour de l'axe vertical A-A'.
Ainsi, les épaules virtuelles 58 de l'avatar 38 restent fixes en distance et en orientation dans leur plan par rapport au tronc virtuel 54, mais pivotent conjointement avec la tête virtuelle 50 autour de l'axe A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à définir en temps réel la position des extrémités 60 des épaules virtuelles 58, représentées ici par des sphères, qui servent de base pour la construction des membres virtuels 59 de l'avatar 38, comme on le verra plus bas.
Date Reçue/Date Received 2022-11-30 La position des extrémités 60 est définie par une distance dl prédéterminée entre les extrémités 60 et le tronc 54, par exemple de l'ordre de 20 cm (distance moyenne tête-épaule).
Le module de positionnement des membres virtuels 59 est propre à recevoir les données provenant du deuxième capteur 20 pour déterminer la position et l'orientation d'une partie de chaque membre de l'utilisateur 14, 16 dans le monde réel.
Dans cet exemple, la partie du membre de l'utilisateur 14, 16 détectée par le deuxième capteur 20 comprend la main de l'utilisateur, et au moins le début de l'avant-bras.
Le module de positionnement des membres virtuels 59 est apte à traiter les données du deuxième capteur 20 pour recaler les données de position issues du deuxième capteur 20 depuis le référentiel du deuxième capteur 20 vers le référentiel commun, en se fondant notamment sur la position fixe du deuxième capteur 20 sur l'ensemble de restitution 24 et sur les données du capteur de position 17 et du premier capteur 18.
Le module de positionnement des membres virtuels 59 est propre à engendrer et à
positionner une représentation virtuelle orientée de la partie du membre de l'utilisateur 14, 16 détectée par le deuxième capteur 20, ici d'une main virtuelle 62 sur l'avatar 38.
Le module de positionnement des membres virtuels 59 est également propre à
déterminer l'orientation et la position de la deuxième région 66 de chaque membre virtuel sur la base des données reçues du deuxième capteur 20. Dans cet exemple, la deuxième région 66 du membre virtuel est l'avant-bras.
A cet effet, le module de positionnement des membres virtuels 59 est propre à
déterminer l'orientation du début de l'avant-bras de l'utilisateur 14, 16 dans le monde réel, sur la base des données du capteur 20, et à utiliser cette orientation pour orienter la deuxième région 66 de chaque membre virtuel 59 à partir de la position de la main virtuelle 62, de l'orientation du début de l'avant-bras et d'une distance d2 prédéfinie définissant la longueur de la deuxième région 66 entre la main virtuelle 62 et un coude virtuel 68, par exemple de l'ordre de 30 cm (longueur moyenne de l'avant-bras).
Puis, une fois la position du coude virtuelle 68 connue, le module de positionnement des membres virtuels 59 est propre à déterminer la position et l'orientation de la première région 64 de chaque membre virtuel entre l'extrémité 60 de l'épaule virtuelle 58, obtenue notamment à partir des données du premier capteur 18, tel que décrit plus haut et le coude virtuel 68.
Le module de positionnement est en outre apte à déterminer si la position de la main virtuelle 62, telle qu'obtenue à partir du capteur 20, est physiologiquement possible.
Date Reçue/Date Received 2022-11-30 Cette détermination est par exemple effectuée en déterminant la distance d3 séparant l'extrémité 60 de l'épaule virtuelle 58 du coude virtuel 68 et en la comparant à une valeur physiologique maximale possible, par exemple égale à 45 cm.
Ainsi, pour chaque utilisateur 14, 16, les caractéristiques et le positionnement d'un avatar 38 correspondant à l'utilisateur 14, 16 est créé et est défini par l'application de création et de positionnement 36.
L'avatar 38 suit les orientations générales de la tête, et des mains de l'utilisateur 14, 16. L'avatar 38 présente en outre des membres virtuels 59 animés, dont les orientations sont proches, sans être identiques à celles des membres réels de l'utilisateur 14, 16 dans le monde réel, ce qui simplifie le fonctionnement du système 10, tout en offrant une perception représentative des mouvements réels des membres.
Les informations de définition et de position de chaque avatar 38 sont définies et/ou transposées dans le référentiel commun et sont partagées au sein de l'unité de calcul 22.
Chaque avatar 38 peut ainsi être positionné et orienté en temps réel dans l'environnement virtuel 12.
L'application 40 de contrôle et de restitution de l'environnement virtuel 12 et des avatars 38 est propre à traiter les données engendrées par l'application de création et de positionnement 36 pour restituer une représentation tridimensionnelle virtuelle représentative de l'environnement virtuel 12 et d'au moins un avatar 38 présent dans cet environnement virtuel 12 dans chaque ensemble de restitution 24.
Sur cette base, l'application 40 est propre à engendrer une représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16, qui dépend de la position de l'utilisateur 14, 16 dans l'environnement virtuel 12, et de la direction de vision de l'utilisateur 14, 16.
La représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16 est propre à être transmise en temps réel à l'ensemble de restitution 24 de l'utilisateur 14, 16 concerné.
A cet effet, l'application 40 comporte pour chaque utilisateur 14, 16, un module de contrôle de l'affichage de l'environnement virtuel 12 et de l'affichage sélectif d'un ou plusieurs avatars 38 d'autres utilisateurs 14, 16 dans cet environnement virtuel 12, et un module de masquage partiel de l'avatar 38 de l'utilisateur 14, 16 et/ou des autres utilisateurs 14, 16.
Avantageusement, l'application 40 comporte en outre un module d'affichage et/ou de sélection d'objets virtuels dans l'environnement à partir de l'avatar 38 de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30 L'application 40 de contrôle et de restitution est par exemple pilotée et paramétrée uniquement par le deuxième utilisateur 16.
Le module de contrôle de l'affichage est propre à traiter les données obtenues de manière centralisée dans l'unité de calcul 22 en temps réel pour afficher, dans l'ensemble de restitution 24 associé à un utilisateur donné 14, 16, une représentation tridimensionnelle virtuelle de l'environnement virtuel 12, pris à la position de l'utilisateur 14, 16, suivant la direction de vision de l'utilisateur, tel que déterminé par les capteurs de position 17 et par le premier capteur 18.
Le module de contrôle de l'affichage est en outre propre à afficher dans la représentation tridimensionnelle virtuelle les avatars 38 d'un ou plusieurs utilisateurs 14, 16, en fonction des préférences fournies par le deuxième utilisateur 16.
Dans un mode de fonctionnement, le module de contrôle de l'affichage est propre à afficher pour chaque utilisateur 14, tous les avatars 38 d'autres utilisateurs 14, 16 présents dans l'environnement virtuel 12.
Dans un autre mode de fonctionnement, le module de contrôle de l'affichage est propre à maintenir masqué l'avatar 38 d'au moins un utilisateur 14, 16.
Ainsi, le deuxième utilisateur 16 est apte à paramétrer le module de contrôle de l'affichage pour recevoir dans son ensemble de restitution 24 uniquement l'avatar 38 d'un utilisateur 14 choisi, sans voir les avatars des autres utilisateurs 14.
Ceci permet par exemple d'isoler un ou plusieurs utilisateurs 14, et d'exclure les autres utilisateurs 14 qui reçoivent avantageusement un message leur indiquant qu'ils sont temporairement exclus de la simulation.
De même, le deuxième utilisateur 16 est apte à commander le module de contrôle de l'affichage pour empêcher à chaque premier utilisateur 14 de voir les avatars 38 des autres utilisateurs 14 dans leurs ensembles de restitutions respectifs, tout en conservant la possibilité d'observer tous les utilisateurs 14 dans son propre ensemble de restitution 24.
Ceci permet de grouper un grand nombre d'utilisateurs à une même localisation confinée dans l'environnement virtuel 12, en évitant que les utilisateurs ne soient gênés par les avatars 38 d'autres utilisateurs 14, 16. Ceci est particulièrement avantageux par rapport à un environnement réel qui ne pourrait recevoir tous les utilisateurs 14, 16 dans une localisation confinée.
Le module de masquage partiel est propre à masquer la partie supérieure du propre avatar 38 de l'utilisateur 14, 16 dans la représentation tridimensionnelle virtuelle engendrée par l'ensemble de restitution 24 de cet utilisateur 14, 16. Ainsi, la tête virtuelle 50, les épaules virtuelles 58 et le cou virtuel 56 du propre avatar 38 de l'utilisateur 14, 16 Date Reçue/Date Received 2022-11-30 sont masqués dans son ensemble de restitution 24 pour ne pas créer de sensations désagréables du fait du positionnement différent entre les épaules virtuelles 58 et les épaules réelles.
Le module de masquage partiel est en outre apte à masquer les membres virtuels 59 d'au moins un utilisateur 14, 16, en l'absence de données détectées par les deuxièmes capteurs 20 de cet utilisateur 14, 16, et/ou si ces données produisent des positions de main virtuelle 62 qui ne sont pas physiologiquement possibles, comme décrit plus haut.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre l'affichage d'un menu de commande, dans une position prédéfinie d'au moins une partie du membre de l'utilisateur 14, 16 par rapport à la tête de l'utilisateur 14, 16.
La position prédéfinie est par exemple une orientation particulière de la paume de la main de l'utilisateur 14, 16 par rapport à sa tête, notamment lorsque la paume de la main fait face à la tête.
A cet effet, le module d'affichage et/ou de sélection d'objets virtuels est propre à
déterminer l'angle entre un vecteur perpendiculaire à la paume de la main, obtenu à partir du deuxième capteur 20 et un deuxième vecteur s'étendant entre la main et la tête.
Si cet angle est inférieur à une valeur donnée, par exemple à 80 , ce qui se produit lorsque la paume de la main se rapproche de la tête pour faire face à la tête (voir figure 5), le module d'affichage et/ou de sélection d'objets virtuels est propre à
afficher un menu de sélection 90 dans l'environnement virtuel 12, en regard de la tête de l'utilisateur 14, 16.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
refermer le menu de sélection 90 si l'angle précité augmente au-delà de la valeur prédéfinie, pendant un temps prédétini, par exemple supérieur à une seconde.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre le choix d'une fonction 92 dans le menu de sélection 90, par déplacement d'un doigt de la main virtuelle 62 de l'avatar 38 sur une zone de choix du menu de sélection 90 affiché.
Dans une variante, le module d'affichage et/ou de sélection d'objets virtuels est propre à permettre la sélection d'une fonction 92 dans le menu affiché, en effectuant un lancer de rayon. Le lancer de rayon consiste à maintenir la direction de vision dans l'ensemble de restitution 24 pour viser la fonction 92 à sélectionner pendant un temps prédéfini.
Si la direction de vision, telle que détectée par le premier capteur 18 vise la zone correspondant à la fonction 92 pendant une durée supérieure à un temps prédéterminé, le module d'affichage et/ou de sélection d'objets virtuels est propre à
sélectionner cette fonction. Avantageusement, il est propre à faire apparaître un compteur 94, visible sur la figure 6, représentatif du temps de visée nécessaire pour activer la sélection.
Date Reçue/Date Received 2022-11-30 Le module d'affichage et/ou de sélection d'objets virtuels est également propre à
faire apparaître des informations correspondant à un élément présent dans l'environnement virtuel 12, par exemple une pièce de l'aéronef, lorsque cette pièce est sélectionnée soit par visée, comme décrit précédemment, soit par contact virtuel entre la main virtuelle 62 de l'avatar 38 de l'utilisateur et la pièce.
Dans l'exemple représenté sur la figure 7, le module d'affichage et/ou de sélection d'objets virtuels est propre à faire apparaître un menu contextuel 96 désignant la pièce et un certain nombre de choix possibles Cl à C4 pour l'utilisateur comme masquer la pièce (Cl), isoler la pièce (C2), agrandir la pièce (C3), ou annuler la sélection (C4).
Dans la variante représentée sur la figure 8, l'utilisateur 16 est propre à
faire apparaître un modèle 98 à échelle réduite de la plate-forme pour sélectionner une zone 99 de cette plate-forme destinée à être utilisée comme environnement virtuel 12. La sélection est effectuée comme précédemment, par contact virtuel entre la main virtuelle 62 de l'avatar 38 de l'utilisateur et le modèle 98 et/ou par visée.
Une fois la sélection effectuée, l'environnement virtuel 12 est modifié pour faire apparaître la zone sélectionnée 99.
Un procédé d'élaboration et de mise en oeuvre d'une simulation tridimensionnelle virtuelle partagée entre plusieurs utilisateurs 14, 16 va maintenant être décrit.
Initialement, le système de simulation virtuelle 10 est activé. Chaque utilisateur 14, 16 s'équipe d'un ensemble de restitution 24 muni d'un capteur de position 17, d'un premier capteur 18 de détection d'une direction de vision de l'utilisateur 14, 16 et d'un deuxième capteur 20 de détection de la position d'une partie d'un membre de l'utilisateur 14, 16.
L'unité de calcul 22 récupère les données concernant l'environnement virtuel dans lequel sont destinés à être plongés virtuellement les utilisateurs 14, 16 au moyen de l'application 34. Ces données proviennent par exemple d'une maquette numérique de la plate-forme ou de la région de la plate-forme dans lequel vont être immergés les utilisateurs 14, 16. L'application 35 génère une représentation tridimensionnelle virtuelle de l'environnement virtuel 12.
L'unité de calcul 22 recueille alors en temps réel les données provenant de chaque capteur 17, 18, 20 pour créer et positionner un avatar 38 correspondant à
chaque utilisateur 14, 16 dans l'environnement virtuel 12.
A cet effet, pour chaque utilisateur 14, 16, l'application 36 transpose les données du deuxième capteur 20 pour les placer dans le repère associé au premier capteur 18, puis transpose à nouveau les données obtenues, ainsi que les données provenant du Date Reçue/Date Received 2022-11-30
Le système 10 comporte en outre, pour chaque utilisateur 14, 16, un ensemble de restitution 24 de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul 22 à partir du point de vue de l'utilisateur 14, 16, pour immerger chaque utilisateur 14, 16 dans l'environnement virtuel 12.
L'ensemble de restitution 24 est par exemple un casque de réalité virtuelle.
Il est porté par la tête de l'utilisateur 14, 16 avec une orientation fixe par rapport à la tête de l'utilisateur. Il comporte généralement un système d'affichage tridimensionnel, disposé en regard des yeux de l'utilisateur, notamment un écran et/ou des lunettes.
L'ensemble de restitution 24 est par exemple un casque de type Oculus Rift DK2.
Le capteur de position 17 comporte avantageusement au moins un élément fixé
sur l'ensemble de restitution 24.
Le capteur de position 17 est par exemple un capteur comprenant au moins une source lumineuse, notamment une diode électroluminescente, fixée sur l'ensemble de restitution et un détecteur optique, par exemple infrarouge, disposé en regard de l'utilisateur pour détecter la source lumineuse.
En variante, le capteur de position 17 est un gyroscope à accéléromètre, fixé
sur l'ensemble de restitution 24, dont les données sont intégrées pour donner à
chaque instant la position de l'utilisateur.
Le capteur de position 17 est propre à fournir des données géographiques de positionnement de l'utilisateur, notamment pour déterminer les mouvements globaux de la tête de l'utilisateur 14, 16 par rapport à un repère centralisé commun à tous les utilisateurs 14, 16.
Le premier capteur de détection 18 est propre à détecter la direction de vision de l'utilisateur 14, 16.
Le premier capteur 18 comporte avantageusement au moins un élément fixé sur l'ensemble de restitution 24 pour être mobile conjointement avec la tête de l'utilisateur 14, 16. Il est apte à suivre la direction de vision de l'utilisateur suivant au moins un axe vertical et au moins un axe horizontal, de préférence suivant au moins trois axes.
Date Reçue/Date Received 2022-11-30 Il est par exemple formé par un gyroscope à accéléromètre qui peut être identique, le cas échéant, au gyroscope du capteur de position 17.
En variante, le premier capteur 18 comporte une source lumineuse portée par l'ensemble de restitution 24 et au moins une caméra, de préférence plusieurs caméras de détection de la source lumineuse, la ou chaque caméra étant fixée en regard de l'utilisateur, et pouvant être commune avec le capteur de position 17, le cas échéant.
Le premier capteur 18 est propre à produire des données dans un repère propre à
chaque utilisateur 14, 16 qui sont ensuite transposées selon l'invention dans le repère centralisé, en utilisant des données du capteur de position 17.
Le deuxième capteur 20 est un capteur de détection d'au moins une partie d'un membre réel de l'utilisateur 14, 16. En particulier, le membre de l'utilisateur est un bras, et le deuxième capteur 20 est propre à détecter la position et l'orientation de la main et d'au moins un tronçon de l'avant-bras de l'utilisateur 14, 16.
De préférence, le deuxième capteur 20 est propre à détecter la position et l'orientation des deux mains et des avants bras associés de l'utilisateur 14, 16.
Le deuxième capteur 20 est par exemple un capteur de mouvements, fonctionnant avantageusement par détection infrarouge. Le capteur est par exemple de type Leap Motion .
En variante, le deuxième capteur 20 est une caméra opérant dans le domaine visible, associée à un logiciel de reconnaissance de forme.
Avantageusement, le deuxième capteur 20 est également fixé sur l'ensemble de restitution 24, pour être mobile conjointement avec la tête de l'utilisateur, en minimisant la gêne pour l'utilisateur.
Le champ de détection du capteur 20 s'étend en regard de l'utilisateur 14, 16, pour maximiser les chances de détection de la partie du membre de l'utilisateur 14, 16 à
chaque instant.
Le deuxième capteur 20 est propre à produire des données dans un repère propre au capteur 20, qui sont ensuite transposées selon l'invention dans le repère du premier capteur 18, puis dans le repère centralisé sur la base de la position et de l'orientation connues du deuxième capteur 20 sur l'ensemble de restitution 24, et des données du capteur de position 17 et du premier capteur 18.
Les données engendrées par le premier capteur 18 et par le deuxième capteur 20 sont propres à être transmises en temps réel à l'unité de calcul 22, à une fréquence par exemple comprise entre 60 Hz et 120 Hz.
De préférence, l'ensemble de restitution 24 est muni d'un système 26 de transmission de données permettant une communication bidirectionnelle entre l'unité de Date Reçue/Date Received 2022-11-30 calcul 22 et l'ensemble de restitution 24 via un moyen de transmission, incluant par exemple un câble USB, pour transmettre les données des capteurs 17, 18, 20, et pour recevoir de l'unité de calcul 22, les données nécessaires à l'immersion de l'utilisateur 14, 16 dans la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul 22.
L'unité de calcul 22 comporte au moins un processeur 30, et au moins une mémoire 32 contenant des applications logicielles propres à être exécutées par le processeur 30.
La mémoire 32 contient notamment une application 34 de chargement d'une maquette tridimensionnelle représentative de l'environnement virtuel 12 dans lequel les utilisateurs 14, 16 sont destinés à être réunis, une application 35 de génération de l'environnement virtuel 12 sur la base de la maquette tridimensionnelle chargée et, selon l'invention, une application 36 de création et de positionnement, pour chaque utilisateur, 14, 16 d'un avatar animé 38 dans l'environnement virtuel 12.
La mémoire 32 contient en outre une application 40 de contrôle et de restitution sélective de l'environnement virtuel 12 et du ou des avatars 38 de chaque utilisateur 14, 16.
L'application de chargement 34 est propre à récupérer sous forme informatique un fichier de maquette tridimensionnelle représentatif de l'environnement virtuel 12 dans lequel vont être plongés les utilisateurs 14, 16.
La maquette tridimensionnelle est par exemple une maquette représentative d'une plate-forme, notamment un aéronef dans son ensemble, ou d'une partie de la plate-forme.
La maquette tridimensionnelle comporte par exemple des données de positionnement relatif et de forme d'une ossature supportant des composants et de chacun des composants montés sur l'ossature. Elle comporte notamment des données d'attribution de chaque composant à un système fonctionnel (par exemple un numéro de série pour chaque composant).
La maquette est généralement organisée au sein d'un fichier informatique, sous la forme d'une arborescence de modèles issue d'un logiciel de conception assistée par ordinateur, cette arborescence étant par exemple organisée par type de systèmes (structure, fixation, équipement).
L'application 35 de génération est propre à utiliser les données de la maquette tridimensionnelle pour engendrer une représentation tridimensionnelle virtuelle de l'environnement virtuel 12.
L'application 36 de création et de positionnement d'avatars animés 38 est propre à
analyser la position de chaque utilisateur 14, 16 dans l'environnement virtuel 12 sur la Date Reçue/Date Received 2022-11-30 base des données de positionnement du capteur de position 17, et de données de direction de vision, reçues du premier capteur 18.
Selon l'invention, l'application 36 de création et de positionnement est propre à
créer, pour chaque utilisateur 14, 16 un avatar animé 38 représentatif de l'attitude et du positionnement d'au moins un membre de l'utilisateur, notamment d'au moins un bras de l'utilisateur et à placer chaque avatar 38 dans l'environnement virtuel 12.
Dans l'exemple illustré par la figure 3 et par la figure 4, l'avatar 38 comprend une tête virtuelle 50, mobile en fonction des déplacements de la tête de l'utilisateur 14, 16, mesurés par le premier capteur 18, un tronc virtuel 54 relié à la tête virtuelle 50 par un cou virtuel 56 et des épaules virtuelles 58, le tronc virtuel 54 et les épaules virtuelles 58 étant mobiles conjointement en rotation avec la tête virtuelle 50.
L'avatar 38 comprend en outre deux membres virtuels 59, chaque membre virtuel 59 étant mobile en fonction du déplacement et de l'orientation de la partie de membre correspondante de l'utilisateur détectée par le deuxième capteur 20. Chaque membre virtuel comprend ici une main virtuelle 62, une première région 64 et une deuxième région 66 reliées entre elles par un coude virtuel 68.
Pour créer et positionner l'avatar 38, l'application 36 comprend un module de positionnement de la tête virtuelle 50 de l'avatar 38, sur la base des données reçues du capteur de position 17 et du premier capteur 18, un module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 de l'avatar 38, en fonction des données de positionnement de la tête virtuelle 50, et un module de positionnement des membres virtuels 59 de l'utilisateur 14, 16 dans l'environnement virtuel 12, sur la base notamment des données du deuxième capteur 20.
Pour chaque utilisateur 14, 16, le module de positionnement de la tête virtuelle 50 est propre à utiliser les données du capteur de position 17, pour situer la tête virtuelle 50 de l'avatar 38 dans l'environnement virtuel 12.
Les données du capteur de position 17 sont recalées dans un référentiel commun à l'ensemble des utilisateurs 14, 16 dans l'environnement virtuel 12.
Dans un premier mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16 sont positionnés à des localisations distinctes les unes des autres, au sein de l'environnement virtuel 12, comme illustré sur la figure 2.
Dans un autre mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16 sont positionnés avec un recouvrement les uns par rapport aux autres, notamment si l'environnement virtuel 12 est confiné. Dans ce cas, comme on le verra plus bas, chaque utilisateur 14, 16 n'est pas apte à voir tous les avatars 38 présents dans l'environnement virtuel 12 confiné.
Date Reçue/Date Received 2022-11-30 Le module de positionnement de la tête virtuelle 50 est propre à traiter des données provenant du premier capteur 18, pour engendrer en temps réel, des données d'orientation de la tête virtuelle 50 de l'avatar 38 correspondant à la direction de vision mesurée à partir du premier capteur 18.
La tête virtuelle de l'avatar 38 présente ici une forme sensiblement sphérique. Elle comporte un marqueur représentatif de la direction de vision, notamment un pavé 52 illustrant la position des yeux de l'utilisateur, et de l'ensemble de restitution 24 placé sur les yeux.
L'orientation de la direction de vision de l'avatar 38 est possible autour d'au moins un axe vertical A-A' et d'un axe horizontal B-B', et avantageusement suivant un deuxième axe horizontal C-C'.
L'avatar 38 n'est ainsi pas limité en rotation et peut déplacer sa direction de vision de plus de 90 de chaque côté de sa direction de vision de base.
Le module de détermination du positionnement du tronc virtuel 54 et des épaules 58 est propre à caler en temps réel la position du tronc virtuel 54, représentée également par une sphère sur l'avatar 38 à une distance prédéterminée de la tête 50.
Cette distance prédéterminée correspond à la hauteur du cou virtuel 56 de l'avatar 38 représenté par un cylindre orienté verticalement.
Le cou virtuel 56 est placé verticalement au niveau du point de pivot vertical de la tête virtuelle 50 autour de l'axe vertical A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à fixer l'orientation angulaire des épaules virtuelles 58, en les maintenant dans un plan vertical, avec un angle fixe par rapport à l'horizontale, de part et d'autre de l'axe vertical A-A' du cou 56.
Il est propre à faire pivoter le plan contenant les épaules virtuelles 58 conjointement avec la tête virtuelle 50 autour de l'axe vertical A-A', pour suivre en permanence la rotation de la tête virtuelle 50 autour de l'axe vertical A-A'.
Ainsi, les épaules virtuelles 58 de l'avatar 38 restent fixes en distance et en orientation dans leur plan par rapport au tronc virtuel 54, mais pivotent conjointement avec la tête virtuelle 50 autour de l'axe A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 est en outre propre à définir en temps réel la position des extrémités 60 des épaules virtuelles 58, représentées ici par des sphères, qui servent de base pour la construction des membres virtuels 59 de l'avatar 38, comme on le verra plus bas.
Date Reçue/Date Received 2022-11-30 La position des extrémités 60 est définie par une distance dl prédéterminée entre les extrémités 60 et le tronc 54, par exemple de l'ordre de 20 cm (distance moyenne tête-épaule).
Le module de positionnement des membres virtuels 59 est propre à recevoir les données provenant du deuxième capteur 20 pour déterminer la position et l'orientation d'une partie de chaque membre de l'utilisateur 14, 16 dans le monde réel.
Dans cet exemple, la partie du membre de l'utilisateur 14, 16 détectée par le deuxième capteur 20 comprend la main de l'utilisateur, et au moins le début de l'avant-bras.
Le module de positionnement des membres virtuels 59 est apte à traiter les données du deuxième capteur 20 pour recaler les données de position issues du deuxième capteur 20 depuis le référentiel du deuxième capteur 20 vers le référentiel commun, en se fondant notamment sur la position fixe du deuxième capteur 20 sur l'ensemble de restitution 24 et sur les données du capteur de position 17 et du premier capteur 18.
Le module de positionnement des membres virtuels 59 est propre à engendrer et à
positionner une représentation virtuelle orientée de la partie du membre de l'utilisateur 14, 16 détectée par le deuxième capteur 20, ici d'une main virtuelle 62 sur l'avatar 38.
Le module de positionnement des membres virtuels 59 est également propre à
déterminer l'orientation et la position de la deuxième région 66 de chaque membre virtuel sur la base des données reçues du deuxième capteur 20. Dans cet exemple, la deuxième région 66 du membre virtuel est l'avant-bras.
A cet effet, le module de positionnement des membres virtuels 59 est propre à
déterminer l'orientation du début de l'avant-bras de l'utilisateur 14, 16 dans le monde réel, sur la base des données du capteur 20, et à utiliser cette orientation pour orienter la deuxième région 66 de chaque membre virtuel 59 à partir de la position de la main virtuelle 62, de l'orientation du début de l'avant-bras et d'une distance d2 prédéfinie définissant la longueur de la deuxième région 66 entre la main virtuelle 62 et un coude virtuel 68, par exemple de l'ordre de 30 cm (longueur moyenne de l'avant-bras).
Puis, une fois la position du coude virtuelle 68 connue, le module de positionnement des membres virtuels 59 est propre à déterminer la position et l'orientation de la première région 64 de chaque membre virtuel entre l'extrémité 60 de l'épaule virtuelle 58, obtenue notamment à partir des données du premier capteur 18, tel que décrit plus haut et le coude virtuel 68.
Le module de positionnement est en outre apte à déterminer si la position de la main virtuelle 62, telle qu'obtenue à partir du capteur 20, est physiologiquement possible.
Date Reçue/Date Received 2022-11-30 Cette détermination est par exemple effectuée en déterminant la distance d3 séparant l'extrémité 60 de l'épaule virtuelle 58 du coude virtuel 68 et en la comparant à une valeur physiologique maximale possible, par exemple égale à 45 cm.
Ainsi, pour chaque utilisateur 14, 16, les caractéristiques et le positionnement d'un avatar 38 correspondant à l'utilisateur 14, 16 est créé et est défini par l'application de création et de positionnement 36.
L'avatar 38 suit les orientations générales de la tête, et des mains de l'utilisateur 14, 16. L'avatar 38 présente en outre des membres virtuels 59 animés, dont les orientations sont proches, sans être identiques à celles des membres réels de l'utilisateur 14, 16 dans le monde réel, ce qui simplifie le fonctionnement du système 10, tout en offrant une perception représentative des mouvements réels des membres.
Les informations de définition et de position de chaque avatar 38 sont définies et/ou transposées dans le référentiel commun et sont partagées au sein de l'unité de calcul 22.
Chaque avatar 38 peut ainsi être positionné et orienté en temps réel dans l'environnement virtuel 12.
L'application 40 de contrôle et de restitution de l'environnement virtuel 12 et des avatars 38 est propre à traiter les données engendrées par l'application de création et de positionnement 36 pour restituer une représentation tridimensionnelle virtuelle représentative de l'environnement virtuel 12 et d'au moins un avatar 38 présent dans cet environnement virtuel 12 dans chaque ensemble de restitution 24.
Sur cette base, l'application 40 est propre à engendrer une représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16, qui dépend de la position de l'utilisateur 14, 16 dans l'environnement virtuel 12, et de la direction de vision de l'utilisateur 14, 16.
La représentation tridimensionnelle virtuelle propre à chaque utilisateur 14, 16 est propre à être transmise en temps réel à l'ensemble de restitution 24 de l'utilisateur 14, 16 concerné.
A cet effet, l'application 40 comporte pour chaque utilisateur 14, 16, un module de contrôle de l'affichage de l'environnement virtuel 12 et de l'affichage sélectif d'un ou plusieurs avatars 38 d'autres utilisateurs 14, 16 dans cet environnement virtuel 12, et un module de masquage partiel de l'avatar 38 de l'utilisateur 14, 16 et/ou des autres utilisateurs 14, 16.
Avantageusement, l'application 40 comporte en outre un module d'affichage et/ou de sélection d'objets virtuels dans l'environnement à partir de l'avatar 38 de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30 L'application 40 de contrôle et de restitution est par exemple pilotée et paramétrée uniquement par le deuxième utilisateur 16.
Le module de contrôle de l'affichage est propre à traiter les données obtenues de manière centralisée dans l'unité de calcul 22 en temps réel pour afficher, dans l'ensemble de restitution 24 associé à un utilisateur donné 14, 16, une représentation tridimensionnelle virtuelle de l'environnement virtuel 12, pris à la position de l'utilisateur 14, 16, suivant la direction de vision de l'utilisateur, tel que déterminé par les capteurs de position 17 et par le premier capteur 18.
Le module de contrôle de l'affichage est en outre propre à afficher dans la représentation tridimensionnelle virtuelle les avatars 38 d'un ou plusieurs utilisateurs 14, 16, en fonction des préférences fournies par le deuxième utilisateur 16.
Dans un mode de fonctionnement, le module de contrôle de l'affichage est propre à afficher pour chaque utilisateur 14, tous les avatars 38 d'autres utilisateurs 14, 16 présents dans l'environnement virtuel 12.
Dans un autre mode de fonctionnement, le module de contrôle de l'affichage est propre à maintenir masqué l'avatar 38 d'au moins un utilisateur 14, 16.
Ainsi, le deuxième utilisateur 16 est apte à paramétrer le module de contrôle de l'affichage pour recevoir dans son ensemble de restitution 24 uniquement l'avatar 38 d'un utilisateur 14 choisi, sans voir les avatars des autres utilisateurs 14.
Ceci permet par exemple d'isoler un ou plusieurs utilisateurs 14, et d'exclure les autres utilisateurs 14 qui reçoivent avantageusement un message leur indiquant qu'ils sont temporairement exclus de la simulation.
De même, le deuxième utilisateur 16 est apte à commander le module de contrôle de l'affichage pour empêcher à chaque premier utilisateur 14 de voir les avatars 38 des autres utilisateurs 14 dans leurs ensembles de restitutions respectifs, tout en conservant la possibilité d'observer tous les utilisateurs 14 dans son propre ensemble de restitution 24.
Ceci permet de grouper un grand nombre d'utilisateurs à une même localisation confinée dans l'environnement virtuel 12, en évitant que les utilisateurs ne soient gênés par les avatars 38 d'autres utilisateurs 14, 16. Ceci est particulièrement avantageux par rapport à un environnement réel qui ne pourrait recevoir tous les utilisateurs 14, 16 dans une localisation confinée.
Le module de masquage partiel est propre à masquer la partie supérieure du propre avatar 38 de l'utilisateur 14, 16 dans la représentation tridimensionnelle virtuelle engendrée par l'ensemble de restitution 24 de cet utilisateur 14, 16. Ainsi, la tête virtuelle 50, les épaules virtuelles 58 et le cou virtuel 56 du propre avatar 38 de l'utilisateur 14, 16 Date Reçue/Date Received 2022-11-30 sont masqués dans son ensemble de restitution 24 pour ne pas créer de sensations désagréables du fait du positionnement différent entre les épaules virtuelles 58 et les épaules réelles.
Le module de masquage partiel est en outre apte à masquer les membres virtuels 59 d'au moins un utilisateur 14, 16, en l'absence de données détectées par les deuxièmes capteurs 20 de cet utilisateur 14, 16, et/ou si ces données produisent des positions de main virtuelle 62 qui ne sont pas physiologiquement possibles, comme décrit plus haut.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre l'affichage d'un menu de commande, dans une position prédéfinie d'au moins une partie du membre de l'utilisateur 14, 16 par rapport à la tête de l'utilisateur 14, 16.
La position prédéfinie est par exemple une orientation particulière de la paume de la main de l'utilisateur 14, 16 par rapport à sa tête, notamment lorsque la paume de la main fait face à la tête.
A cet effet, le module d'affichage et/ou de sélection d'objets virtuels est propre à
déterminer l'angle entre un vecteur perpendiculaire à la paume de la main, obtenu à partir du deuxième capteur 20 et un deuxième vecteur s'étendant entre la main et la tête.
Si cet angle est inférieur à une valeur donnée, par exemple à 80 , ce qui se produit lorsque la paume de la main se rapproche de la tête pour faire face à la tête (voir figure 5), le module d'affichage et/ou de sélection d'objets virtuels est propre à
afficher un menu de sélection 90 dans l'environnement virtuel 12, en regard de la tête de l'utilisateur 14, 16.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
refermer le menu de sélection 90 si l'angle précité augmente au-delà de la valeur prédéfinie, pendant un temps prédétini, par exemple supérieur à une seconde.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre le choix d'une fonction 92 dans le menu de sélection 90, par déplacement d'un doigt de la main virtuelle 62 de l'avatar 38 sur une zone de choix du menu de sélection 90 affiché.
Dans une variante, le module d'affichage et/ou de sélection d'objets virtuels est propre à permettre la sélection d'une fonction 92 dans le menu affiché, en effectuant un lancer de rayon. Le lancer de rayon consiste à maintenir la direction de vision dans l'ensemble de restitution 24 pour viser la fonction 92 à sélectionner pendant un temps prédéfini.
Si la direction de vision, telle que détectée par le premier capteur 18 vise la zone correspondant à la fonction 92 pendant une durée supérieure à un temps prédéterminé, le module d'affichage et/ou de sélection d'objets virtuels est propre à
sélectionner cette fonction. Avantageusement, il est propre à faire apparaître un compteur 94, visible sur la figure 6, représentatif du temps de visée nécessaire pour activer la sélection.
Date Reçue/Date Received 2022-11-30 Le module d'affichage et/ou de sélection d'objets virtuels est également propre à
faire apparaître des informations correspondant à un élément présent dans l'environnement virtuel 12, par exemple une pièce de l'aéronef, lorsque cette pièce est sélectionnée soit par visée, comme décrit précédemment, soit par contact virtuel entre la main virtuelle 62 de l'avatar 38 de l'utilisateur et la pièce.
Dans l'exemple représenté sur la figure 7, le module d'affichage et/ou de sélection d'objets virtuels est propre à faire apparaître un menu contextuel 96 désignant la pièce et un certain nombre de choix possibles Cl à C4 pour l'utilisateur comme masquer la pièce (Cl), isoler la pièce (C2), agrandir la pièce (C3), ou annuler la sélection (C4).
Dans la variante représentée sur la figure 8, l'utilisateur 16 est propre à
faire apparaître un modèle 98 à échelle réduite de la plate-forme pour sélectionner une zone 99 de cette plate-forme destinée à être utilisée comme environnement virtuel 12. La sélection est effectuée comme précédemment, par contact virtuel entre la main virtuelle 62 de l'avatar 38 de l'utilisateur et le modèle 98 et/ou par visée.
Une fois la sélection effectuée, l'environnement virtuel 12 est modifié pour faire apparaître la zone sélectionnée 99.
Un procédé d'élaboration et de mise en oeuvre d'une simulation tridimensionnelle virtuelle partagée entre plusieurs utilisateurs 14, 16 va maintenant être décrit.
Initialement, le système de simulation virtuelle 10 est activé. Chaque utilisateur 14, 16 s'équipe d'un ensemble de restitution 24 muni d'un capteur de position 17, d'un premier capteur 18 de détection d'une direction de vision de l'utilisateur 14, 16 et d'un deuxième capteur 20 de détection de la position d'une partie d'un membre de l'utilisateur 14, 16.
L'unité de calcul 22 récupère les données concernant l'environnement virtuel dans lequel sont destinés à être plongés virtuellement les utilisateurs 14, 16 au moyen de l'application 34. Ces données proviennent par exemple d'une maquette numérique de la plate-forme ou de la région de la plate-forme dans lequel vont être immergés les utilisateurs 14, 16. L'application 35 génère une représentation tridimensionnelle virtuelle de l'environnement virtuel 12.
L'unité de calcul 22 recueille alors en temps réel les données provenant de chaque capteur 17, 18, 20 pour créer et positionner un avatar 38 correspondant à
chaque utilisateur 14, 16 dans l'environnement virtuel 12.
A cet effet, pour chaque utilisateur 14, 16, l'application 36 transpose les données du deuxième capteur 20 pour les placer dans le repère associé au premier capteur 18, puis transpose à nouveau les données obtenues, ainsi que les données provenant du Date Reçue/Date Received 2022-11-30
18 premier capteur 18 dans un repère de l'environnement virtuel 12, commun à tous les utilisateurs.
Le module de positionnement de la tête virtuelle 60 utilise les données du capteur de position 17 et les données du premier capteur 18 pour orienter la tête virtuelle 50 de l'avatar 38 et le marqueur 52 représentatif de la direction de vision.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 détermine ensuite la position et l'orientation du tronc virtuel 54, et fixe l'orientation des épaules virtuelles 58, dans un plan vertical dont l'orientation pivote conjointement avec la direction de vision autour d'un axe vertical A-A' passant par la tête virtuelle 60. Il détermine ensuite la position de chaque extrémité 60 d'une épaule virtuelle comme défini plus haut.
Simultanément, le module de positionnement des membres virtuels 59 détermine la position et l'orientation des mains et de l'avant-bras de l'utilisateur 14, 16, à partir du deuxième capteur 20.
Le module de positionnement des membres virtuels 59 détermine alors la position et l'orientation de la main virtuelle 62 et de la deuxième région 66 du membre virtuel, jusqu'au coude 68 situé à une distance prédéfinie de la main virtuelle 62. Il détermine alors la position de la première région 64 du membre virtuel 59 en reliant linéairement l'extrémité 60 de l'épaule virtuelle 58 au coude 68.
A chaque instant, la position et l'orientation de chaque partie de l'avatar 38 correspondant à chaque utilisateur 14, 16 est donc obtenue par l'unité
centrale 22 dans un référentiel commun à chacun des utilisateurs 14, 16.
Puis, en fonction des préférences sélectionnées par le deuxième utilisateur 16, le module de contrôle de l'affichage de l'application de restitution 40 fournit à
l'ensemble de restitution 24 d'au moins un utilisateur 14, 16, une représentation tridimensionnelle de l'environnement virtuel 12, et du ou des avatars 38 d'un ou plusieurs autres utilisateurs 14, 16.
Le module de masquage masque la partie supérieure du propre avatar 38 de l'utilisateur 14, 16, comme décrit précédemment, notamment la tête virtuelle 50, et les épaules virtuels 58 pour éviter d'interférer avec la vision de l'utilisateur 14, 16.
En outre, le module de masquage détecte les positions physiologiquement impossibles de la main virtuelle 62 de chaque utilisateur 14, 16, en se fondant sur la longueur calculée de la première région 64 du membre virtuel 59, comme décrit précédemment.
Lorsque des positions physiologiquement impossibles sont détectées, l'affichage du membre virtuel 59 correspondant est masqué.
Date Reçue/Date Received 2022-11-30
Le module de positionnement de la tête virtuelle 60 utilise les données du capteur de position 17 et les données du premier capteur 18 pour orienter la tête virtuelle 50 de l'avatar 38 et le marqueur 52 représentatif de la direction de vision.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58 détermine ensuite la position et l'orientation du tronc virtuel 54, et fixe l'orientation des épaules virtuelles 58, dans un plan vertical dont l'orientation pivote conjointement avec la direction de vision autour d'un axe vertical A-A' passant par la tête virtuelle 60. Il détermine ensuite la position de chaque extrémité 60 d'une épaule virtuelle comme défini plus haut.
Simultanément, le module de positionnement des membres virtuels 59 détermine la position et l'orientation des mains et de l'avant-bras de l'utilisateur 14, 16, à partir du deuxième capteur 20.
Le module de positionnement des membres virtuels 59 détermine alors la position et l'orientation de la main virtuelle 62 et de la deuxième région 66 du membre virtuel, jusqu'au coude 68 situé à une distance prédéfinie de la main virtuelle 62. Il détermine alors la position de la première région 64 du membre virtuel 59 en reliant linéairement l'extrémité 60 de l'épaule virtuelle 58 au coude 68.
A chaque instant, la position et l'orientation de chaque partie de l'avatar 38 correspondant à chaque utilisateur 14, 16 est donc obtenue par l'unité
centrale 22 dans un référentiel commun à chacun des utilisateurs 14, 16.
Puis, en fonction des préférences sélectionnées par le deuxième utilisateur 16, le module de contrôle de l'affichage de l'application de restitution 40 fournit à
l'ensemble de restitution 24 d'au moins un utilisateur 14, 16, une représentation tridimensionnelle de l'environnement virtuel 12, et du ou des avatars 38 d'un ou plusieurs autres utilisateurs 14, 16.
Le module de masquage masque la partie supérieure du propre avatar 38 de l'utilisateur 14, 16, comme décrit précédemment, notamment la tête virtuelle 50, et les épaules virtuels 58 pour éviter d'interférer avec la vision de l'utilisateur 14, 16.
En outre, le module de masquage détecte les positions physiologiquement impossibles de la main virtuelle 62 de chaque utilisateur 14, 16, en se fondant sur la longueur calculée de la première région 64 du membre virtuel 59, comme décrit précédemment.
Lorsque des positions physiologiquement impossibles sont détectées, l'affichage du membre virtuel 59 correspondant est masqué.
Date Reçue/Date Received 2022-11-30
19 Grâce au système 10 selon l'invention, les utilisateurs 14, 16 peuvent évoluer dans le même environnement virtuel 12 en étant représentés sous forme d'un avatar 38 animé.
Chaque utilisateur 14, 16 est apte à observer les avatars des autres utilisateurs 14, 16, qui sont correctement localisés dans l'environnement virtuel 12.
La fourniture d'avatar 38 animés, sur la base de données d'orientation de la tête de l'utilisateur et de position réelles d'une partie des membres de l'utilisateur permet également de suivre les gestes de chacun des utilisateurs 14, 16 dans l'environnement virtuel 12 à travers leurs avatars 38 respectifs.
Ceci permet donc d'organiser une réunion entre plusieurs utilisateurs 14, 16, dans un environnement virtuel 12, sans nécessairement que les utilisateurs 14, 16 soient localisés au même endroit.
En outre, les avatars animés 38 permettent à au moins un utilisateur 16 de suivre la position et les gestes d'un autre utilisateur 14 ou d'une pluralité
d'utilisateurs 14 simultanément.
Ainsi, les utilisateurs 14 peuvent simuler simultanément ou individuellement des opérations de maintenance et/ou d'utilisation d'une plateforme et au moins un utilisateur 16 est apte à suivre les opérations effectuées.
La sélection, pour chaque utilisateur 14, 16, du ou des avatars 38 que l'utilisateur 14, 16 peut voir augmente les fonctionnalités du système 10. Il est ainsi possible pour un utilisateur 16 de suivre et d'évaluer les mouvements d'autres utilisateurs 14 simultanément, en permettant aux utilisateurs 14 de désigner des équipements ou des circuits sur la plateforme, sans que chaque utilisateur 14 puisse voir les mouvements des autres utilisateurs 14.
Le système 10 est en outre avantageusement équipé de moyens permettant de faire apparaitre des fenêtres d'information et/ou de sélection dans l'environnement tridimensionnel virtuel 12, et de sélectionner des fonctions au sein de ces fenêtres directement dans l'environnement virtuel 12.
En outre, le système 10 et le procédé associé permettent de placer une pluralité
d'utilisateurs 14 dans une même région confinée, alors que dans la réalité, une telle région serait trop étroite pour accueillir tous les utilisateurs 14, 16.
La perception des autres utilisateurs 14, 16 via les avatars 38 animés est particulièrement riche, puisque chaque utilisateur 14, 16 peut observer sélectivement la direction générale de la tête de chaque autre utilisateur 14, 16, ainsi que la position des mains et une représentation globalement proche de la position des membres de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30
Chaque utilisateur 14, 16 est apte à observer les avatars des autres utilisateurs 14, 16, qui sont correctement localisés dans l'environnement virtuel 12.
La fourniture d'avatar 38 animés, sur la base de données d'orientation de la tête de l'utilisateur et de position réelles d'une partie des membres de l'utilisateur permet également de suivre les gestes de chacun des utilisateurs 14, 16 dans l'environnement virtuel 12 à travers leurs avatars 38 respectifs.
Ceci permet donc d'organiser une réunion entre plusieurs utilisateurs 14, 16, dans un environnement virtuel 12, sans nécessairement que les utilisateurs 14, 16 soient localisés au même endroit.
En outre, les avatars animés 38 permettent à au moins un utilisateur 16 de suivre la position et les gestes d'un autre utilisateur 14 ou d'une pluralité
d'utilisateurs 14 simultanément.
Ainsi, les utilisateurs 14 peuvent simuler simultanément ou individuellement des opérations de maintenance et/ou d'utilisation d'une plateforme et au moins un utilisateur 16 est apte à suivre les opérations effectuées.
La sélection, pour chaque utilisateur 14, 16, du ou des avatars 38 que l'utilisateur 14, 16 peut voir augmente les fonctionnalités du système 10. Il est ainsi possible pour un utilisateur 16 de suivre et d'évaluer les mouvements d'autres utilisateurs 14 simultanément, en permettant aux utilisateurs 14 de désigner des équipements ou des circuits sur la plateforme, sans que chaque utilisateur 14 puisse voir les mouvements des autres utilisateurs 14.
Le système 10 est en outre avantageusement équipé de moyens permettant de faire apparaitre des fenêtres d'information et/ou de sélection dans l'environnement tridimensionnel virtuel 12, et de sélectionner des fonctions au sein de ces fenêtres directement dans l'environnement virtuel 12.
En outre, le système 10 et le procédé associé permettent de placer une pluralité
d'utilisateurs 14 dans une même région confinée, alors que dans la réalité, une telle région serait trop étroite pour accueillir tous les utilisateurs 14, 16.
La perception des autres utilisateurs 14, 16 via les avatars 38 animés est particulièrement riche, puisque chaque utilisateur 14, 16 peut observer sélectivement la direction générale de la tête de chaque autre utilisateur 14, 16, ainsi que la position des mains et une représentation globalement proche de la position des membres de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30
20 Dans une variante, le système 10 comporte un système d'enregistrement des mouvements du ou des avatars 38 dans l'environnement virtuel 12 au cours du temps, et un système de rejeu en immersif ou sur un écran des données enregistrées.
Dans une autre variante, le deuxième utilisateur 16 n'est pas représenté par un avatar 38 dans l'environnement virtuel 12. Il ne porte alors pas nécessairement de premier capteur 18, ni de deuxième capteur 20.
Dans une variante, l'application de contrôle et de restitution 40 est propre à
faire varier le niveau de transparence de chaque avatar 38 situé à distance d'un utilisateur 14, 16 donné, en fonction de la distance séparant cet avatar 38 de l'avatar 38 de l'utilisateur donné dans l'environnement virtuel 12. Par exemple, si l'avatar 18 d'un autre utilisateur 14, 16 se rapproche de l'avatar 18 de l'utilisateur donné, le niveau de transparence augmente, jusqu'à rendre l'avatar 18 de l'autre utilisateur 14, 16 totalement transparent lorsque la distance entre les avatars est inférieure à une distance définie, par exemple comprise entre 10 cm et 15 cm.
Au contraire, le niveau de transparence diminue lorsque les avatars 18 s'éloignent.
Selon l'invention, la transposition, pour chaque utilisateur, des données du deuxième capteur 20 pour les placer dans le repère associé au premier capteur 18, puis la transposition des données obtenues, ainsi que des données provenant du premier capteur 18 dans un repère de l'environnement virtuel 12, commun à tous les utilisateurs, simplifie le traitement informatique des données en créant, pour chaque utilisateur, un ensemble cohérent de données plus simple à traiter par l'unité de calcul 22.
Ainsi, l'application de création et de positionnement 36 fonctionne de manière plus cohérente.
Date Reçue/Date Received 2022-11-30
Dans une autre variante, le deuxième utilisateur 16 n'est pas représenté par un avatar 38 dans l'environnement virtuel 12. Il ne porte alors pas nécessairement de premier capteur 18, ni de deuxième capteur 20.
Dans une variante, l'application de contrôle et de restitution 40 est propre à
faire varier le niveau de transparence de chaque avatar 38 situé à distance d'un utilisateur 14, 16 donné, en fonction de la distance séparant cet avatar 38 de l'avatar 38 de l'utilisateur donné dans l'environnement virtuel 12. Par exemple, si l'avatar 18 d'un autre utilisateur 14, 16 se rapproche de l'avatar 18 de l'utilisateur donné, le niveau de transparence augmente, jusqu'à rendre l'avatar 18 de l'autre utilisateur 14, 16 totalement transparent lorsque la distance entre les avatars est inférieure à une distance définie, par exemple comprise entre 10 cm et 15 cm.
Au contraire, le niveau de transparence diminue lorsque les avatars 18 s'éloignent.
Selon l'invention, la transposition, pour chaque utilisateur, des données du deuxième capteur 20 pour les placer dans le repère associé au premier capteur 18, puis la transposition des données obtenues, ainsi que des données provenant du premier capteur 18 dans un repère de l'environnement virtuel 12, commun à tous les utilisateurs, simplifie le traitement informatique des données en créant, pour chaque utilisateur, un ensemble cohérent de données plus simple à traiter par l'unité de calcul 22.
Ainsi, l'application de création et de positionnement 36 fonctionne de manière plus cohérente.
Date Reçue/Date Received 2022-11-30
Claims (16)
1. - Un système de simulation tridimensionnelle virtuelle propre à engendrer un environnement virtuel réunissant une pluralité d'utilisateurs, comprenant, - pour au moins un premier utilisateur, un premier capteur de détection d'une direction de vision du premier utilisateur;
- une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier .. utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
- une unité de calcul propre à engendrer une simulation tridimensionnelle virtuelle de l'environnement virtuel, sur la base des données reçues du ou de chaque premier capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul, propre à plonger le ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier utilisateur, un deuxième capteur de détection de la position d'une partie d'un membre réel du premier .. utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle, un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base des données du premier capteur et du deuxième capteur.
2. - Le système selon la revendication 1, dans lequel le membre et le membre virtuel sont des bras respectivement de l'utilisateur et de l'avatar.
3. - Le système selon la revendication 2, dans lequel la partie du membre de l'utilisateur détectée par le deuxième capteur comprend la main du premier utilisateur.
4. - Le système selon l'une quelconque des revendications 1 à 3, dans lequel l'unité de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, et est propre à
déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection.
déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection.
5. - Le système selon la revendication 2 ou 3, dans lequel l'unité de calcul est propre à déterminer la position d'une première région du membre virtuel, sur la base des données reçues du premier capteur de détection, est propre à déterminer la position d'une deuxième région du membre virtuel à partir des données reçues du deuxième capteur de détection, et est propre à engendrer une représentation d'une épaule virtuelle du premier utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la tête virtuelle du premier utilisateur, la première région du membre virtuel s'étendant à
partir de l'extrémité de l'épaule virtuelle.
Date Reçue/Date Received 2022-11-30
partir de l'extrémité de l'épaule virtuelle.
Date Reçue/Date Received 2022-11-30
6. - Le système selon la revendication 4 ou 5, dans lequel l'unité de calcul est propre à déterminer la position de la première région du membre virtuel après avoir déterminé la position de la deuxième région du membre virtuel.
7. - Le système selon l'une quelconque des revendications 1 à 6, comprenant, pour une pluralité de premiers utilisateurs, un premier capteur de détection d'une direction de vision de l'utilisateur, et un deuxième capteur de détection de la position d'une partie d'un membre de l'utilisateur, l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle virtuelle un avatar de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données du premier capteur et du deuxième capteur du premier utilisateur, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation tridimensionnelle virtuelle.
8. - Le système selon la revendication 7, dans lequel l'unité de calcul est propre à
placer les avatars de la pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée.
placer les avatars de la pluralité de premiers utilisateurs à une même localisation donnée dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution étant propre à faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la localisation donnée.
9. - Le système selon la revendication 7 ou 8, dans lequel l'unité de calcul est propre à transposer les données du deuxième capteur, produites dans un repère propre au deuxième capteur, pour les placer dans un repère associé au premier capteur, puis à
transposer à nouveau les données obtenues, ainsi que les données provenant du premier capteur, produites dans le repère du premier capteur, dans un repère de l'environnement virtuel, commun à tous les utilisateurs.
transposer à nouveau les données obtenues, ainsi que les données provenant du premier capteur, produites dans le repère du premier capteur, dans un repère de l'environnement virtuel, commun à tous les utilisateurs.
10. - Le système selon l'une quelconque des revendications 1 à 9, comprenant, pour le ou chaque premier utilisateur, un ensemble de restitution immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité propre à plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle virtuelle.
11. - Le système selon la revendication 10, dans lequel l'ensemble de restitution est propre à être porté par la tête du premier utilisateur, le premier capteur et/ou le deuxième capteur étant montés sur l'ensemble de restitution.
12. - Le système selon la revendication 10 ou 11, dans lequel, dans une position donnée prédéfinie de la partie d'un membre de l'utilisateur détectée par le deuxième capteur, l'unité de calcul est propre à afficher au moins une fenêtre d'information et/ou de Date Reçue/Date Received 2022-11-30 sélection dans la simulation tridimensionnelle virtuelle visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième utilisateur.
13. - Le système selon l'une quelconque des revendications 1 à 12, dans lequel l'unité de calcul est propre à déterminer si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur est physiologiquement possible et à
masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible.
masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la position de la partie du membre réel du premier utilisateur détectée par le deuxième capteur n'est pas physiologiquement possible.
14. - Le système selon l'une quelconque des revendications 1 à 13 comprenant, pour le ou chaque premier utilisateur, un capteur de position, propre à
fournir à l'unité de calcul des données géographiques de positionnement du premier utilisateur.
fournir à l'unité de calcul des données géographiques de positionnement du premier utilisateur.
15. - Un procédé d'élaboration d'une simulation tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système selon l'une quelconque des revendications 1 à 14 ;
- activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l'unité de calcul, - génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données .. du premier capteur et du deuxième capteur.
- fourniture d'un système selon l'une quelconque des revendications 1 à 14 ;
- activation du premier capteur et du deuxième capteur et transmission des données reçues du premier capteur et du deuxième capteur vers l'unité de calcul, - génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou de chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la base des données .. du premier capteur et du deuxième capteur.
16. - Le procédé selon la revendication 15, dans lequel la génération de la simulation tridimensionnelle virtuelle comprend le chargement d'une maquette représentative d'une plateforme, et la représentation tridimensionnelle virtuelle de l'environnement virtuel d'une région de la plateforme, le ou chaque premier utilisateur évoluant dans l'environnement d'aéronef pour effectuer au moins une simulation d'opération de maintenance et/ou d'utilisation de la plateforme.
Date Reçue/Date Received 2022-11-30
Date Reçue/Date Received 2022-11-30
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1501977 | 2015-09-24 | ||
| FR1501977A FR3041804B1 (fr) | 2015-09-24 | 2015-09-24 | Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CA2942652A1 CA2942652A1 (fr) | 2017-03-24 |
| CA2942652C true CA2942652C (fr) | 2024-02-13 |
Family
ID=55411426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA2942652A Active CA2942652C (fr) | 2015-09-24 | 2016-09-20 | Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20170092223A1 (fr) |
| CA (1) | CA2942652C (fr) |
| FR (1) | FR3041804B1 (fr) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2554914B (en) * | 2016-10-14 | 2022-07-20 | Vr Chitect Ltd | Virtual reality system and method |
| US11462121B2 (en) | 2017-02-15 | 2022-10-04 | Cae Inc. | Visualizing sub-systems of a virtual simulated element in an interactive computer simulation system |
| FR3067848B1 (fr) * | 2017-06-16 | 2019-06-14 | Kpass Airport | Procede pour la formation pratique d un agent de piste mettant en oeuvre un environnement virtuel et installation pour sa mise en oeuvre |
| CN116520989A (zh) | 2018-05-24 | 2023-08-01 | 卡兰控股有限公司 | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 |
| JP6944098B2 (ja) | 2018-05-24 | 2021-10-06 | ザ カラニー ホールディング エスエーアールエル | 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法 |
| US11115468B2 (en) * | 2019-05-23 | 2021-09-07 | The Calany Holding S. À R.L. | Live management of real world via a persistent virtual world system |
| US11665317B2 (en) | 2019-06-18 | 2023-05-30 | The Calany Holding S. À R.L. | Interacting with real-world items and corresponding databases through a virtual twin reality |
| CN112100798A (zh) | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法 |
| CN114945950A (zh) * | 2020-01-06 | 2022-08-26 | Oppo广东移动通信有限公司 | 仿真真实世界场景中变形的计算机实现方法、电子装置及计算机可读存储介质 |
| CN113609599B (zh) * | 2021-10-09 | 2022-01-07 | 北京航空航天大学 | 一种飞行器湍流绕流模拟的壁面距有效单元计算方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
| US9728006B2 (en) * | 2009-07-20 | 2017-08-08 | Real Time Companies, LLC | Computer-aided system for 360° heads up display of safety/mission critical data |
| US9244533B2 (en) * | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
| US8920172B1 (en) * | 2011-03-15 | 2014-12-30 | Motion Reality, Inc. | Method and system for tracking hardware in a motion capture environment |
| DE102012017700A1 (de) * | 2012-09-07 | 2014-03-13 | Sata Gmbh & Co. Kg | System und Verfahren zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs |
| CN109875501B (zh) * | 2013-09-25 | 2022-06-07 | 曼德美姿集团股份公司 | 生理参数测量和反馈系统 |
| US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
-
2015
- 2015-09-24 FR FR1501977A patent/FR3041804B1/fr active Active
-
2016
- 2016-09-20 CA CA2942652A patent/CA2942652C/fr active Active
- 2016-09-22 US US15/273,587 patent/US20170092223A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CA2942652A1 (fr) | 2017-03-24 |
| US20170092223A1 (en) | 2017-03-30 |
| FR3041804A1 (fr) | 2017-03-31 |
| FR3041804B1 (fr) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2942652C (fr) | Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe | |
| AU2021258005B2 (en) | System and method for augmented and virtual reality | |
| CN106575039B (zh) | 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 | |
| EP2132710B1 (fr) | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video | |
| CN105050670B (zh) | 混合现实体验共享 | |
| CN108292444A (zh) | 更新混合现实缩略图 | |
| CN107636534A (zh) | 一般球面捕获方法 | |
| CN105324811A (zh) | 语音到文本转换 | |
| CN109923509A (zh) | 虚拟现实中的对象的协同操纵 | |
| US20200074725A1 (en) | Systems and method for realistic augmented reality (ar) lighting effects | |
| WO2020124046A2 (fr) | Intégration de réalité virtuelle et physique | |
| De Paolis et al. | Augmented Reality, Virtual Reality, and Computer Graphics: 4th International Conference, AVR 2017, Ugento, Italy, June 12-15, 2017, Proceedings, Part I | |
| US11620796B2 (en) | Expert knowledge transfer using egocentric video | |
| Priestnall et al. | Virtual geographic environments | |
| WO2018178563A1 (fr) | Système de transparence pour caméra banalisée | |
| WO2017149254A1 (fr) | Dispositif d'interface homme machine avec des applications graphiques en trois dimensions | |
| Thorstensen | Visualization of robotic sensor data with augmented reality | |
| EP4127990A1 (fr) | Procédé et dispositif de contrôle d'accès | |
| Gilardi | Augmented reality in education: a CNC milling machine application for Microsoft HoloLens 1 and tablet-PC device | |
| Bøe | A no-code design approach to sitsim development | |
| Tran | Exploration of the 3D world on the internet using commodity virtual reality devices | |
| Ahmed et al. | Enhancing Extended Reality (XR) by using mobile devices emphasizing universal usage | |
| Rowe | Archaeo-mented reality: a study of the use of augmented reality as a tool for archaeological interpretation | |
| Mubarak et al. | AR markerless game | |
| TW202309714A (zh) | 用以重新體驗之紀錄時刻 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |
|
| EEER | Examination request |
Effective date: 20210820 |