EP4349006A1 - Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations - Google Patents

Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations

Info

Publication number
EP4349006A1
EP4349006A1 EP22732605.5A EP22732605A EP4349006A1 EP 4349006 A1 EP4349006 A1 EP 4349006A1 EP 22732605 A EP22732605 A EP 22732605A EP 4349006 A1 EP4349006 A1 EP 4349006A1
Authority
EP
European Patent Office
Prior art keywords
virtual
user
terminal
communication
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22732605.5A
Other languages
German (de)
English (en)
Inventor
Guillaume Bataille
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4349006A1 publication Critical patent/EP4349006A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • TITLE Mixed reality communication method, communication system, computer program and information carrier
  • the present invention relates to a mixed reality remote communication method and an associated communication system.
  • the invention also relates to a computer program and information carrier.
  • Mixed reality remote collaboration tools generally use a first-person view of the remote person's environment, which affects the quality of interpersonal communication because they cannot see their collaborator. Indeed, interpersonal communication is considered optimal when the interlocutors are face to face and visualize the facial expressions of each other.
  • a virtual reality headset is the trademark "HoloLens" headset.
  • This virtual reality headset makes it possible to generate avatars which are reproduced in a virtual environment superimposed on the real environment of the physical person wearing the virtual reality headset.
  • This helmet captures the position of the head, hands and eyes and generates holographic images that make the avatar move according to the positions captured.
  • the face of the avatars remains fixed.
  • a first object of the present invention is to propose a communication method facilitating remote communication.
  • a second object of the present invention is to propose a communication method facilitating the training of at least one person at a distance with respect to an object to be manipulated.
  • the subject of the invention is a method of communication between at least a first mixed reality terminal and a second mixed reality terminal via a communication network, the method comprising at least the following steps:
  • the first terminal transmits to the second terminal an object which can be modified by the latter.
  • the characteristics exposed in the following paragraphs can, optionally, be implemented. They can be implemented independently of each other or in combination with each other.
  • the first and second mixed reality terminals respectively comprise at least a first and a second mixed reality headset and at least a first and a second sensor, the method comprising the steps of:
  • the second user P2 can remotely manipulate the virtual object representing the real object.
  • the fact that the second user P2 can manipulate a virtual representation of the real object will help the acquisition of the gesture by the first user P1 in the same way as if the two people were physically in the same room.
  • the second user P2 can intervene remotely and prevent a possible accident.
  • the second user can teach the first user even if he does not have the real object.
  • the method further comprises the following steps:
  • the first user P1 can visualize the second user P2 manipulate the real object and adapt his learning according to what he visualizes. For example, an apprentice sees the manipulations of his master on the third virtual object and can try to reproduce it on the real object.
  • the second virtual object is projected between the at least one first virtual object and the second virtual reality headset.
  • the second virtual object I2 is projected within easy reach of the second user P2 so that she can manipulate the virtual representation of the real object if necessary.
  • the method further comprises the steps of:
  • the first user visualizes the second user P2 who is remote.
  • the first virtual character represents a person from the front.
  • communication is improved. As the first user is viewed from the front, the second user can see his facial expressions, understand his emotional state, and adapt his communication accordingly.
  • the second remote user does not view an avatar but holographic images representing the first user.
  • the first user can re-visualize the training that she has received in order to memorize it.
  • the method further comprises the steps of:
  • the second user can review manipulations previously carried out by the first user in order to indicate, for example, the moment when the manipulation must be improved.
  • At least one virtual object is comprised of a series of holographic images.
  • the invention also relates to a communication system comprising a communication network, a first communication terminal and at least one second communication terminal, the communication system being capable of implementing the method mentioned above.
  • the invention also relates to a computer program comprising instructions for the implementation of a communication method mentioned above, when it is loaded and executed by a microprocessor.
  • the subject of the invention is an information medium readable by a microprocessor, comprising the instructions of a computer program for implementing a communication method mentioned above.
  • FIG. 1 is a diagram showing a communication system according to the present invention
  • FIG. 2 is a diagram representing the steps of the communication method of the invention.
  • FIG. 3 is a diagram representing optional additional steps of the communication method according to the invention.
  • FIG. 4 is a diagram representing optional additional steps of the communication method according to the invention.
  • the communication system and the communication method have been represented and described with two users.
  • the invention is applicable to all data exchanges with a larger number of users.
  • the first user is the user to be trained and the second user is the trainer.
  • the communication method can also be applied in a context in which the first user is the trainer and the second user is the trained user.
  • the communication system also allows an exchange of audio data through a microphone mounted in the virtual reality headsets. This exchange of audio data is known per se and is not described in this patent application.
  • an example of a communication system 2 capable of implementing the invention comprises a first communication terminal 6 or communication server, a communication network 8, and at least one second communication terminal 12 or a communications server.
  • the first communication terminal 6 is for example constituted by at least a first sensor 4 and a first virtual reality headset 7 worn by the first user P1.
  • the second communication terminal 12 is for example constituted by at least a second sensor 10 and a second virtual reality helmet 13 worn by the at least second remote user P2.
  • the first communication terminal 6 and the second communication terminal 12 comprise first and respectively second sensors.
  • the first sensors 4 are suitable for capturing images representing the first user P1 and a real object 14 located close to the first user P1 and which he may possibly manipulate.
  • the first sensors are able to very accurately capture the movements of the chest, arms, hands, fingers as well as the facial expression of the person wearing them.
  • the first sensors may optionally comprise at least one camera capable of capturing images representing the second user P2.
  • the first sensors may further comprise other cameras with other viewing angles and/or motion sensors.
  • the first sensors further comprise a communication interface which allows them to transmit the digital data captured to the first communication terminal 6.
  • the second sensors 10 are suitable for capturing images representing the second user P2 and data representing the gestures and movements of the second user. They are also suitable for transmitting the digital data picked up to the second communication terminal 12, via the communication network 8. They are identical or similar to the first sensors and will not be described again.
  • the first virtual reality headset 7 comprises on the one hand a processor and, on the other hand, a camera, a memory, a coherent light source and microphones connected to the processor.
  • the processor comprises a synthetic holographic image generator, a network interface and a communication interface capable of receiving data from the first sensors.
  • the synthetic holographic image generator is suitable for generating virtual objects which consist of a series of holographic images.
  • the first virtual reality headset 7 is similar to the registered trademark "HoloLens" virtual reality headsets. It will not be described in detail.
  • the second virtual reality headset 13 is similar to the first virtual reality headset. Its own communication interface to receive data from the second sensors.
  • Mixed reality is the merging of real and virtual worlds to produce new environments and visualizations, where physical and digital objects coexist and interact in real time.
  • Mixed reality does not take place exclusively in the physical or virtual world, but is a hybrid of reality and virtual reality, encompassing both augmented reality and augmented virtuality through immersive technology.
  • the communication network 8 is for example an Internet network.
  • the exchanges comply with the Internet protocol.
  • a user is a real person as opposed to a virtual person who is either an avatar of the real person or a hologram of the real person.
  • the first user P1 and the second user P2 are adult physical persons or children capable of wearing a virtual reality helmet and first sensors or second sensors.
  • the first user P1 can manipulate a real object 14.
  • This real object can for example be a new machine tool to be implemented in a company or in a production site.
  • This real object 14 can also be a musical instrument such as a violin or any other accessory.
  • the second user is located remotely from the first user.
  • the term "remote" can be understood as a sufficiently large distance so that the first and the second user cannot hear and see each other.
  • the first user can be located in one country and the second user in a different country several thousand kilometers from the first user.
  • the first user and the second user can be in the same building but in different rooms.
  • the communication method begins with a step 18 during which the first virtual reality headset 7 is parameterized with respect to the vision and the optical characteristics of the first user P1 who wears it.
  • the manner of implementing this parameter setting is known per se. It essentially consists of detecting the pupil of the wearer of the virtual reality helmet in order to be able to generate and project virtual characters and virtual objects in his field of view at the desired distance.
  • the second virtual reality helmet 13 is parameterized with respect to the vision and to the optical characteristics of the second user P2 who wears it.
  • the method continues with a step 20 during which the first sensors 4 pick up data relating to the first user P1, and in particular data relating to the representation of the first user P1, to the latter's movements and data representative of the real object 14 possibly manipulated by the first user P1.
  • the second sensors 10 pick up data relating to the second user P2 and in particular data relating to the representation of the second user P2.
  • the data captured by the first sensors 4 are transmitted to the first virtual reality headset 7.
  • the first virtual reality headset 7 generates at a given instant T1 a first virtual character SP1 representing the first user P1, a first virtual object 11 representing the real object 14 and a second virtual object I2 representing the real object 14 from the data picked up by the first sensors.
  • the second virtual object I2 is identical to the first virtual object at the given instant T1.
  • the first virtual character SP1 represents the first user P1.
  • the first virtual character SP1 represents the first user P1 from the front.
  • the first virtual character SP1 represents an avatar prerecorded in the memory and selected by the first user.
  • the data captured by the first sensors 4 are transmitted to the second virtual reality headset 13 and this is the second reality headset virtual 13 which generates the first virtual character SP1, the first virtual object 11 and the second virtual object I2.
  • the first virtual character SP1, the first virtual object 11 and the second virtual object I2 are transmitted from the first communication terminal 6, and in particular from the first headset 7, to the second communication terminal
  • the second sensors 10 transmit the data captured to the second virtual reality headset 13.
  • the second virtual reality headset 13 generates a second virtual character SP2 representing the second user P2.
  • the second terminal transmits to the first terminal 6, and in particular to the first headset 7, the second generated virtual character SP2.
  • the data captured by the second sensors 10 are transmitted to the first virtual reality headset 7 and it is the first virtual reality headset 7 which generates the first virtual character SP1, the first virtual object 11 and the second virtual object I2 .
  • the second virtual reality headset 13 projects the first virtual character SP1 representing the first user, the first virtual object 11 and the second virtual object I2 representing the real object at a given instant T1.
  • the second virtual object I2 is projected between the first virtual object 11 and the second virtual reality headset.
  • the second virtual object I2 is projected at a distance less than or equal to 1 meter from the second virtual reality headset.
  • the second virtual object I2 is projected within reach of the second user so that the second user (the trainer) sees very clearly and can, if necessary, manipulate the virtual representation of the real object.
  • the second sensors 10 capture data representative of the movements of the second user P2.
  • the second communication terminal 12, and in particular the second headset 13 generates at a later time T2 a third virtual object I3 by modifying the second virtual object I2 to represent the real object manipulated by the second user P2.
  • the third virtual object I3 is generated from data captured by the first sensors 4 and data captured by the second sensors 10.
  • the second user the trainer
  • the second sensors pick up the movements of the second user P2 and in particular the movements of these arms and of his fingers.
  • the data representative of his gestures and his movements are transmitted to the processor of the second virtual reality helmet 13. From these data, the processor calculates what would be the successive positions of the real object if it had been manipulated by these movements. .
  • the second virtual reality helmet 13 generates the third virtual object I3 representing the real object manipulated by the second user P2 from the data captured by the second sensors to virtually represent the movements of the real object if it were subjected to the manipulations picked up by the second sensors 10.
  • the second virtual object I2 represents the real object manipulated by the second user P2.
  • the second communication terminal 12, and in particular the second headset 13 transmits to the first communication terminal 6, and in particular to the first headset 7, the data making it possible to generate the third virtual object I3 representing the virtual object manipulated by the second user P2.
  • the second virtual reality helmet 13 projects the third virtual object I3 generated during step 34, as well as the first virtual character SP1 representing the first user and the first virtual object 11 representing the real object.
  • the first virtual reality headset 7 projects the third virtual object I3 representing the real object from the data transmitted by the second communication terminal during step 36, as well as the second character virtual SP2 representing the second user manipulating the real object from the data generated during step 25.
  • the first user P1 visualizes the second user P2 (the trainer) who is at a distance and who manipulates the real object .
  • the second user P2 can remotely manipulate the second virtual object I2 representing the real object.
  • the fact that the second user can manipulate a virtual representation of the real object will help the acquisition of the gesture by the first user P1 in the same way as if the two people were physically in the same room.
  • the second user P2 can intervene remotely and prevent a possible accident. All of the steps 20 to 40 take place simultaneously during the communication and the exchanges between the first user P1 and the second user P2.
  • the communication method possibly includes a step 48 of registration request by the first user P1.
  • This request can be made by a voice request from the first user or by pressing a button of the first communication terminal 6 by the first user.
  • Step 48 continues with a step 50 of recording in the memory of the first communication terminal 6, of the second virtual character SP2 representing the second user and of the third virtual object 13 representing the moving object.
  • Step 50 can subsequently be followed by a step 52 of projection by the first virtual reality headset 7 of the second virtual character SP and of the virtual object recorded.
  • the first user can re-visualize the training that she has received in order to memorize it.
  • the communication method possibly includes a step 54 of registration request by the second user P2.
  • This request can be made by a voice request from the second user or by pressing a button of the second communication terminal 12 by the second user.
  • Step 54 continues with a step 56 of recording in the memory of the second communication terminal 12 of the first virtual character SP1 representing the first user P1 and of the first virtual object 11 representing the real object.
  • Step 56 can optionally continue with a step 58 of projection by the second communication terminal 12 of the first virtual character SP1 and of the virtual object recorded.
  • the second user P2 can review manipulations previously carried out by the first user P1 in order to indicate, for example, the moment when the manipulation must be improved.
  • at least the first virtual character SP1 or the second virtual character SP2 consists of a series of holographic images.

Abstract

L'invention concerne un procédé de communication entre un premier terminal de réalité mixte et un deuxième terminal de réalité mixte via un réseau de communication, le procédé comportant les étapes suivantes: - transmission (24) du premier terminal d'un premier utilisateur vers le deuxième terminal d'un deuxième utilisateur d': + un premier personnage virtuel généré en fonction de données relatives au premier utilisateur captées par le premier terminal, + un premier objet virtuel généré en fonction de données relatives à un premier objet réel captées par le premier terminal, et + un deuxième objet virtuel constitué par un duplicata du premier objet virtuel généré à un instant donné, le deuxième objet virtuel étant modifiable par interaction du deuxième utilisateur; et - transmission (26) du deuxième terminal vers le premier terminal d'un deuxième personnage virtuel généré en fonction de données captées, par le deuxième terminal du deuxième utilisateur.

Description

DESCRIPTION
TITRE : Procédé de communication en réalité mixte, système de communication, programme d‘ordinateur et support d’informations
Domaine technique de l’invention
La présente invention concerne un procédé de communication à distance en réalité mixte et un système de communication associé. L’invention concerne également un programme d’ordinateur et support d’informations.
Etat de la technique antérieure
Les outils de collaboration à distance en réalité mixte utilisent généralement une vue à la première personne de l’environnement de la personne distante, ce qui nuit à la qualité de la communication interpersonnelle car elles ne voient par leur collaborateur. En effet, la communication interpersonnelle est considérée comme optimale lorsque les interlocuteurs sont face à face et visualisent les expressions faciales les uns des autres.
Un exemple de casque de réalité virtuel est le casque de marque déposé « HoloLens ». Ce casque de réalité virtuelle permet de générer des avatars qui sont reproduit dans un environnement virtuel superposé à l’environnement réel de la personne physique portant le casque de réalité virtuelle. Ce casque capte la position de la tête, des mains et des yeux et génère des images holographiques qui font bouger l’avatar en fonction des positions captées. Toutefois, le visage des avatars reste figé. Une partie
Il est également connu de réaliser des prototypes de plateforme de services de réalité virtuelle telle que la plateforme appelée « Mesh » de marque déposée. Cette plateforme propose de l’holoportation c’est-à-dire une reproduction holographie de la personne portant le casque dans un environnement virtuel. Cette plateforme offre le partage d'un environnement virtuel affiché en réalité augmentée dans lequel plusieurs personnes peuvent intervenir à distance via leur avatar. Les personnes peuvent manipuler uniquement des objets virtuels d'un seul espace virtuel partagé. Cette plateforme devrait permettre à une personne de visualiser les gestes d’une personne à distance et de les reproduire par mimétisme. Toutefois, cet outil ne permet pas de manipuler des objets réels. Seuls des objets virtuels sont manipulés. Présentation de l’invention
Un premier but de la présente invention est de proposer un procédé de communication facilitant la communication à distance.
Un deuxième but de la présente invention est de proposer un procédé de communication facilitant la formation d’au moins une personne à distance par rapport à un objet à manipuler.
Résumé de l’invention
A cet effet, l’invention a pour objet un procédé de communication entre au moins un premier terminal de réalité mixte et un deuxième terminal de réalité mixte via un réseau de communication, le procédé comportant au moins les étapes suivantes:
- transmission du premier terminal d’un premier utilisateur vers le deuxième terminal d’un deuxième utilisateur d’au moins :
+ un premier personnage virtuel généré en fonction de données relatives au premier utilisateur captées par le premier terminal,
+ un premier objet virtuel généré en fonction de données relatives à au moins un premier objet réel captées par le premier terminal, et
+ un deuxième objet virtuel constitué par un duplicata du premier objet virtuel généré à un instant donné, le deuxième objet virtuel étant modifiable par interaction au moins du deuxième utilisateur; et
- transmission du deuxième terminal vers le premier terminal d’au moins un deuxième personnage virtuel généré en fonction de données captées, par au moins le deuxième terminal du deuxième utilisateur.
Avantageusement, le premier terminal transmet au deuxième terminal un objet modifiable par ce dernier.
Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre. Elles peuvent être mises en œuvre indépendamment les unes des autres ou en combinaison les unes avec les autres. Les premier et deuxième terminaux de réalité mixte comportent respectivement au moins un premier et un deuxième casques de réalité mixte et au moins un premier et un deuxième capteurs, le procédé comportant les étapes de :
- capture par le au moins un premier capteur de données représentatives du premier utilisateur et de données représentatives d’un objet réel ;
- génération par le au moins un premier casque de réalité virtuelle, dudit au moins un premier personnage virtuel représentant le premier utilisateur, dudit au moins un premier objet virtuel représentant l’objet réel et dudit au moins un deuxième d’objet virtuel représentant l’objet réel à un instant donné à partir des données capturées par le au moins un premier capteur ;
- projection par le au moins un deuxième casque de réalité virtuelle, dudit au moins un premier personnage virtuel, dudit au moins un premier objet virtuel et dudit au moins un deuxième d’objet virtuel générés ;
- capture par le au moins un deuxième capteur, de données représentatives des mouvements du au moins un deuxième utilisateur;
- génération par le deuxième casque de réalité virtuelle d’un troisième d’objet virtuel par modification du deuxième objet virtuel à partir de données capturées par le au moins un deuxième capteur pour représenter l’objet réel manipulé par le au moins un deuxième utilisateur à un instant ultérieur.
Avantageusement, le deuxième utilisateur P2 peut manipuler à distance l’objet virtuel représentant l’objet réel. Le fait que le deuxième utilisateur P2 puisse manipuler une représentation virtuelle de l’objet réel va aider l’acquisition du geste par le premier utilisateur P1 de la même manière que si les deux personnes étaient physiquement dans la même pièce.
Avantageusement, en cas de danger, le deuxième utilisateur P2 peut intervenir à distance et empêcher un éventuel accident.
Avantageusement, le deuxième utilisateur peut réaliser un apprentissage au premier utilisateur même si il ne dispose pas de l’objet réel.
Le procédé comporte en outre les étapes suivantes :
- transmission du troisième objet virtuel du deuxième casque de réalité virtuelle vers le premier casque de réalité virtuel, via le réseau de communication ;
- projection par le premier casque de réalité virtuel du troisième objet virtuel. Avantageusement, le premier utilisateur P1 peut visualiser le deuxième utilisateur P2 manipuler l’objet réel et adapter son apprentissage en fonction de ce qu’il visualise. Par exemple, un apprenti voit les manipulations de son maître sur le troisième objet virtuel et peut tenter de le reproduire sur l’objet réel.
Le deuxième objet virtuel est projeté entre l’au moins un premier objet virtuel et le deuxième casque de réalité virtuelle.
Avantageusement, le deuxième objet virtuel I2 est projeté à portée de main du deuxième utilisateur P2 de sorte qu’elle puisse manipuler la représentation virtuelle de l’objet réel si besoin. Le procédé comporte en outre les étapes de :
- capture par l’au moins un deuxième capteur de données représentatives du au moins un deuxième utilisateur ;
- génération par le deuxième terminal de communication d’au moins un deuxième personnage virtuel représentant le au moins un deuxième utilisateur à partir des données capturées par le au moins un deuxième capteur ;
- projection par le deuxième casque de réalité virtuel du au moins un deuxième personnage virtuel généré.
Avantageusement, le premier utilisateur visualise le deuxième utilisateur P2 qui est à distance.
Le premier personnage virtuel représente une personne de face.
Avantageusement, la communication est améliorée. Comme le premier utilisateur est visualisée de face, le deuxième utilisateur peut voir ses expressions faciales, comprendre son état émotionnel, et adapter sa communication en fonction de celui- ci.
Avantageusement, le deuxième utilisateur à distance ne visualise pas un avatar mais des images holographiques représentant le premier utilisateur.
Le procédé qui comporte en outre les étapes de:
- enregistrement par le premier casque de réalité virtuel d’au moins un deuxième personnage virtuel représentant le au moins une deuxième utilisateur et du troisième objet virtuel représentant l’objet réel manipulé ;
- projection par le premier casque de réalité virtuel d’au moins un deuxième personnage virtuel et du troisième objet virtuel enregistrés.
Avantageusement, le premier utilisateur peut revisualiser l’apprentissage qu’elle a reçu afin de le mémoriser.
Le procédé comporte en outre les étapes de:
- enregistrement par le au moins un deuxième casque de réalité virtuel, d’au moins un premier personnage virtuel représentant le premier utilisateur et du premier objet virtuel représentant l’objet réel, - projection par le au moins un deuxième casque de réalité virtuel d’au moins un premier personnage virtuel et du premier objet virtuel enregistrés.
Avantageusement, le deuxième utilisateur peut revisualiser des manipulations précédemment réalisées par le premier utilisateur afin d’indiquer, par exemple, le moment ou il faut perfectionner la manipulation. Au moins un objet virtuel est constitué une série d’images holographiques.
L’invention a également pour objet un système de communication comprenant un réseau de communication, un premier terminal de communication et au moins un deuxième terminal de communication, le système de communication étant propre à mettre en œuvre le procédé mentionné ci-dessus.
L’invention a également pour objet un programme d’ordinateur comprenant des instructions pour la mise en œuvre d’un procédé de communication mentionné ci- dessus, lorsqu’il est chargé et exécuté par un microprocesseur.
Enfin, l’invention a pour objet un support d’informations lisible par un microprocesseur, comprenant les instructions d’un programme d’ordinateur pour mettre en œuvre un procédé de communication mentionné ci-dessus.
Brève description des figures
[Fig. 1] est un schéma représentant un système de communication selon la présente invention ;
[Fig. 2] est un diagramme représentant les étapes du procédé de communication de l’invention ;
[Fig. 3] est un diagramme représentant des étapes supplémentaires optionnelles du procédé de communication selon l’invention ;
[Fig. 4] est un diagramme représentant des étapes supplémentaires optionnelles du procédé de communication selon l’invention.
Description détaillée de l’invention
Pour simplifier la compréhension de l’invention, le système de communication et le procédé de communication ont été représentés et décrits avec deux utilisateurs. Toutefois, l’invention est applicable à tous échanges de données avec un nombre plus important d’utilisateurs.
Dans l’exemple de réalisation représenté et décrit, le premier utilisateur est l’utilisateur à former et le deuxième utilisateur est le formateur. Néanmoins, le procédé de communication peut également s’appliquer dans un contexte dans lequel le premier utilisateur est le formateur et le deuxième utilisateur est l’utilisateur formé. Le système de communication permet également un échange de données audio par le biais d’un microphone monté dans les casques de réalité virtuelle. Cet échange de données audio est connu en soi et n’est pas décrit dans la présente demande de brevet.
En référence à la figure 1 , un exemple de système de communication 2 propre à mettre en œuvre l’invention comprend un premier terminal de communication 6 ou serveur de communication, un réseau de communication 8, et au moins un deuxième terminal de communication 12 ou un serveur de communication.
Le premier terminal de communication 6 est par exemple constitué par au moins un premier capteur 4 et un premier casque de réalité virtuelle 7 porté par le premier utilisateur P1.
Le deuxième terminal de communication 12 est par exemple constitué par au moins un deuxième capteur 10 et un deuxième casque de réalité virtuelle 13 porté par le au moins deuxième utilisateur P2 à distance. Dans le mode de réalisation représenté et nullement limitatif, le premier terminal de communication 6 et le deuxième terminal de communication 12 comportent des premiers et respectivement des deuxièmes capteurs.
Les premiers capteurs 4 sont propres à capter des images représentant le premier utilisateur P1 et un objet réel 14 situé à proximité du premier utilisateur P1 et qu’il peut éventuellement manipuler. En particulier, les premiers capteurs sont aptes à capter de manière très précise les mouvements du buste, des bras, des mains, des doigts ainsi que l’expression faciale de la personne qui les portent. Les premiers capteurs peuvent éventuellement comprendre au moins une caméra propre à capturer des images représentant le deuxième utilisateur P2. Les premiers capteurs peuvent en outre comprendre d’autres caméras avec d’autres angles de vue et/ou des capteurs de mouvement. Les premiers capteurs comprennent en outre une interface de communication qui leur permet de transmettre les données numériques captées au premier terminal de communication 6.
Les deuxièmes capteurs 10 sont propres à capter des images représentant le deuxième utilisateur P2 et des données représentatives des gestes et mouvements du deuxième utilisateur. Ils sont également adaptés à transmettre les données numériques captées au deuxième terminal de communication 12, via le réseau de communication 8. Ils sont identiques ou similaires aux premiers capteurs et ne seront pas décrits à nouveau.
Le premier casque de réalité virtuelle 7 comprend d’une part un processeur et, d’autre part, une caméra, une mémoire, une source de lumière cohérente et des micros connectés au processeur. Le processeur comprend un générateur d’images holographiques de synthèse, une interface réseau et une interface de communication propre à recevoir des données des premiers capteurs. Le générateur d’images holographiques de synthèse est propre à générer des objets virtuels qui sont constitués par une série d’images holographiques. Le premier casque de réalité virtuelle 7 est similaire aux casques de réalité virtuelle de marque déposé « HoloLens ». Il ne sera pas décrit en détail. Le deuxième casque de réalité virtuelle 13 est similaire au premier casque de réalité virtuelle. Son interface de communication propre à recevoir des données des deuxièmes capteurs.
La réalité mixte est la fusion de mondes réels et virtuels pour produire de nouveaux environnements et visualisations, où les objets physiques et numériques coexistent et interagissent en temps réel. La réalité mixte ne se déroule pas exclusivement dans le monde physique ou virtuel, mais est un hybride de réalité et de réalité virtuelle, englobant à la fois la réalité augmentée et la virtualité augmentée par le biais de la technologie immersive.
Le réseau de communication 8 est par exemple un réseau Internet. Dans ce contexte, les échanges sont conformes au protocole Internet.
Dans la présente demande de brevet, un utilisateur est une personne réelle par opposition à une personne virtuelle qui est soit un avatar de la personne réelle soit un hologramme de la personne réelle. En particulier, le premier utilisateur P1 et le deuxième utilisateur P2 sont des personnes physiques adultes ou enfants capables de porter un casque de réalité virtuelle et des premiers capteurs ou des deuxièmes capteurs. Le premier utilisateur P1 peut manipuler un objet réel 14. Cet objet réel peut par exemple être une nouvelle machine-outil à implémenter dans une entreprise ou dans un site de production. Cet objet réel 14 peut également être un instrument de musique comme un violon ou tout autre accessoire. Le deuxième utilisateur est situé à distance du premier utilisateur. Le terme « à distance » peut se comprendre comme une distance suffisamment importante pour que le premier et le deuxième utilisateur ne puissent pas s’entendre et se voir. Ainsi, le premier utilisateur peut se situer dans un pays et le deuxième utilisateur dans un pays différent à plusieurs milliers de kilomètre du premier utilisateur. Le premier utilisateur et le deuxième utilisateur peuvent être dans le même bâtiment mais dans des pièces différentes.
En référence à la figure 2, le procédé de communication selon l’invention débute par une étape 18 au cours de laquelle le premier casque de réalité virtuelle 7 est paramétré par rapport à la vision et aux caractéristiques optiques du premier utilisateur P1 qui le porte. La manière de mettre en œuvre ce paramétrage est connue en soi. Elle consiste essentiellement à détecter la pupille du porteur du casque de réalité virtuelle afin de pouvoir générer et projeter des personnages virtuels et des objets virtuels dans son champ de vue à la distance souhaitée. De la même façon, le deuxième casque de réalité virtuelle 13 est paramétré par rapport à la vision et aux caractéristiques optiques du deuxième utilisateur P2 qui le porte.
Le procédé se poursuit par une étape 20 au cours de laquelle les premiers capteurs 4 captent des données relatives au premier utilisateur P1 , et en particulier des données relatives à la représentation du premier utilisateur P1 , aux mouvements de celui-ci et des données représentatives de l’objet réel 14 éventuellement manipulé par le premier utilisateur P1.
Simultanément, au cours d’une étape 22, les deuxièmes capteurs 10 captent des données relatives au deuxième utilisateur P2 et en particulier des données relatives à la représentation de la deuxième utilisateur P2.
Au cours d’une étape 23, les données capturées par les premiers capteurs 4 sont transmises au premier casque de réalité virtuelle 7. Puis, le premier casque de réalité virtuelle 7 génère à un instant donné T1 un premier personnage virtuel SP1 représentant le premier utilisateur P1 , un premier objet virtuel 11 représentant l’objet réel 14 et un deuxième objet virtuel I2 représentant l’objet réel 14 à partir des données captées par les premiers capteurs. Le deuxième objet virtuel I2 est identique au premier objet virtuel à l’instant donné T1.
De préférence, le premier personnage virtuel SP1 représente le premier utilisateur P1.
De manière plus préférentielle, le premier personnage virtuel SP1 représente le premier utilisateur P1 de face.
En conséquence, la communication est améliorée. En effet, le deuxième utilisateur peut voir les expressions faciales du premier utilisateur, comprendre son état émotionnel, et adapter sa communication en fonction de celui-ci.
En variante, le premier personnage virtuel SP1 représente un avatar préenregistré dans la mémoire et sélectionné par le premier utilisateur.
En variante, les données capturées par les premiers capteurs 4 sont transmises au deuxième casque de réalité virtuelle 13 et c’est le deuxième casque de réalité virtuelle 13 qui génère le premier personnage virtuel SP1 , le premier objet virtuel 11 et le deuxième objet virtuel I2.
Au cours d’une étape 24, le premier personnage virtuel SP1 , le premier objet virtuel 11 et le deuxième objet virtuel I2 sont transmis du premier terminal de communication 6, et en particulier du premier casque 7, vers le deuxième terminal de communication
12, et en particulier vers le deuxième casque 7, via le réseau de communication 8.
Au cours d’une étape 25, les deuxièmes capteurs 10 transmettent les données captées au deuxième casque de réalité virtuel 13. Le deuxième casque de réalité virtuel 13 génère un deuxième personnage virtuel SP2 représentant le deuxième utilisateur P2.
Au cours d’une étape 26, le deuxième terminal, en particulier le deuxième casque 13, transmet vers le premier terminal 6, et en particulier vers le premier casque 7, le deuxième personnage virtuel SP2 généré.
En variante, les données capturées par les deuxièmes capteurs 10 sont transmises au premier casque de réalité virtuelle 7 et c’est le premier casque de réalité virtuelle 7 qui génère le premier personnage virtuel SP1 , le premier objet virtuel 11 et le deuxième objet virtuel I2.
Au cours d’une étape 30, le deuxième casque de réalité virtuel 13 projette le premier personnage virtuel SP1 représentant le premier utilisateur, le premier objet virtuel 11 et le deuxième objet virtuel I2 représentant l’objet réel à un instant donné T1. Le deuxième objet virtuel I2 est projeté entre le premier objet virtuel 11 et le deuxième casque de réalité virtuelle. De préférence, le deuxième objet virtuel I2 est projeté à une distance inférieure ou égale à 1 mètre du deuxième casque de réalité virtuelle. Ainsi, avantageusement, le deuxième objet virtuel I2 est projeté à portée de main du deuxième utilisateur de sorte que le deuxième utilisateur (le formateur) visionne très clairement et puisse si besoin manipuler la représentation virtuelle de l’objet réel.
Au cours d’une étape 32, les deuxième capteurs 10 capturent des données représentatives des mouvements du deuxième utilisateur P2.
Au cours d’une étape 34, le deuxième terminal de communication 12, et en particulier le deuxième casque 13, génère à un instant ultérieur T2 un troisième objet virtuel I3 par modification du deuxième objet virtuel I2 pour représenter l’objet réel manipulé par le deuxième utilisateur P2. Le troisième objet virtuel I3 est généré à partir des données capturées par les premiers capteurs 4 et des données capturées par les deuxièmes capteurs 10. Ainsi, le deuxième utilisateur (le formateur) peut manipuler les représentations de l’objet réel et faire virtuellement bouger l’objet réel. A cet effet, les deuxièmes capteurs captent les mouvements du deuxième utilisateur P2 et notamment les mouvements de ces bras et de ses doigts. Les données représentatives de ses gestes et de ses mouvements sont transmises au processeur du deuxième casque de réalité virtuelle 13. A partir de ces données, le processeur calcule quelles seraient les positions successives de l’objet réel s’il avait été manipulé par ces mouvements. Le deuxième casque de réalité virtuelle 13 génère le troisième objet virtuel I3 représentant l’objet réel manipulé par le deuxième utilisateur P2 à partir des données captées par les deuxièmes capteurs pour représenter virtuellement les mouvements de l’objet réel s’il était soumis aux manipulations captées par les deuxièmes capteurs 10. Ainsi, le deuxième objet virtuel I2 représente l’objet réel manipulé par le deuxième utilisateur P2.
Au cours d’une étape 36, le deuxième terminal de communication 12, et en particulier le deuxième casque 13, transmet au premier terminal de communication 6, et en particulier au premier casque 7, les données permettant de générer le troisième objet virtuel I3 représentant l’objet virtuel manipulé par le deuxième utilisateur P2.
Au cours d’une étape 38, le deuxième casque de réalité virtuelle 13 projette le troisième objet virtuel I3 généré au cours de l’étape 34, ainsi que le premier personnage virtuel SP1 représentant le premier utilisateur et le premier objet virtuel 11 représentant l’objet réel.
Au cours d’une étape 40, le premier casque de réalité virtuelle 7 projette le troisième objet virtuel I3 représentant l’objet réel à partir des données transmises par le deuxième terminal de communication au cours de l’étape 36, ainsi que le deuxième personnage virtuel SP2 représentant le deuxième utilisateur manipulant l’objet réel à partir des données générées au cours de l’étape 25. Ainsi, le premier utilisateur P1 visualise le deuxième utilisateur P2 (le formateur) qui est à distance et qui manipule l’objet réel.
Avantageusement, le deuxième utilisateur P2 peut manipuler à distance le deuxième objet virtuel I2 représentant l’objet réel. Le fait que le deuxième utilisateur puisse manipuler une représentation virtuelle de l’objet réel va aider l’acquisition du geste par le premier utilisateur P1 de la même manière que si les deux personnes étaient physiquement dans la même pièce. De plus, en cas de danger, le deuxième utilisateur P2 peut intervenir à distance et empêcher un éventuel accident. L’ensemble des étapes 20 à 40 se déroulent en simultané au cours de la communication et de l’échanges entre le premier utilisateur P1 et le deuxième utilisateur P2.
En référence à la figure 3, le procédé de communication comporte éventuellement une étape 48 de demande d’enregistrement par le premier utilisateur P1. Cette demande peut être réalisée par une demande vocale de le premier utilisateur ou par appui sur un bouton du premier terminal de communication 6 par le premier utilisateur.
L’étape 48 se poursuit par une étape 50 d’enregistrement dans la mémoire du premier terminal de communication 6, du deuxième personnage virtuel SP2 représentant le deuxième utilisateur et du troisième objet virtuel 13 représentant l’objet en mouvement.
L’étape 50 peut ultérieurement être suivie par une étape 52 de projection par le premier casque de réalité virtuelle 7 du deuxième personnage virtuel SP et de l’objet virtuel enregistrés.
Avantageusement, le premier utilisateur peut revisualiser l’apprentissage qu’elle a reçu afin de le mémoriser.
En référence à la figure 4, de la même façon, le procédé de communication comporte éventuellement une étape 54 de demande d’enregistrement par le deuxième utilisateur P2. Cette demande peut être réalisée par une demande vocale de le deuxième utilisateur ou par appui sur un bouton du deuxième terminal de communication 12 par le deuxième utilisateur.
L’étape 54 se poursuit par une étape 56 d’enregistrement dans la mémoire du deuxième terminal de communication 12 du premier personnage virtuel SP1 représentant le premier utilisateur P1 et du premier objet virtuel 11 représentant l’objet réel.
L’étape 56 peut éventuellement se poursuivre par une étape 58 de projection par le deuxième terminal de communication 12 du premier personnage virtuel SP1 et de l’objet virtuel enregistrés. Avantageusement, le deuxième utilisateur P2 peut revisualiser des manipulations précédemment réalisées par le premier utilisateur P1 afin d’indiquer, par exemple, le moment ou il faut perfectionner la manipulation. Avantageusement, au moins le premier personnage virtuel SP1 ou le deuxième personnage virtuel SP2 est constitué une série d’images holographiques.

Claims

REVENDICATIONS
1. Procédé de communication entre au moins un premier terminal (6) de réalité mixte et un deuxième terminal (12) de réalité mixte via un réseau de communication (8) , le procédé comportant au moins les étapes suivantes:
- transmission (24) du premier terminal (6) d’un premier utilisateur (P1 ) vers le deuxième terminal (12) d’un deuxième utilisateur (P2) d’au moins :
+ un premier personnage virtuel (SP1) généré en fonction de données relatives au premier utilisateur (P1 ) captées par le premier terminal,
+ un premier objet virtuel (11) généré en fonction de données relatives à au moins un premier objet réel (14) captées par le premier terminal, et + un deuxième objet virtuel (I2) constitué par un duplicata du premier objet virtuel généré à un instant donné, le deuxième objet virtuel (I2) étant modifiable par interaction au moins du deuxième utilisateur (P2); et
- transmission (26) du deuxième terminal (12) vers le premier terminal (6) d’au moins un deuxième personnage virtuel (SP2) généré en fonction de données captées, par au moins le deuxième terminal du deuxième utilisateur (P2).
2. Procédé de communication selon la revendication 1 , dans lequel les premier (6) et deuxième (12) terminaux de réalité mixte comportent respectivement au moins un premier (7) et un deuxième (13) casques de réalité mixte et au moins un premier (4) et un deuxième (10) capteurs, le procédé comportant les étapes de :
- capture (20) par le au moins un premier capteur (4) de données représentatives du premier utilisateur (P1) et de données représentatives d’un objet réel (14) ;
- génération (23) par le au moins un premier casque de réalité virtuelle (7), dudit au moins un premier personnage virtuel (SP1) représentant le premier utilisateur (P1), dudit au moins un premier objet virtuel (11) représentant l’objet réel (14) et dudit au moins un deuxième d’objet virtuel (I2) représentant l’objet réel (14) à un instant donné (T1 ) à partir des données capturées par le au moins un premier capteur (4) ;
- projection (30) par le au moins un deuxième casque de réalité virtuelle (13), dudit au moins un premier personnage virtuel (SP1), dudit au moins un premier objet virtuel (11) et dudit au moins un deuxième d’objet virtuel (I2) générés ;
- capture (32) par le au moins un deuxième capteur (10), de données représentatives des mouvements du au moins un deuxième utilisateur (P2); - génération (34) par le deuxième casque de réalité virtuelle d’un troisième d’objet virtuel (13) par modification du deuxième objet virtuel (12) à partir de données capturées par le au moins un deuxième capteur (10) pour représenter l’objet réel manipulé par le au moins un deuxième utilisateur (P2) à un instant ultérieur (T2).
3. Procédé de communication selon la revendication 2, qui comporte en outre les étapes suivantes :
- transmission (36) du troisième objet virtuel (I3) du deuxième casque de réalité virtuelle (13) vers le premier casque de réalité virtuel (7), via le réseau de communication (8) ;
- projection (40) par le premier casque de réalité virtuel (7) du troisième objet virtuel (13).
4. Procédé de communication selon la revendication 2 ou 3, dans lequel le deuxième objet virtuel (12) est projeté entre l’au moins un premier objet virtuel (11) et le deuxième casque de réalité virtuelle (13).
5. Procédé de communication selon l’une quelconque des revendications 2 à 4, qui comporte en outre les étapes de :
- capture (22) par l’au moins un deuxième capteur (10) de données représentatives du au moins un deuxième utilisateur (P2); - génération (25) par le deuxième terminal de communication (12) d’au moins un deuxième personnage virtuel (SP2) représentant le au moins un deuxième utilisateur (P2) à partir des données capturées par le au moins un deuxième capteur (10) ;
- projection (28) par le deuxième casque de réalité virtuel (13) du au moins un deuxième personnage virtuel (SP2) généré.
6. Procédé de communication selon l’une quelconque des revendications 1 à 5, dans lequel le premier personnage virtuel (SP1) représente une personne de face.
7. Procédé de communication selon l’une quelconque des revendications 2 à 6, qui comporte en outre les étapes de:
- enregistrement (50) par le premier casque de réalité virtuel (7), d’au moins un deuxième personnage virtuel (SP2) représentant le au moins une deuxième utilisateur (P2) et du troisième objet virtuel (I3) représentant l’objet réel manipulé ; - projection (52) par le premier casque de réalité virtuel (7) d’au moins un deuxième personnage virtuel (SP2) et du troisième objet virtuel (13) enregistrés.
8. Procédé de communication selon l’une quelconque des revendications 1 à 7, qui comporte en outre les étapes de:
- enregistrement (56) par le au moins un deuxième casque de réalité virtuel (13), d’au moins un premier personnage virtuel (SP1) représentant le premier utilisateur (P1 ) et du premier objet virtuel (11 ) représentant l’objet réel,
- projection (58) par le au moins un deuxième casque de réalité virtuel (13) d’au moins un premier personnage virtuel (SP1 ) et du premier objet virtuel (11 ) enregistrés.
9. Procédé de communication selon l’une quelconque des revendications 1 à 8, dans lequel au moins un objet virtuel est constitué une série d’images holographiques.
10. Système (2) de communication comprenant un réseau de communication (8), un premier terminal de communication (6) et au moins un deuxième terminal de communication (12), le système de communication (2) étant propre à mettre en œuvre le procédé selon l’une quelconque des revendications 1 à 9.
11. Programme d’ordinateur comprenant des instructions pour la mise en œuvre d’un procédé de communication selon l’une quelconque des revendications 1 à 9, lorsqu’il est chargé et exécuté par un microprocesseur.
12. Support d’informations lisible par un microprocesseur, comprenant les instructions d’un programme d’ordinateur pour mettre en œuvre un procédé de communication selon l’une quelconque des revendications 1 à 9.
EP22732605.5A 2021-05-31 2022-05-30 Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations Pending EP4349006A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2105727A FR3123532A1 (fr) 2021-05-31 2021-05-31 Procédé de communication en réalité mixte, système de communication, programme d‘ordinateur et support d’informations
PCT/FR2022/051009 WO2022254135A1 (fr) 2021-05-31 2022-05-30 Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations

Publications (1)

Publication Number Publication Date
EP4349006A1 true EP4349006A1 (fr) 2024-04-10

Family

ID=77411808

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22732605.5A Pending EP4349006A1 (fr) 2021-05-31 2022-05-30 Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations

Country Status (3)

Country Link
EP (1) EP4349006A1 (fr)
FR (1) FR3123532A1 (fr)
WO (1) WO2022254135A1 (fr)

Also Published As

Publication number Publication date
FR3123532A1 (fr) 2022-12-02
WO2022254135A1 (fr) 2022-12-08

Similar Documents

Publication Publication Date Title
CN107924584B (zh) 增强现实
EP3096208B1 (fr) Traitement d'images pour des dispositifs d'affichage montés sur la tête
CN105264460B (zh) 全息图对象反馈
US9390561B2 (en) Personal holographic billboard
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
CA2942652C (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
JP6550522B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
TW201228332A (en) Mobile electronic device
TW202141120A (zh) 具可調整影像感測模組的頭戴式裝置及其系統
CN114207557A (zh) 虚拟和物理相机的位置同步
CN115413353A (zh) 扩展现实记录仪
EP3651057B1 (fr) Procede d'authentification faciale d'un porteur d'une montre
EP3983870B1 (fr) Système numérique de préparation de mission
EP4349006A1 (fr) Procédé de communication en réalite mixte, système de communication, programme d'ordinateur et support d'informations
WO2018178560A1 (fr) Procédé de sélection d'au moins une partie d'image à télécharger par anticipation pour restituer un flux audiovisuel
WO2017187095A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
FR3081572A1 (fr) Procede et systeme d'authentification d'un utilisateur porteur d'un dispositif d'immersion
FR3056770A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
FR3043818B1 (fr) Systeme d'elaboration, d'emission et d'interpretation d'un flux composite et procedes associes
WO2019138186A1 (fr) Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee
EP1124212B1 (fr) Procédé et dispositif de présentation visuelle d'un espace virtuel à trois dimentsions simulant un véhicule automobile
US11924317B1 (en) Method and system for time-aligned media playback
WO2018011497A1 (fr) Système et procédé de capture embarquée et de reproduction 3d/360° du mouvement d'un opérateur dans son environnement
US11671254B2 (en) Extended reality authentication
WO2022249604A1 (fr) Appareil de traitement d'informations, procédé de traitement d'informations, et programme de traitement d'informations

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231116

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR