FR3054062A1 - Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement - Google Patents

Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement Download PDF

Info

Publication number
FR3054062A1
FR3054062A1 FR1656740A FR1656740A FR3054062A1 FR 3054062 A1 FR3054062 A1 FR 3054062A1 FR 1656740 A FR1656740 A FR 1656740A FR 1656740 A FR1656740 A FR 1656740A FR 3054062 A1 FR3054062 A1 FR 3054062A1
Authority
FR
France
Prior art keywords
environment
central module
operator
interaction
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1656740A
Other languages
English (en)
Other versions
FR3054062B1 (fr
Inventor
Cyril Condemine
Paul Greve
Jean-Philippe Gros
Sylvie Naudet-Colette
Frederic Serre
Vincent Weistroffer
Julien Mottin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motion Recall
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Motion Recall
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motion Recall, Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Motion Recall
Priority to FR1656740A priority Critical patent/FR3054062B1/fr
Priority to PCT/FR2017/051877 priority patent/WO2018011497A1/fr
Publication of FR3054062A1 publication Critical patent/FR3054062A1/fr
Application granted granted Critical
Publication of FR3054062B1 publication Critical patent/FR3054062B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention porte sur un système de capture et de reproduction du mouvement d'un opérateur dans son environnement. Ce système comprend : - un module central (10) doté d'une caméra 360°, d'un capteur de profondeur et d'une mémoire, - des modules distribués (20) fixés, en utilisation, en différentes localisations sur l'opérateur, qui comportent des capteurs de mouvement et des moyens de communication avec le module central, - une unité de traitement informatique configurée pour synchroniser les données générées par le module central et les modules distribués dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans une succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.

Description

Titulaire(s) : COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES Etablissement public, MOTION RECALL.
Demande(s) d’extension
Mandataire(s) : BREVALEX Société à responsabilité limitée.
SYSTEME ET PROCEDE DE CAPTURE EMBARQUEE ET DE REPRODUCTION 3D/36O0 DU MOUVEMENT D'UN OPERATEUR DANS SON ENVIRONNEMENT.
FR 3 054 062 - A1 )6/) L'invention porte sur un système de capture et de reproduction du mouvement d'un opérateur dans son environnement. Ce système comprend:
- un module central (10) doté d'une caméra 360°, d'un capteur de profondeur et d'une mémoire,
- des modules distribués (20) fixés, en utilisation, en différentes localisations sur l'opérateur, qui comportent des capteurs de mouvement et des moyens de communication avec le module central,
- une unité de traitement informatique configurée pour synchroniser les données générées par le module central et les modules distribués dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans une succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.
Figure FR3054062A1_D0001
Figure FR3054062A1_D0002
Figure FR3054062A1_D0003
SYSTÈME ET PROCÉDÉ DE CAPTURE EMBARQUÉE ET DE REPRODUCTION 3D/3600 DU MOUVEMENT D'UN OPÉRATEUR DANS SON ENVIRONNEMENT
DESCRIPTION
DOMAINE TECHNIQUE
Le domaine de l'invention est celui de la capture et de la reproduction du mouvement d'un opérateur en déplacement dans son environnement. L'invention concerne plus particulièrement un système et un procédé de numérisation du corps de l'opérateur en mouvement et de son environnement pour permettre une visualisation à 360° et en 3D, en réalité virtuelle, de ce mouvement, synchronisé dans son environnement.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
Les casques de réalité virtuelle permettent aujourd'hui une immersion totale dans un monde différent du monde réel. La réalité virtuelle permet une expérience d'immersion intense et une vision à 360°, sphérique et stéréoscopique. Le contenu peut être interactif, multi joueur et permettre de multiples point de vue d'une scène.
Aujourd'hui les contenus pour les casques de réalité virtuelle sont principalement des films immersifs en 3D réalisés par des studios de cinéma ou des studios spécialisés dans la réalité virtuelle, ou des jeux vidéo immersifs qui, à l'inverse d'un film où le contenu et le point de vue sont figés, permettent une interactivité totale pour plusieurs joueurs et avec des points de vue très différents. Toutefois, dans tous ces cas de figure, l'utilisateur n'est pas associé à la production du contenu.
Une solution pour qu'un utilisateur puisse générer du contenu pour la réalité virtuelle est l'utilisation de caméras sphériques qui offrent la possibilité à un utilisateur de générer un film 360°. Il devient alors possible de s'immerger dans ce film grâce à un casque de réalité virtuelle ou de le visualiser sur PC, tablette ou smartphone grâce à des lecteurs dédiés.
EXPOSÉ DE L'INVENTION
L'invention vise à faire converger les deux approches mentionnées cidessus, et a plus particulièrement pour objectif de proposer une solution pour, à l'aide d'un système embarqué sur une personne, acquérir une action (environnement et mouvements de la personne) à 360° et en 3D, et permette de revivre cette action en réalité virtuelle.
A cet effet, l'invention propose un système de capture et de reproduction du mouvement d'un opérateur dans son environnement qui comporte un module central, des modules distribués et une unité de traitement informatique. Elle s'étend également au procédé mis en œuvre par un tel système.
Le module central peut être fixé, en utilisation, sur l'opérateur. Il comporte une caméra sphérique permettant d'acquérir une succession de prises de vue à 360° de l'environnement, un capteur de profondeur permettant de numériser l'environnement proche du module central en 3D, et une mémoire de stockage des prises de vue à 360° de l'environnement, et de données de numérisation de l'environnement proche du module central en 3D.
Les modules distribués sont fixés, en utilisation, en différentes localisations sur l'opérateur. Ils comportent des capteurs de mouvement et des moyens de communication avec le module central pour lui transmettre des données représentatives du mouvement de l'opérateur et permettre leur stockage dans la mémoire du module central.
L'unité de traitement informatique est configurée pour synchroniser les données stockées dans la mémoire du module central dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.
Certains aspects préférés mais non limitatifs de ce système sont les suivants :
il comporte en outre un module logiciel de visualisation configuré pour permettre la visualisation par un utilisateur, avec interaction en réalité virtuelle, de la représentation numérique ;
le module logiciel de visualisation est configuré pour permettre la visualisation de la représentation numérique par une pluralité d'utilisateurs, chacun avec sa propre interaction en réalité virtuelle ;
l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur ;
l'interaction en réalité virtuelle comprend une interaction avec un objet modélisé en 3D dans la représentation numérique ;
l'interaction en réalité virtuelle d'un utilisateur peut être commandée par l'intermédiaire d'au moins un des modules distribués.
BRÈVE DESCRIPTION DES DESSINS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la figure 1 est un schéma d'un module central d'un système selon un mode de réalisation possible de l'invention ;
- la figure 2 est un schéma d'un module distribué d'un système selon un mode de réalisation possible de l'invention ;
- la figure 3 illustre les principales étapes d'une phase d'acquisition d'une action selon un exemple de réalisation de l'invention ;
- la figure 4 est un schéma représentant des modules logiciels mis en œuvre dans le cadre de l'invention ;
- la figure 5 illustre les principales étapes de génération et de visualisation d'une représentation numérique 360° selon un exemple de réalisation de l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'invention porte sur un système de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, intérieur ou extérieur. Ce système permet de créer du contenu centré sur l'opérateur en filmant l'environnement en 360° et en 3D, ainsi qu'en enregistrant le mouvement de l'opérateur.
L'invention peut se décrire comme le caméscope de la réalité virtuelle, permettant de filmer, de revivre et de partager des activités en réalité virtuelle. Elle trouve application à la réalisation de films de sports et loisirs, à la réalisation de salles de démonstration virtuelle, à l'enregistrement et l'analyse de gestes pour la formation, l'apprentissage et le suivi de gestes professionnels, à la conservation du savoir-faire, des gestes et du patrimoine culturel, à la rééducation médicale contrôlée, etc.
Le système selon l'invention se compose d'un module central, de modules distribués, et d'une suite logicielle de fusion de données et de génération de monde en réalité virtuelle.
Le module central et les modules distribués ont ainsi pour fonctions essentielles d'enregistrer l'environnement de l'opérateur sous forme de film vidéo sphérique (360°), de capturer le relief des objets dans le champ proche de l'opérateur, et de capturer les mouvements effectués par l'opérateur, le tout lors d'une phase d'acquisition de données correspondant à la réalisation d'une action de l'opérateur dans son environnement.
La suite logicielle permet de fusionner l'ensemble de données récoltées par le module central et les modules distribués lors de la phase d'acquisition afin de générer une représentation numérique qui fusionne le film en sphérique, le monde modélisé en 3D, et l'opérateur (sous la forme d'un avatar) et ces mouvements, l'ensemble étant synchronisé dans l'espace et le temps. Un casque de réalité virtuelle permet de visualiser cette représentation numérique 360° et donc de revivre l'action de l'opérateur.
La représentation numérique peut être vue comme un film 360° de l'environnement dans lequel on retrouve des objets 3D, à avoir la reproduction numérique de l'opérateur sous la forme d'un avatar et la reproduction 3D de l'environnement proche de l'opérateur tout au long de son déplacement au cours de l'action. Prenant l'exemple d'une action de type descente de piste de ski, la représentation numérique correspond au film 360° dans lequel sont incrustés l'avatar reproduisant les mouvements du skieur, et la reproduction 3D de l'environnement autour de la trajectoire du skieur lors de la descente.
Le module central et les modules distribués permettent de mesurer une multitude de grandeurs de nature différente dont la connaissance simultanée permet d'accéder à des informations de haut niveau sur l'environnement et le mouvement de l'opérateur. Cette solution permet en outre de compenser les imperfections d'un capteur dans une gamme par les données d'un autre capteur : par exemple la dérive d'une centrale inertielle MEMS peut être corrigée par des calibration vidéo et des mesures de distances ou de profondeurs.
On a représenté sur la figure 1 un schéma d'un module central 10 d'un système selon un mode de réalisation possible de l'invention. Ce module central est lors de la phase d'acquisition un référentiel du système. Il peut alors être fixé sur le corps de l'opérateur, par exemple sur sa tête. En variante, notamment lorsque l'environnement est connu, le module central peut ne pas être embarqué sur l'opérateur mais être déporté de celui-ci et positionné dans l'environnement. A titre d'exemple, il peut être installé sur un poteau de filet de tennis pour permettre de numériser une partie de tennis.
Le module central 10 comprend un ensemble de capteurs 11-14, une mémoire 15, un calculateur 16, une batterie 17, et une interface de communication 18. L'ensemble de capteurs comprend notamment une caméra sphérique 11 permettant d'acquérir une succession de prises de vue à 360° de l'environnement, et un capteur de profondeur 12 permettant de numériser en 3D l'environnement proche du module central (i.e. proche de l'opérateur lorsque celui-ci équipé du module central).
La caméra sphérique 11 peut être composée d'au moins deux caméras monoculaires chacune équipée d'un optique grand angle.
Le capteur de profondeur 12 permet de numériser l'environnement proche du module central typiquement sur une distance de 10 mètres, tant en intérieur qu'en extérieur, afin de permettre sa modélisation en 3D. Il s'agit par exemple d'une caméra stéréoscopique, d'un capteur RGB-D, d'un capteur de temps de vol, d'un lidar, etc.
Le module central 10 peut également comprendre un capteur de mouvement 13, par exemple une centrale inertielle, permettant de détecter le mouvement du module central par rapport à l'environnement.
Le module central 10 peut également comprendre un GPS 14, qui permet notamment de géo-référencer les représentations numériques 360° générées par le système conforme à l'invention. Le GPS 14 peut en outre fournir une aide à la localisation à l'opérateur du système selon l'invention.
La mémoire 15 sert au stockage des données des capteurs 11-14, notamment pour le flux vidéo à 360° de l'environnement délivré par la caméra sphérique 11, et les données de numérisation de l'environnement proche du module central en 3D délivrées par le capteur de profondeur 12.
La mémoire 15 est de préférence amovible. Elle est avantageusement constituée d'une ou plusieurs cartes mémoire interchangeables. La batterie 17 est elle aussi de préférence amovible et interchangeable.
L'interface de communication 18 peut comprendre des moyens de communication avec les modules distribués, tels que des moyens de communication sans fil, par exemple selon le protocole Bluetooth® Low Energy. Le module central 10 peut alors récupérer les données générées par les modules distribués et les stocker dans sa mémoire 15.
L'interface de communication 18 peut également comprendre des moyens de communication avec un dispositif externe, tel qu'un smartphone ou une tablette, notamment des moyens de communication sans fil, par exemple selon le protocole WiFi. Le dispositif externe peut être utilisé pour la calibration et la gestion du module central, ainsi que pour piloter les phases d'acquisition d'une action et de visualisation de sa représentation numérique.
L'interface de communication 18 peut en outre comprendre des moyens permettant d'établir une liaison filaire, par exemple une liaison USB, avec un ordinateur, notamment afin de lui transmettre, à l'issue d'une phase d'acquisition, les données générées par le module central et les modules distribués.
On a représenté sur la figure 2 un schéma d'un module distribué 20 d'un système selon un mode de réalisation possible de l'invention. Ce module distribué 20 est fixé sur le corps de l'opérateur lors de la phase d'acquisition. Le système selon l'invention exploite une pluralité de modules distribués, fixés en utilisation en différentes localisations sur l'opérateur. Ce système compte par exemple quatre modules distribués : un module distribué sur chaque main et un module distribué sur chaque pied. Les modules distribués sont par exemple clipsés sur des bracelets élastiques.
Chaque module distribué 20 comprend des capteurs 21-23 permettant de reconstruire le mouvement de manière relative au module central, par exemple une centrale inertielle 21, notamment une centrale inertielle 9 axes (accéléromètres, magnétomètres, gyromètres), associée à un capteur de profondeur ou de distance 22. Il peut également comprendre une caméra 23, par exemple faible coût et faible débit de type webcaméra, pour aider à la reconstruction du mouvement de l'opérateur.
Chaque module distribué 20 comprend par ailleurs un calculateur 24, une batterie 25 et une interface de communication 26 avec le module central 10, par exemple via une liaison sans fil, par exemple selon le protocole Bluetooth® Low Energy ou UWB (Ultra Large Bande). Cette interface 26 permet de transmettre, notamment en temps réel, au module central des données représentatives du mouvement de l'opérateur issues des capteurs 21, 22, 23 pour stockage dans la mémoire 15 du module central 10. Les données représentatives du mouvement, les trames du flux vidéo 360° et les cartes de profondeurs sont horodatées. Les trames du flux vidéo 360° et les cartes de profondeurs sont notamment synchronisées.
Chaque module distribué 20 peut également comprendre un système Y1 de télé-alimentation, par exemple par induction. Il peut en outre disposer d'un système de communication 26, par exemple de type RF ou RFID, permettant d'échanger des données de calibration ou de programmation.
Le module central 10 et les modules distribués 20 permettent ainsi, lors d'une phase d'acquisition d'une action de l'opérateur, de numériser et d'enregistrer le mouvement et l'environnement de l'opérateur.
On peut bien entendu utiliser plusieurs modules centraux connectés entre eux pour améliorer la performance d'acquisition de l'environnement en 3D et 360°. A titre d'exemple, on peut réaliser la capture d'une partie de tennis en installant un module central sur chaque poteau de filet et un module central sur la chaise d'arbitre.
On peut par ailleurs multiplier le nombre de modules distribués de manière à améliorer les performances de suivi et de reproduction de mouvement. Et l'invention ne se cantonne pas à des modules distribués fixés sur le seul opérateur, mais s'étend également à l'utilisation de modules distribués installés sur plusieurs opérateurs (par exemple pour suivre les mouvements de deux joueurs d'une partie de tennis) ou des modules distribués installés sur un ou des objets utilisés lors de l'action (par exemple sur un ballon ou sur un vélo de figures libres).
La phase d'acquisition peut suivre le processus illustré par la figure 3. Au cours d'une étape Al, le module central 20 est allumé, par exemple via une commande issue du smartphone de l'opérateur. Après que l'opérateur ait installé les modules sur son corps, lors d'une étape A2, une calibration et initialisation du système est réalisée par l'opérateur, par exemple avec des gestes et des postures spécifiques afin de reconnaître la position et l'identification des modules distribués utilisés.
Lors d'une étape A3, l'opérateur peut procéder à la création de son avatar, par exemple au moyen de la caméra embarquée dans le module central. Alternativement, l'opérateur peut utiliser un avatar préenregistré.
L'étape A4 correspond au démarrage de l'enregistrement, et l'étape A6 à l'arrêt de l'enregistrement. Sur la figure 3, le démarrage et l'arrêt sont réalisés au moyen du smartphone de l'opérateur. Alternativement, ils peuvent être commandés par une commande gestuelle (utilisation d'un geste particulier comme un claquement de main par exemple) ou une commande sonore (utilisation d'une phrase particulière par exemple).
L'étape A5 correspond à l'enregistrement de l'action, et au stockage au cours du temps des différentes données issues des capteurs du module central 10 et des modules distribués 20 dans la mémoire 15 du module central.
Comme représenté sur la figure 5, une fois la phase d'acquisition terminée, l'opérateur peut connecter (étape Bl) le module central 10 à un ordinateur afin de lui transmettre les données enregistrées lors de la phase d'acquisition (flux vidéo, cartes de profondeur, position GPS, quaternions calculés par les centrales inertielles, etc.). Puis au cours d'une étape B2, l'ordinateur vient générer la représentation numérique de l'action grâce à des algorithmes de fusion de données.
Le système selon l'invention comprend ainsi une unité de traitement informatique configurée pour générer la représentation numérique en exploitant toutes les données stockées dans la mémoire entre un instant de début et un instant de fin d'acquisition. L'unité de traitement informatique est plus particulièrement configurée pour synchroniser lesdites données dans l'espace et le temps et les fusionner afin de générer une représentation numérique.
Cette représentation numérique inclut, dans la succession de prises de vue à 360° de l'environnement acquises lors du déplacement de l'opérateur dans l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement au cours de la phase d'acquisition (i.e. proche de l'opérateur quand celui-ci est équipé du module central).
On a représenté sur la figure 4 un schéma d'une suite logicielle 30 composée de plusieurs modules logiciels 31-34 pouvant être exploités dans le cadre de l'invention. On y retrouve un module 31 de récupération et de synchronisation des données enregistrées lors de la phase d'acquisition d'une action, un module 32 de contrôle d'avatar, un module 33 de génération de la représentation numérique de l'action, et un module 34 de visualisation.
Le module 32 de contrôle d'avatar assure deux fonctions :
- la création, avant la phase d'acquisition, de la reproduction de l'opérateur dans le monde virtuel (i.e. son avatar), et
- la reproduction sous contraintes biomécaniques du mouvement de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition, de manière à permettre l'animation de la reproduction de l'opérateur dans la représentation numérique.
Le module 33 de génération de la représentation numérique permet de reconstruire l'intégralité de la scène numérisée par le module central et les modules distribués. Cette génération de la représentation numérique se fait soit par un calcul sur une machine locale (PC de bureau ou console de salon) si celle-ci est assez puissante, soit par calcul déporté sur des machines accessibles à distance.
Le module 34 de visualisation est dédié à la visualisation en réalité virtuelle des représentations numériques correspondant aux actions numérisées par l'opérateur lui-même ou à celles réalisées par un autre utilisateur lui ayant mis à disposition les représentations numériques de ses propres actions. Ce module de visualisation permet par ailleurs à l'opérateur d'interagir avec le contenu d'une représentation numérique, mais également de partager le contenu de la représentation numérique avec plusieurs autres utilisateurs simultanément.
Des modules complémentaires peuvent être utilisés, comme par exemple un module de gestion de l'opérateur. Ce module logiciel permet à l'opérateur de partager les représentations numériques qu'il a créées. De plus, ce module permet de gérer un compte opérateur, donnant accès à un espace de stockage et de partage de données, pour, par exemple administrer un ou plusieurs avatar(s), les représentations numériques générées, un espace de calcul de ces représentations numériques, etc.
En référence à nouveau à la figure 5, le module de visualisation permet à un utilisateur (étape B3) de visualiser une représentation numérique d'une action générée par le module 33, par exemple au moyen d'un casque de réalité virtuelle. Cette visualisation peut être réalisée simultanément par plusieurs utilisateurs (étape B3'), les casques étant pour cela synchronisés.
Le module de visualisation permet par ailleurs à l'utilisateur d'interagir avec le contenu d'une représentation numérique, cette interaction étant représentée par une étape B4 sur la figure 5. Notamment, sans que cela ne soit limitatif (l'utilisateur pouvant interagir avec le contenu en utilisant un ou des outils d'interaction conventionnels), le module central et les modules distribués peuvent être avantageusement également utilisés lors de la visualisation en réalité virtuelle pour jouir de l'intégralité de l'expérience interactive avec le contenu. Le ou les utilisateurs peuvent ainsi porter un module distribué, le module central venant acquérir en temps réel les mouvements et la position du ou des utilisateurs pendant la visualisation et l'interaction avec la scène. De telle manière l'utilisateur peut interagir avec l'environnement et les objets contenus dans la scène, avec une interface intuitive et simple d'utilisation.
L'interaction avec le monde virtuel peut notamment comprendre une interaction avec le point de vue de l'utilisateur, par modification des caractéristiques (position, orientation, facteur d'échelle) de la caméra virtuelle qui permet de voir ce qui se passe dans le monde virtuel. Chaque utilisateur peut ainsi choisir et modifier son point de vue pendant la visualisation de la scène. II est possible de choisir le point de vue filmé par la caméra sphérique, mais également n'importe quel autre point de vue de la scène : sur le côté, au-dessus, en dessous, quelques mètres derrière l'opérateur, etc.
L'interaction avec le monde virtuel peut également comprendre une interaction avec un objet modélisé en 3D dans la représentation numérique. Ainsi, en plus de la visualisation avec une liberté de point de vue de la représentation numérique, l'invention permet également d'interagir, de modifier et de simuler l'effet des modifications dans cette représentation. Chaque élément proche, ainsi que l'opérateur et les objets qu'il utilise sont en effet modélisés en 3D dans la représentation numérique. Le module de visualisation permet de sélectionner puis de modifier ces objets modélisés en 3D dans la représentation numérique. Prenant l'exemple d'une action de type saut à ski, l'invention permet de sélectionner les skis, puis de modifier leurs positions. II est également possible de supprimer des éléments de la représentation numérique, ou d'en rajouter pour modifier cette représentation.
Comme représenté par l'étape B5 sur la figure 5, une fois ces modifications apportées, il est possible de simuler une fraction temporelle de la représentation numérique modifiée afin de pouvoir visualiser les effets de cette modification. L'invention peut dans ce cadre exploiter un simulateur physique permettant de prendre en compte les contraintes du corps humain et la physique liée à l'environnement.
Dans le système selon l'invention, les modules distribués peuvent chacun comprendre une centrale ïnertielle et des moyens permettant le calcul d'une distance relative avec le module central. L'unité de traitement informatique peut par ailleurs être déportée du module central.
L'invention n'est pas limitée au système tel que précédemment décrit, et s'étend également au procédé composé des différentes étapes mises en oeuvre par un tel système, et en particulier à un procédé de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, comprenant :
- l'acquisition et le stockage, par un module central d'une succession de prises de vue à 360° de l'environnement et de cartes de profondeur de l'environnement proche du module central, le module pouvant être fixé sur l'opérateur lors de l'acquisition et du stockage,
- l'acquisition par des modules distribués fixés, en utilisation, en différentes localisations sur l'utilisateur de données représentatives du mouvement de l'utilisateur, et la transmission desdites données au module central pour stockage,
- le traitement des données stockées par le module central de manière à les synchroniser dans l'espace et le temps et à les fusionner afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une animation d'une représentation de l'opérateur reproduisant les mouvements de Γ opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.

Claims (15)

  1. REVENDICATIONS
    1. Système de capture et de reproduction du mouvement d'un opérateur dans son environnement, comprenant :
    - un module central (10) qui comporte :
    o une caméra sphérique (11) permettant d'acquérir une succession de prises de vue à 360° de l'environnement, o un capteur de profondeur (12) permettant de numériser l'environnement proche du module central en 3D, o une mémoire (15) de stockage des prises de vue à 360° de l'environnement, et de données de numérisation de l'environnement proche du module central en 3D,
    - des modules distribués (20) fixés, en utilisation, en différentes localisations sur l'opérateur, qui comportent des capteurs de mouvement (21-23) et des moyens de communication (26) avec le module central pour lui transmettre des données représentatives du mouvement de l'opérateur et permettre leur stockage dans la mémoire du module central,
    - une unité de traitement informatique configurée pour synchroniser les données stockées dans la mémoire du module central dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.
  2. 2. Système selon la revendication 1, comportant en outre un module logiciel de visualisation (34) configuré pour permettre la visualisation par un utilisateur, avec interaction en réalité virtuelle, de la représentation numérique.
  3. 3. Système selon la revendication 2, dans lequel le module logiciel de visualisation est configuré pour permettre la visualisation de la représentation numérique par une pluralité d'utilisateurs, chacun avec sa propre interaction en réalité virtuelle.
  4. 4. Système selon la revendication 2, dans lequel l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur.
  5. 5. Système selon la revendication 2, dans lequel l'interaction en réalité virtuelle comprend une interaction avec un objet modélisé en 3D dans la représentation numérique.
  6. 6. Système selon l'une des revendications 2 à 5, dans lequel l'interaction en réalité virtuelle d'un utilisateur est commandée par l'intermédiaire d'au moins un des modules distribués.
  7. 7. Système selon l'une des revendications 1 à 6, dans lequel le module central comporte en outre un capteur de mouvement (13) du module central par rapport à l'environnement.
  8. 8. Système selon l'une des revendications 1 à 7, dans lequel les modules distribués comprennent chacun une centrale inertielle (21) et des moyens (22) permettant le calcul d'une distance relative avec le module central.
  9. 9. Système selon l'une des revendications 1 à 8, dans lequel la mémoire du module central est une mémoire amovible.
  10. 10. Système selon l'une des revendications 1 à 9, dans lequel l'unité de traitement informatique est déportée du module central.
  11. 11. Procédé de capture et de reproduction du mouvement d'un opérateur dans son environnement, comprenant :
    l'acquisition et le stockage, par un module central (10) d'une succession de prises de vue à 360° de l'environnement et de cartes de profondeur de l'environnement proche du module central, l'acquisition par des modules distribués (20) fixés en différentes localisations sur l'utilisateur de données représentatives du mouvement de l'utilisateur, et la transmission desdites données au module central pour stockage, le traitement des données stockées par le module central de manière à les synchroniser dans l'espace et le temps et à les fusionner afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une animation d'une représentation de l'opérateur reproduisant les mouvements de Γ opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.
  12. 12. Procédé selon la revendication 11, comprenant en outre une étape de visualisation de la représentation numérique par un ou plusieurs utilisateurs, avec interaction en réalité virtuelle.
  13. 13. Procédé selon la revendication 12, dans lequel l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur et/ou une interaction avec un objet modélisé en 3D dans la représentation numérique.
  14. 14. Procédé selon l'une des revendications 12 et 13, dans lequel l'interaction en réalité virtuelle d'un utilisateur est commandée par l'intermédiaire d'au moins un des modules distribués.
  15. 15. Procédé selon l'une des revendications 11 à 14, dans lequel le module central est fixé sur l'opérateur lors de l'acquisition et du stockage, par le module central, de la succession de prises de vue à 360° de l'environnement et des cartes de profondeur de l'environnement proche du module central.
    1/4
    S.60747
FR1656740A 2016-07-13 2016-07-13 Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement Expired - Fee Related FR3054062B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1656740A FR3054062B1 (fr) 2016-07-13 2016-07-13 Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement
PCT/FR2017/051877 WO2018011497A1 (fr) 2016-07-13 2017-07-10 Système et procédé de capture embarquée et de reproduction 3d/360° du mouvement d'un opérateur dans son environnement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1656740A FR3054062B1 (fr) 2016-07-13 2016-07-13 Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement

Publications (2)

Publication Number Publication Date
FR3054062A1 true FR3054062A1 (fr) 2018-01-19
FR3054062B1 FR3054062B1 (fr) 2018-08-24

Family

ID=57137082

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1656740A Expired - Fee Related FR3054062B1 (fr) 2016-07-13 2016-07-13 Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement

Country Status (2)

Country Link
FR (1) FR3054062B1 (fr)
WO (1) WO2018011497A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3116634B1 (fr) 2020-11-23 2022-12-09 Commissariat Energie Atomique Dispositif apprenant pour système cyber-physique mobile

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120327194A1 (en) * 2011-06-21 2012-12-27 Takaaki Shiratori Motion capture from body mounted cameras
US20140358475A1 (en) * 2013-05-29 2014-12-04 Dassault Systemes Body Posture Tracking

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015123771A1 (fr) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Suivi de gestes et commande en réalité augmentée et virtuelle
US9799301B2 (en) * 2014-10-09 2017-10-24 Nedim T. SAHIN Method, system, and apparatus for battery life extension and peripheral expansion of a wearable data collection device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120327194A1 (en) * 2011-06-21 2012-12-27 Takaaki Shiratori Motion capture from body mounted cameras
US20140358475A1 (en) * 2013-05-29 2014-12-04 Dassault Systemes Body Posture Tracking

Also Published As

Publication number Publication date
WO2018011497A1 (fr) 2018-01-18
FR3054062B1 (fr) 2018-08-24

Similar Documents

Publication Publication Date Title
US10572000B2 (en) Mixed reality viewer system and method
US10685496B2 (en) Saving augmented realities
CN107636534B (zh) 用于图像处理的方法和系统
US20190147661A1 (en) Methods and Systems for Generating a Merged Reality Scene Based on a Real-World Object and a Virtual Object
US11197038B2 (en) Systems and methods for synchronizing surface data management operations for virtual reality
CN105264478A (zh) 全息锚定和动态定位
WO2008107553A2 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video
US10699749B2 (en) Methods and systems for customizing virtual reality data
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
CA2942652A1 (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US11818467B2 (en) Systems and methods for framing videos
FR2911708A1 (fr) Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel.
CN103793473A (zh) 保存增强现实
US20170230631A1 (en) Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images
FR3054062A1 (fr) Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement
BE1022580A9 (fr) Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive
EP2831847A1 (fr) Procede et dispositif de creation d'images
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
FR3057430A1 (fr) Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images
Thandu An Exploration of Virtual Reality Technologies for Museums
Cantrell Viewer perspective kiosk: a software solution for a" virtual window" advertising medium
EP2823868A1 (fr) Procédé de reproduction d'un contenu audiovisuel doté de paramètres de commandes d'actuateurs haptiques et dispositif mettant en oeuvre le procédé

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180119

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

ST Notification of lapse

Effective date: 20220305