FR3054358A1 - Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection - Google Patents
Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection Download PDFInfo
- Publication number
- FR3054358A1 FR3054358A1 FR1657120A FR1657120A FR3054358A1 FR 3054358 A1 FR3054358 A1 FR 3054358A1 FR 1657120 A FR1657120 A FR 1657120A FR 1657120 A FR1657120 A FR 1657120A FR 3054358 A1 FR3054358 A1 FR 3054358A1
- Authority
- FR
- France
- Prior art keywords
- sensors
- reference frame
- fixed
- module
- absolute location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims abstract description 3
- 238000004088 simulation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005672 electromagnetic field Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 4
- 210000004197 pelvis Anatomy 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
L'invention porte sur un système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments. Le système comprend un premier (C1, C2, C3) et un deuxième (C4, C5) ensemble de capteurs fixés, en utilisation, sur l'objet. Il comprend par ailleurs un module de suivi spatial (22) pour déterminer la localisation absolue ({Rai, pai}), dans un repère de référence (Ra), des capteurs du premier ensemble, et un tapis de détection (23) pour détecter la localisation ({Rtj, ptj}), dans un repère lié au tapis (Rt), des capteurs du deuxième ensemble fixés sur l'objet. Une unité de traitement informatique (20) réalise un changement de repère pour déterminer la localisation absolue ({Raj, paj}), dans le repère de référence, des capteurs du deuxième ensemble. Elle est en outre configurée pour déterminer, à partir de la localisation absolue des capteurs du premier et du deuxième ensemble, une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence (Ra) en lui faisant adopter une posture reproduisant celle de l'objet.
Description
Titulaire(s) : COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES Etablissement public.
Demande(s) d’extension
Mandataire(s) : BREVALEX Société à responsabilité limitée.
PROCEDE ET SYSTEME DE RECONSTRUCTION DE POSTURE PAR SUIVI SPATIAL DU HAUT D'UN CORPS ET SUIVI DU BAS DU CORPS AU MOYEN D'UN TAPIS DE DETECTION.
FR 3 054 358 - A1 (67) L'invention porte sur un système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments. Le système comprend un premier (C1, C2, C3) et un deuxième (C4, C5) ensemble de capteurs fixés, en utilisation, sur l'objet. Il comprend par ailleurs un module de suivi spatial (22) pour déterminer la localisation absolue ({R3,, p j}), dans un repère de référence (Ra), des capteurs du premier ensemble, et un tapis de détection (23) pour détecter la localisation ({R j, pj}), dans un repère lié au tapis (Rt), des capteurs du deuxième ensemble fixés sur l'objet.
Une unité de traitement informatique (20) réalise un changement de repère pour déterminer la localisation absolue ({Raj, paj}), dans le repère de référence, des capteurs du deuxième ensemble. Elle est en outre configurée pour déterminer, à partir de la localisation absolue des capteurs du premier et du deuxième ensemble, une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence (RJ en lui faisant adopter une posture reproduisant celle de robjet.
PROCÉDÉ ET SYSTÈME DE RECONSTRUCTION DE POSTURE PAR SUIVI SPATIAL DU HAUT D'UN CORPS ET SUIVI DU BAS DU CORPS AU MOYEN D'UN TAPIS DE DÉTECTION
DESCRIPTION
DOMAINE TECHNIQUE
Le domaine de l'invention est celui de la capture du mouvement d'un objet, et du transfert temps-réel de ce mouvement à une structure massique (poly-) articulée modélisant l'objet.
L'invention trouve application à la capture du mouvement d'un corps humain via des capteurs disposés sur une personne, et à la représentation de ce mouvement via l'animation d'un avatar dans une simulation numérique.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
On cherche dans un certain nombre d'applications à représenter les mouvements d'une personne dans une simulation numérique. Dans la majorité des cas, la personne porte un ensemble de capteurs dont les données sont utilisées pour animer son avatar numérique dans la simulation.
Les besoins principaux d'une capture du mouvement sont, d'une part, de localiser la personne dans l'environnement, et, d'autre part, d'estimer la posture complète de la personne.
Pour répondre conjointement à ces deux besoins, une grande partie des systèmes existants de capture du mouvement d'une personne utilise une panoplie complète de capteurs à porter sur l'ensemble du corps, avec généralement l'utilisation d'un capteur par membre du corps. Ces systèmes sont généralement contraignants à cause du grand nombre de capteurs à installer.
D'autres systèmes, plus simples, n'utilisent qu'un nombre limité de capteurs. C'est le cas par exemple des systèmes à base de casque de réalité virtuelle qui permettent de localiser le casque (et donc la tête de l'utilisateur) dans l'environnement, et éventuellement de localiser deux capteurs supplémentaires (des manettes) représentant les mains de l'utilisateur. Ces systèmes utilisent pour cela des techniques diverses de suivi spatial, avec notamment l'installation de caméras dans l'environnement qui permettent d'observer et de localiser les capteurs, par exemple des marqueurs infrarouges, portés par l'utilisateur.
Ces systèmes de capture plus légers permettent de localiser des points simples dans l'environnement, comme la tête ou les mains d'un utilisateur. En revanche, ils ne permettent pas de reconstruire, directement ou facilement, la posture de l'utilisateur, notamment la configuration de ses bras. De plus, ils ne disposent pas d'informations sur le bas du corps, à moins de rajouter des capteurs supplémentaires, sur les pieds par exemple. L'utilisation de tels capteurs sur les pieds reste actuellement un défi car ils sont potentiellement plus difficiles à repérer dans l'environnement, leur faible altitude les rendant en effet plus sensibles aux problèmes d'occlusion.
Pour obtenir des informations sur les parties basses d'un utilisateur, il a été proposé de recourir à des capteurs de pression en plaçant une semelle à points de pression dans la chaussure de l'utilisateur. Ces capteurs permettent d'obtenir une carte de pression des pieds de l'utilisateur, et ainsi de déterminer la nature des contacts entre les pieds et le sol. On pourra à cet égard se référer à l'article « Leveraging Depth Caméras and Wearable Pressure Sensors for Full-body Kinematics and Dynamics Capture » de Peizhao Zhang, Kristin Siu, Jianjie Zhang C. Karen Liu, et Jinxiang Chai, in ACM Transactions on Graphics, Proceedings of ACM SIGGRAPH Asia 2014, Volume 33 Issue 6, Novembre 2014, Article n°221. D'autres solutions, comme par exemple celle présentée dans le brevet US 6,916,273 B2, utilisent des tapis à dérouler sur le sol qui embarquent des capteurs de pression. Ces tapis permettent d'obtenir une information grossière (de l'ordre de 5 cm) de la localisation d'une personne dans l'espace.
Néanmoins, ces solutions à base de capteurs de pression ne permettent pas de localiser précisément les pieds dans l'environnement, à moins d'implémenter des algorithmes complexes de locomotion à même notamment de permettre la reconnaissance de différents motifs tels que la position couchée, la position accroupie, la position debout, la marche, la course, etc.
EXPOSÉ DE L'INVENTION
L'invention a pour objectif de proposer une technique de localisation et de reconstruction en temps réel de la posture complète d'un objet mouvant qui soit peu sensible aux problèmes d'occlusion et qui permette une localisation précise des parties basses.
A cet effet, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments. Ce système comprend un premier et un deuxième ensemble de capteurs fixés, en utilisation, sur l'objet. Les capteurs du premier ensemble de capteurs sont par exemple installés au-dessus du bassin d'une personne faisant office d'objet mouvant, et les capteurs du second ensemble de capteurs sont par exemple installés au-dessous du bassin.
Le système comprend par ailleurs un module de suivi spatial pour déterminer la localisation absolue, dans un repère de référence, des capteurs du premier ensemble, et un tapis de détection pour détecter la localisation, dans un repère lié au tapis, des capteurs du deuxième ensemble fixés sur l'objet.
Le système peut en outre comprendre une unité de traitement informatique qui réalise un changement de repère pour déterminer la localisation absolue, dans le repère de référence, des capteurs du deuxième ensemble. Cette unité de traitement informatique est en outre configurée pour déterminer, à partir de la localisation absolue des capteurs du premier et du deuxième ensemble, une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet.
BRÈVE DESCRIPTION DES DESSINS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la figure 1 représente un exemple de structure massique poly-articulée utilisée comme modèle physique (au sens des lois de la physique) d'un corps humain ;
- la figure 2 est un schéma d'un système conforme à l'invention pour la capture du mouvement d'un objet sur lequel des capteurs sont fixés ;
- la figure 3 illustre les capteurs du premier et du deuxième ensemble et les référentiels associés ;
- la figure 4 est un schéma représentant les étapes d'un procédé conforme à l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'invention concerne la commande d'une structure massique articulée à partir de données représentatives du mouvement d'un objet. Des capteurs de mouvement sont fixés sur l'objet et l'on souhaite asservir la structure massique articulée pour qu'elle reproduise les mouvements de l'objet.
L'objet est typiquement un corps humain ou le corps d'un animal, voire une seule partie d'un tel corps. L'invention n'est toutefois pas limitée à ces exemples, et s'étend ainsi au suivi du mouvement de tout objet mouvant pouvant être représenté par une structure articulée.
La structure massique articulée est composée de segments reliés par au moins une articulation. Elle est utilisée comme modèle physique de l'objet dont on suit le mouvement. Il s'agit typiquement d'une structure poly-articulée.
La structure massique articulée peut être un modèle numérique de l'objet. L'objectif peut alors être la représentation des mouvements de l'objet dans une simulation numérique, au moyen de l'animation de la structure massique articulée dans la simulation numérique selon une commande déterminée par l'invention.
La figure 1 donne un exemple de structure massique poly-articulée 10 pouvant être utilisée comme modèle physique du corps humain dans une mise en oeuvre de l'invention. La structure massique poly-articulée est composée de segments reliés par des articulations. Un segment désigne un objet rigide ou supposé rigide qui est défini par une géométrie (c'est-à-dire par une forme volumique bien définie), une masse et une inertie. Une articulation désigne une liaison entre deux segments. Cette liaison définit la configuration relative que peut avoir un segment par rapport à un segment auquel il est lié. Une articulation est définie par un ou plusieurs degrés de libertés représentatifs notamment des caractéristiques de centres, d'axes ou de butées.
Dans l'exemple de la figure 1, la structure poly-articulée 10 est composée de vingt-et-un segments reliés par vingt articulations. Ainsi, à titre d'exemple, la main est modélisée par un premier segment 13 relié par une articulation 16 à un deuxième segment 12 correspondant à l'avant-bras. L'articulation 16 possède par exemple trois degrés de liberté. Le segment 12 correspondant à l'avant-bras est relié par une articulation 15 à deux degrés de liberté au segment 11 correspondant au bras. Le segment 11 est quant à lui relié à la clavicule par une articulation 14 à trois degrés de libertés.
Outre la définition de la structure articulée (les géométries de chaque segment, les masses et les inerties de chaque segment et les paramètres des articulations : degrés de liberté, centre, axes, valeur des buttées), d'autres paramètres nécessaires à la mise en œuvre du procédé selon l'invention peuvent comprendre :
La définition de la gravité (direction et norme du champ de pesanteur), dont l'effet (le poids) est représenté par des efforts extérieurs appliqués sur le centre de masse des segments de la structure articulée.
La définition du sol. Cette définition de l'environnement comprend la géométrie du sol (reliefs, escaliers etc...), et un repère de référence attaché au sol. Elle permet notamment de détecter les collisions potentielles entre la structure articulée et l'environnement.
La définition du comportement en frottement de la structure articulée sur l'environnement. Par exemple, si ce comportement est modélisé par une loi de Coulomb, le coefficient d'adhérence est donné.
En référence maintenant à la figure 2, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée. Ce système
305435S s'appuie sur la fusion de deux types d'informations : des informations D, de mouvement d'une première partie du corps, par exemple le haut du corps, et des informations Dj de mouvement d'une deuxième partie du corps, par exemple le bas du corps de la personne.
Les informations D, de mouvement de la première partie du corps sont représentatives du déplacement d'un premier ensemble de capteurs de mouvement C, fixés sur la personne, typiquement au niveau du haut du corps de la personne (i.e. audessus du bassin). Dans l'exemple représenté sur la figure 2, les capteurs de mouvement C, du premier ensemble sont au nombre de trois, avec un capteur de mouvement Cl placé sur la tête de la personne, et un capteur de mouvement C2, C3 placé sur chaque main de la personne. Ce nombre de trois capteurs est donné à titre d'exemple uniquement, l'invention s'étendant à un nombre quelconque de capteurs de mouvement dans ledit premier ensemble.
Un module de suivi spatial capture les informations D, de mouvement de la première partie du corps et fournit un ensemble de données de localisation, en orientation et en position, des capteurs C, du premier ensemble de capteurs dans un référentiel fixe, dit repère de référence $Ha, prédéfini lors d'une phase de calibration du module de suivi spatial et par exemple attaché au sol.
Le module de suivi spatial peut comprendre un ensemble de récepteurs ou de caméras installés préalablement dans l'environnement. Il peut notamment comprendre des lasers à balayage, permettant de repérer des capteurs de mouvement de type marqueurs infra-rouges (actifs ou passifs) associés à un casque (par exemple de réalité virtuelle) pour repérer la position de la tête et à des manettes pour repérer la position des mains.
Les informations Dj de mouvement de la deuxième partie du corps sont représentatives du déplacement d'un deuxième ensemble de capteurs de mouvement Cj fixés sur la personne, typiquement au niveau du bas du corps de la personne (i.e. endessous du bassin). Un tapis de détection est, en utilisation, étalé au sol. Ce tapis capture les informations Dj de mouvement de la deuxième partie du corps, et fournit un ensemble de données de localisation, en orientation et position, des capteurs de mouvement Cj formant le deuxième ensemble de capteurs. Ces données de localisation sont repérées par rapport à un référentiel fixé sur le tapis, dit repère du tapis 5Ht.
Dans l'exemple représenté sur la figure 2, les capteurs de mouvement C, du second ensemble sont au nombre de deux, avec un capteur de mouvement C4, C5 placé sur chaque pied de la personne. Ce nombre de deux capteurs est donné à titre d'exemple uniquement, l'invention s'étendant à un nombre quelconque de capteurs de mouvements dans ledit deuxième ensemble.
Le tapis de détection prend la forme d'une surface sensible permettant de repérer un capteur du second ensemble, non seulement dans le plan du tapis, mais également en altitude, i.e. selon les trois axes du repère du tapis 5Ht. A titre d'exemple illustratif, la surface sensible présente des dimensions de lm*3m et permet de repérer un capteur sur le tapis jusqu'à une altitude de 15cm avec une latence de 10ms.
Le tapis de détection et les capteurs Q du second ensemble peuvent notamment réaliser une détection électro-magnétique exploitant des solénoïdes rayonnants longue portée, selon les principes décrits par exemple dans le document WO 2013/182778 Al.
Chaque capteur Q du second ensemble peut comporter deux solénoïdes d'émission (pour obtenir non seulement une information de position mais également une information de rotation dans le plan du tapis) et une batterie. La surface sensible du tapis de détection peut comprendre un ensemble de solénoïdes de réception sous la forme de boucles permettant de former une grille de détection. Le tapis de détection comprend par ailleurs une carte de contrôle configurée pour récolter les informations détectées par la grille de détection de la surface sensible et fournir les données de localisation.
Les données de mouvement du corps issues du module spatial d'une part, et du tapis de détection d'autre part, sont capturées par une unité de traitement informatique 20 configurée, au moyen de différents modules décrits ci-après, pour mettre en oeuvre des étapes à chaque pas de temps de calcul de la configuration à donner à la structure poly-articulée pour reproduire les mouvements de l'objet.
L'unité de traitement 20 est notamment dotée d'un module 21 de détermination d'une commande à appliquer à la structure articulée pour qu'elle reproduise le mouvement de l'objet. Cette commande vient plus précisément localiser la structure articulée dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet. Le module 21 de détermination de la commande à appliquer à la structure articulée exploite pour ce faire la localisation absolue de chacun des capteurs fixés sur l'objet dans le repère de référence, à savoir à la fois les capteurs C1-C3 du premier ensemble et les capteurs C4, C5 du deuxième ensemble.
On adopte les notations suivantes :
- {Rf,Ps} désigne l'ensemble des orientations et positions des segments s de la structure articulée, exprimées dans le repère de référence $Ha. Cet ensemble constitue les sorties du module 21 de détermination de la commande à appliquer à la structure articulée, à savoir la localisation et la posture complète de la structure articulée dans le repère de référence $Ha.
- {/?“, p“} désigne l'ensemble des orientations et positions des capteurs C, du premier ensemble à des instants tps, exprimées dans le repère de référence $Ha. Ces orientations et positions sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
- {Rfpf} désigne l'ensemble des orientations et positions des capteurs Ç du second ensemble à des instants tps, exprimées dans le repère de référence $Ha. Ces orientations et positions sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
Le module 21 de détermination de la commande à appliquer à la structure articulée prend en compte les localisations dans le repère de référence des capteurs C,, Cj du premier et du second ensemble. Il est en outre capable, dans le cadre d'une simulation physique d'une structure articulée, de prendre en compte l'effet de la gravité, de détecter les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement et de résoudre les contacts en générant des efforts s'opposant aux pénétrations entre les segments de la structure articulée et l'environnement.
A cet égard, les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement sont détectées à chaque pas de temps pour une configuration de la structure donnée. Cette détection peut être basée sur la détection de pénétration des géométries comme sur la détection de proximité selon un seuil donné. Les informations de collisions obtenues sont le point et la normale de chaque contact. Les informations de collision sont utilisées pour générer des efforts conduisant à empêcher les pénétrations entre les géométries des segments et celle de l'environnement. Une modélisation du frottement (par exemple par une loi de Coulomb) permet, de plus, de simuler l'adhérence du segment sur l'environnement et contraindre le glissement. Les efforts résultants sont appelés efforts de contact.
La géométrie de l'environnement peut être obtenue soit par une connaissance a priori de l'environnement (par exemple on fait l'hypothèse que le sol est plan), soit grâce à une cartographie de l'environnement préalablement modélisé.
Le module 21 de détermination de la commande à appliquer à la structure articulée peut ainsi exploiter un moteur de simulation physique temps-réel, tel que le moteur XDE (pour « eXtended Dynamic Engine ») de la Demanderesse, qui permet de réaliser des simulations dans un environnement virtuel en venant affecter des contraintes physiques à une structure articulée, détecter les collisions et gérer les contacts.
La commande déterminée par le module 21 peut être utilisée afin de réaliser une analyse du mouvement. En effet, à partir de la connaissance du type de mouvement, des informations spécifiques peuvent être extraites pour des besoins applicatifs particuliers. Cette commande peut également être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran 30, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le mouvement peut être modifié ou amplifié pour obtenir des effets désirés.
On a vu précédemment que le module de suivi spatial 22 est configuré pour déterminer, en temps réel, une localisation absolue des capteurs du premier ensemble dans le repère de référence à partir des informations de mouvement D, de la première partie du corps. Ce module fournit ainsi l'ensemble aux instants tf.
Le tapis de détection 23 est quant à lui configuré pour déterminer, en temps réel, une localisation de chacun des capteurs du second ensemble dans le repère du tapis $Ht, à partir des informations de mouvement Dj de la deuxième partie du corps. Ce module fournit plus précisément l'ensemble {Rj,pj} qui désigne les orientations et positions des capteurs du second ensemble aux instants tf, exprimées dans le repère du tapis $Ht.
On a représenté sur la figure 3 le calcul de l'orientation et la position :
- des capteurs Cl, C2, C3 du premier ensemble par rapport au repère de référence $Ha, avec R? et l'orientation et la position dans le repère de référence d'un capteur C, du premier ensemble, avec i=l, 2, 3 dans l'exemple des figures 2 et 3, et
- des capteurs C4, C5 du second ensemble par rapport au repère du tapis $Ht, avec Rj et pj l'orientation et la position dans le repère du tapis d'un capteur Cj du second ensemble, avec j=4, 5 dans l'exemple des figures 2 et 3.
Afin de permettre la fourniture, au module 21 de détermination de la commande à appliquer à la structure articulée, des localisations dans le repère de référence des capteurs des premier et second ensembles fixés sur l'objet, l'unité de traitement 20 comprend comporte en outre un module 24 de détermination de localisation absolue de chacun des capteurs du second ensemble dans le repère de référence.
Ce module 24 exploite la localisation de chacun des capteurs du second ensemble {Rppf} dans le repère du tapis, ainsi que la connaissance de la position/orientation du référentiel du tapis dans le référentiel de référence lié à l'environnement, pour effectuer un changement de repère et replacer chacune des positions et orientations des capteurs du second ensemble calculées dans le repère du tapis à chaque instant tps dans le repère de référence $Ha. Ce module 24 fournit ainsi les localisations absolues {/?“, tf}.
Dans le cas où les deux entrées du module 24 (les localisations des deux ensembles de capteurs issues respectivement du module de suivi spatial 22 et du tapis de détection 23) n'arrivent pas de manière synchronisées (tf Ψ tf), une étape supplémentaire de synchronisation est effectuée par le module 24 pour obtenir des données synchronisées en sortie. Par exemple, si les sorties du module 22 (capteurs du premier ensemble) arrivent à une fréquence Fj et si les sorties du module 23 (capteurs du second ensemble) arrivent à une fréquence Fj < Fit le module 24 peut utiliser la fréquence Fj comme fréquence de sortie et interpoler les localisations manquantes des capteurs du second ensemble.
L'invention n'est pas limitée au système tel que précédemment décrit, mais s'étend également au procédé de reproduction du mouvement d'un objet par une structure articulée mis en œuvre par un tel système. L'invention porte également sur un produit programme d'ordinateur comportant des instructions de code de programme pour l'exécution du procédé selon l'invention lorsque ledit programme est exécuté sur un ordinateur.
En référence à la figure 4, ce procédé comprend une étape préalable « INST » de placement des capteurs du premier et du deuxième ensemble sur l'objet.
Le procédé comprend l'acquisition « ACQ» de mesures par le module de suivi spatial 22 et par le tapis de détection 23.
Le module de suivi spatial 22 vient au cours d'une étape « LOC-E » déterminer la localisation absolue des capteurs du premier ensemble dans le repère de référence lié à l'environnement.
Le tapis de détection vient au cours d'une étape « LOC-R » déterminer les localisations de chacun des capteurs du second ensemble dans le repère du tapis.
Puis lors d'une étape « LOC-A », le module 24 détermine la localisation absolue de chacun des capteurs du second ensemble dans le repère de référence. Le cas échéant, une resynchronisation des sorties entre elles est réalisée lors de cette étape « LOC-A ».
Une fois les localisations absolues déterminées, le module 21 vient, lors d'une étape « DET-CDE », déterminer la commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet.
Cette commande peut être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le procédé comprend alors une étape « DISP » d'animation, selon la commande déterminée, de la structure articulée dans une simulation numérique 3D.
L'invention permet de reconstruire de manière complète la posture d'une personne. Notamment, le bas du corps (les pieds) est capturé avec une localisation précise, par exemple de l'ordre du millimètre. Le tapis de détection n'est pas sensible aux problèmes d'occlusion, et les pieds peuvent être suivis sur une surface extensible, selon les dimensions du tapis.
Claims (9)
- REVENDICATIONS1. Système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments, comprenant :un premier ensemble de capteurs (Cl, C2, C3) fixés, en utilisation, sur l'objet, un module de suivi spatial (22) configuré pour déterminer la localisation absolue ({/?“, p“}), dans un repère de référence ($Ha), de chacun des capteurs du premier ensemble fixés sur l'objet, caractérisé en ce que le système comporte en outre :un deuxième ensemble de capteurs (C4, C5) fixés, en utilisation, sur l'objet, un tapis de détection (23) apte à détecter la localisation ({RpPj}}, dans un repère lié au tapis ($Ht), de chacun des capteurs du deuxième ensemble fixés sur l'objet.
- 2. Système selon la revendication 1, dans lequel comprenant en outre une unité de traitement qui comporte :un module (24) de détermination de localisation absolue ({Rppf}}, dans le repère de référence, de chacun des capteurs du deuxième ensemble fixés sur l'objet, et un module (21) de détermination d'une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence ($Ha) en lui faisant adopter une posture reproduisant celle de l'objet, ledit module fournissant en sortie la localisation absolue ({Rf, pf}) de chacun des segments de la structure dans le repère de référence, ledit module exploitant la localisation absolue ({Rf,p?},{/?“,pf}} dans le repère de référence, de chacun des capteurs du premier et du deuxième ensembles fixés sur l'objet.
- 3. Système selon l'une des revendications 1 et 2, dans lequel chaque capteur du second ensemble comprend un émetteur de champ électromagnétique et dans lequel le tapis de détection comprend une matrice de détecteurs électromagnétiques.
- 4. Système selon l'une des revendications 1 à 3, dans lequel chaque capteur du premier ensemble comprend un marqueur infrarouge et dans lequel le module de suivi spatial comprend un laser à balayage.
- 5. Procédé de reproduction du mouvement d'un objet par une structure articulée, comprenant une étape (LOC-E) de suivi spatial de capteurs d'un premier ensemble de capteurs fixés sur l'objet pour déterminer la localisation absolue ({/?“, p“}) des capteurs du premier ensemble (C1-C3) dans un repère de référence lié à l'environnement dans lequel se meut l'objet, et caractérisé en ce qu'il comporte une étape de détermination (LOC-T), par un tapis de détection sur lequel se meut l'objet, de la localisation ({RpPj}) dans un repère lié au tapis de capteurs (C4, C5) d'un second ensemble de capteurs fixés sur l'objet.
- 6. Procédé selon la revendication 5, comprenant en outre les étapes:de détermination de la localisation absolue (LOC-A, {Rppf}) de chacun des capteurs du second ensemble dans le repère de référence, et de détermination (DET-CDE), à partir de la localisation absolue ({/?“, p“},{/?“,p“}), dans le repère de référence, des capteurs du premier et du second ensemble, d'une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet.
- 7. Procédé selon la revendication 6, dans lequel la structure articulée est un modèle numérique de l'objet et comprenant en outre une étape de représentation (DISP) des mouvements de l'objet dans une simulation numérique au moyen de l'animation de la structure articulée dans la simulation numérique selon la commande déterminée.
- 8. Procédé selon l'une des revendications 5 à 7, dans lequel l'objet est le corps d'une personne, comprenant une étape de placement (INST) des capteurs du premier ensemble sur le haut du corps de la personne et de placement des capteurs du second ensemble sur le bas du corps de la personne.
- 9. Produit programme d'ordinateur comportant des instructions de code de 5 programme pour l'exécution du procédé selon l'une des revendications 5 et 6 lorsque ledit programme est exécuté sur un ordinateur.09251/42/43/4
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1657120A FR3054358B1 (fr) | 2016-07-25 | 2016-07-25 | Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1657120A FR3054358B1 (fr) | 2016-07-25 | 2016-07-25 | Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3054358A1 true FR3054358A1 (fr) | 2018-01-26 |
| FR3054358B1 FR3054358B1 (fr) | 2018-08-31 |
Family
ID=57045161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1657120A Active FR3054358B1 (fr) | 2016-07-25 | 2016-07-25 | Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3054358B1 (fr) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| US20040155962A1 (en) * | 2003-02-11 | 2004-08-12 | Marks Richard L. | Method and apparatus for real time motion capture |
| EP2392988A2 (fr) * | 2010-06-02 | 2011-12-07 | Sony Computer Entertainment Inc. | Entrée capacitive pour dispositif de divertissement sur ordinateur |
| US20120086659A1 (en) * | 2010-10-12 | 2012-04-12 | New York University & Tactonic Technologies, LLC | Method and apparatus for sensing utilizing tiles |
-
2016
- 2016-07-25 FR FR1657120A patent/FR3054358B1/fr active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| US20040155962A1 (en) * | 2003-02-11 | 2004-08-12 | Marks Richard L. | Method and apparatus for real time motion capture |
| EP2392988A2 (fr) * | 2010-06-02 | 2011-12-07 | Sony Computer Entertainment Inc. | Entrée capacitive pour dispositif de divertissement sur ordinateur |
| US20120086659A1 (en) * | 2010-10-12 | 2012-04-12 | New York University & Tactonic Technologies, LLC | Method and apparatus for sensing utilizing tiles |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3054358B1 (fr) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7486565B2 (ja) | クラウド支援型の新しい視点を利用したローカルマップデータの生成 | |
| US9761054B2 (en) | Augmented reality computing with inertial sensors | |
| US10488195B2 (en) | Curated photogrammetry | |
| Melax et al. | Dynamics based 3D skeletal hand tracking | |
| US10223808B2 (en) | Method and an apparatus for determining a gaze point on a three-dimensional object | |
| JP2023514206A (ja) | 大規模環境のためのクロスリアリティシステム | |
| JP2023524446A (ja) | 大規模環境のためのクロスリアリティシステム | |
| JP2022551733A (ja) | 位置特定サービスを伴うクロスリアリティシステム | |
| JP2023514205A (ja) | 正確な共有マップを伴うクロスリアリティシステム | |
| JP2022551734A (ja) | 複数のデバイスタイプをサポートするクロスリアリティシステム | |
| JP2018124984A5 (fr) | ||
| CN115461787A (zh) | 具有快速定位的交叉现实系统 | |
| JP2023514208A (ja) | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム | |
| CN108369742A (zh) | 使用传感器融合的经优化对象扫描 | |
| US8780119B2 (en) | Reconstruction render farm used in motion capture | |
| CN109298629A (zh) | 用于为自主和非自主位置意识提供鲁棒跟踪的容错 | |
| CN104049749A (zh) | 产生来自视频内容分析的触觉反馈的方法和设备 | |
| CN108369653A (zh) | 使用眼睛特征的眼睛姿态识别 | |
| CN103718213A (zh) | 自动场景校准 | |
| CN105917292A (zh) | 利用多个光源和传感器的眼睛注视检测 | |
| CN109255749A (zh) | 自主和非自主平台中的地图构建优化 | |
| CN105760809A (zh) | 用于头部姿态估计的方法和设备 | |
| US20210134039A1 (en) | Using a handheld device to recreate a human pose or align an object in an augmented reality or virtual reality environment | |
| CA2949683C (fr) | Procede de determination d'au moins un parametre comportemental | |
| FR3054358A1 (fr) | Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180126 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |