FR3054061A1 - Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques - Google Patents
Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques Download PDFInfo
- Publication number
- FR3054061A1 FR3054061A1 FR1656738A FR1656738A FR3054061A1 FR 3054061 A1 FR3054061 A1 FR 3054061A1 FR 1656738 A FR1656738 A FR 1656738A FR 1656738 A FR1656738 A FR 1656738A FR 3054061 A1 FR3054061 A1 FR 3054061A1
- Authority
- FR
- France
- Prior art keywords
- optical sensor
- sensors
- relative
- module
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
L'invention porte sur un système de reproduction du mouvement d'un objet par une structure articulée, qui comprend un capteur optique (C0) et des capteurs de mouvement relatifs (C1-C4) fixés sur l'objet, et une unité de traitement (20) de mesures réalisées par les capteurs (C0, C1-C4). L'unité comprend un module (21) fournissant la localisation absolue de chacun des segments de la structure dans un repère de référence, ledit module exploitant la localisation absolue ({Ra0, pa0 },{Rai, pai}) de chacun des capteurs. L'unité comporte en outre : - un module de traitement d'images (22) pour déterminer une localisation absolue ({Ra0, pa0}) du capteur optique (C0) dans le repère de référence à partir d'une séquence d'images (D0) acquises par le capteur optique, - un module (24) de détermination de localisation relative ({R0i, p0i}) de chacun des capteurs de mouvement relatifs (C1-C4) par rapport au capteur optique, à partir de mesures réalisées par les capteurs, - un module (23) de détermination de localisation absolue ({Rai, pai}) de chacun des capteurs de mouvement relatifs (C1-C4), à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
Description
Titulaire(s) : COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES Etablissement public.
Demande(s) d’extension
Mandataire(s) : BREVALEX Société à responsabilité limitée.
PROCEDE ET SYSTEME POUR LA LOCALISATION ET LA RECONSTRUCTION EN TEMPS REEL DE LA POSTURE D'UN OBJET MOUVANT A L'AIDE DE CAPTEURS EMBARQUES.
FR 3 054 061 - A1 /f} L'invention porte sur un système de reproduction du mouvement d'un objet par une structure articulée, qui comprend un capteur optique (CO) et des capteurs de mouvement relatifs (C1-C4) fixés sur l'objet, et une unité de traitement (20) de mesures réalisées par les capteurs (C0, C1-C4).
L'unité comprend un module (21) fournissant la localisation absolue de chacun des segments de la structure dans un repère de référence, ledit module exploitant la localisation absolue ({Ra0, Pao },{Rai, paj}) de chacun des capteurs.
L'unité comporte en outre:
- un module de traitement d'images (22) pour déterminer une localisation absolue ({Ra0, paç}) du capteur optique (C0) dans le repère de référence a partir d'une séquence d'images (D0) acquises par le capteur optique,
- un module (24) de détermination de localisation relative ({R0,, p j}) de chacun des capteurs de mouvement relatifs (C1-C4) par rapport au capteur optique, à partir de mesures réalisées par les capteurs,
- un module (23) de détermination de localisation absolue ({Ra, pa}) de chacun des capteurs de mouvement relatifs (C1-C4), à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs
de mouvement relatifs.
PROCÉDÉ ET SYSTÈME POUR LA LOCALISATION ET LA RECONSTRUCTION EN TEMPS RÉEL DE LA POSTURE D'UN OBJET MOUVANT À L'AIDE DE CAPTEURS EMBARQUÉS
DESCRIPTION
DOMAINE TECHNIQUE
Le domaine de l'invention est celui de la capture du mouvement d'un objet, et du transfert temps-réel de ce mouvement à une structure massique (poly-) articulée modélisant l'objet.
L'invention trouve application à la capture du mouvement d'un corps humain via des capteurs disposés sur une personne, et à la représentation de ce mouvement via l'animation d'un avatar dans une simulation numérique.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
On cherche dans un certain nombre d'applications à représenter les mouvements d'une personne dans une simulation numérique. Dans la majorité des cas, la personne porte un ensemble de capteurs dont les données sont utilisées pour animer son avatar numérique dans la simulation.
Les besoins principaux d'une capture du mouvement sont, d'une part, de localiser la personne dans l'environnement, et, d'autre part, d'estimer la posture complète de la personne.
Pour répondre conjointement à ces deux besoins, il est aujourd'hui nécessaire d'instrumenter l'environnement. Des caméras sont par exemple placées dans l'environnement et observent la personne (ou des capteurs portés par celle-ci) pour détecter ses mouvements.
L'instrumentation de l'environnement impose cependant plusieurs contraintes : elle est coûteuse en temps, elle limite la zone de capture, et elle est incompatible avec des environnements extérieurs ou a priori inconnus. C'est pourquoi l'utilisation de capteurs complètement embarqués sur la personne est un besoin récurrent.
Mais peu de solutions existent aujourd'hui pour répondre conjointement aux deux besoins précités au moyen de capteurs embarqués uniquement, sans instrumentation de l'environnement. On peut toutefois citer l'article de T. Shiratori et al. intitulé « Motion capture from body-mounted caméras », ACM Trans. Graph. 30, 4, Article 31 (July 2011) qui décrit une solution reposant sur plusieurs caméras placées sur le torse et les membres de la personne. Pour chaque caméra, un algorithme de Structure à partir du Mouvement (SfM pour « Structure from Motion ») est appliqué pour calculer les positions successives des caméras. Puis, une optimisation globale permet de retrouver la localisation et la posture de la personne au cours du temps. Cette optimisation globale consiste à résoudre un ajustement de faisceaux avec des contraintes additionnelles liées au mouvement du squelette, par exemple la fluidité des mouvements.
Cette solution présente cependant un certain nombre d'inconvénients : Elle est coûteuse en temps de calcul (plus de 10 heures de calcul d'après l'article). Elle est sensible à la qualité des images (ex : images floues liées au bougé, occultation du capteur par une partie du corps, etc.).
Elle est sensible à la dérive du facteur d'échelle, et des images de référence sont nécessaires pour résoudre ce problème
Le flux de données à transférer est très volumineux.
EXPOSÉ DE L'INVENTION
L'invention a pour objectif de proposer une technique de localisation et de reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués uniquement qui soit dénuée, au moins en partie, des inconvénients susmentionnés.
A cet effet, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments, qui comporte :
des capteurs fixés, en utilisation, sur l'objet, une unité de traitement de mesures réalisées par les capteurs fixés sur l'objet, comprenant un module de détermination d'une commande à appliquer à la structure articulée de sorte à la localiser dans un repère de référence en lui faisant adopter une posture reproduisant celle de l'objet, ledit module fournissant en sortie la localisation absolue de chacun des segments de la structure dans le repère de référence, ledit module exploitant la localisation absolue de chacun des capteurs fixés sur l'objet dans le repère de référence.
Les capteurs fixés, en utilisation, sur l'objet comprennent un capteur optique et des capteurs de mouvement relatifs et l'unité de traitement comporte en outre : un module de traitement d'images configuré pour déterminer une localisation absolue du capteur optique dans le repère de référence à partir d'une séquence d'images acquises par le capteur optique, un module de détermination de localisation relative de chacun des capteurs de mouvement relatifs par rapport au capteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet, un module de détermination de localisation absolue de chacun des capteurs de mouvement relatifs dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
BRÈVE DESCRIPTION DES DESSINS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la figure 1 représente un exemple de structure massique poly-articulée utilisée comme modèle physique (au sens des lois de la physique) d'un corps humain ;
- la figure 2 est un schéma d'un système conforme à l'invention pour le suivi de mouvement d'un objet sur lequel des capteurs sont fixés ;
- la figure 3 illustre le calcul de la localisation du capteur optique par rapport au repère de référence ;
- la figure 4 représente l'acquisition des données de mouvement des membres dans un repère courant associé au capteur optique ;
- la figure 5 est un schéma représentant les étapes d'un procédé conforme à l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'invention concerne la commande d'une structure massique articulée à partir de données représentatives du mouvement d'un objet. Des capteurs de mouvement sont fixés sur l'objet et l'on souhaite asservir la structure massique articulée pour qu'elle reproduise les mouvements de l'objet.
L'objet est typiquement un corps humain ou le corps d'un animal, voire une seule partie d'un tel corps. L'invention n'est toutefois pas limitée à ces exemples, et s'étend ainsi au suivi du mouvement de tout objet mouvant pouvant être représenté par une structure articulée.
La structure massique articulée est composée de segments reliés par au moins une articulation. Elle est utilisée comme modèle physique de l'objet dont on suit le mouvement. Il s'agit typiquement d'une structure poly-articulée.
La structure massique articulée peut être un modèle numérique de l'objet. L'objectif peut alors être la représentation des mouvements de l'objet dans une simulation numérique, au moyen de l'animation de la structure massique articulée dans la simulation numérique selon une commande déterminée par l'invention.
La figure 1 donne un exemple de structure massique poly-articulée 10 pouvant être utilisée comme modèle physique du corps humain dans une mise en oeuvre de l'invention. La structure massique poly-articulée est composée de segments reliés par des articulations. Un segment désigne un objet rigide ou supposé rigide qui est défini par une géométrie (c'est-à-dire par une forme volumique bien définie), une masse et une inertie. Une articulation désigne une liaison entre deux segments. Cette liaison définit la configuration relative que peut avoir un segment par rapport à un segment auquel il est lié. Une articulation est définie par un ou plusieurs degrés de libertés représentatifs notamment des caractéristiques de centres, d'axes ou de butées.
Dans l'exemple de la figure 1, la structure poly-articulée 10 est composée de vingt-et-un segments reliés par vingt articulations. Ainsi, à titre d'exemple, la main est modélisée par un premier segment 13 relié par une articulation 16 à un deuxième segment 12 correspondant à l'avant-bras. L'articulation 16 possède par exemple trois degrés de liberté. Le segment 12 correspondant à l'avant-bras est relié par une articulation 15 à deux degrés de liberté au segment 11 correspondant au bras. Le segment 11 est quant à lui relié à la clavicule par une articulation 14 à trois degrés de libertés.
Outre la définition de la structure articulée (les géométries de chaque segment, les masses et les inerties de chaque segment et les paramètres des articulations : degrés de liberté, centre, axes, valeur des buttées), d'autres paramètres nécessaires à la mise en œuvre du procédé selon l'invention peuvent comprendre :
La définition de la gravité (direction et norme du champ de pesanteur), dont l'effet (le poids) est représenté par des efforts extérieurs appliqués sur le centre de masse des segments de la structure articulée.
La définition du sol. Cette définition de l'environnement comprend la géométrie du sol (reliefs, escaliers etc...), et un repère de référence attaché au sol. Elle permet notamment de détecter les collisions potentielles entre la structure articulée et l'environnement.
La définition du comportement en frottement de la structure articulée sur l'environnement. Par exemple, si ce comportement est modélisé par une loi de Coulomb, le coefficient d'adhérence est donné.
En référence maintenant à la figure 2, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée. Ce système exploite les données issues d'un ensemble de capteurs C0, C1-C4 fixés sur l'objet, et ne nécessite pas d'instrumentation de l'environnement.
Les capteurs fixés sur l'objet comprennent un élément central disposant d'un capteur optique, et des capteurs de mouvement relatifs. Le capteur optique et le module 22 décrit ci-après permettent de calculer la position/orientation de l'objet dans un repère de référence lié à l'environnement. Les mouvements de l'objet, typiquement les mouvements des membres d'une personne, sont obtenus au moyen des capteurs de mouvement relatifs et du module 24 décrit ci-après grâce auxquels on peut disposer d'une localisation, en position et en orientation, dans un repère relatif à l'élément central.
Dans l'exemple représenté sur la figure 2, les capteurs de mouvement relatifs sont au nombre de quatre, avec un capteur de mouvement relatif Cl, C2 sur chaque main de la personne et un capteur de mouvement relatif C3, C4 sur chaque pied de la personne. Le capteur optique CO est quant à lui placé sur la tête de la personne. Ce nombre de quatre capteurs de mouvement relatifs est donné à titre d'exemple uniquement, l'invention s'étendant à un nombre quelconque de capteurs de mouvements relatifs.
Le capteur optique CO fournit une séquence d'images DO, tandis que les capteurs de mouvement relatif fournissent des informations de mouvement Di dans un repère relatif au capteur optique, i.e. un repère courant correspondant à la position courante du capteur optique dans l'environnement.
Ces données DO, Di sont fournies à une unité de traitement informatique
20. Cette unité 20 reçoit les mesures réalisées par les capteurs fixés sur l'objet, et est configurée, au moyen de différents modules décrits ci-après, pour mettre en oeuvre des étapes à chaque pas de temps de calcul de la configuration à donner à la structure polyarticulée pour reproduire les mouvements de l'objet.
L'unité de traitement 20 est notamment dotée d'un module 21 de détermination d'une commande à appliquerà la structure articulée pourqu'elle reproduise le mouvement de l'objet. Cette commande vient plus précisément localiser la structure articulée dans un repère de référence 5Ha, par exemple un repère attaché au sol, en lui faisant adopter une posture reproduisant celle de l'objet. Le module 21 de détermination de la commande à appliquer à la structure articulée exploite pour ce faire la localisation absolue de chacun des capteurs fixés sur l'objet dans le repère de référence.
On adopte les notations suivantes :
- {Rf, pf} désigne l'ensemble des orientations et positions des segments s de la structure articulée, exprimées dans le repère de référence 5Ha. Cet ensemble constitue les sorties du module 21 de détermination de la commande à appliquer à la structure articulée, à savoir la localisation et la posture complète de la structure articulée dans le repère de référence 5Ha.
- {/?“, p“} désigne l'ensemble des orientations et positions des capteurs relatifs Ci (i=l...n) à des instants t, exprimées dans le repère de référence 5Ha. Ces orientations et positions sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
- {/?o<Po} désigne l'ensemble des orientations et positions du repère courant 5H0 correspondant à la position courante, à des instants t de l'élément central dans l'environnement, exprimées dans le repère de référence 5Ha. Ces orientations et positions, représentatives de la localisation de l'objet, sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
Le module 21 de détermination de la commande à appliquer à la structure articulée prend en compte les localisations dans le repère de référence des capteurs CO, Cl-Cn. II est en outre capable, dans le cadre d'une simulation physique d'une structure articulée, de prendre en compte l'effet de la gravité, de détecter les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement et de résoudre les contacts en générant des efforts s'opposant aux pénétrations entre les segments de la structure articulée et l'environnement.
A cet égard, les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement sont détectées à chaque pas de temps pour une configuration de la structure donnée. Cette détection peut être basée sur la détection de pénétration des géométries comme sur la détection de proximité selon un seuil donné. Les informations de collisions obtenues sont le point et la normale de chaque contact. Les informations de collision sont utilisées pour générer des efforts conduisant à empêcher les pénétrations entre les géométries des segments et celle de l'environnement. Une modélisation du frottement (par exemple par une loi de Coulomb) permet, de plus, de simuler l'adhérence du segment sur l'environnement et contraindre le glissement. Les efforts résultants sont appelés efforts de contact.
La géométrie de l'environnement peut être obtenue soit par une connaissance a priori de l'environnement, par exemple on fait l'hypothèse que le sol est plan, ou soit grâce à la cartographie de l'environnement fournie par le SLAM.
Le module 21 de détermination de la commande à appliquer à la structure articulée peut ainsi exploiter un moteur de simulation physique temps-réel, tel que le moteur XDE (pour « eXtended Dynamic Engine ») de la Demanderesse, qui permet de réaliser des simulations dans un environnement virtuel en venant affecter des contraintes physiques à une structure articulée, détecter les collisions et gérer les contacts.
Dans un mode de réalisation possible, l'élément central et les capteurs de mouvement relatifs Cl-Cn comportent chacun des moyens de mesure des distances relatives entre ces derniers, par exemple un module Ultra Large Bande. Dans ce mode de réalisation, le module 21 de détermination de la commande à appliquer à la structure articulée peut mettre en œuvre un algorithme d'estimation (exploitant par exemple un filtre de Kalman). L'usage d'une méthode analytique, par exemple du type MDS (« Multi Dimentional Sealing »), permet de retrouver la posture initiale en fusionnant les mesures de distance fournies par l'élément central et les capteurs de mouvement relatifs Cl-Cn et la connaissance a priori d'une posture de référence servant de posture d'initialisation. Une fois initialisé, l'algorithme d'estimation fusionne les données de distance fournies par l'élément central et les capteurs de mouvement relatifs afin de déterminer la position des articulations en fonction du temps. Idéalement, l'usage de contraintes biomécaniques (connaissance a priori du modèle du corps humain, nombre de segments et leurs tailles qui peuvent être mesurées au cours de la phase d'initialisation) permet de rendre l'estimation de la position des articulations plus robuste.
La commande déterminée par le module 21 peut être utilisée afin de réaliser une analyse du mouvement. En effet, à partir de la connaissance du type de mouvement, des informations spécifiques peuvent être extraites pour des besoins applicatifs particuliers. Cette commande peut également être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran 30, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le mouvement peut être modifié ou amplifié pour obtenir des effets désirés.
Afin de permettre la fourniture, au module 21 de détermination de la commande à appliquerà la structure articulée, des localisations dans le repère de référence des capteurs fixés sur l'objet C0, Cl-Cn, l'unité de traitement 20 comprend un module de traitement d'images 22 et un module de détermination de localisation relative 24 des capteurs de mouvements relatifs.
Le module de traitement d'images 22 est configuré pour déterminer, en temps réel, une localisation absolue du capteur optique C0 dans le repère de référence 5Ha à partir d'une séquence d'images DO acquises par le capteur optique. Ce module fournit ainsi l'ensemble {Rfî,pfî} aux instants ίθ. Il peut notamment mettre en œuvre un algorithme de type SLAM visuel (pour « Simultaneous Localization And Mapping » désignant la cartographie et localisation simultanées) ou SfM. Un tel algorithme permet de reconstruire de manière itérative une carte de primitives 3D (généralement des points) et de localiser le capteur optique C0 dans cette carte à partir du flux vidéo D0. Le repère de référence est alors fixé soit sur la première position du capteur soit sur la carte reconstruite.
On a représenté sur la figure 3 le calcul de l'orientation et la position de l'élément central par rapport au repère de référence, avec /?θ et ρθ l'orientation et la position du repère courant 5H0 par rapport au repère de référence 5Ha à différents instants successifs ίθ, ίθ+1 et Îq+2.
Le module de détermination de localisation relative 24 des capteurs de mouvement relatifs est quant à lui configuré pour déterminer, en temps réel, la localisation relative de chacun des capteurs de mouvements relatifs Cl-Cn, à partir des mesures réalisées par les capteurs fixés sur l'objet. Ce module fournit ainsi l'ensemble {R®, p°} qui désigne les orientations et positions des capteurs relatifs i (i=l...n) aux instants tf, exprimées dans le repère courant 5H0.
On a représenté sur la figure 4 l'acquisition des données de mouvement des membres dans le repère courant 5H0 fixé sur l'élément central, avec Rf et p° l'orientation et la position de chaque capteur de mouvement relatif i par rapport au repère courant 5H0 à différents instants successifs tf, ΐ£+1 et tç+2.
Dans un mode de réalisation possible, l'élément central doté du capteur optique peut être associé à des moyens permettant de compléter les mesures issues des capteurs fixés sur l'objet. C'est le cas notamment lorsque que ces mesures sont insuffisantes pour fournir une information de position des capteurs de mouvement relatifs par rapport au capteur optique, par exemple parce qu'elles ne permettent que de déterminer une distance relative. C'est le cas par exemple lorsque les capteurs de mouvement relatifs comprennent chacun un émetteur UWB (« Ultra Wide Band ») pour permettre le calcul d'une distance relative par rapport à un récepteur. Dans un tel cas de figure, l'élément central est doté non pas d'un récepteur UWB mais de trois récepteurs UWB positionnés dans une configuration prédéterminée permettant chacun de récupérer la distance relative de chaque émetteur UWB. Le module de détermination de localisation relative 24 peut alors mettre en oeuvre une triangulation pour déterminer la position exacte de chaque capteur de mouvement par rapport au capteur optique.
L'unité de traitement comporte en outre un module de détermination de localisation absolue 23 de chacun des capteurs de mouvement relatifs dans le repère de référence. Ce module 23 exploite la localisation absolue du capteur optique {/?θ, ρθ} et la localisation relative de chacun des capteurs de mouvement relatifs {Æ°, p°} par rapport au capteur optique pour effectuer un changement de repère et replacer chacune des positions et orientations des capteurs de mouvement relatifs calculées dans le repère courant à chaque instant t dans le repère de référence. Ce module fournit ainsi les localisations absolues {Rf tf}. Dans le cas où les deux entrées du module 23 n'arrivent pas de manière synchronisées (tf Ψ tf), une étape supplémentaire de synchronisation est effectuée par le module 23 pour obtenir des données synchronisées en sortie. Par exemple, si les sorties du module 24 (capteurs relatifs) arrivent à une fréquence Fc et si les sorties du module 22 (capteur optique) arrivent à une fréquence Fo < Fc, le module 23 peut utiliser la fréquence Fc comme fréquence de sortie et interpoler les localisations manquantes du capteur optique.
Un exemple de réalisation de l'invention exploite des capteurs de mouvement relatifs qui sont chacun composés d'une centrale inertielle qui fournit des informations sur l'orientation du capteur, et d'un émetteur UWB (Ultra-Large Bande) qui permet de calculer une distance relative par rapport à des récepteurs. La personne est équipée d'au moins 4 capteurs relatifs fixés rigidement sur son corps, avec notamment un capteur sur chaque main et un capteur sur chaque pied.
L'élément central comporte une caméra, par exemple une caméra 360°, ainsi que trois récepteurs UWB positionnés dans une configuration prédéterminée, permettant chacun de récupérer la distance relative de chaque émetteur UWB.
Dans un mode de réalisation privilégié, le capteur optique comprend au moins deux caméras rigidement liées et calibrées entre elles, dont les champs de vue sont avec recouvrement. Il s'agit par exemple d'un capteur stéréoscopique. Alternativement, on peut avoir recours à un capteur RGB-D qui fournit une image RGB et un carte de profondeur de la scène imagée. L'utilisation de tels capteurs optiques permet d'obtenir une localisation à l'échelle réelle et de minimiser la dérive inhérente à toute solution de SLAM ou SfM monoculaire.
En effet, dans le cas d'un SLAM monoculaire, la reconstruction et la localisation sont obtenues à un facteur d'échelle arbitraire. Cette solution peut donc ne pas être satisfaisante pour fusionner les déplacements relatifs des membres et le déplacement de la personne. Dans le cas d'un SLAM stéréo, l'échelle est fournie grâce à la connaissance de la transformation rigide reliant les deux caméras. Ceci permet d'obtenir une reconstruction et une localisation à l'échelle réelle.
Dans une variante de réalisation de l'invention, le capteur optique est composé d'une unique caméra, et pour obtenir une reconstruction à l'échelle on lui associe :
- une carte de points 3D reconstruite préalablement, ou
- des images de référence préalablement localisées comme dans l'article de T. Shiratori et al. mentionné en introduction, ou
- un objet connu dans la scène.
L'invention n'est pas limitée au système tel que précédemment décrit, mais s'étend également au procédé de reproduction du mouvement d'un objet par une structure articulée mis en œuvre par un tel système. L'invention porte également sur un produit programme d'ordinateur comportant des instructions de code de programme pour l'exécution du procédé selon l'invention lorsque ledit programme est exécuté sur un ordinateur.
En référence à la figure 5, ce procédé comprend une étape préalable « INST » de placement des capteurs de mouvement relatifs sur l'objet. Lorsque celui-ci est un corps humain, on vient typiquement placer des capteurs de mouvement relatif sur chaque main et sur chaque pied de la personne. Le capteur optique est également installé, par exemple sur la tête de la personne.
Le procédé comprend l'acquisition « ACQ » de mesures réalisées par les différents capteurs fixés sur l'objet (flux vidéo délivré par le capteur optique et mesures des capteurs de mouvement relatifs).
La séquence d'images acquises par le capteur optique fait l'objet d'un traitement « SLAM » pour déterminer la localisation absolue du capteur optique dans le repère de référence.
Les mesures réalisées par les capteurs fixés sur l'objet sont utilisées lors d'une étape « LOC-R » pour déterminer les localisations relatives de chacun des capteurs de mouvement relatifs par rapport au capteur optique.
Puis lors d'une étape « LOC-A », on détermine la localisation absolue de chacun des capteurs de mouvements relatifs dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs. Le cas échéant, une resynchronisation des sorties entre elles est réalisée lors de cette étape « LOC-A ».
Une fois les localisations absolues déterminées, on vient lors d'une étape « DET-CDE » déterminer la commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet.
Cette commande peut être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le procédé comprend alors une étape « DISP » d'animation, selon la commande déterminée, de la structure articulée dans une simulation numérique 3D.
L'invention permet la capture de mouvement en temps réel, sans instrumenter l'environnement, en localisant la personne dans son environnement de manière absolue tout en estimant sa posture complète.
Les avantages de l'invention par rapport à la solution proposée dans 5 l'article de T. Shiratori et al. sont les suivants. La solution est moins coûteuse en temps de calcul. Elle utilise un seul capteur optique et offre donc une réduction du coût. Le flux de données à transmettre est plus léger, et l'utilisation des capteurs relatifs embarqués (comparativement aux caméras placées sur les membres) est plus robuste aux mouvements brusques des membres et aux occultations. Enfin, la dérive du système est réduite par le choix du capteur optique placé sur l'élément central.
Claims (9)
- REVENDICATIONS1. Système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments, comprenant :des capteurs (CO, C1-C4) fixés, en utilisation, sur l'objet, une unité de traitement (20) de mesures réalisées par les capteurs (C0, C1-C4) fixés sur l'objet, comprenant un module (21) de détermination d'une commande à appliquer à la structure articulée de sorte à la localiser dans un repère de référence (5Ra) en lui faisant adopter une posture reproduisant celle de l'objet, ledit module fournissant en sortie la localisation absolue ({Rf, pf}) de chacun des segments de la structure dans le repère de référence, ledit module exploitant la localisation absolue ({/?θ, ρθ},{/?“, p“}) de chacun des capteurs fixés sur l'objet dans le repère de référence, caractérisé en ce que les capteurs fixés, en utilisation, sur l'objet comprennent un capteur optique (C0) et des capteurs de mouvement relatifs (C1-C4) et en ce que l'unité de traitement (20) comporte en outre :un module de traitement d'images (22) configuré pour déterminer une localisation absolue ({/?θ, ρθ}) du capteur optique (C0) dans le repère de référence à partir d'une séquence d'images (D0) acquises par le capteur optique, un module (24) de détermination de localisation relative ({Æ°, p°}) de chacun des capteurs de mouvement relatifs (C1-C4) par rapport au capteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet, un module (23) de détermination de localisation absolue ({/?“, p“}) de chacun des capteurs de mouvement relatifs (C1-C4) dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
- 2. Système selon la revendication 1 dans lequel le capteur optique comprend un capteur stéréoscopique.
- 3. Système selon la revendication 1, dans lequel le capteur optique comprend un capteur RGB-D.
- 4. Système selon l'une des revendications 1 à 3, dans lequel chaque capteur de mouvement relatif comprend une centrale inertielle et un émetteur Ultra-Large Bande, et dans lequel le capteur optique comprend trois récepteurs Ultra-Large Bande positionnés dans une configuration prédéterminée.
- 5. Procédé de reproduction du mouvement d'un objet par une structure articulée, comprenant une étape de détermination (DET-CDE), à partir de la localisation absolue ({Ro’PoiA^^Pi1}), dans un repère de référence, de capteurs fixés sur l'objet, d'une commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet, caractérisé en ce que, les capteurs fixés sur l'objet comprenant un capteur optique (C0) et des capteurs de mouvement relatifs (C1-C4), il comporte en outre les étapes de :traitement (SLAM) d'une séquence d'images (D0) acquises par le capteur optique pour déterminer une localisation absolue ({/?θ,ρθ}) du capteur optique (C0) dans le repère de référence, détermination de localisation relative (LOC-R, {Æ°, p°}) de chacun des capteurs de mouvements relatifs (Cl-Cn) par rapport au capteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet, détermination de localisation absolue (LOC-A, {/?“,p“}) de chacun des capteurs de mouvement relatifs (C1-C4) dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs. 6
- 6. Procédé selon la revendication 5, dans lequel l'étape de traitement (SLAM) de la séquence d'images acquises par le capteur optique comprend la mise en oeuvre d'un algorithme de cartographie et localisation simultanées.
- 7. Procédé selon l'une des revendications 5 et 6, dans lequel la structure articulée est un modèle numérique de l'objet et comprenant en outre une étape de représentation (DISP) des mouvements de l'objet dans une simulation numérique au5 moyen de l'animation de la structure articulée dans la simulation numérique selon la commande déterminée.
- 8. Produit programme d'ordinateur comportant des instructions de code de programme pour l'exécution du procédé selon l'une des revendications 5 à 7 lorsque
- 10 ledit programme est exécuté sur un ordinateur.S.607871 /4
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1656738A FR3054061B1 (fr) | 2016-07-13 | 2016-07-13 | Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques |
| PCT/FR2017/051878 WO2018011498A1 (fr) | 2016-07-13 | 2017-07-10 | Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués |
| EP17748526.5A EP3485463A1 (fr) | 2016-07-13 | 2017-07-10 | Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1656738A FR3054061B1 (fr) | 2016-07-13 | 2016-07-13 | Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3054061A1 true FR3054061A1 (fr) | 2018-01-19 |
| FR3054061B1 FR3054061B1 (fr) | 2018-08-24 |
Family
ID=56842946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1656738A Expired - Fee Related FR3054061B1 (fr) | 2016-07-13 | 2016-07-13 | Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3485463A1 (fr) |
| FR (1) | FR3054061B1 (fr) |
| WO (1) | WO2018011498A1 (fr) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485620B (zh) * | 2022-01-29 | 2023-07-28 | 中国科学院国家空间科学中心 | 融合轨道动力学的小行星探测器自主视觉定位系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025562A1 (en) * | 2009-08-03 | 2011-02-03 | Xsens Technologies, B.V. | Tightly Coupled UWB/IMU Pose Estimation System and Method |
| WO2011090509A1 (fr) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capture de vues et de mouvements d'acteurs jouant dans des scènes générées |
| US20120327194A1 (en) * | 2011-06-21 | 2012-12-27 | Takaaki Shiratori | Motion capture from body mounted cameras |
-
2016
- 2016-07-13 FR FR1656738A patent/FR3054061B1/fr not_active Expired - Fee Related
-
2017
- 2017-07-10 WO PCT/FR2017/051878 patent/WO2018011498A1/fr unknown
- 2017-07-10 EP EP17748526.5A patent/EP3485463A1/fr not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025562A1 (en) * | 2009-08-03 | 2011-02-03 | Xsens Technologies, B.V. | Tightly Coupled UWB/IMU Pose Estimation System and Method |
| WO2011090509A1 (fr) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capture de vues et de mouvements d'acteurs jouant dans des scènes générées |
| US20120327194A1 (en) * | 2011-06-21 | 2012-12-27 | Takaaki Shiratori | Motion capture from body mounted cameras |
Non-Patent Citations (1)
| Title |
|---|
| ELMAR A RÜCKERT: "Master Thesis Simultaneous localisation and mapping for mobile robots with recent sensor technologies", 1 December 2009 (2009-12-01), XP055353588, Retrieved from the Internet <URL:http://rvlab.icg.tugraz.at/project_page/project_mvmm/images/slamwithrecentsensortechn.pdf> [retrieved on 20170310] * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018011498A1 (fr) | 2018-01-18 |
| EP3485463A1 (fr) | 2019-05-22 |
| FR3054061B1 (fr) | 2018-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9934587B2 (en) | Deep image localization | |
| JP4532856B2 (ja) | 位置姿勢計測方法及び装置 | |
| EP2572319B1 (fr) | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position | |
| EP1984696B1 (fr) | Dispositif de capture de mouvement et procede associe | |
| EP2208355B1 (fr) | Procédé de synchronisation de flux vidéo | |
| EP2715662B1 (fr) | Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu | |
| WO2018135510A1 (fr) | Procédé de reconstruction tridimensionnelle et dispositif de reconstruction tridimensionnelle | |
| EP2947628B1 (fr) | Procédé de traitement d'informations locales | |
| US20150125045A1 (en) | Environment Mapping with Automatic Motion Model Selection | |
| JP2021522607A (ja) | ポイントクラウドの着色において使用される方法及びシステム | |
| FR2847699A1 (fr) | Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui | |
| CN113315878A (zh) | 单程对象扫描 | |
| EP2851868A1 (fr) | Reconstruction 3D | |
| Mustaniemi et al. | Inertial-based scale estimation for structure from motion on mobile devices | |
| CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
| CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| WO2015150129A1 (fr) | Procede de geo-localisation de l'environnement d'un porteur | |
| KR20190063153A (ko) | 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 | |
| US11210846B2 (en) | Three-dimensional model processing method and three-dimensional model processing apparatus | |
| FR3054061A1 (fr) | Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques | |
| FR3007175A1 (fr) | Systemes de reperage de la position de la camera de tournage pour le tournage de films video | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| Schön et al. | Integrated navigation of cameras for augmented reality | |
| JP5409451B2 (ja) | ３次元変化検出装置 | |
| JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180119 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| ST | Notification of lapse |
Effective date: 20210305 |