EP3485463A1 - Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués - Google Patents

Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués

Info

Publication number
EP3485463A1
EP3485463A1 EP17748526.5A EP17748526A EP3485463A1 EP 3485463 A1 EP3485463 A1 EP 3485463A1 EP 17748526 A EP17748526 A EP 17748526A EP 3485463 A1 EP3485463 A1 EP 3485463A1
Authority
EP
European Patent Office
Prior art keywords
optical sensor
sensors
module
relative motion
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17748526.5A
Other languages
German (de)
English (en)
Inventor
Sylvie NAUDET-COLLETTE
Vincent WEISTROFFER
Saifeddine ALOUI
Claude Andriot
Cyril Condemine
Romain DUPONT
Jean-Philippe Gros
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP3485463A1 publication Critical patent/EP3485463A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the field of the invention is that of the capture of the movement of an object, and the real-time transfer of this movement to a (poly) articulated mass structure modeling the object.
  • the invention finds application to the capture of the movement of a human body via sensors arranged on a person, and the representation of this movement via the animation of an avatar in a numerical simulation.
  • the main needs of a motion capture are, on the one hand, to locate the person in the environment, and, on the other hand, to estimate the complete posture of the person.
  • Cameras are for example placed in the environment and observe the person (or sensors carried by it) to detect its movements.
  • the data stream to be transferred is very large.
  • the object of the invention is to propose a technique for locating and reconstructing the posture of a moving object in real time using onboard sensors only, which is at least partially free of the disadvantages above.
  • the invention proposes a system for reproducing the movement of an object by an articulated structure comprising a plurality of segments, which comprises:
  • a unit for processing measurements made by the sensors fixed on the object comprising a module for determining a command to be applied to the articulated structure so as to locate it in a reference frame by making it adopt a posture reproducing that of the object, said module outputting the absolute location of each of the segments of the structure in the reference frame, said module using the absolute location of each of the sensors attached to the object in the reference frame.
  • the sensors fixed in use on the object comprise an optical sensor and relative motion sensors and the processing unit further comprises:
  • an image processing module configured to determine an absolute location of the optical sensor in the reference frame from a sequence of images acquired by the optical sensor
  • an absolute location determination module of each of the relative motion sensors in the reference frame from the absolute location of the optical sensor and the relative location of each of the relative motion sensors.
  • FIG. 1 represents an example of a poly-articulated mass structure used as a physical model (in the meaning of the laws of physics) of a human body;
  • FIG. 2 is a diagram of a system according to the invention for tracking the movement of an object on which sensors are fixed;
  • FIG. 3 illustrates the calculation of the location of the optical sensor with respect to the reference mark;
  • FIG. 4 represents the acquisition of the movement data of the limbs in a current coordinate system associated with the optical sensor
  • FIG. 5 is a diagram showing the steps of a method according to the invention.
  • the invention relates to the control of an articulated mass structure from data representative of the movement of an object.
  • Motion sensors are attached to the object and it is desired to enslave the articulated mass structure to reproduce the movements of the object.
  • the object is typically a human body or the body of an animal, or even a single part of such a body.
  • the invention is however not limited to these examples, and thus extends to monitoring the movement of any moving object that can be represented by an articulated structure.
  • the articulated mass structure is composed of segments connected by at least one joint. It is used as a physical model of the object whose movement we follow. It is typically a poly-articulated structure.
  • the articulated mass structure can be a numerical model of the object.
  • the objective can then be the representation of the movements of the object in a numerical simulation, by means of the animation of the mass structure articulated in the numerical simulation according to a command determined by the invention.
  • FIG. 1 gives an example of a poly-articulated mass structure that can be used as a physical model of the human body in an implementation of the invention.
  • the poly-articulated mass structure is composed of segments connected by joints.
  • a segment refers to a rigid or supposedly rigid object that is defined by a geometry (that is, a well-defined volume shape), mass, and inertia.
  • An articulation denotes a connection between two segments. This link defines the relative configuration that a segment can have with respect to a segment to which it is bound.
  • An articulation is defined by one or more representative degrees of freedom, in particular the characteristics of centers, axes or stops.
  • the poly-articulated structure 10 is composed of twenty-one segments connected by twenty joints.
  • the hand is modeled by a first segment 13 connected by a hinge 16 to a second segment 12 corresponding to the forearm.
  • the articulation 16 has for example three degrees of freedom.
  • the segment 12 corresponding to the forearm is connected by a hinge 15 with two degrees of freedom to the segment 11 corresponding to the arm.
  • the segment 11 is connected to the clavicle by a hinge 14 with three degrees of freedom.
  • This definition of the soil includes the geometry of the ground (reliefs, stairs etc.), and a reference reference attached to the ground. In particular, it makes it possible to detect potential collisions between the articulated structure and the environment.
  • the invention provides a system for reproducing the movement of an object by an articulated structure.
  • This system exploits the data from a set of sensors CO, C1-C4 fixed on the object, and does not require instrumentation of the environment.
  • the sensors attached to the object include a central element having an optical sensor, and relative motion sensors.
  • the optical sensor and the module 22 described below make it possible to calculate the position / orientation of the object in a reference reference linked to the environment.
  • the movements of the object typically the movements of the limbs of a person, are obtained by means of the relative motion sensors and the module 24 described below by which one can have a location, in position and orientation, in a reference relative to the central element.
  • the relative motion sensors are four in number, with a relative movement sensor C1, C2 on each hand of the person and a relative motion sensor C3, C4 on each foot of the nobody.
  • the optical sensor C0 is placed on the head of the person. This number of four relative motion sensors is given by way of example only, the invention extending to any number of relative motion sensors.
  • the optical sensor C0 provides a sequence of images DO, while the relative motion sensors provide motion information Di in a reference relative to the optical sensor, i.e. a current marker corresponding to the current position of the optical sensor in the environment.
  • This unit 20 receives the measurements made by the sensors fixed on the object, and is configured, by means of different modules described below, to implement steps at each time step of calculating the configuration to be given to the poly-articulated structure to reproduce the movements of the object.
  • the processing unit 20 is in particular provided with a module 21 for determining a command to be applied to the articulated structure so that it reproduces the movement of the object.
  • This command more precisely locates the articulated structure in a reference frame 3 ⁇ 4 a , for example a marker attached to the ground, making him adopt a posture reproducing that of the object.
  • the module 21 for determining the command to be applied to the articulated structure uses the absolute location of each of the sensors attached to the object in the reference frame. The following notations are adopted:
  • This set constitutes the outputs of the module 21 for determining the control to be applied to the articulated structure, namely the location and the complete posture of the articulated structure in the reference frame 3 ⁇ 4 a .
  • PO ⁇ denotes the set of orientations and positions of the current coordinate system 3 ⁇ 4 0 corresponding to the current position, at times t of the central element da ns the environment, expressed in the reference reference 3 ⁇ 4 a .
  • the module 21 for determining the command to be applied to the articulated structure takes into account the locations in the reference reference frame of the sensors C0, C1-Cn. It is also able, in the context of a physical simulation of an articulated structure, to take into account the effect of gravity, to detect collisions between the geometries of the segments of the articulated structure and the geometry of the structure. environment and resolve the contacts by generating efforts opposing penetrations between the segments of the articulated structure and the environment.
  • the collisions between the geometries of the segments of the articulated structure and the geometry of the environment are detected at each time step for a configuration of the given structure.
  • This detection can be based on the penetration detection of the geometries as on the detection of proximity according to a given threshold.
  • the collision information obtained is the point and the normal of each contact. Collision information is used to generate efforts to prevent penetrations between segment geometries and the environment.
  • a modeling of the friction allows, moreover, to simulate the adhesion of the segment on the environment and constrain sliding. The resulting efforts are called contact efforts.
  • the geometry of the environment can be obtained either by a priori knowledge of the environment, for example it is assumed that the ground is flat, or is thanks to the mapping of the environment provided by the SLAM.
  • the module 21 for determining the control to be applied to the articulated structure can thus exploit a real-time physical simulation engine, such as the XDE engine (for the "eXtended Dynamic Engine") of the Applicant, which makes it possible to perform simulations in a virtual environment by assigning physical constraints to an articulated structure, detecting collisions and managing contacts.
  • a real-time physical simulation engine such as the XDE engine (for the "eXtended Dynamic Engine") of the Applicant, which makes it possible to perform simulations in a virtual environment by assigning physical constraints to an articulated structure, detecting collisions and managing contacts.
  • the central element and the relative motion sensors C1-Cn each comprise means for measuring the relative distances between the latter, for example an Ultra Wide Band module.
  • the module 21 for determining the command to be applied to the articulated structure can implement an estimation algorithm (exploiting for example a Kalman filter).
  • an analytical method for example of the MDS ("Multi Dimentional Scaling") type, makes it possible to recover the initial posture by merging the distance measurements provided by the central element and the relative movement sensors Cl-Cn and a priori knowledge of a reference posture serving as an initialization posture.
  • the estimation algorithm merges the distance data provided by the central element and the relative motion sensors to determine the position of the joints as a function of time.
  • biomechanical constraints knowledge a priori of the model of the human body, number of segments and their sizes that can be measured during the initialization phase
  • the command determined by the module 21 can be used to perform a motion analysis. Indeed, from the knowledge of the type of movement, specific information can be extracted for particular application needs. This command can also be used to perform a complete reconstruction of the movement for display on a screen 30, for example that of a computer or a virtual reality headset. The movement can be modified or amplified to achieve the desired effects.
  • the processing unit 20 comprises a module an image processing unit 22 and a relative location determination module 24 of the relative motion sensors.
  • the image processing module 22 is configured to determine, in real time, an absolute location of the optical sensor C0 in the reference frame 3 ⁇ 4 a from a sequence of images D0 acquired by the optical sensor.
  • This module thus provides the set ⁇ R, p £ ⁇ at times t ⁇ . It can notably implement a visual SLAM type algorithm (for Simultaneous Localization And Mapping designating simultaneous mapping and localization) or SfM.
  • a visual SLAM type algorithm for Simultaneous Localization And Mapping designating simultaneous mapping and localization
  • SfM Simultaneous Localization And Mapping designating simultaneous mapping and localization
  • Such an algorithm makes it possible to iteratively reconstruct a map of 3D primitives (generally points) and to locate the optical sensor C0 in this map from the video stream D0.
  • the reference mark is then fixed either on the first position of the sensor or on the reconstructed map.
  • FIG. 3 shows the calculation of the orientation and the position of the central element with respect to the reference mark, with R and o the orientation and the position of the current mark 3 ⁇ 4 0 relative to the reference mark 3 ⁇ 4 has at successive times t ⁇ , t ⁇ ⁇ 1 and 2.
  • the relative location determination module 24 of the relative motion sensors is in turn configured to determine, in real time, the relative location of each of the relative movement sensors C1-Cn, from the measurements made by the sensors fixed on the 'object.
  • FIG. 4 shows the acquisition of the movement data of the limbs in the current coordinate system 3 ⁇ 4 0 fixed on the central element, with R and pf the orientation and the position of each relative motion sensor i with respect to the current coordinate system 3 ⁇ 4 0 at different successive instants t, t ⁇ +1 and t + 2 ⁇
  • the central element provided with the optical sensor may be associated with means for completing the measurements from the sensors fixed on the object. This is particularly the case when these measurements are insufficient to provide position information of the relative motion sensors with respect to the optical sensor, for example because they only make it possible to determine a relative distance.
  • the relative motion sensors each comprise a UWB transmitter ("Ultra Wide Band") to enable the calculation of a relative distance from a receiver.
  • the central element is provided not with a UWB receiver but with three UWB receivers positioned in a predetermined configuration, each of which makes it possible to recover the relative distance of each UWB transmitter.
  • the relative location determination module 24 can then implement a triangulation to determine the exact position of each motion sensor with respect to the optical sensor.
  • the processing unit further comprises an absolute location determination module 23 of each of the relative motion sensors in the reference frame.
  • This module 23 exploits the absolute location of the optical sensor ⁇ R Q , PO ⁇ AND the relative location of each of the relative motion sensors ⁇ R. pf ⁇ relative to the optical sensor to make a reference change and replace each of the positions and orientations of the relative motion sensors calculated in the current coordinate system at each instant t in the reference frame.
  • This module thus provides the absolute locations ⁇ Rf, tf ⁇ .
  • an additional synchronization step is performed by the module 23 to obtain data synchronized at the output.
  • the module 23 can use the frequency F C as output frequency and interpolate the missing locations of the optical sensor.
  • An exemplary embodiment of the invention exploits relative motion sensors which are each composed of an inertial unit which provides information on the orientation of the sensor, and a UWB (Ultra-Large Band) transmitter which makes it possible to calculate a relative distance from receivers.
  • the person is equipped with at least 4 relative sensors fixed rigidly on his body, including a sensor on each hand and a sensor on each foot.
  • the central element comprises a camera, for example a 360 ° camera, as well as three UWB receivers positioned in a predetermined configuration, each of which makes it possible to recover the relative distance of each UWB transmitter.
  • the optical sensor comprises at least two cameras rigidly connected and calibrated between them, whose fields of view are overlapped. This is for example a stereoscopic sensor. Alternatively, you can use a RGB-D sensor that provides an RGB image and a depth map of the image scene. The use of such optical sensors makes it possible to obtain a real scale location and to minimize the drift inherent in any monocular SLAM or SfM solution.
  • the reconstruction and the location are obtained at an arbitrary scale factor. This solution may therefore not be satisfactory for merging the relative movements of the limbs and the displacement of the person.
  • the scale is provided thanks to the knowledge of the rigid transformation connecting the two cameras. This makes it possible to obtain a reconstruction and a location on a real scale.
  • the optical sensor is composed of a single camera, and to obtain a scale reconstruction it is associated with:
  • the invention is not limited to the system as previously described, but also extends to the method of reproducing the movement of an object by an articulated structure implemented by such a system.
  • the invention also relates to a computer program product comprising program code instructions for executing the method according to the invention when said program is executed on a computer.
  • this method comprises a prior "INST" step of placing the relative motion sensors on the object.
  • it is a human body, it is typically placed relative motion sensors on each hand and on each foot of the person.
  • the optical sensor is also installed, for example on the person's head.
  • the method includes the acquisition "ACQ. Measurements made by the various sensors fixed on the object (video flow delivered by the optical sensor and measurements of the relative motion sensors).
  • the image sequence acquired by the optical sensor is subjected to "SLAM" processing to determine the absolute location of the optical sensor in the reference frame.
  • the measurements made by the sensors fixed on the object are used during a "LOC-R" step to determine the relative locations of each of the relative motion sensors relative to the optical sensor.
  • the absolute location of each of the relative motion sensors in the reference frame is determined from the absolute location of the optical sensor and the relative location of each of the motion sensors. related. If necessary, a resynchronization of the outputs between them is performed during this step "LOC-A".
  • step “DET-CDE” determine the command to be applied to the articulated structure so as to locate it in the benchmark by making him adopt a posture reproducing that of the object .
  • This command can be used to perform a complete reconstruction of the movement for display on a screen, for example that of a computer or a virtual reality headset.
  • the method then comprises an animation "DISP" step, according to the determined command, of the articulated structure in a 3D digital simulation.
  • the invention allows the capture of movement in real time, without instrumenting the environment, by locating the person in his environment in an absolute way while estimating his complete posture.
  • the advantages of the invention over the solution proposed in the article by T. Shiratori et al. are the following.
  • the solution is less expensive in computing time. It uses a single optical sensor and therefore offers a cost reduction.
  • the data stream to be transmitted is lighter, and the use of embedded relative sensors (compared to cameras on the limbs) is more robust to abrupt limb movements and occultations.
  • the drift of the system is reduced by the choice of the optical sensor placed on the central element.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L'invention porte sur un système de reproduction du mouvement d'un objet par une structure articulée, qui comprend un capteur optique (C0) et des capteurs de mouvement relatifs (C1-C4) fixés sur l'objet, et une unité de traitement (20) de mesures réalisées par les capteurs (C0, C1-C4). L'unité comprend un module (21) fournissant la localisation absolue de chacun des segments de la structure dans un repère de référence, ledit module exploitant la localisation absolue ({R a 0,p a 0},{R a i ,p a i }) de chacun des capteurs. L'unité comporte en outre : - un module de traitement d'images (22) pour déterminer une localisation absolue ({R a 0,p a 0}) du capteur optique (C0) dans le repère de référence à partir d'une séquence d'images (D0) acquises par le capteur optique, - un module (24) de détermination de localisation relative ({R0 i , p 0 i ) de chacun des capteurs de mouvement relatifs (C1-C4) par rapport au capteur optique, à partir de mesures réalisées par les capteurs, - un module (23) de détermination de localisation absolue ({R a i ,p a i }) de chacun des capteurs de mouvement relatifs (C1-C4), à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.

Description

PROCÉDÉ ET SYSTÈME POUR LA LOCALISATION ET LA RECONSTRUCTION EN TEMPS RÉEL DE LA POSTURE D'UN OBJET MOUVANT À L'AIDE DE CAPTEURS EMBARQUÉS
DESCRIPTION
DOMAINE TECHNIQUE
Le domaine de l'invention est celui de la capture du mouvement d'un objet, et du transfert temps-réel de ce mouvement à une structure massique (poly-) articulée modélisant l'objet.
L'invention trouve application à la capture du mouvement d'un corps humain via des capteurs disposés sur une personne, et à la représentation de ce mouvement via l'animation d'un avatar dans une simulation numérique. ÉTAT DE LA TECHNIQUE ANTÉRIEURE
On cherche dans un certain nombre d'applications à représenter les mouvements d'une personne dans une simulation numérique. Dans la majorité des cas, la personne porte un ensemble de capteurs dont les données sont utilisées pour animer son avatar numérique dans la simulation.
Les besoins principaux d'une capture du mouvement sont, d'une part, de localiser la personne dans l'environnement, et, d'autre part, d'estimer la posture complète de la personne.
Pour répondre conjointement à ces deux besoins, il est aujourd'hui nécessaire d'instrumenter l'environnement. Des caméras sont par exemple placées dans l'environnement et observent la personne (ou des capteurs portés par celle-ci) pour détecter ses mouvements.
L'instrumentation de l'environnement impose cependant plusieurs contraintes : elle est coûteuse en temps, elle limite la zone de capture, et elle est incompatible avec des environnements extérieurs ou a priori inconnus. C'est pourquoi l'utilisation de capteurs complètement embarqués sur la personne est un besoin récurrent. Mais peu de solutions existent aujourd'hui pour répondre conjointement aux deux besoins précités au moyen de capteurs embarqués uniquement, sans instrumentation de l'environnement. On peut toutefois citer l'article de T. Shiratori et al. intitulé « Motion capture from body-mounted caméras », ACM Trans. Graph. 30, 4, Article 31 (July 2011) qui décrit une solution reposant sur plusieurs caméras placées sur le torse et les membres de la personne. Pour chaque caméra, un algorithme de Structure à partir du Mouvement (SfM pour « Structure from Motion ») est appliqué pour calculer les positions successives des caméras. Puis, une optimisation globale permet de retrouver la localisation et la posture de la personne au cours du temps. Cette optimisation globale consiste à résoudre un ajustement de faisceaux avec des contraintes additionnelles liées au mouvement du squelette, par exemple la fluidité des mouvements.
Cette solution présente cependant un certain nombre d'inconvénients : Elle est coûteuse en temps de calcul (plus de 10 heures de calcul d'après l'article). Elle est sensible à la qualité des images (ex : images floues liées au bougé, occultation du capteur par une partie du corps, etc.).
Elle est sensible à la dérive du facteur d'échelle, et des images de référence sont nécessaires pour résoudre ce problème
Le flux de données à transférer est très volumineux.
EXPOSÉ DE L'INVENTION L'invention a pour objectif de proposer une technique de localisation et de reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués uniquement qui soit dénuée, au moins en partie, des inconvénients susmentionnés.
A cet effet, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments, qui comporte :
des capteurs fixés, en utilisation, sur l'objet,
une unité de traitement de mesures réalisées par les capteurs fixés sur l'objet, comprenant un module de détermination d'une commande à appliquer à la structure articulée de sorte à la localiser dans un repère de référence en lui faisant adopter une posture reproduisant celle de l'objet, ledit module fournissant en sortie la localisation absolue de chacun des segments de la structure dans le repère de référence, ledit module exploitant la localisation absolue de chacun des capteurs fixés sur l'objet dans le repère de référence.
Les capteurs fixés, en utilisation, sur l'objet comprennent un capteur optique et des capteurs de mouvement relatifs et l'unité de traitement comporte en outre :
un module de traitement d'images configuré pour déterminer une localisation absolue du capteur optique dans le repère de référence à partir d'une séquence d'images acquises par le capteur optique,
un module de détermination de localisation relative de chacun des capteurs de mouvement relatifs par rapport au capteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet,
un module de détermination de localisation absolue de chacun des capteurs de mouvement relatifs dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
BRÈVE DESCRIPTION DES DESSINS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la figure 1 représente un exemple de structure massique poly-articulée utilisée comme modèle physique (au sens des lois de la physique) d'un corps humain ;
- la figure 2 est un schéma d'un système conforme à l'invention pour le suivi de mouvement d'un objet sur lequel des capteurs sont fixés ; - la figure 3 illustre le calcul de la localisation du capteur optique par rapport au repère de référence ;
- la figure 4 représente l'acquisition des données de mouvement des membres dans un repère courant associé au capteur optique ;
- la figure 5 est un schéma représentant les étapes d'un procédé conforme à l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L'invention concerne la commande d'une structure massique articulée à partir de données représentatives du mouvement d'un objet. Des capteurs de mouvement sont fixés sur l'objet et l'on souhaite asservir la structure massique articulée pour qu'elle reproduise les mouvements de l'objet.
L'objet est typiquement un corps humain ou le corps d'un animal, voire une seule partie d'un tel corps. L'invention n'est toutefois pas limitée à ces exemples, et s'étend ainsi au suivi du mouvement de tout objet mouvant pouvant être représenté par une structure articulée.
La structure massique articulée est composée de segments reliés par au moins une articulation. Elle est utilisée comme modèle physique de l'objet dont on suit le mouvement. Il s'agit typiquement d'une structure poly-articulée.
La structure massique articulée peut être un modèle numérique de l'objet. L'objectif peut alors être la représentation des mouvements de l'objet dans une simulation numérique, au moyen de l'animation de la structure massique articulée dans la simulation numérique selon une commande déterminée par l'invention.
La figure 1 donne un exemple de structure massique poly-articulée 10 pouvant être utilisée comme modèle physique du corps humain dans une mise en œuvre de l'invention. La structure massique poly-articulée est composée de segments reliés par des articulations. Un segment désigne un objet rigide ou supposé rigide qui est défini par une géométrie (c'est-à-dire par une forme volumique bien définie), une masse et une inertie. Une articulation désigne une liaison entre deux segments. Cette liaison définit la configuration relative que peut avoir un segment par rapport à un segment auquel il est lié. Une articulation est définie par un ou plusieurs degrés de libertés représentatifs notamment des caractéristiques de centres, d'axes ou de butées.
Dans l'exemple de la figure 1, la structure poly-articulée 10 est composée de vingt-et-un segments reliés par vingt articulations. Ainsi, à titre d'exemple, la main est modélisée par un premier segment 13 relié par une articulation 16 à un deuxième segment 12 correspondant à l'avant-bras. L'articulation 16 possède par exemple trois degrés de liberté. Le segment 12 correspondant à l'avant-bras est relié par une articulation 15 à deux degrés de liberté au segment 11 correspondant au bras. Le segment 11 est quant à lui relié à la clavicule par une articulation 14 à trois degrés de libertés.
Outre la définition de la structure articulée (les géométries de chaque segment, les masses et les inerties de chaque segment et les paramètres des articulations : degrés de liberté, centre, axes, valeur des buttées), d'autres paramètres nécessaires à la mise en œuvre du procédé selon l'invention peuvent comprendre :
La définition de la gravité (direction et norme du champ de pesanteur), dont l'effet (le poids) est représenté par des efforts extérieurs appliqués sur le centre de masse des segments de la structure articulée.
La définition du sol. Cette définition de l'environnement comprend la géométrie du sol (reliefs, escaliers etc.), et un repère de référence attaché au sol. Elle permet notamment de détecter les collisions potentielles entre la structure articulée et l'environnement.
La définition du comportement en frottement de la structure articulée sur l'environnement. Par exemple, si ce comportement est modélisé par une loi de Coulomb, le coefficient d'adhérence est donné.
En référence maintenant à la figure 2, l'invention propose un système de reproduction du mouvement d'un objet par une structure articulée. Ce système exploite les données issues d'un ensemble de capteurs CO, C1-C4 fixés sur l'objet, et ne nécessite pas d'instrumentation de l'environnement.
Les capteurs fixés sur l'objet comprennent un élément central disposant d'un capteur optique, et des capteurs de mouvement relatifs. Le capteur optique et le module 22 décrit ci-après permettent de calculer la position/orientation de l'objet dans un repère de référence lié à l'environnement. Les mouvements de l'objet, typiquement les mouvements des membres d'une personne, sont obtenus au moyen des capteurs de mouvement relatifs et du module 24 décrit ci-après grâce auxquels on peut disposer d'une localisation, en position et en orientation, dans un repère relatif à l'élément central.
Dans l'exemple représenté sur la figure 2, les capteurs de mouvement relatifs sont au nombre de quatre, avec un capteur de mouvement relatif Cl, C2 sur chaque main de la personne et un capteur de mouvement relatif C3, C4 sur chaque pied de la personne. Le capteur optique C0 est quant à lui placé sur la tête de la personne. Ce nombre de quatre capteurs de mouvement relatifs est donné à titre d'exemple uniquement, l'invention s'étendant à un nombre quelconque de capteurs de mouvements relatifs.
Le capteur optique C0 fournit une séquence d'images DO, tandis que les capteurs de mouvement relatif fournissent des informations de mouvement Di dans un repère relatif au capteur optique, i.e. un repère courant correspondant à la position courante du capteur optique dans l'environnement.
Ces données DO, Di sont fournies à une unité de traitement informatique 20. Cette unité 20 reçoit les mesures réalisées par les capteurs fixés sur l'objet, et est configurée, au moyen de différents modules décrits ci-après, pour mettre en œuvre des étapes à chaque pas de temps de calcul de la configuration à donner à la structure poly-articulée pour reproduire les mouvements de l'objet.
L'unité de traitement 20 est notamment dotée d'un module 21 de détermination d'une commande à appliquer à la structure articulée pour qu'elle reproduise le mouvement de l'objet. Cette commande vient plus précisément localiser la structure articulée dans un repère de référence ¾a, par exemple un repère attaché au sol, en lui faisant adopter une posture reproduisant celle de l'objet. Le module 21 de détermination de la commande à appliquer à la structure articulée exploite pour ce faire la localisation absolue de chacun des capteurs fixés sur l'objet dans le repère de référence. On adopte les notations suivantes :
- {Rs , Ps ) désigne l'ensemble des orientations et positions des segments s de la structure articulée, exprimées da ns le repère de référence ¾a. Cet ensemble constitue les sorties du module 21 de détermination de la commande à appliquer à la structure articulée, à savoir la localisation et la posture complète de la structure articulée dans le repère de référence ¾a.
- {Rf, pf} désigne l'ensemble des orientations et positions des capteurs relatifs Ci (i=l...n) à des instants t, exprimées da ns le repère de référence ¾a. Ces orientations et positions sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
- {RQ , PO } désigne l'ensemble des orientations et positions du repère courant ¾0 correspondant à la position courante, à des instants t de l'élément central da ns l'environnement, exprimées dans le repère de référence ¾a. Ces orientations et positions, représentatives de la localisation de l'objet, sont fournies au module 21 de détermination de la commande à appliquer à la structure articulée.
Le module 21 de détermination de la commande à appliquer à la structure articulée prend en compte les localisations dans le repère de référence des capteurs C0, Cl-Cn. I l est en outre capable, dans le cadre d'une simulation physique d'une structure articulée, de prendre en compte l'effet de la gravité, de détecter les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement et de résoudre les contacts en générant des efforts s'opposant aux pénétrations entre les segments de la structure articulée et l'environnement.
A cet égard, les collisions entre les géométries des segments de la structure articulée et la géométrie de l'environnement sont détectées à chaque pas de temps pour une configuration de la structure donnée. Cette détection peut être basée sur la détection de pénétration des géométries comme sur la détection de proximité selon un seuil donné. Les informations de collisions obtenues sont le point et la normale de chaque contact. Les informations de collision sont utilisées pour générer des efforts conduisant à empêcher les pénétrations entre les géométries des segments et celle de l'environnement. Une modélisation du frottement (par exemple par une loi de Coulomb) permet, de plus, de simuler l'adhérence du segment sur l'environnement et contraindre le glissement. Les efforts résultants sont appelés efforts de contact.
La géométrie de l'environnement peut être obtenue soit par une connaissance a priori de l'environnement, par exemple on fait l'hypothèse que le sol est plan, ou soit grâce à la cartographie de l'environnement fournie par le SLAM.
Le module 21 de détermination de la commande à appliquer à la structure articulée peut ainsi exploiter un moteur de simulation physique temps-réel, tel que le moteur XDE (pour « eXtended Dynamic Engine ») de la Demanderesse, qui permet de réaliser des simulations dans un environnement virtuel en venant affecter des contraintes physiques à une structure articulée, détecter les collisions et gérer les contacts.
Dans un mode de réalisation possible, l'élément central et les capteurs de mouvement relatifs Cl-Cn comportent chacun des moyens de mesure des distances relatives entre ces derniers, par exemple un module Ultra Large Bande. Dans ce mode de réalisation, le module 21 de détermination de la commande à appliquer à la structure articulée peut mettre en œuvre un algorithme d'estimation (exploitant par exemple un filtre de Kalman). L'usage d'une méthode analytique, par exemple du type MDS (« Multi Dimentional Scaling »), permet de retrouver la posture initiale en fusionnant les mesures de distance fournies par l'élément central et les capteurs de mouvement relatifs Cl-Cn et la connaissance a priori d'une posture de référence servant de posture d'initialisation. Une fois initialisé, l'algorithme d'estimation fusionne les données de distance fournies par l'élément central et les capteurs de mouvement relatifs afin de déterminer la position des articulations en fonction du temps. Idéalement, l'usage de contraintes biomécaniques (connaissance a priori du modèle du corps humain, nombre de segments et leurs tailles qui peuvent être mesurées au cours de la phase d'initialisation) permet de rendre l'estimation de la position des articulations plus robuste.
La commande déterminée par le module 21 peut être utilisée afin de réaliser une analyse du mouvement. En effet, à partir de la connaissance du type de mouvement, des informations spécifiques peuvent être extraites pour des besoins applicatifs particuliers. Cette commande peut également être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran 30, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le mouvement peut être modifié ou amplifié pour obtenir des effets désirés.
Afin de permettre la fourniture, au module 21 de détermination de la commande à appliquer à la structure articulée, des localisations dans le repère de référence des capteurs fixés sur l'objet CO, Cl-Cn, l'unité de traitement 20 comprend un module de traitement d'images 22 et un module de détermination de localisation relative 24 des capteurs de mouvements relatifs.
Le module de traitement d'images 22 est configuré pour déterminer, en temps réel, une localisation absolue du capteur optique C0 dans le repère de référence ¾a à partir d'une séquence d'images D0 acquises par le capteur optique. Ce module fournit ainsi l'ensemble {R , p£} aux instants t^. Il peut notamment mettre en œuvre un algorithme de type SLAM visuel (pour « Simultaneous Localization And Mapping » désignant la cartographie et localisation simultanées) ou SfM. Un tel algorithme permet de reconstruire de manière itérative une carte de primitives 3D (généralement des points) et de localiser le capteur optique C0 dans cette carte à partir du flux vidéo D0. Le repère de référence est alors fixé soit sur la première position du capteur soit sur la carte reconstruite.
On a représenté sur la figure 3 le calcul de l'orientation et la position de l'élément central par rapport au repère de référence, avec R et o l'orientation et la position du repère courant ¾0 par rapport au repère de référence ¾a à différents instants successifs t^, t^+1 et ί +2.
Le module de détermination de localisation relative 24 des capteurs de mouvement relatifs est quant à lui configuré pour déterminer, en temps réel, la localisation relative de chacun des capteurs de mouvements relatifs Cl-Cn, à partir des mesures réalisées par les capteurs fixés sur l'objet. Ce module fournit ainsi l'ensemble {Ri , Pi ) qui désigne les orientations et positions des capteurs relatifs i (i=l...n) aux instants t , exprimées dans le repère courant ¾0.
On a représenté sur la figure 4 l'acquisition des données de mouvement des membres dans le repère courant ¾0 fixé sur l'élément central, avec R et pf l'orientation et la position de chaque capteur de mouvement relatif i par rapport a u repère courant ¾0 à différents instants successifs t , t^+1 et t +2 ·
Dans un mode de réa lisation possible, l'élément central doté du capteur optique peut être associé à des moyens permettant de compléter les mesures issues des capteurs fixés sur l'objet. C'est le cas notamment lorsque que ces mesures sont insuffisantes pour fournir une information de position des capteurs de mouvement relatifs pa r rapport au capteur optique, pa r exem ple parce qu'elles ne permettent que de déterminer une distance relative. C'est le cas par exemple lorsque les capteurs de mouvement relatifs comprennent chacun un émetteur UWB (« Ultra Wide Band ») pour permettre le ca lcul d'une distance relative par rapport à un récepteur. Dans un tel cas de figure, l'élément central est doté non pas d'un récepteur UWB mais de trois récepteurs UWB positionnés dans une configuration prédéterminée permettant chacun de récupérer la distance relative de chaque émetteur UWB. Le module de détermination de localisation relative 24 peut alors mettre en œuvre une triangulation pour déterminer la position exacte de chaque capteur de mouvement par rapport au capteur optique.
L'unité de traitement comporte en outre un module de détermination de localisation absolue 23 de chacun des capteurs de mouvement relatifs dans le repère de référence. Ce module 23 exploite la localisation absolue du capteur optique {RQ , PO } ET la loca lisation relative de chacun des capteurs de mouvement relatifs {R . pf } par rapport au capteur optique pour effectuer un changement de repère et replacer chacune des positions et orientations des capteurs de mouvement relatifs calculées dans le repère courant à chaque instant t dans le repère de référence. Ce module fournit ainsi les localisations absolues {Rf, tf}. Dans le cas où les deux entrées du module 23 n'arrivent pas de manière synchronisées (t^≠ t ), une étape supplémentaire de synchronisation est effectuée par le module 23 pour obtenir des données synchronisées en sortie. Par exemple, si les sorties du module 24 (capteurs relatifs) arrivent à une fréquence FC et si les sorties du module 22 (capteur optique) arrivent à une fréquence F0 < FC, le module 23 peut utiliser la fréquence FC comme fréquence de sortie et interpoler les localisations manquantes du capteur optique. Un exemple de réalisation de l'invention exploite des capteurs de mouvement relatifs qui sont chacun composés d'une centrale inertielle qui fournit des informations sur l'orientation du capteur, et d'un émetteur UWB (Ultra-Large Bande) qui permet de calculer une distance relative par rapport à des récepteurs. La personne est équipée d'au moins 4 capteurs relatifs fixés rigidement sur son corps, avec notamment un capteur sur chaque main et un capteur sur chaque pied.
L'élément central comporte une caméra, par exemple une caméra 360°, ainsi que trois récepteurs UWB positionnés dans une configuration prédéterminée, permettant chacun de récupérer la distance relative de chaque émetteur UWB.
Dans un mode de réalisation privilégié, le capteur optique comprend au moins deux caméras rigidement liées et calibrées entre elles, dont les champs de vue sont avec recouvrement. Il s'agit par exemple d'un capteur stéréoscopique. Alternativement, on peut avoir recours à un capteur RGB-D qui fournit une image RGB et un carte de profondeur de la scène imagée. L'utilisation de tels capteurs optiques permet d'obtenir une localisation à l'échelle réelle et de minimiser la dérive inhérente à toute solution de SLAM ou SfM monoculaire.
En effet, dans le cas d'un SLAM monoculaire, la reconstruction et la localisation sont obtenues à un facteur d'échelle arbitraire. Cette solution peut donc ne pas être satisfaisante pour fusionner les déplacements relatifs des membres et le déplacement de la personne. Dans le cas d'un SLAM stéréo, l'échelle est fournie grâce à la connaissance de la transformation rigide reliant les deux caméras. Ceci permet d'obtenir une reconstruction et une localisation à l'échelle réelle.
Dans une variante de réalisation de l'invention, le capteur optique est composé d'une unique caméra, et pour obtenir une reconstruction à l'échelle on lui associe :
- une carte de points 3D reconstruite préalablement, ou
- des images de référence préalablement localisées comme dans l'article de T. Shiratori et al. mentionné en introduction, ou
- un objet connu dans la scène. L'invention n'est pas limitée au système tel que précédemment décrit, mais s'étend également au procédé de reproduction du mouvement d'un objet par une structure articulée mis en œuvre par un tel système. L'invention porte également sur un produit programme d'ordinateur comportant des instructions de code de programme pour l'exécution du procédé selon l'invention lorsque ledit programme est exécuté sur un ordinateur.
En référence à la figure 5, ce procédé comprend une étape préalable « INST » de placement des capteurs de mouvement relatifs sur l'objet. Lorsque celui-ci est un corps humain, on vient typiquement placer des capteurs de mouvement relatif sur chaque main et sur chaque pied de la personne. Le capteur optique est également installé, par exemple sur la tête de la personne.
Le procédé comprend l'acquisition « ACQ. » de mesures réalisées par les différents capteurs fixés sur l'objet (flux vidéo délivré par le capteur optique et mesures des capteurs de mouvement relatifs).
La séquence d'images acquises par le capteur optique fait l'objet d'un traitement « SLAM » pour déterminer la localisation absolue du capteur optique dans le repère de référence.
Les mesures réalisées par les capteurs fixés sur l'objet sont utilisées lors d'une étape « LOC-R » pour déterminer les localisations relatives de chacun des capteurs de mouvement relatifs par rapport au capteur optique.
Puis lors d'une étape « LOC-A », on détermine la localisation absolue de chacun des capteurs de mouvements relatifs dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs. Le cas échéant, une resynchronisation des sorties entre elles est réalisée lors de cette étape « LOC-A ».
Une fois les localisations absolues déterminées, on vient lors d'une étape « DET-CDE » déterminer la commande à appliquer à la structure articulée de sorte à la localiser dans le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet. Cette commande peut être utilisée pour réaliser une reconstruction complète du mouvement en vue de l'afficher sur un écran, par exemple celui d'un ordinateur ou d'un casque de réalité virtuelle. Le procédé comprend alors une étape « DISP » d'animation, selon la commande déterminée, de la structure articulée dans une simulation numérique 3D.
L'invention permet la capture de mouvement en temps réel, sans instrumenter l'environnement, en localisant la personne dans son environnement de manière absolue tout en estimant sa posture complète.
Les avantages de l'invention par rapport à la solution proposée dans l'article de T. Shiratori et al. sont les suivants. La solution est moins coûteuse en temps de calcul. Elle utilise un seul capteur optique et offre donc une réduction du coût. Le flux de données à transmettre est plus léger, et l'utilisation des capteurs relatifs embarqués (comparativement aux caméras placées sur les membres) est plus robuste aux mouvements brusques des membres et aux occultations. Enfin, la dérive du système est réduite par le choix du capteur optique placé sur l'élément central.

Claims

REVENDICATIONS
1. Système de reproduction du mouvement d'un objet par une structure articulée comprenant une pluralité de segments, comprenant :
des capteurs (CO, C1-C4) fixés, en utilisation, sur l'objet,
- une unité de traitement (20) de mesures réalisées par les capteurs (CO, C1-C4) fixés sur l'objet, comprenant un module (21) de détermination d'une commande à appliquer à la structure articulée de sorte à la localiser dans un repère de référence (¾a) en lui faisant adopter une posture reproduisant celle de l'objet, ledit module fournissant en sortie la localisation absolue ({R , p∑ }) de chacun des segments de la structure da ns le repère de référence, ledit module exploitant la localisation absolue ({RQ , PO },{R?> Pf}) de chacun des capteurs fixés sur l'objet dans le repère de référence,
caractérisé en ce que les capteurs fixés, en utilisation, sur l'objet comprennent un capteur optique (CO) et des capteurs de mouvement relatifs (C1-C4) et en ce que l'unité de traitement (20) comporte en outre :
un module de traitement d'images (22) configuré pour déterminer une localisation absolue ({R , p£}) du capteur optique (C0) dans le repère de référence à partir d'une séquence d'images (D0) acquises par le capteur optique, un module (24) de détermination de localisation relative {{R . pf}) de chacun des capteurs de mouvement relatifs (C1-C4) par rapport au capteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet,
un module (23) de détermination de localisation absolue {{Rf, pf}) de chacun des capteurs de mouvement relatifs (C1-C4) dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
2. Système selon la revendication 1 da ns lequel le capteur optique comprend un capteur stéréoscopique.
3. Système selon la revendication 1, dans lequel le capteur optique comprend un capteur RGB-D.
4. Système selon l'une des revendications 1 à 3, da ns lequel chaque capteur de mouvement relatif comprend une centrale inertielle et un émetteur Ultra-Large
Bande, et dans lequel le capteur optique comprend trois récepteurs Ultra-Large Bande positionnés dans une configuration prédéterminée.
5. Procédé de reproduction du mouvement d'un objet par une structure articulée, comprenant une étape de détermination (DET-CDE), à partir de la localisation absolue ({RQ , Po },{R†> p†}), dans un repère de référence, de capteurs fixés sur l'objet, d'une commande à appliquer à la structure articulée de sorte à la localiser da ns le repère de référence en lui faisant adopter une posture reproduisant celle de l'objet, caractérisé en ce que, les capteurs fixés sur l'objet comprenant un capteur optique (CO) et des capteurs de mouvement relatifs (C1-C4), il comporte en outre les étapes de :
traitement (SLAM) d'une séquence d'images (DO) acquises par le capteur optique pour déterminer une localisation absolue ({RQ , PO }) du capteur optique (CO) dans le repère de référence,
- détermination de localisation relative (LOC-R, {R . pf}) de chacun des capteurs de mouvements relatifs (Cl-Cn) par ra pport au ca pteur optique, à partir de mesures réalisées par les capteurs fixés sur l'objet,
détermination de localisation absolue (LOC-A, {Rf, pf }) de chacun des capteurs de mouvement relatifs (C1-C4) dans le repère de référence, à partir de la localisation absolue du capteur optique et de la localisation relative de chacun des capteurs de mouvement relatifs.
6. Procédé selon la revendication 5, dans lequel l'éta pe de traitement (SLAM) de la séquence d'images acquises par le capteur optique comprend la mise en œuvre d'un algorithme de cartographie et localisation simultanées.
7. Procédé selon l'une des revendications 5 et 6, dans lequel la structure articulée est un modèle numérique de l'objet et comprenant en outre une étape de représentation (DISP) des mouvements de l'objet dans une simulation numérique au moyen de l'animation de la structure articulée dans la simulation numérique selon la commande déterminée.
8. Produit programme d'ordinateur comportant des instructions de code de programme pour l'exécution du procédé selon l'une des revendications 5 à 7 lorsque ledit programme est exécuté sur un ordinateur.
EP17748526.5A 2016-07-13 2017-07-10 Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués Withdrawn EP3485463A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1656738A FR3054061B1 (fr) 2016-07-13 2016-07-13 Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques
PCT/FR2017/051878 WO2018011498A1 (fr) 2016-07-13 2017-07-10 Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués

Publications (1)

Publication Number Publication Date
EP3485463A1 true EP3485463A1 (fr) 2019-05-22

Family

ID=56842946

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17748526.5A Withdrawn EP3485463A1 (fr) 2016-07-13 2017-07-10 Procédé et système pour la localisation et la reconstruction en temps réel de la posture d'un objet mouvant à l'aide de capteurs embarqués

Country Status (3)

Country Link
EP (1) EP3485463A1 (fr)
FR (1) FR3054061B1 (fr)
WO (1) WO2018011498A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485620B (zh) * 2022-01-29 2023-07-28 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8203487B2 (en) * 2009-08-03 2012-06-19 Xsens Holding, B.V. Tightly coupled UWB/IMU pose estimation system and method
US20110181601A1 (en) * 2010-01-22 2011-07-28 Sony Computer Entertainment America Inc. Capturing views and movements of actors performing within generated scenes
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras

Also Published As

Publication number Publication date
FR3054061A1 (fr) 2018-01-19
WO2018011498A1 (fr) 2018-01-18
FR3054061B1 (fr) 2018-08-24

Similar Documents

Publication Publication Date Title
EP1984696B1 (fr) Dispositif de capture de mouvement et procede associe
US9934587B2 (en) Deep image localization
EP2715662B1 (fr) Procede de localisation d&#39;une camera et de reconstruction 3d dans un environnement partiellement connu
EP2208355B1 (fr) Procédé de synchronisation de flux vidéo
EP2572319B1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d&#39;images et de capteurs de mouvement ou de position
EP1990138B1 (fr) Procédé de traitement pour la capture de mouvement d&#39;une structure articulée
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
JP7448485B2 (ja) ポイントクラウドの着色において使用される方法及びシステム
US20210080259A1 (en) System and method for enhancing non-inertial tracking system with inertial constraints
WO2013176829A1 (fr) Vidéo augmentée enregistrée spatialement
CN106066987A (zh) Tof成像中的参数在线校准和补偿
EP2851868A1 (fr) Reconstruction 3D
FR3041804A1 (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d&#39;utilisateurs et procede associe
EP3126864B1 (fr) Procédé de géo-localisation de l&#39;environnement d&#39;un porteur
WO2005010820A9 (fr) Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d&#39;objets d&#39;un espace, construction de contours et applications
WO2018011498A1 (fr) Procédé et système pour la localisation et la reconstruction en temps réel de la posture d&#39;un objet mouvant à l&#39;aide de capteurs embarqués
WO2006117374A2 (fr) Procédé de reconstruction tridimensionnelle d&#39;un membre ou d&#39;un ensemble de membres articulés
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
Morimoto et al. 3D Pose Estimation Using Multiple Asynchronous Cameras
EP1714112A1 (fr) Procede de capture du mouvement d&#39;un solide, utilisant une mesure absolue associee a une mesure par double integration
US11605206B2 (en) Method and apparatus with human body estimation
Soulier et al. Real-time estimation of illumination direction for augmented reality with low-cost sensors
FR3054358A1 (fr) Procede et systeme de reconstruction de posture par suivi spatial du haut d&#39;un corps et suivi du bas du corps au moyen d&#39;un tapis de detection
CN118687563A (zh) 定位数据获取方法、装置、存储介质与电子设备
FR3001072A1 (fr) Procede et systeme de modelisation 3d absolue en tout ou en partie d&#39;un vehicule passant devant une camera.

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190114

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200414

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200825