FR2847689A1 - Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire - Google Patents
Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire Download PDFInfo
- Publication number
- FR2847689A1 FR2847689A1 FR0214883A FR0214883A FR2847689A1 FR 2847689 A1 FR2847689 A1 FR 2847689A1 FR 0214883 A FR0214883 A FR 0214883A FR 0214883 A FR0214883 A FR 0214883A FR 2847689 A1 FR2847689 A1 FR 2847689A1
- Authority
- FR
- France
- Prior art keywords
- solid
- image
- sensor
- rotation
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Procédé et dispositif de capture du mouvement d'un solide, utilisant au moins une caméra et un capteur angulaire.Selon l'invention, qui s'applique notamment aux jeux vidéo, on munit le solide (2) d'au moins un premier capteur (4) pour observer une scène et en fournir une image et d'au moins un deuxième capteur (6) pour mesurer une rotation, on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps pour chacun desquels on détermine la rotation du premier capteur à l'aide au moins du deuxième capteur et la translation du solide à partir des images.
Description
PROCEDE ET DISPOSITIF DE CAPTURE DU MOUVEMENT D'UN
SOLIDE, UTILISANT AU MOINS UNE CAMERA ET UN CAPTEUR
ANGULAIRE
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne un procédé et un dispositif permettant de capturer (" sensing ") on dit aussi mesurer - le mouvement d'un objet ou, plus
précisément, d'un solide.
L'invention s'applique à tout domaine o l'on a besoin de capturer un mouvement, depuis la simple centrale d'attitude jusqu'aux systèmes
miniatures de capture à six degrés de liberté.
L'invention s'applique par exemple aux domaines suivants: - navigation multimédia, - jeux vidéo, - conception assistée par ordinateur (" computer aided design ") et conception en milieu industriel, - périphériques informatiques, - objets communicants, et - santé (en particulier la chirurgie et le
maintien à domicile).
ETAT DE LA TECHNIQUE ANTERIEURE
Jusqu'à présent, personne n'a été capable de concevoir un système de capture de mouvement qui
soit à la fois miniature et versatile.
On sait que les professionnels utilisent des techniques de capture du genre magnétique ou optique. Les techniques réservées au grand public doivent être, quant à elles, peu coteuses et conduisent actuellement soit à l'accélérométrie soit à la mesure en trois dimensions à partir de séquences vidéo. Aucune de ces méthodes n'est satisfaisante elles sont toutes difficiles à maîtriser du point de vue technique et la vidéo nécessite une grande puissance de calcul et une mise en
oeuvre complexe.
Plus précisément, dans le domaine de la capture du mouvement à six degré de liberté, les systèmes professionnels les plus performants font appel à des méthodes actives, nécessitant d'équiper le volume de mesure, par exemple une pièce, soit de caméras (pour les méthodes optiques actives) soit de générateurs de
champ magnétique.
Ces techniques sont chères, incompatibles avec une démocratisation de la capture du mouvement, dont les applications sont pourtant nombreuses. De plus, elles nécessitent des experts pour leur mise en òuvre. De nombreuses recherches sont en cours pour remédier à ces inconvénients et proposer des systèmes
moins onéreux, fiables et faciles à utiliser.
Pour l'instant, les produits qui résultent de ces recherches sont rares. On peut néanmoins citer, parmi ces produits, le système de la Société Intersense, appelé " Inertiacube " (marque déposée). Ce système utilise neuf capteurs (" sensors "), à savoir trois accéléromètres, trois magnétomètres et trois gyromètres. Cependant, ce système ne donne pas satisfaction car il fonctionne sur un principe d'intégration des signaux. Or, on sait que les méthodes d'intégration sont extrêmement délicates à maîtriser car elles sont classiquement trop sensibles au bruit de mesure. l'usage, le système Inertiacube (marque déposée) montre ce handicap à travers une dérive sensible de la mesure, corrigée par recalage environ toutes les secondes. Ce système s'avère ainsi difficilement utilisable car il est n'est pas assez
fiable.
On se reportera en outre au document suivant [1] EP 1 089 215 A, " Optical sensing and
control of movements using multiple passive sensors ".
Ce document décrit une technique qui met en oeuvre uniquement des caméras pour reconstituer les six
paramètres d'un mouvement.
Cette technique nécessite des algorithmes complexes pour corriger une dérive systématique au
cours des mesures.
EXPOSE DE L'INVENTION
La présente invention a pour but de
remédier aux inconvénients précédents.
Selon un aspect de l'invention, on combine des mesures de translation sans intégration, effectuées avec des moyens optiques passifs, et des mesures de rotation également sans intégration, effectuées avec des capteurs appropriés. Aucune intégration n'est ainsi nécessaire. Selon un autre aspect de l'invention, on associe une ou plusieurs caméras vidéo et un ou plusieurs capteurs, du genre des accéléromètres ou des magnétomètres, on utilise les mesures effectuées avec ces capteurs en tant que mesures correctrices et l'on applique ces dernières aux mesures effectuées avec les caméras. Il convient de noter qu'un système multimodal, comprenant des accéléromètres et/ou des magnétomètres, est particulièrement bien adapté à la restitution des angles de rotation d'un solide autour de son centre de gravité. Néanmoins, il est plus difficile de mettre en oeuvre un tel système dans
l'intention de restituer les translations de ce solide.
Au contraire, un système fondé sur la vidéo est apte à estimer facilement des mouvements de translation, du moins de façon qualitative voire de
façon quantitative.
La présente invention tire parti de ces complémentarités pour proposer un dispositif permettant de capturer les rotations et les translations d'un solide, en vue de restituer ces rotations et translations. Il convient de distinguer le dispositif objet de l'invention d'un dispositif connu, dont la constitution ressemble à la sienne mais dont les
objectifs sont totalement différents.
Ce dispositif connu met en oeuvre une technique permettant de restituer la troisième
dimension dans une scène filmée par une caméra vidéo.
On utilise une seule caméra que l'on déplace pour engendrer une succession de points de vue différents
d'une même scène.
Il existe des logiciels contenant des algorithmes qui prennent en compte ces différents points de vue pour restituer cette troisième dimension de façon totale ou partielle. A titre d'exemple, la
Société Realviz commercialise de tels logiciels.
Dans certaines réalisations, la caméra peut être équipée d'un système de capture du mouvement. On obtient alors un dispositif qui ressemble à celui de la présente invention mais, en aucun cas, la sortie-image de la caméra n'est combinée à la sortie du système de
capture, contrairement à la présente invention.
La sortie de ce système est utilisée, dans les algorithmes, pour restituer la troisième dimension dans la scène vue par la caméra et non pas pour restituer les six degrés de liberté du mouvement de la caméra elle - même, le contenu de l'image dans ce cas
étant d'ailleurs sans importance.
Les objectifs de ce dispositif connu sont
donc totalement différents de ceux de l'invention.
De façon précise, la présente invention concerne un procédé de mesure du mouvement d'un solide, ce procédé étant caractérisé en ce que: - on rend rigidement solidaires du solide au moins un premier capteur apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur apte à mesurer une rotation, - on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, - on détermine, à l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et - on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux
premier et deuxième instants.
Selon un mode de mise en òuvre particulier de l'invention, la rotation du premier capteur est déterminée à l'aide du deuxième capteur et du premier
capteur.
Selon un premier mode de mise en oeuvre particulier du procédé objet de l'invention, - avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - on détermine ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première
image et de la deuxième image transformée.
Selon un deuxième mode de mise en oeuvre particulier du procédé objet de l'invention,la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en
négligeant, pour ce faire, cette rotation.
Selon un mode de mise en òuvre préféré du procédé objet de l'invention, on rend rigidement solidaires du solide plusieurs premiers capteurs et
plusieurs deuxièmes capteurs.
La présente invention concerne aussi un dispositif de mesure du mouvement d'un solide, ce dispositif étant caractérisé en ce qu'il comprend: - au moins un premier capteur, apte à observer une scène et à fournir une image de celle-ci, et - au moins un deuxième capteur apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide,- en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images
consécutives aient une partie de scène commune.
Le dispositif objet de l'invention peut comprendre en outre des moyens de traitement des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants. Selon un premier mode de réalisation particulier du dispositif objet de l'invention, avant de déterminer la translation, les moyens de traitement sont aptes à: - appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première
image et de la deuxième image transformée.
Selon un deuxième mode de réalisation particulier du dispositif objet de l'invention, la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième images, en négligeant, pour ce
faire, cette rotation.
Le dispositif objet de l'invention peut comprendre plusieurs premiers capteurs et plusieurs
deuxièmes capteurs.
De préférence, chaque premier capteur est
une caméra.
En outre, chaque deuxième capteur est de préférence choisi parmi les magnétomètres et les accéléromètres. Il convient de noter que l'on peut concevoir un dispositif conforme à l'invention, pourvu de caméras vidéo et de capteurs angulaires en nombre suffisant pour que le dispositif puisse continuer à fonctionner même si l'un de ses capteurs est déficient
ou si l'une de ses caméras est obstruée.
BREVE DESCRIPTION DES DESSINS
La présente invention sera mieux comprise à
la lecture de la description d'exemples de réalisation
donnés ci-après, à titre purement indicatif et nullement limitatif, en faisant référence aux des'sins annexés, sur lesquels: - la figure 1 est une vue en perspective schématique d'un premier mode de réalisation particulier du dispositif objet de l'invention, et - la figure 2 est une vue en perspective schématique d'un deuxième mode de réalisation
particulier de ce dispositif.
EXPOS D TAILL DE MODES DE R ALISATION PARTICULIERS
Dans des exemples de l'invention, on utilise une ou plusieurs caméras vidéo qui fonctionnent dans le domaine visible ou infrarouge. Le nombre de pixels de chaque caméra peut être très faible. Il vaut
par exemple 32x32.
En outre dans ces exemples, on utilise un ou plusieurs capteurs de positions angulaires, ou capteurs angulaires, chacun de ces capteurs étant capable de fournir une information d'inclinaison par rapport à au moins un axe de référence. Chaque capteur angulaire est par exemple un
accéléromètre ou un magnétomètre, voire un gyromètre.
L'axe de référence est par exemple un axe vertical, dans le cas d'un accéléromètre, ou la direction du nord
magnétique dans le cas d'un magnétomètre.
Ce capteur angulaire, qui est rendu rigidement solidaire de la caméra vidéo, permet donc de connaître l'orientation de cette dernière par rapport à
cet axe.
La détermination de la rotation peut être aussi réalisée en utilisant, en plus des informations provenant du capteur angulaire, celles provenant de la
caméra vidéo.
Si l'on utilise plusieurs capteurs angulaires à un seul axe de sensibilité (capteurs uniaxes) ou un capteur angulaire à plusieurs axes de sensibilité (capteur multi-axes), on dispose de plusieurs axes de sensibilité et l'on peut alors connaître les orientations respectives des divers axes de sensibilité par rapport à l'axe de référence
mentionné plus haut.
Si l'on utilise un capteur (accéléromètre ou magnétomètre) à trois axes de sensibilité orthogonaux (capteur tri-axe), on est alors capable de connaître les trois angles d'Euler associés au solide
portant la caméra vidéo.
Il faut remarquer que dans certaines applications, il n'est pas nécessaire de connaître tous les degrés de liberté: certains d'entre eux peuvent être figés par hypothèse ou compris dans une plage de valeurs réduite. L'invention pourra alors être simplifiée en utilisant un nombre restreint de capteurs. On peut mettre en oeuvre un calcul fondé sur la corrélation qui permet de calculer la direction de translation du solide (auquel sont fixés le ou les capteurs angulaires et la ou les caméras vidéo), voire la valeur de cette translation dans certains cas (à savoir en environnement calibré par exemple par
l'adjonction de mires dans la scène observée).
Ce calcul est alors adapté, comme on le verra plus loin, pour prendre en compte la donnée supplémentaire constituée par la connaissance de
l'orientation ou des orientations de la caméra vidéo.
Par exemple, l'image fournie par cette caméra vidéo peut subir une orientation préalable, dont la valeur est déduite de la rotation indiquée par le capteur angulaire, avant que cette image ne soit
soumise à la corrélation mentionnée plus haut.
Dans un exemple de l'invention, apte à fournir un grand nombre d'informations, jusqu'à trois valeurs de translation et trois valeurs de rotation, on utilise - un accéléromètre tri-axe, - un magnétomètre triaxe et - de une à six caméras vidéo dont les axes
optiques respectifs sont orthogonaux.
Dans ce cas, les trois axes de rotation de la caméra (ou de chaque caméra) sont pris en compte dans l'algorithme de corrélation entre images successives. Des informations quantitatives sont
également accessibles dans le cas de cet exemple.
Précisons ce que l'on entend par "axes
optiques orthogonaux".
Cette notion n'a de sens que si l'on utilise au moins deux caméras vidéo dont les axes
optiques, notés X et Y, sont alors orthogonaux.
Si l'on ajoute une troisième caméra vidéo, on la dispose de façon que son axe optique Z soit orthogonal à X et Y. Si l'on utilise en outre une quatrième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à X. Si l'on prévoit aussi une cinquième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Y. Si l'on utilise de plus une sixième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Z. La figure 1 est une vue en perspective schématique d'un exemple du dispositif objet de l'invention. Le dispositif de la figure 1 est destiné à
mesurer, ou capturer, le mouvement d'un solide 2.
Le dispositif comprend une caméra vidéo 4, un capteur angulaire 6, qui est un accéléromètre ou un magnétomètre, et des moyens électroniques 8 prévus pour mémoriser et traiter les informations ou signaux fournis par la caméra vidéo 4 et par le capteur angulaire 6 et pour mémoriser les résultats du traitement. Cette caméra vidéo et ce capteur angulaire sont fixés au solide 2 dont on veut mesurer le mouvement. Les moyens électroniques 8 peuvent être
solidaires, ou non, de ce solide 2.
La caméra vidéo, dont l'axe est noté X sur la figure 1, fonctionne dans le domaine visible ou dans le domaine infrarouge. A un instant donné, elle fournit une image d'une scène 10, c'est-à-dire d'une partie de l'environnement du solide 2, qui se trouve dans le
champ de cette caméra vidéo 4.
A l'aide de cette dernière, on enregistre des images à des instants successifs. On suppose que ces instants sont suffisamment rapprochés pour qu'une partie de la scène enregistrée dans une image se
retrouve aussi dans l'image suivante.
Plus précisément, les instants successifs délimitent des intervalles de temps et la durée de chacun de ces derniers est inférieure à une valeur prédéterminée, choisie pour que deux images
consécutives aient une partie de scène commune.
Ce choix dépend de la vitesse maximale que le solide 2 est susceptible d'atteindre, de la profondeur de champ de la scène observée et des
caractéristiques optiques de la caméra.
A titre purement indicatif et nullement limitatif, on choisit une valeur de 20ms ou 40ms, correspondant à la cadence standard d'acquisition d'une caméra, pour une vitesse maximale de lm/s, pour une profondeur de champ de quelques mètres et pour une
focale de quelques millimètres.
On connaît, en particulier par le document [l], des techniques permettant de retrouver le mouvement de la caméra vidéo. Lorsque ce mouvement inclut une rotation, ces techniques deviennent beaucoup plus complexes du point de vue des calculs et simultanément moins "robustes" c'est-à-dire moins
résistantes aux bruits des mesures.
La présente invention permet de remédier à ces inconvénients comme on le comprendra à la lumière
de ce qui suit.
Avec le dispositif de la figure 1, le
mouvement du solide est mesuré de la façon suivante.
Pour chaque intervalle de temps [tl;t2] délimité par des instants ti et t2, la caméra vidéo 4 fournit à l'instant tl (respectivement t2) une image il (respectivement i2) et le capteur angulaire 6 fournit
un angle al (respectivement a2).
Cet angle est l'angle formé, à cet instant, entre l'axe de sensibilité du capteur et une direction de référence, à savoir la direction verticale, dans le cas o le capteur est un accéléromètre, et la direction
du nord magnétique lorsque il s'agit d'un magnétomètre.
On sait qu'entre les instants tl et t2 le mouvement du solide 2 se décompose en une translation et une rotation. Conformément à l'invention, ce mouvement est déterminé de la façon suivante par les
moyens électroniques 8.
Dans une première étape, ces moyens électroniques 8 déterminent la rotation de la caméra vidéo 4, et donc celle du solide 2, entre les instants tl et t2, à partir des mesures fournies par le capteur angulaire 6 il s'agit d'une rotation dont l'angle vaut a2 - al. Dans une deuxième étape, ces moyens 8 déterminent une image transformée, résultant de la rotation d'angle a2 - al de l'image il, de sorte que cette image transformée est "alignée" avec l'image i2,
c'est-à-dire rendue parallèle à cette dernière.
En variante, les moyens 8 déterminent une image transformée en appliquant dans ce cas une rotation d'angle al - a2 à l'image i2 pour obtenir encore un alignement de l'image il et de cette image transformée. Dans une troisième étape, à partir des images ainsi alignées, les moyens électroniques 8 effectuent une corrélation classique pour déterminer la
translation du solide 2 entre les instants tl et t2.
On connaît ainsi le mouvement (translation
et rotation) du solide 2 entre ces instants.
En répétant les étapes mentionnées cidessus, on peut déterminer et mémoriser le mouvement du solide 2 pendant chaque intervalle de temps considéré et donc le mouvement de ce solide 2 entre l'instant
initial et l'instant final de son déplacement.
On indique ci-après les avantages du procédé et du dispositif qui ont été décrits en faisant
référence à la figure 1.
D'une part, les algorithmes sont simplifiés et consomment moins de puissance de calcul que dans
l'art antérieur.
D'autre part, le dispositif utilise seulement des composants qui sont disponibles à faible cot. En outre, le procédé ne nécessite aucune intégration mathématique, c'est-à-dire qu'il ne fonctionne pas à partir des dérivées première ou seconde de la trajectoire du solide, dérivées qu'il faut ensuite intégrer, ce qui est une source connue de dérive. Ce procédé est donc très résistant aux bruits de la mesure, ce qui est un avantage déterminant
par rapport aux techniques connues.
Dans une variante du procédé de mesure du mouvement d'un solide, que l'on a expliqué ci-dessus, il est possible d'utiliser une corrélation encore plus rapide pour retrouver la translation du solide entre
les instants tl et t2.
Pour ce faire, on remplace la corrélation bidimensionnelle classique, qui sert à déterminer la translation du solide, dans un plan perpendiculaire à l'axe optique X de la caméra, par deux corrélations unidimensionnelles des projections des deux images il et i2 d'abord sur un axe Xl puis sur un axe X2, Xl et X2 étant deux axes perpendiculaires du plan mentionné
ci-dessus (qui est perpendiculaire à l'axe X).
Le dispositif de la figure 1 permet la détermination quantitative, dans tout intervalle de temps considéré, de la translation du solide, parallèlement à un plan qui est perpendiculaire à l'axe optique de la caméra 4, et de la rotation de ce solide
autour de cet axe.
Ce dispositif ne comporte qu'une caméra vidéo de sorte que l'on ne peut mesurer facilement que deux composantes du vecteur de translation dans l'intervalle de temps considéré, à savoir les projections de ce
vecteur dans le plan-image de la caméra vidéo.
La troisième composante est théoriquement aussi accessible avec cette même caméra mais cela requiert des traitements du signal qui sont complexes et peu robustes. Pour mesurer complètement et de façon robuste la translation du solide, il faut fixer sur ce dernier, en plus de la caméra vidéo 4, au moins une voire deux autres caméras vidéo 4a et 4b dont les axes optiques respectifs Y et Z définissent un trièdre trirectangle avec l'axe X, afin d'obtenir les trois composantes du vecteur de translation dans l'intervalle de temps
considéré.
De même, le capteur angulaire du dispositif de la figure 1, permet seulement de déterminer deux angles de rotation de l'axe optique X de la caméra vidéo 4 (capteur uni-axe), d'o une détermination seulement partielle de la rotation de cette caméra, et donc du
solide 2, pendant l'intervalle de temps considéré.
Pour mesurer complètement la rotation du solide, il faut utiliser au moins un capteur angulaire tri-axe 7 (ou au moins trois capteurs angulaires uni-axes), à la place du capteur uni-axe 6, afin d'obtenir trois angles de rotation du solide 2 pendant l'intervalle de temps considéré et pouvoir faire la rotation d'image
mentionnée plus haut pour chaque caméra vidéo utilisée.
Le mouvement du solide 2 est alors mesuré de la
façon exposée ci-après.
Pour chaque intervalle de temps [tl;t2] et chacune des trois caméras vidéo, on acquiert à l'instant tl (respectivement t2) l'image il (respectivement i2) et l'angle al ou bl ou cl (respectivement a2 ou b2 ou c2) entre l'axe de sensibilité associé à cette caméra et
l'axe de référence.
On détermine alors les trois angles de rotation de cette caméra (première étape), on applique successivement les trois rotations correspondantes à l'image il ou les rotations inverses à l'image i2 (deuxième étape) et, ces images étant alors " alignées ", on effectue une corrélation classique pour déterminer la composante du vecteur de translation, qui est associée à la caméra considérée
(troisième étape).
On détermine ainsi qualitativement la translation (c'est-à-dire les trois composantes du vecteur de translation) et quantitativement la rotation du solide 2 pour chaque intervalle de temps et donc pour la
réunion de ces intervalles.
Les trois caméras vidéo mentionnées plus haut peuvent être respectivement fixées sur les trois faces d'un trièdre, dans le cas o le solide comporte
un tel trièdre.
Dans l'exemple de la figure 2, le solide 12 a la forme d'un cube et six caméras vidéo 18a, 18b, a, 20b, 22a et 22b) sont respectivement fixées sur
les six faces de ce cube.
On note x, y et z des axes du cube, tels que chacun de ces axes passe par les centres de deux faces opposées du cube et soit perpendiculaire à ces
deux faces.
Ces dernières portent deux des caméras dont les axes optiques concident avec l'axe x ou y ou z
associé à ces faces.
Comme on le voit, les axes x, y et z sont respectivement associés aux couples 18a-18b, 20a-20b et
22a-22b de caméras vidéo.
En outre, on fixe plusieurs capteurs angulaires sur le solide 12, par exemple un accéléromètre 24 ayant trois axes de sensibilité et un
magnétomètre 26 ayant aussi trois axes de sensibilité.
L'intérêt d'utiliser à la fois cet accéléromètre et ce magnétomètre est le suivant: on peut ainsi accéder à la mesure des trois degrés de liberté de rotation du solide de manière robuste et peu coteuse. De même, l'intérêt d'utiliser plus de trois caméras vidéo, à savoir six caméras dans l'exemple de la figure 2, est le suivant: le système devient alors
redondant et, de ce fait, encore plus robuste.
On précise que le dispositif de la figure 2 comprend encore des moyens électroniques de mémorisation et de traitement 28, aptes à mémoriser et traiter des signaux fournis par les caméras vidéo et les capteurs angulaires et à mémoriser les résultats du traitement. Considérons maintenant un autre exemple de l'invention. Supposons que le solide 12 (figure 2), dont on veut restituer le mouvement, soit affecté d'un mouvement de rotation autour de l'axe x (voir la figure 2), ce mouvement de rotation étant superposé à une
translation selon l'axe y (figure 2).
Les capteurs angulaires (c'est-à dire l'accéléromètre tri-axe 24 et le magnétomètre tri-axe
26) indiquent la rotation autour de l'axe x.
Si cette rotation est faible - ce qui est toujours possible en choisissant un intervalle de temps suffisamment petit entre deux mesures consécutives l'une des caméras vidéo dont l'axe optique concide avec l'axe z (figure 2) voit essentiellement la
translation imposée au solide 12.
Il n'est alors même plus nécessaire d'effectuer la rotation de l'image observée selon cet axe optique (deuxième étape dans l'algorithme mentionné plus haut). Les images fournies par cette caméra permettent d'obtenir directement la composante de
translation correspondante. On peut bien entendu appliquer ce traitement (négligence des rotations)
pour toutes les
caméras dont est pourvu le solide 12.
Dans l'exemple de la figure 2, les capteurs angulaires 24 et 26 sont fixés sur la même face du cube. Cependant, ces capteurs angulaires, qui sont mécaniquement solidaires des caméras vidéo, pourraient
être répartis sur le cube.
Le dispositif de la figure 2 présente
divers avantages.
Par rapport à un dispositif sur lequel on fixe seulement des caméras vidéo, le dispositif de la figure 2 est plus robuste c'est-à-dire résiste mieux
aux bruits des mesures.
En effet, une rotation par exemple autour de l'axe x se traduit par des translations apparentes sur les caméras dont les axes optiques concident respectivement avec les axes y et z. Il faut donc être à même de distinguer s'il s'agit d'une vraie translation ou d'une rotation. Cela se traduit par une complexification algorithmique, alors que l'un quelconque des capteurs angulaires fixés au solide 12
fournit cette information.
De plus, la redondance des informations fournies par plusieurs capteurs de natures différentes se traduit par une robustesse accrue. Ce point est capital pour la réalisation d'un dispositif destiné au grand public, qui doit fonctionner dans des
environnements très variables.
Claims (12)
1. Procédé de mesure du mouvement d'un solide (2, 12), ce procédé étant caractérisé en ce que: - on rend rigidement solidaires du solide au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, b, 22a, 22b) apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation, - on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, - on détermine, à l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et - on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux
premier et deuxième instants.
2. Procédé selon la revendication 1, dans lequel la rotation du premier capteur est déterminée à
l'aide du deuxième capteur et du premier capteur.
3. Procédé selon l'une quelconque des revendication 1 et 2, dans lequel avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - on détermine ensuite la translation du solide (2, 12) en fonction de la première image transformée et de la deuxième image ou en fonction de
la première image et de la deuxième image transformée.
4. Procédé selon l'une quelconque des
revendications 1 et 2, dans lequel la valeur
prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en négligeant, pour ce faire, cette rotation.
5. Procédé selon l'une quelconque des
revendications 1 à 4, dans lequel on rend rigidement
solidaires du solide (2, 12) plusieurs premiers capteurs (4, 4a, 4b, 18a, 18b-,---2-Oa, 2-Ob, 22-a, 22b) et
plusieurs deuxièmes capteurs (7, 24, 26).
6. Dispositif de mesure du mouvement d'un solide (2, 12), ce dispositif étant caractérisé en ce qu'il comprend: - au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b), apte à observer une scène et à fournir une image de celle-ci, et - au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide, en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de
scène commune.
7. Dispositif selon la revendication 6, comprenant en outre des moyens de traitement (8, 28) des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide (2, 12), entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux
premier et deuxième instants.
8. Dispositif selon la revendication 7, dans lequel, avant de déterminer la translation, les moyens de traitement (8, 28) sont aptes à: - appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première
image et de la deuxième image transformée.
9. Dispositif selon la revendication 7, dans lequel la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième
images, en négligeant, pour ce faire, cette rotation.
10. Dispositif selon l'une quelconque des
revendications 6 à 9, comprenant plusieurs premiers
capteurs (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) et
plusieurs deuxièmes capteurs (7, 24, 26).
11. Dispositif selon l'une quelconque des
revendications 6 à 10, dans lequel chaque premier
capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) est
une caméra.
12. Dispositif selon l'une quelconque des
revendications 6 à 11, dans lequel chaque deuxième
capteur (6, 7, 24, 26) est choisi parmi les
magnétomètres et les accéléromètres.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0214883A FR2847689B1 (fr) | 2002-11-27 | 2002-11-27 | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire |
| AU2003294084A AU2003294084A1 (en) | 2002-11-27 | 2003-11-25 | Method and device for capturing the movement of a solid using at least one camera and one angular sensor |
| PCT/FR2003/003484 WO2004051391A2 (fr) | 2002-11-27 | 2003-11-25 | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0214883A FR2847689B1 (fr) | 2002-11-27 | 2002-11-27 | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2847689A1 true FR2847689A1 (fr) | 2004-05-28 |
| FR2847689B1 FR2847689B1 (fr) | 2005-01-21 |
Family
ID=32241670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0214883A Expired - Fee Related FR2847689B1 (fr) | 2002-11-27 | 2002-11-27 | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire |
Country Status (3)
| Country | Link |
|---|---|
| AU (1) | AU2003294084A1 (fr) |
| FR (1) | FR2847689B1 (fr) |
| WO (1) | WO2004051391A2 (fr) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1972363A3 (fr) * | 2005-08-22 | 2008-10-08 | Nintendo Co., Limited | Dispositif d'exploitation de jeu |
| US7460975B2 (en) | 2003-12-22 | 2008-12-02 | Commissariat A L'energie Atomique | Method of sensing the motion of a solid, using an absolute measurement that is associated with a measurement calculated by double integration |
| EP2058036A1 (fr) | 2005-08-22 | 2009-05-13 | Nintendo Co., Limited | Dispositif d'opération de jeu |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
| US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
| US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
| US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
| US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
| US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US7796116B2 (en) | 2005-01-12 | 2010-09-14 | Thinkoptics, Inc. | Electronic equipment for handheld vision based absolute pointing system |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| JP4907129B2 (ja) * | 2005-09-01 | 2012-03-28 | 任天堂株式会社 | 情報処理システムおよびプログラム |
| US8708822B2 (en) | 2005-09-01 | 2014-04-29 | Nintendo Co., Ltd. | Information processing system and program |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| JP4530419B2 (ja) | 2006-03-09 | 2010-08-25 | 任天堂株式会社 | 座標算出装置および座標算出プログラム |
| JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
| JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
| GB2439553A (en) * | 2006-06-01 | 2008-01-02 | New Concept Gaming Ltd | Video game control based on sensed gross body movements and a direction sensor |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| JP5127242B2 (ja) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| JP5224832B2 (ja) | 2008-01-21 | 2013-07-03 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5181181A (en) * | 1990-09-27 | 1993-01-19 | Triton Technologies, Inc. | Computer apparatus input device for three-dimensional information |
| EP1089215A1 (fr) * | 1999-09-14 | 2001-04-04 | Mitsubishi Denki Kabushiki Kaisha | Détection optique et commande de mouvements par plusieurs capteurs passifs |
-
2002
- 2002-11-27 FR FR0214883A patent/FR2847689B1/fr not_active Expired - Fee Related
-
2003
- 2003-11-25 AU AU2003294084A patent/AU2003294084A1/en not_active Abandoned
- 2003-11-25 WO PCT/FR2003/003484 patent/WO2004051391A2/fr not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5181181A (en) * | 1990-09-27 | 1993-01-19 | Triton Technologies, Inc. | Computer apparatus input device for three-dimensional information |
| EP1089215A1 (fr) * | 1999-09-14 | 2001-04-04 | Mitsubishi Denki Kabushiki Kaisha | Détection optique et commande de mouvements par plusieurs capteurs passifs |
Non-Patent Citations (2)
| Title |
|---|
| AZUMA R ET AL: "Tracking in unprepared environments for augmented reality systems", COMPUTERS AND GRAPHICS, PERGAMON PRESS LTD. OXFORD, GB, vol. 23, no. 6, December 1999 (1999-12-01), pages 787 - 793, XP004187823, ISSN: 0097-8493 * |
| YOU S ET AL: "HYBRID INERTIAL AND VISION TRACKING FOR AUGMENTED REALITY REGISTRATION", PROCEEDINGS IEEE 1999 VIRTUAL REALITY. HOUSTON, TX, MARCH 13 - 17, 1999, PROCEEDINGS IEEE VIRTUAL REALITY.(VR), NEW YORK, NY: IEEE, US, 13 March 1999 (1999-03-13), pages 260 - 267, XP000887668, ISBN: 0-7803-5559-9 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7460975B2 (en) | 2003-12-22 | 2008-12-02 | Commissariat A L'energie Atomique | Method of sensing the motion of a solid, using an absolute measurement that is associated with a measurement calculated by double integration |
| EP1972363A3 (fr) * | 2005-08-22 | 2008-10-08 | Nintendo Co., Limited | Dispositif d'exploitation de jeu |
| EP1985343A3 (fr) * | 2005-08-22 | 2009-04-22 | Nintendo Co., Limited | Dispositif d'exploitation de jeu |
| EP2058036A1 (fr) | 2005-08-22 | 2009-05-13 | Nintendo Co., Limited | Dispositif d'opération de jeu |
| EP2263765A1 (fr) * | 2005-08-22 | 2010-12-22 | Nintendo Co., Ltd. | Dispositif d'opération de jeu |
| US9700806B2 (en) | 2005-08-22 | 2017-07-11 | Nintendo Co., Ltd. | Game operating device |
| US10155170B2 (en) | 2005-08-22 | 2018-12-18 | Nintendo Co., Ltd. | Game operating device with holding portion detachably holding an electronic device |
| US10238978B2 (en) | 2005-08-22 | 2019-03-26 | Nintendo Co., Ltd. | Game operating device |
| EP1972363B2 (fr) † | 2005-08-22 | 2019-08-21 | Nintendo Co., Ltd. | Dispositif d'exploitation de jeu |
| US10661183B2 (en) | 2005-08-22 | 2020-05-26 | Nintendo Co., Ltd. | Game operating device |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003294084A1 (en) | 2004-06-23 |
| FR2847689B1 (fr) | 2005-01-21 |
| WO2004051391A3 (fr) | 2004-07-15 |
| WO2004051391A2 (fr) | 2004-06-17 |
| AU2003294084A8 (en) | 2004-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2847689A1 (fr) | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire | |
| EP1984696B1 (fr) | Dispositif de capture de mouvement et procede associe | |
| EP1990138B1 (fr) | Procédé de traitement pour la capture de mouvement d'une structure articulée | |
| EP2718670B1 (fr) | Procede d'estimation simplifie de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede | |
| US6094215A (en) | Method of determining relative camera orientation position to create 3-D visual images | |
| EP2459966B1 (fr) | Procede d'estimation de l'orientation d'un solide en mouvement | |
| FR2838185A1 (fr) | Dispositif de capture des mouvements de rotation d'un solide | |
| EP2428934B1 (fr) | Procédé d'estimation du mouvement d'un porteur par rapport à un environnement et dispositif de calcul pour système de navigation | |
| EP2400460A1 (fr) | Procédé d'évaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopiloté | |
| EP2313739A1 (fr) | Procede d'estimation ameliore de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede | |
| FR2960082A1 (fr) | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position | |
| EP2111605B1 (fr) | Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel | |
| WO2015071457A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
| EP1969314B1 (fr) | Procede d'estimation d'un mouvement d'un solide | |
| WO2015071458A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
| FR2972250A1 (fr) | Procede de mesure de la stabilite d'une ligne de visee et senseur stellaire associe | |
| EP0781396B1 (fr) | Procede de correlation des mesures tridimensionnelles realisees par des systemes d'acquisition d'images et installation pour sa mise en oeuvre | |
| WO2005064271A1 (fr) | Procede de capture du mouvement d'un solide, utilisant une mesure absolue associee a une mesure par double integration | |
| EP3655725A1 (fr) | Procédé d'estimation du mouvement d'un objet évoluant dans un environnement et un champ magnétique | |
| FR2973108A1 (fr) | Procede pour actualiser une valeur d'orientation par rapport au nord ou pour ameliorer l'initialisation d'une telle valeur dans un appareil comprenant un capteur d'image | |
| EP4341897A1 (fr) | Procédé et dispositif de traitement d'une séquence d'images pour la détermination de vignettes poursuivies dans ladite séquence d'images | |
| FR3028128A1 (fr) | Procede de calibration d'un systeme de visee | |
| WO2024194538A1 (fr) | Procede et dispositif d'enrichissement d'une image d'une scene, au sein d'un appareil utilisateur | |
| WO2007066002A1 (fr) | Procede de mise en correspondance d'images stéréoscopiques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20060731 |