EP1910915A2 - Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication - Google Patents

Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication

Info

Publication number
EP1910915A2
EP1910915A2 EP06794241A EP06794241A EP1910915A2 EP 1910915 A2 EP1910915 A2 EP 1910915A2 EP 06794241 A EP06794241 A EP 06794241A EP 06794241 A EP06794241 A EP 06794241A EP 1910915 A2 EP1910915 A2 EP 1910915A2
Authority
EP
European Patent Office
Prior art keywords
movement
image
images
apparent movement
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06794241A
Other languages
German (de)
English (en)
Inventor
Antoine Martin
Gilles Rochefort
Martin Lefebure
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Real Eyes 3D SA
Original Assignee
Real Eyes 3D SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0508188A external-priority patent/FR2889324B1/fr
Application filed by Real Eyes 3D SA filed Critical Real Eyes 3D SA
Publication of EP1910915A2 publication Critical patent/EP1910915A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the present invention relates to a method for controlling an interface using a camera equipping a communication terminal.
  • This interface can be graphic (control of the display on a screen) or audio (control of the sound emitted by the speakers of the equipment) or both simultaneously (control of a video).
  • This method applies in particular, but not exclusively, to the real-time calculation of an apparent movement using a camera equipping a communication terminal, to the interpretation of this apparent movement in user commands, then to the modification of the resulting interface.
  • communication terminals are increasingly carrying rich multimedia content. Not only do the terminals offer a greater diversity of media, but also the size of these continues to grow; the images are bigger and bigger and the texts stored more and more important. Due to the small size of most communication terminals, the capabilities of the display or command entry devices are limited. This has the immediate consequence of considerably increasing the graphical interfaces of these terminals. For example, images or text should be displayed partially to maintain comfortable readability. Thus, moving the image or text requires frequent support of several keys. Similarly, the scroll control of an audio or video file is reduced to the use of the keys of the keyboard or remote control which does not allow great freedom of light, sound or video effects such as mixing, adding percussion effects, or other superimposed audio or video effects.
  • the number of presses on the keys quickly becomes prohibitive and prohibitive for a user; also include, but not limited to, adjusting brightness levels, contrast levels, volume levels, navigating a menu or set of icons, moving a graphical pointer, scrolling text or an image, the change of scale at which an image or text is displayed, the triggering and moving in a tape or an audio or video file, the scrolling of a soundtrack at different speeds or the control of video games. 'action.
  • the movement of the communication terminal can be obtained by means of specific sensors embedded in the terminal. These sensors are traditionally accelerometers, or gyroscopes. These often make it possible to absolutely reference the position or orientation of the terminal in space. However, these sensors pose integration problems in increasingly smaller terminals and induce an over-cost of production. Moreover, their accuracy does not always allow a fine control of the interface by movements of very low amplitude.
  • motion information can be calculated using a camera observing a textured and illuminated flat surface.
  • the difficulty of calculating this motion information becomes insurmountable when the camera, equipping a communication terminal, observes any scene without illumination constraint.
  • the method according to the invention comprises the following steps:
  • Indirect methods compute motion in three steps: (i) extraction of primitives (corners, regions, etc.), (ii) matching of primitives on several images, (iii) adjustment of the parametric model.
  • the delicate points of these methods concern the choice of primitives to extract, their numbers, and also the rejection of false matches. These methods make it possible to find movements of great amplitude if certain primitives can be matched between the successive images. Nevertheless, each of these steps can be expensive both in terms of calculation complexity and memory occupation. As a result, these methods do not seem appropriate for applications embedded on terminals whose resources in memory and computing power are limited, whose cameras have a low resolution in preview mode.
  • the method according to the invention proposes to pretreat the images by reducing them by a factor / predetermined.
  • the method according to the invention comprises a pretreatment of the images by histogram equalization to be reduced to a series of images whose intensity levels are then normalized.
  • the invention proposes to preprocess them by reducing the number of levels of representation of the intensities of colors.
  • the method according to the invention is intended in particular to overcome this drawback by performing the calculation of the apparent movement with the aid of two successive images possibly pre-processed as follows:
  • a recalibrated image is calculated using a first unreduced image and gross motion
  • the apparent motion is calculated by adding coarse movement and residual motion.
  • the method according to the invention proposes that the calculation of an apparent movement of translation m is carried out using two images /; and I ⁇ , and includes the following steps:
  • the calculation can provide an apparent motion that is noise-corrupted, or that may have outliers.
  • the filtering of the apparent movement may then consist in canceling each of its components if it is, in absolute value, less than a predetermined threshold and, in other cases, decreasing or increasing it by the same threshold .
  • a non-limiting example of such a filter, in the case of translation, is given by the following formula:
  • the filtering may consist in imposing an upper bound and a lower bound for each of its components.
  • the displacement of the graphic elements or the adjustment of the sound or light level or contrast, or the scrolling of the audio or video file will be proportional to the apparent movement calculated, with a gain possibly proportional to this apparent movement.
  • the present invention also proposes that the apparent movement be interpreted into commands of the graphic and / or audio and / or video interface according to the application context and / or the simultaneous pressing on one or more keys of the keyboard by the user.
  • the different control modes of the graphic interface according to the invention relate to:
  • the different modes of control of the audio interface according to the invention relate to:
  • the graphic and / or audio and / or video elements that can be controlled in this way can consist of:
  • an apparent movement in a certain direction may be interpreted as a forward zooming control, and as a zooming out command in the opposite direction.
  • an apparent movement in a certain direction may be interpreted as a graphical and / or audio and / or video element displacement control in the same direction or in the opposite direction.
  • Apparent movement in a certain direction may be interpreted as a graphical element rotation control in a certain direction and in the opposite direction when the filtered apparent movement is of opposite direction.
  • Apparent movement in a certain direction may be interpreted as a command to increase the sound or light level or contrast and to reduce the sound or light level or contrast when the filtered apparent movement is in opposite direction.
  • the method according to the invention can also be used to control graphical and / or audio and / or video elements of another terminal connected by wire or air (via Infrared, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA or W-CDMA or Internet) to the communication terminal performing the measurement of the apparent movement.
  • An application of this method could therefore consist in controlling the graphic pointer of a pc or another terminal from a communication terminal equipped with an integrated camera.
  • the method according to the invention also makes it possible to take into account other user inputs in combination with the apparent movement such as voice commands, commands received from an external keyboard or another physically connected terminal or by Infrared, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA or W-CDMA or Internet. It is also possible with this invention to adjust the levels and contrasts sound and light, trigger a sound, a series of sounds, scrolling an audio or video file, fast scrolling in one direction or the other d 'an audio or video file, produce sound or image overlay effects or' mix 'effects of sound thanks to the voluntary or involuntary movement of the user of the equipment.
  • Figure 1 is a schematic representation of a system for controlling the graphical interface and / or audio and / or video of a communication terminal using a camera equipping the same terminal;
  • FIG. 2 is a schematic representation of a system allowing control of the graphic and / or audio and / or video interface of a laptop or desktop, another communication terminal or any other device connected through a local network or even the Internet, using a camera equipping a communication terminal.
  • the system for carrying out the method according to the invention involves a device integrating at least one graphic display (A), a central unit (U), a memory (M), a camera (C), a keyboard (T), a loudspeaker (X), communication means (G) and possibly wired or overhead interfaces (E) with other devices.
  • A graphic display
  • U central unit
  • M memory
  • C camera
  • T keyboard
  • X loudspeaker
  • G possibly wired or overhead interfaces
  • E possibly wired or overhead interfaces
  • the system for carrying out the method according to the invention involves, in addition to the elements already described in FIG. 1, several other devices such as a portable or office computer (D). , another communication terminal (P), or any device connected through a local area network or even the Internet (I), whose graphic and / or audio and / or video interface can thus be controlled at distance.
  • a portable or office computer D
  • P another communication terminal
  • I Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Dans le but d'effectuer le contrôle d'une interface graphique, audio et/ou vidéo, à l'aide d'une caméra équipant un terminal de communication, le procédé selon l'invention comprend l'acquisition et/ou la mémorisation d'une première image, l'acquisition et la mémorisation d'une nouvelle image, le calcul du mouvement apparent par mise en correspondance des deux images, l'interprétation, selon un mode de contrôle prédéterminé, du mouvement apparent, en commandes utilisateur, le stockage dans une mémoire dudit terminal des commandes utilisateur, la modification de l'affichage ou du son du terminal conformément aux commandes utilisateur et l'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu ou de déclenchement ou de défilement d'un fichier audio ou vidéo, ou le déclenchement d'une superposition de son au-dessus d'une piste sonore, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.

Description

PROCEDE POUR LE CONTROLE D'UNE INTERFACE A L'AIDE D'UNE CAMERA EQUIPANT UN TERMINAL DE COMMUNICATION.
La présente invention concerne un procédé pour le contrôle d'une interface à l'aide d'une caméra équipant un terminal de communication. Cette interface peut être graphique (contrôle de l' affichage sur un écran) ou audio (contrôle du son émis par les haut parleurs de l'équipement) ou des deux simultanément (contrôle d'une vidéo).
Ce procédé s'applique notamment, mais non exclusivement, au calcul en temps réel d'un mouvement apparent à l'aide d'une caméra équipant un terminal de communication, à l'interprétation de ce mouvement apparent en commandes utilisateur, puis à la modification de l'interface qui en résulte.
Le procédé selon l'invention est particulièrement adapté aux terminaux de communication disposant de ressources limitées tant en puissance de calcul qu'en capacité mémoire.
Ce procédé peut se substituer à ou compléter avantageusement certaines séquences répétitives d'appui sur les touches d'un terminal. Le terminal peut être un terminal de communication, un ordinateur ou un terminal audio ou vidéo (chaîne Hi-Fi, lecteur vidéo).
Suite à l'évolution des besoins et de la technologie, il est intéressant de constater que les terminaux de communication embarquent de plus en plus de contenu multimédia riche. Non seulement les terminaux proposent une plus grande diversité de média, mais également la taille de ceux-ci ne cesse d'augmenter ; les images sont de plus en plus grandes et les textes stockés de plus en plus importants. De par la faible taille de la plupart des terminaux de communication, les capacités de l'affichage ou des dispositifs d'entrée de commandes sont limitées. Ceci a pour conséquence immédiate d'alourdir considérablement les interfaces graphiques de ces terminaux. Par exemple, les images ou les textes doivent être affichés partiellement pour conserver une lisibilité confortable. Ainsi, le déplacement de l'image ou du texte nécessite l'appui fréquent de plusieurs touches. De même, le contrôle de défilement d'un fichier audio ou vidéo est réduit à l'utilisation des touches du clavier ou de télécommande ce qui ne permet pas de grande liberté d'effets lumineux, sonores ou vidéo tels que mixage, l'ajout d'effets de percussion, ou d'autres effets audio ou vidéo superposés.
Dans de très nombreux cas, le nombre d'appuis sur les touches devient rapidement prohibitif et rédhibitoire pour un utilisateur ; citons également et de manière non exclusive le réglage de niveaux de luminosité, de contraste, de volume sonore, la navigation dans un menu ou un ensemble d'icônes, le déplacement d'un pointeur graphique, le défilement d'un texte ou d'une image, le changement d'échelle à laquelle est affichée une image ou un texte, le déclenchement et le déplacement dans une bande ou un fichier audio ou vidéo, le défilement d'une bande son à différentes vitesses ou encore le contrôle de jeux d'action.
On sait que l'entrée de commandes utilisateur par de simples mouvements volontaires du terminal de communication peut avantageusement remplacer certaines séquences répétitives d'appui sur des touches. Notamment, ce principe rend possible l'emploi de commandes proportionnelles au déplacement du terminal, offrant une forme de rétro-contrôle favorable à une meilleure interaction entre l'utilisateur et le terminal, et donc à un plus grand confort d'utilisation et un contrôle plus précis. Par ailleurs, l'utilisation de commandes formées par des mouvements volontaires du terminal de communication offre de nouvelles perspectives. Cette nouvelle entrée utilisateur peut avantageusement être utilisée en conjonction avec d'autres terminaux. Par exemple, ce procédé permet de contrôler le pointeur graphique d'un ordinateur de bureau ou de contrôler le volume, le contraste, l'intensité, le défilement d'un fichier audio ou vidéo sur un équipement tel que chaîne Hi-Fi ou lecteur vidéo, grâce aux mouvements du terminal de communication. De même, des événements extérieurs peuvent influencer le terminal de communication dans son interprétation du mouvement apparent en commandes; citons à cet effet comme exemples et de manière non-exhaustive, une communication entrante qui inhibe le procédé afin de pouvoir prendre cette communication, ou encore un jeu en réseau prenant en compte les actions des autres joueurs.
Le mouvement du terminal de communication peut être obtenu par l'intermédiaire de capteurs spécifiques embarqués dans le terminal. Ces capteurs sont traditionnellement des accéléromètres, ou des gyroscopes. Ceux-ci permettent bien souvent de référencer de manière absolue la position ou l'orientation du terminal dans l'espace. Toutefois, ces capteurs posent des problèmes d'intégration dans des terminaux de plus en plus réduits et induisent un sur-coût de production. Par ailleurs, leur précision ne permet pas toujours un contrôle fin de l'interface par des mouvements de très faible amplitude.
Or les terminaux de communication sont de plus en plus nombreux à intégrer une caméra. Il est alors légitime de vouloir utiliser cette caméra intégrée pour obtenir des informations de mouvement du terminal.
Il est connu que des informations de mouvement peuvent être calculées à l'aide d'une caméra observant une surface plane texturée et illuminée. Cependant, la difficulté de calculer ces informations de mouvement devient insurmontable lorsque la caméra, équipant un terminal de communication, observe une scène quelconque sans contrainte d'illumination.
Une première difficulté est que la caméra équipant un terminal de communication n'observe généralement pas une surface plane ni même un seul objet, et donc que le mouvement observé résulte des mouvements de la caméra et des objets présents. Le calcul du mouvement tridimensionnel de la caméra avec pour seule information une séquence d'image quelconque est pour une large part encore un problème ouvert, où la plupart des difficultés restent entières. Il n'est donc pas envisageable, dans l'état actuel des connaissances, de restituer a posteriori tous les mouvements du terminal seulement à partir des images acquises par la caméra. Une deuxième difficulté importante est que Pillumination de la scène n'étant pas maîtrisable par le dispositif, même en utilisant un flash, les intensités de couleur des textures enregistrées dans les images de la caméra varient de manière imprévisible dans les images successives. Ceci interdit alors l'emploi des techniques bien connues de calcul du mouvement apparent basées sur la constance des intensités de couleurs des textures observées.
La présente invention a pour but de remédier à ces inconvénients et de permettre le calcul du mouvement apparent en temps réel à l'aide des images issues de la caméra, puis d'interpréter ce mouvement apparent en commandes utilisateur. Ce type de système peut-être avantageusement utilisé lorsqu'on souhaite naviguer dans un menu, déplacer une image ou un texte, ou pour positionner un pointeur graphique, ou bien encore lorsque l'on joue à des jeux nécessitant de commander un mouvement dans plusieurs directions simultanément et intuitivement, ou bien pour contrôler le volume sonore, le contraste sonore ou lumineux, l'intensité lumineuse, le défilement d'un fichier audio ou vidéo ou pour ajouter des effets sonores en superposition au fichier audio ou des effets de mixage de bandes sonores ou multimédia.
Ainsi, le procédé selon l'invention comprend les étapes suivantes :
- l'acquisition d'une première image qu'on mémorise, ou bien la mémorisation d'au moins une image déjà acquise et éventuellement prétraitée.
- l'acquisition et la mémorisation d'une nouvelle image et la suppression éventuelle des images inutiles de la mémoire.
- le prétraitement de la nouvelle image et éventuellement de celles précédemment mémorisées.
- le calcul du mouvement apparent à l'aide des images prétraitées et d'une technique de mise en correspondance des images.
- Le filtrage du mouvement apparent en amplitude et/ou temporellement.
- L'interprétation, selon un mode de contrôle prédéterminé, du mouvement apparent en commandes utilisateur.
- Le stockage dans une mémoire dudit terminal et/ou la transmission à destination d'un second terminal, des commandes utilisateur. - la modification de l'affichage ou du son du terminal et/ou d'un second terminal conformément aux commandes utilisateur.
- L'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu, ou de déclenchement ou de défilement d'un fichier audio ou vidéo, ou le déclenchement d'une superposition de son au dessus d'une piste sonore, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.
Le calcul du mouvement apparent est un problème largement traité dans la littérature, dont on peut notamment trouver une synthèse exhaustive dans les articles des revues Brown, LG. , A survey of Image Registration Techniques, 1992, et Zitova et Flusser, Image Registration Methods : a survey, 2003.
En dehors du calcul d'un mouvement dense qui est n'est pas pertinent dans notre cas où une seule information de mouvement est nécessaire, nous relevons deux approches principales pour le calcul du mouvement apparent à l'aide de modèles paramétriques : une approche indirecte qui consiste à mettre en correspondance des primitives issues des images; et une approche directe qui exploite l'équation de conservation du flux optique, décrite dans Horn et Schunck, Determining Optical Flow, 1981. Cette dernière approche très répandue prend pour postulat que toute variation d'intensité des images au cours du temps, est uniquement due au déplacement d'un objet, dont l'intensité perçue est supposée constante dans les images successives, ou du point d'observation de la scène.
Les méthodes indirectes procèdent au calcul du mouvement en trois étapes : (i) extraction des primitives (coins, régions, etc.), (ii) appariement des primitives sur plusieurs images, (iii) ajustement du modèle paramétrique. Les points délicats de ces méthodes portent sur le choix des primitives à extraire, de leurs nombres, et aussi sur le rejet des faux appariements. Ces méthodes permettent de retrouver des mouvements de grande amplitude si certaines primitives peuvent être appariées entre les images successives. Néanmoins, chacune de ces étapes peut s'avérer coûteuse aussi bien en terme de complexité de calcul qu'en occupation mémoire. En conséquence, ces méthodes ne semblent pas indiquées dans le cadre d'applications embarquées sur des terminaux dont les ressources en mémoire et en puissance de calcul sont limitées, dont les caméras ont une faible résolution en mode prévisualisation.
Les méthodes directes calculent le mouvement à partir des intensités de l'image. Le calcul du mouvement dense est un problème sous-déterminé qui nécessite l'ajout d'une contrainte supplémentaire. Par exemple, l'estimation d'un champ de déplacement dense s'effectue à l'aide d'un a priori de régularité comme dans Horn et Schunck, Determining Optical Flow, 1981, ou d'une contrainte d'uniformité locale comme dans Lucas et Kanade, An Itérative Image Registration Technique with an Application to Stereo Vision, 1981. En cherchant un mouvement décrit à l'aide d'un modèle paramétrique global, comme c'est décrit dans Bergen et al, Hierarchical model-based motion estimation, 1992, nous introduisons une contrainte suffisante sur le champ de déplacement.
Pour calculer le mouvement entre deux images, on cherche les paramètres du modèle de mouvement qui minimisent un critère donné. Ce critère est le plus souvent un critère de type moindres carrés, et se calcule globalement sur l'ensemble des pixels de l'image. Il est également possible de généraliser ce critère à l'aide d'une norme robuste de manière similaire à celle décrite dans Odobez et Bouthemy, Robust Multiresolution Estimation of Parametric Motion Models, 1995. Cependant, la minimisation d'un tel critère devient itérative et lourde en terme de coût de calcul.
Il est connu que les techniques de calcul directes ne permettent pas d'estimer des mouvements de fortes amplitudes et cela malgré l'emploi de techniques multi- échelles comme dans Burt et Adelson, The laplacian pyramid as a compact image code, 1983.
Pour remédier à ces inconvénients et ainsi réduire le temps de calcul et calculer des mouvements apparents de grande amplitude, le procédé selon l'invention propose de prétraiter les images en les réduisant d'un facteur /prédéterminé.
Comme expliqué plus haut, en raison des changements fréquents et imprévisibles des conditions d'éclairement de la scène et du contrôle automatique de la balance des blancs de la caméra, les intensités de couleur des textures enregistrées dans les images varient dans les images successives. Or les méthodes directes basées sur les différences d'intensités des images y sont très sensibles et peuvent alors fournir des résultats approximatifs ou même aberrants.
Pour remédier à cet inconvénient, le procédé selon l'invention comprend un prétraitement des images par égalisation d'histogramme pour se ramener à une suite d'images dont les niveaux d'intensités sont alors normalisés.
De plus, les images acquises en mode économique par la caméra sont généralement de faible résolution et bruitées.
Pour supprimer cet inconvénient, l'invention propose de les prétraiter en réduisant le nombre de niveaux de représentation des intensités de couleurs.
Il est connu que les techniques multi-échelles posent le problème délicat de la propagation de l'information du mouvement d'une échelle à l'autre. Cependant, ces méthodes calculent un mouvement précis lorsqu'elles sont bien initialisées.
Le procédé selon l'invention a notamment pour but de remédier à cet inconvénient en effectuant le calcul du mouvement apparent à l'aide de deux images successives éventuellement prétraitées comme suit :
- On réduit les deux images d'un facteur/
- On calcule le mouvement grossier à l'aide des images précédemment réduites et on le multiplie par le facteur/
- On calcule une image recalée à l'aide d'une première image non réduite et du mouvement grossier
- On calcule le mouvement résiduel à l'aide de l'image recalée et de la seconde image non réduite
- On calcule le mouvement apparent par addition du mouvement grossier et du mouvement résiduel. Le procédé selon l'invention propose que le calcul d'un mouvement apparent de translation m s'effectue à l'aide de deux images /; et I∑, et comprend les étapes suivantes :
- le calcul d'un vecteur dont les composantes sont des sommes de produits des dérivées spatiales d'une première image par les différences d'intensité des deux images ;
- le calcul d'une matrice dont les coefficients sont des sommes de produits des dérivées spatiales d'une première image entre elles ;
- le calcul du déterminant et des cofacteurs de la matrice précédemment calculée ;
- le calcul des composantes du mouvement à l'aide du vecteur, du déterminant et des cofacteurs précédemment calculés.
En raison de la dégradation des images transmises par la caméra en mode d'acquisition économique, le calcul peut fournir un mouvement apparent qui est corrompu par du bruit, ou bien qui peut présenter des valeurs aberrantes.
Avantageusement, le filtrage du mouvement apparent pourra alors consister à annuler chacune de ses composantes si celle-ci est, en valeur absolue, inférieure à un seuil prédéterminé et, dans les autres cas, à la diminuer ou à l'augmenter de ce même seuil. Un exemple non limitatif d'un tel filtrage, dans le cas de la translation, est donné par la formule suivante :
m'= (mi',m2') = (sign^^.max^,! m^-s) , sign(ni2).max(0,| m2]-s)).
Avantageusement, pour filtrer les résultats aberrants du calcul du mouvement, le filtrage pourra consister à imposer une borne supérieure et une borne inférieure pour chacune de ses composantes.
Avantageusement, le déplacement des éléments graphiques ou le réglage du niveau sonore ou lumineux ou de contraste, ou le défilement du fichier audio ou vidéo se fera de manière proportionnelle au mouvement apparent calculé, avec un gain éventuellement proportionnel à ce mouvement apparent. La présente invention propose également que le mouvement apparent soit interprété en commandes de l'interface graphique et/ou audio et/ou vidéo selon le contexte applicatif et/ou l'appui simultané sur une ou plusieurs touches du clavier par l'utilisateur.
Les différents modes de contrôle de l'interface graphique selon l'invention concernent :
- le déplacement
- le changement d'échelle
- la rotation
- le défilement
- la navigation dans un menu
- la sélection et/ou la validation
- le niveau de luminosité ou de contraste
Les différents modes de contrôle de l'interface audio selon l'invention concernent :
- le volume sonore
- le contraste sonore
Les éléments graphiques et/ou audio et/ou vidéo pouvant être contrôlés de cette manière peuvent consister en :
- une image
- un texte ou un document
- un pointeur
- une zone de sélection
- un icône
- un menu
- une liste
- une bande sonore
- une vidéo Par exemple, un mouvement apparent dans une certaine direction pourra être interprété comme une commande de changement d'échelle par zoom avant, et comme une commande de changement d'échelle par zoom arrière dans la direction opposée. De même, un mouvement apparent dans une certaine direction pourra être interprété comme une commande de déplacement d'élément graphique et/ou audio et/ou vidéo dans la même direction ou dans la direction opposée. Un mouvement apparent dans une certaine direction pourra être interprété comme une commande de rotation d'élément graphique dans un certain sens et dans le sens contraire quand le mouvement apparent filtré est de direction opposée. Un mouvement apparent dans une certaine direction pourra être interprété comme une commande de d'augmentation du niveau sonore ou lumineux ou de contraste et de réduction du niveau sonore ou lumineux ou de contraste quand le mouvement apparent filtré est de direction opposée.
Le procédé selon l'invention peut également être utilisé pour contrôler des éléments graphiques et/ou audio et/ou vidéo d'un autre terminal connecté par voie filaire ou aérienne (via Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W- CDMA ou Internet) au terminal de communication réalisant la mesure du mouvement apparent. Une application de ce procédé pourrait donc consister au contrôle du pointeur graphique d'un pc ou d'un autre terminal à partir d'un terminal de communication équipé d'une caméra intégrée.
Avantageusement, le mouvement apparent pourra n'être calculé et interprété en commande utilisateur que lorsqu'une touche préalablement associée à un contrôle de l'interface est maintenue appuyée, et n'être plus ni calculé ni interprété en commande utilisateur si aucune de ces touches n'est appuyée.
Le procédé selon l'invention permet également de prendre en compte d'autres entrées utilisateur en combinaison avec le mouvement apparent comme les commandes vocales, les commandes reçues d'un clavier externe ou d'un autre terminal connecté physiquement ou par Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W-CDMA ou Internet. Il est également possible, avec cette invention de régler les niveaux et contrastes sonore et lumineux, de déclencher un son, une série de sons, le défilement d'un fichier audio ou vidéo, le défilement rapide dans un sens ou dans l'autre d'un fichier audio ou vidéo, produire des effets de superposition de sons ou d'images ou des effet de « mixage » de son grâce au mouvement volontaire ou involontaire de l'utilisateur de l'équipement.
Des modes d'exécution de l'invention seront décrits ci-après, à titre d'exemples non limitatifs, avec référence aux dessins annexés, dans lesquels :
La figure 1 est une représentation schématique d'un système permettant le contrôle de l'interface graphique et/ou audio et/ou vidéo d'un terminal de communication à l'aide d'une caméra équipant ce même terminal;
La figure 2 est une représentation schématique d'un système permettant le contrôle de l'interface graphique et/ou audio et/ou vidéo d'un ordinateur portable ou de bureau, un autre terminal de communication ou encore un quelconque dispositif relié au travers d'un réseau local ou même d'Internet, à l'aide d'une caméra équipant un terminal de communication.
Dans l'exemple présenté sur la Figure 1, le système pour la mise en œuvre du procédé selon l'invention fait intervenir un dispositif intégrant au minimum un affichage graphique (A), une unité centrale (U), une mémoire (M), une caméra (C), un clavier (T), un haut parleur (X), des moyens de communication (G) et éventuellement des interfaces filaires ou aériennes (E) avec d'autres dispositifs.
Dans l'exemple présenté sur la Figure 2, le système pour la mise en œuvre du procédé selon l'invention fait intervenir, en plus des éléments déjà décrits dans la Figure 1, plusieurs autres dispositifs comme un ordinateur (D) portable ou de bureau, un autre terminal de communication (P), ou encore un quelconque dispositif relié au travers d'un réseau local ou même d'Internet (I), dont l'interface graphique et/ou audio et/ou vidéo peut être ainsi contrôlée à distance.

Claims

Revendications
1. Procédé pour le contrôle d'une interface graphique à l'aide d'une caméra équipant un terminal de communication, caractérisé en ce qu'il comprend les étapes suivantes :
- l'acquisition d'une première image qu'on mémorise, ou bien la mémorisation d'au moins une image déjà acquise et éventuellement prétraitée,
- l'acquisition et la mémorisation d'une nouvelle image et la suppression éventuelle des images inutiles de la mémoire,
- le prétraitement de la nouvelle image et éventuellement de celles précédemment mémorisées, ce prétraitement comprenant d'une part une normalisation des niveaux d'intensité de l'image selon un processus comprenant une égalisation d'histogramme conduisant à une suite d'image dont les niveaux sont normalisés, et d'autre part une réduction du nombre de niveaux de présentation des intensités de couleurs,
- le calcul du mouvement apparent à l'aide des images prétraitées et d'une technique de mise en correspondance des images,
- le filtrage du mouvement apparent en amplitude et/ou temporellement,
- conversion, selon un mode de contrôle prédéterminé, du mouvement apparent en signal de commande utilisateur,
- le stockage dans une mémoire dudit terminal et/ou la transmission à destination d'un second terminal, des commandes utilisateur,
- la modification de l'affichage du terminal et/ou d'un second terminal conformément aux commandes utilisateur,
- l'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.
2. Procédé selon la revendication 1 caractérisé en ce que les prétraitements comprennent une réduction de l'image et/ou une réduction du nombre des couleurs.
3. Procédé selon la revendication 1 caractérisé en ce que la technique de mise en correspondance utilisée pour le calcul du mouvement apparent estime un modèle paramétrique global.
4. Procédé selon l'une des revendications précédentes,
Caractérisée en ce que la technique de mise en correspondance utilisée consiste à minimiser un critère quadratique formé sur la différence d'intensité entre les images.
5. Procédé selon la revendication 1, caractérisé en ce que le calcul du mouvement apparent à l'aide de deux images successives éventuellement prétraitées comprend les étapes suivantes :
- la réduction des deux images d'un facteur /prédéterminé
- le calcul du mouvement grossier à l'aide des images précédemment réduites et sa multiplication par le facteur/
- le calcul d'une image recalée à l'aide d'une première image non réduite et du mouvement grossier
- le calcul du mouvement résiduel à l'aide de l'image recalée et de la seconde image non réduite
- Le calcul du mouvement apparent en additionnant le mouvement grossier et le mouvement résiduel.
6. Procédé selon la revendication 1, caractérisé en ce le mouvement apparent de translation m entre deux images J; et I2 est calculé à l'aide de la formule suivante : m =: M-Kb = -^—cof(M).b , det(M)
où M = ∑ VZ1 (/, J)J VJ1 (/, J) , b = ∑ VJ1 (i, j).(I2 (i, J) - 11 (/, J)) ,
0,j) (.'J)
7. Procédé selon la revendication 1, caractérisé en ce que la technique de mise en correspondance des images comprend les étapes suivantes :
- l'extraction des points d'intérêts
- Pappariement des points d'intérêts entre les images
- le calcul du mouvement apparent qui est cohérent avec les appariements trouvés.
8. Procédé selon la revendication 1, caractérisé en ce que filtrage du mouvement apparent consiste à annuler chacune de ses composantes, si celle-ci est, en valeur absolue, inférieure à un seuil prédéterminé et, dans les autres cas, à la diminuer ou à l'augmenter de ce même seuil.
9. Procédé selon la revendication 1, caractérisé en ce que le filtrage du mouvement apparent limite les valeurs de chacune de ses composantes entre une borne inférieure et une borne supérieure.
10. Procédé selon la revendication 1, caractérisé en ce que le déplacement d'éléments graphiques est proportionnel au mouvement apparent calculé, avec un gain éventuellement proportionnel au mouvement apparent.
11. Procédé selon la revendication 1, caractérisé en ce que le mode de contrôle de l'interface graphique à l'aide du mouvement apparent concerne le déplacement ou le changement d'échelle ou la rotation ou le défilement ou la navigation dans un menu ou la sélection et/ou la validation d'éléments graphiques.
12. Procédé selon la revendication I5 caractérisé en ce que la modification de l'affichage du terminal de communication ou d'un second terminal concerne une image ou un texte ou un document ou un pointeur ou une zone de sélection ou un icône ou un menu ou une liste.
13. Procédé selon l'une des revendications 1 et 10, caractérisé en ce que le mode de contrôle de l'interface graphique est choisi par l'utilisateur grâce à l'appui sur une touche du clavier qui lui est préalablement associée.
14. Procédé selon la revendication 13, caractérisé en ce que le mouvement apparent est calculé si une touche préalablement associée à un mode de contrôle de l'interface est maintenue appuyée, et n'est plus calculé ni interprété en commande utilisateur si aucune de ces touches n'est appuyée.
15. Procédé selon l'une des revendications 1, 11, 13 et 14, caractérisé en ce que le mode de contrôle est choisi par l'utilisateur grâce à une commande vocale, une commande reçue d'un clavier externe ou d'un autre terminal connecté physiquement ou par Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W-CDMA ou Internet.
16. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de changement d'échelle par zoom avant, et comme une commande de changement d'échelle par zoom arrière dans la direction opposée.
17. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de déplacement d'élément graphique dans la même direction ou dans la direction opposée.
18. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de rotation d'élément graphique dans un certain sens et dans le sens contraire au cas où le mouvement apparent filtré est dans la direction opposée.
EP06794241A 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication Withdrawn EP1910915A2 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0508188A FR2889324B1 (fr) 2005-07-29 2005-07-29 Procede pour le controle d'une interface graphique a l'aide d'une camera equipant un terminal de communication
FR0603525A FR2889323B1 (fr) 2005-07-29 2006-04-19 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication
PCT/FR2006/001846 WO2007012768A2 (fr) 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication.

Publications (1)

Publication Number Publication Date
EP1910915A2 true EP1910915A2 (fr) 2008-04-16

Family

ID=37668310

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06794241A Withdrawn EP1910915A2 (fr) 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication

Country Status (6)

Country Link
US (1) US20080225001A1 (fr)
EP (1) EP1910915A2 (fr)
JP (1) JP2009503667A (fr)
KR (1) KR20080034177A (fr)
FR (1) FR2889323B1 (fr)
WO (1) WO2007012768A2 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
GB2458881A (en) * 2008-03-19 2009-10-07 Robert William Albert Dobson Interface control using motion of a mobile device
KR101387788B1 (ko) * 2012-01-20 2014-04-21 김경희 단말기에서의 화면 조정 장치
CN110213478A (zh) * 2019-04-25 2019-09-06 深圳市泰衡诺科技有限公司 相机控制方法、计算机可读存储介质及终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
IL133382A0 (en) * 1999-12-08 2001-04-30 Lass Yoram A mobile telephone tilt mouse
AU2002342067A1 (en) * 2001-10-12 2003-04-22 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
DE10313019B4 (de) * 2003-03-24 2005-02-24 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
GB2404819A (en) * 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
FR2859800B1 (fr) * 2003-09-12 2008-07-04 Wavecom Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
JP4285287B2 (ja) * 2004-03-17 2009-06-24 セイコーエプソン株式会社 画像処理装置、画像処理方法およびそのプログラム、記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007012768A2 *

Also Published As

Publication number Publication date
FR2889323A1 (fr) 2007-02-02
FR2889323B1 (fr) 2008-12-12
JP2009503667A (ja) 2009-01-29
WO2007012768A2 (fr) 2007-02-01
KR20080034177A (ko) 2008-04-18
WO2007012768A3 (fr) 2007-05-10
US20080225001A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
US10026229B1 (en) Auxiliary device as augmented reality platform
US9466127B2 (en) Image alteration techniques
EP1227442B1 (fr) Procédé de traitement d'images en 2D appliquées sur des objets en 3D
CN104700353B (zh) 图像滤镜生成方法及装置
KR101619559B1 (ko) 개체 감지 및 사용자 설정
FR2960986A1 (fr) Procede de selection d’un objet dans un environnement virtuel
US11570378B2 (en) Methods and apparatus for metadata-based processing of media content
CN112218136B (zh) 视频处理方法、装置、计算机设备及存储介质
EP1910915A2 (fr) Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication
FR2878641A1 (fr) Procede de navigation automatique contrainte vers des regions d'interet d'une image
FR2950989A1 (fr) Dispositif d'interaction avec un objet augmente.
US12114072B2 (en) Electronic devices and corresponding methods for performing image stabilization processes as a function of touch input type
US20110119631A1 (en) Method and apparatus for operating user interface based on user's visual perspective in electronic display device
US20240155256A1 (en) Methods and Systems for Presenting Image Content to a Subject in a Deformable Electronic Device
FR3000632A1 (fr) Procede d'affichage de donnees dans un reseau et dispositif mobile associe
FR2859800A1 (fr) Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
US9830719B2 (en) Rendering a three-dimensional time helix in a virtual universe
FR2889324A1 (fr) Procede pour le controle d'une interface graphique a l'aide d'une camera equipant un terminal de communication
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US12067231B2 (en) Electronic devices and corresponding methods for capturing image quantities as a function of touch input type
FR3073654A1 (fr) Procede de representation d'un objet tridimensionnel et programme d'ordinateur et systeme informatique correspondants
EP3351007B1 (fr) Procédé de visualisation de données relatives à un événement et système associé
FR2883996A1 (fr) Procede de construction de scenes multimedia comprenant au moins un objet pointeur, procede de restitution de scenes, terminal, programmes d'ordinateur, serveur et objet pointeur correspondants
FR2872598A1 (fr) Telecommande souris
FR2995430A1 (fr) Cabine d'essayage interactive et procede d'interaction avec ladite cabine d'essayage

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080131

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110201