FR2876470A1 - Procede de controle d'affichage utilisant un equipement portable a capteur d'images - Google Patents

Procede de controle d'affichage utilisant un equipement portable a capteur d'images Download PDF

Info

Publication number
FR2876470A1
FR2876470A1 FR0410717A FR0410717A FR2876470A1 FR 2876470 A1 FR2876470 A1 FR 2876470A1 FR 0410717 A FR0410717 A FR 0410717A FR 0410717 A FR0410717 A FR 0410717A FR 2876470 A1 FR2876470 A1 FR 2876470A1
Authority
FR
France
Prior art keywords
image
predictive
images
movement
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0410717A
Other languages
English (en)
Other versions
FR2876470B1 (fr
Inventor
Jean Marie Vau
Eric Masera
Olivier Alain Christian Furon
Olivier Marc Antoine Rigault
Thierry Lebihen
Christophe Edmond Mauric Papin
Nicolas Patrice Berna Touchard
Olivier Laurent Robert Seignol
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Ventures Fund 83 LLC
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Priority to FR0410717A priority Critical patent/FR2876470B1/fr
Priority to US11/576,949 priority patent/US20070283264A1/en
Priority to JP2007535057A priority patent/JP2008516319A/ja
Priority to EP05791754A priority patent/EP1800185A1/fr
Priority to CNA2005800348697A priority patent/CN101040247A/zh
Priority to PCT/EP2005/010456 priority patent/WO2006040008A1/fr
Publication of FR2876470A1 publication Critical patent/FR2876470A1/fr
Application granted granted Critical
Publication of FR2876470B1 publication Critical patent/FR2876470B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Procédé de contrôle d'un affichage au moyen d'un équipement portable (602) pourvu d'un capteur d'image comprenant :- la saisie d'une succession d'images,- l'estimation du mouvement effectué lors d'un déplacement de l'équipement portable, et- la modification de l'affichage en fonction de l'estimation du mouvement, conformément à l'invention l'estimation du mouvement comprend :a) la sélection d'au moins une première (10) et au moins une deuxième image,b) l'application à la première image d'un ensemble de déplacement prédictifs (10d, 10g, 10h, 10b, 10nd, 10bd, 10hg, 10bg),c) le calcul et la comparaison de la valeur d'au moins une caractéristique de la première image affectée respectivement de chacun des déplacements prédictifs à la valeur de la même caractéristique de la deuxième image, etd) la détermination du déplacement prédictif (dp) conduisant à une valeur de la caractéristique, la plus proche de celle de la deuxième image,e) utilisation du déplacement prédictif déterminé à l'étape d comme estimation du mouvement.

Description

PROCEDE DE CONTROLE D'AFFICHAGE UTILISANT UN EQUIPEMENT
PORTABLE A CAPTEUR D'IMAGES Domaine technique La présente invention concerne un procédé de contrôle d'affichage au moyen d'un équipement portable pourvu d'un capteur d'images. On entend par équipement portable tout équipement tel qu'un téléphone mobile, un appareil photographique, un agenda électronique, ou un ordinateur, pourvu d'une alimentation autonome et qu'un utilisateur peut tenir dans sa main. Les équipements portables sont généralement pourvus d'un écran d'affichage. L'écran présente des dimensions qui sont en rapport avec celles de l'équipement et présente donc une surface d'affichage modeste. Afin de proposer un confort de visualisation amélioré, les équipements sont généralement dotés d'un mode d'affichage dans lequel une image à afficher n'est pas affichée entièrement, mais par parties. Plus précisément une partie sélectionnée de l'image est affichée de manière agrandie. Une commande permet alors de sélectionner les parties de l'image à afficher et ainsi de naviguer dans une image aux dimensions supérieures à l'écran. Une commande analogue permet également, le cas échéant, de déplacer un pointeur dans l'image et de sélectionner des parties d'images, à l'instar d'une souris d'ordinateur. Ces commandes effectuent un contrôle d'affichage au sens de l'invention.
L'invention trouve des applications dans l'amélioration du contrôle d'affichage des équipements portables et dans leur éventuelle utilisation comme souris de commande libre.
Etat de la technique antérieure Le contrôle d'affichage des équipements portables est usuellement effectué au moyen d'une plage tactile, ou, plus modestement, au moyen d'un ou de plusieurs boutons de sélection de direction, vers le haut, vers le bas, vers la droite ou vers la gauche. Ces moyens de commande sont, tout comme l'écran d'affichage, de petite taille en raison du caractère portable de l'équipement. Le contrôle d'affichage est par conséquent souvent malaisé ou imprécis.
Les documents (1) et (2) dont les références sont précisées à la fin de la description, proposent une un mode d'affichage permettant de naviguer dans une image en utilisant les mouvements de l'équipement portable comme moyen de commande pour le contrôle d'affichage. Les mouvements de l'équipement portable sont pris en compte, par exemple, au moyens d'accéléromètres.
La présence de capteurs de mouvement spécifiques, tels que les accéléromètres, a toutefois pour effet d'augmenter la complexité et le coût des équipements portables.
Le document (3), dont les références sont également précisées à la fin de la description, propose un procédé de navigation dans une image, par exemple une navigation dans l'image d'une carte géographique, en mettant à profit un capteur d'images intégré à l'équipement portable. Le suivi du mouvement est effectué en temps réel à partir des images saisies par un capteur d'image. En effet, le mouvement de l'équipement portable, établi à partir des images saisies, est utilisé pour contrôler l'affichage en faisant apparaître à l'écran des parties d'une image à afficher.
Le mouvement pris en compte est le mouvement relatif entre l'équipement portable et une cible prédéterminée située dans le champ de prise de vue du capteur l'images. Cette cible peut être notamment une partie du corps de l'utilisateur, par exemple sa tête, ou une partie de ses vêtements.
Exposé de l'invention L'invention résulte de l'identification d'un certain nombre de difficultés susceptibles d'apparaître lors de la mise en oeuvre des procédés exposés ci dessus, et notamment lors de la mise en oeuvre d'un procédé de navigation utilisant le suivi d'une cible.
Une première difficulté consiste à la mise en oeuvre du procédé sur des téléphones-caméra (phone-cam) portables pourvus d'un capteur d'images. Ces appareils, présentent en général un écran d'affichage situé à l'opposé du capteur d'images. Il est ainsi difficile de suivre une cible attachée à l'utilisateur tout en lui permettant d'observer l'écran d'affichage.
Une autre difficulté tient à l'identification de la cible et le risque de perdre la cible, lorsque l'utilisateur incline l'équipement portable. La perte de la cible intervient en effet lorsque l'ampleur du mouvement imprimé à l'équipement portable par l'utilisateur fait que la cible identifiée sort du champ de prise de vue du capteur d'images.
Encore une autre difficulté est liée à la reconnaissance de la cible. Si la cible n'est pas reconnue ou identifiée, son suivi n'est à l'évidence pas possible.
L'invention a pour but de proposer un procédé de contrôle d'affichage utilisant un équipement portable, pourvu d'un capteur d'images, dans lequel les difficultés mentionnées ci dessus sont surmontées. En particulier, un but de l'invention est de proposer un tel procédé dans lequel l'estimation du mouvement est affranchi du suivi d'une cible.
Un but est encore de proposer un procédé de contrôle robuste et peu sensible aux variations parasites de lumière, de mouvement ou de contenu iconique, susceptibles d'affecter les images saisies par le capteur en vue d'estimer le mouvement.
Pour atteindre ces buts, l'invention a plus précisément pour objet un procédé de contrôle d'affichage au moyen d'un équipement portable pourvu d'un capteur d'image, comprenant: - la saisie d'une succession d'images dans un mode de saisie invitant l'utilisateur à déplacer l'équipement portable, - l'estimation du mouvement effectué lors du déplacement de l'équipement portable, et - la modification de l'affichage en fonction de l'estimation du mouvement.
Conformément à l'invention, l'estimation du mouvement comprend: a) la sélection d'au moins une première et au moins une deuxième image de la succession d'image, la deuxième image étant saisie postérieurement à la première image, b) l'application à la première image d'un ensemble de déplacement prédictifs correspondant à des directions de déplacement différentes, c) le calcul et la comparaison de la valeur d'au moins une caractéristique de la première image affectée respectivement de chacun des déplacements prédictifs à la valeur de la même caractéristique de la deuxième image, et d) la détermination du déplacement prédictif conduisant à une valeur de la caractéristique, la plus proche de celle de la deuxième image, e) sélection du déplacement prédictif déterminé à l'étape d comme estimation du mouvement.
Bien qu'une estimation du mouvement puisse avoir lieu avec seulement deux images saisies, le procédé est de préférence mis en oeuvre de manière continu en utilisant une succession de premières images et une succession de deuxièmes images, postérieures, une à une, respectivement aux premières images. Lorsque la puissance de calcul de l'équipement portable est suffisante on peut concevoir une mise en oeuvre dans laquelle chaque image saisie est utilisée comme deuxième image par rapport à l'image précédente et comme première image par rapport à l'image suivante du flot d'images. Un échantillonnage plus restreint d'images peut également convenir.
Grâce à l'invention, l'estimation du mouvement peut être faite sans utiliser de cible et dans sans risque d'un défaut d'identification de la cible ou de risque de perte de la cible. De plus, le procédé peut être mis en oeuvre aussi bien avec des équipements portables dont le capteur d'images est sur la même face que l'écran de contrôle, qu'avec des équipements portables pour lesquels le capteur est situé sur une face opposée à celle portant l'écran. Ce dernier cas est le plus fréquent pour les téléphones-caméra.
La détermination des déplacements prédictifs, le calcul des caractéristiques des premières images affectées des déplacements, et le calcul des caractéristiques des deuxièmes images peuvent être effectuées à partir de l'ensemble des pixels des première et deuxième images. Pour réduire la capacité de calcul nécessaire, il est également possible de réaliser ces opérations sur un plus petit nombre de pixels. Il est possible de ne retenir qu'une trame de calcul de un pixel sur cinq ou un pixel sur dix.
Il en va de même pour les déplacements prédictifs. Des déplacements prédictifs peuvent être effectués pour un grand nombre de directions et avec un grand nombre d'amplitudes. Ceci requiert toutefois une puissance de calcul importante. Une puissance de calcul réduite est suffisante si les déplacements prédictifs n'ont lieu que dans un sous-ensemble réduit de directions et un sous-ensemble réduit d'amplitudes. Il est possible, par exemple, de limiter les déplacement prédictifs à 8 directions réparties de manières isotrope, par pas de 45 . Pour chaque déplacement il est possible de ne tester qu'un nombre réduit d'amplitudes de déplacement, par pas de 5, 10 ou 20 pixels. Un déplacement prédictif avec une amplitude unique peut également être envisagé.
Le déplacement prédictif le plus pertinent est celui qui traduit le mieux le mouvement de l'équipement portable entre la saisie de la première et de la deuxième image. La recherche de ce déplacement prédictif a lieu en comparant, pour chaque déplacement prédictif, la valeur d'une caractéristique de la première image affectée du déplacement et la valeur de la même caractéristique de la deuxième image. Il s'agit, par exemple d'une caractéristique choisie parmi une intensité lumineuse locale, une somme d'intensités lumineuses, une combinaison d'intensités lumineuses, une couleur ou une combinaison de couleurs, une fréquence spatiale locale ou une combinaison de fréquences spatiales locales.
Comme indiqué ci dessus, la valeur de ces caractéristiques peuvent être calculées pour tous les pixels des images ou pour un sous-ensemble de pixels seulement.
Selon une mise en oeuvre particulière du procédé, la caractéristique prise en compte est une intensité lumineuse. Les étapes c) et d) du procédé peuvent alors comporter la recherche d'un minimum global d'une fonction de similarité de la forme: D(dp)= E(I,(P+dp)-I2(P))2 P où dp est un vecteur de déplacement prédictif entre la première et la deuxième image et dans laquelle une somme est effectuée sur un ensemble de pixels prédéterminés p de la première et de la deuxième image, dans laquelle Il(p+dp) et I2(p) indiquent respectivement une valeur d'intensité dans la première image d'un pixel décalé de dp par rapport à un pixel p, et la valeur d'intensité dans la deuxième image du pixel p. Lors de l'étape d) du procédé, on détermine le déplacement prédictif dp pour lequel la fonction D est minimale. Le déplacement prédictif dp conduisant au minimum de la fonction D est considéré comme le plus pertinent. Il est utilisé pour estimer le mouvement et modifier l'affichage. La somme des différences au carré, suggérée ci-dessus, peut être remplacée, par exemple, par la somme des valeurs absolues des différences ou bien encore, de manière plus générale, par une fonction de corrélation. Le déplacement dp peut être constant, ou peut être modélisé par un modèle paramétrique dont le nombre de paramètres utilisés permet de prendre en compte des mouvements plus ou moins complexes. En particulier, la caractérisation d'un zoom est possible en utilisant un modèle affine à 4 ou 6 paramètres.
La somme sur p est effectuée soit pour tous les pixels de l'image soit pour un sous ensemble de pixels de l'image.
On peut notamment calculer la fonction D pour un nombre de pixels limités, prédéterminés, non jointifs et répartis dans le cadre de la première image, de préférence dans une région centrale.
Le minimum de la fonction D indique le déplacement prédictif dp le plus pertinent. La valeur du minimum peut en outre donner, dans le cas d'une scène non uniforme, une indication sur le degré de pertinence de la prédiction.
Ainsi, selon un aspect particulier de l'invention, on peut comparer la valeur minimale de la fonction D à une valeur de seuil et avertir l'utilisateur lorsque la valeur minimale de la fonction D est supérieure à la valeur de seuil. Dans ce cas, il est possible éventuellement, de ne pas tenir compte du mouvement estimé pour modifier l'affichage.
En effet, lorsque la valeur minimum de D est forte, c'est-à-dire supérieure au seuil, cela signifie qu'aucune des premières images affectées d'un déplacement prédictif n'est proche des caractéristiques de la deuxième image. L'utilisateur, ainsi averti, peut alors réitérer sa commande en imprimant un nouveau mouvement de déplacement à l'équipement portable. On peut également réitérer l'estimation du mouvement à partir du même couple d'images en utilisant, par exemple, un modèle de mouvement plus complexe, par exemple un modèle paramétrique, mieux apte à caractériser le changement temporel.
Afin de compenser d'éventuels mouvements erratiques, la modification de l'affichage peut ne pas prendre en compte les estimations individuelles du mouvement faites à partir de chaque paire de première et deuxième images, mais à partir d'une estimation plus globale. Par exemple il est possible d'établir une succession d'estimations individuelles de mouvement à partir de la succession d'images saisies, et de calculer ensuite une estimation globale du mouvement par filtrage des estimations individuelles.
Le filtrage est par exemple du type de Kalman, en prenant en compte respectivement une composante liée à chaque nouvelle estimation individuelle du mouvement, et une ou plusieurs composantes liées aux estimations précédentes.
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, en référence aux figures des dessins annexés. Cette description est donnée à titre purement illustratif et non limitatif.
Brève description des figures
La figure 1 représente respectivement une première et une deuxième image d'une succession d'images saisies, utilisées pour le contrôle de l'affichage.
La figure 2 représente la première image de la figure 1 ainsi qu'un jeu 20 d'images illustrant un ensemble de déplacements prédictifs.
La figure 3 illustre une estimation de mouvement réalisée à partir d'un ensemble d'images d'une succession d'images.
La figure 4 est un organigramme indiquant les principales étapes d'un procédé conforme à l'invention.
Description détaillée de modes de mise en oeuvre de l'invention Dans la description qui suit, pour des raisons de simplification, et pour mieux faire apparaître le mouvement imprimé par l'utilisateur à l'équipement portable, un motif identique, en l'occurrence un visage V, est représenté dans chacune des images. Il est toutefois important de noter que le visage V ne constitue pas une cible. Les calculs opérés pour l'établissement de déplacements prédictifs et la comparaison des images se font en effet indépendamment d'un contenu iconique particulier. Il s'agit simplement ici de faciliter la lecture des dessins.
La figure 1 montre une première image 10 et une deuxième image 12 saisie à la suite de la première image 10. Entre les images 10 et 12 l'utilisateur a imprimé à l'équipement portable un mouvement vers la gauche et légèrement vers le haut. Ceci est illustré par le fait que le visage se trouve déplacé dans le cadre d'image vers la droite et légèrement vers le bas.
La première image 10 est également représentée en partie centrale de la figure 2. Un certain nombre de déplacement prédictifs sont appliqués à cette image. Les déplacements prédictifs peuvent être appliqués à l'ensemble des pixels de l'image 10 ou à un sous-ensemble de pixels 14. Le sous-ensemble de pixels correspond, par exemple, à un pixel, pris sur cinq ou sur dix. Il est réparti dans l'image de manière sensiblement uniforme. Le calcul des déplacements prédictifs sur le sous-ensemble de pixels a pour effet de réduire la puissance de calcul requise et/ ou de réduire le temps de calcul. Les déplacement prédictifs sont limités à un certain nombre de directions privilégiées. Dans l'exemple illustré 8 directions sont retenues vers le haut, vers le bas, vers la droite, vers la gauche, ainsi que les directions médiatrices des précédentes, à 45 . Elles sont représentées par 8 images prédictives 10d, 10g, 10h, 10b, 10hd, 10hg, 10bd, 10bg. Les déplacements prédictifs sont encore indiqués par des flèches.
Dans l'exemple illustré, tous les déplacements prédictifs présentent une même amplitude. Il est toutefois possible de prévoir, dans chaque direction, plusieurs déplacements prédictifs avec des amplitudes différentes. Une pluralité de déplacements prédictifs avec des amplitudes variant par pas de 20 pixels est par exemple envisageable. Dans ce cas également, les déplacements prédictifs peuvent être établis pour tous les pixels de l'image ou pour un sous ensemble de pixels, de la manière indiquée ci-dessus. Ceci revient à effectuer les calculs sur une image de plus faible résolution.
Parmi l'ensemble des déplacements prédictifs établis à partir de la première 30 image on sélectionne celui qui conduit à une image la plus semblable de la deuxième image.
La sélection de l'image prédictive la plus semblable peut être faite selon une ou plusieurs caractéristiques des images. Il s'agit, par exemple, de l'intensité lumineuse et/ou des couleurs et ou des fréquences spatiales des image. Les caractéristiques des images peuvent être prises en compte notamment dans une fonction de contrainte dont on recherche un minimum, le minimum étant atteint par l'image prédictive la plus proche de la deuxième image.
Dans le cas de l'exemple illustré par les figures 1 et 2, l'image prédictive la plus proche de la deuxième image 12 est l'image prédictive 10d située à droite de l'image centrale. Le déplacement prédictif qui a conduit à l'image prédictive 10d est un déplacement vers la droite des pixels. Ceci correspond à un déplacement vers la gauche de l'équipement portable. Le déplacement vers la droite est alors utilisé comme un indicateur du mouvement estimé et utilisé pour modifier l'affichage de l'équipement portable.
Selon que l'estimation du mouvement est utilisée pour un déplacement d'un pointeur dans l'image ou pour la navigation dans une image virtuelle de dimensions supérieures à celles de l'écran d'affichage, le mouvement appliqué à l'affichage ou au pointeur peut être inversé ou non par rapport à celui du déplacement estimé.
La figure 3 montre une succession 100 d'images saisies par un capteur de prise de vue d'un équipement portable. Les images portent les références de 101 à 107. Elles présentent toutes le visage V qui permet de représenter plus facilement le mouvement de l'équipement portable. La présence du visage, outre de servir la clarté des figures, n'a aucun rôle particulier.
Chacune des image, à l'exception de la première et de la dernière, peuvent à la fois constituer une première et une deuxième image au sens de l'invention. Par exemple, l'image 102 constitue une deuxième image dans une estimation du mouvement faite par rapport à l'image 101 retenue comme première image . Il en résulte une estimation du mouvement selon une flèche 201 pointant vers le bas.
La même image 201 peut également constituer une première image dans une estimation du mouvement faite par rapport à l'image 103 retenue comme deuxième image . Il en résulte une estimation du mouvement selon une flèche 202 pointant vers le bas et vers la droite à 45 .
En utilisant tour à tour chacune de images de la succession d'images 100 comme une première image et comme une deuxième image, on établit un ensemble 5 d'indicateurs du mouvement estimé. Ceux-ci sont représentés sous la forme de flèches pleines référencées de 201 à 206. Selon un perfectionnement, les indicateurs du mouvement estimé peuvent aussi renseigner sur une amplitude du mouvement entre deux images successives lorsqu'ils résultent de déplacements prédictifs d'amplitude variable.
Les indicateurs de mouvement estimé peuvent être utilisés tels quels pour la modification de l'affichage. Il est toutefois possible de leur appliquer un filtrage pour aboutir à une estimation globale variable du mouvement. Ceci revient notamment à gommer l'effet des mouvements brusques imprimés à l'équipement portable et éviter ainsi des modifications brusques de l'affichage. Le filtrage revient, par exemple, à effectuer une moyenne pondérée entre une estimation du mouvement et la ou les estimations précédentes les plus proches. Selon une autre possibilité, le filtrage peut être prévu pour. empêcher une rotation de plus de 45 d'un indicateur de mouvement au suivant, et pour prendre en compte l'indicateur de l'estimation immédiatement précédente.
Dans l'exemple de la figure 3 un changement important de l'estimation du mouvement a lieu pour les indicateurs 204, vers la droite, et l'indicateur 205 vers le haut. Ainsi l'indicateur 205, vers le haut peut être atténué en le remplaçant par un indicateur 405 vers le haut et à droite à 45 . L'estimation globale du mouvement après filtrage est illustrée par les doubles flèches 401 à 406 qui correspondent à de nouveaux indicateurs utilisables pour modifier l'affichage.
Le filtrage a également pour effet de gommer les mouvements incontrôlés de l'équipement portable ou d'éventuelles erreurs locales de l'estimation du mouvement. L'image 105 de la figure 3 en donne un exemple. On imagine que le mouvement estimé soit, accidentellement, ou par erreur, celui correspondant au visage V' en trait discontinu, au lieu de celui correspondant au visage V en trait plein.
Ainsi les indicateurs de mouvement 204 et 205 pointant respectivement vers la droite, puis vers le haut, seraient remplacés par les indicateurs 304 et 305 pointant respectivement vers le haut puis vers la droite.
En effectuant un filtrage qui prend en compte l'estimation immédiatement précédente, et qui empêche une rotation de plus de 45 des indicateurs, on obtient, la série d'indicateurs représentée par des double flèches en trait discontinu 501 à 506. Ces nouveaux indicateurs sont obtenus, après filtrage, a partir des indicateurs 201, 202, 203, 304, 305 et 206.
On peut observer que les indicateurs 40l à 406 sont identiques aux indicateurs 501 à 506. Ceci signifie qu'une erreur ponctuelle d'estimation du mouvement, ou un mouvement imprévu de l'équipement portable peut être atténué, sinon complètement effacé par le filtrage des estimations du mouvement.
La figure 4 indique, sous la forme d'un organigramme, une possibilité de mise en oeuvre du procédé de l'invention.
La référence 600 correspond à la saisie d'images dans un mode de saisie dans lequel un téléphone portable 602 est utilisé comme moyen de contrôle d'affichage. Le téléphone 602 représente ici une classe d'équipements portables pourvus d'un capteur d'images. La saisie des images est effectuée par le capteur d'images 604, représenté en trait discontinu, et situé sur une face du téléphone portable 602, opposée à la face visible qui porte un écran de contrôlé 606.
Il convient de noter que la ou les images affichées à l'écran 606 ne sont aucunement celles saisies par le capteur. Les images saisies par le capteur ont pour seule fonction d'estimer le mouvement que l'utilisateur impose au téléphone portable 602.
Tout ou partie des images saisies sont retenues comme première et/ou deuxième image, de la manière indiquée précédemment. Cette étape correspond à la référence 610. Les premières images sont affectées de déplacement prédictifs et comparées aux deuxièmes images .
Il en résulte une estimation du mouvement 620, effectuée en retenant le déplacement prédictif qui autorise la meilleure correspondance entre la première et la deuxième images considérées. Lorsque la correspondance est trop mauvaise, l'estimation du mouvement n'est pas prise en compte pour contrôler l'affichage, et un avertissement 625 est donné à l'utilisateur. Ceci est le cas, par exemple, lorsque le minimum d'une fonction de corrélation est supérieur à une valeur prédéterminée.
La sélection des première et deuxième images, et l'estimation du mouvement sont ici des opérations continuellement répétées, au fur et à mesure de l'acquisition des images.
Vient ensuite une opération de filtrage 630, qui, comme indiquée précédemment, permet de corriger ou d'atténuer les erreurs d'estimation du 10 mouvement et les mouvements erratiques.
Enfin, la référence 640 indique la modification de l'affichage en fonction de l'estimation du mouvement. La modification de l'affichage peut avoir lieu sur l'écran 606 du téléphone portable comme le montre la figure. Elle peut aussi avoir lieu sur un autre écran, séparé du téléphone, et pour lequel le téléphone portable est simplement utilisé de moyen de contrôle de l'affichage.
Documents cités (1) US 6 466 198 (2) WO 02/093331 (3) WO 00/75914

Claims (8)

REVENDICATIONS
1 - Procédé de contrôle d'un affichage au moyen d'un équipement portable (602) pourvu d'un capteur d'image (604) comprenant: - la saisie d'une succession d'images (100) dans un mode de saisie invitant 5 l'utilisateur à déplacer l'équipement portable, - l'estimation (620) du mouvement effectué lors du déplacement de l'équipement portable, et - la modification (640) de l'affichage en fonction de l'estimation du mouvement, caractérisé en ce que l'estimation du mouvement comprend: a) la sélection (610) d'au moins une première (10) et au moins une deuxième (12) image de la succession d'image, la deuxième image étant saisie postérieurement à la première image, b) l'application à la première image d'un ensemble de déplacement prédictifs 15 (10d, 10g, 10h, 10b, 10nd, 10bd, 10hg, 10bg) correspondant à des directions de déplacement différentes, c) le calcul et la comparaison de la valeur d'au moins une caractéristique de la première image affectée respectivement de chacun des déplacements prédictifs à la valeur de la même caractéristique de la deuxième image, et d) la détermination du déplacement prédictif (dp) conduisant à une valeur de la caractéristique, la plus proche de celle de la deuxième image, e) utilisation du déplacement prédictif déterminé à l'étape d comme estimation du mouvement.
2 - Procédé selon la revendication la revendication 1, dans lequel les déplacements prédictifs et le calcul des valeurs de la caractéristique des premières images déplacées et de la deuxième image sont effectués pour un sous ensemble (14) de pixels.
3 - Procédé selon la revendication 1, dans lequel la caractéristique est choisie parmi une intensité lumineuse, une somme d'intensités lumineuses locales, une combinaison d'intensités lumineuses locales, une couleur ou une combinaison de couleurs, une fréquence spatiale locale ou une combinaison de fréquences spatiales locales.
4 - Procédé selon la revendication 3, dans lequel la caractéristique est une intensité lumineuse et dans lequel les étapes c) et d) comportent la recherche d'un minimum d'une fonction D de la forme suivante: D(dp) = (1, (p+dp)-12(p))2 P dans laquelle une somme est effectuée sur un ensemble de pixels prédéterminés (p) de la première et de la deuxième image, dans laquelle I1(p+dp) et I2(p) indiquent une valeur d'intensité dans la première image d'un pixel décalé de dp par rapport à un pixel p, et la valeur d'intensité dans la deuxième image du pixel p, et dans lequel on détermine, lors de l'étape d) le déplacement prédictif pour 15 lequel la fonction D est minimale.
- Procédé selon la revendication 4, dans lequel on effectue le calcul de la fonction D pour un nombre limité de pixels (14), prédéterminés, non jointifs et répartis dans le cadre de la première image.
6 - Procédé selon la revendication 4, dans lequel on compare le minimum de la fonction D à une valeur de seuil et dans lequel on avertit (625) l'utilisateur lorsque le minimum de la fonction D est supérieure à la valeur de seuil.
7 - Procédé selon la revendication 1, dans lequel on itère les étapes a) à e) en utilisant chaque nouvelle image de la séquence comme une deuxième image par rapport à l'image précédente, et comme une première image par rapport à l'image suivante.
8 - Procédé selon la revendication 1, dans lequel on établit une succession d'estimations individuelles de mouvement à partir de la succession d'images saisies, et dans lequel on calcule une estimation globale variable du mouvement par filtrage (630) des estimations individuelles.
9 - Procédé selon la revendication 8, dans lequel on effectue un filtrage du type de Kalman.
FR0410717A 2004-10-12 2004-10-12 Procede de controle d'affichage utilisant un equipement portable a capteur d'images Expired - Fee Related FR2876470B1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR0410717A FR2876470B1 (fr) 2004-10-12 2004-10-12 Procede de controle d'affichage utilisant un equipement portable a capteur d'images
US11/576,949 US20070283264A1 (en) 2004-10-12 2005-09-28 Method Of Display Control Using Portable Equipment With An Image Sensor
JP2007535057A JP2008516319A (ja) 2004-10-12 2005-09-28 画像センサを有する携帯型装置を用いる表示制御方法
EP05791754A EP1800185A1 (fr) 2004-10-12 2005-09-28 Procede de commande d'affichage utilisant un equipement portatif avec un capteur d'images
CNA2005800348697A CN101040247A (zh) 2004-10-12 2005-09-28 使用具有图像传感器的便携式装置进行显示控制的方法
PCT/EP2005/010456 WO2006040008A1 (fr) 2004-10-12 2005-09-28 Procede de commande d'affichage utilisant un equipement portatif avec un capteur d'images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0410717A FR2876470B1 (fr) 2004-10-12 2004-10-12 Procede de controle d'affichage utilisant un equipement portable a capteur d'images

Publications (2)

Publication Number Publication Date
FR2876470A1 true FR2876470A1 (fr) 2006-04-14
FR2876470B1 FR2876470B1 (fr) 2006-12-22

Family

ID=34949476

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0410717A Expired - Fee Related FR2876470B1 (fr) 2004-10-12 2004-10-12 Procede de controle d'affichage utilisant un equipement portable a capteur d'images

Country Status (6)

Country Link
US (1) US20070283264A1 (fr)
EP (1) EP1800185A1 (fr)
JP (1) JP2008516319A (fr)
CN (1) CN101040247A (fr)
FR (1) FR2876470B1 (fr)
WO (1) WO2006040008A1 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes
US8676224B2 (en) 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
US8279242B2 (en) * 2008-09-26 2012-10-02 Microsoft Corporation Compensating for anticipated movement of a device
CN102053771B (zh) * 2009-11-06 2013-03-20 神达电脑股份有限公司 调整呈现在一手持式电子装置上的信息的方法
CN102346544A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业(深圳)有限公司 具有互动功能的头戴式显示系统及显示方法
CN102945103B (zh) * 2012-10-19 2015-12-09 无锡海森诺科技有限公司 一种光学传感器触摸物识别方法
US9196040B2 (en) 2013-03-12 2015-11-24 Qualcomm Incorporated Method and apparatus for movement estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0767443A2 (fr) * 1995-10-06 1997-04-09 Hewlett-Packard Company Méthode et système de repérage de l'attitude d'un dispositif de pointage
US5808678A (en) * 1993-11-10 1998-09-15 Canon Kabushiki Kaisha Method and apparatus for designing a position on a view finder based on motion detection
EP1130906A2 (fr) * 2000-01-18 2001-09-05 Hewlett-Packard Company, A Delaware Corporation Dispositif de pointage pour un dispositif d'affichage de caméra numérique
US20030080282A1 (en) * 2001-10-26 2003-05-01 Walley Thomas M. Apparatus and method for three-dimensional relative movement sensing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5808678A (en) * 1993-11-10 1998-09-15 Canon Kabushiki Kaisha Method and apparatus for designing a position on a view finder based on motion detection
EP0767443A2 (fr) * 1995-10-06 1997-04-09 Hewlett-Packard Company Méthode et système de repérage de l'attitude d'un dispositif de pointage
EP1130906A2 (fr) * 2000-01-18 2001-09-05 Hewlett-Packard Company, A Delaware Corporation Dispositif de pointage pour un dispositif d'affichage de caméra numérique
US20030080282A1 (en) * 2001-10-26 2003-05-01 Walley Thomas M. Apparatus and method for three-dimensional relative movement sensing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FROLOV P ET AL: "USING KALMAN FILTER FOR NATURAL HAND TREMOR SMOOTHING DURING THE INTERACTION WITH THE PROJECTION SCREEN", VIRTUAL ENVIRONMENT ON A PC CLUSTER WORKSHOP. PROCEEDINGS, 9 December 2002 (2002-12-09), pages 94 - 101, XP008023256 *

Also Published As

Publication number Publication date
CN101040247A (zh) 2007-09-19
JP2008516319A (ja) 2008-05-15
FR2876470B1 (fr) 2006-12-22
EP1800185A1 (fr) 2007-06-27
US20070283264A1 (en) 2007-12-06
WO2006040008A1 (fr) 2006-04-20

Similar Documents

Publication Publication Date Title
US9210327B2 (en) Blur aware photo feedback
KR100790896B1 (ko) 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
EP2235615B1 (fr) Circuit electronique d'analyse a modulation de caracteristiques de balayage pour capteur tactile multicontacts a matrice passive
EP2947628B1 (fr) Procédé de traitement d'informations locales
FR2878641A1 (fr) Procede de navigation automatique contrainte vers des regions d'interet d'une image
EP2956846B1 (fr) Procédé, appareil et support de stockage pour naviguer dans un écran d'affichage
US20070283264A1 (en) Method Of Display Control Using Portable Equipment With An Image Sensor
EP3281093A1 (fr) Bracelet electronique pour l'affichage d'un contenu numerique interactif destine a etre projete sur une zone d'un bras
FR3018118A1 (fr) Procede de test d'un systeme electronique
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
US20120105616A1 (en) Loading of data to an electronic device
FR2979986B1 (fr) Procede et dispositif de reglage de la representation cartographique d'un systeme d'informations de vehicule
EP3143595A1 (fr) Procédé d'affichage d'images
EP2943935B1 (fr) Estimation de mouvement d'une image
FR2910673A1 (fr) Procede de traitement d'image et dispositif implementant ledit procede
FR3119699A1 (fr) Dispositif et procédé d'évaluation des compétences
EP3008547B1 (fr) Dispositif d'analyse de mouvement d'un element mobile et procede associe
FR3092423A1 (fr) Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle
FR3014572A1 (fr) Procede de commande de l'interaction avec un ecran tactile et equipement mettant en oeuvre ce procede
EP3074842B1 (fr) Poste de contrôle de drones
WO2023046902A1 (fr) Systeme d'interface homme-machine
WO2024023459A1 (fr) Dispositif et procede de mesure de la rapidite d'un utilisateur a dechiffrer une information visuelle
FR3127597A1 (fr) Systeme d’interface homme-machine
FR3114665A1 (fr) Procédé et dispositif de détection d’utilisation d’applications
FR3017470A1 (fr) Procede de saisie sur un clavier numerique, interface homme machine et appareil mettant en œuvre un tel procede

Legal Events

Date Code Title Description
TP Transmission of property

Owner name: INTELLECTUAL VENTURES FUND 83 LLC, US

Effective date: 20130919

PLFP Fee payment

Year of fee payment: 13

ST Notification of lapse

Effective date: 20180629