FR2887654A1 - Dispositif de pointage digital sur ecran - Google Patents

Abstract

Dispositif de pointage sur écran, caractérisé en ce qu'il comprend un objet, de type doigt, un appareil, du type photographique, capable de transmettre une image de l'objet, un écran, du type écran de la taille du doigt, capable d'afficher un pointeur et des moyens pour transformer un changement de l'image de l'objet, en une modification de l'affichage du pointeur.L'invention est particulièrement destinée à être intégrée à des téléphones portables.

Description

La présente invention concerne un dispositif de pointage sur écran,

particulièrement destiné à être intégré à des systèmes de traitement de l'information de type palmaire, c'est à dire pouvant être aisément tenu dans la paume de la main de l'homme, comme le sont, notamment, les assistants

digitaux personnels ou PDA, les téléphones portables ou les ordinateurs palmaires, de dénomination anglaise "palmtop", rencontrés, par exemple, dans l'informatique et les télécommunications.

Ces systèmes palmaires présentent à l'utilisateur une surface d'interaction, de la taille de la paume de la main, qui est d'encombrement réduit, par comparaison à celle des ordinateurs de bureau, pour lesquels cette surface consiste en la réunion des surfaces de l'écran, du clavier et de la surface de déplacement de la souris de l'ordinateur, correspondant à un tapis de souris.

La réunion de ces surfaces est exactement adaptée à l'utilisateur pour les ordinateurs de bureau et bien supérieure à celle d'une main, néanmoins bien que la taille et les besoins de l'utilisateur restent inchangés, les systèmes palmaires doivent réussir à réduire la surface nécessaire à l'écran, au clavier et au système de pointage, pour les faire tenir aisément dans la paume de la main. Des problèmes techniques ne manquent pas d'en résulter.

Il existe ainsi, sur les systèmes palmaires, des écrans de la taille d'un doigt, par exemple humain, au sens où il est possible d'atteindre n'importe quel point de l'écran avec l'extrémité du doigt en laissant la base du doigt à l'extérieur de l'écran.

II existe aussi des appareils photographiques numériques, installables sur les systèmes palmaires, de taille réduite à quelques millimètres. Ils sont principalement répandus dans le domaine des téléphones portables. Ces appareils sont de petite focale et assurent une grande profondeur de champ. Ils permettent de capturer une image à l'aide d'un capteur de type matrice CMOS et de la transmettre à l'écran d'un téléphone portable. Ces appareils fontionnent en mode caméra, au sens ou ils rafraîchissent l'image à l'écran plusieurs fois par seconde. Leur performances en termes de résolution sont modérées, en raison de la faible consommation qui leur est allouée dans le bilan d'énergie du téléphone, la priorité étant donnée à la fonction de téléphonie.

II existe aussi des claviers à dimension de touche réduite, ou dans lesquels chaque touche correspond à plusieurs symboles, ce qui ralentit l'entrée des données.

Enfin, les problèmes d'encombrement sont particulièrement aigus pour la conception d'un dispositif de pointage, adapté aux système palmaires.

En effet, un dispositif de pointage est indispensable pour permettre à l'utilisateur de parcourir différentes options proposées par une machine et en sélectionner une. II permet universellement, à l'utilisateur, le contrôle des opérations de parcours et de sélection des options, par l'affichage à l'écran d'un pointeur dont le déplacement et le changement d'apparence correspondent à ces opérations respectivement.

Toutefois, ni les tablettes graphiques, ni les souris, ne remplissent les conditions de faible encombrement nécessaire à une utilisation avec les systèmes palmaires. Un dispositif de pointage répandu utilise un stylet associé à un écran réagissant à la pression ou tactile. Le stylet a la forme d'un doigt, comprenant un appendice et une extrémité arrondie ou pointue, et il permet le déplacement de son extrémité sur l'écran tactile pour parcourir des choix ainsi que de sélectionner un choix par appui sur un point de l'écran où un symbole correspondant à ce choix est affiché. Cependant, l'utilisation d'un écran spécial est un obstacle important en termes de coût et de robustesse, l'appui avec un stylet sur l'écran pouvant toujours occasionner des dommages à ce dernier.

Ainsi, pour les téléphones portables, produits en grand nombre, le dispositif de pointage retenu est de type bouton permettant des déplacements saccadés dans deux directions orthogonales, sur des choix affichés peu nombreux. Il en résulte une lenteur d'entrée de données qui gêne l'utilisateur.

Concevoir un système de pointage adapté aux systèmes palmaires est donc un problème difficile.

Dans ce contexte, l'invention est un: - Dispositif de pointage sur écran, caractérisé en ce qu'il comprend un objet, de type doigt, un appareil, du type photographique, capable de transmettre une image de l'objet, un écran, du type écran de la taille du doigt, capable d'afficher un pointeur et des moyens pour transformer un changement de l'image de l'objet, en une modification de l'affichage du pointeur io Dans des modes particuliers de l'invention: le changement de l'image de l'objet est une translation et la modification de l'affichage du pointeur est un déplacement - le changement de l'image de l'objet est une dilatation et la is modification de l'affichage du pointeur est une sélection - la dilatation est un agrandissement - la dilatation est une constriction l'appareil est du type installable sur un système palmaire l'écran est du type lumineux et éclaire l'objet Une application de l'invention est: - la réalisation d'un système palmaire muni d'un système de pointage contrôlé par un doigt.

Un mode particulier de réalisation de l'invention est décrit maintenant dans le cas d'un système palmaire de type téléphone portable.

L'invention utilise comme objet un doigt d'un utilisateur humain et un appareil photographique à lentille constituée d'une goutte de liquide, commune sur un téléphone portable. Le téléphone est muni d'un écran dont la hauteur, ou dimension perpendiculaire à la ligne définie par les centres des yeux de l'utilisateur, est de la taille d'un doigt. L'écran ne comprend, de préférence, aucune touche.

L'appareil photographique est disposé au dos du téléphone, sur la face ne contenant pas l'écran. II contient un capteur par exemple de type CMOS et une électronique de traitement adaptée, permettant la transmission d'images du doigt à une cadence de plusieurs fois par seconde.

La reconnaissance du doigt par des méthodes de reconnaissance d'image peut être faite à l'aide d'un microprocesseur, recevant l'ensemble des points indépendants de l'image, ou pixels dans une zone mémoire associée à un to tableau. Le périmètre de l'écran étant associé aux éléments ayant au moins un indice extrême dans le tableau. On obtient ainsi une image en mémoire de l'image transmise par l'appareil. Sur cette image, des opérations de calcul sont à effectuer pour déterminer un point particulier désigné par le doigt.

Dans le domaine de la reconnaissance d'image, la puissance de calcul pour reconnaître une forme est rapidement prohibitive pour des conditions d'éclairage et de bruit variables. Le choix d'un objet est primordial pour garder au calcul, un temps et un coût en énergie raisonnable.

Plusieurs facteurs rendent alors le choix d'un doigt attractif pour la désignation sur écran de la taille du doigt. Le facteur primordial est dans ce cas que la base du doigt est en dehors de l'écran et qu'en conséquence, le doigt coupe le périmètre de l'écran. II est ainsi possible de déterminer la présence d'un doigt en testant uniquement sur le périmètre, la présence de pixels de couleur du doigt, contigus et formant un premier segment. La recherche sur le périmètre est très rapide comparée à une recherche sur la surface. De plus, la longueur du premier segment permet d'estimer la largeur du doigt.

Les extrémités du premier segment permettent alors par examen des pixels à leur voisinage, de déterminer une direction moyenne pour le doigt. On pourra ainsi chercher au voisinage du périmètre de l'écran, les extrémités d'un second segment de la couleur du doigt et parallèle au périmètre de l'écran dont le milieu définit alors avec celui du premier segment la direction moyenne du doigt.

Enfin, la largeur d'un doigt ne croissant pas jusqu'à son extrémité, il est possible de définir un canal de recherche dans l'image, dans la direction moyenne du doigt et de largeur égale à la largeur estimée de ce doigt. Dans ce canal, on peut alors rechercher un segment extrémal, de la couleur du doigt parallèle au premier segment et dont la largeur est diminuée de moitié par rapport à la largeur estimée du doigt. Le milieu de ce segment est s conventionnellement associé au point actif désigné par le doigt.

Il est à noter que cet algorithme permet de déterminer sur une image statique et avec peu de calculs, le point actif désigné par le doigt. Par rapport à une recherche par exemple d'un doigt dans toute la surface de l'image puis la traque de ses évolutions, courante en traitement d'image, la méthode exposée io permet un taux de rafraîchissement peu élevé. En effet, la reconnaissance de forme initiale, gourmande en puissance de calcul dans l'art antérieur car elle nécessite typiquement un produit de corrélation avec un gabarit variable sur toute l'image est évitée avec l'invention. Celle-ci permet donc d'utiliser des images statiques à taux de rafraîchissement peu important, ce qui est souvent is le cas des appareils photographiques des téléphones portables.

La largeur du doigt et son extrémité étant facilement estimables par une méthode adaptée à une image statique, il est alors possible d'associer les variations d'extrémité à un déplacement d'un pointeur sur l'écran et les variations de largeur à une sélection, de type clic.

Par exemple, la variation de la largeur du doigt de plus de la moitié entre deux images peut être associée à un clic à la dernière position du point actif et la variation du point actif à un déplacement du point de sélection.

En conséquence, l'invention permet en utilisant des moyens de transformation des informations de largeur du doigt et de position du point actif en opérations de déplacement et en sélection d'un pointeur sur l'écran du téléphone portable, de permettre la réalisation d'un dispositif de pointage pour téléphone portable contrôlé par le doigt.

Plus généralement, on peut dire que l'invention, sur un écran de la taille du doigt, permet d'afficher un pointeur grâce à des moyens pour transformer un changement de l'image de l'objet, en une modification de l'affichage du pointeur. Un déplacement du pointeur correspondant à une translation et un clic à une dilatation du doigt.

Lorsque l'appareil est du côté opposé à l'écran sur le téléphone, la dilatation est commodément une constriction du doigt, le doigt étant alors éloigné de l'appareil pour effectuer une sélection comme si l'utilisateur tapait sur un tapis invisible. Si l'écran est situé du côté de l'écran, la dilatation est commodément un agrandissement du doigt, le doigt étant alors approché de l'appareil pour effectuer une sélection comme si l'utilisateur tapait sur un tapis situé sur le dioptre d'entrée de l'appareil.

Dans la mesure où l'appareil est installable sur un système palmaire, c'est-à-dire peu encombrant, l'invention peut être adaptée à tout système palmaire.

io Dans le cas où l'appareil est situé du côté de l'écran et où l'écran est de type lumineux ou retro-éclairé, le doigt peut refléter une partie de la lumière de l'écran et l'invention peut alors fonctionner dans l'obscurité, l'écran éclairant le doigt. Cette caractéristique permet d'envisager de supprimer les touches d'un téléphone portable quasicomplètement en ne conservant par exemple qu'un is bouton de marche et d'arrêt, tout en conservant la possibilité de numéroter avec le doigt de l'invention même en l'absencce de source extérieure de lumière.

Il est possible de noter qu'un pinceau lumineux pourrait faire office de doigt sans difficulté particulière.

L'invention est applicable aux télécommunications et à l'informatique.

Claims (1)

1. REVENDICATIONS

   Dispositif de pointage sur écran, caractérisé en ce qu'il comprend un objet, de type doigt, un appareil, du type photographique, capable de transmettre une image de l'objet, un écran, du type écran de la taille du doigt, capable d'afficher un pointeur et des moyens pour transformer un changement de l'image de l'objet, en une modification de l'affichage du pointeur Dispositif selon la revendication 1 caractérisé en ce que le changement de l'image de l'objet est une translation et la modification de l'affichage du pointeur est un déplacement Dispositif selon la revendication 1 caractérisé en ce que le changement de l'image de l'objet est une dilatation et la modification de l'affichage du pointeur est une sélection Dispositif selon la revendication 3 caractérisé en ce que la dilatation est un agrandissement Dispositif selon la revendication 4 caractérisé en ce que la dilatation est une constriction Dispositif selon la revendication 1 à 5, caractérisé en ce que l'appareil est du type installable sur un système palmaire 20 7) Dispositif selon l'une des revendications 1 à 6, caractérisé en ce que l'écran est du type lumineux et éclaire l'objet s) Application du dispositif selon l'une des revendications 1 à 7, à la réalisation d'un système palmaire muni d'un système de pointage contrôlé par un doigt 1) 2) i0 3) 4) 5) 6)