FR2946768A1 - Procede d'entree tactile d'instructions de commande d'un programme d'ordinateur et systeme pour la mise en oeuvre de ce procede - Google Patents

Abstract

Procédé d'entrée d'instructions pour commander un programme exécuté par un ordinateur pourvu d'un écran tactile agencé pour détecter des zones de contact avec au moins une partie d'une main d'un utilisateur, le procédé comprenant les étapes de : - déterminer des surfaces des zones de contact, - sélectionner au moins une instruction correspondant aux surfaces déterminées dans une table mettant en relation des instructions prédéterminées avec au moins une surface ou une combinaison de surfaces.

Description

1 La présente invention concerne un procédé d'entrée d'instructions de commande d'un programme exécuté par un ordinateur et un système pour la mise en oeuvre de ce procédé.

Depuis de nombreuses années, on cherche à rendre plus naturelle l'entrée de données et d'instructions dans un ordinateur et limiter au moins en partie le recours au clavier et à la souris habituellement utilisés. A cette fin, il existe des ordinateurs équipés de systèmes tactiles. De tels systèmes tactiles comprennent des dispositifs tactiles associés à un pilote logiciel permettant au système d'exploitation d'interpréter les signaux provenant du dispositif tactile. Un dispositif tactile peut être un écran d'affichage directement pourvu de détecteurs de contacts qui sont de type résistif, capacitif, acoustique ou optique et sont agencés pour réaliser une acquisition à intervalles réguliers de l'ordre d'une quinzaine de millisecondes. Un dispositif tactile peut également être une dalle transparente ou un cadre équipés de ces détecteurs de contact et fixés sur un écran d'ordinateur classique. Dans certains cas, le dis-positif tactile peut aussi être déporté par rapport à l'écran d'affichage. Le dispositif tactile permet la détection d'une ou plusieurs zones de contact et envoie périodiquement vers l'ordinateur des signaux contenant des données de description graphique de chaque zone de contact dans un repère associé au dispositif. Le système d'exploitation de l'ordinateur utilise ces signaux pour déterminer les zones du dispositif sur lesquelles l'utilisateur exerce un contact et transmet des informations correspondantes à l'application informatique en cours d'exécution. Un inconvénient des systèmes tactiles actuels est qu'ils sont limités au pointage de zones de l'écran. Il est cependant apparu depuis peu la possibilité de réali- 2 ser un déplacement de l'image par déplacement d'un doigt en appui sur l'écran et un grossissement dont le rapport est déterminé en rapprochant ou éloignant deux doigts en appui sur l'écran.

Les systèmes tactiles actuels ne permettent ce-pendant pas l'entrée d'une pluralité d'instructions, éventuellement plus complexes, comme l'affichage d'un me-nu ou d'une fenêtre concernant une partie de l'écran pointée, l'ouverture ou la fermeture d'un menu contex- tuel, la sélection d'une partie de l'écran et la réalisation d'un copier - coller, l'écriture sur l'écran, la sélection de plusieurs parties de l'image affichée... Ces limitations résultent en particulier du fait que les systèmes tactiles n'utilisent que les contacts des extrémités des doigts sans discriminer les doigts utilisés pour ré- aliser ces contacts. Il a été envisagé d'avoir affiché en permanence sur l'écran des menus et/ou un clavier permettant à l'opérateur d'entrer de manière tactile un certain nombre d'instructions. Cependant, dans certaines applications, notamment graphiques et plus particulièrement cartographiques, le contenu graphique affiché à l'écran ne doit pas être masqué et il est inapproprié de réduire la zone d'affichage dédiée au contenu graphique.

Un but de l'invention est de fournir un moyen pour s'affranchir au moins en partie des limites des systèmes tactiles actuels. A cet effet, on prévoit, selon l'invention, un procédé d'entrée d'instructions pour commander un pro- gramme exécuté par un ordinateur pourvu d'un dispositif tactile agencé pour détecter des zones de contact avec au moins une partie d'une main d'un utilisateur, le procédé comprenant les étapes de : - déterminer des surfaces des zones de contact, - sélectionner au moins une instruction corres- 3 pondant aux surfaces déterminées dans une table mettant en relation des instructions prédéterminées avec au moins une surface ou une combinaison de surfaces. Ainsi, la détection des surfaces permet de réali- ser avec une main de l'utilisateur autant d'entrées que de surfaces distinguées par le procédé. L'utilisation des deux mains permet de multiplier le nombre d'entrées atteignant ainsi une pluralité d'entrées compatible avec l'emploi d'applications informatiques complexes ou riches en fonctionnalités. De préférence, le procédé comprend l'étape de dé-terminer une modification d'au moins une des zones de contact et de sélectionner l'instruction en fonction également de cette modification.

Ceci permet d'augmenter encore le nombre d'entrées possibles. A titre d'exemples de telles modifications : - la modification est un déplacement de la zone de contact et, de préférence, la détermination de la mo- dification comprend une étape de mesure de la vitesse ou de l'accélération de déplacement et/ou l'étape de déterminer un contour de zone de contact et un grand axe de la zone de contact et l'étape de détecter une rotation du grand axe ; - la modification est une variation de la surface de la zone de contact (la variation peut être une variation de forme ou des dimensions de la surface). Selon une caractéristique particulière, lorsque sont détectés deux zones de contact et un déplacement de l'une d'entre elles, le procédé comprend l'étape d'identifier un masquage ponctuel de la zone en mouvement par l'autre zone et, de préférence, l'identification du masquage ponctuel comprend une phase d'extrapolation d'une trajectoire de déplacement de la zone en mouvement lors du masquage ponctuel. 4 La partie masquée de la trajectoire de la zone de contact en mouvement peut ainsi être reconstruite pour déterminer la nature de l'instruction correspondante. Ce-ci est d'autant plus intéressant que des zones de contact de surface relativement importante peuvent être présentes, la probabilité de survenue d'un masquage étant d'autant plus élevée. Avantageusement, la table contient des gestuelles composées à partir de quatre surfaces de base, une pre- mière correspondant sensiblement à l'extrémité distale d'un doigt, une deuxième correspondant sensiblement à une main fermée, une troisième correspondant à la main ou-verte à plat, une quatrième correspondant à la tranche d'une main.

L'obtention de ces quatre surfaces ne nécessite pas une gymnastique importante de la main de l'utilisateur et ces quatre surfaces sont suffisamment différentes pour éviter une erreur dans leur classification préliminaire à l'identification des gestuelles dé- terminées dans la table de sélection d'instructions. Le nombre d'instructions qu'il est possible d'entrer est alors relativement important. De préférence, le procédé comprend une étape d'étalonnage pour calibrer les surfaces des zones de contact en fonction de la taille des mains de l'utilisateur. La morphologie de l'utilisateur est ainsi prise en compte pour éviter qu'elle ne fausse la classification des surfaces.

Selon une autre caractéristique particulière, le procédé mis en oeuvre au moyen d'un dispositif tactile qui comporte deux détecteurs de contacts disposés au voisinage de coins de l'écran, le procédé comprenant l'étape de déterminer la surface de la zone de contact en fonc- tion de l'éloignement de la zone de contact par rapport aux détecteurs. L'éloignement des détecteurs influe sur la forme et la surface de la zone de contact détectée. La prise en compte de l'éloignement permet donc d'éviter un biais 5 dans la détermination de la surface de la zone de contact. Selon une caractéristique particulière supplémentaire, une zone tampon est définie autour de la zone de contact et tout contact détecté dans la zone tampon est ignoré ou agrégé à la zone de contact et, de préférence, lorsque la surface déterminée de la zone de contact correspond à une main ouverte, la zone tampon est dimension-née pour coller à la zone de contact. Ceci permet de limiter la prise en compte de contacts parasites qui viendraient perturber le fonctionnement du procédé. En effet, lorsque l'utilisateur touche l'écran, son doigt ou sa main s'approche progressivement, éventuellement vacille au moment du contact, avant de se plaquer contre l'écran de sorte qu'une pluralité de très petits contacts est détectée avant que l'ensemble de la zone de contact soit formée. On parle ici de contacts parasites de transition (entre l'absence et la présence d'une zone de contact de surface prédéterminée et inversement). Ceci est d'autant plus important lorsque le sys- tème tactile ne peut gérer qu'un nombre limité de contacts simultanés : il faut que les contacts pris en compte soient des contacts utiles. Selon encore une autre caractéristique particulière, les contacts ayant une durée inférieure à un seuil prédéterminé et/ou les contacts apparaissent après un laps de temps inférieur à un seuil à compter d'un contact antérieur ne sont pas pris en compte. Ceci permet aussi de limiter la prise en compte de contacts parasites involontaires, résultant cette fois d'un effleurement de l'écran tactile par exemple, qui viendraient perturber le fonctionnement du procédé. On peut prévoir, pour mettre en oeuvre cette caractéristique, d'inhiber la détection de zones de contact pendant la du-rée prédéterminée ou le laps de temps prédéterminé après qu'a été détectée une première zone de contact. Selon une autre caractéristique particulière, les contacts ayant une durée supérieure à un seuil prédéterminé et apparaissant dans une zone tampon autour d'une surface correspondant sensiblement à une main fermée sont agrégés à la surface de la main fermée. Ceci permet de prendre en compte en continu l'ouverture de la main fermée appliquée sur le dispositif tactile, même si un espace apparaît entre la surface correspondant à la paume et la ou les surfaces correspondant aux contacts des doigts. Ceci permet également de prendre en compte en continu la fermeture de la main ouverte posée à plat sur le dispositif tactile, même si un espace apparaît entre la surface correspondant à la paume et la ou les surfaces correspondant aux contacts des doigts.

De préférence, les instructions sont rassemblées en groupes, à chaque instruction est associée un paramètre prédéterminé de positionnement comprenant une sur-face, une position relative et/ou une variation des zones de contact, un des paramètres de positionnement étant commun à toutes les instructions d'un même groupe. Ce regroupement associé à un paramètre prédéterminé de positionnement permet de faciliter l'apprentissage de la grammaire gestuelle par l'utilisateur.

De préférence, le résultat final d'une instruction envoyée au système d'exploitation à la suite de l'exécution d'une gestuelle par l'opérateur s'apparente au résultat qu'aurait obtenu physiquement l'opérateur si celui-ci avait exécuté cette gestuelle sur des éléments physiques réels et non leur représentation informatique. 7 Cette parenté entre résultats virtuels et réels augmente la capacité d'appropriation des gestes par l'opérateur, et facilite leur restitution notamment dans des contextes où l'opérateur subit un stress diminuant ses capacités de concentration. Avantageusement, le procédé selon l'invention comprend l'étape d'afficher sur l'écran un indicateur de la surface déterminée et, de préférence, l'indicateur est un halo coloré entourant la zone de contact, la couleur dépendant de la surface déterminée. Le risque d'erreur est ainsi limité, l'indicateur de surface permettant à l'utilisateur de s'assurer que la surface prise en compte par le système est bien celle qu'il avait envisagée.

Selon un mode de mise en oeuvre préféré, le procédé comprend les étapes de : - déterminer des surfaces des zones de contact, - sélectionner au moins une instruction correspondant aux surfaces déterminées dans une table mettant en relation des instructions prédéterminées avec au moins une surface statique ou dynamique, ou une combinaison de surfaces statiques ou dynamiques, ou encore une séquence d'enchainements successifs d'une ou plusieurs surfaces statiques ou dynamiques. Une surface dynamique est une surface dont les caractéristiques graphiques de forme et d'aire changent dans le temps. Une gestuelle correspond à un contact unique statique ou dynamique, ou une combinaison de surfaces statiques ou dynamiques, ou une séquence de surfaces statiques ou dynamiques. L'opérateur interagit avec le système d'exploitation de l'ordinateur via une ou plusieurs gestuelles exécutées via le dispositif tactile. A chaque gestuelle correspond à une instruction transmise au système d'exploitation de l'ordinateur.

L'invention a également pour objet un système 8 pour la mise en oeuvre de ce procédé, le système comprenant un dispositif tactile pourvu des moyens de transmission en temps réel de données de contact à un ordinateur, les données de contact comportant des coordonnées de zo- nes de contact détectées sur l'écran, et module logiciel de démultiplexage exécutable par l'ordinateur pour : - transformer les données de contact en paquets de données identifiés comportant un identifiant, une position, un instant, une hauteur et une largeur, - calculer une surface de la zone de contact et déterminer une classe de surface correspondante, qui sont ajoutées à chaque paquet, - déterminer une instruction notamment à partir de la classe de surface.

De préférence, le module logiciel de démulti- plexage est agencé pour : - déterminer une instruction notamment à partir de l'évolution dynamique la classe de surface. - déterminer une instruction notamment à partir d'une combinaison de classes de surfaces statiques ou dynamiques, - déterminer une instruction notamment à partir d'une séquence d'enchaînements successifs de classes de surfaces statiques ou dynamiques.

D'autres caractéristiques et avantages de l'invention ressortiront à la lecture de la description qui suit de modes de réalisation particuliers non limita-tifs de l'invention. Il sera fait référence aux dessins annexés, parmi lesquels : - la figure 1 est une vue schématique d'un système pour la mise en oeuvre du procédé conforme à l'invention, - la figure 2 est un schéma par blocs illustrant le déroulement du procédé conforme à l'invention, - les figures 3a à 3c sont les parties successives d'un tableau illustrant les différents éléments constitutifs d'une grammaire utilisable avec le procédé de l'invention, - la figure 4 est une vue d'un écran à plat sur lequel sont disposées des mains afin de montrer l'influence de la position de la main et de la taille de la main sur la surface de la zone de contact détectée, - la figure 5 est une vue analogue à la figure 4 d'un écran auquel est superposé un quadrillage de détermination des coefficients de pondération des surfaces calculées, - les figures 6 et 7 sont des vues analogues à la figure 4 représentant des zones tampon, - les figures 8.a et 8.b illustrent un mode de détermination de l'orientation d'une main à plat sur un écran, - la figure 9 est une vue analogue à la figure 4 montrant le masquage d'une trajectoire de déplacement d'une zone de contact par une autre zone de contact, - la figure 10 est une vue analogue à la figure 4 montrant la détection du tranchant d'une main. En référence aux figures, le procédé conforme à l'invention est mis en oeuvre au moyen d'un système infor- matique comprenant un ordinateur 1 relié à un dispositif tactile généralement désigné en 2 comportant une surface d'affichage 3 entouré d'un cadre de détection 4 dans deux angles supérieurs duquel sont montés deux détecteurs op-tiques 5 ayant chacun un champ couvrant le côté latéral qui leur est opposé et le côté inférieur du cadre 4. Des diodes infrarouges 6 sont montées sur les côtés latéraux 7 et le côté inférieur 8 de telle manière que le masquage d'une ou plusieurs de ces diodes puisse être détecté par les détecteurs et révèle la présence d'un élément au vol- sinage de la surface d'affichage 3. Le cadre de détection 10 est ainsi agencé pour détecter les mains d'un utilisateur ou opérateur qui, en venant au voisinage de la surface d'affichage 3 ou la touchant, vont masquer les diodes et créer des points ou zones de contact 21, 22, 23, 24 qui sont interprétées par le système sous la forme de quadrilatères 11, 12, 13, 14 dans lesquels sont inscrites les zones de contact (voir les figures 4, 6, 7 et 8). Le cadre de détection 4 est agencé pour transmettre en continu et en temps réel à l'ordinateur 1 des données de contact mentionnant pour la zone de contact les coordonnées de son centre et de ses quatre sommets et les distances séparant les sommets opposés. Le cadre de détection 4 peut de façon connue en soi identifier deux zones de contact simultanément en présence à condition que les zones de contact soient apparues successivement. Ce type de cadre de détection 4 est connu en lui-même. L'ordinateur 1 est pourvu d'un système d'exploitation gérant les entrées/sorties et les ressources matérielles et logicielles de l'ordinateur associé à un module logiciel de démultiplexage dont le fonctionne- ment sera détaillé ci-après. L'ordinateur 1 exécute en outre un logiciel de préparation de mission aérienne utilisant une cartographie affichée sur l'écran tactile 2. Les instructions de commande de ce logiciel sont entrées au moyen du disposi- tif tactile 2. Le procédé d'entrée d'instructions mis en oeuvre par le système ci-dessus comprend les étapes principales de . - déterminer des surfaces des zones de contact (étape 130), - sélectionner au moins une instruction correspondant aux surfaces déterminées dans une table mettant en relation des instructions prédéterminées avec au moins une surface statiques ou dynamiques ou une combinaison de surfaces statiques ou dynamiques ou une séquence de sur-faces statiques ou dynamiques (étape 170). Le module logiciel de démultiplexage est agencé pour mettre en oeuvre ce procédé et plus particulière- ment : - recevoir les données de contact en temps réel (étape 110), - transformer les données de contact en paquets de données identifiés comportant un identifiant, une po- sition, un instant, une hauteur et une largeur (étape 120), - calculer une surface de la zone de contact et déterminer une classe de surface correspondante (étape 130), qui sont ajoutées à chaque paquet (étape 140), - déterminer une instruction notamment à partir de la classe de surface statique ou dynamique ou de la combinaison de surfaces statiques ou dynamiques ou de la séquence d'enchaînement successifs de surfaces statiques ou dynamiques et de la table précitée (étapes 160 et 170), - transmettre l'instruction à l'application (étape 180). La table comprend quatre surfaces : une première correspond sensiblement à l'extrémité distale d'un doigt, une deuxième correspond sensiblement à une main fermée, une troisième correspond à la main ouverte à plat, et une quatrième correspond à la tranche d'une main. La table comprend aussi des modifications des zones de contact, une instruction pouvant être sélectionnée en fonction également de cette modification. Cette modification est : un déplacement de la zone de contact, tel qu'un déplace-ment circulaire ou rectiligne, en prenant en compte éventuellement la vitesse et/ou l'accélération de ce déplace-ment ; ou bien une variation en forme et/ou en aire de la surface de la zone de contact (résultant par exemple de 12 la fermeture ou de l'ouverture d'une main en appui sur le dispositif tactile). La table met ainsi en relation des éléments grammaticaux gestuels et des instructions. En référence à la figure 3, vont maintenant être listés les éléments grammaticaux figurant dans la table avec les instructions correspondantes (remarque : pour certaines instructions on distingue selon que l'affichage est en deux dimensions, ou 2D, ou en trois dimensions, ou 3D) 51 L'opérateur d'une main Ouverture sur le coté de l'objet pointe du doigt un ob- pointé d'une infobulle affichant des jet et reste immobile informations génériques sur l'objet un temps. pointé. 52 L'opérateur d'une main Ouverture sur le coté de l'objet pointe du doigt un ob- pointé d'une infobulle affichant une jet, et vient appliquer information progressive, c'est-à-dire le tranchant de l'autre de plus en plus enrichie au fur et à main sur la surface mesure que la main s'éloigne du (n'importe où il ne doigt. masque pas le doigt), puis écarte le tran- chant de sa main. 53 L'opérateur d'une main - Si l'opérateur a appliqué son doigt pointe du doigt un en- sur un objet sélectionnable, alors droit de l'écran, et celui-ci est sélectionné et on est en vient appliquer le plat mode Information graphiques de l'autre main en ouverture d'une représentation gros- contact avec la surface sie de l'objet pointé. Seul l'objet (n'importe où il ne pointé est dans une fenêtre apparais- masque pas le doigt), sant à gauche du doigt. Le grossisse- puis écarte le plat de ment est progressif (donc une repré- sa main. sentation de l'objet de plus en plus détaillée) au fur et à mesure que la main s'éloigne du doigt. - Si l'opérateur applique son doigt sans sélectionner un objet, affichage d'une zone loupe : agrandissement autour de la zone pointée. L'opérateur peut désélectionner un objet en appuyant une deuxième fois avec son doigt, pour effectuer un effet loupe avant de poser et dépla- cer son autre main. L'opérateur re- ferme la loupe en déplaçant sa main à plat en sens contraire, comme pour rabattre la loupe. 4 L'opérateur applique Ouverture d'un menu contextuel. une main à plat et la déplace sur la surface. 55 L'opérateur applique Fermeture d'un menu contextuel une main à plat sur le menu précédemment ou- vert et la déplace sur la surface. 56 L'opérateur appuie un Opération de choix, par exemple dans doigt et le relève. un menu à l'écran. 57 L'opérateur applique le Effet gomme selon deux cas : tranchant d'une main - pas d'objet sélectionnés, alors puis fait un déplace- tous les objets situés sous la sur- ment oblique vers le face balayée par l'opérateur sont haut. effacés à l'écran, - des objets sont en cours de sélec- tion, alors ce geste peut être fait n'importe où sur la surface, seuls les objets sélectionnés sont effacés. 58 L'opérateur pose une Copier/coller : l'objet à copier est main à plat, la referme situé sous le poing et l'opérateur en en poing puis déplace déplace une copie en déplaçant son son poing sur un autre poing sur la surface. endroit de la surface. Si plusieurs objets sont en cours de L'opérateur peut éven- sélection, c'est toute la sélection tuellement lever son qui est copiée puis collée poing de la surface et le reposer plus loin. Pour coller l'opérateur réouvre sa main à plat. 59 L'opérateur pose une En mode saisie constante : écri- main à plat puis du ture ou dessin selon ce qu'interprète bout du doigt il des- le système. sine ou écrit. 60 L'opérateur pose Affichage d'un clavier à l'écran. une main à plat puis son autre main fermée et déplace la main fermée vers le droite. 61 L'opérateur pose l'une Définition d'une zone englobante : de ses mains à plat sur par exemple pour définir une emprise l'écran, puis avec de coupe d'une représentation ou en- l'autre main définit core une sélection par rectangle. une enveloppe. La zone englobante commence et rebou- cle à l'endroit du premier touché. En vue 3D la sélection se fait en projeté sur le sol. Interprétation de la forme dessinée (rectangle a minima) 62 L'opérateur tapote une Définition d'une sélection multiple. fois sur des endroits En vue 3D la sélection se fait en précis. projeté sur le sol. 63 L'opérateur pose un En 2D : déplacements de type pan. doigt et fait des mou- Variante avec prise en compte de la vements libres sur la vitesse : le pan est continu si le surface. mouvement s'est terminé rapidement avec le levé du doigt. Pour stopper le pan continu il suffit d'entrer en contact avec la surface. Cette manipulation peut également être utilisée en drag and drop Si le doigt est appliqué sur le cadre de l'objet à déplacer. En 3D : déplacements transversaux. Déplacements transversaux avant, ar- rière, latéraux et mixtes. Variante avec prise en compte de la vitesse : le pan est continu si le mouvement s'est terminé rapidement avec le levé du doigt. Pour stopper le pan continu il suffit d'entrer en contact avec la surface. 64 L'opérateur pose deux Les déplacements s'appliquent à poings et fait des mou- l'ensemble de la représentation, à vements libres sur la toutes les vues. surface. En 2D : zoom/zoom inverse/rotation et pan, à la fois dynamique et continu. Variante avec prise en compte de la vitesse : le dernier mouvement donné à la représentation est conservé en continu si le mouvement s'est terminé rapidement avec la levée des poings. Pour stopper le mouvement continu il suffit d'entrer en contact avec la surface. En 3D : zoom/zoom inverse/rotation et pan, à la fois dynamique et continu. Variante avec prise en compte de la vitesse : le dernier mouvement donné à la représentation (si compliqué soit-il) est conservé en continu si le mouvement s'est terminé rapidement avec la levée des poings. Pour stop- per le mouvement continu il suffit d'entrer en contact avec la surface. En 3D, cette gestuelle permet de mon- ter ou descendre la représentation à l'écran. 65 L'opérateur pose deux Dans le cas d'une représentation de doigts et fait des mou- plusieurs vues se superposant, les vements libres sur la déplacements s'appliquent à la vue du surface. dessus , et aux vues qui lui sont liées, indépendamment des autres vues. En 2D : zoom/zoom inverse/rotation et pan, à la fois dynamique et continu. Variante avec prise en compte de la vitesse : le dernier mouvement donné à la représentation est conservé en continu si le mouvement s'est terminé rapidement avec la levée des doigts. Pour stopper le mouvement continu il suffit d'entrer en contact avec la surface. En 3D : zoom/zoom inverse/rotation et pan, à la fois dynamique et continu. Variante avec prise en compte de la vitesse : le dernier mouvement donné à la représentation est conservé en continu si le mouvement s'est terminé rapidement avec la levée des doigts. Pour stopper le mouvement continu il suffit d'entrer en contact avec la surface. En 3D, cette gestuelle permet de mon- ter ou descendre la représentation à l'écran. 66 L'opérateur applique un Effet Molette employé par exem- doigt sur la surface, ple dans le cas de la représentation son autre main en de plusieurs vues qui occupent toute poing, déplace la main la surface visible, ainsi que dans le en poing vers le haut cas de plusieurs objets représentés ou vers le bas. par une seule représentation. Dans le cas de plusieurs vue se su- perposant, le résultat du déplacement de la main en poing est de modifier l'ordre des vues en temps réel, avec comme principe que la vue au-dessus des autres est celle active pour la manipulation pan/rotation/zoom quand la manipulation doit être réalisée sur la vue active (et celles qui lui sont éventuellement liées) sans pro- pagation sur les autres vues. Dans le cas d'une seule représenta- tion pour plusieurs objets, par exem- ple des trajectoires confondues, le résultat est le défilement des ob- jets. Cette gestuelle est également employée par exemple pour faire défi- ler des listes de choix, ou faire varier des valeurs numériques, etc... 67 L'opérateur applique Déplacement de deux vues se superpo- ses deux mains à plat sant. L'une des mains s'applique à sur la surface, assez déplacer la vue du dessus, l'autre éloignées pour ne pas celle de dessous. créer d'artéfact. Puis, il déplace ses mains vers le haut ou vers le bas en créant un décalage vertical entre ses mains par rapport à leur position de départ 68 L'opérateur applique Inclinaison (mouvement de la main l'une de ses mains fer- vers le haut) ou redressement (mouve- mée en poing sur la ment de la main vers le bas) de la surface, puis la dé- représentation au fur et à mesure du place vers le haut ou déplacement de la main. On peut ainsi vers le bas. passer de la représentation en 2D d'une vue vers une représentation en 3D. Dans le cas d'un contexte graphi- que qui ne s'inclinerait pas, ces mouvements provoquent un déplacement de type pan avec une phase d'éloignement (zoom inverse), soit du 2D . Cette gestuelle peut être utilisée simultanément avec la suivante. 69 L'opérateur pose son Déplacements en rotation avant, ar- poing, un doigt et fait rière, transversaux et mixtes. L'axe des mouvements libres de rotation est l'endroit où le poing avec son doigt sur la est appliqué. surface. Variante avec prise en compte de la vitesse : le pan est continu si le mouvement s'est terminé rapidement avec le levé du doigt. Pour stopper le pan continu, il suffit d'entrer en contact avec la surface. 70 L'opérateur applique Cette manipulation provoque une rota- l'une de ses mains fer- tion d'axe normal au centre de la vue mée en poing sur la dans le sens antihoraire (si le mou- surface, puis la dé- vement est vers la droite) ou horaire place vers un coté. (si le mouvement est vers la gauche), et progressive avec le déplacement de la surface. Dans le cas d'un contexte graphique qui ne pivoterait pas, ces mouvements provoquent un déplacement de type pan avec une phase d'éloignement (zoom inverse), soit du 2D 1~. Cette gestuelle peut être utilisée simultanément avec la précédente 71 L'opérateur applique la Coupe de la vue dans l'axe du dépla- tranche d'une de ses cernent du tranchant. A l'issue de mains sur la surface, cette action la vue est découpée en puis l'autre main sur deux vues. son tranchant puis dé- place le tranchant vers le haut ou vers le bas. 72 L'opérateur pose une Sortie du mode en cours. main à plat puis effectue des mouvements tranversaux courts, gauche-droite. 73 L'opérateur applique Annulation de la dernière commande. une main posée à plat et la déplace vers le haut. 74 L'opérateur applique Répétition de la dernière commande. une main posée à plat et la déplace vers le bas. 75 L'opérateur applique Passage depuis le mode d'affichage et une de ses mains à d'interaction multimodal vers le mode plat, l'autre sur la d'affichage et d'interprétation des tranche, et écarte la touchés classique Windows (avec fenê- tranche vers la droite. tres, menus, clic, double-clic...). 76 L'opérateur applique Passage depuis le mode d'affichage et une de ses mains à d'interprétation des touchés classi- plat, l'autre sur la que Windows (avec fenêtres, menus, tranche à distance de clic, double-clic...) vers le mode l'autre main, et ramène d'affichage et d'interaction multimo- celle sur la tranche dal. vers la main à plat. 77 L'opérateur applique Passage depuis le mode d'affichage une de ses mains sur le cartographique vers le mode mixte tranchant, l'autre sur cartographie et base de données le tranchant à coté de l'autre main, et écarte celle de droite. 78 L'opérateur applique Passage depuis le mode le mode mixte une de ses mains sur le cartographie et base de données vers tranchant, l'autre sur le mode d'affichage cartographique le tranchant à distance de l'autre main, et la ramène vers l'autre. De préférence, les instructions sont rassemblées en groupes et à chaque groupe est associé un élément grammatical commun. Les éléments grammaticaux (ou paramètres prédéterminés de positionnement), dont l'un est com- mun à toutes les instructions du groupe, comprennent une surface, une position relative et/ou une variation des zones de contact. L'un des paramètres de positionnement est commun à au moins l'une des zones de contact associées à toutes les instructions d'un même groupe. Par exemple, dans le mode de réalisation décrit : - affichage d'informations sémantiques ou graphiques, pointage d'un doigt immobile (51, 52, 53, 66), - saisie, une main ouverte posée à plat et immobile (59, 60), - sélection en 2D et en 3D, une main fermée et immobile (61, 62), - déplacement dans la représentation, le bout du doigt est posé et en mouvement (63, 65), - manipulation de la représentation, une main fermée et en mouvement (66, 64, 68, 70), - basculement entre modes, les deux mains posées dont au moins une est sur le tranchant et en mouvement (75, 76, 77, 78). Ceci permet de faciliter l'apprentissage de la grammaire par l'opérateur. Lorsque les combinaisons intègrent une modification d'au moins une des surfaces comme dans le mode de mise en oeuvre décrit, le procédé comprend l'étape de dé-terminer cette modification.

Dans le cas d'un déplacement, le déplacement est identifié du fait d'une modification de coordonnées de la zone de contact et une mesure de la vitesse et/ou d'accélération de déplacement est éventuellement effectuée à partir de cette modification des coordonnées.

Dans le cas d'un déplacement linéaire (rectiligne ou circulaire) alors que sont détectées deux zones de contact, le procédé comprend l'étape d'identifier un masquage ponctuel de la zone en mouvement par l'autre zone (figure 9). L'identification du masquage ponctuel com- prend une phase d'extrapolation d'une trajectoire de dé-placement de la zone en mouvement lors du masquage ponctuel. Dans le cas d'une rotation de la zone de contact sur elle-même, le procédé comprend l'étape de déterminer un contour de zone de contact et un grand axe de la zone de contact (à partir des coordonnées des deux points du contour les plus éloignés l'un de l'autre et l'étape de détecter une rotation du grand axe. La détection de la rotation du grand axe est par exemple réalisée à partir de la variation de la distance entre les deux points du contour les plus éloignés. Une méthode analogue consiste à mesurer les déformations du quadrilatère dans lequel s'inscrit la zone de contact (comparer la figure 8a à la figure 8b). Ces méthodes mathématiques pour déterminer la rotation de la zone de contact sont connues en elles-mêmes et il n'est pas nécessaire de plus les détailler ici. Pour faciliter l'utilisation du dispositif tactile 2, le procédé comprend l'étape d'afficher sur la surface d'affichage 3 un indicateur de la surface déterminée. L'indicateur est ici un halo coloré entourant la zone de contact, la couleur dépendant de la surface dé-terminée. Ceci permet à l'utilisateur de vérifier que le système a bien pris en compte la surface souhaitée.

Le procédé de l'invention met également en œuvre des moyens pour éviter la prise en compte de contacts parasites ne résultant pas de la volonté de l'utilisateur. Ces moyens permettent une stabilisation des zones de contact (étape 150) et permettent l'élimination des contacts parasites en suivant l'évolution dans le temps des contacts. Cette phase permet aussi d'identifier les zones de contact en mouvement. Ces moyens comportent une composante temporelle et une composante graphique.

La composante temporelle consiste à observer les contacts ayant une durée inférieure à un seuil prédéterminé et/ou les contacts apparaissant après un laps de temps inférieur à un seuil à compter d'un contact antérieur mais observés pour identifier leurs évolutions.

Ici, la composante temporelle consiste plus précisément à ignorer les contacts ayant une durée inférieure à un premier seuil prédéterminé (on estime en effet qu'un contact trop bref est accidentel) et les contacts intervenant dans un laps de temps inférieur à un deuxième seuil pré- déterminé après un premier contact pris en compte (en effet un tel contact peut être le résultat de déplacement involontaire de la main avant que celle-ci ne se stabilise). Le module logiciel de démultiplexage neutralise l'émission des paquets correspondant à ces contacts. Les seuils résultent d'un compromis entre la réactivité du système et les inconvénients d'une trop grande sensibilité aux contacts parasites (temps de traitement ou conséquence d'une erreur d'interprétation de contact dans le fonctionnement de l'application). Ceci permet de ne pren- dre en compte une zone de contact que lorsqu'elle est stabilisée et correspond à la volonté de l'utilisateur. La composante graphique consiste à définir une zone tampon 33 autour de la zone de contact 23 (figure 6) et tout contact détecté dans la zone tampon 33 est ignoré ou agrégé selon le cas. La distance séparant le contour de la zone tampon et le contour de la zone de contact résulte comme précédemment d'un compromis. Des contacts apparaissant dans la zone tampon peuvent résulter de mouvements de la main pour accroître la surface de la zone de contact par exemple pour passer de la main fermée en poing à la main ouverte à plat. Lorsque la surface déterminée de la zone de contact 22 correspond à une main ou-verte, la zone tampon 32 est dimensionnée pour coller à la zone de contact (figure 7). En effet, la main à plat est stable et seuls quelques mouvements résiduels de la main peuvent provoquer des contacts parasites au voisinage immédiat de celle-ci. Ceci permettra néanmoins d'ignorer les contacts parasites qui pourraient intervenir à la fermeture de la main.

Les contacts intervenant dans la zone tampon sont ainsi filtrés selon les évolutions respectives du contact dans la zone tampon et du contact à l'origine de la zone tampon. Pour tenir compte des différences de morphologie entre les utilisateurs potentiels de l'invention, le pro-cédé comprend une étape préalable d'étalonnage (étape 100) pour calibrer les surfaces des zones de contact en fonction de la taille des mains de l'utilisateur. Lors de cette étape, il est demandé à l'utilisateur de poser suc- cessivement sur l'écran tactile 2 un doigt, la main fermée, la main ouverte et la tranche de la main de manière à déterminer, pour chacune des zones de contact correspondantes, la surface de référence qui sera utilisée pour classer les surfaces des zones de contact avant d'effectuer la recherche d'instructions dans la table. On voit sur la figure 4 que, du fait de la technologie de détection employée ici, la surface d'une zone de contact dépend de l'éloignement de celle-ci par apport aux détecteurs optiques 5. Le procédé de l'invention corn- prend ici, après le calcul de la surface de la zone de contact, la correction de la surface au moyen d'un facteur de pondération dont la valeur est déterminé au moyen du quadrillage 30 représenté superposé à la surface d'affichage 3. Ce quadrillage 20 est réalisé à partir de deux faisceaux de lignes émis depuis chaque coin supérieur du cadre de détection 4 vers les côtés adjacent à l'angle inférieur opposé. L'intersection des faisceaux de lignes forme des quadrilatères dont la surface varie en fonction de son éloignement des coins supérieurs, c'est- à-dire en fonction de ses coordonnées dans le repère de l'écran tactile 2. Le facteur de pondération est déterminé en rapportant la surface du quadrilatère correspondant aux coordonnées de la zone de contact dont on calcule la surface, à la surface d'un quadrilatère de référence choisi arbitrairement. L'étape de pondération permet ain- si de déterminer la surface de la zone de contact en fonction de l'éloignement de celle-ci par rapport aux détecteurs. Bien entendu, l'invention n'est pas limitée aux modes de réalisations décrits mais englobe toute variante entrant dans le champ de l'invention telle que définie par les revendications. En particulier, le procédé de l'invention peut être mis en oeuvre avec d'autres types d'écrans tactiles tels que les écrans tactiles résistifs, capacitifs, acoustiques, optiques (caméra disposée à l'aplomb de l'écran)... Le procédé de l'invention est utilisable pour commander d'autre type d'applications ou de logiciels que ceux liés au graphisme ou à la cartographie. Le procédé de l'invention peut être mis en oeuvre pour ne tenir compte que des surfaces ou des surfaces avec un type seulement de modifications (variation de surface ou déplacement) ou de déplacement (rotation ou linéaire). L'application commandée par le dispositif tactile peut également recevoir des instructions par une autre interface d'entrée comme un clavier ou une souris par exemple.

Claims (23)

1. REVENDICATIONS1. Procédé d'entrée d'instructions pour commander un programme exécuté par un ordinateur pourvu d'un dispo- sitif tactile agencé pour détecter des zones de contact avec au moins une partie d'une main d'un utilisateur, le procédé comprenant les étapes de : - déterminer des surfaces des zones de contact, - sélectionner au moins une instruction corres- pondant à au moins une des surfaces déterminées dans une table mettant en relation des instructions prédéterminées avec au moins une surface ou une combinaison de surfaces.
2. 2. Procédé selon la revendication 1, comprenant l'étape de déterminer une modification d'au moins une des zones de contact et de sélectionner l'instruction en fonction également de cette modification.
3. 3. Procédé selon la revendication 2, dans lequel la modification est un déplacement de la zone de contact.
4. 4. Procédé selon la revendication 3, dans lequel la détermination de la modification comprend une étape de mesure de la vitesse et/ou de l'accélération de déplace-ment.
5. 5. Procédé selon la revendication 3, comprenant l'étape de déterminer un contour de zone de contact et un grand axe de la zone de contact et l'étape de détecter une rotation du grand axe.
6. 6. Procédé selon la revendication 2, dans lequel la modification est une variation de la surface de la zone de contact.
7. 7. Procédé selon la revendication 1, dans lequel, lorsque sont détectés deux zones de contact et un déplacement de l'une d'entre elles, le procédé comprend l'étape d'identifier un masquage ponctuel de la zone en mouvement par l'autre zone.
8. 8. Procédé selon la revendication 7, dans lequell'identification du masquage ponctuel comprend une phase d'extrapolation d'une trajectoire de déplacement de la zone en mouvement lors du masquage ponctuel.
9. 9. Procédé selon la revendication 1, dans lequel la table comprend quatre surfaces, une première correspondant sensiblement à l'extrémité distale d'un doigt, une deuxième correspondant sensiblement à une main fermée, une troisième correspondant à la main ouverte à plat, une quatrième correspondant à la tranche d'une main.
10. 10. Procédé selon la revendication 1, comprenant une étape d'étalonnage pour calibrer les surfaces des zones de contact en fonction de la taille des mains de l'utilisateur.
11. 11. Procédé selon la revendication 1, mis en oeuvre au moyen d'un dispositif tactile comportant deux détecteurs de contacts disposés au voisinage de coins de l'écran, le procédé comprenant l'étape de déterminer la surface de la zone de contact en fonction de l'éloignement de la zone de contact par rapport aux détecteurs.
12. 12. Procédé selon la revendication 1, dans lequel une zone tampon est définie autour de la zone de contact et tout contact détecté dans la zone tampon est filtré selon l'évolution du contact dans la zone tampon et du contact à l'origine de la zone tampon.
13. 13. Procédé selon la revendication 12, dans le-quel lorsque la surface déterminée de la zone de contact correspond à une main ouverte, la zone tampon est dimen- sionnée pour coller à la zone de contact.
14. 14. Procédé selon la revendication 1, dans lequel les contacts ayant une durée inférieure à un seuil prédéterminé et/ou les contacts apparaissent après un laps de temps inférieur à un seuil à compter d'un contact anté- rieur ne sont pas pris en compte directement mais obser-vés pour identifier leurs évolutions.
15. 15. Procédé selon la revendication 1, dans lequel les contacts à l'intérieur d'une zone tampon et ayant une durée supérieure à un seuil prédéterminé sont agrégés au contact ayant défini initialement la zone de tampon.
16. 16. Procédé selon la revendication 1, dans lequel les instructions sont rassemblées en groupes, à chaque instruction est associée un paramètre prédéterminé de positionnement comprenant une surface, une position rela- tive et/ou une variation des zones de contact, un des paramètres de positionnement étant commun à toutes les instructions d'un même groupe.
17. 17. Procédé selon la revendication 1, comprenant l'étape d'afficher sur l'écran un indicateur de la sur- face déterminée.
18. 18. Procédé selon la revendication 17, dans le-quel l'indicateur est un halo coloré entourant la zone de contact, la couleur dépendant de la surface déterminée.
19. 19. Procédé selon la revendication 1, dans lequel une gestuelle prédéterminée exécutée par un opérateur est définie par au moins une surface de contact statique ou dynamique ou une combinaison de surfaces de contact statiques ou dynamiques ou une séquence de surfaces de contact statiques ou dynamiques.
20. 20. Système pour la mise en oeuvre du procédé conforme à l'une quelconque des revendications précédentes, le système comprenant un dispositif tactile pourvu des moyens de transmission en temps réel de données de contact à un ordinateur, les données de contact compor- tant des coordonnées de zones de contact détectées sur le dispositif tactile, et module logiciel de démultiplexage exécutable par l'ordinateur pour : - transformer les données de contact en paquets de données identifiés comportant un identifiant, une po- sition, un instant, une hauteur et une largeur,- calculer une surface de la zone de contact et déterminer une classe de surface correspondante, qui sont ajoutées à chaque paquet, - déterminer une instruction notamment à partir de la classe de surface.
21. 21. Système selon la revendication 20, dans le-quel le dispositif tactile est un écran d'affichage directement pourvu de détecteurs de contacts qui sont de type résistif, capacitif, acoustique ou optique et sont agencés pour réaliser une acquisition à intervalles réguliers de l'ordre d'une quinzaine de millisecondes.
22. 22. Système selon la revendication 20, dans le-quel le dispositif tactile est une dalle transparente équipée de détecteurs de contact et fixée sur un écran d'ordinateur.
23. 23. Système selon la revendication 20, dans le-quel le dispositif tactile est déporté par rapport à un écran d'affichage.