FR3014572A1 - METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME - Google Patents
METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME Download PDFInfo
- Publication number
- FR3014572A1 FR3014572A1 FR1362164A FR1362164A FR3014572A1 FR 3014572 A1 FR3014572 A1 FR 3014572A1 FR 1362164 A FR1362164 A FR 1362164A FR 1362164 A FR1362164 A FR 1362164A FR 3014572 A1 FR3014572 A1 FR 3014572A1
- Authority
- FR
- France
- Prior art keywords
- zone
- screen
- interaction
- user
- graphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 25
- 230000004913 activation Effects 0.000 claims abstract description 19
- 230000004304 visual acuity Effects 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 20
- 210000003813 thumb Anatomy 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims 2
- 230000001953 sensory effect Effects 0.000 claims 1
- 230000003213 activating effect Effects 0.000 abstract description 3
- 210000003811 finger Anatomy 0.000 description 22
- 238000001514 detection method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
La présente invention concerne un procédé mis en oeuvre par un ordinateur pour la commande d'une action Ai par une interaction entre un organe sensoriel visuel et/ou tactile de l'utilisateur et un écran, consistant à : a) afficher sur ledit écran une représentation multimédia R comportant des zones graphiques Zi présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et l'écran, b) sélectionner des zones graphiques Zi, selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia, c) activer, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, d) renouveler périodiquement lesdites étapes de sélection et d'activation. L'invention concerne aussi un équipement mettant en oeuvre ce procédé.The present invention relates to a method implemented by a computer for controlling an action Ai by an interaction between a visual and / or tactile sensory organ of the user and a screen, consisting in: a) displaying on said screen a multimedia representation R comprising graphical zones Zi having dimensions smaller than the resolving power of the means for detecting the interaction between said sensory organ and the screen, b) selecting graphic zones Zi, in the order of the indices i predefined by a sequence linked to said multimedia representation; c) activating, by another mode of interaction between a sensory organ of the user and the viewing zone, d) periodically renewing said selection and activation steps. The invention also relates to equipment implementing this method.
Description
Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé.A method of controlling the interaction with a touch screen and equipment implementing this method.
Domaine de l'invention La présente invention concerne des procédés et systèmes pour la gestion de l'interface homme-machine sur des équipements informatiques.Field of the Invention The present invention relates to methods and systems for managing the human-machine interface on computer equipment.
Plus particulièrement, elle concerne les solutions où l'utilisateur intervient directement par l'intermédiaire d'un organe sensoriel qui est tactile (l'organe étant alors un ou plusieurs doigts dont on détermine la position et le déplacement par rapport à une surface tactile ou à l'aide d'un capteur de position) ou visuel (l'organe étant alors un oeuil ou les deux yeux dont on détermine la position et le déplacement à l'aide d'un système de suivi du regard). Dans l'état de la technique, on a développé différentes solutions pour enrichir les modes d'interaction entre 20 l'homme et la machine. Pour les interfaces tactiles, on a développé les solutions dites «multitouch» qui permettent d'analyser simultanément la position de plusieurs doigts et donc de multiplier les combinaisons possibles. 25 Pour les interfaces gestuelles, on a développé les modes d'acquisitions des mouvements pour augmenter le nombre d'actions possibles. Pour le suivi du regard, on a également développé les techniques d'analyse pour fournir une information ignorant 30 partiellement les mouvements erratiques de l'oeil susceptibles de fausser l'acquisition de la direction du regard. Du fait de l'augmentation des combinaisons détectables, on a également développé des « grammaires » ou - 2 gesture, pour définir un langage de communication particulier qui se base sur les mouvements de l'organe sensoriel à la place de la parole.More particularly, it relates to solutions where the user intervenes directly via a sensory organ that is tactile (the member then being one or more fingers whose position and displacement relative to a touch surface or using a position sensor) or visual (the body then being an eye or both eyes whose position and displacement is determined by means of a gaze tracking system). In the state of the art, various solutions have been developed to enrich the modes of interaction between man and machine. For tactile interfaces, the so-called "multitouch" solutions have been developed which make it possible to simultaneously analyze the position of several fingers and thus to multiply the possible combinations. For gestural interfaces, we have developed the acquisition modes of the movements to increase the number of possible actions. For eye tracking, analysis techniques have also been developed to provide information that is partially ignorant of the erratic movements of the eye that may distort eye direction acquisition. Because of the increase in detectable combinations, "grammars" or "gestures" have also been developed to define a particular communication language that is based on the movements of the sensory organ in place of speech.
Ces gestures ont été étudiées par des psychologues et des scientifiques pour établir la base des recherches dans le domaine de la reconnaissance des gestures. Parmi les gestures fondamentales, on peut citer les suivantes, désignées à partir du terme technique usuel dans la librairie proposée par le système d'exploitation iOS : - TapGesture qui consiste à mettre un point de contact et de l'enlever sans bouger et ceci pendant une petite durée. - TapAndHoldGesture qui ressemble au TapGesture sauf 15 que là on maintient la position. - PanGesture qui consiste à déplacer le point de contact ajouté (un mouvement de déplacement). - SwipeGesture qui ressemble au PanGesture sauf qu'il tient compte de la vitesse et de l'accélération. 20 - PinchGesture utilisé essentiellement pour faire un agrandissement ou une rotation. Ces gestures sont généralement reconnues par une couche applicative incluse dans le système d'exploitation. 25 Etat de la technique On connaît dans l'état de la technique de très nombreuses solutions. A titre d'exemple, la demande de brevet 30 internationale WO 2009034220 décrit un système de commande d'écran tactile, où un signal de commande d'affichage est généré pour visualiser sur l'écran tactile une série de symboles candidats, sélectionnables par une action de l'utilisateur telle - 3 que la position du doigt sur écran tactile, la détection du regard, la détection de la gestique, le signal fourni par un accéléromètre dans un pointeur. La demande de brevet américain US 20120162093 décrit 5 des commandes tactiles permettant à un utilisateur de commander un dispositif de calcul. Une première étape de la commande sur l'écran tactile consiste à détecter une interaction tactile à proximité de la zone d'intérêt pendant une durée prédéfinie. A défaut d'une telle 10 détection, la zone d'intérêt est retirée et remplacée par une autre zone d'intérêt. Le brevet américain US 8479122 décrit un procédé pour la manipulation de l'interface utilisateur (GUI) d'objets graphiques d'utilisateur affichée sur un dispositif de détection 15 de toucher, comprenant les étapes consistant à : -afficher une pluralité d'objets graphiques sur un écran tactile multipoint du dispositif de détection tactile, l'écran tactile multipoint fournissant un affichage principal pour le dispositif de détection de toucher; 20 - détecter une ou plusieurs touches simultanées en des points différents sur l'écran tactile multipoint, directement sur ou à proximité de la pluralité des objets d'interface utilisateur graphique affiché; - associer une ou plusieurs touches à un premier 25 objet graphique à partir de la pluralité affichée d'objets graphiques en réponse à un classement par pertinence des données de contact associées aux une ou plusieurs touches à chacun des objets graphiques; - maintenir l'association d'un ou plusieurs contacts 30 avec le premier objet graphique malgré la présence d'un second objet graphique ayant un classement de pertinence qui dépasse le classement de pertinence du premier objet graphique si une différence entre le classement de pertinence du second objet - 4 graphique et les premier objet GUI est inférieure à une quantité de seuil prédéterminée, et - interpréter les multiples touches en un seul geste pour exécuter une opération particulière sur l'objet graphique 5 associé, l'opération déterminée sur la base de l'objet graphique associé. Le brevet américain US 6259436 décrit un procédé de commande tactile pour sélectionner pour un contact imprécis, comprenant les étapes consistant : 10 - à identifier tous les éléments touchables - le calcul d'une probabilité de sélection destiné à chaque élément touchable potentiellement sélectionné, la sélection de l'élément touchable potentiellement sélectionné ayant la plus grande probabilité de sélection prévu. 15 L'étape de calcul de probabilité est une fonction d'une distance entre un point central de la touche imprécis et un point central de chaque élément touchable éventuellement sélectionnée et / ou en fonction d'une zone de chevauchement entre le contact imprécis et chaque élément touchable potentiellement sélectionné. 20 L'étape de sélection comprend en outre la comparaison de la probabilité calculée de sélection destiné à chaque élément touchable potentiellement sélectionné et déterminer si l'élément touchable potentiellement sélectionné ayant la plus grande probabilité de sélection prévue calculée est supérieure à la 25 probabilité calculée de sélection destiné à des éléments tangibles potentiellement choisies par une quantité prédéterminée. Le brevet US 6323884 concerne un procédé et un mécanisme de logiciels mis en oeuvre pour aider un utilisateur 30 d'une interface utilisateur graphique (GUI) dans le positionnement d'un pointeur de périphérique d'entrée lors de la sélection d'un élément graphique, par l'analyse de son regard. Le logiciel identifie les éléments graphiques correspondant à des - 5 - sélections valides pour estimer le prochain élément avec lequel l'utilisateur va potentiellement interagir ensuite. La demande internationale WO 2007107949 décrit un système pour manipuler des images ou des graphiques où la 5 manipulation à effectuer soient sélectionnés ou activé à l'aide d'n moyen de suivi du regard (eye tracking). Des points d'accès sont disposés autour d'une région d'intérêt (ROI), qui sont chacun associés à un ajustement du paramètre d'image (par exemple, le contraste ou la luminosité). Un dispositif de suivi 10 oculaire détermine un point de fixation de l'utilisateur et exécute automatiquement le réglage associé chaque fois que le point de fixation se situe dans un point d'accès. Inconvénients de l'art antérieur 15 Ces différentes solutions présentent des difficultés de mise en oeuvre pour des interfaces de visualisation de petite dimension et une présentation dense d'éléments sélectionnables : - pour l'acquisition tactile, c'est le cas pour des 20 écrans tactiles de petite dimension, sur des téléphones portables, des montres ou de petits équipements, où la surface tactile est souvent superposée à la surface de visualisation. - pour l'acquisition oculaire, c'est le cas pour des écrans de visualisation disposés loin de la position de 25 l'utilisateur, ce qui se traduit par une surface apparente dans le champ d'observation et de visualisation petite. Il est alors difficile de sélectionner une zone parmi les nombreuses zones proposées : la précision du déplacement de l'organe sensorielle peut être insuffisante pour un utilisateur 30 non entraîné, et la résolution de la détection de la position de l'organe sensoriel peut être supérieure à la taille des objets sélectionnables visualisés. Cet inconvénient est encore aggravé pour les écrans - 6 tactile « multitouch » car la présence de plusieurs doigts peut occulter de manière préjudiciable un ou plusieurs objets commandables. Ce phénomène se produit également avec des écrans tactiles « monodoigts », lorsque les dimensions des objets commandables sont inférieurs à la surface de détection de la position du doigt, typiquement 40x40 pixels pour les écrans de résolution moyenne et 80x80 pixels pour les écrans de haute résolution. Par ailleurs, le traitement des données d'acquisition 10 est réalisé par le système d'exploitation de l'équipement associé, qui impose sa grammaire pour l'interprétation des gestures. Solution apportée par l'invention 15 Afin de remédier à ces inconvénients, l'invention concerne selon son acception la plus générale un procédé mis en oeuvre par un ordinateur pour la commande d'une action Ai par une interaction entre un organe sensoriel visuel et/ou tactile de 20 l'utilisateur et un écran, consistant à : a) afficher sur ledit écran une représentation multimédia R comportant N zones graphiques Zi associées chacune à une action exécutable Ai, N étant un entier supérieur à 2, - certaines desdites zones graphiques Zi présentant 25 des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et l'écran, - chacune de ces zones graphiques Zi présentant : - un premier état visuel E1 au repos, en l'absence 30 de sélection de ladite zone graphique Zi, - un second état visuel E2 correspondant à la sélection de ladite zone graphique Zi, une seule zone graphique Zi de ladite représentation multimédia pouvant être sélectionnée à - 7 - un même moment et - un troisième état visuel E3 correspondant à l'activation de la fonction Ai associée à ladite zone graphique zi , b) le procédé comprenant une étape de sélection des zones graphiques Zi, selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia, - la sélection des zones graphiques Zi étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant ti, de la position d'un point caractéristique Pi de la surface d'interaction nominale Si entre ledit écran et ledit organe sensoriel, selon un chemin de forme quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction : - de l'indice c de la zone sélectionnée Z, courante d'une part - et d'un traitement portant sur au moins deux dernières acquisitions d'autre part, de mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de la nouvelle zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E1 vers l'état E2 de ladite zone sélectionnée Zk, c) le procédé comprenant en outre une étape d'activation consistant, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours d'activation Zk -8 à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le procédé consistant en outre à renouveler 5 périodiquement lesdites étapes de sélection et d'activation. Selon un mode de mise en oeuvre particulier, l'exécution de ladite action Ai associée à la zone active Zi consiste à charger une nouvelle représentation multimédia R. 10 Avantageusement, ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte la position du point P à l'instant t ainsi que de la vitesse ou de l'accélération de déplacement du point P pendant 15 les instants t antérieurs. Selon un mode de réalisation particulier, ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte une succession de déplacements 20 courts sur ledit chemin, l'amplitude desdits déplacements courts étant inférieure à l'amplitude du déplacement continu pour le passage à l'indice suivant. Avantageusement, les moyens informatiques de 25 détection de la position instantanée du point P à l'instant t sont ceux compris dans le système d'exploitation de l'équipement comprenant ledit écran, et que les moyens informatiques d'interprétation de la position et de l'évolution de la position ne sont pas ceux prévus par ledit système d'exploitation. 30 Selon une variante, l'interaction est réalisée entre le pouce de l'utilisateur et un écran tactile, la zone d'interaction étant limitée à la surface de l'écran apte à être - 9 balayée par le pouce de l'utilisateur tenant d'une seule main l'équipement comportant ledit écran, lesdits chemins étant déterminés par les déplacements usuels dudit pouce.These gestures have been studied by psychologists and scientists to establish the basis of research in the field of gesture recognition. Among the basic gestures, we can cite the following, designated from the usual technical term in the library proposed by the iOS operating system: - TapGesture which consists in putting a point of contact and removing it without moving and this during a short time. - TapAndHoldGesture that looks like the TapGesture except that 15 there is maintained the position. - PanGesture which consists in moving the added point of contact (a movement of displacement). - SwipeGesture that looks like the PanGesture except that it takes into account speed and acceleration. 20 - PinchGesture used primarily for enlargement or rotation. These gestures are generally recognized by an application layer included in the operating system. State of the art Many solutions are known in the state of the art. For example, International Patent Application WO 2009034220 discloses a touch screen control system, wherein a display control signal is generated to display on the touch screen a series of candidate symbols, selectable by a action of the user such - 3 that the position of the finger on touch screen, the detection of gaze, the detection of the gesture, the signal provided by an accelerometer in a pointer. US Patent Application 20120162093 discloses touch controls allowing a user to control a computing device. A first step of the control on the touch screen is to detect a touch interaction near the area of interest for a predefined time. In the absence of such detection, the area of interest is removed and replaced by another area of interest. US Patent 8479122 discloses a method for manipulating the user graphical user interface (GUI) displayed on a touch detection device, comprising the steps of: displaying a plurality of graphic objects on a multi-touch screen of the touch detection device, the multi-touch screen providing a main display for the touch detection device; Detecting one or more simultaneous keys at different points on the multi-touch screen, directly on or near the plurality of displayed graphical user interface objects; associating one or more keys with a first graphical object from the displayed plurality of graphical objects in response to a ranking by relevance of the contact data associated with the one or more keys to each of the graphical objects; maintaining the association of one or more contacts with the first graphic object despite the presence of a second graphic object having a ranking of relevance that exceeds the ranking of relevance of the first graphic object if a difference between the ranking of relevance of the second object - 4 graph and the first GUI object is less than a predetermined threshold amount, and - interpret the multiple keys in a single gesture to perform a particular operation on the associated graphical object 5, the operation determined on the basis of the associated graphical object. US 6259436 discloses a touch control method for selecting for imprecise contact, comprising the steps of: - identifying all touchable elements - calculating a selection probability for each potentially selectable touching element, selecting the potentially selected touchable element with the highest probability of selection. The probability calculation step is a function of a distance between a central point of the imprecise key and a central point of each possibly selected touchable element and / or a zone of overlap between the imprecise contact and each potentially selected touchable element. The selection step further comprises comparing the calculated selection probability for each potentially selectable touchable item and determining whether the potentially selected touchable item with the highest calculated expected probability of selection is greater than the calculated probability of selection. selection for tangible items potentially selected by a predetermined amount. US 6323884 relates to a method and a software mechanism implemented to assist a user of a graphical user interface (GUI) in positioning an input device pointer when selecting a graphics element. , by the analysis of his eyes. The software identifies the graphic elements corresponding to valid selections to estimate the next element with which the user will potentially interact next. International application WO 2007107949 discloses a system for manipulating images or graphics where the manipulation to be performed is selected or activated using n eye tracking means. Access points are arranged around a region of interest (ROI), each of which is associated with an adjustment of the image parameter (e.g., contrast or brightness). An eye tracking device determines a point of attachment of the user and automatically executes the associated setting whenever the point of attachment is in an access point. Disadvantages of the prior art These various solutions have implementation difficulties for small-sized display interfaces and a dense presentation of selectable elements: for tactile acquisition, this is the case for screens small touch-sensitive devices, on mobile phones, watches or small equipment, where the touch surface is often superimposed on the viewing surface. for eye acquisition, this is the case for display screens placed far from the user's position, which results in an apparent surface in the small observation and viewing field. It is then difficult to select one of the many zones proposed: the precision of the displacement of the sensory organ may be insufficient for an untrained user, and the resolution of the detection of the position of the sensory organ may be greater to the size of the selectable objects displayed. This disadvantage is further aggravated for screens - 6 touch "multitouch" because the presence of several fingers can disproportionately obscure one or more controllable objects. This phenomenon also occurs with "monodoigts" touch screens, when the dimensions of the controllable objects are smaller than the detection surface of the finger position, typically 40x40 pixels for medium resolution screens and 80x80 pixels for high resolution screens . Furthermore, the processing of the acquisition data 10 is performed by the operating system of the associated equipment, which imposes its grammar for the interpretation of the gestures. Solution Provided by the Invention In order to remedy these drawbacks, the invention relates, in its most general sense, to a method implemented by a computer for controlling an action Ai by an interaction between a visual sensory organ and / or touch of the user and a screen, consisting of: a) displaying on said screen a multimedia representation R having N graphic areas Zi each associated with an executable action Ai, N being an integer greater than 2, - some of said graphic areas Zi having dimensions smaller than the resolving power of the means for detecting the interaction between said sensory organ and the screen, - each of these graphic zones Zi having: a first visual state E1 at rest, in the absence 30 for selecting said graphic zone Zi, - a second visual state E2 corresponding to the selection of said graphic zone Zi, a single graphic zone Zi of said representation multimedia capable of being selected at the same time and - a third visual state E3 corresponding to the activation of the function Ai associated with said graphic zone zi, b) the method comprising a step of selecting the graphic zones Zi, according to the order of the indices i predefined by a sequence linked to said multimedia representation, - the selection of the graphic zones Zi being carried out according to said order, in both directions, by the periodic acquisition, at the instant ti, of the position of a characteristic point Pi of the nominal interaction surface Si between said screen and said sensory organ, according to a path of any shape, and to calculate after each acquisition the index k of the graphic zone Zk to be selected as a function of: c index of the selected zone Z, current on the one hand - and a processing covering at least two last acquisitions on the other hand, to update the display of the multi-performance representation dia R according to the index k of the new selected zone Zk, said representation being modified by the change of the visual state E1 to the state E2 of said selected zone Zk, c) the method further comprising a step d activating, by another mode of interaction between a sensory organ of the user and the viewing area, updating the display of the multimedia representation R as a function of the index k of said selected area Zk, said representation being modified by the change of the visual state E2 towards the state E3 of said selected zone and being activated Zk -8 to control the execution of the action Ak corresponding to said current selected zone Zk d) the method further comprising periodically renewing said selecting and activating steps. According to a particular embodiment, the execution of said action Ai associated with the active zone Zi consists in loading a new multimedia representation R. Advantageously, said calculation of the index k during the selection step is carried out by a function taking into account the position of the point P at time t as well as the speed or acceleration of displacement of the point P during the previous instants. According to a particular embodiment, said calculation of the index k during the selection step is performed by a function taking into account a succession of short displacements 20 on said path, the amplitude of said short displacements being less than amplitude of the continuous displacement for the transition to the next index. Advantageously, the computer means for detecting the instantaneous position of the point P at time t are those included in the operating system of the equipment comprising said screen, and that the computer means for interpreting the position and the evolution of the position are not those provided by said operating system. According to one variant, the interaction is carried out between the user's thumb and a touch screen, the interaction zone being limited to the surface of the screen that can be scanned by the user's thumb. with one hand the equipment comprising said screen, said paths being determined by the usual displacements of said thumb.
L'invention concerne également un équipement comprenant un écran de visualisation et des moyens de capture de la position d'un organe sensoriel d'un utilisateur, caractérisé en ce qu'il comporte un calculateur et des moyens pour enregistrer un code informatique dont l'exécution commande : a) l'affichage sur ledit écran d'une représentation multimédia R comportant N zones graphiques Zi associées chacune à une action exécutable Ai, N étant un entier supérieur à 2, - certaines desdites zones graphiques Zi présentant des dimensions inférieures au pouvoir de résolution des moyens de 15 détection de l'interaction entre ledit organe sensoriel et l'écran, - chacune de ces zones graphiques Zi présentant : - un premier état visuel E1 au repos, en l'absence de sélection de ladite zone graphique Zi, 20 - un second état visuel E2 correspondant à la sélection de ladite zone graphique Zi, une seule zone graphique Zi de ladite représentation multimédia pouvant être sélectionnée à un même moment et - un troisième état visuel E3 correspondant à l'activation de 25 la fonction Ai associée à ladite zone graphique Zi, b) la sélection des zones graphiques Zi selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia, 30 la sélection des zones graphiques Zi étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant t., de la position d'un point - 10 - caractéristique Pi de la surface d'interaction nominale Si entre ledit écran et ledit organe sensoriel, selon un chemin de forme quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction : - de l'indice c de la zone sélectionnée Z, courante d'une part - et d'un traitement portant sur au moins deux dernières acquisitions d'autre part, de mettre à jour l'affichage de la représentation multimédia R en 10 fonction de l'indice k de la nouvelle zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel El vers l'état E2de ladite zone sélectionnée Zk, c) l'activation consistant, par un autre mode d'interaction entre 15 un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours 20 d'activation Zk à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le renouvellement périodique desdites étapes de sélection et 25 d'activation. Selon une variante, l'écran de visualisation est compris sur un équipement distinct de l'équipement destiné à détecter les interactions avec l'organe sensoriel de 30 l'utilisateur. L'invention sera mieux comprise à la lecture de la description qui suit, se référant aux dessins annexés relatifs à des exemples de réalisation non limitatifs où : - la figure 1 représente une vue de l'écran de visualisation pour une interface homme machine selon l'invention - la figure 2 représente une vue schématique de l'architecture logicielle L'invention est particulièrement adaptée à la réalisation d'interface homme-machine dans des situations telles 10 que : - L'utilisation sur des équipements comportant un écran tactile de petite dimension, typiquement des écrans de moins de 4 centimètres (1,5 pouces), par exemple des montres ou des téléphones portables, dont la surface est petite par rapport 15 à la surface de contact d'un doigt - l'utilisation avec des équipements commandés par un système d'analyse du regard (eye tracking), dont la surface apparente de l'écran est petite par rapport à la surface associée à la direction du regard. 20 L'invention est particulièrement utile lorsque l'affichage de contenu et d'icônes sélectionnables tactilement ou visuellement présente une forte densité. Dans ces cas, les solutions de l'art antérieur sont mal adaptées et ne permettent pas de sélectionner correctement 25 une icône parmi celles proposées. En effet, la surface de détection peut recouvrir plusieurs icônes, et dans le cas d'un écran tactile, le doigt actif peut masquer une ou plusieurs icônes sélectionnables. Dans l'exemple décrit en référence à la figure 1, la 30 zone de visualisation de l'écran tactile est divisée en : - une zone d'affichage ou « display zone » (10) - des zones d'interaction (20, 21). Ces zones d'interaction (20, 21) sont situées dans - 12 - les parties de l'écran tactile atteignable par le pouce lorsque l'équipement est tenu d'une seule main. Cette zone est définie par la surface naturellement balayable par le pouce, lorsque l'utilisateur fait des mouvements permis par l'articulation du pouce sans efforts contraignant. Les deux zones (20, 21) sont indifféremment par une symétriques pour permettre une utilisation utilisateur droitier ou gaucher. Optionnellement, la zone d'interaction est unique et sélectionnable pour une adaptation à un utilisateur droitier ou 10 gaucher. Elle prend alors la forme générale d'une surface arquée correspondant à la surface balayée par le pouce lors que l'équipement est tenu d'une seule main. La séquence d'affichage est typiquement la suivante : - Affichage d'une page avec des « boutons » de 15 sélection pour la navigation dans le contenu du site. Ces boutons sont représentés sous forme d'un objet graphique dont l'état visuel change entre trois états possibles : un état par défaut, un état visuellement différent lorsqu'il a été 20 sélectionné, et un état visuellement encore différent lorsqu'il a été activé. La sélection d'un bouton s'effectue par l'intermédiaire d'une zone de contrôle unique qui n'est pas 25 superposée au bouton, et qui permet de mettre les boutons successivement en surbrillance (ou « roll-over, ou autre mode de sélection) par un déplacement tactile qui ne masque pas les boutons, et l'activation par un autre geste, généralement également dans une zone qui ne masque pas le bouton activé (en 30 surbrillance par exemple). On entend au sens du présent brevet par « surface minimum d'interaction définie » Le pouvoir de résolution, ou - 13 - pouvoir de séparation, ou la résolution spatiale, est la distance minimale qui doit exister entre deux points contigus pour qu'ils soient correctement discernés par un système de mesure ou d'observation.The invention also relates to an equipment comprising a display screen and means for capturing the position of a sensory organ of a user, characterized in that it comprises a computer and means for recording a computer code of which execution command: a) the display on said screen of a multimedia representation R having N graphic zones Zi each associated with an executable action Ai, N being an integer greater than 2, - some of said graphical zones Zi having dimensions smaller than the power resolution means for detecting the interaction between said sensory organ and the screen, - each of these graphic zones Zi having: a first visual state E1 at rest, in the absence of selection of said graphic zone Zi, A second visual state E2 corresponding to the selection of said graphic zone Zi, a single graphic zone Zi of said multimedia representation that can be selected ionized at the same time and - a third visual state E3 corresponding to the activation of the function Ai associated with said graphic zone Zi, b) the selection of the graphic zones Zi according to the order of the indices i predefined by a sequence linked to said multimedia representation, the selection of the graphical zones Zi being carried out according to said order, in both directions, by the periodic acquisition, at time t, of the position of a characteristic point Pi of the surface of nominal interaction Si between said screen and said sensory organ, according to a path of any shape, and to calculate after each acquisition the index k of the graphical zone Zk to be selected as a function of: - the index c of the selected zone Z, current on the one hand - and a processing relating to at least two last acquisitions on the other hand, to update the display of the multimedia representation R in function of the index k of the new selection zone Zk, said representation being modified by the change of the visual state E1 to the state E2 of said selected zone Zk, c) the activation consisting, by another mode of interaction between a sensory organ of the user and the viewing area, to update the display of the multimedia representation R according to the index k of said selected area Zk, said representation being modified by the change of the visual state E2 to the state E3 of said zone selected and in the course of activation Zk to control the execution of the action Ak corresponding to said current selected zone Zk d) the periodic renewal of said selection and activation steps. According to one variant, the display screen is comprised on equipment that is separate from the equipment intended to detect interactions with the sensory organ of the user. The invention will be better understood on reading the description which follows, with reference to the accompanying drawings relating to nonlimiting exemplary embodiments in which: FIG. 1 represents a view of the display screen for a man-machine interface according to FIG. FIG. 2 represents a schematic view of the software architecture. The invention is particularly suited to the realization of a human-machine interface in situations such that: the use on equipment comprising a small touch screen dimension, typically screens less than 4 centimeters (1.5 inches), for example watches or mobile phones, whose surface area is small relative to the contact surface of a finger - use with equipment controlled by an eye tracking system, the apparent surface of the screen is small relative to the surface associated with the direction of gaze. The invention is particularly useful when the display of selectable content and icons tactilely or visually has a high density. In these cases, the solutions of the prior art are poorly adapted and do not allow correct selection of an icon among those proposed. Indeed, the detection surface can cover several icons, and in the case of a touch screen, the active finger can hide one or more selectable icons. In the example described with reference to FIG. 1, the viewing area of the touch screen is divided into: a display zone or display zone (10); interaction zones (20, 21); ). These interaction zones (20, 21) are located in the parts of the thumb-accessible touch screen when the equipment is held with one hand. This area is defined by the naturally sweeping surface of the thumb, when the user makes movements allowed by the thumb joint without constraining effort. The two zones (20, 21) are indifferently symmetrical to allow a right-handed or left-handed user use. Optionally, the interaction zone is unique and selectable for adaptation to a right-handed or left-handed user. It then takes the general shape of an arched surface corresponding to the surface swept by the thumb when the equipment is held with one hand. The display sequence is typically as follows: - Display of a page with selection "buttons" for navigating the content of the site. These buttons are represented as a graphic object whose visual state changes between three possible states: a default state, a visually different state when it has been selected, and a visually different state when it has been selected. activated. The selection of a button is effected by means of a single control zone which is not superimposed on the button, and which allows the buttons to be successively highlighted (or "roll-over, or other mode"). selection) by a tactile movement that does not hide the buttons, and the activation by another gesture, usually also in an area that does not hide the activated button (highlighted for example). For the purposes of this patent, the term "defined minimum interaction surface" means the resolving power, or separation power, or spatial resolution, is the minimum distance that must exist between two contiguous points in order for them to be correctly discerned by a measurement or observation system.
La « surface de détection » est la plus petite surface en-dessous de laquelle ce pouvoir de résolution étant défini : - dans le cas d'une interaction tactile, par la taille nominale de la surface du bout d'un doigt, - et dans le cas d'une interaction visuelle ou gestique par la taille nominale de la surface de résolution. On entend par « surface d'interaction nominale Si entre ledit écran et ledit organe sensoriel », la surface optimale, déterminée en fonction de la résolution et les caractéristiques de l'organe d'interaction pour permettre à l'utilisateur de commander les fonctionnalités sans efforts de précision excessif, ce qui suppose une surface suffisante pour éviter des difficultés de positionnement de l'organe, tout en préservant la possibilité de multiplier les zones d'interaction (ce qui suppose une surface d'interaction limitée). Typiquement, pour un écran tactile dont les dimensions sont de quelques dizaines de centimètres carrés, la surface d'interaction nominale Si est de 40x40 pixels, permettant de placer la zone palmaire du pouce ou de l'index sans difficulté sur la zone active, de façon à faire correspondre le barycentre de la zone palmaire du doigt et le barycentre de la zone d'interaction nominale, avec un écart-type suffisamment faible pour éviter toute ambiguïté avec une autre zone active.The "detection area" is the smallest area below which this resolving power is defined: - in the case of tactile interaction, by the nominal size of the surface of the tip of a finger, - and in the case of a visual or gestural interaction by the nominal size of the resolution surface. The term "nominal interaction surface Si between said screen and said sensory organ" means the optimal surface, determined as a function of the resolution and the characteristics of the interaction member to enable the user to control the functionalities without excessive precision efforts, which assumes a sufficient surface to avoid difficulties of positioning of the organ, while preserving the possibility of multiplying the interaction zones (which supposes a limited surface of interaction). Typically, for a touch screen whose dimensions are a few tens of square centimeters, the nominal interaction surface Si is 40 × 40 pixels, making it possible to place the palm area of the thumb or the index without difficulty on the active zone, to match the barycenter of the palmar zone of the finger and the centroid of the nominal interaction zone, with a sufficiently small standard deviation to avoid any ambiguity with another active zone.
Le déplacement entre les zones est déterminé par une loi de commande paramétrable, pour assurer une cinématique de type : « bondissante», avec une réponse qui reste - 14 - inchangée pendant un premier déplacement de faible amplitude, puis bascule sur la zone suivante lorsqu'une amplitude seuil est atteinte - « élastique », avec une réponse où l'amplitude de déplacement varie en fonction de l'écart de la position par rapport à des positions indexées. En particulier, l'amplitude de déplacement est faible lorsqu'on est proche d'une position indexée, et plus importante lorsqu'on est entre deux zones indexées - « absolue », avec une réponse discrète limitée à un nombre fini de positions possibles. De façon générale, l'invention a pour but de permettre : o une grande densité des zones graphiques compatible avec une manipulation facile, o une augmentation artificielle du pouvoir de résolution pour petits écrans, sans utiliser de zoom de l'écran. On évite ainsi les solutions peut ergonomiques consistant à zoomer la zone, puis procéder à la sélection, ce qui implique deux actions consécutives o une meilleure visibilité de l'information visualisée sur l'écran en évitant l'occultation du contenu (le zoom occulte le contenu lors de la saisie). Un autre avantage est la possibilité d'une manipulation « riche » d'un téléphone portable tenu d'une seule main, par une action du pouce seulement, en respectant au mieux l'ergonomie. On réduit l'amplitude des déplacements du doigt sur l'écran tactile en évitant un mouvement de toute la main pour balayer l'ensemble de la surface de l'écran. Manipulation de liens « petits » - 15 - Un des modes de mise en oeuvre vise à faciliter la manipulation de boutons dont certains présentent une taille inférieure à la surface d'appui du doigt (40x40 points), et/ou 5 une pluralité de boutons juxtaposés avec une écart inférieur à la taille de la surface d'appui du doigt, par un déplacement du doigt sur une zone extérieure à la zone d'affichage des boutons, avec un action de déplacement provoquant l'activation successives des boutons (avec une surbrillance par exemple ou un changement 10 de couleur du bouton activé), selon un ordre paramétrable, qui n'est pas nécessairement topologique. Ceci va à l'encontre de la contrainte que s'impose les créateurs d'interface graphique actuels, qui choisissent souvent de gros boutons facilitant l'usage mais réduisant la 15 densité d'information et donnant une apparence « régressive ». Boutons invisibles Un autre mode de réalisation consiste à modifier la 20 forme graphique des boutons associés aux zones actives en commandant un affichage du bouton dont la forme graphique est confondue avec le fond, au repos, et qui prend une forme graphique spécifique et distincte du fond lorsqu'il est activé. 25 Glissements répétés (« swip ») Un autre mode de réalisation consiste par des actions dans la zone d'interaction correspondant à des déplacements de l'organe selon une trajectoire unidimensionnelle, avec une 30 succession de déplacement dans la même zone et de retour à un point initial. Ce déplacement ou « swip » uni-dimensionnel se traduit, pour un écran tactile, par le déplacement du doigt sur - 16 - la zone de commande par petits glissements successifs, et pas seulement par un glissement linéaire. Le mouvement entre la fin d'un petit glissement et le début d'un nouveau glissement peut se faire par suspension transitoire de l'interaction (on lève légèrement le doigt pour éviter que le déplacement pendant cette trajectoire de retour ne soit prise en compte). Elle peut aussi se faire par un traitement des données d'acquisition ne prenant en compte que les déplacements orientés dans la direction du début du premier glissement, et omettant la prise en compte les glissements dont le vecteur principal est orienté dans un sens opposé au vecteur principal du début du glissement. Ce traitement est appliqué, par exemple, pour tous les glissements acquis pendant un intervalle de temps limité entre la fin d'un déplacement détecté et le début du glissement suivant.The displacement between the zones is determined by a parametric control law, to ensure a kinematics of type: "bouncing", with a response that remains unchanged during a first displacement of low amplitude, then switches to the next zone when a threshold amplitude is reached - "elastic", with a response where the amplitude of displacement varies as a function of the deviation of the position from indexed positions. In particular, the amplitude of displacement is small when one is close to an indexed position, and more important when one is between two indexed zones - "absolute", with a discrete response limited to a finite number of possible positions. In general, the invention aims to allow: o a high density of graphic areas compatible with easy handling, o an artificial increase in resolution power for small screens, without using a zoom screen. This avoids the ergonomic solutions of zooming the area, then proceed to the selection, which involves two consecutive actions o better visibility of the information displayed on the screen by avoiding the occultation of the content (the zoom occults the content when entering). Another advantage is the possibility of a "rich" manipulation of a mobile phone held by one hand, by a thumb action only, while respecting ergonomics. The range of motion of the finger on the touch screen is reduced by avoiding movement of the whole hand to scan the entire surface of the screen. Manipulation of "Small" Links One of the implementation modes aims to facilitate the manipulation of buttons some of which are smaller than the finger support surface (40 × 40 points), and / or a plurality of buttons. juxtaposed with a gap smaller than the size of the support surface of the finger, by a movement of the finger on an area outside the display area of the buttons, with a displacement action causing the successive activation of the buttons (with a highlighting for example or a color change of the activated button), in a parameterizable order, which is not necessarily topological. This runs counter to the constraint imposed by current GUI creators, who often choose large buttons that facilitate use but reduce the density of information and give a "regressive" appearance. Invisible Buttons Another embodiment consists in modifying the graphic form of the buttons associated with the active zones by controlling a display of the button whose graphic shape is merged with the background, at rest, and which takes a specific graphic form and is distinct from the background. when activated. Another embodiment consists of actions in the interaction zone corresponding to displacements of the organ in a one-dimensional trajectory, with a succession of displacements in the same zone and return to an initial point. This displacement or "swip" uni-dimensional translates, for a touch screen, the movement of the finger on - 16 - the control area by small successive sliding, and not only by a linear slip. The movement between the end of a small slip and the beginning of a new slip can be done by transient suspension of the interaction (one slightly raises the finger to prevent the movement during this return path is taken into account) . It can also be done by a processing of the acquisition data taking into account only the displacements oriented in the direction of the beginning of the first slip, and omitting the taking into account of the slips whose main vector is oriented in a direction opposite to the vector the beginning of the slide. This treatment is applied, for example, for all the slips acquired during a limited time interval between the end of a detected displacement and the beginning of the next slip.
Contrairement aux touches tactiles (trackpad) connus dans des dispositifs de l'art antérieur, on prend en compte non pas un déplacement en deux dimensions, mais la différence de déplacement ou de glissement : - soit selon une direction déterminée par la forme de 20 la zone de contrôle, - soit selon une direction quelconque, mais on prend alors en compte - soit seulement la longueur du chemin parcouru par le doigt, et pas l'orientation du déplacement du doigt 25 - soit seulement la longueur de la projection sur un axe du chemin parcouru par le doigt, et pas l'orientation du déplacement du doigt. Option de gestique 30 Une zone d'activation du contrôle, se trouvant là où le pouce vient naturellement se poser en une position neutre lorsque l'équipement est tenu avec une seule main. - 17 - Le passage d'un bouton à l'autre se fait en fonction de l'amplitude de déplacement selon une direction quelconque. L'activation du bouton se fait par un déplacement local de type « tap » sur la position neutre (ou une zone tactile quelconque). Animation de la zone de commande La zone de commande peut devenir contextuel (par 10 exemple affichage d'un message d'information) en cas de manipulation non conforme, c'est à dire ne correspond pas à ce qui est estimé comme étant la volonté de l'utilisateur : Exemple : si l'utilisateur clique sur l'icône alors qu'il a sélectionné un bouton, mais n'a pas procédé à 15 l'activation par un « tap » sur la zone de contrôle, la zone de commande devient surbrillante ou affiche un message de type « cliquez ici pour naviguer ». Taille réduite des représentations (icônes) Un autre mode de réalisation consiste à prévoir pour certaines zones de commande l'affichage d'icônes de très faible surface, inférieure à la zone nominale d'interaction (par exemple 320x140 pixels) sans écrans déroulants. La figure 2 représente le schéma de principe d'un équipement commandé selon l'invention. Il comprend un écran tactile (1) associé de façon connue par un pilote (2) (driver). L'écran tactile (1) génère des données brutes (ou 30 raw-data). Ce pilote (2) effectue un traitement de l'information au moyen d'un algorithme de calcul. Il détermine le ou les points d'impact (dans le cas du multi-touch), le sens du mouvement, 20 25 - 18 - parfois la pression exercée, et agit en conséquence. Le pilote (2) permet de décoder les informations brutes de l'écran tactile (1). Ces données sont transformées en points (coordonnées) ou en zone de contacts en fonction du type 5 de technologie utilisée (multi-point ou multi-touch). Une couche optionnelle, qui n'est pas intégrée dans tous les systèmes, permet de calibrer les points ou zones de contacts dans le cas où ces derniers ne reflètent pas exactement les points de contacts réels. Ceci se produit notamment dans le 10 cas des dispositifs optiques, où la caméra qui enregistre les points de contacts n'est pas exactement dans l'alignement du dispositif de pointage. Dans ces cas, il est nécessaire de faire une translation de coordonnées, par exemple, pour retomber sur les points de contacts initiaux. 15 Ces informations ensuite traitées par un générateur d'événements (3) permettent d'interpréter les interactions tactiles et déterminer le type d'événement ou de geste qui a été produit par l'utilisateur à partir des points ou zones de contacts,. Un ensemble de zones particulières pourra être compris 20 comme un geste de rotation par exemple.. Ce générateur (3) fournit les données de type « touch event » représentant l'événement qui se produit quand l'action de toucher change. Un événement multi-touch peut contenir des 25 informations telles que les suivantes. - la position initiale du contact - la direction - la position finale du contact - la vitesse 30 - l'angle d'approche du doigt ou du stylet - la pression En fonction de la valeur de chacune de ces données, - 19 - le système « comprend » le geste tactile effectué par l'utilisateur, et génère l'événement multi-touch correspondant en y associant ces valeurs. Ce panel n'est qu'une petite partie des données qui composent potentiellement un événement multi-touch. Nous pouvons imaginer tout un ensemble d'autres informations en fonction de ce que permettent les dispositifs tactiles et les couches logicielles. Le fonctionnement du générateur d'événement comporte 10 une étape d'initialisation du gestionnaire d'événements. Cette étape permet d'initialiser les observateurs d'événements pour gérer ceux-ci lorsqu'ils se produisent. 15 Les nouveaux touchers détectés par le pilote (2) produisent un événement de type « début de toucher ». Après quoi, on fait une boucle sur les différents évènements de type « déplacement de toucher ». 20 Gestion de fin d'un toucher Lorsqu'un utilisateur enlève son doigt de la surface, un événement de type « fin de toucher » est envoyé. 25 Dans les solutions connues, les informations provenant du gestionnaire d'évènements (3) sont traitées par un module de reconnaissance de gestures (4) qui interprète l'ensemble des déplacements, pour des séries d'évènements pour en déduire des gestes types tels que le « zoom » en cas de 30 déplacement de plusieurs doigts dans des directions opposées, ou de « balayage », en cas de déplacement accéléré. Dans le cas de l'invention, ce module de reconnaissance, généralement résident dans l'équipement, n'est pas activé. - 20 - Selon l'invention, on procède à un traitement des données provenant du gestionnaire d'évènements (3) et du pilote (2) par un module spécifique (5) réalisant les traitements correspondant au procédé susvisé. Ce module spécifique (5) exploite les traitements des couches basses (1 à 3), ainsi que les traitements des couches applicatives (6), mais pas le module de traitement complexe habituellement réalisé par le module de reconnaissance de gestures (4).In contrast to the known trackpad keys in devices of the prior art, a two-dimensional displacement is not taken into account, but the difference in displacement or slippage: either according to a direction determined by the shape of the control zone, - either in any direction, but then we take into account - only the length of the path traveled by the finger, and not the orientation of the movement of the finger 25 - or only the length of the projection on an axis the path traveled by the finger, and not the orientation of the movement of the finger. Gesture Option 30 A control activation zone, located where the thumb naturally comes to rest in a neutral position when the equipment is held with one hand. - 17 - The switch from one button to another is based on the amplitude of movement in any direction. The activation of the button is done by a local movement of type "tap" on the neutral position (or any touch zone). Animation of the control zone The control zone can become contextual (for example display of an information message) in the event of improper handling, ie does not correspond to what is estimated as the will Example: if the user clicks on the icon after selecting a button but did not activate the tap by pressing a "tap" on the control area, the command becomes super bright or displays a "click here to navigate" message. Reduced Size of Representations (Icons) Another embodiment consists in providing for certain control areas the display of icons of very small area, less than the nominal area of interaction (for example 320x140 pixels) without scrolling screens. Figure 2 shows the block diagram of a controlled equipment according to the invention. It comprises a touch screen (1) associated in known manner by a driver (2) (driver). The touch screen (1) generates raw data (or raw-data). This driver (2) performs information processing by means of a calculation algorithm. It determines the point or points of impact (in the case of multi-touch), the direction of movement, sometimes the pressure exerted, and acts accordingly. The driver (2) is used to decode the raw information of the touch screen (1). These data are transformed into points (coordinates) or contact zones depending on the type of technology used (multi-point or multi-touch). An optional layer, which is not integrated in all the systems, makes it possible to calibrate the points or zones of contacts in the case where these do not reflect exactly the actual points of contact. This occurs particularly in the case of optical devices, where the camera which records the contact points is not exactly in alignment with the pointing device. In these cases, it is necessary to make a translation of coordinates, for example, to fall back on the initial contact points. This information then processed by an event generator (3) makes it possible to interpret the tactile interactions and to determine the type of event or gesture that has been produced by the user from the points or zones of contacts. A set of particular areas may be understood as a rotational gesture for example. This generator (3) provides touch event type data representing the event that occurs when the touch action changes. A multi-touch event may contain information such as the following. - the initial position of the contact - the direction - the final position of the contact - the speed 30 - the approach angle of the finger or the stylus - the pressure Depending on the value of each of these data, - 19 - the system "Understands" the touch gesture performed by the user, and generates the corresponding multi-touch event by associating these values. This panel is only a small part of the data that potentially make up a multi-touch event. We can imagine a whole range of other information depending on what touch devices and software layers allow. The operation of the event generator includes a step of initializing the event handler. This step is used to initialize event observers to handle events as they occur. The new touches detected by the pilot (2) produce an "early touch" event. After that, we make a loop on the different events of type "displacement of touch". 20 End-of-Touch Management When a user removes their finger from the surface, an end-of-touch event is sent. In the known solutions, the information from the event manager (3) is processed by a gesture recognition module (4) which interprets the set of displacements for series of events to deduce standard gestures such as that "zoom" when moving several fingers in opposite directions, or "sweeping", in case of accelerated displacement. In the case of the invention, this recognition module, generally resident in the equipment, is not activated. According to the invention, the data from the event manager (3) and the pilot (2) are processed by a specific module (5) carrying out the processing operations corresponding to the aforementioned method. This specific module (5) exploits the processing of the lower layers (1 to 3), as well as the processing of the application layers (6), but not the complex processing module usually performed by the gesture recognition module (4).
Ce module spécifique dialogue avec la couche applicative (6) pour commander les interactions entre l'application et l'écran tactile. Alternative « tablette » Pour des équipements disposant d'un écran de grande dimension, l'écran est divisé en trois zones - une zone principale d'affichage de la zone active, avec ses boutons activables - une zone de contrôle de la sélection et de l'activation d'un bouton de l'icône - une zone additionnelle d'affichage de la mosaïque en forme liste, pour passer d'une zone active à une autre.This specific module dialogs with the application layer (6) to control the interactions between the application and the touch screen. Alternative "tablet" For equipment with a large screen, the screen is divided into three areas - a main zone for displaying the active zone, with its activatable buttons - a control zone for the selection and the activation of an icon button - an additional area to display the mosaic-shaped list, to move from one active zone to another.
Exploitation sur un téléphone portable La zone principale et la zone de contrôle sont affichées simultanément sur le même écran tactile. La zone additionnelle est affichée en alternance, 30 sous forme d'écran initial, avec une sélection « classique » par un tap. - 21 - Sur un téléviseur connecté, la zone principale est affichée sur l'écran du téléviseur. La zone de contrôle est affichée sur l'écran tactile d'un périphérique (téléphone portable ou tablette) La zone additionnelle est affichée sur le périphérique et/ou sur le téléviseur. Optionnellement, le code de l'objet numérique comprend : - un noyau contenant tous les éléments communs aux différentes plateformes - une partie contenant les éléments de commande de l'interface spécifiques aux trois interfaces possibles, et appelant les éléments du noyau pour un affichage adapté à la 15 plateforme sur laquelle le code est exécutée.Operation on a mobile phone The main zone and the control zone are displayed simultaneously on the same touch screen. The additional zone is displayed alternately, in the form of an initial screen, with a "classical" selection by a tap. - 21 - On a connected TV, the main zone is displayed on the TV screen. The control area is displayed on the touch screen of a device (mobile phone or tablet). The additional area is displayed on the device and / or on the TV. Optionally, the code of the digital object comprises: - a kernel containing all the elements common to the various platforms - a part containing the interface control elements specific to the three possible interfaces, and calling the kernel elements for a suitable display at the platform on which the code is executed.
Claims (8)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1362164A FR3014572B1 (en) | 2013-12-05 | 2013-12-05 | METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME |
| PCT/FR2014/053100 WO2015082817A1 (en) | 2013-12-05 | 2014-12-01 | Method for controlling the interaction with a touch screen and device implementing said method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1362164A FR3014572B1 (en) | 2013-12-05 | 2013-12-05 | METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3014572A1 true FR3014572A1 (en) | 2015-06-12 |
| FR3014572B1 FR3014572B1 (en) | 2016-01-01 |
Family
ID=50473421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1362164A Active FR3014572B1 (en) | 2013-12-05 | 2013-12-05 | METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3014572B1 (en) |
| WO (1) | WO2015082817A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070211039A1 (en) * | 2006-03-08 | 2007-09-13 | High Tech Computer, Corp. | Multifunction activation methods and related devices |
| WO2007107949A1 (en) * | 2006-03-23 | 2007-09-27 | Koninklijke Philips Electronics N.V. | Hotspots for eye track control of image manipulation |
| EP1840520A1 (en) * | 2006-03-31 | 2007-10-03 | Research In Motion Limited | User interface methods and apparatus for controlling the visual display of maps having selectable map elements in mobile communications devices |
| US20090007001A1 (en) * | 2007-06-28 | 2009-01-01 | Matsushita Electric Industrial Co., Ltd. | Virtual keypad systems and methods |
| US20100245268A1 (en) * | 2009-03-30 | 2010-09-30 | Stg Interactive S.A. | User-friendly process for interacting with informational content on touchscreen devices |
-
2013
- 2013-12-05 FR FR1362164A patent/FR3014572B1/en active Active
-
2014
- 2014-12-01 WO PCT/FR2014/053100 patent/WO2015082817A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070211039A1 (en) * | 2006-03-08 | 2007-09-13 | High Tech Computer, Corp. | Multifunction activation methods and related devices |
| WO2007107949A1 (en) * | 2006-03-23 | 2007-09-27 | Koninklijke Philips Electronics N.V. | Hotspots for eye track control of image manipulation |
| EP1840520A1 (en) * | 2006-03-31 | 2007-10-03 | Research In Motion Limited | User interface methods and apparatus for controlling the visual display of maps having selectable map elements in mobile communications devices |
| US20090007001A1 (en) * | 2007-06-28 | 2009-01-01 | Matsushita Electric Industrial Co., Ltd. | Virtual keypad systems and methods |
| US20100245268A1 (en) * | 2009-03-30 | 2010-09-30 | Stg Interactive S.A. | User-friendly process for interacting with informational content on touchscreen devices |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3014572B1 (en) | 2016-01-01 |
| WO2015082817A1 (en) | 2015-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220319100A1 (en) | User interfaces simulated depth effects | |
| US8413075B2 (en) | Gesture movies | |
| EP2524294B1 (en) | Method for selecting an element of a user interface and device implementing such a method | |
| EP2956846B1 (en) | Method, device and storage medium for navigating in a display screen | |
| US8930852B2 (en) | Touch screen folder control | |
| WO2010103195A2 (en) | Device for controlling an electronic apparatus by handling graphic objects on a multi-contact touch screen | |
| US8508494B2 (en) | Using pressure differences with a touch-sensitive display screen | |
| US8587542B2 (en) | Using pressure differences with a touch-sensitive display screen | |
| US20120105367A1 (en) | Methods of using tactile force sensing for intuitive user interface | |
| US20140354595A1 (en) | Touch input interpretation | |
| DK201570791A1 (en) | Remote camera user interface | |
| FR2917516A1 (en) | TRANSPOSITIONS SPEED MODE / POSITIONAL MODE | |
| EP2671146A1 (en) | Three-dimensional man/machine interface | |
| FR3003364A1 (en) | METHOD FOR PROCESSING A COMPOUND GESTURE, ASSOCIATED DEVICE AND USER TERMINAL | |
| FR2980004A1 (en) | Mobile terminal e.g. smartphone, has computer application including instructions for displaying control window on main screen and for moving cursor on auxiliary screen in response to movement of touch in active region of window | |
| FR3005173A1 (en) | INTERACTION METHOD IN AN AIRCRAFT COCKPIT BETWEEN A PILOT AND ITS ENVIRONMENT | |
| US9851806B2 (en) | Gesture recognition and control based on finger differentiation | |
| FR2995704A1 (en) | INTERACTIVITY MODE SELECTION METHOD | |
| US20160098160A1 (en) | Sensor-based input system for mobile devices | |
| FR3014572A1 (en) | METHOD FOR CONTROLLING INTERACTION WITH A TOUCH SCREEN AND EQUIPMENT USING THE SAME | |
| FR2876470A1 (en) | DISPLAY CONTROL METHOD USING PORTABLE IMAGE SENSOR EQUIPMENT | |
| FR3017470A1 (en) | METHOD FOR ENTERING A DIGITAL KEYBOARD, MACHINE HAND INTERFACE AND APPARATUS IMPLEMENTING SAID METHOD | |
| EP3074842B1 (en) | Drone control station | |
| FR3108998A1 (en) | METHOD AND DEVICE FOR MANAGING “MULTITOUCH” SUPPORTS ON A TOUCH SURFACE | |
| FR2946768A1 (en) | METHOD OF TACTILE INPUTTING CONTROL INSTRUCTIONS OF A COMPUTER PROGRAM AND SYSTEM FOR IMPLEMENTING SAID METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |
|
| PLFP | Fee payment |
Year of fee payment: 10 |
|
| PLFP | Fee payment |
Year of fee payment: 11 |