EP2332035A2 - Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts - Google Patents

Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Info

Publication number
EP2332035A2
EP2332035A2 EP09741332A EP09741332A EP2332035A2 EP 2332035 A2 EP2332035 A2 EP 2332035A2 EP 09741332 A EP09741332 A EP 09741332A EP 09741332 A EP09741332 A EP 09741332A EP 2332035 A2 EP2332035 A2 EP 2332035A2
Authority
EP
European Patent Office
Prior art keywords
graphic objects
main
subordinate
pointing means
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09741332A
Other languages
German (de)
English (en)
Inventor
Guillaume Largillier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stantum SAS
Original Assignee
Stantum SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stantum SAS filed Critical Stantum SAS
Publication of EP2332035A2 publication Critical patent/EP2332035A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to the field of human-machine interfaces, which concerns all devices allowing users to control electronic or computerized equipment. These are for example mechanical interfaces such as buttons, a keyboard or a wheel. It may also be pointing interfaces such as a mouse, a touchpad ("trackpad” in English), a joystick or a graphics tablet.
  • this device relates more particularly to a device for the control of electronic equipment by the manipulation of graphic objects, this device comprising a display screen, a transparent multicontact tactile sensor for the acquisition of multicontact tactile information produced by a plurality pointing means and an electronic control circuit capable of generating control signals based on this tactile information and generating graphic objects on this display screen, each of these graphic objects being associated with at least one specific processing law, each of these tactile information being the subject of a specific treatment determined by its location with respect to the position of these graphic objects.
  • the control of an electronic equipment requires at least one human-machine interface device in order to be able to access the various functionalities proposed by appropriate manipulation.
  • the user has two devices: the keyboard and the mouse.
  • Each hand is then assigned to a set of tasks: the dominant hand points with the mouse (or any other pointing device) - as well as possibly other operations (right click, scroll wheel) - and the other hand performs tasks subordinate (keyboard shortcut, function keys).
  • the combination of both hands provides access to all complex software functions much faster and more efficiently than using the dominant hand alone.
  • a key with a non-dominant hand finger may also be possible to press a key with a non-dominant hand finger to display a drop-down menu at the location where the cursor corresponding to the position of the mouse is located. The dominant hand can then select an operation from a list by moving the cursor inside the drop-down menu with the mouse.
  • some software offers advanced means of document editing that require synchronous intervention of both hands. For example, to duplicate a graphic object, a file or a block containing text, the user presses a key on the keyboard with a finger of the non-dominant hand while simultaneously pressing the mouse button with a finger of the hand dominant. It then moves the selected object by holding down the keyboard key and mouse button to duplicate it.
  • a device comprising a keyboard of reduced size and a touch screen associated with the keyboard.
  • This keyboard comprises on the one hand a number of keys less than the number of keys of conventional keyboards and on the other hand allows to position a cursor and select objects on the screen.
  • the touch screen allows the entry of characters not registered on the keyboard and the activation of contextual commands. Piloting means can be actuated by the keys of the keyboard and / or by the keys of the touch screen, allowing both to display on the touch screen alphanumeric characters not written on the keyboard, and to display on the screen. Display screen for alphanumeric characters written on the keyboard. Control means of the display screen can also be activated by the keys of the keyboard and / or by the keys of the touch screen, making it possible to trigger the display on the display screen of a registered alphanumeric character on the keyboard or on the touch screen.
  • the touch screen displays a virtual standard keyboard with a set of virtual keys. The user can enter a key by pointing it with a pointing means (finger, stylus, etc.).
  • a pointing means finger, stylus, etc.
  • the human-machine interface available to the touch screen allows the user to move a pointing means to easily select a graphic object.
  • the touch screen comprises a screen, a transparent multicontact tactile sensor for the acquisition of tactile information, as well as calculation means generating control signals based on this touch information.
  • Graphic objects are generated on the touch screen, each of these graphic objects being associated with at least one specific processing law.
  • the sensor delivers on each acquisition a plurality of tactile information.
  • Each of these tactile information is the subject of a specific treatment determined by its location with respect to the position of one of these graphic objects.
  • the object of the present invention is to remedy this technical problem, namely the division of tasks between the two hands in order to proceed with fast and complex manipulations.
  • it proposes defining a first series of main graphic objects and a second series of subordinate graphical objects, associated respectively with specific processing laws and with main and subordinate functions.
  • These two types of graphic objects may interact in a complementary manner to perform predetermined complex tasks.
  • the graphic objects are arranged at the viewing screen so that the first set of objects can be manipulated by a first set of pointing means and the second set of objects can be manipulated by a second set of means. pointing.
  • the invention relates to a device for controlling an electronic equipment by the manipulation of graphic objects.
  • This device comprises a display screen, a transparent multicontact tactile sensor for acquiring multicontact tactile information produced by a plurality of pointing means and an electronic control circuit capable of generating control signals based on this touch information and generate graphic objects on this visualization screen.
  • Each of these graphic objects is associated with at least one specific processing law.
  • Each of these tactile information is the subject of a specific treatment determined by its location with respect to the position of these graphic objects.
  • This device is characterized in that it comprises a first series of main graphic objects and a second series of subordinate graphic objects, each of these main graphic objects having a main function and being associated with at least one main specific processing law , each of these subordinate graphic objects presenting a subordinate function and being associated with at least one subordinate specific treatment law.
  • the functions of these subordinate graphical objects are complementary to the functions of these main graphic objects.
  • These subordinate graphic objects are arranged on the display screen at locations different from those of these main graphic objects.
  • These graphic objects are arranged so that this first series is manipulated by a first set of pointing means and this second series by a second set of pointing means distinct from the first set. Manipulating at least one of these subordinate graphical objects causes changes in the properties of at least one of these main graphic objects.
  • one of the properties of at least one of the main graphic objects modified by the manipulation of at least one of the subordinate graphic objects is the display.
  • one of the properties of at least one of the main graphic objects modified by the manipulation of at least one of the subaltern graphic objects is the associated specific processing law.
  • one of the properties of at least one of the main graphic objects modified by the manipulation of at least one of the subordinate graphic objects is the location on the display screen .
  • the first set of pointing means is manipulated by one hand.
  • the first set of pointing means comprises a stylus manipulated by a hand, which allows in particular to perform fine writing functions on the touch screen which is provided with the electronic equipment.
  • the first set of pointing means comprises at least one finger of a hand.
  • the second set of pointing means is manipulated by a hand.
  • the second set of pointing means comprises at least one finger of a hand. It is thus possible to benefit from this hand for example for a support function of the electronic equipment according to the need that the application requires.
  • the hands respectively of the first and second sets of pointing means are two different hands of a user. This optimizes the manipulation of graphic objects by using the complementarity of the two hands of the user.
  • the hands respectively of the first and second sets of pointing means comprise a dominant hand and a non-dominant hand
  • the dominant hand preferentially manipulates the main graphic objects
  • the non-dominant hand preferentially manipulates the subaltern graphic objects. This assigns the tasks to be performed by each hand at appropriate levels of complexity, which provides a more precise manipulation of graphic objects.
  • a main function of at least one main graphic object is a write function.
  • a main function of at least one main graphic object is a pointing function.
  • a subordinate function of at least one subordinate graphic object is a function of selecting the functions assigned to at least one main graphic object manipulated by the dominant hand.
  • the main and subordinate graphic objects are preferentially and respectively located so as to be brought closer to the dominant hand and the non-dominant hand.
  • the distances to be covered by the pointing means are thus reduced and thus optimizes the speed of handling.
  • the non-dominant hand advantageously carries out the support of the electronic equipment, which confers on it a dual function, in addition to that of implementation of the secondary tasks.
  • the position of at least one subordinate graphic object is modified by the user.
  • This operation can be performed by means of an additional graphic object or a sliding operation of the corresponding pointing means while holding down the corresponding detection zone.
  • the acquisition properties are modified according to the first and second set of pointing means and the main and subordinate graphic objects. It is thus possible, for example, to adapt the resolution and the scanning frequency according to the needs of the graphic object under consideration. In the case, for example, of a main graphical object whose function is writing, it will be possible to carry out a very high resolution acquisition on this graphic object in order to obtain finer tactile information on what the user has written. user. BRIEF DESCRIPTION OF THE DRAWINGS
  • FIG. 1 a diagram of a device for controlling an electronic equipment incorporating a multicontact touch screen according to the invention
  • FIG. 2 a structural diagram of a device comprising a multicontact touch screen according to the invention
  • FIGS. 3A to 3C diagrams illustrating various functions that a main graphic object can exhibit
  • FIGS. 4, 5A, 5B, 6, 7, 8A and 8B diagrams illustrating examples of interaction and complementarity between main and subordinate graphic objects.
  • the device comprises electronic equipment 1 such as a display of known type.
  • This display can be for example a liquid crystal display.
  • This display makes it possible to display a plurality of graphic objects 2 and 3.
  • a transparent multicontact tactile sensor 4 is disposed above the display. It makes it possible to acquire a set of points of simultaneous contacts, each contact corresponding to the presence of an object 5b or a finger 5c, 5d or 6b on the surface of the sensor 4 in order to manipulate the main graphic object 2 and the set of subaltern graphic objects 3a, 3b, 3c and 3d.
  • a first set 5 consists of the dominant hand 5a, the latter holding a stylet 5b.
  • the thumb 5c and the index 5d can also serve as pointing means.
  • a second set 6 consists of the non-dominant hand 6a, which is also used to support the electronic device in the case where the latter is portable. In this case, it is the thumb 6b, the only moving finger, which realizes the pointing.
  • a first main graphic object 2 can be manipulated by the dominant hand 5a while a set of subaltern graphic objects 3a, 3b, 3c and 3d can be manipulated by the non-dominant hand 6a.
  • These graphic objects are arranged on the screen 4 so that the thumb 6b is located near the subaltern graphic objects 3a to 3d and the stylus 5b manipulated by the dominant hand 5a is located near the main graphic object 2. The travel distances of the pointing means are thus significantly reduced.
  • the subaltern graphic objects 3a to 3d are arranged next to each other along a vertical axis to facilitate the passage of the thumb 6b from one to the other objects.
  • Figure 1 shows the case where the dominant hand 5a is the right hand of the user, while the non-dominant hand 6a is his left hand.
  • the user may be provided to have a screen adjustment by the user to position the graphic objects according to this new provision, namely by placing subordinate graphic objects 3a to 3d on the right of the screen and the main graphic object 2 on the left.
  • each subordinate graphic object 3a to 3d constituting an alternative that can affect at least one of the main graphic objects displayed.
  • the contact operation of a subordinate graphical object 3a, 3b, 3c or 3d can thus cause a modification of the properties of the main graphic object 2 or of another main graphic object previously not displayed, such as for example the display, the associated specific processing law or the location on the display screen 4.
  • This device comprises a transparent matrix touch sensor 7, a display screen 4, a capture interface 9, a main processor 10 and a graphics processor 11.
  • the first fundamental element of this tactile device is the touch sensor 7, necessary for the acquisition - the multicontact manipulation - using a capture interface 9.
  • This capture interface 9 contains the acquisition and acquisition circuits. analysis.
  • the touch sensor 7 is of the matrix type. It can be optionally divided into several parts in order to accelerate the capture, each part being scanned simultaneously.
  • the data coming from the capture interface 9 is transmitted after filtering, to the main processor 10.
  • This executes the local program making it possible to associate the data of the slab with graphical objects which are displayed on the screen 4 in order to to be manipulated.
  • the main processor 10 also transmits to the graphics processor 11 the data to be displayed on the display screen 4. This graphics processor 11 performs the control of the graphical interface.
  • the matrix sensor 1 is for example a resistive type sensor or projected capacitive type. It is composed of two transparent and superimposed layers on which rows or columns corresponding to conducting wires are arranged. These layers thus form a matrix network of conducting wires.
  • the Touch sensor 7 thus consists of two superimposed layers each having a network of transparent electrodes. These are made for example of Indium Tin Oxides (ITO).
  • the electrodes of the first layer are configured perpendicular to the electrodes of the second layer to form a matrix.
  • the two layers are isolated by spacing spacers.
  • the set of electrodes composing the two layers is connected to a control circuit that sequentially supplies and sweeps the touch sensor in order to deduce the state of each node of the matrix at each acquisition phase.
  • the device makes it possible to acquire the data on the entire sensor 7 with a sampling frequency of the order of 100 Hz, by implementing the sensor 7 and the control circuit integrated in the main processor 10.
  • the acquisition is performed as follows: the columns are fed and the response is detected on each of the lines of the sensor. Contact zones corresponding to the nodes whose state is modified with respect to the idle state are determined as a function of these responses. One or more sets of adjacent nodes are determined whose state is changed. A set of such adjacent nodes defines a contact area. From this node set is computed a position information, referred to as a cursor within the meaning of this patent. In the case of several sets of nodes separated by non-active zones, several independent cursors will be determined during the same scanning phase.
  • Cursors are created, tracked or destroyed based on information obtained during successive scans.
  • the cursor is for example calculated by a barycentric function of the contact zone.
  • the general principle is to create as many sliders as there are contact areas determined on the sensor touch and track their evolution over time. When the user removes his fingers from the sensor, the associated sliders are destroyed. In this way, it is possible to capture the position and the evolution of several fingers on the touch sensor simultaneously.
  • the main processor 10 executes the program for associating the sensor data with graphic objects that are displayed on the display screen 8 for manipulation.
  • the electrical characteristic measured at each acquisition phase and at each node of the matrix is the potential.
  • the potential is the potential.
  • the control circuit may be integrated in an integrated circuit 10. This may be a microcontroller of known type. Alternatively, the integrated circuit may be an FPGA or a microprocessor. Such a microprocessor may be the main processor of the electronic apparatus 1. In order to limit the number of inputs and outputs on the integrated circuit, a multiplexer may be interposed.
  • FIG. 3 shows different pointing modes with the dominant hand on a graphic object according to an embodiment of the invention. If only one point of contact 12 - a cursor - is detected on top of a main graphic object 2a, a first pointing mode is activated (FIG. 3A). If two fingers are detected, the control circuit calculates the path, the direction and the distance between the two cursors 13a and 13b created. If these sliders move simultaneously in the same direction without the distance between them has been substantially increased from one frame to another, then a second pointing mode is activated ( Figure 3B). If the sliders 13a and 13b move in two opposite directions or the distance between them increases or decreases substantially from one acquisition phase to another, then a third pointing mode is activated (FIG. 3C).
  • FIG. 9 represents a functional diagram of the steps for selecting an appropriate control law as a function of the number and displacement of each of the cursors detected above a main object.
  • the specific processing law associated with the graphical object displayed will then be applied according to the pointing mode.
  • the first mode will allow for example to move the graphic object 2a according to the positioning of the cursor 12.
  • the second mode will for example accelerate the displacement based the trajectory of the two sliders 13a and 13b, while the third mode will for example enlarge the object according to the distance between the two sliders 13a and 13b.
  • the pointing modes illustrated in Figure 3 can be applied to other types of graphic objects.
  • the graphic object is a text box that allows the user to enter a manuscript with the help of fingers or a stylus
  • treatment laws specific to that object will be applied according to the pointing mode.
  • the cursor path will be followed from one acquisition phase to another and a line segment or an interpolated curve will be drawn from one point to another. This allows rendering a handwriting by applying a character recognition process.
  • the user can scroll the text box.
  • the third pointing mode the user pushes aside or presses both fingers to enlarge the text box.
  • Figure 4 shows a pointing mode with the non-dominant hand 6a.
  • the non-dominant hand 6a supports the apparatus. Only 6b thumb is available to operate. The latter can nevertheless handle graphic objects, such as buttons, arranged on the edge of the screen.
  • a privileged pointing mode makes it possible to activate a first button 14 positioned at lower left corner of the screen 4, which has the effect of unfolding a menu along the screen, comprising a defined number of buttons 3a to 3d. To access the various buttons, the thumb 6b of the non-dominant hand 6a slides vertically.
  • a countdown (TTL, or "Time to Live” in English language) is activated.
  • TTL Time to Live
  • the delay of the TTL can be for example two seconds.
  • the drop-down menu proposes submenus arranged perpendicularly to the first drop-down menu.
  • FIGS. 5A and 5B show a combination mode of the pointing modes described in FIGS. 3 and 4.
  • the activation of a button of FIG. drop-down menu by the thumb 6b of the non-dominant hand 6a modifies the specific processing law applied to the graphic object 2a manipulated by the dominant hand 5a.
  • the 3d button "select" "select" in English language
  • the first pointing mode ( Figure 5A) of the dominant hand 5a has the effect of cutting a portion of the image to the select, while the third pointing mode ( Figure 5B) widens this selection.
  • FIG. 10 is a diagram of the steps for determining a collection of specific control laws using a subordinate object (3a-3d) and then selecting according to the pointing mode an appropriate control law from the collection of command laws.
  • FIGS. 6 and 7 illustrate another mode of combination of the pointing modes described above.
  • the activation of a button 3c of the drop-down menu by the thumb 6b of the non-dominant hand 6a has the effect of temporarily displaying another main object superimposed on the first main object 2a.
  • This object can be, for example, a drop-down menu with different features in the form of an enumerated list or a list of icons.
  • the dominant hand 5a can then select one of the functions.
  • the thumb of the non-dominant hand 6a selects the "edit" button 3c ("edit" in English language) as illustrated in FIG.
  • a drop-down menu 15 appears and makes it possible to carry out with the dominant hand 5a a plurality of operations: copy 15a, paste 15b, delete 15c. If the thumb 6b of the non-dominant hand 6a selects the "export" button 3a ("export" in English language) as illustrated in FIG. 7, a menu 16 appears and makes it possible to select, for example, the format or the target towards which one wishes to "export" the document.
  • Figure 11 shows a diagram of the steps for displaying a contextual object. It should be noted that the contextual object is displayed at an arbitrary point on the screen, for example, in the center.
  • FIG. 12 represents a variant of the method described in FIG. 11.
  • the contextual object is not displayed at coordinates determined arbitrarily, but as a function of the last position of the last detected pointer. This embodiment is particularly advantageous for large screens. So, the contextual object is displayed in the last place where the dominant hand of the user was present, which avoids moving the dominant hand to an arbitrary place on the screen to use the contextual object.
  • the stylus 5b is manipulated by the dominant hand 5a in order to write on the graphic object 2a of the display screen 4 (FIG. 8A).
  • it may be provided to perform the acquisition of the matrix of the multicontact tactile sensor with a higher resolution at the level of the zone where the writing is detected by the presence of a contact zone 17 (FIG. 8B).
  • the resolution is increased in a small area around the last point of contact 17 detected, which allows to anticipate the next acquisition the movement of the stylus 5b.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

La présente invention concerne un dispositif pour le contrôle d'un équipement électronique (1) par la manipulation d'objets graphiques (2, 3a, 3b, 3c, 3d). Ce dispositif comporte un écran (4) de visualisation, un capteur tactile multicontacts transparent pour l'acquisition d'informations tactiles multicontacts produites par une pluralité de moyens de pointage (5, 6) et un circuit électronique de contrôle apte à générer des signaux de commande fonction de ces informations tactiles et à générer des objets graphiques (2, 3a,3b,3c,3d) sur cet écran (4) de visualisation. Chacun de ces objets graphiques est associé à au moins une loi de traitement spécifique. Chacune de ces informations tactiles fait l'objet d'un traitement spécifique déterminé par sa localisation par rapport à la position de ces objets graphiques (2,3a,3b,3c,3d). Ce dispositif est caractérisé en ce qu'il comprend une première série d'objets graphiques (2) principaux et une deuxième série d'objets graphiques (3a, 3b, 3c, 3d) subalternes, présentant respectivement des fonction principales et subalternes complémentaires et étant associée respectivement à au moins une loi de traitement spécifique principale et à au moins une loi de traitement spécifique subalterne. Tous les objets graphiques (2, 3a, 3b, 3c, 3d) sont agencés pour que la première série soit manipulée par un premier ensemble (5) de moyens de pointage et la deuxième série par un deuxième ensemble (6) de moyens de pointage distinct du premier ensemble (5), la manipulation d'au moins l'un des objets graphiques (3a, 3b, 3c, 3d) subalternes entraînant des modifications des propriétés d'au moins l'un des objets graphiques (2) principaux.

Description

DISPOSITIF POUR LE CONTROLE D'APPAREIL ELECTRONIQUE PAR LA MANIPULATION D'OBJETS GRAPHIQUES SUR UN ECRAN TACTILE
MULTICONTACTS
DOMAINE TECHNIQUE
La présente invention se rapporte au domaine des interfaces homme-machine, qui concerne l'ensemble des dispositifs permettant à des utilisateurs de contrôler des équipements électroniques ou informatisés. Il s'agit par exemple d'interfaces mécaniques comme des boutons, un clavier ou une molette. Il peut également s'agir d'interfaces de pointage tels qu'une souris, un pavé tactile (« trackpad » en langue anglo-saxonne), une manette de jeu ou une tablette graphique.
Elle se rapporte plus particulièrement à un dispositif pour le contrôle d'un équipement électronique par la manipulation d'objets graphiques, ce dispositif comportant un écran de visualisation, un capteur tactile multicontacts transparent pour l'acquisition d'informations tactiles multicontacts produites par une pluralité de moyens de pointage et un circuit électronique de contrôle apte à générer des signaux de commande fonction de ces informations tactiles et à générer des objets graphiques sur cet écran de visualisation, chacun de ces objets graphiques étant associé à au moins une loi de traitement spécifique, chacune de ces informations tactiles faisant l'objet d'un traitement spécifique déterminé par sa localisation par rapport à la position de ces objets graphiques.
ETAT DE LA TECHNIQUE ANTERIEURE
Le contrôle d'un équipement électronique (téléphone portable, ordinateur, etc.) nécessite au moins un dispositif d'interface homme-machine afin de pouvoir accéder aux diverses fonctionnalités proposées par une manipulation adéquate.
Cette manipulation est grandement facilitée et améliorée par l'usage coordonné d'au moins deux dispositifs. En effet, certains dispositifs sont plus adaptés pour un certain type de tâches tandis que d'autres seront mieux adaptés pour un second type de tâche. Cela permet également de mettre en œuvre les deux mains de l'utilisateur afin d'effectuer plus rapidement un plus grand nombre de tâches.
Dans le cas par exemple d'un ordinateur personnel, l'utilisateur dispose de deux dispositifs : le clavier et la souris. Chaque main est alors affectée à un ensemble de tâches : la main dominante pointe avec la souris (ou tout autre périphérique de pointage) - ainsi qu'éventuellement d'autres opérations (clic droit, mollette) - et l'autre main exécute des tâches subalternes (raccourci clavier, touches de fonction). La combinaison des deux mains permet d'accéder à l'ensemble des fonctions d'un logiciel complexe beaucoup plus rapidement et efficacement qu'en utilisant la main dominante isolément.
Il peut être également possible de presser une touche avec un doigt de la main non dominante afin d'afficher un menu déroulant à l'emplacement où se trouve le curseur correspondant à la position de la souris. La main dominante peut alors sélectionner une opération dans une liste en déplaçant le curseur à l'intérieur du menu déroulant à l'aide de la souris. De même, certains logiciels offrent des moyens avancés d'édition de documents qui nécessitent l'intervention synchrone des deux mains. Par exemple, pour dupliquer un objet graphique, un fichier ou un bloc contenant du texte, l'utilisateur appuie sur une touche du clavier avec un doigt de la main non dominante tout en pressant simultanément le bouton de la souris avec un doigt de Ia main dominante. Il déplace ensuite l'objet sélectionné en maintenant la touche du clavier et le bouton de la souris appuyés afin de Ie dupliquer.
Néanmoins, ce type de solution d'interaction pour Ia manipulation rapide d'objets graphiques ne peut être mise en oeuvre avec des appareils électroniques portatifs, et plus particulièrement avec des téléphones mobiles de troisième génération, des ordinateurs ultra-mobiles ou encore des consoles de jeu portatives. En effet, tout en proposant des fonctionnalités de plus en plus avancées, la miniaturisation et les contraintes d'encombrement de ces appareils ne permettent pas de combiner plusieurs dispositifs d'interfaces homme-machine.
Pour répondre à ces contraintes d'encombrement, un nombre croissant de fabricants d'appareils électroniques portatifs utilisent un écran tactile comme principal dispositif d'interface homme-machine.
Une solution pour faciliter la manipulation d'un dispositif interface homme- machine portatif est décrite dans le document de brevet FR 2 751 442. Celle-ci propose un dispositif comportant un clavier de format réduit et un écran tactile associé au clavier. Ce clavier comporte d'une part un nombre de touches inférieur au nombre de touches des claviers classiques et permet d'autre part de positionner un curseur et de sélectionner des objets à l'écran. L'écran tactile permet la saisie de caractères non inscrits sur le clavier et l'activation de commandes contextuelles. Des moyens de pilotage sont actionnables par les touches du clavier et/ou par les touches de l'écran tactile, permettant à la fois d'afficher sur l'écran tactile des caractères alphanumériques non inscrits sur le clavier, et d'afficher sur l'écran d'affichage des caractères alphanumériques inscrits sur le clavier. Des moyens de commande de l'écran d'affichage sont eux aussi actionnables par les touches du clavier et/ou par les touches de l'écran tactile, permettant de déclencher la visualisation sur l'écran d'affichage d'un caractère alphanumérique inscrit sur le clavier ou sur l'écran tactile.
Ce type de solution, combinant un clavier et un écran tactile, présente néanmoins l'inconvénient de ne pas tenir compte de la domination respective exercée par une main de l'utilisateur sur l'autre. En effet, la manipulation d'un écran tactile met en évidence une main dominante, l'autre main n'étant pas sollicitée. Dans le cas particulier d'appareils portatifs (téléphones, lecteurs mp3, GPS, etc.), cette autre main n'a qu'une fonction de support de l'appareil. Or, l'absence de mise à contribution des deux mains ralentit l'utilisation de l'écran et empêche l'utilisateur d'effectuer des opérations complexes (édition de documents, etc.). De plus, le clavier présente nécessairement des touches miniaturisés qui sont par conséquent difficiles à manipuler rapidement. Dans le cas d'équipements portatifs comportant uniquement un écran tactile multicontacts, qui est donc apte à être manipuler simultanément par plusieurs moyens de pointage, la mise à contribution des deux mains de l'utilisateur n'est pas prise en compte de façon adéquate pour améliorer la manipulation d'objets graphiques. Dans le document de brevet US 2003/098858, l'écran tactile affiche un clavier standard virtuel comportant un ensemble de touches virtuelles. L'utilisateur peut saisir une touche en la pointant avec un moyen de pointage (doigt, stylet, etc.). Dans le document de brevet US 2006/097991 , l'interface homme-machine dont dispose l'écran tactile permet à l'utilisateur de déplacer un moyen de pointage pour sélectionner facilement un objet graphique. Dans le document de brevet FR 2 866 726, l'écran tactile comprend un écran, un capteur tactile multicontacts transparent pour l'acquisition d'informations tactiles, ainsi que des moyens de calculs générant des signaux de commande en fonction de ces informations tactiles. Des objets graphiques sont générés sur l'écran tactile, chacun de ces objets graphiques étant associés à au moins une loi de traitement spécifique. Le capteur délivre à chaque acquisition une pluralité d'informations tactiles. Chacune de ces informations tactiles faisant l'objet d'un traitement spécifique déterminé par sa localisation par rapport à la position de l'un de ces objets graphiques.
Néanmoins, aucune de ces solutions n'est conçue pour travailler à deux mains, ces systèmes d'interface n'étant en effet prévus pour gérer le partage des tâches entre les deux mains. Aussi la main qui a une fonction de support de l'écran tactile multicontacts portatif n'a que cette fonction et l'interface homme-machine n'est pas agencé de sorte à permettre à celle-ci de réaliser des tâches subalternes qui auraient pour effet d'alléger la charge de travail de la main dominante et ainsi faciliter la manipulation des objets graphiques.
OBJET DE L'INVENTION
Le but de la présente invention est de remédier à ce problème technique, à savoir le partage des tâches entre les deux mains en vue de procéder à des manipulations rapides et complexes. Elle propose pour cela de définir une première série d'objets graphiques principaux et une deuxième série d'objets graphiques subalternes, associés respectivement à des lois de traitement spécifique et à des fonctions principales et subalternes. Ces deux types d'objets graphiques sont susceptibles d'interagir de façon complémentaire en vue d'effectuer des tâches complexes prédéterminées. Les objets graphiques sont agencés au niveau de l'écran de visualisation de sorte que la première série d'objets puisse être manipulée par un premier ensemble de moyens de pointage et que la seconde série d'objets puisse être manipulée par un second ensemble de moyens de pointage.
L'approche de la solution a consisté à chercher des solutions pour faire interagir différents niveaux d'objets graphiques en fonction de leur difficultés respectives de manipulation. Il est alors apparu qu'une répartition des tâches affectées à chaque ensemble de moyens de pointage en fonction de la complémentarité des fonctions des objets graphiques permet de combiner l'ensemble des objets graphiques avec plusieurs moyens de pointages - par exemple les doigts de deux mains différentes d'un même utilisateur.
Dans ce but, l'invention a pour objet un dispositif pour le contrôle d'un équipement électronique par la manipulation d'objets graphiques. Ce dispositif comporte un écran de visualisation, un capteur tactile multicontacts transparent pour l'acquisition d'informations tactiles multicontacts produites par une pluralité de moyens de pointage et un circuit électronique de contrôle apte à générer des signaux de commande fonction de ces informations tactiles et à générer des objets graphiques sur cet écran de visualisation. Chacun de ces objets graphiques est associé à au moins une loi de traitement spécifique. Chacune de ces informations tactiles fait l'objet d'un traitement spécifique déterminé par sa localisation par rapport à la position de ces objets graphiques. Ce dispositif est caractérisé en ce qu'il comprend une première série d'objets graphiques principaux et une deuxième série d'objets graphiques subalternes, chacun de ces objets graphiques principaux présentant une fonction principale et étant associée à au moins une loi de traitement spécifique principale, chacun de ces objets graphiques subalternes présentant une fonction subalterne et étant associée à au moins une loi de traitement spécifique subalterne. Les fonctions de ces objets graphiques subalternes sont complémentaires des fonctions de ces objets graphiques principaux. Ces objets graphiques subalternes sont disposés sur l'écran de visualisation à des localisations différentes de celles de ces objets graphiques principaux. Ces objets graphiques sont agencés pour que cette première série soit manipulée par un premier ensemble de moyens de pointage et cette deuxième série par un deuxième ensemble de moyens de pointage distinct du premier ensemble. La manipulation d'au moins l'un de ces objets graphiques subalternes entraîne des modifications des propriétés d'au moins l'un de ces objets graphiques principaux.
Cette combinaison entre la division des objets graphiques sur leurs lois de traitement spécifique et leurs fonctions associées, et l'agencement de ces objets graphiques vis-à-vis des moyens de pointage, permet de manipuler un appareil électronique muni d'un écran tactile avec différents moyen de pointage sans perdre de temps ni faire d'efforts de manipulation complexes et fastidieux.
Selon un mode de réalisation particulier, l'une des propriétés d'au moins l'un des objets graphiques principaux modifiée par la manipulation d'au moins l'un des objets graphiques subalternes est l'affichage.
Selon un mode de réalisation complémentaire du précédent, l'une des propriétés d'au moins l'un des objets graphiques principaux modifiée par la manipulation d'au moins l'un des objets graphiques subalternes est la loi de traitement spécifique associée.
Selon un mode de réalisation également complémentaire du précédent, l'une des propriétés d'au moins l'un des objets graphiques principaux modifiée par la manipulation d'au moins l'un des objets graphiques subalternes est la localisation sur l'écran de visualisation.
Préférentiellement, le premier ensemble de moyens de pointage est manipulé par une main.
Dans ce cas, selon un de réalisation particulier, le premier ensemble de moyens de pointage comprend un stylet manipulé par une main, ce qui permet notamment de réaliser des fonctions d'écriture fine sur l'écran tactile dont est muni l'équipement électronique.
Selon un autre mode de réalisation, le premier ensemble de moyens de pointage comprend au moins un doigt d'une main.
Préférentiellement, le deuxième ensemble de moyens de pointage est manipulé par une main.
Dans ce cas, selon un mode de réalisation particulier, le deuxième ensemble de moyens de pointage comprend au moins un doigt d'une main. Il est ainsi possible de bénéficier de cette main par exemple pour une fonction de support de l'équipement électronique en fonction du besoin que requiert l'application.
De manière avantageuse, les mains respectivement des premier et deuxième ensembles de moyens de pointage sont deux mains différentes d'un utilisateur. On optimise ainsi la manipulation des objets graphiques en utilisant la complémentarité des deux mains de l'utilisateur.
Dans le cas où les mains respectivement des premier et deuxième ensembles de moyens de pointage comportent une main dominante et une main non dominante, la main dominante manipule préférentiellement les objets graphiques principaux et la main non dominante manipule préférentiellement les objets graphiques subalternes. On affecte ainsi les tâches à remplir par chaque main à des niveaux de complexité adéquates, ce qui offre une manipulation plus précise des objets graphiques.
Selon un mode de réalisation particulier, une fonction principale d'au moins un objet graphique principal est une fonction d'écriture. Selon un autre mode de réalisation particulier, une fonction principale d'au moins un objet graphique principal est une fonction de pointage.
Selon un autre mode de réalisation particulier, une fonction subalterne d'au moins un objet graphique subalterne est une fonction de sélection des fonctions affectées à au moins un objet graphique principal manipulé par la main dominante.
Toujours dans le cas où les mains respectivement des premier et deuxième ensembles de moyens de pointage comportent une main dominante et une main non dominante, les objets graphiques principaux et subalternes sont préférentiellement et respectivement localisés de sorte à être rapprochés de la main dominante et de la main non dominante. Les distances à parcourir par les moyens de pointage sont ainsi diminuées et on optimise donc la rapidité de manipulation.
Dans le cas où l'équipement électronique est portatif, la main non dominante réalise avantageusement le support de l'équipement électronique, ce qui lui confère une double fonction, en plus de celle de mise en œuvre des tâches secondaires.
Préférentiellement, Ia position d'au moins un objet graphique subalterne est modifiée par l'utilisateur. Cette opération peut être réalisée par l'intermédiaire d'un objet graphique additionnel ou d'une opération de glissé du moyen de pointage correspondant tout en maintenant enfoncée la zone de détection correspondante.
Préférentiellement, les propriétés d'acquisition sont modifiées en fonction des premier et deuxième ensemble de moyens de pointage et des objets graphiques principaux et subalternes. On peut ainsi par exemple adapter la résolution et la fréquence de balayage en fonction des besoins de l'objet graphique considéré. Dans le cas par exemple d'un objet graphique principal dont la fonction est l'écriture, on pourra procéder à une acquisition de résolution très élevée sur cet objet graphique afin d'obtenir des informations tactiles plus fines sur ce qu'a écrit l'utilisateur. BREVE DESCRIPTION DES DESSINS
On décrit maintenant un mode de réalisation de l'invention en référence aux figures annexées représentant respectivement :
- la figure 1 , un schéma d'un dispositif pour le contrôle d'un équipement électronique incorporant un écran tactile multicontacts selon l'invention,
- la figure 2, un schéma structurel d'un dispositif comprenant un écran tactile multicontacts selon l'invention,
- les figure 3A à 3C, des schémas illustrant différentes fonctions que peuvent présenter un objet graphique principal, et
- les figure 4, 5A, 5B, 6, 7, 8A et 8B des schémas illustrant des exemples d'interaction et de complémentarité entre des objets graphiques principaux et subalternes.
Sur les figures mentionnées ci-dessus, des références identiques se rapportent, sauf indication contraire, à des caractéristiques techniques similaires.
EXPOSE DETAILLE DE MODES DE REALISATION PARTICULIERS
Comme illustré figure 1 , le dispositif comprend un équipement électronique 1 tel qu'un afficheur de type connu. Cet afficheur peut être par exemple un afficheur à cristaux liquides. Cet afficheur permet d'afficher une pluralité d'objets graphiques 2 et 3. Un capteur tactile multicontacts transparent 4 est disposé au-dessus de l'afficheur. Il permet d'acquérir un ensemble de point de contacts simultanés, chaque contact correspondant à la présence d'un objet 5b ou d'un doigt 5c, 5d ou 6b sur la surface du capteur 4 afin de manipuler l'objet graphique principal 2 et l'ensemble d'objets graphiques subalternes 3a, 3b, 3c et 3d.
Parmi les moyens de contact utilisés, un premier ensemble 5 est constitué de la main dominante 5a, celle-ci tenant un stylet 5b. Le pouce 5c et l'index 5d peuvent également servir de moyens de pointage. Un deuxième ensemble 6 est constitué de la main non dominante 6a, qui sert également au support de l'appareil électronique dans le cas où ce dernier est portatif. Dans ce cas, c'est le pouce 6b, seul doigt mobile, qui réalise le pointage.
Un premier objet graphique principal 2 peut être manipulé par la main dominante 5a tandis qu'un ensemble d'objets graphiques subalternes 3a, 3b, 3c et 3d peut être manipulé par la main non dominante 6a. Ces objets graphiques sont disposés sur l'écran 4 de sorte que le pouce 6b soit situé à proximité des objets graphiques subalternes 3a à 3d et que le stylet 5b manipulé par la main dominante 5a soit situé à proximité de l'objet graphique principal 2. Les distances de parcours des moyens de pointage sont ainsi significativement réduits. De plus, les objets graphiques subalternes 3a à 3d sont disposés les uns à côté des autres selon un axe vertical pour faciliter le passage du pouce 6b de l'un à l'autre des objets.
La figure 1 représente le cas où la main dominante 5a est la main droite de l'utilisateur, tandis que la main non dominante 6a est sa main gauche. Dans le cas où l'utilisateur a une disposition inverse des mains, il peut être prévu de disposer d'un réglage de l'écran par l'utilisateur en vue de positionner les objets graphiques en fonction de cette nouvelle disposition, à savoir en plaçant les objets graphiques subalternes 3a à 3d à droite de l'écran et l'objet graphique principal 2 à gauche.
La multiplicité des objets graphiques subalternes 3a à 3d, ainsi que leurs petites dimensions, permet de s'en servir notamment comme d'un menu déroulant, chaque objet graphique subalterne constituant une alternative pouvant influer sur au moins l'un des objets graphiques principaux affichés. L'actionnement par contact d'un objet graphique subalterne 3a, 3b, 3c ou 3d peut ainsi provoquer une modification des propriétés de l'objet graphique principal 2 ou d'un autre objet graphique principal jusqu'alors non affiché, comme par exemple l'affichage, la loi de traitement spécifique associée ou la localisation sur l'écran 4 de visualisation.
Ce type d'interaction entre les objets graphiques principaux et subalternes exploite de manière optimale les capacités des différents moyens de pointage qu'il est possible d'utiliser. En effet, le pouce 6b de la main non dominante est très peu mobile et maîtrisable, mais il suffit néanmoins pour effectuer des tâches subalternes de sélection dans un menu déroulant - comprenant les objets graphiques subalternes 3a à 3d - qui constituent des tâches que la main dominante pourrait également accomplir, mais au détriment du temps passé sur des tâches plus complexes que sa mobilité et sa maniabilité autorisent. Le stylet 5b - ou le pouce 5a ou l'index 5c - manipulé par la main dominante 5a est affecté uniquement à des tâches complexes (écriture, dessin, etc.) qui exploitent parfaitement ses capacités.
On décrit à présent un schéma structurel du dispositif en référence à la figure 2, qui représente une coupe transversale de ce dispositif selon un mode de mise en œuvre. Ce dispositif comprend un capteur tactile matriciel transparent 7, un écran de visualisation 4, une interface de capture 9, un processeur principal 10 et un processeur graphique 11.
Le premier élément fondamental de ce dispositif tactile est le capteur tactile 7, nécessaire à l'acquisition - la manipulation multicontacts - à l'aide d'une interface de capture 9. Cette interface de capture 9 contient les circuits d'acquisition et d'analyse. Le capteur tactile 7 est de type matriciel. Il peut être éventuellement divisé en plusieurs parties afin d'accélérer la captation, chaque partie étant scannée simultanément.
Les données issues de l'interface de capture 9 sont transmises après filtrage, au processeur principal 10. Celui-ci exécute le programme local permettant d'associer les données de la dalle à des objets graphiques qui sont affichés sur l'écran 4 afin d'être manipulés. Le processeur principal 10 transmet également au processeur graphique 11 les données à afficher sur l'écran de visualisation 4. Ce processeur graphique 11 réalise le pilotage de l'interface graphique.
Le capteur matriciel 1 est par exemple un capteur de type résistif ou de type capacitif projeté. Il est composé de deux couches transparentes et superposées sur lesquelles sont agencées des lignes ou colonnes correspondant à des fils conducteurs. Ces couches forment ainsi un réseau matriciel de fils conducteurs. Le capteur tactile 7 se compose ainsi de deux couches superposées présentant chacune un réseau d'électrodes transparentes. Celles-ci sont faites par exemple d'Indium Tin Oxydes (ITO). Les électrodes de la première couche sont configurées perpendiculairement aux électrodes de la seconde couche afin de former une matrice. De préférence, les deux couches sont isolées par des entretroises d'espacement. L'ensemble des électrodes composant les deux couches est connecté à un circuit de commande qui permet d'alimenter et de balayer séquentiellement le capteur tactile afin de déduire l'état de chaque nœud de la matrice à chaque phase d'acquisition.
Lorsque l'on veut savoir si un contact est activé, on mesure les caractéristiques électriques - tension, capacitance ou inductance - aux bornes de chaque nœud de la matrice. Le dispositif permet d'acquérir les données sur l'ensemble du capteur 7 avec une fréquence d'échantillonnage de l'ordre de 100 Hz, en mettant en œuvre le capteur 7 et Ie circuit de commande intégré dans le processeur principal 10.
Dans le cas d'un capteur tactile à matrice passive, l'acquisition est effectuée de la façon suivante : on alimente les colonnes et on détecte la réponse sur chacune des lignes du capteur. On détermine en fonction de ces réponses des zones de contact qui correspondent aux nœuds dont l'état est modifié par rapport à l'état au repos. On détermine un ou plusieurs ensembles de nœuds adjacents dont l'état est modifié. Un ensemble de tels nœuds adjacents définit une zone de contact. On calcule à partir de cet ensemble de nœud une information de position, qualifiée de curseur au sens du présent brevet. Dans le cas de plusieurs ensembles de nœuds séparés par des zones non actives, on déterminera plusieurs curseurs indépendants pendant une même phase de balayage.
Cette information est rafraîchie périodiquement au cours de nouvelles phases de balayage. Les curseurs sont créés, suivis ou détruits en fonction des informations obtenues au cours des balayages successifs. Le curseur est à titre d'exemple calculé par une fonction barycentrique de la zone de contact. Le principe général est de créer autant de curseurs qu'il y a de zones de contact déterminée sur le capteur tactile et de suivre leur évolution dans le temps. Lorsque l'utilisateur retire ses doigts du capteur, les curseurs associés sont détruits. De cette manière, il est possible de capter la position et l'évolution de plusieurs doigts sur le capteur tactile simultanément.
Le processeur principal 10 exécute le programme permettant d'associer les données du capteur à des objets graphiques qui sont affichés sur l'écran de visualisation 8 afin d'être manipulés.
Selon un mode de réalisation avantageux, la caractéristique électrique mesurée à chaque phase d'acquisition et à chaque noeud de la matrice est le potentiel. Ainsi, il est possible de détecter indifféremment l'action d'un doigt ou celle d'un stylo par exemple. Il est également possible d'effectuer en parallèle ou séquentiellement à cette mesure de potentiel une mesure de l'intercapacité entre les électrodes.
Le circuit de commande peut être intégré dans un circuit intégré 10. Celui-ci peut-être un microcontrôleur de type connu. Alternativement, le circuit intégré peut être un FPGA ou un microprocesseur. Un tel microprocesseur peut être le processeur principal de l'appareil électronique 1. Afin de limiter les nombre d'entrée et de sorties sur le circuit intégré, un multiplexeur peut être intercalé.
La figure 3 représente différents modes de pointage avec la main dominante sur un objet graphique selon un mode de mise en œuvre de l'invention. Si un seul point de contact 12 - un curseur - est détecté au-dessus d'un objet graphique principal 2a, un premier mode de pointage est activé (figure 3A). Si deux doigts sont détectés, le circuit de commande calcule le trajet, la direction et la distance entre les deux curseurs 13a et 13b créés. Si ces curseurs se déplacent simultanément dans une même direction sans que la distance entre eux n'ait été substantiellement accrue d'une trame à l'autre, alors un second mode de pointage est activé (figure 3B). Si les curseurs 13a et 13b se déplacent dans deux directions opposées ou que la distance entre eux s'accroît ou décroît substantiellement d'une phase d'acquisition à l'autre, alors un troisième mode de pointage est activé (figure 3C). La figure 9 représente un diagramme fonctionnel des étapes permettant de sélectionner une loi de commande appropriée en fonction du nombre et du déplacement de chacun des curseurs détectés au dessus d'un objet principal.
La loi de traitement spécifique associée à l'objet graphique affiché sera alors appliquée en fonction du mode de pointage. Par exemple, si l'objet graphique 2a est une photographie ou un dessin, le premier mode permettra par exemple de déplacer l'objet graphique 2a en fonction du positionnement du curseur 12. Le deuxième mode permettra par exemple d'accélérer le déplacement en fonction de la trajectoire des deux curseurs 13a et 13b, tandis que le troisième mode permettra par exemple d'agrandir l'objet en fonction de la distance entre les deux curseurs 13a et 13b.
Les modes de pointage illustrés par la figure 3 peuvent être appliqués à d'autres types d'objets graphiques. Par exemple, si l'objet graphique est une zone de texte permettant à l'utilisateur de saisir un manuscrit à l'aide des doigts ou d'un stylet, des lois de traitement spécifiques à cet objet seront appliquées en fonction du mode de pointage. Par exemple, dans le premier mode de pointage, la trajectoire du curseur sera suivie d'une phase d'acquisition à l'autre et un segment de droite ou une courbe interpolée sera tracé d'un point à l'autre. Ceci permet de restituer une écriture manuscrite en appliquant un traitement de reconnaissance de caractère. Dans le second mode de pointage, l'utilisateur peut faire défiler la zone de texte. Dans le troisième mode de pointage, l'utilisateur écarte ou ressert les deux doigt pour agrandir la zone de texte.
La figure 4 représente un mode de pointage avec la main non dominante 6a. Typiquement, avec un appareil portatif, la main non dominante 6a supporte l'appareil. Seul le pouce 6b est disponible pour opérer. Ce dernier peut néanmoins manipuler des objets graphiques, tels des boutons, disposés sur le bord de l'écran.
L'inconvénient de ce type de disposition est qu'il multiplie le risque que de tels objets graphiques ne soient actionnés accidentellement. Afin de minimiser ce risque, un mode de pointage privilégié permet d'activer un premier bouton 14 positionné au coin inférieur gauche de l'écran 4, ce qui a pour effet de dérouler un menu Ie long de l'écran, comprenant un nombre défini de boutons 3a à 3d. Pour accéder aux différents boutons, le pouce 6b de la main non dominante 6a glisse verticalement.
Avantageusement, lorsque le bouton inférieur 14 est actionné, un compte à rebours (TTL, soit « Time to Live » en langue anglo-saxonne) est activé. Ainsi, si au terme de ce compte à rebours aucun des objets graphiques 3a à 3d du menu n'a été actionné, le menu déroulant cesse d'être affiché. Le délai du TTL peut être par exemple de deux secondes. Cette configuration offre l'avantage d'accéder de manière rapide et fiable à de multiples fonctionnalités supplémentaires.
Avantageusement, le menu déroulant propose des sous-menus disposés perpendiculairement au premier menu déroulant.
Afin de rendre la manipulation plus efficace, les modes de pointage décrits précédemment peuvent être combinés.
Les figures 5A et 5B représentent un mode de combinaison des modes de pointage décrits par les figures 3 et 4. Dans l'exemple précédemment cité d'une application permettant de manipuler une photographie ou tout autre image, l'activation d'un bouton du menu déroulant par le pouce 6b de la main non dominante 6a modifie la loi de traitement spécifique appliquée à l'objet graphique 2a manipulé par la main dominante 5a. Ainsi, lorsque le bouton 3d « sélectionner » (« sélect » en langue anglo-saxonne) est sélectionné, le premier mode de pointage (figure 5A) de la main dominante 5a a pour effet de détourer une portion de l'image afin de la sélectionner, tandis que le troisième mode de pointage (figure 5B) permet d'élargir cette sélection.
Dans l'autre exemple précédemment cité d'une application permettant de saisir du texte de manière manuscrite, l'activation du même bouton 3d permettra de sélectionner du texte caractère par caractère avec le premier mode de pointage (figure 5A), et de sélectionner ou désélectionner l'ensemble du texte avec le troisième mode de pointage (figure 5B).
La figure 10 représente un diagramme des étapes permettant de déterminer une collection de lois de commande spécifiques à l'aide d'un objet subalterne (3a à 3d) puis de sélectionner en fonction du mode de pointage une loi de commande appropriée parmi la collection de lois de commandes.
De même, les figures 6 et 7 illustrent un autre mode de combinaison des modes de pointage décrits précédemment. Ici, au lieu de modifier la loi de traitement spécifique de l'objet graphique principal 2a manipulé par la main dominante 5a, l'activation d'un bouton 3c du menu déroulant par le pouce 6b de la main non dominante 6a a pour effet d'afficher temporairement un autre objet principal 15 superposé au premier objet principal 2a. Cet objet peut être, par exemple, un menu déroulant proposant différentes fonctionnalités sous la forme d'une liste énumérative ou d'une liste d'icônes. La main dominante 5a peut alors sélectionner une des fonctions. Ainsi, si le pouce de la main non dominante 6a sélectionne le bouton « éditer » 3c (« edit » en langue anglo-saxonne) comme illustré figure 6, un menu déroulant 15 apparaît et permet d'effectuer avec la main dominante 5a une pluralité d'opérations : copier 15a, coller 15b, supprimer 15c. Si le pouce 6b de la main non dominante 6a sélectionne le bouton « exporter » 3a (« export » en langue anglo- saxonne) comme illustré figure 7, un menu 16 apparaît et permet de sélectionner, par exemple, le format ou la cible vers lequel on souhaite « exporter » le document.
La figure 11 représente un diagramme des étapes permettant d'afficher un objet contextuel. Il est à noter que l'objet contextuel est affiché à un endroit arbitraire de l'écran, par exemple, au centre.
La figure 12 représente une variante du procédé décrit par la figure 11. Dans ce mode de réalisation, l'objet contextuel n'est pas affiché à des coordonnées déterminées de manière arbitraire, mais en fonction de la dernière position du dernier pointeur détecté. Ce mode de réalisation est particulièrement avantageux pour des écrans de grandes dimensions. Ainsi, l'objet contextuel est affiché au dernier endroit où la main dominante de l'utilisateur était présente, ce qui évite de déplacer la main dominante à un endroit arbitraire de l'écran pour utiliser l'objet contextuel.
Dans le cas à présent de la figure 8, la fonction écriture a été activée. Le stylet 5b est manipulé par la main dominante 5a afin d'écrire sur l'objet graphique 2a de l'écran 4 de visualisation (figure 8A). De manière avantageuse, il peut être prévu de réaliser l'acquisition de la matrice du capteur tactile multicontacts avec une résolution supérieure au niveau de la zone où l'écriture est détectée par la présence d'une zone de contact 17 (figure 8B). Ainsi la résolution est augmentée dans une zone de petites dimensions autour du dernier point de contact 17 détecté, ce qui permet d'anticiper lors de la prochaine acquisition le déplacement du stylet 5b. On obtient donc une information tactile d'autant plus précise à proximité de la zone de contact
Les modes de réalisation précédemment décrits de la présente invention sont donnés à titre d'exemples et ne sont nullement limitatifs. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet.

Claims

REVENDICATIONS
1 - Dispositif pour le contrôle d'un équipement électronique (1) par la manipulation d'objets graphiques (2,3a,3b,3c,3d), ledit dispositif comportant un écran (4) de visualisation, un capteur tactile multicontacts transparent pour l'acquisition d'informations tactiles multicontacts produites par une pluralité de moyens de pointage (5,6) et un circuit électronique de contrôle apte à générer des signaux de commande fonction desdites informations tactiles et à générer des objets graphiques (2,3a,3b,3c,3d) sur ledit écran (4) de visualisation, chacun desdits objets graphiques étant associé à au moins une loi de traitement spécifique, chacune desdites informations tactiles faisant l'objet d'un traitement spécifique déterminé par sa localisation par rapport à la position desdits objets graphiques (2,3a,3b,3c,3d), caractérisé en ce qu'il comprend une première série d'objets graphiques (2) principaux et une deuxième série d'objets graphiques (3a,3b,3c,3d) subalternes, chacun desdits objets graphiques (2) principaux présentant une fonction principale et étant associée à au moins une loi de traitement spécifique principale, chacun desdits objets graphiques (3a,3b,3c,3d) subalternes présentant une fonction subalterne et étant associée à au moins une loi de traitement spécifique subalterne, les fonctions desdits objets graphiques (3a,3b,3c,3d) subalternes étant complémentaires des fonctions desdits objets graphiques (2) principaux, lesdits objets graphiques (3a,3b,3c,3d) subalternes étant disposés sur l'écran (4) de visualisation à des localisations différentes de celles desdits objets graphiques (2) principaux, en ce que lesdits objets graphiques (2,3a,3b,3c,3d) sont agencés pour que ladite première série soit manipulée par un premier ensemble (5) de moyens de pointage et ladite deuxième série par un deuxième ensemble (6) de moyens de pointage distinct du premier ensemble (5), et en ce que la manipulation d'au moins l'un desdits objets graphiques (3a,3b,3c,3d) subalternes entraîne des modifications des propriétés d'au moins l'un desdits objets graphiques (2) principaux.
2 - Dispositif selon la revendication 1 , dans lequel l'une des propriétés d'au moins l'un des objets graphiques (2) principaux modifiée par la manipulation d'au moins l'un des objets graphiques (3a,3b,3c,3d) subalternes est l'affichage. 3 - Dispositif selon l'une quelconque des revendications 1 ou 2, dans lequel l'une des propriétés d'au moins l'un des objets graphiques (2) principaux modifiée par la manipulation d'au moins l'un des objets graphiques (3a,3b,3c,3d) subalternes est la loi de traitement spécifique associée.
4 - Dispositif selon l'une quelconque des revendications 1 à 3, dans lequel l'une des propriétés d'au moins l'un des objets graphiques (2) principaux modifiée par la manipulation d'au moins l'un des objets graphiques (3a,3b,3c,3d) subalternes est la localisation sur l'écran (4) de visualisation.
5 - Dispositif selon l'une quelconque des revendications précédentes, dans lequel le premier ensemble de moyens de pointage (5) est manipulé par une main (5a).
6 - Dispositif selon la revendication 5, dans lequel le premier ensemble de moyens de pointage (5) comprend un stylet (5b) manipulé par une main (5a).
7 - Dispositif selon l'une quelconque des revendications 5 ou 6, dans lequel le premier ensemble de moyens de pointage (5) comprend au moins un doigt (5c,5d) d'une main (5a).
8 - Dispositif selon l'une quelconque des revendications précédentes, dans lequel le deuxième ensemble de moyens de pointage (6) est manipulé par une main (6a).
9 - Dispositif selon la revendication 8, dans lequel le deuxième ensemble de moyens de pointage (6) comprend au moins un doigt (6b) d'une main (6a).
10 - Dispositif selon la revendication 8, en dépendance de la revendication 5, dans lequel les mains (5a,6a) respectivement des premier et deuxième ensembles de moyens de pointage (5,6) sont deux mains différentes d'un utilisateur. 11 - Dispositif selon la revendication 10, pour lequel les mains (5a,6b) respectivement des premier et deuxième ensembles de moyens de pointage (5,6) comportent une main dominante (5a) et une main non dominante (6a), dans lequel la main dominante (5a) manipule les objets graphiques (2) principaux et la main non dominante (6a) manipule les objets graphiques (3a,3b,3c,3d) subalternes.
12 - Dispositif selon la revendication 11 , dans lequel une fonction principale d'au moins un objet graphique (2) principal est une fonction d'écriture.
13 - Dispositif selon l'une quelconque des revendications 11 ou 12, dans lequel une fonction principale d'au moins un objet graphique (2) principal est une fonction de pointage.
14 - Dispositif selon l'une quelconque des revendications 11 à 13, dans lequel une fonction subalterne d'au moins un objet graphique (3a,3b,3c,3d) subalterne est une fonction de sélection des fonctions affectées à au moins un objet graphique (2) principal manipulé par la main dominante (5a).
15 - Dispositif selon l'une quelconque des revendications 11 à 14, dans lequel les objets graphiques principaux (2) et subalternes (3a,3b,3c,3d) sont respectivement localisés de sorte à être rapprochés de la main dominante (5a) et de la main non dominante (6a).
16 - Dispositif selon l'une quelconque des revendications 11 à 15, dans lequel l'équipement électronique (1 ) est portatif et la main non dominante (6a) réalise le support dudit équipement électronique (1).
17 - Dispositif selon l'une quelconque des revendications précédentes, dans lequel ia position d'au moins un objet graphique (3a,3b,3c,3d) subalterne est modifiée par l'utilisateur. 18 - Dispositif selon l'une quelconque des revendications précédentes, dans lequel les propriétés d'acquisition sont modifiées en fonction des premier (5) et deuxième (6) ensemble de moyens de pointage et des objets graphiques principaux (2) et subalternes (3a,3b,3c,3d).
EP09741332A 2008-09-22 2009-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts Withdrawn EP2332035A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0805183A FR2936326B1 (fr) 2008-09-22 2008-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
PCT/FR2009/001121 WO2010103195A2 (fr) 2008-09-22 2009-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Publications (1)

Publication Number Publication Date
EP2332035A2 true EP2332035A2 (fr) 2011-06-15

Family

ID=40578023

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09741332A Withdrawn EP2332035A2 (fr) 2008-09-22 2009-09-22 Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Country Status (7)

Country Link
US (1) US20110169760A1 (fr)
EP (1) EP2332035A2 (fr)
JP (1) JP2012503241A (fr)
KR (1) KR20110063561A (fr)
CN (1) CN102160025A (fr)
FR (1) FR2936326B1 (fr)
WO (1) WO2010103195A2 (fr)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
US9018030B2 (en) 2008-03-20 2015-04-28 Symbol Technologies, Inc. Transparent force sensor and method of fabrication
US8988191B2 (en) 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
EP3882750A1 (fr) 2010-01-20 2021-09-22 Nokia Technologies Oy Entrée d'utilisateur
US8963874B2 (en) 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
JP5640680B2 (ja) * 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
US8593421B2 (en) * 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
US8553001B2 (en) 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
CN102819380A (zh) * 2011-06-09 2012-12-12 英业达股份有限公司 电子装置及其操控方法
CN102855076B (zh) * 2011-07-01 2016-06-15 上海博泰悦臻电子设备制造有限公司 触摸屏的控制方法及装置、移动终端设备
CN108694012B (zh) * 2011-11-28 2022-04-22 联想(北京)有限公司 在屏幕上显示对象的方法和系统
TW201327273A (zh) * 2011-12-23 2013-07-01 Wistron Corp 觸控按鍵模組及其模式切換方法
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
AU2013262488A1 (en) * 2012-05-18 2014-12-18 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9684398B1 (en) * 2012-08-06 2017-06-20 Google Inc. Executing a default action on a touchscreen device
JP6016555B2 (ja) * 2012-09-25 2016-10-26 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラムと記憶媒体
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9261991B2 (en) * 2013-05-28 2016-02-16 Google Technology Holdings LLC Multi-layered sensing with multiple resolutions
EP2816460A1 (fr) * 2013-06-21 2014-12-24 BlackBerry Limited Clavier et système de geste à écran tactile
US20160180813A1 (en) * 2013-07-25 2016-06-23 Wei Zhou Method and device for displaying objects
US9841821B2 (en) * 2013-11-06 2017-12-12 Zspace, Inc. Methods for automatically assessing user handedness in computer systems and the utilization of such information
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
CN104076986B (zh) * 2014-07-25 2015-12-09 上海逗屋网络科技有限公司 一种用于多点触摸终端的触摸控制方法与设备
JP2016095716A (ja) * 2014-11-14 2016-05-26 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法、ならびに、プログラム
JP6757140B2 (ja) * 2016-01-08 2020-09-16 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP6500830B2 (ja) * 2016-04-27 2019-04-17 京セラドキュメントソリューションズ株式会社 手書き文字入力装置、画像形成装置及び手書き文字入力方法
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
FR2866726B1 (fr) * 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US20060022953A1 (en) * 2004-07-30 2006-02-02 Nokia Corporation Left-hand originated user interface control for a device
EP2000894B1 (fr) * 2004-07-30 2016-10-19 Apple Inc. Interfaces d'utilisateur graphique à base de mode pour dispositifs d'entrée tactiles
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
CN102169415A (zh) * 2005-12-30 2011-08-31 苹果公司 具有多重触摸输入的便携式电子设备
ATE423344T1 (de) * 2006-06-30 2009-03-15 Christian Iten Verfahren zur positionierung eines cursors auf einem berührungsempfindlichen bildschirm
DE102006051967A1 (de) * 2006-11-03 2008-05-08 Ludwig-Maximilians-Universität Digitales Informationsverarbeitungssystem mit Benutzerinteraktionselement
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
KR101377949B1 (ko) * 2007-04-13 2014-04-01 엘지전자 주식회사 오브젝트 검색 방법 및 오브젝트 검색 기능을 갖는 단말기

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010103195A3 *

Also Published As

Publication number Publication date
FR2936326A1 (fr) 2010-03-26
KR20110063561A (ko) 2011-06-10
US20110169760A1 (en) 2011-07-14
WO2010103195A3 (fr) 2011-04-07
FR2936326B1 (fr) 2011-04-29
CN102160025A (zh) 2011-08-17
WO2010103195A2 (fr) 2010-09-16
JP2012503241A (ja) 2012-02-02

Similar Documents

Publication Publication Date Title
WO2010103195A2 (fr) Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
US20210390252A1 (en) Natural quick function gestures
US8413075B2 (en) Gesture movies
FR2917516A1 (fr) Transpositions mode vitesse / mode positionnel
EP2524294B1 (fr) Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede.
EP2235615B1 (fr) Circuit electronique d'analyse a modulation de caracteristiques de balayage pour capteur tactile multicontacts a matrice passive
US7777732B2 (en) Multi-event input system
EP2310932B1 (fr) Procédé d'acquisition et d'analyse d'un capteur tactile multicontacts suivant un principe dichotomique, circuit électronique et capteur tactile multicontacts mettant en oeuvre un tel procédé
US20120030566A1 (en) System with touch-based selection of data items
EP2956846B1 (fr) Procédé, appareil et support de stockage pour naviguer dans un écran d'affichage
EP2321833A1 (fr) Capteur tactile multicontacts a moyens d'espacement de taille et impedance variables
FR2980004A1 (fr) Dispositif de pointage temporaire pour terminal mobile equipe d'un ecran de visualisation tactile principal et d'un ecran de visualisation auxiliaire
EP2898391B1 (fr) Methode de selection de mode d'interactivite
US10970476B2 (en) Augmenting digital ink strokes
FR3079048A1 (fr) Procede d’interaction entre d’une part au moins un utilisateur et/ou un premier dispositif electronique et d’autre part un second dispositif electronique
US20170228128A1 (en) Device comprising touchscreen and camera
FR2751442A1 (fr) Dispositif interface homme/machine de poche
WO2015082817A1 (fr) Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé
WO2021122410A1 (fr) Procédé et système de visualisation d'un contenu numérique affiché par un appareil électronique
FR2966312A1 (fr) Procede de navigation au sein d'une interface de terminal mobile, et terminal mobile correspondant
FR3112628A1 (fr) Dispositif de pointage informatique
FR3017470A1 (fr) Procede de saisie sur un clavier numerique, interface homme machine et appareil mettant en œuvre un tel procede
WO2019058036A1 (fr) Procédé d'exploitation d'un dispositif informatique et dispositif informatique mettant en œuvre celui-ci
CN117707732A (zh) 应用切换方法、装置、电子设备和可读存储介质
TWI427495B (zh) 作業平台系統、作業方法與主機裝置

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20110330

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
19U Interruption of proceedings before grant

Effective date: 20150422

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20211001

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

PUAJ Public notification under rule 129 epc

Free format text: ORIGINAL CODE: 0009425

32PN Public notification

Free format text: CONSTATATION DE LA PERTE D'UN DROIT CONFORMEMENT A LA REGLE 112(1) CBE (OEB FORM 2524 EN DATE DU 07.10.2021)

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150401