EP2067092A2 - Dispositif de pointage - Google Patents

Dispositif de pointage

Info

Publication number
EP2067092A2
EP2067092A2 EP07823469A EP07823469A EP2067092A2 EP 2067092 A2 EP2067092 A2 EP 2067092A2 EP 07823469 A EP07823469 A EP 07823469A EP 07823469 A EP07823469 A EP 07823469A EP 2067092 A2 EP2067092 A2 EP 2067092A2
Authority
EP
European Patent Office
Prior art keywords
keyboard
touch surface
contact
touch
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07823469A
Other languages
German (de)
English (en)
Inventor
Vincent Lauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0607791A external-priority patent/FR2905484A1/fr
Priority claimed from FR0702850A external-priority patent/FR2915294A1/fr
Priority claimed from FR0704451A external-priority patent/FR2917861A1/fr
Application filed by Individual filed Critical Individual
Publication of EP2067092A2 publication Critical patent/EP2067092A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G06F3/0213—Arrangements providing an integrated pointing device in a keyboard, e.g. trackball, mini-joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Definitions

  • pointing devices for pointing a remote screen, including computer mice, trackballs, and touchpads.
  • Computer mice require a horizontal surface to function, which is why they are replaced by less bulky touch pads on laptops. Their use requires a large movement of the hand that must leave the keyboard to grab the mouse, which is a waste of time. The repeated use of the mouse and in particular its pimples, for many years, generates occupational diseases related to the constant repetition of the same gestures.
  • the touch pads are usually positioned horizontally in front of the keyboard for example in US Patent 6,501,462 entitled “ergonomics touch pad". These touch pads are usually made using a so-called capacitive technology, which requires touching the touch pad with the fingertip and does not allow the detection of a contact made for example with the finger nail.
  • these touch pads Being positioned horizontally, these touch pads use a large space on a horizontal work table, and their size is often limited for this reason, even if they are not used with laptops.
  • the use is relatively unintuitive because of the horizontal position and the small size of the pad.
  • the use is also unpleasant in the long run because it is necessary to slide the pulp of the finger, particularly sensitive, on the surface of the touchpad. It has also been proposed to set such a touchpad to the leg of a user for ease of use (publication "ergonomics touchpad" of the company Synaptics on IP.com on 30/11/2005).
  • Some touch pads can also be positioned horizontally behind the keyboard.
  • touch screens are not meant to point to a remote screen.
  • portable computers equipped with such touch screens which can be used in combination with a projector, in which case the same image is superimposed on the touch surface and projected onto a screen.
  • Such laptops are not intended to be used as pointing devices, on the one hand because of their excessive cost, on the other hand because the displayed image is that intended to be observed directly and is therefore not suitable for pointing a remote screen when the user does not look or look at the touch screen.
  • the tactile surfaces used to detect the position of a finger on a contact surface are of various types.
  • the least costly tactile surfaces to be manufactured are so-called "resistive" screens, in which the finger coming into contact with the surface creates resistivated variations which are detected and from which the position of the finger can be recalculated.
  • This type of tactile surface allows the detection of a contact made with the pulp or the nail of a finger or with a stylus. Surfaces operating by detection of capacity variations can they delight only the pulp of a finger. Both types of tactile surfaces as well as other common types can only delight one contact at a time, which limits the possibilities of use to simulate for example the activation of a mouse button.
  • a method of pointing and activating a virtual button using a stylus touching a touch screen is described in US Patent 6,791,536 B2. The pointing method described in this patent requires the use of a stylus, and allows the activation of only a limited number of buttons.
  • tactile surfaces make it possible to simultaneously identify a large number of contacts.
  • Such tactile surfaces operate for example by the principle of total internal reflection which means that when a finger touches the surface the fingerprint is visible on the other side and can be recorded by cameras. From the image recorded by the cameras and with appropriate processing we can identify several contacts made with the finger.
  • touch surfaces make it possible to considerably improve the possibilities of use since several contacts can be detected simultaneously.
  • An example of use of this possibility is illustrated by US Patent 5,870,083.
  • these tactile surfaces are relatively expensive.
  • tactile surfaces including a proximity delimiter for detecting the position of a finger in the vicinity of a solid surface, but which does not necessarily touch the solid surface.
  • a set of infrared beams may form a grid in front of a glass plate.
  • the system gives the position of the finger on the glass plate.
  • proximity sensors for example, the position of the finger can be detected by detection on a camera using a linear sensor, or by capacitive sensors in a plate forming the touch surface, or by using multiple cameras with linear or matrix sensors.
  • the position of a finger is detected near a material surface on which the finger can come to bear.
  • An example of a capacitive proximity sensor touch surface is described in US Pat. No. 6,323,846.
  • An example of a linear camera touch surface is described in published patent application number US 2005/0248540.
  • Other examples of tactile surfaces using linear or non-linear cameras are given by US Patent Applications 7,236,162 and US 4,782,328.
  • the infrared beam grid mentioned above can work even without a glass plate. In this case, it constitutes an "immaterial" tactile surface. It allows the detection of the movement of the finger touching the surface, but without there being the return related to touching a material surface.
  • Various types of intangible tactile surfaces can be made. However, it is difficult to obtain a stable score using such devices, because the finger, in the absence of support, tends to tremble.
  • the user has no feedback indicating that he is pointing, which is likely to cause false movements of the pointer related to involuntary movements of the user.
  • Some tactile surfaces can detect not only the position of the finger but also the pressure exerted by the finger. Such a touch surface is described for example in US Patent 5,159,159.
  • Touch sensitive surfaces also fall into this category. They usually comprise a rigid plate and at least three force sensors arranged on this plate. The user touching the rigid plate exerts forces on the three sensors that depend on the position of the contact. The forces are measured and the position of the contact is recalculated.
  • This type of tactile surface is described for example in US Patents 4,121,049 and US 5,376,948.
  • the pointing symbol In some pointing devices based on tactile surfaces, when the user touches the touch surface, the pointing symbol is immediately positioned at a point that depends only on the position of the contact on the touch surface. In contrast, the user of a computer mouse can pick up the mouse without changing the position of the pointing symbol. The position of the pointing symbol in such a system based on a tactile surface is immediately disturbed by the use of the touch surface, which is not practical for example to move the pointing symbol over short distances and with precision, what the user often has to do.
  • the pointing symbol is moved only when the contact on the touch surface is itself moved without interruption of contact.
  • the above problem is solved, but the device is deprived of one of the major advantages of touch-screen pointing systems, namely that it is possible to point instantly any point of the screen by placing correctly his finger on the touch surface.
  • a six-dimensional control device employing a plurality of differently-oriented touch-sensitive surfaces is also disclosed in US Patent 5,805,137.
  • this device six tactile surfaces forming a cube are used to control the position and orientation of a real or virtual object.
  • This device is not intended to be used as a replacement for a computer mouse.
  • a device that can be used as a secondary display screen or as a graphics tablet, associated with a main display screen, is illustrated by US Patent 5,995,085.
  • the graphics tablet is not used to point the main display screen; it is superimposed on a secondary display screen and is used to draw directly on this secondary display screen.
  • the graphics tablet is not suitable to be pointed with the finger.
  • the invention aims to solve various problems existing in the state of the art and mentioned above.
  • the invention aims to allow a pointing using a principle similar to the touchpad, but better ergonomics, allowing it to compete favorably with the mouse in terms of ease of use.
  • a current device using a touchpad can be defined as comprising:
  • a computer connected to the main display screen, a keyboard allowing a user to send alphanumeric characters to the computer and arranged to allow the user striking alphanumeric characters to simultaneously observe the main display screen, the keyboard determining a mean geometric plane of the keyboard which minimizes the average distance between the keys of the keyboard and the average plane of the keyboard, - a touch surface not superimposed on the main display screen, arranged for a user to point with his finger on the touch surface and observes at the same time time the main display screen, the touch surface determining a medium geometric plane of the touch surface which minimizes the average distance between the touch surface and the average plane of the touch surface, and
  • the computer being adapted to move a pointing symbol on the main display screen according to the position of the finger on the touch surface
  • the invention differs from a system using a conventional touchpad in that the keyboard and the touch surface are arranged so that:
  • the angle between the average plane of the tactile surface and the average plane of the keyboard oriented positively in the direction that goes, at the front of the keyboard, on the side of the keyboard or there are no keys to the side keyboard or keys, ranging from 30 degrees to 135 degrees.
  • the intersection between the average plane of the touch surface and the average plane of the keyboard is at the back of all the keys of the keyboard.
  • the intersection between the mean plane of the tactile surface and the average plane of the keyboard is preferably oriented along the transverse dimension of the keyboard, that is to say if the keyboard is approximately rectangular, along its longest side.
  • the intersection between the mean plane of the tactile surface and the average plane of the keyboard is preferably oriented approximately, that is to say for example to 30 degrees, in a direction parallel to the width direction of the letters drawn on the part.
  • central keyboard which usually corresponds to the transverse dimension of the keyboard. This orientation allows the user facing the keyboard and the main display screen to have the touch surface facing him, substantially parallel to the main display screen, which facilitates the pointing and setting. relationship of the touch surface with the screen.
  • the angle chosen makes it possible to reduce the size of the tactile surface and thus to use a larger tactile surface.
  • the decrease in bulk is generally greatest for angles between 30 and 90 degrees when the touch surface is over the keyboard, the intersection between the average plane of the touch surface and the middle plane of the keyboard being at the back of the keyboard .
  • the decrease in size can also be maximal in configurations where the angle is between 90 and 135 degrees and where the intersection between the mean plane of the tactile surface and the mean plane of the keyboard is further ahead. keyboard.
  • the angle increases from 90 degrees the intersection between the average plane of the touch surface and the average plane of the keyboard being at the back of the keyboard, the size gradually increases while remaining significantly lower than that of a touch surface located in the plane of the keyboard. keyboard.
  • the angle chosen makes I more intuitive. When the touch surface is approximately parallel to the main display screen, the mind more easily associates the position of the finger with the position of the pointing symbol.
  • An "ideal" angle is 90 degrees, however the angles of 45 to 135 degrees are a significant improvement over a tactile surface located in the plane of the keyboard. The fact that the size is reduced also increases the size of the touch surface which is favorable to a more intuitive use.
  • the chosen angle minimizes the movement of the fingers between the keyboard and the touch surface. This displacement is minimized for angles of about 60 degrees but remains in all cases less than would be necessary for an equivalent tactile surface in the plane of the keyboard.
  • the exact configuration chosen will generally be a compromise between the various objectives of minimizing congestion, the intuitive nature of the pointing and minimizing the movement of the fingers between the keyboard and the touch surface.
  • An angle of about 60 degrees is for example a good compromise. Excessively open angles require a large movement of the finger that is to be avoided.
  • the angle between the average plane of the touch surface and the average plane of the keyboard is therefore between 30 degrees and 110 degrees.
  • a solution facilitating the matching of the touch surface with the main display screen is that the touch surface is substantially vertical, the angle between the average plane of the touch surface and the average plane of the keyboard being, for example, 85 at 95 degrees.
  • a solution that favors the limitation of the necessary movement of the user's finger is to use a tactile surface that overhangs the keyboard, the angle between the mean plane of the tactile surface and the average plane of the keyboard being, for example, from 30 to 85 degrees. .
  • This position allows an easier passage from the keyboard to the touch surface and vice versa, for the fingers of the user to alternate typing and pointing.
  • the touch surface of the invention should preferably be adapted to detect the position of a finger whose only nail is in contact with the touch surface. Indeed, if it were necessary to bring the finger pulp into contact with a surface close to the vertical, this would cause a strong contortion of the finger or the hand of the user, not in conformity with the ergonomic objectives of the invention.
  • the touch surface is integral with the keyboard, and the connection between the keyboard and the touch surface is adapted so that the angle between the average plane of the touch surface and the average plane of the keyboard is between 30 degrees and 135 degrees , and so that the touch surface is on the side of the keyboard or are the keys of the keyboard.
  • the touch surface is preferably mechanically linked to the keyboard by a fixed or adjustable link.
  • the fact that the touch surface is linked to the keyboard allows the user to get used to the relative position of the touch surface and the keyboard and acquire the automation to point quickly using the touch surface. Just as the experienced user can type a text virtually without looking at the keyboard, he must be able to point almost without looking at the touchpad, and go from pointing to typing without having to look at the touchpad. This is only possible if the position of the touch surface is well defined with respect to the keyboard. If it is constantly changed when the user moves his keyboard, the necessary automation can not easily be acquired.
  • the keyboard provides a solid base for the touch surface which without this should be fixed via a second base on the work table, which is not favorable in terms of size.
  • connection can be adjustable, for example the touch surface can be rotatable about an axis to fold the touch surface on the keyboard to facilitate storage of the whole.
  • the angle between the average plane of the touch surface and the average plane of the keyboard is not between 30 degrees and 125 degrees. But for at least one position that can be reached the angle between the average plane of the touch surface and the average plane of the keyboard must be between 30 degrees and 125 degrees.
  • the invention is simpler and less expensive to achieve if the connection is fixed. In addition this solution simplifies the adaptation of the user to the keyboard-touch surface assembly.
  • a system that can be compared to the invention is a touch-screen portable computer used with a projector, the projection screen being considered as a main display screen and the touch screen display of the portable computer constituting a secondary display screen.
  • a system is not intended to achieve an ergonomic workstation as is the case of the invention.
  • the invention is distinguished by the fact that the touch surface is not superimposed on a reproduction of the image displayed on the main display screen.
  • no computer window displayed on the main display screen is reproduced on the secondary display screen.
  • no part of the main display screen is reproduced on the secondary display screen.
  • the invention is also distinguished from a touch screen laptop used with a projector in that in such a system the user who uses the laptop to point the fact normally by looking at the screen of the laptop , the system is not adapted so that the user can point to the laptop while watching the projected image.
  • the secondary display screen can be deleted or simplified, which decreases the cost.
  • the high brightness of the screen of a laptop is bad for the eyes of the user and makes him largely lose the benefit of using a remote main display screen. Removing or simplifying the secondary display screen avoids this disadvantage.
  • the secondary display screen forms with the touch surface a touch screen. It will be used in the context of the invention to display items useful for pointing and easily identifiable by a user looking very little secondary display screen and focusing on the main display screen. For example, a tracking symbol to reproduce the movement of the pointing symbol will be displayed on the secondary display screen. To be easily identifiable this tracking symbol will be different from the pointing symbol used on the main screen. In particular, it is desirable that the ratio of the surface of the tracking symbol to the surface of the touch screen be at least twice the ratio of the area of the pointing symbol to the surface of the main display screen. .
  • the invention also relates to a complete computer system comprising a computer, a main display screen, a keyboard and a touch surface, a data input device used in the system.
  • complete computer consisting of the touch surface and the keyboard integral with each other, associated with computer interfaces and if necessary to a computer medium on which are recorded instructions loadable by a processor.
  • the invention also relates to a tactile surface mounted on a support adapted to be used in the device.
  • the assembly comprising the keyboard and the tactile interface is for example characterized by the following facts:
  • - It comprises a secondary display screen superimposed on the tactile surface, the secondary display screen and the touch surface forming together a touch screen, - It is adapted to display on the touch screen a tracking symbol, and for moving the tracking symbol so that its position follows the movements of a finger on the tactile surface within a pointing zone,
  • the pointing area is rectangular and covers at least half of the surface of the touch screen.
  • a problem in the context of the invention is that it is desirable both to be able: a) - “resume” the pointing symbol as one would take a computer mouse, without immediately disturbing its position; b) - Instantly "point” points away from the display screen, by properly positioning the finger on the touchpad, as can be done using a stylus on common touch screens.
  • one element of the solution consists in the use of a tracking symbol displayed on the secondary display screen and a control means adapted for: a) when the contact on the touch screen is moved progressively without interruption of contact, move the tracking symbol to follow the movement of the contact, b) when the contact on the touch screen is interrupted and then restored, then: i) leave the stationary tracking symbol if the recovery point at which contact is restored is in a recovery zone associated with the tracking symbol position; the area of recovery having a surface less than a quarter of the surface of the touch screen and greater than 1 square millimeter. ii) position the tracking symbol near the recovery point if the recovery point is outside the recovery zone associated with the tracking symbol position.
  • the tracking symbol appears as an element that can be "grabbed” like a mouse and then moved gradually (case where the recovery point is in the recovery zone), but that can also be moved instantly.
  • the recovery zone is at least one square centimeter and for an inexperienced user it can be, for example, 10 cm 2. It preferably coincides with the tracking symbol but may also, for example, be centered on the tracking symbol while being larger. It should be noted that in case (a) the tracking symbol follows the movement of the contact but does not necessarily coincide with the contact. On the main display screen, it is then desirable that the position of the pointing symbol depends solely on the position of the tracking symbol (and not on the position of the contact on the touch screen). In this way, it is possible for the user to "resume” the pointing symbol without the simple fact of squinting the touch screen systematically moves this pointing symbol.
  • This adapted control means is particularly interesting when the touch screen is close to the vertical and distinct from the main display screen, however it can be used indifferently with a horizontal touch screen. It can also be used in a system where the touch screen also constitutes the secondary display screen, such as a "tablet PC" or a personal assistant. In this case it can be used to use the finger to point, in systems usually using a stylus: indeed the stylus is used for its accuracy, and the adapted control means allows satisfactory operation despite absolute accuracy of the score which is weaker. Rather than using a secondary display screen, it is possible to use a touch surface that is not superimposed on any display screen, that is to say no screen displaying an editable image during the time. In this case, the device produced is particularly economical.
  • the pointing symbol can have the desired behavior without the need to display a tracking symbol.
  • the problem is solved, with or without a secondary display, by a main display control means adapted for: a) when a contact on the touch surface is progressively moved without interrupting the contact, moving a pointing symbol on a screen of main display, so as to follow on the main display screen the displacement of a display point associated with the contact, depending solely on the position of the contact, b) when the touch on the touch surface is interrupted and then restored, then: i) leave the pointing symbol stationary if the recovery point at which contact is re-established is in a recovery zone associated with the position of the aiming symbol; the area of recovery having an area less than one quarter of the surface of the touch screen and greater than 1 millimeter squared, ii) positioning the pointing symbol in the vicinity of the display point associated with the recovery point if the recovery point
  • each point of the main display screen is associated with a point of the touch surface and the recovery area surrounds a point of the touch surface that is associated with the point of the main display screen that is pointed at by the pointer.
  • This adapted control means is particularly interesting when the touch surface is close to the vertical and not superimposed on a display screen, however it can be used indifferently with a horizontal touch surface although direct pointing becomes less intuitive. It can also be used in a system where the touch surface is superimposed on the main viewing screen viewed by the user, such as a "PC lablet" or a personal assistant. In this case it allows to use the finger to point, in systems usually using a stylus: indeed the stylus is used for its accuracy, and the adapted control means allows satisfactory operation despite absolute accuracy of the score which is more low.
  • the touch surface can be of the different types mentioned above. Preferably it must be adapted to detect the position of a contact when this contact takes place between the nail of a finger and the touch surface. This is the case of resistive touch screens 4-wire or 5-wire, or tactile surfaces with force detection. This is also the case of proximity sensors that detect a finger close to the touch surface, whether the contact is with the help of a fingernail or with the finger pulp. However this is not the case of capacitive sensors used in the touch pads of most laptops.
  • a resistive touch surface has the advantage of being inexpensive. However, a significant pressure must be exerted on the touch surface so that it detects the presence of a finger, which can generate finger fatigue when the touch surface is used intensely.
  • a touch-sensitive surface with proximity detection has the advantage of not requiring this pressure. The finger should simply touch the touch surface, without the need to exert pressure.
  • a sensitive touch surface capable not only of detecting the position of a contact, but also the pressure exerted by the finger at the point of contact. Indeed, the mouse click can "then be replaced by a pressure exerted on the touch surface and exceeding a predetermined threshold. The fact of exerting pressure being a simple gesture for the user, this solution is advantageous compared to a mouse-click simulation by other means
  • a touch-sensitive surface with force detection can for example be used This touch-sensitive surface makes it possible to measure the force exerted by the finger at the point of contact and has the advantage of also being inexpensive, and can be curved without major manufacturing difficulties.
  • the touch surface used preferably comprises a "material" plate materializing the position of the touch surface, so that the user touching the touch surface has an immediate tactile feedback when the finger is touched with the touch surface.
  • an intangible tactile surface not allowing this return, can also be used. It must be integral with the keyboard, so the elements allowing detection (infrared beam frame for example) must be mechanically secured to the keyboard.
  • a secondary display screen is superimposed on the touch surface, it necessarily has a hardware surface that generates tactile feedback and is considered part of the touch surface. The use of a surface, intangible touch is therefore possible only in the absence of a secondary display screen superimposed on the touch surface.
  • the invention makes it possible to use a tactile surface, for example a vertical surface and pointed for example with the nail. on point.
  • the horizontal size of such a touch surface is low, which makes it possible to use a larger surface area, its position almost parallel to the main display screen is favorable to an intuitive connection of the tactile surface with the main display screen, and it is pointed with the finger nail which makes its use more enjoyable.
  • the diagonal of the tactile surface is preferably greater than 12 cm and preferably less than 35 cm.
  • the touch surface must be sufficiently close to the keys of the keyboard.
  • the smallest distance between the touch surface and a touch of the keyboard should therefore preferably be less than 10 cm.
  • the distance between the center of the keyboard and the center of the touch surface should preferably be less than 25 cm.
  • the most ergonomic keyboards are relatively wide, while the touch surface must keep reasonable dimensions so that each point of the surface is easily reached. This leads to a touch surface whose width is less than 85% of the width of the keyboard, and preferably less than 70% of the keyboard width.
  • the touch surface can be bent downward.
  • the keyboard can be weighted. Just as tactile feedback is desirable from the touch surface, good tactile feedback is desirable from the keyboard. The best tactile feedback is achieved with a keyboard with keys mounted on springs. The possibility of using such a keyboard is an important advantage of the invention compared to a touch-sensitive keyboard-surface assembly using a single touch surface type "multitouch" which plays both the role of keyboard and pointing device.
  • a material tactile surface is fixed on a support.
  • the side of the support opposite the touch surface is preferably non-touch, so as to prevent accidental contacts on this side do not generate involuntary movements of the pointing symbol.
  • the invention is not limited to a touch surface mounted originally on a keyboard, but also includes a touch surface equipped with a support adapted to attach a keyboard, which when assembled with the keyboard to obtain the keyboard assembly - tactile surface according to the invention.
  • the touch surface is used to position on the display screen a pointing symbol at a point depending on the position of the contact on the touch surface, and the activation of the buttons of a mouse is simulated by another way.
  • these specialized keys are mounted on springs with a relatively wide clearance as on a traditional keyboard, because this type of button provides a more pleasant return to the user and requires less effort than the traditional buttons of a mouse, with lower travel.
  • these specialized keys are installed on the left of the keyboard to be found easily and intuitively by the user. Note that in a left-handed keyboard these keys would be rather right, the most skilled hand to be used to point.
  • Activation of the button of a "virtual" mouse can also be simulated from gestures made by the user on the tactile surface, using one or more fingers.
  • the computer can wait for the position of the touch on the touch screen to stabilize for a predetermined period of time. It then displays on the main display screen at least one accessory window near the pointing symbol. By bringing the pointing symbol to one of this window and stopping it, the user for example generates a mouse click. The computer then returns the pointing symbol to the point on which it had initially stabilized. It is desirable, in the context of the invention, for the accessory window to be drawn by the computer inside the image of the recovery zone on the main display screen. In this way, after returning the pointing symbol to the point on which it had initially stabilized, the user does not have to move his finger to "resume" the pointing symbol.
  • the computer can simply display a symbol signaling the stabilization and detect a predetermined gesture, for example the user may have to draw an "8" to trigger a mouse click .
  • the device according to the invention may comprise a simulation means adapted to:
  • the second contact zone depends on the position of the first finger and does not include the position of the first finger.
  • the simulation means is adapted for
  • the simulation means is also suitable for:
  • the button of a mouse is simulated in a very natural way by a contact of the second finger with the tactile surface which replaces the contact of a finger with the mouse button.
  • This preferably requires a "multitouch" touch surface capable of separately detecting the positions of two fingers.
  • One aspect of the invention is to achieve this by means of a tactile surface that does not delect the position of two fingers separately, but can detect the average position of the two fingers.
  • the device of the invention is adapted to determine the existence and the average position of a contact between a finger and the touch surface, and comprises a series of instructions recorded on a support and loadable by a processor, adapted for the processor to perform a computer procedure comprising: a) a first step of determining the existence and the average position of a touch on the touch surface, b) a second step of determining the existence and the average position of a contact on the touch surface, c) if in two steps a contact exists on the touch surface and if in the second step the average position of the touch conlacl is in an activation zone dependent on the average contact position in the first step and does not include the average position of the contact in the first step, a simulation step of the activation of a button of a pointing device and / or generating a change of state indicator.
  • the activation zone is adapted to be reached when, a first finger being in contact with the tactile surface during the first determination step, a second finger comes into contact with the tactile surface during the second determination step. , which moves the average position of the contact, which is constituted by the two fingers during the second determination step.
  • the activation zone may be a ring of suitable dimensions given the scarlet between the index finger and middle finger so that these two fingers can be used.
  • the zone of continuity is a disk surrounding the average position of the contact during the first determining step, the radius of the disk being adapted so that during a movement of the finger on the tactile surface without breaking the contact and at a usual speed for the user, and given the time interval between two determinations step, the average position of the contact remains in the continuity zone.
  • each determination step only detects a single position, corresponding to an average contact position if the contact comprises two contact points such as is the case with two fingers during the second determination step.
  • This computer procedure is particularly interesting when the touch surface is close to the vertical and not superimposed on a display screen, however it can be used indifferently with a horizontal touch surface although direct pointing becomes less intuitive.
  • This procedure can also be used in a system where the touch surface is superimposed on the main viewing screen viewed by the user, such as a "tablet PC" or a personal assistant. In this case it simulates the activation of a mouse button, without unduly disturbing the pointing operation and without using an active or passive stylus. It therefore retains a great interest in this type of devices.
  • a solution then consists in "ignoring" the measurement leading to an average contact position located in an intermediate zone between the continuity zone and the activation zone. Therefore, in a preferred version of the method, if in two steps of determining a contact exists on the touch surface, and if in the second step of determining the average position of the contact is in an intermediate zone separating the zone of continuity of the zone activation, then the method repeats the second determination step and then uses the result of the first determination step and the new result of the second determination step.
  • the simulation and / or generation step is preferably followed by the following steps:
  • a third step of determining the existence and the average position of a contact on the tactile surface a fourth step of determining the existence and the average position of a contact on the tactile surface
  • a contact exists on the tactile surface and if in the fourth step the average position of the contact is in a deactivation zone depending on the average contact position during the third measurement and not including the average position of the contact during the third measurement, a step of simulating the deactivation of a button of a pointing device and / or of generating a change indicator,
  • this kind of device is the sensitivity to ambient light.
  • this sensitivity is reduced by means of a tactile surface comprising at least two cameras generating images from which the position of a contact on the tactile surface is obtained by triangulation, and comprises an absorbent protection covering a zone reached. by optical rays parallel to the tactile surface and passing through the center of the front lens of a camera, to generate a black background on which a finger is detached in contact with the tactile surface.
  • the absorbent protection takes the form of an absorbent cavity.
  • an auxiliary lighting device is used generating a diffused light directed from the rear to the front of the tactile surface.
  • this device comprises a diffusing surface illuminated by a source of illumination.
  • the lighting device also comprises an absorbent grid traversed by the light from the diffusing surface before it reaches the touch surface.
  • the grid constitutes a set of adjacent holes traversed by the light, and the depth of these holes determines the maximum angular aperture of the beams at the gate exit.
  • the grid makes it possible to avoid, by controlling the angular opening of the beams, that the illumination does not reach the absorbent protections directly. It is therefore preferably sized to limit the angular aperture of the light rays, so that they do not directly illuminate an area seen by the camera in the absence of a finger on the touch surface.
  • One way to further reduce the sensitivity to ambient lighting is, according to the invention, to use a substantially monochromatic auxiliary lighting, and to have, on the path of the light beams going to the sensor of each camera, monochromatic filters.
  • the external light is strongly attenuated by the monochromator filters while the light of the auxiliary lighting device, after diffusion by a finger in contact with the tactile surface, reaches the sensor in full.
  • the object of the invention is to facilitate pointing even though the touch surface is not directly superimposed on the display screen. According to the invention, this is facilitated by the use of a pre-pointing symbol.
  • the area in front of the touch surface is divided into a contact area and a detection area, a finger in the contact area being considered to be in contact with the touch surface, a finger in the detection area being detectable but not considered as touching the tactile surface.
  • the contact zone is adapted so that any finger in contact with the tactile surface is in the contact zone.
  • the device according to the invention preferably comprises a control means adapted to:
  • the control means may comprise a signal processing processor and / or a recording medium on which instructions executable by a processor are recorded and allowing the execution of a suitable procedure.
  • FIG. 1 represents a device according to the invention.
  • Figures 2 and 3 illustrate a data input assembly including a keyboard and a touch surface.
  • Figure 4 illustrates the position of specialized keys on the keyboard.
  • Figure 5 illustrates the use of a pointing symbol and a recovery zone.
  • FIG. 6 and FIG. 7 illustrate a procedure for carrying out the principles illustrated in FIG. 5.
  • FIG. 8 and FIG. 9 illustrate a principle of activation of virtual buttons of a mouse, by a user bringing several fingers into contact with each other. touch surface.
  • Figure 10 illustrates the position of a tracking symbol and a contact area indicator for contact by a second finger.
  • Fig. 11 and Fig. 12 show a procedure for realizing the principles of Figs. 8 and 9.
  • FIG. 13 shows a data input assembly having a keyboard and a touch surface, but without a secondary display screen.
  • Fig. 14 shows a curved touch surface and a laser scanning display device of a curved screen.
  • FIG. 15 shows a modification of FIG. 1 in which a specialized processor manages the various interfaces.
  • Figure 16 shows several possible variations of the data input device of Figure 13.
  • Figure 17 shows further variations of this device.
  • Figure 18 shows in front view an improved pointing device.
  • Figure 19 shows a section central point of this pointing device.
  • Figure 20 shows the image of a finger on the sensor of a camera.
  • Figure 21 shows the principle of a triangulation calculation.
  • Figure 22 shows a procedure for positioning a pre-score symbol.
  • Figure 23 illustrates the case where two fingers simultaneously come into contact with the touch surface.
  • Figure 24 illustrates the principle of using the pre-score symbol.
  • Figure 25 illustrates a modification of the device of Figure 19 in which the touch surface is tilted.
  • FIG. 1 represents an embodiment of the device according to the invention.
  • a computer 212 comprising a processor, a memory, and various interfaces, controls a main display screen 201 through a graphics card 211, receives information from a touchpad surface 213 via a touch screen controller 210, controls a secondary display screen 215 through a graphics card 209, and receives information from the keyboard 206.
  • the secondary display screen 215 and the touch surface 213 together form a touch screen having both a secondary display function and a contact detection function on the touch surface.
  • the touch surface 213 responds to the stresses of the fingers of the hand 203 of a user whose eye 202 observes the main display screen 201 but can also look at the keyboard 206 or the secondary display screen 215.
  • the tracking symbol has the role of placing itself in the last known position of the finger on the touch screen, so as to allow the user to quickly locate this position if he wants to replace his finger for " resume "both e tracking symbol and the pointing symbol.
  • FIG 2 and Figure 3 show in more detail the data input device constituted by the keyboard and the touch screen.
  • the touch surface 213 is made for example with technology "resistive 4 son” which allows to reveal a contact made by the user's nail. It comprises a glass plate and a polymer membrane, the plate being separated from the membrane by polymer beads, for example.
  • the assembly is represented by the element 204 whose outer surface constitutes the touch surface 213.
  • the secondary display screen 215 is for example a liquid crystal screen, also shown in a simplified manner.
  • the touch surface 213 and the secondary display screen 215 are held by a support plate 905 and a frame 901.
  • a flexible seal 903 separates the touch surface from the secondary display screen.
  • a flexible seal 908 separates the secondary display screen from the support plate 905.
  • a frame 904 makes it possible to fix the distance between the frame 901 and the plate 905.
  • the frames 901 and 904 can be fixed on the plate 905 by gluing or by screwing.
  • the plate 905 is itself fixed by gluing or screwing on a piece 906 ending in an acute angle and comprising a flat part on which is fixed the keyboard, by gluing or screwing.
  • FIG. 2 represents the sectional assembly and FIG. Represented in front view, different types of hatching were used to distinguish different elements.
  • the plate 905 may preferably be steel, as well as the element 906, in order to minimize the constant thickness deformations.
  • the assembly shown in Figure 2 can be removed in a keyboard attached to a part 906, and a touch surface attached to the part 905, for easy transport.
  • the width LT of the touch surface is preferably less than 85% of the LC width of the keyboard.
  • the diagonal DT of the tactile surface is preferably between 15 and 35 cm.
  • the angle Q between the plane of the keyboard and the plane of the touch surface is preferably less than 85 degrees and greater than 30 degrees.
  • the angle Q can however go up to 125 degrees within the scope of the invention, although too high angles are not very advantageous.
  • the intersection between the plane of the keyboard and the plane of the touch surface is at the back of the keyboard, the front corresponding to the direction towards which the touch surface is looking.
  • Figure 4 shows the keyboard alone, seen from above.
  • the keyboard may comprise specialized keys 401 and 402 shown in FIG. 4, preferably located to the left of the keyboard and having a surface greater than the surface of the keys representing letters. These specialized keys replace the left and right mouse buttons and thus make it possible to simulate the activation of the mouse buttons, the pointing itself being performed on the touch surface.
  • the letter A has also been represented on one of the keys of the keyboard of FIG. 4.
  • the direction of the width of this letter corresponds normally to the transverse dimension of the keyboard.
  • the intersection 403 between the plane of the tactile surface and the plane of the keyboard is also drawn in FIG. 4. It is oriented according to the transverse dimension of the keyboard which is also the direction of the width of the letter ⁇ .
  • Figure 5 illustrates the principle of using the pointing symbol and the tracking symbol.
  • the user touches the touch screen with his finger 301.
  • a tracking symbol 319 constituted by a clear disc is displayed on the touch screen, centered on the point of contact.
  • the pointing symbol 302 is at the same time displayed at a corresponding point on the main display screen. Then the user stops touching the touch screen and the tracking symbol remains in place as indicated by the frame (b). Similarly, the pointing symbol 302 remains in place.
  • the user will then touch the touch screen again, either in order to resume and then move the pointing symbol (frame c) or in order to directly bring the pointing symbol to a new position (frame d).
  • the user touches the touch screen at a point which is inside the area of recovery coinciding with the disc 319.
  • the tracking symbol and the pointing symbol do not move. not, although the user has touched the edge of the disc 319 and not its center. If the user then moves their finger, the tracking symbol and the pointing symbol will follow its movement.
  • the user touches a point on the touch screen that is outside the area of recovery. The tracking symbol is immediately centered on this new point and the pointing symbol is also immediately brought to a corresponding point of the main display screen.
  • the user can therefore resume the pointing symbol without moving it, by touching approximately the corresponding point of the touch screen, a certain margin of error, defined by the area of recovery, being tolerated. It can also point directly to a distant point. It benefits from both the advantages of the mouse (recovery in hand) and a specific advantage to the touch screen (direct pointing). In addition, the pointing symbol behaves like a material element that one would move on the touch screen with a finger. Its use is simple and intuitive.
  • Figures 6 and 7 show a procedure by which the computer manages the recovery zone.
  • Figure 6 schematically illustrates the pointing procedure which runs in the background on the computer 212 and which manages the pointing.
  • Figure 7 shows the same procedure.
  • Figure 7 shows the principle of each step whereas Figure 6 details the operations affecting variables used by the program.
  • Pcour (XPour, YPour) represents the position of the tracking symbol on the touch surface.
  • Xpoint, Ypoint are the pixel coordinates of the point pointed by the pointing symbol on the main display screen 201, then Xpoint and Ypoinl are proportional to XPcour and YPcour.
  • the tracking symbol is then positioned on the secondary display screen at the coordinates (TXPour, TYPcour) expressed in pixels of this screen.
  • the position Pl represents the position of the contact (finger) on the tactile surface.
  • Pl represents the position of a contact, measured directly on the tactile surface
  • Pcour represents a position of the tracking symbol calculated by the pointing procedure.
  • Pl has a horizontal coordinate varying from 1 to Ntac and a vertical coordinate varying from 1 to Ntac, Ic (1,1) being the lower left corner of the touch surface and the point (Ntac, Ntac) being the upper right corner of the touch surface.
  • Ic (1,1) being the lower left corner of the touch surface
  • Ntac, Ntac being the upper right corner of the touch surface.
  • S represents the offset between the position of the contact on the touch surface and the position of the tracking symbol.
  • C represents the existence of a contact on the tactile surface.
  • C I means there is contact,
  • C O means no contact.
  • the radius of the disk constituting the recovery zone measured in the same unit ("pixels" of the touch surface) as the positions Pl, is noted limit_0 and is for example Ntac / L or L is the width in centimeters of the touch surface . This corresponds to a recovery zone of 1 cm radius.
  • step 102 the contact and the position are updated, the variable C receives the state of the contact, namely 1 if at least one finger is in contact with the touch surface, 0 otherwise.
  • the position variable Pl containing two integers receives the position of the contact on the touch surface.
  • step 103 the procedure tests whether the finger was in contact during the update.
  • the state of variable C is tested and according to its state the procedure returns to the beginning or continues.
  • step 104 the pointing procedure tests whether the position of the contact, characterized by Pl, is in the recovery zone surrounding the position Pcour (which is at the center of the touch surface at the start of the computer but can be n ' import or on the touch surface thereafter).
  • the procedure tests for this the norm of the vector Pl-Pcour. If this norm is lower than the limit value, this means that Pl is in a disc of radius limit centered around P, this disc constituting the zone of recovery.
  • the old Pcour value is not recovered and therefore the offset S between the position of the tracking symbol Pcur and the position of the contact P1 is zero.
  • the variable S representing the offset between the point P1 where the operator's finger is, and the point Pcour which is taken into account for the pointing, receives the value 0 in the step 113.
  • step 105 The shift between the position of the tracking symbol Pcur and the position of the contact is calculated in step 105.
  • Ypoinl YPcour.Nvert / NTAC.
  • step 109 the value of C is updated and the variable P1 receives the position of the contact returned by the touch surface.
  • Figures 8 and 9 illustrate a principle of simulation of the activation of the bolts of the mouse, using several fingers.
  • the touch surface used is for example xine resistive touch surface. These touch surfaces can not identify the presence of more than one contact. When several contacts occur simultaneously on the surface, these tactile surfaces return to the computer, at least approximately, an average of the positions of the different contacts.
  • a finger of the user touches the touch surface.
  • the tracking symbol (not shown) follows the position of that finger on the touch surface.
  • a pointing symbol 302 on the display screen also follows the position of the finger 301.
  • the position of the finger 301 on the touch surface 213 is at a point 305 indicated by a cross 309 which indicates the center of the tracking symbol.
  • the position value returned by the touch surface corresponds to a position indicated by the cross 309 superimposed on the point of contact 305.
  • the position 305 is surrounded by two second contact zones 306 and 307.
  • the tracking symbol is not represented. 319 of Figure 5 nor the recovery zone that coincides with this symbol.
  • the user moves his finger 301, followed by the pointing symbol 302, the spot 305 and the second contact zones 306, 307 until the pointing symbol 302 is brought to the menu item 303 displayed on the screen. display.
  • the user touches with his second finger the point 308 located in the second contact zone 306.
  • This causes a sudden displacement of the position value detected by the touch surface, which passes from the point 309 of FIG. Figure 8 at point 309 of Figure 9 located in an activation zone which is the image of the zone 306 by a homolhpita center 305 and ratio 1/2.
  • This abrupt change of position is identified by the pointing procedure implemented by the computer 212, which for example translates as a depression of the left mouse button.
  • This depression of the left mouse button makes for example appear a text window 304 on the display screen.
  • the position detected by the touch surface corresponds approximately to the average of the positions of the two fingers coming into contact with the surface, which is why this position is abruptly modified when the second finger touches the tactile surface.
  • the pointing procedure detects the recess of the left mouse button it leaves the pointing symbol 302 and the tracking symbol 319 at their last position before the button is depressed.
  • the user could also have, with another finger or with the same finger, touch the second contact area 307 which would have for example been recognized as a depression of the right mouse button.
  • the user can immediately withdraw his second finger to return to the situation of FIG. 8.
  • the point 309 then suddenly returns to the point 305 which is recognized as a release of the mouse button.
  • the user can also hold his two fingers in contact with the touch surface and move them together. This movement will be followed by the pointing symbol 302 and the tracking symbol 319, and a releasing of the mouse button will be identified only when the user raises one of the fingers. This allows for example the "drag-and-drop" function.
  • the pointing procedure having only an average contact position it moves the tracking symbol 319 to follow the movement of the average position of the contact represented by the cross 309 of Figure 9, but keeping between the tracking symbol and the average position the gap that exists immediately after pressing the mouse button. This difference corresponds in Figure 9 to the difference between the point 305 which also corresponds to the position of the tracking symbol, and the average contact position represented by the cross 309. The user can stop contact with the touch surface .
  • the computer stores the last zone pointed before the contact breaks and continues to display the pointing symbol 302 and the tracking symbol at their last position before the contact break.
  • a recovery zone is defined, for example a disk centered on the last zone pointed before the contact breaks. If the user reconnects with the surface In the recovery zone, the position of the pointing symbol during the handshake is not changed and the pointing symbol will follow only the subsequent movements of the finger of the user. Similarly, the position of the tracking symbol is not modified, so as to reproduce on the touch surface the movement of the pointing symbol. If the user makes contact with the touch surface outside the recovery zone, the position of the pointing symbol is changed immediately according to the position of the new contact. Similarly, the position of the tracking symbol is immediately brought to the new contact position.
  • a tracking symbol consisting of a disk 319 shown in FIG. 10 can be generated, and an indicator of the second contact zone constituted by a circle 702 also shown in FIG. 10.
  • the zones of second contact are centered on the new position of the finger while the tracking symbol remains on the last position of the finger preceding the break of the contact, as indicated above.
  • the indicator 702 is centered on the new position of the contact while the tracking symbol is centered on the old position of the contact and these two symbols are therefore off-center with respect to each other as indicated on Figure 10.
  • Figure 11 schematically shows the pointing procedure which runs in the background on the computer 212 and manages the pointing and activation of the buttons of a "virtual" mouse.
  • Figure 12 shows the same procedure.
  • Figure 12 shows the principle of each step while Figure 11 details operations affecting variables used by the program.
  • This procedure is particularly well suited to the device of Figures 1 and 2, but it can also be used with a touch surface directly superimposed on the main display screen, for example in a "tabtel PC" or a personal assistant. This avoids on a “tablet PC” the use of a stylus, which is restrictive for the user.
  • Pcour (XPour, YPour) represents the position of the tracking symbol on the touch surface.
  • Xpoint, Ypoint are the pixel coordinates of the point pointed to by the pointing symbol on the main display screen
  • the tracking symbol is then positioned on The display screen secondary to the coordinates (TXPour, TYPcour) expressed in pixels of this screen. For simplicity it is assumed in the following that the coordinates on the touch surface and the secondary display screen are the same.
  • Positions P1, P2, and P3 represent positions on the touch surface. However, P1, P2, P3 represent positions of a contact, measured directly on the touch surface, while Pcour represents a position of the tracking symbol calculated by the pointing procedure.
  • Pl, P2 and P3 each have a horizontal coordinate varying from 1 to Ntac and a vertical coordinate varying from 1 to Ntac, the point (1,1) being the lower left corner of the touch surface and the point (Ntac, Ntac) being the upper right corner of the touch surface.
  • the representation conventions are therefore the same for Pcour, P1, P2, P3.
  • S represents the offset between the position measured on the touch surface and the position of the tracking symbol.
  • C represents the existence of a contact on the tactile surface.
  • I means there is contact
  • the continuity zone corresponds to an area in which the point of contact between two successive updates should normally remain if the user moves his finger without breaking the contact. Its exact value therefore depends on the refresh rate, but in general it is very small.
  • the deactivation zone represents the zone in which the average contact position must pass abruptly in order to consider that a button is raised.
  • the pointing procedure continuously updates the position P of the tracking symbol, which also corresponds to a proportionality factor near the position of the pointing symbol. It also identifies the events "bolt 1 depressed”, “bolt 2 depressed”, “raised button” for which it can for example generate software interrupts simulating the activation of the corresponding buttons of a mouse.
  • the computer and the various interfaces manage the inputs and outputs of this procedure, providing in particular the position of the contact on the touch surface and controlling in particular the laser module to display the tracking symbol at the point Pcour.
  • step 102 the contact and the position are updated, the variable C receives the state of the contact, namely 1 if at least one finger is in contact with the touch surface, 0 otherwise.
  • the position variable Pl containing two integers receives the position of the contact on the touch surface.
  • step 103 the procedure tests whether the finger was in contact during the update.
  • the state of variable C is tested and according to its state the procedure returns to the beginning or continues.
  • step 104 the pointing procedure will be slow if the position of the contact, characterized by Pl, is in the recovery zone surrounding the position Pcour (which is at the center of the touch surface at the start of the computer but can be n ' import or on the touch surface thereafter).
  • the procedure tests for this the norm of the vector Pl-Pcour. If this norm is lower than the limit value, this means that Pl is in a disc of radius limit centered around P, this disc constituting the zone of recovery.
  • the old Pcour value is not recovered and therefore the offset S between the position of the tracking symbol Pcur and the position of the contact P1 is zero.
  • the variable S representing the offset between the point P1 where the operator's finger is, and the point Pcour which is taken into account for the score, receives the value 0 in the step 113. - if P1 is in the zone recovery, the Pcour value is resumed, so unchanged.
  • the shift between the position of the tracking symbol Pcur and the position of the contact is calculated at step 105.
  • the variable S receives at 105 the offset between the position of the finger P1 and the position of the tracking symbol Pcour, which, unless Pl ⁇ Pour, differs slightly from the Pl position.
  • Step 108 calculates the position of the tracking symbol Pcour by shifting the last position of the contact P1 from the offset S calculated in the previous step. The procedure then moves the tracking symbol and the pointing symbol to place them respectively at the point Pcour on the touch screen, and at the corresponding point (Xpoint, Ypoint) on the main display screen. When it was resumed in step 104, the existence of this shift materializes the difference between the position Pcour of the tracking symbol and the position Pl of the finger in contact with the touch surface. In the absence of recovery, the offset is zero.
  • step 109 the value of C is updated and the variable P2 receives the position of the contact returned by the touch-screen.
  • the virtual button number 2 is activated in step 115.
  • the computer simulates the depression of the left button of a computer mouse, which generates a change indicator state that can be a "beep" sound emitted by the computer or simply a visible change on the main display screen, such as opening a window.
  • the computer simulates the depression of the right mouse button.
  • the procedure tests at 127 if the average position is in a continuity zone which is a disc of radius LO with L0 ⁇ Ll ⁇ Llb ⁇ L2 ⁇ L2b. If one is in the zone of continuity the current value Pl of the position of the contact on the tactile surface is replaced in 125 by the last position P2 and the procedure returns to 108 to iterate the detection loop of the activation of the buttons. If one is outside the continuity zone, the procedure "ignores" the value P2 and returns to step 108 without modification of Pl.
  • the procedure continues with the step 116 of calculating the offset S.
  • the position returned by the touch surface is now the average position of the two fingers that are in contact with the screen .
  • step 118 there is then updating variables C and P3.
  • step 117 the difference in position is supposed to correspond to a joint movement of the two fingers on the touch screen which must be followed by the pointing symbol.
  • the variable Pcour is then updated accordingly during step 117.
  • Pcour is actually modified if P3 was in the continuity zone, to take into account the displacement of the position of the contact. .
  • the loop comprising steps 117 to 120 and 126, 121 thus moves the pointing symbol until the user raises one or both fingers.
  • step 117 the tracking symbol and the pointing symbol are moved to their new positions Pcour and (Xpoint, Ypoint) respectively.
  • step 122 When the button has been deactivated in step 122, it is again necessary to recalculate the offset S (step 123) and to replace Pl with the last known position of the contact, which is P3.
  • the vector S is increased in the step 123 of the vector P2-P3, and the variable P1 receives the value of P3 in the step 124, the procedure then returning to step 108.
  • Button 1 and Button 2 can respectively simulate the left and right buttons of a computer mouse, or any other keyboard key or mouse button.
  • the number of buttons can be increased by increasing or diversifying the activation zones.
  • Activation zones are not necessarily annular and they can take any type of shape, the ring shape being however simple and ergonomic.
  • a tracking symbol on the touch screen is optional. Indeed the tracking symbol is mostly a help for the novice user. The experienced user can find the area of recovery without the help of the tracking symbol.
  • the deletion of the tracking symbol does not change the procedures of Figures 6, 7, 11, 12 except that the tracking symbol is no longer displayed (but its position, which also corresponds to the position of the symbol of pointing, must always be calculated). Removing the tracking symbol allows you to use a non-overlapping touch surface on a secondary display screen, which is particularly economical.
  • Fig. 13 shows a modification of Fig. 6, in which the secondary display screen 215 has been removed and only the touch surface 213 is used.
  • a curved touch surface facilitates access to the tactile surface for the fingers of the hand.
  • a display device consisting of a screen scanned by a laser spot easily adapts to a curved touch surface and makes it possible to obtain a secondary display screen at a lower cost.
  • Figure 14 schematically illustrates such a display device.
  • This has a touch surface 213 curved integral keyboard 206 and transparent.
  • On the rear face of this touch surface is a diffusing surface 225.
  • a collimated laser diode 228 emits a beam and two galvanometric mirrors 227, 226 make it possible to control the direction of this beam and therefore the position of the laser spot 224 formed on the surface.
  • the touch surface 213 may be of the force sensor type, which is well suited to the use of curved surfaces.
  • the computer thus controls the display via a control card of the galvanometric mirrors, shown.
  • the scanning assembly 229 comprising the laser diode and the galvanometric mirrors is linked to the keyboard and to the tactile
  • the device of Figure 1 has the defect of requiring multiple interfaces directed to the computer and require complex management on the part of the computer. This problem is solved by the device of FIG. 15 in which only the elements differing from FIG. 1 have been renumbered.
  • a control device 601 receives the information coming from the touch-sensitive surface 213 via an interface 605. It controls the display 215 via the interface 604. It controls the display 215 so as to display the tracking symbol.
  • the control device 601 includes a memory in which executable instructions are stored, and a processor executing these instructions. The instructions stored in the memory of the device 601 are adapted so that the processor follows the procedure of FIGS.
  • controller 601 moves the tracking symbol on the screen 603 as determined by this procedure, and sends to the computer 212, by way of intermediate of the interface 607, the current position Pcur of the tracking symbol.
  • the displacement of the pointing symbol on the screen 215 of low resolution being imprecise, the controller 601 nevertheless returns to the computer 212 a position as precise as possible, limited only by the performance of the touch surface 213 and its interface 605 , which can detect very small displacements. This position returned to the computer 212 then allows it to control the position of the pointing symbol of the screen 201 with the necessary accuracy.
  • the touch surface 213 may be covered with a protective fabric diffusing the light coming from the display. The necessary precision being weak, this diffusion is not troublesome.
  • the controller 601 manages the various interfaces and returns to the computer 212 only useful information. Controller 601 may also relay information from keyboard 206 through interface 606 for transmission to computer 212 through interface 607.
  • the assembly consisting of the display 603, the touch surface 602, the keyboard 206, the interfaces 604, 605, 606, 607 and the controller 601 may be constituted by a touch screen laptop, the processor this computer constituting the controller 601, and the position information of the pointing symbol being transmitted to the main computer 212 by an ethereal or USB connection.
  • this solution is excessively expensive, because the processor is then oversized and the secondary display screen 603 used is unnecessarily precise and unnecessarily bright.
  • the controller 601 is a microcontroller of a reasonable cost
  • the screen 603 is of low definition and weakly illuminated or not illuminated
  • the interface 607 is an interface LJSB commonly used for the keyboards
  • the assembly is integrated in the keyboard case.
  • a touch surface capable of detecting the pressure exerted by the fingers can be used. Such a touch surface is described for example in US 5,159,159.
  • Another type of pressure sensing touch surface is a force sensing surface. In this case, the click of the mouse can be simulated by a higher pressure exerted by the finger. The user touches the touchpad to point, and presses harder to click.
  • Figs. 11 and 12 results in part from the fact that the resistive touch surfaces detect only one contact at a time. To improve reliability and simplify it, it is advantageous to use a touch surface capable of simultaneously detecting multiple contacts. In addition, the resistive touch surfaces require a significant pressure of the finger on the surface. This pressure is lower when only the nail comes into contact with the surface, but still remains significant. To avoid this problem, it is advantageous to use proximity-sensing touch-sensitive surfaces that do not require finger pressure on the touch surface.
  • FIGS. 6, 7, 11, 12 can be used with horizontal tactile surfaces, not necessarily related to the keyboard, which facilitates the use of certain types of tactile surfaces that can not be pointed with the finger nail. , like the tactile surfaces capactitives.
  • the touch surface 213 close to the vertical of Figure 1 is replaced by a horizontal tactile surface independent of the keyboard.
  • FIGS. 6, 7, 11 and 12 can also be used with a touch surface directly superimposed on a main display screen viewed by the user, such as in a personal assistant or a "tablet PC".
  • the main display screen 201 and the secondary display screen 215 are replaced by a single display screen.
  • the tracking symbol and the pointing symbol are then combined into a single symbol, which may for example comprise an arrow (pointing symbol) and a circle indicating the limits of the recovery zone (tracking symbol).
  • FIGS. 6, 7, 11 and 12 can also be used with a touch surface 213 which is not superimposed on any display screen, and is used only to point a remote display screen.
  • the pointing symbol remains displayed but there is no display of a tracking symbol.
  • the position Pcour of the tracking symbol is always calculated, but essentially constitutes a calculation intermediate for determining the position (Xpoint, Ypoint) of the pointing symbol.
  • Figure 16 illustrates several possible variations of the device of Figure 13, also adaptable to the case where a secondary display screen is superimposed on the touch surface.
  • Figure 16 (a) shows an angle Q of 90 degrees.
  • Figure I6 (b) shows a 90-degree angle, but the touchpad has been positioned above the keyboard and not behind the keyboard.
  • Figure 16 (c) shows a high angle close to 120 degrees.
  • Figure 16 (c) shows an angle close to 30 degrees.
  • FIG. 17 (a) illustrates a variation of the device of FIG. 13, comprising a compound articulation:
  • FIG 17 (b) illustrates a variation of the device according to the invention, wherein the touch surface is mounted on a support independent of the keyboard. The keyboard and touch surface support are then placed on a 932 table.
  • Figures 18 to 24 illustrate an improved embodiment of the touchpad-surface assembly and control procedures. This embodiment uses a type of tactile surface whose general principle is described in US Pat. Nos. 7,236,162 and 4,782,328.
  • Figure 18 schematically shows the keyboard assembly and tactile surface, in front view.
  • Figure 19 shows the same set seen from a central cutting plane.
  • the touch surface comprises a transparent plate 1008. This plate is connected by means of pads (1012 for example) to a holding plate 1003 made of steel.
  • the studs are equipped with force sensors for measuring the pressure exerted by a finger on the surface
  • the plate 1003 is pierced with a hole that accommodates a grid 1005, for example black cardboard, and a plate diffusing 1006 for example in white paper.
  • the diffusing plate 1006 is backlit by the bulb 1007 fixed on the part 906. The light emitted by the bulb 1007 therefore passes through the diffusing film 1006, the grid 1005 and the plate 1008 before possibly illuminating a finger coming into contact with the plate 1008.
  • the plate 1003 is fixed on the part 906 and the cameras 1001, 1002 are fixed on the plate 1003.
  • the cameras 1001, 1002 make two images, ie a stereoscopic image, starting from which is calculated the position of the finger.
  • the force sensors can detect a pressure on the plate 1008, which replaces for example the depression of the left bolt of a mouse.
  • the protection 1020 which is for example black cardboard absorbent and diffusing, and the grid 1005 which can also be black cardboard absorbing and diffusing.
  • Figure 19 is shown in thicker lines the portion of the protection 1020 which effectively cuts the central cutting plane; for example this part is pointed by the arrow 1022.
  • the interior 1026 of the protection has been shown darker than its outside 1027. The useful part of the image forming on the sensors of the cameras comes from inside the protection
  • the edge 1022 protects the cavities 1024 and 1025 against a part of the ambient light: the ambient light oriented in the plane of the Figure does not penetrate directly into the cavities 1024 and 1025 without first being diffused by the keyboard, since the radius Extreme 1029 does not reach inside the cavities.
  • the second cavity 1025 is formed by two folds 1023 and 1021 of the protection. It is better protected from the ambient light than the cavity 1024 and its bottom is blacker.
  • the orientation of the fold 1023 is determined so that the cameras do not see the side of this fold which is on the side of the cavity 1025, the largest.
  • the fact that the camera can see the top of the fold and the side of the fold which is inside the cavity 1024 creates a slightly shifted boundary between the images of the two cavities on the sensor of the camera. As can be seen in FIG.
  • the protection 1020 protects the top and the sides of the touch surface 1008, ie the entire area in the useful field of view of the cameras 1001 and 1002.
  • the cameras are approximately focused on the entrance of the cavity 1025, limited by the folds 1021 and 1023, so as to have on the sensors a black area and therefore little disturbed by the possible variations of the external lighting.
  • the useful diameter of the front lens of the cameras, as well as the relative position of the camera and the plate 1008, are adjusted so that the image of the entrance of the cavity 1025 is not disturbed by the presence of the window 1008.
  • a typical useful diameter may be of the order of 2 mm in order to be able to detect the presence of a finger about 1 mm from the surface 1008.
  • a smaller diameter facilitates the optical design and makes it possible to detect a finger closer to the surface. touch surface, a larger diameter allows to use a bulb 1007 weaker.
  • the gate 1005 makes it possible to limit the opening of the light beam coming from the diffusing surface J006 passing through the transparent plate 1008.
  • the light that has passed through this gate has a maximum inclination relative to at a direction orthogonal to the surface 1008, which is limited by the width of the openings of the grid and the thickness of the grid in the horizontal direction.
  • the most inclined radius 1028 passing through the opening pins low spring grid without being stopped by the protection 1020 which stops on the drawing at the upper end of the inclined right edge 1022.
  • the image obtained on the The sensor of a camera in the presence of a finger approaching the tactile surface is shown in Figure 20. The image is dark except the image of a finger, lighter, possibly more blurred than in the drawing.
  • the coordinate in the direction or the sensor is the shortest is roughly proportional to the angle Q shown in Figure 19.
  • the coordinate in the direction or the sensor is the longest is roughly proportional to the angle ⁇ shown in Fig. 18.
  • the image is analyzed by a processor, which may be the processor of a computer or a specialized signal processing processor replacing the controller 601 of Fig. 15, in the case where the entire system is organized as in Figure 15.
  • the signal processor receives data from both cameras and force sensors and the keyboard. It analyzes this data and transmits to the computer only the data coming from the keyboard, the information on the depression of the virtual mouse buttons and the position of the various symbols used for pointing.
  • the processor can follow for example the procedure of Figures 6 and 7 so as to work with a recovery zone. This procedure is modified by removing the display of the tracking symbol since the device of Figures 18 and 19 does not have a secondary display screen for displaying a tracking symbol. On the other hand, the computation of Pcour remains useful since it is from Pcour that the position of the pointing symbol on the display screen is calculated.
  • This procedure is also modified by replacing step 102 with the procedure described in FIG. 22, and replacing step 109 with the same procedure described in FIG. 22.
  • the pre-pointing symbol is for example a translucent or flashing pointer of the same shape as the pointing symbol. Its role is to replace the direct vision of the finger or stylus near the screen, which the user of a touch screen usually has and which is not available in the present invention, because the touch surface does not is not superimposed directly on the display screen.
  • the user sees his finger go over the screen and feedbacks on the position of the finger according to this image, so as to aim a point correctly and the first time.
  • the user does not see his finger but he sees the pre-pointing symbol, which he uses in the same way to touch the touch surface directly to a target point, much more precisely than he did not have the pre-score symbol.
  • Figure 24 shows the use of the pre-score symbol.
  • the finger points at a point on the touch surface and the pointer is displayed at the corresponding point on the main display screen.
  • the finger moves away from the screen abruptly and the pointing symbol remains in place.
  • the finger approaches the screen without coming into contact. The pointing symbol remains but the pre-score symbol is displayed at a point corresponding to the position of the finger.
  • the finger moves along the screen, down, but does not come into contact. Only the pre-score symbol follows it.
  • the finger finally comes into contact with the screen. The pointing symbol then replaces the pre-score symbol.
  • step 1101 the images coming from the two cameras are loaded by the processor.
  • the processor identifies whether the images are uniformly dark, or if they comprise a clear part. For example, the images are considered to have a clear portion if the illumination of at least a fixed number of pixels is above a set lighting limit value. In the case where the two images comprise a clear part, it is considered that a finger is present and the procedure goes to step 1104. In the opposite case, the procedure, in step 1103, sets to 0 the value of the variable C of Figure 6, then ends and returns the control to the procedure of Figure 6 which goes to the next step.
  • the procedure extracts from the image present on a camera the point B of FIG. 20 which represents the point corresponding to the minimum value of the coordinate proportional to ⁇ among all the "clear" pixels of which the illumination is above the limit value of illumination, or if several bright pixels have the same coordinate or have a coordinate lower than a contact limit value from which contact is considered, at the center of gravity of these pixels.
  • the procedure is the same with the image on the other camera.
  • the procedure calculates the coordinates X, Y, Z of the finger from the coordinates of the points B obtained on each camera. For this, it calculates the X, Y, Z coordinates using triangulation formulas that can be established, according to the geometric characteristics of the system, according to the principle illustrated in FIG. 21.
  • the formulas for calculating the X-coordinates, Y are obtained according to the principle shown in figure 21 (a). These are the coordinates of the intersection A of the rays coming from the optical centers O 1 , O 2 of the two cameras and characterized by the angles ⁇ 1 , ⁇ 2 themselves obtained from the coordinates of the points B on the two cameras.
  • the optical centers of the two cameras correspond approximately to the position of their front lens.
  • step 1106 the procedure tests whether Z is less than a final contact limit value below which contact is considered to be on the tactile surface. If Z is less than the final contact limit value the procedure proceeds to step 1108 otherwise it proceeds to step 1107.
  • step 1108 the procedure assigns to the variable C of the procedure of FIG. 6 the value 1 and at the point P1 of the procedure of FIG. 6 the coordinates (X, Y). It then ends and returns control to the procedure of Figure 6 which moves to the next step.
  • the activation of the left mouse button is done by pressing on the tactile surface, in the procedure of FIG. 12 one only needs to activate the right mouse button. This is done for example by adopting a very high limit LIb of the procedure of Figure 11, so that only one button can be activated, the button 1 which must then simulate the right mouse button.
  • step 1108 also incorporates the display of the pointing symbol or its displacement, and the "END" step is replaced by a return to the "start” step to make the procedure iterative.
  • the left mouse button can be activated by a pressure on the touch surface, measured by the pressure sensors. It is also possible to define two pressure limit values, so that a low but non-zero pressure simulates the depression of a first mouse button, and a higher pressure simulates the depression of a first mouse button. a second mouse button.
  • the positioning of the cameras 1001 and 1002, remote from the useful area of the touch surface 1008, is adapted to allow the use of the pre-pointing symbol on the entire touch surface. Indeed, if the cameras were too close to the corner of the touch surface, as is the case in US Pat. No. 4,782,328 and US Pat. No. 7,236,162, then, given the angle of the beams reaching the sensors, it would not be possible. possible to detect a finger that has not yet reached the touch surface, when that finger is too close to the camera. This constraint is even more important if it is desired that the direct light reaching the sensors comes only from the interior of the cavities 1024, 1025. This positioning of the cameras also makes it possible to reduce the manufacturing constraints on the optics of the cameras.
  • the cameras 1001 and 1002 must also be positioned both on the same side of the tactile surface, the line joining the front lenses of the cameras being sufficiently below the useful area of the touch surface 1008. Indeed if the useful area from the touch surface passed at the line joining the front lenses of the two cameras we could not determine the position of a finger along this line.
  • the cameras 1001 and 1002 may possibly be replaced by linear cameras which only make a 1025 cavity image. In this case the pre-pointing symbol can not be used.
  • protections can be added to the system, in the form of transparent or reflecting plates according to whether or not they must be traversed by the light. Such protections make it possible, for example, to completely enclose the bulb 1007 to prevent light leakage, and to protect the complete optical path of the beams going to the cameras so that it can be reached by the user's fingers only. in the area actually corresponding to the touch surface, and also to protect it from dust or any external objects. It is possible, to reduce the influence of the external light, to replace the bulb 1007 with a
  • the LED or other device generating substantially monochromatic illumination, and placing on the optical path of the light reaching the sensor of a camera a monochromator filter.
  • the monochromator filter can for example be placed just in front of the CCD or CMOS sensor of the camera. In this case the ambient light loses much of its intensity through the monochromator filter, while the light from the LED keeps its intensity.
  • Figures 18 and 19 were made for simplicity with a vertical touch surface but the touch surface can be tilted forward to improve the ergonomics of the device. Protections can be added on the sides of the keyboard to completely prevent ambient light to reach directly inside the cavities 1024 and 1025 without being first diffused by a protection. In Figures 19 and 18 it is possible to remove the glass plate 1008. This does not prevent the operation of the touch surface but it removes the immediate tactile feedback to the user performing a pointing act, since the score is then in the air without any material contact, on an immaterial surface defined only by an observation plane of the cameras. Moreover in this case it is no longer possible to simulate recess of a mouse bolt according to a pressure measured on the plate 1008.
  • the touch surface can also be made slightly curved.
  • the step 1106 must therefore be replaced by a condition dependent on X, Y, Z.
  • FIG. 25 shows a modification of FIG. 19, in which surface 1008 is bent and curved.
  • the studs 1012 equipped with force sensors can advantageously be replaced by the device of FIG. 26 (b).
  • the plate 1003 is pierced with a hole closed by a plate 1060 and in which is housed a compression spring 1064.
  • the spring 1064 presses a plate 1061 glued on or otherwise connected to the plate 1008.
  • the plate 1061 itself bears on the plate 1062 integral with the plate 1003 via a connecting element 1063.
  • the plate 1061 and the plate 1003 are metallic and connected to the two terminals of a device for detecting the existence of a contact. This device transmits information about the existence of a contact to the processor that retransmits them to the computer.
  • the part 1064 comes into contact with the plate 1008 and the contact is established.
  • the computer simulates the depression of the left button of a mouse.
  • This device is simpler than the force sensors and has the advantage of providing immediate tactile feedback to the user confirming the depression of the mouse button.
  • infrared cameras In this case a source of infrared lighting is not essential since the finger is, because of its temperature, an infrared transmitter.
  • An infrared light source can nevertheless be used.
  • a source may be a heating plate replacing the diffusing element 1006.
  • An infrared diode may also be used instead of the bulb 1007. If this diode emits in a reduced wavelength spectrum a monochromator filter selecting this wavelength and placed in front of the sensor can improve the detection.
  • the touch surface of Figures 18 and 19 may be used with other types of devices.
  • the touch surface can be separated from the keyboard, to allow the user to use an existing keyboard.
  • the 1007 backlight makes the system more reliable, but it is optional and can be removed and replaced by ambient lighting, other auxiliary lighting, or light from an LCD screen superimposed on the light.
  • plate 1008 which also allows the use of the device in the presence of a display screen superimposed on the touch surface.
  • the display screen can also be used as a secondary display screen and allow the display of a tracking symbol, or in a conventional touch screen device can also be used as a display screen. main.
  • the preferred embodiment of the invention uses the screen-keyboard assembly of FIGS. 18 and 19, modified as shown in FIG. 26 to allow a simpler equivalent of the "mouse click", and modified as shown in FIG. that the touch surface is slightly bent, but not curved so as not to complicate the system excessively.
  • the preferred embodiment uses the computer array of Fig. 15 or the controller processor 601 executes instructions that enable the procedure of Figs. 11 and 12 to be performed, supplemented by the procedure of Fig. 22 as indicated above. , and modified to not display the pointing symbol.
  • the processor 601 transmits to the computer 212, via the interface 607, all of the data concerning the position of the pointing symbol, the position of the pre-pointing symbol, the state of the virtual bolts of the mouse, and data from the keyboard.
  • the device according to the invention is applicable as a replacement for computer mice and provides an improvement in the ergonomics of pointing systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

Dispositif informatique comprenant: un écran d'affichage principal (201), un ordinateur (212) relié a l'écran d'affichage principal, un clavier (20S) permettant à un utilisateur d'envoyer des caractères alphanumériques à l'ordinateur et disposé pour permettre à l'utilisateur frappant des caractères alphanumériques d'observer simultanément l'écran d'affichage principal, le clavier déterminant un plan géométrique moyen du clavier qui minimise la distance moyenne entre les touches du clavier et le plan moyen du clavier; une surface tactile (213) non superposée à l'écran d'affichage principal, disposée pour qu'un utilisateur pointe avec son doigt sur la surface tactile et observe en même temps l'écran d'affichage principal, la surface tactile déterminant un plan géométrique moyen de la surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, et; la surface tactile n'étant pas superposée à une reproduction de l'image affichée sur l'écran d'affichage principal.

Description

Dispositif de pointage.
Domaine technique:
II s'agit d'un dispositif utilisant un écran tactile pour pointer un écran d'affichage contrôlé par un ordinateur, et d'une méthode d'utilisation de ce dispositif.
Art antérieur:
II existe différents dispositifs de pointage pour pointer un écran distant, parmi lesquelles les souris d'ordinateur, les "trackballs", et des pavés tactiles appelés en anglais "touchpads". Les souris d'ordinateur nécessitent une surface horizontale pour fonctionner, ce qui est la raison pour laquelle on les remplace par des pavés tactiles moins encombrants sur les ordinateurs portables. Leur utilisation nécessite un mouvement ample de la main qui doit quitter le clavier pour aller saisir la souris, ce qui constitue une perte de temps. L'utilisation répétée de la souris et en particulier de ses boutons, pendant de longues années, génère des maladies professionnelles liées à la répétition permanente des mêmes gestes. Les pavés tactiles sont habituellement positionnés à l'horizontale en avant du clavier par exemple dans le brevet US 6,501,462 intitulé "ergonomie touch pad". Ces pavés tactiles sont usuellement réalisés à l'aide d'une technologie dite capacitive, qui nécessite de toucher le pavé tactile avec la pulpe du doigt et ne permet pas la détection d'un contact effectué par exemple avec l'ongle du doigt. Etant positionnés à l'horizontale, ces pavés tactiles utilisent un espace important sur une table de travail horizontale, et leur taille est souvent limitée pour cette raison, même dans le cas ou ils ne sont pas utilisés avec des ordinateurs portables. L'utilisation est relativement peu intuitive du fait de Ia position horizontale et de la petite taille du pavé. L'utilisation est également désagréable à la longue du fait qu'il est nécessaire de faire glisser la pulpe du doigt, particulièrement sensible, sur la surface du pavé tactile. Il a également été proposé de fixer un tel pavé tactile à la jambe d'un utilisateur pour en faciliter l'utilisation ( publication "ergonomie touchpad" de la société Synaptics sur IP.com le 30/11/2005 ). Certains pavés tactiles peuvent également être positionnés à l'horizontale en arrière du clavier.
Il existe également des surfaces tactiles directement superposées à des écrans d'affichage et formant donc avec l'écran d'affichage un écran tactile, et dans lesquelles un symbole de pointage suit directement la position du doigt ou d'un stylet sur l'écran tactile. Ces écrans tactiles ne sont pas destinés à pointer un écran distant. U existe des ordinateurs portables équipés de tels écrans tactiles, qui peuvent être utilisés en combinaison avec un projecteur, auquel cas la même image est superposée à la surface tactile et projetée sur un écran. De tels ordinateurs portables ne sont pas destinés à être utilisés comme dispositifs de pointage, d'une part en raison de leur coût excessif, d'autre part parce que l'image affichée est celle destinée à être observée directement et n'est donc pas adaptée pour le pointage d'un écran distant lorsque l'utilisateur ne regarde pas ou regarde peu l'écran tactile. Les surfaces tactiles, utilisées pour détecter la position d'un doigt sur une surface de contact, sont de divers types. Les surfaces tactiles les moins coûteuses à fabriquer sont des écrans dits "résistifs", dans lequel le doigt venant au contact de la surface crée des variations de résistivilé qui sont détectées et à partir de laquelle la position du doigt peut être recalculée. Ce type de surface tactile permet la détection d'un contact effectué avec la pulpe ou l'ongle d'un doigt ou avec un stylet. Les surfaces fonctionnant par détection de variations de capacité ne peuvent, elles, délecter que la pulpe d'un doigt. Les deux types de surfaces tactiles ainsi que d'autres types courants ne permettent de délecter qu'un seul contact à la fois, ce qui limite les possibilités d'utilisation pour simuler par exemple l'activation d'un bouton de souris. Par exemple, une méthode de pointage et d'activation d'un bouton virtuel à l'aide d'un stylet touchant un écran tactile est décrite dans le brevet US 6,791,536 B2. La méthode de pointage décrite dans ce brevet nécessite l'utilisation d'un stylet, et ne permet l'activation que d'un nombre limité de boutons.
D'autres surfaces tactiles permettent d'identifier simultanément un nombre élevé de contacts. De telles surfaces tactiles fonctionnent par exemple par le principe de réflexion interne totale qui fait que lorsque un doigt touche la surface la trace du doigt est visible de l'autre coté el peut être enregistrée par des caméras. À partir de l'image enregistrée par les caméras et moyennant un traitement approprié on peut identifier plusieurs contacts effectués avec le doigt. De telles surfaces tactiles permettent d'améliorer considérablement les possibilités d'utilisation puisque plusieurs contacts peuvent être détectés simultanément. Un exemple d'utilisation de cette possibilité est illustré par le brevet US 5,870,083. Par contre, ces surfaces tactiles sont relativement coûteuses. Il existe également des surfaces tactiles comportant un délecteur de proximité permettant de détecter la position d'un doigt se trouvant à proximité d'une surface solide, mais qui ne touche pas nécessairement la surface solide. Par exemple un ensemble de faisceaux infrarouges peut former une grille devant une plaque en verre. Lorsque le doigt traverse cette grille invisible, il obture certains faisceaux, ce qui permet de déterminer sa position avant même qu'il ne touche la plaque en verre. Lorsque le contact est établi entre le doigt et la plaque en verre, le système donne la position du doigt sur la plaque en verre. Il existe divers autres types de détecteurs de proximité: par exemple on peut détecter la position du doigt par détection sur une caméra utilisant un capteur linéaire, ou à l'aide de détecteurs capacitifs se trouvant dans une plaque constituant la surface tactile, ou à l'aide de caméras multiples à capteurs linéaires ou matriciels. Dans le cas d'une surface tactile à capteurs de proximité la position d'un doigt est détectée à proximité d'une surface matérielle sur laquelle le doigt peut venir en appui. Un exemple de surface tactile à capteur de proximité capacitif est décrit dans le brevet US 6,323,846. Un exemple de surface tactile à caméras linéaires est décrit dans le la demande de brevet publiée numéro US 2005/0248540. D'autres exemples de surfaces tactiles utilisant des caméras linéaires ou non linéaires sont donnés par les demandes de brevets US 7,236,162 et US 4,782,328.
La grille de faisceaux infrarouges mentionnée ci-dessus peut fonctionner même sans plaque de verre. Dans ce cas elle constitue une surface tactile "immatérielle" . Elle permet la détection du mouvement du doigt touchant la surface, mais sans qu'il y ait le retour lié au fait de toucher une surface matérielle. Divers types de surfaces tactiles immatérielles peuvent être réalisés. Toutefois il est difficile d'obtenir un pointage stable à l'aide de tels dispositifs, car le doigt, en l'absence d'appui, a tendance à trembler. De plus, l'utilisateur n'a aucun retour lui indiquant qu'il est en train de pointer, ce qui est susceptible d'engendrer de faux mouvements du pointeur liés à des mouvements involontaires de l'utilisateur. Certaines surfaces tactiles permettent de détecter non seulement la position du doigt mais également la pression exercée par le doigt. Une telle surface tactile est décrite par exemple dans le brevet US 5,159,159. Les surfaces tactiles à détection de force entrent également dans cette catégories. Elles comprennent habituellement une plaque rigide et au moins trois capteurs de force disposés sur cette plaque. L'utilisateur touchant la plaque rigide exerce sur les trois capteurs des forces qui dépendent de la position du contact. Les forces sont mesurées et la position du contact est recalculée. Ce type de surface tactile est décrit par exemple dans les brevets US 4,121,049 et US 5,376,948.
Dans la plupart des dispositifs de pointage utilisant des surfaces tactiles ( pavés tactiles, écrans tactiles, surfaces tactiles dites "multitouch" ) lorsque un utilisateur touche un point c'est ce point qui est pointé. Toutefois le brevet US 7,023,428 (Pihlaja) montre un dispositif de pointage dans lequel le symbole de pointage est décalé par rapport au point de contact du doigt avec l'écran tactile, de manière à ce que l'utilisateur puisse voir le symbole de • pointage et l'élément pointé, sans que ceux-ci soient cachés par son doigt et sans devoir utiliser un stylo.
Dans certains dispositifs de pointage à base de surfaces tactiles, lorsque l'utilisateur touche la surface tactile, le symbole de pointage est immédiatement positionné en un point qui ne dépend que de la position du contact sur la surface tactile. Par contraste, l'utilisateur d'une souris d'ordinateur peut reprendre la souris en main sans modifier la position du symbole de pointage. La position du symbole de pointage dans un tel système basé sur une surface tactile est immédiatement perturbée par l'utilisation de la surface tactile, ce qui n'est pas pratique par exemple pour déplacer le symbole de pointage sur de courtes distances et avec précision, ce que l'utilisateur est souvent amené à faire.
Dans d'autres dispositifs de pointage, par exemple des pavés tactiles pour ordinateurs portables, le symbole de pointage n'est déplace que lorsque le contact sur la surface tactile est lui-même déplacé sans interruption du contact. Dans ce cas, le problème précédent est résolu, mais le dispositifs est privé d'un des avantages majeurs des systèmes de pointage h surface tactile, à savoir qu'il est possible de pointer instantanément n'importe quel point de l'écran en plaçant correctement son doigt sur la surface tactile.
Un dispositif de contrôle en six dimensions utilisant une pluralité de surfaces tactiles orientées différemment les unes des autres est également décrit dans le brevet US 5,805,137. Dans ce dispositif six surfaces tactiles formant un cube sont utilisées pour contrôler la position et l'orientation d'un objet réel ou virtuel. Ce dispositif n'a pas pour objectif d'être utilisé en remplacement d'une souris d'ordinateur. Un dispositif pouvant être utilisé comme écran d'affichage secondaire ou comme tablette graphique, associé à un écran d'affichage principal, est illustré par le brevet US 5,995,085. Dans ce dispositif la tablette graphique n'est pas utilisée pour pointer l'écran d'affichage principal; elle est superposée à un écran d'affichage secondaire et est utilisée pour dessiner directement sur cet écran d'affichage secondaire. De plus la tablette graphique n'est pas adaptée pour être pointée avec le doigt.
Description de l'invention.
L'invention a pour but de résoudre différents problèmes existant dans l'état de l'art et mentionnés plus haut. En particulier, l'invention a pour but de permettre un pointage utilisant un principe analogue au pavé tactile, mais d'une meilleure ergonomie, lui permettant de concurrencer favorablement la souris en termes de facilité d'utilisation.
Un dispositif courant utilisant un pavé tactile peut être définit comme comprenant:
- un écran d'affichage principal,
- un ordinateur relié à l'écran d'affichage principal, - un clavier permettant à un utilisateur d'envoyer des caractères alphanumériques à l'ordinateur et disposé pour permettre à l'utilisateur frappant des caractères alphanumériques d'observer simultanément l'écran d'affichage principal, le clavier déterminant un plan géométrique moyen du clavier qui minimise la distance moyenne entre les touches du clavier et le plan moyen du clavier, - une surface tactile non superposée à l'écran d'affichage principal, disposée pour qu'un utilisateur pointe avec son doigt sur la surface tactile et observe en même temps l' écran d'affichage principal, la surface tactile déterminant un plan géométrique moyen de la surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, et
- une interface entre la surface tactile et l'ordinateur, adaptée pour que l'ordinateur puisse recevoir des informations concernant la position d'un contact sur la surface tactile,
- l'ordinateur étant adapté pour déplacer un symbole de pointage sur l' écran d'affichage principal en fonction de la position du doigt sur la surface tactile, et
- la surface tactile n'étant pas superposée à une reproduction de l'image affichée sur l'écran d'affichage principal. •
L'invention se distingue d'un système utilisant un pavé tactile classique par le fait que le clavier et la surface tactile sont disposés pour que :
- l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier soit à l'arrière de la touche du clavier située le plus à l'avant du clavier,
- l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier, orienté positivement dans le sens qui va, à l'avant du clavier, du coté du clavier ou il n'y a pas de touches vers le coté du clavier ou il y a des touches, soit compris entre 30 degrés et 135 degrés.
Dans une configuration simple, l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier est à l'arrière de toutes les touches du clavier . Toutefois il est possible par exemple de rajouter des touches sur les cotés de la surface tactile, ou de positionner la surface tactile au-dessus du clavier avec une intersection entre le plan moyen de la surface tactile et le plan moyen du clavier qui se rapproche de l'avant du clavier. L'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier est de préférence orientée suivant la dimension transverse du clavier, c'est-à-dire si le clavier est approximativement rectangulaire, suivant son coté le plus long. L'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier est de préférence orientée approximativement, c'est à dire par exemple à 30 degrés près, suivant une direction parallèle au sens de la largeur des lettres dessinées sur la partie centrale du clavier, qui correspond habituellement à la dimension transverse du clavier. Cette orientation permet à l'utilisateur faisant face au clavier et à l'écran d'affichage principal d'avoir la surface tactile face à lui, sensiblement parallèle à l'écran d'affichage principal, ce qui facilite le pointage et la mise en relation de la surface tactile avec l'écran.
L'angle choisi permet de diminuer l'encombrement de la surface tactile et donc d'utiliser une surface tactile plus grande. La diminution de l'encombrement est généralement maximale pour des angles compris entre 30 et 90 degrés lorsque la surface tactile surplombe le clavier, l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier étant à l'arrière du clavier. Toutefois la diminution de l'encombrement peut également être maximale dans des configurations ou l'angle est entre 90 et 135 degrés et ou l'intersection entre le plan moyen de la surface tactile et Ic plan moyen du clavier est plus à l'avant du clavier. Lorsque l'angle augmente à partir de 90 degrés, l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier étant à l'arrière du clavier, l'encombrement augmente progressivement tout en restant notablement inférieur à celui d'une surface tactile se trouvant dans le plan du clavier.
L'angle choisi permet de rendre Je pointage plus intuitif. Lorsque la surface tactile est à peu près parallèle à l'écran d'affichage principal, l'esprit associe plus facilement la position du doigt à la position du symbole de pointage. Un angle "idéal" est de 90 degrés, toutefois les angles allant de 45 à 135 degrés constituent une amélioration notable par rapport à une surface tactile située dans le plan du clavier. Le fait que l'encombrement soit diminué permet également d'augmenter la taille de la surface tactile ce qui est favorable à une utilisation plus intuitive. L'angle choisi permet de minimiser le déplacement des doigts entre le clavier et la surface tactile. Ce déplacement est minimisé pour des angles d'environ 60 degrés mais reste dans tous les cas inférieur à celui qui serait nécessaire pour une surface tactile équivalente dans le plan du clavier.
La configuration exacte choisie sera en général un compromis entre les différents objectifs de minimisation de l'encombrement, caractère intuitif du pointage et minimisation des déplacement des doigts entre le clavier et la surface tactile. Un angle de 60 degrés environ est par exemple un bon compromis. Des angles excessivement ouverts nécessitent un mouvement important du doigt qui est à éviter. De préférence l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier est donc compris entre 30 degrés et 110 degrés. Une solution facilitant la mise en correspondance de la surface tactile avec l'écran d'affichage principal est que la surface tactile soit sensiblement verticale, l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier étant par exemple de 85 à 95 degrés. Une solution favorisant la limitation du mouvement nécessaire du doigt de l'utilisateur est d'utiliser une surface tactile surplombant le clavier, l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier étant par exemple de 30 à 85 degrés. Cette position permet un passage plus facile du clavier vers la surface tactile et vice-versa, pour les doigts de l'utilisateur amené à alterner la frappe de caractères et le pointage. Contrairement au cas du pavé tactile, la surface tactile suivant l'invention doit de préférence être adaptée pour détecter la position d'un doigt dont l'ongle seul est au contact de la surface tactile. En effet, s'il était nécessaire d'amener la pulpe du doigt au contact d'une surface proche de la verticale, ceci occasionnerait une forte contorsion du doigt ou de la main de l'utilisateur, non conforme aux objectifs ergonomiques de l'invention.
De préférence, la surface tactile est solidaire du clavier, et la liaison entre le clavier et la surface tactile est adaptée pour que l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier soit compris entre 30 degrés et 135 degrés, et pour que la surface tactile soit du coté du clavier ou se trouvent les touches du clavier.
La surface tactile est de préférence liée mécaniquement au clavier par une liaison fixe ou réglable. Le fait que la surface tactile soit liée au clavier permet à l'utilisateur de s'habituer à la position relative de la surface tactile et du clavier et d'acquérir les automatismes permettant de pointer rapidement à l'aide de la surface tactile. De même que l'utilisateur expérimenté peut taper un texte pratiquement sans regarder le clavier, il doit pouvoir pointer presque sans regarder la surface tactile, et passer du pointage à la frappe sans avoir à regarder la surface tactile. Ceci n'est possible que si la position de la surface tactile est bien définie par rapport au clavier. Si celle-ci est sans cesse modifiée lorsque l'utilisateur déplace son clavier, les automatismes nécessaires ne peuvent pas aisément être acquis. De plus le clavier fournit une base solide à la surface tactile qui sans cela devrait être fixée par l'intermédiaire d'une seconde base sur la table de travail, ce qui n'est pas favorable en termes d'encombrement.
La liaison peut être réglable, par exemple la surface tactile peut être mobile en rotation autour d'un axe permettant de replier la surface tactile sur le clavier pour faciliter le rangement de l'ensemble. Dans ce cas il se peut que dans certaines positions pouvant être atteintes, par exemple en position repliée, l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier ne soit pas compris entre 30 degrés et 125 degrés. Mais pour au moins une position pouvant être atteinte l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier doit être compris entre 30 degrés et 125 degrés. Toutefois l'invention est plus simple et moins coûteuse à réaliser si la liaison est fixe. De plus cette solution simplifie l'adaptation de l'utilisateur à l'ensemble clavier-surface tactile. Un système pouvant être comparé à l'invention est un ordinateur portable à écran tactile utilisé avec un projecteur, l'écran de projection pouvant être considéré comme écran d'affichage principal et l'écran d'affichage tactile de l'ordinateur portable constituant un écran d'affichage secondaire. Un tel système n'a pas pour objectif la réalisation d'un poste de travail ergonomique comme c'est le cas de l'invention. L'invention s'en distingue par le fait que la surface tactile n'est pas superposée à une reproduction de l'image affichée sur l'écran d'affichage principal. De préférence, aucune fenêtre informatique affichée sur l'écran d'affichage principal n'est reproduite sur l'écran d'affichage secondaire. De préférence, aucune partie de l'écran d'affichage principal n'est reproduite sur l'écran d'affichage secondaire. L'invention se distingue également d'un ordinateur portable à écran tactile utilisé avec un projecteur par le fait que dans un tel système l'utilisateur qui utilise l'ordinateur portable pour pointer le fait normalement en regardant l'écran de l'ordinateur portable, le système n'étant pas adapté pour que l'utilisateur puisse pointer sur l'ordinateur portable tout en regardant l'image projetée.
Ces caractéristiques de l'invention permettent d'utiliser la surface tactile comme un dispositif de pointage sans reproduire inutilement une image déjà visible sur l'écran d'affichage principal. Il devient donc possible d'utiliser la surface tactile en optimisant l'image superposée à cette surface en fonction d'objectifs ergonomiques et économiques. L'écran d'affichage secondaire peut être supprimé ou simplifié, ce qui diminue le coût. En outre la forte luminosité de l'écran d'un ordinateur portable est mauvaise pour les yeux de l'utilisateur et lui fait largement perdre le bénéfice de l'utilisation d'un écran d'affichage principal distant. La suppression ou la simplification de l'écran d'affichage secondaire permet d'éviter cet inconvénient.
Si l'écran d'affichage secondaire reste utilisé, il forme avec la surface tactile un écran tactile. Il sera utilisé dans le cadre de l'invention pour afficher des éléments utiles au pointage et facilement repérables par un utilisateur regardant très peu l'écran d'affichage secondaire et se concentrant sur l'écran d'affichage principal. Par exemple, un symbole de suivi destiné à reproduire le mouvement du symbole de pointage sera affiché sur l'écran d'affichage secondaire. Pour être facilement repérable ce symbole de suivi sera différent du symbole de pointage utilisé sur l'écran principal. En particulier, il est souhaitable que le rapport entre la surface du symbole de suivi et la surface de l'écran tactile soit au moins deux fois supérieur au rapport entre la surface du symbole de pointage et la surface de l'écran d'affichage principal.
L'invention concerne aussi bien un système informatique complet comprenant un ordinateur, un écran d'affichage principal, un clavier et une surface tactile, qu'un dispositif d'entrée de données utilisé dans le système informatique complet, constitué par la surface tactile et le clavier solidaires l'un de l'autre, associés à des interfaces informatiques et si nécessaire à un support informatique sur lequel sont enregistrées des instructions chargeables par un processeur. L'invention concerne également une surface tactile montée sur un support adapté pour être utilisée dans le dispositif. Dans le cas ou un écran d'affichage secondaire, superposé à la surface tactile, est utilisé pour afficher des informations utiles au pointage, l'ensemble comprenant par le clavier et la stirface tactile est par exemple caractérisé par les faits suivants:
- il comprend un écran d'affichage secondaire superposé à la surface tactile, l'écran d'affichage secondaire et la surface tactile formant ensemble un écran tactile, - il est adapté pour afficher sur l'écran tactile un symbole de suivi, et pour déplacer le symbole de suivi de manière à ce que sa position suive les déplacements d'un doigt sur la surface tactile à l'intérieur d'une zone de pointage,
- il est adapté pour afficher un fond uniforme sur la zone de pointage de l'écran tactile, à l'exception du symbole de suivi,
- la zone de pointage est rectangulaire et couvre au moins la moitié de la surface de l'écran tactile. Ces conditions définissent un type d'affichage, à savoir un symbole de pointage, de préférence lumineux, se détachant sur un fond uniforme, de préférence sombre. Ce type d'affichage permet de transmettre à un utilisateur les informations utiles au pointage, sans que celui-ci doive se concentrer sur l'écran d'affichage secondaire pour les repérer.
Toutefois ce type d'affichage, bien que typique, n'est pas le seul possible et diverses variations peuvent être utilisées.
Un problème se présentant dans le cadre de l'invention est qu'il est souhaitable à la fois de pouvoir: a) - "reprendre" le symbole de pointage comme on reprendrait une souris d'ordinateur, sans perturber immédiatement sa position; b) - "pointer" instantanément des points éloignés de l'écran d'affichage, en positionnant correctement le doigt sur la surface tactile, comme on peut le faire à l'aide d'un stylet sur des écrans tactiles courants.
Ce problème se présente dans la cadre de l'invention parce que le pointage "instantané" ne peut pas être précis du fait de la non-superposition de l'écran d'affichage principal sur la la surface tactile, et parce que le pointage "instantané" de points éloignés de l'écran d'affichage principal fait partie des avantages majeurs de l'invention par rapport à un pavé tactile ou une souris d'ordinateur. Il est donc essentiel de concilier les objectifs (a) et (b) dans le cadre de la présente invention.
Dans le cas ou un écran d'affichage secondaire est utilisé, un élément de la solution consiste en l'utilisation d'un symbole de suivi affiché sur l'écran d'affichage secondaire et d'un moyen de contrôle adapté pour : a) lorsque le contact sur l'écran tactile est déplacé progressivement sans interruption du contact, déplacer le symbole de suivi de manière à suivre le déplacement du contact, b) lorsque le contact sur l'écran tactile est interrompu puis rétabli, alors: i) laisser le symbole de suivi immobile si le point de rétablissement en lequel le contact est rétabli est dans une zone de reprise associée à Ia position du symbole de suivi; la zone de reprise ayant une surface inférieure au quart de la surface de l'écran tactile et supérieure à 1 millimètre carré. ii) positionner le symbole de suivi à proximité du point de rétablissement si le point de rétablissement est hors de la zone de reprise associée à la position du symbole de suivi.
De cette manière le symbole de suivi apparaît comme un élément que l'on peut "saisir" comme une souris pour ensuite le déplacer progressivement (cas ou le point de rétablissement est dans la zone de reprise), mais que l'on peut également déplacer instantanément. De préférence la zone de reprise fait au moins un centimètre carré et pour un utilisateur peu expérimenté elle peut faire par exemple 10 cm2. Elle coïncide de préférence avec le symbole de suivi mais peut également, par exemple, être centrée sur le symbole de suivi tout en étant plus grande. Il faut noter que dans le cas (a) le symbole de suivi suit le déplacement du contact mais ne coïncide pas nécessairement avec le contact. Sur l'écran d'affichage principal, il est alors souhaitable que la position du symbole de pointage dépende uniquement de la position du symbole de suivi (et non de la position du contact sur l'écran tactile). De cette manière, il est possible pour l'utilisateur de "reprendre" le symbole de pointage sans que le simple fait de loucher l'écran tactile déplace systématiquement ce symbole de pointage.
Ce moyen de contrôle adapté est particulièrement intéressante lorsque l'écran tactile est proche de la verticale et distinct de l'écran d'affichage principal, toutefois il peut être utilisée indifféremment avec un écran tactile horizontal. Il peut également être utilisé dans un système ou l'écran tactile constitue aussi l'écran d'affichage secondaire, comme un "tablet PC" ou un assistant personnel. Dans ce cas il peut permettre d'utiliser le doigt pour pointer, dans des systèmes utilisant habituellement un stylet: en effet le stylet est utilisé pour sa précision, et le moyen de contrôle adapté permet un fonctionnement satisfaisant malgré une précision absolue du pointage qui est plus faible. Plutôt que d'utiliser un écran d'affichage secondaire, il est possible d'utiliser une surface tactile qui n'est superposée à aucun écran d'affichage, c'est-à-dire à aucun écran affichant une image modifiable au cours du temps. Dans ce cas, le dispositif réalisé est particulièrement économique. Toutefois il reste nécessaire de résoudre le même problème que précédemment, à savoir pouvoir "reprendre" le symbole de pointage et "pointer" instantanément des points éloignés. Le symbole de pointage peut avoir le comportement recherché sans qu'il soit nécessaire d'afficher un symbole de suivi. Le problème est résolu, avec ou sans affichage secondaire, par un moyen de contrôle d'affichage principal adapté pour: a) lorsque un contact sur la surface tactile est déplacé progressivement sans interruption du contact, déplacer un symbole de pointage sur un écran d'affichage principal, de manière à suivre sur l'écran d'affichage principal le déplacement d'un point d'affichage associé au contact, dépendant uniquement de la position du contact, b) lorsque le contact sur la surface tactile est interrompu puis rétabli, alors: i) laisser le symbole de pointage immobile si le point de rétablissement en lequel le contact est rétabli est dans une zone de reprise associée à la position du symbole de pointage; la zone de reprise ayant une surface inférieure au quart de la surface de l'écran tactile et supérieure à 1 millimètre carré, ii) positionner le symbole de pointage à proximité du point d'affichage associé au point de rétablissement si le point de rétablissement est hors de la zone de reprise associée à la position du symbole de pointage.
De cette manière Ic symbole de pointage apparaît comme un élément que l'on peut "saisir" comme une souris pour ensuite le déplacer progressivement (cas ou le point de rétablissement est dans la zone de reprise), mais que l'on peut également déplacer instantanément. De préférence la zone de reprise fait au moins un centimètre carré et pour un utilisateur peu expérimenté elle peut faire par exemple 10 cm2. En principe, chaque point de l'écran d'affichage principal est associé à un point de la surface tactile et la zone de reprise entoure un point de la surface tactile qui est associé au point de l'écran d'affichage principal qui est pointé par le pointeur.
Ce moyen de contrôle adapté est particulièrement intéressant lorsque la surface tactile est proche de la verticale et non superposée à un écran d'affichage, toutefois il peut être utilisée indifféremment avec une surface tactile horizontal bien que le pointage direct devienne alors moins intuitif. Il peut également être utilisé dans un système ou la surface tactile est superposée à l'écran d'affichage principal regardé par l'utilisateur, comme un "lablet PC" ou un assistant personnel. Dans ce cas il permet d'utiliser le doigt pour pointer, dans des systèmes utilisant habituellement un stylet: en effet le stylet est utilisé pour sa précision, et le moyen de contrôle adapté permet un fonctionnement satisfaisant malgré une précision absolue du pointage qui est plus faible.
La surface tactile peut être des différents types mentionnés plus haut. De préférence elle doit être adaptée pour détecter la position d'un contact lorsque ce contact a lieu entre l'ongle d'un doigt et la surface tactile. C'est le cas des écrans tactiles résistifs 4 fils ou 5 fils, ou des surfaces tactiles à détection de force. C'est également le cas des capteurs de proximité qui détectent un doigt proche de la surface tactile, que le contact ait lieu à l'aide d'un ongle ou à l'aide de la pulpe du doigt. Toutefois ce n'est pas le cas des capteurs capacitifs utilisés dans les pavés tactiles de la plupart des ordinateurs portables.
Une surface tactile résistive a l'avantage d'être peu coûteuse. Toutefois, une pression non négligeable doit être exercée sur la surface tactile pour que celle-ci détecte la présence d'un doigt, ce qui peut générer une fatigue du doigt lorsque la surface tactile est utilisée intensément. Une surface tactile à détection de proximité présente l'avantage de ne pas nécessiter cette pression. Le doigt doit simplement toucher la surface tactile, sans qu'il soit nécessaire d'exercer une pression.
Il peut être avantageux d'utiliser une surface tactile sensible capable non seulement de détecter la position d'un contact, mais également la pression exercée par le doigt au point de contact. En effet, le clic de souris peut " alors être remplacé par une pression exercée sur la surface tactile et dépassant un seuil prédéterminé. Le fait d'exercer une pression étant un geste simple pour l'utilisateur, cette solution est avantageuse par rapport à une simulation du clic de souris par d'autres moyens. Une surface tactile à détection de force peut par exemple être utilisée. Celte surface tactile permet la mesure de la force exercée par le doigt au point de contact et a l'avantage d'être également peu coûteuse, et de pouvoir être courbe sans grandes difficultés de fabrication.
La surface tactile utilisée comporte de préférence une plaque "matérielle" matérialisant la position de la surface tactile, de manière à ce que l'utilisateur touchant la surface tactile ait un retour tactile immédiat lors du contact du doigt avec la surface tactile. Toutefois une surface tactile immatérielle, ne permettant pas ce retour, peut également être utilisée. Elle doit être solidaire du clavier, donc les éléments permettant la détection (cadre de faisceaux infrarouges par exemple) doivent être mécaniquement solidarisés du clavier. En général, si un écran d'affichage secondaire est superposé à la surface tactile, il comporte nécessairement une surface matérielle générant un retour tactile et que l'on considère comme faisant partie de la surface tactile. L'utilisation d'une surface, tactile immatérielle n'est donc possible qu'en l'absence d'un écran d'affichage secondaire superposé à la surface tactile.
L'invention permet d'utiliser une surface tactile par exemple verticale et pointée par exemple avec l'ongle du doigt. L'encombrement horizontal d'une telle surface tactile est faible ce qui permet d'utiliser une surface de plus grandes dimensions, sa position presque parallèle à l'écran d'affichage principal est favorable à une mise en relation intuitive de la surface tactile avec l'écran d'affichage principal, et elle est pointée avec l'ongle du doigt ce qui rend son utilisation plus agréable. Par ailleurs il est souhaitable d'optimiser la taille de la surface tactile pour faciliter le mouvement des doigts, indépendamment de la taille de l'écran d'affichage principal optimisée pour en faciliter l'observation. Cette optimisation conduit à une surface tactile habituellement plus petite que l'écran d'affichage principal et néanmoins nettement plus grande que les pavés tactiles de petite taille utilisés par exemple sur des ordinateurs portables. La diagonale de la surface tactile est de préférence supérieure à 12 cm et de préférence inférieure à 35 cm. Pour que le passage des doigts du clavier vers la surface tactile soit aisé la surface tactile doit être suffisamment proche des touches du clavier. La plus petite distance entre la surface tactile et une touche du clavier doit donc de préférence être inférieure à 10 cm. La dislance entre le centre du clavier et le centre de la surface tactile doit de préférence être inférieure à 25 cm. Les claviers les plus ergonomiques sont relativement larges, alors que la surface tactile doit garder des dimensions raisonnables pour que chaque point de la surface soit facilement atteint. Ceci conduit à une surface tactile dont la largeur est inférieure à 85% de la largeur du clavier, et de préférence inférieure à 70% de la rargeur du clavier.
Pour faciliter le contact entre la surface tactile et le clavier, la surface tactile peut être recourbée vers le bas. Pour rendre l'ensemble stable y compris lorsque l'utilisateur exerce une pression sur la surface tactile, le clavier peut être lesté. De même qu'un retour tactile est souhaitable de la part de la surface tactile, un retour tactile de bonne qualité est souhaitable de la part du clavier. Le meilleur retour tactile est obtenu avec un clavier comportant des touches montées sur des ressorts. La possibilité d'utiliser un tel clavier est un avantage important de l'invention par rapport à un ensemble clavier-surface tactile utilisant une surface tactile unique de type "multitouch" qui joue à la fois le rôle de clavier et de dispositif de pointage.
En général une surface tactile matérielle est fixée sur un support. Le coté du support opposé à la surface tactile est de préférence non tactile, de manière à éviter que des contacts accidentels sur ce coté ne génèrent des mouvements involontaires du symbole de pointage.
L'invention n'est pas limitée à une surface tactile montée d'origine sur un clavier, mais comprend également une surface tactile équipée d'un support adapté pour y fixer un clavier, qui une fois assemblée avec le clavier permet d'obtenir l'ensemble clavier - surface tactile suivant l'invention. Par exemple, la surface tactile est utilisée pour positionner sur l'écran d'affichage un symbole de pointage en un point dépendant de la position du contact sur la surface tactile, et l'activation des boutons d'une souris est simulée par un autre moyen. Dans ce cas on peut ajouter au clavier des touches spécialisées pour remplacer les boulons de la souris. De préférence ces touches spécialisées sont montés sur ressorts avec un débattement relativement ample comme sur un clavier traditionnel, parce que ce type de bouton procure un retour plus agréable à l'utilisateur et nécessite moins d'effort que les boutons traditionnels d'une souris, à débattement plus faible. De préférence ces touches spécialisées sont installées à gauche du clavier pour être trouvées facilement et intuitivement par l'utilisateur. Notons que dans un clavier pour gaucher ces touches seraient plutôt à droite, la main la plus habile devant être utilisée pour pointer. L'acti vation du bouton d'une souris "virtuelle" peut également être simulé à partir de gestes réalisés par l'utilisateur sur la surface tactile, à l'aide d'un ou plusieurs doigts.
Par exemple lorsque l'utilisateur utilise un seul doigt, l'ordinateur peut attendre que la position du contact sur la sxirface tactile se stabilise pendant un intervalle de temps prédéterminé. Il affiche alors sur l'écran d'affichage principal au moins une fenêtre accessoire à proximité du symbole de pointage. En amenant le symbole de pointage sur une de celte fenêtre et en l'y arrêtant, l'utilisateur génère par exemple un clic de souris. L'ordinateur ramène alors le symbole de pointage au point sur lequel il s'était initialement stabilisé. Il est souhaitable, dans le cadre de l'invention, que la fenêtre accessoire soit dessinée par l'ordinateur à l'intérieur de l'image de la zone de reprise sur l'écran d'affichage principal. De cette manière, après retour du symbole de pointage au point sur lequel il s'était initialement stabilisé , l'utilisateur n'a pas à déplacer son doigt pour "reprendre" le symbole de pointage.
Suivant un autre exemple, après stabilisation du contact pendant un temps prédéterminé, l'ordinateur peut simplement afficher un symbole signalant la stabilisation et détecter un geste prédéterminé, par exemple l'utilisateur peut avoir à dessiner un "8" pour déclencher un clic de souris.
Il est toutefois plus avantageux d'utiliser plusieurs doigts. De préférence le dispositif selon l'invention peut comprendre un moyen de simulation adapté pour :
- lorsque un premier est au contact de la surface tactile, déplacer le symbole de pointage pour suivre le mouvement de ce doigt,
- lorsque un deuxième doigt arrive au contact d'une zone de second contact de l'écran tactile, simuler l'enfoncement d'un bouton d'un dispositif de pointage et/ou générer un premier indicateur de changement d'état. De préférence, la zone de second contact dépend de la position du premier doigt et ne comprenant pas la position du premier doigt.
Dc préférence, le moyen de simulation est adapté pour;
- lorsque le premier et le deuxième doigt sont déplacés conjointement sur la surface tactile, déplacer le symbole de pointage pour suivre le mouvement conjoint des premier et deuxième doigts. De préférence, le moyen de simulation est également adapté pour:
- lorsque le deuxième doigt cesse d'être au contact de la surface tactile, simuler le relâchement du bouton d'un dispositif de pointage et/ou générer un second indicateur de changement d'état.
De cette manière, le bouton d'une souris est simulé de manière très naturel par un contact du second doigt avec la surface tactile qui se substitue au contact d'un doigt avec le bouton de la souris. Ceci nécessite de préférence une surface tactile "multitouch" apte à détecter séparément les positions de deux doigts. Un aspect de l'invention vise à réaliser ceci au moyen d'une surface tactile ne délectant pas séparément la position de deux doigts, mais pouvant détecter la position moyenne des deux doigts. Suivant cet aspect de l'invention, le dispositif de l'invention est adapte pour déterminer l'existence et la position moyenne d'un contact ente un doigt et la surface tactile, et comprend une série d'instructions enregistrées sur un support et chargeables par un processeur, adaptées pour que le processeur exécute une procédure informatique comprenant: a) une première étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, b) une deuxième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, c) si lors deux étapes un contact existe sur la surface tactile et si lors de la seconde étape la position moyenne du conlacl est dans une zone d'activation dépendant de la position moyenne de contact lors de la première étape et ne comprenant pas la position moyenne du contact lors de la première étape, une étape de simulation de l'activation d'un bouton d'un dispositif de pointage et/ou de génération d'un indicateur de changement d'état.
Dc préférence, la zone d'activation est adaptée pour être atteinte lorsque, un premier doigt étant au contact de la surface tactile lors de la première étape de détermination, un deuxième doigt arrive au contact de la surface tactile lors de la deuxième étape de détermination, ce qui déplace la position moyenne du contact, qui est constitué par les deux doigts lors de la seconde étape de détermination. Par exemple la zone d'activation peut être un anneau de dimensions adaptées compte tenu de l'écarlemenl entre l'index et le majeur, pour que ces deux doigts puissent être utilisés. De préférence, la zone de continuité est un disque entourant la position moyenne du contact lors de la première étape de détermination, le rayon du disque étant adapté pour que lors d'un déplacement du doigt sur la surface tactile sans rupture du contact et à une vitesse usuelle pour l'utilisateur, et compte tenu de l'intervalle de temps entre deux étape de déterminations, la position moyenne du contact reste dans la zone de continuité. Il n'y a donc pas détection simultanée de la position de deux doigts: en effet chaque étape de détermination ne permet de détecter qu'une seule position, correspondant à une position moyenne de contact si le contact comprend deux points de contact comme c'est le cas avec deux doigts lors de la seconde étape de détermination. On ne détecte pas un second doigt indépendamment d'un premier comme ce pourrait être le cas avec un système « multi-touch ». Simplement, on exploite le fait que l'utilisation d'un second doigt entraîne un déplacement rapide de la position moyenne du contact, sans interruption du contact, en direction d'une nouvelle position moyenne. On délecte ce changement, qui est facilement distingué d'un déplacement d'un seul doigt (plus lent), ou d'une interruption du contact qui sera suivie d'une reprise du contact en un autre point.
Cette procédure informatique est particulièrement intéressante lorsque la surface tactile est proche de la verticale et non superposée à un écran d'affichage, toutefois elle peut être utilisée indifféremment avec une surface tactile horizontal bien que le pointage direct devienne alors moins intuitif. Cette procédure peut également être utilisée dans un système ou la surface tactile est superposée à l'écran d'affichage principal regardé par l'utilisateur, comme un "tablet PC" ou un assistant personnel. Dans ce cas elle permet de simuler l'activation d'un bouton d'une souris, sans perturber excessivement l'opération de pointage et sans utiliser de stylet actif ou passif. Elle conserve donc un grand intérêt dans ce type de dispositifs.
Lorsque le second doigt est amené au contact, il peut exister un court intervalle de temps pendant lequel le contact n'est pas parfaitement établi et la position moyenne détectée n'est ni dans la zone d'activation ni dans la zone de continuité. Pour résoudre ce problème, une solution consiste alors à « ignorer » la mesure menant à une position moyenne de contact située dans une zone intermédiaire entre la zone de continuité et la zone d'activation. Donc, dans une version préférée du procédé, si lors deux étapes de détermination un contact existe sur la surface tactile, et si lors de la seconde étape de détermination la position moyenne du contact est dans une zone intermédiaire séparant la zone de continuité de la zone d'activation, alors le procédé répète la deuxième étape de détermination puis utilise le résultat de la première étape de détermination et le nouveau résultat de la deuxième étape de détermination.
Lorsque le procédé simule l'activation d'un bouton, il doit pouvoir ensuite simuler la désactivation de ce boulon. Par exemple après avoir simulé l'enfoncement d'un bouton d'une souris il faut simuler le relâchement de ce bouton. À cet effet, dans la méthode suivant l'invention, l'étape de simulation et/ou de génération est de préférence suivie des étapes suivantes:
- une troisième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, - une quatrième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile,
- si lors des troisième et quatrième étapes un contact existe sur la surface tactile et si lors de la quatrième étape la position moyenne du contact est dans une zone de désactivation dépendant de la position moyenne de contact lors de la troisième mesure et ne comprenant pas la position moyenne du contact lors de la troisième mesure, une étape de simulation de la désactivation d'un bouton d'un dispositif de pointage et/ou de génération d'un indicateur de changement d'étal,
Comme dans le cas de l'activation, il peut être nécessaire d'ignorer une mesure intermédiaire menant à une position moyenne située entre la zone de continuité et la zone d'activation.
Pour obtenir un prix de revient suffisamment bas du dispositif il est utile d'utiliser une surface tactile similaire à celles décrites dans les brevets US 4,782,328 et US 7,236,162. Ceci permet une détection de proximité à faible coût. Un problème de ce genre de dispositif est la sensibilité à la lumière ambiante. Selon l'invention cette sensibilité est diminuée au moyen d'une surface tactile comprenant au moins deux caméras générant des images à partir desquelles la position d'un contact sur la surface tactile est obtenue par triangulation, et comprend une protection absorbante couvrant une zone atteinte par des rayons optiques parallèles à la surface tactile et passant par le centre de la lentille frontale d'une caméra, pour générer un fond noir sur lequel se détache un doigt au contact de la surface tactile.
Pour améliorer la qualité du fond noir, selon l'invention la protection absorbante prend la forme d'une cavité absorbante.
Pour rendre le système moins dépendant de l'éclairage ambiant, et selon l'invention, on utilise un dispositif d'éclairage auxiliaire générant une lumière diffuse dirigée de l'arrière vers l'avant de la surface tactile. Par exemple ce dispositif comporte une surface diffusante éclairée par une source d'éclairage.Toutefois il faut éviter que ce dispositif éclaire directement les protections absorbantes ou tout autre point (hormis le doigt servant au pointage) dont une caméra fait une image. A cette fin le dispositif d'éclairage comprend également une grille absorbante traversée par la lumière issue de la surface diffusante avant qu'elle ne parvienne à la surface tactile. La grille constitue un ensemble de trous adjacents traversés par la lumière, et la profondeur de ces trous détermine l'ouverture angulaire maximale des faisceaux en sortie de grille. La grille permet d'éviter, en contrôlant l'ouverture angulaire des faisceaux, que l'éclairage ne parvienne directement aux protections absorbantes. Elle est donc de préférence dimensionnée pour limiter l'ouverture angulaire des rayons lumineux, de manière à ceux que ceux-ci n'éclairent pas directement une zone vue par la caméra en l'absence d'un doigt sur la surface tactile.
Une manière de diminuer encore la sensibilité à l'éclairage ambiant est, suivant l'invention, d'utiliser un éclairage auxiliaire sensiblement monochromaliqυe, et de disposer, sur le chemin des faisceaux lumineux allant vers le capteur de chaque caméra, des filtres monochromatcurs. De cette manière la lumière extérieure est fortement atténuée par les filtres monochromateurs alors que la lumière du dispositif d'éclairage auxiliaire, après diffusion par un doigt au contact de la surface tactile, parvient intégralement au capteur. II est préférable pour une raison de coût de limiter à deux le nombre de caméras du dispositif. Par ailleurs il est souhaitable que l'on puisse détecter un doigt avant qu'il arrive au contact de la surface tactile. Selon l'invention ceci est facilité si la distance entre une caméra et la zone utile de la surface tactile étant au moins le quart du coté de la zone utile de la surface tactile. L'invention a pour objectif de faciliter le pointage bien que la surface tactile ne soit pas directement superposée à l'écran d'affichage. Selon l'invention, ceci est facilité par l'utilisation d'un symbole de pré-pointage. La zone située devant la surface tactile est divisée en une zone de contact et une zone de détection, un doigt se trouvant dans la zone de contact étant considéré comme au contact de la surface tactile, un doigt se trouvant dans la zone de détection étant détectable mais n'étant pas considéré comme au contact de la surface tactile. La zone de contact est adaptée pour que tout doigt au contact de la surface tactile soit dans la zone de contact. Le dispositif suivant l'invention comporte de préférence un moyen de contrôle adapté pour:
- lorsque un doigt est dans la zone de détection, afficher un symbole de pré-pointage sur un écran d'affichage principal, en un point dépendant de la position du doigt, le symbole de pré-pointage étant différent d'un symbole de pointage, le symbole de pointage étant affiché simultanément mais n'étant pas déplacé en fonction de la position du doigt dans la zone de détection,
- lorsque le doigt parvient à la zone de contact, supprimer le symbole de pré-pointage et déplacer le symbole de pointage en fonction de la position du doigt sur la zone de contact.
Ceci permet de pré- visualiser à l'aide du symbole de pré-pointage une position prévisionnelle du pointeur, ce pendant le mouvement du doigt vers la surface tactile, et donc de faciliter ce mouvement par la rétroaction effectuée par l'utilisateur sur son doigt en fonction de la position du symbole de pré -pointage.
Le moyen de contrôle peut comporter un processeur de traitement du signal et/ou un support d'enregistrement sur lequel sont enregistrées des instructions exécutables par un processeur et permettant la réalisation d'une procédure adaptée.
Description rapide des figures.
La figure 1 représente un dispositif suivant l'invention. Les figures 2 et 3 illustrent un ensemble d'entrée de données comportant un clavier et une surface tactile. La figure 4 illustre la position de touches spécialisées du clavier. La figure 5 illustre l'utilisation d'un symbole de pointage et d'une zone de reprise. La figure 6 et la figure 7 illustrent une procédure permettant de réaliser les principes illustrés par la figure 5. La figure 8 et la figure 9 illustrent un principe d'activation de boutons virtuels d'une souris, par un utilisateur amenant plusieurs doigts au contact de la surface tactile. La figure 10 illustre la position d'un symbole de suivi et d'un indicateur de zone de contact destiné au contact par un deuxième doigt. La figure 11 et la Figure 12 montrent une procédure permettant de réaliser les principes des figures 8 et 9. La figure 13 montre un ensemble d'entrée de données comportant un clavier et une surface tactile, mais sans écran d'affichage secondaire. La figure 14 montre une surface tactile courbe et un dispositif d'affichage par balayage laser d'un écran courbe. La figure 15 montre une modification de la figure 1 dans laquelle un processeur spécialisé gère les différentes interfaces. La figure 16 montre plusieurs variations possibles du dispositif d'entrée de données de la figure 13. La figure 17 montre d'autres variations de ce dispositif. La figure 18 montre en vue de face un dispositif de pointage amélioré. La figure 19 montre une coupe centrale de ce dispositif de pointage. La figure 20 montre l'image d'un doigt sur le capteur d'une caméra. La figure 21 montre le principe d'un calcul de triangulation. La figure 22 montre une procédure permettant de positionner un symbole de pré-pointage. La figure 23 illustre le cas ou deux doigts arrivent simultanément au contact de la surface tactile. La figure 24 illustre le principe d'utilisation du symbole de pré-pointage. La figure 25 illustre une modification du dispositif de la figure 19 dans laquelle la surface tactile est penchée. La figure 26 illustre le remplacement d'un capteur de force par un dispositif à ressort.
Description des exemples de réalisation.
con figuration phy s ique :
La figure 1 représente un mode de réalisation du dispositif selon l'invention. Un ordinateur 212, comprenant un processeur, une mémoire, et diverses interfaces, contrôle un écran d'affichage principal 201 par l'intermédiaire d'une carte graphique 211, reçoit des information d'une surface tactile 213 par l'intermédiaire d'un contrôleur d'écran tactile 210, contrôle un écran d'affichage secondaire 215 par l'intermédiaire d'une carte graphique 209, et reçoit des informations du clavier 206. L'écran d'affichage secondaire 215 et la surface tactile 213 forment ensemble un écran tactile ayant à la fois une fonction d'affichage secondaire et une fonction de détection des contacts sur la surface tactile. La surface tactile 213 répond aux sollicitations des doigts de la main 203 d'un utilisateur dont l'oeil 202 observe l'écran d'affichage principal 201 mais peut également regarder le clavier 206 ou l'écran d'affichage secondaire 215. Une procédure de pointage schématisée sur les figures 4 et 5, conservée dans une mémoire de l'ordinateur 212 après avoir été copiée par exemple depuis un CD-ROM, est mise en oeuvre par l'ordinateur 212 pour contrôler la position d'un symbole de pointage sur l'écran d'affichage principal 201 et la position d'un symbole de suivi 214 sur l'écran d'affichage secondaire 215, en fonction des informations reçues par l'ordinateur 212 depuis la surface tactile 213 par l'intermédiaire de l'interface 210. Le symbole de suivi a pour rôle de se placer à la dernière position connue du doigt sur l'écran tactile, de manière à permettre à l'utilisateur de repérer rapidement cette position s'il veut y replacer son doigt pour "reprendre" à la fois le symbole de suivi et le symbole de pointage.
La figure 2 et la figure 3 montrent plus en détail le dispositif d'entrée de données constitué par le clavier et l'écran tactile. La surface tactile 213 est réalisée par exemple avec la technologie "résistive 4 fils" qui permet de délecter un contact effectué par l'ongle de l'utilisateur. Elle comprend une plaque en verre et une membrane en polymère, la plaque étant séparée de la membrane par des billes de polymère, par exemple. L'ensemble est représenté par l'élément 204 dont la face externe constitue la surface tactile 213. L'écran d'affichage secondaire 215 est par exemple un écran à cristaux liquides, également représenté de manière simplifiée. La surface tactile 213 et l'écran d'affichage secondaire 215 sont maintenus enlie une plaque support 905 et un cadre 901. Un joint souple 903 sépare la surface tactile de l'écran d'affichage secondaire. Un joint souple 908 sépare l'écran d'affichage secondaire de la plaque support 905. Un cadre 904 permet de fixer la distance entre le cadre 901 et la plaque 905. Les cadres 901 et 904 peuvent être fixés sur la plaque 905 par collage ou par vissage. La plaque 905 est elle-même fixée par collage ou vissage sur une pièce 906 se terminant par un angle aigu et comprenant une partie plate sur laquelle vient se fixer le clavier, par collage ou vissage. La figure 2 représente l'ensemble en coupe et la figure 3 le représcnte en vue de face, différents types de hachures ayant été utilisés pour distinguer différents éléments. La plaque 905 peut être de préférence en acier, ainsi que l'élément 906, afin de minimiser les déformations à épaisseur constante.
L'ensemble représenté sur la figure 2 peut être démonté en un clavier fixé sur une pièce 906, et une surface tactile fixée sur la pièce 905, pour en faciliter le transport.
La largeur LT de la surface tactile est de préférence inférieure à 85% de la largeur LC du clavier. La diagonale DT de la surface tactile est de préférence comprise entre 15 et 35 cm. L'angle Q entre le plan du clavier et le plan de la surface tactile est de préférence inférieur à 85 degrés et supérieur à 30 degrés. Un exemple typique de dimensionnement est par exemple LT=21 cm, DT=27 cm, LG=42 cm, θ =60 degrés. L'angle Q peut toutefois aller jusqu'à 125 degrés dans le cadre de l'invention, bien que des angles trop élevés soient peu avantageux. L'intersection entre le plan du clavier et le plan de la surface tactile est à l'arrière du clavier, l'avant correspondant à la direction vers laquelle regarde la surface tactile.
La figure 4 représente le clavier seul, en vue de dessus. Le clavier peut comporter des touches spécialisées 401 et 402 représentées figure 4, de préférence situées à gauche du clavier et de surface supérieure à la surface des touches représentant des lettres. Ces touches spécialisées remplacent les boutons gauche et droit de la souris et permettent donc de simuler l'activation des boutons de la souris, le pointage lui-même étant effectué sur la surface tactile. La lettre À a été représentée également sur une des touches du clavier de la figure 4. Le sens de la largeur de cette lettre correspond normalement à la dimension transverse du clavier. L'intersection 403 entre le plan de la surface tactile et le plan du clavier est également dessinée sur la figure 4. Elle est orientée suivant la dimension transverse du clavier qui est aussi le sens de la largeur de la lettre Λ.
méthode de reprise du symbole de pointage:
La figure 5 illustre le principe d'utilisation du symbole de pointage et du symbole de suivi. Dans le cadre (a) l'utilisateur touche l'écran tactile avec son doigt 301. Un symbole de suivi 319 constitué par un disque clair est affiché sur l'écran tactile, centré sur le point de contact. Le symbole de pointage 302 est en même temps affiché en un point correspondant de l'écran d'affichage principal. Ensuite l'utilisateur cesse de toucher l'écran tactile et le symbole de suivi reste en place comme indiqué par le cadre (b). De même le symbole de pointage 302 reste en place. L'utilisateur va ensuite toucher à nouveau l'écran tactile, soit dans le but de reprendre puis déplacer le symbole de pointage (cadre c) soit dans le but d'amener directement le symbole de pointage à une nouvelle position (cadre d).
Dans le cas illustré par le cadre (c), l'utilisateur touche l'écran tactile en un point qui est à l'intérieur de la zone de reprise coïncidant avec le disque 319. Le symbole de suivi et le symbole de pointage ne bougent pas, bien que l'utilisateur ait touché le bord du disque 319 et non son centre. Si l'utilisateur déplace ensuite son doigt, le symbole de suivi et le symbole de pointage suivront son mouvement. Dans le cas illustré par le cadre (d) l'utilisateur touche un point de l'écran tactile qui est en dehors de la zone de reprise. Le symbole de suivi est immédiatement centré sur ce nouveau point et le symbole de pointage est également amené immédiatement vers un point correspondant de l'écran d'affichage principal. M w
-17-
L'utilisatcur peut donc reprendre Ic symbole de pointage sans le déplacer, en touchant approximativement un le point correspondant de l'écran tactile, une certaine marge d'erreur, définie par la zone de reprise, étant tolérée. Il peut également pointer directement un point éloigné. Il bénéficie ainsi à la fois des avantages de la souris (reprise en main) et d'un avantage propre à l'écran tactile (pointage direct). En outre, le symbole de pointage se comporte comme un élément matériel que l'on déplacerait sur l'écran tactile avec un doigt. Son utilisation est donc simple et intuitive.
Les figures 6 et 7 représentent une procédure par laquelle l'ordinateur gère la zone de reprise. La figure 6 représente schémaliquemcnl la procédure de pointage qui tourne en tâche de fond sur l'ordinateur 212 et qui gère le pointage. La figure 7 représente la même procédure. La figure 7 indique le principe de chaque étape alors que la figure 6 détaille les opérations affectant des variables utilisées par le programme.
Pcour = ( XPcour, YPcour ) représente la position du symbole de suivi sur la surface tactile. XPcour est l'abscisse (coordonnée horizontale) et YPcour est l'ordonnée (coordonnée verticale) d'un point sur la surface tactile, le point Pcour=(l,l) étant le coin inférieur gauche de la surface tactile et le point Pcour=(Ntac, Ntac) étant le coin supérieur droit de la surface tactile. Si Xpoint, Ypoint sont les coordonnées en pixels du point pointé par le symbole de pointage sur l'écran d'affichage principal 201, alors Xpoint et Ypoinl sont proportionnels à XPcour et YPcour. Plus précisément, si XPcour et YPcour sont entiers et varient de 1 à Ntac , et si les dimensions horizontales et verticales de l'écran d'affichage principal, en pixels, sont respectivement Nhoriz et Nvert, alors on a Xpoint=XPcour.Nhoriz/Ntac et Ypoint=YPcour.Nvert/Ntac. Si les coordonnées sur l'écran d'affichage secondaire diffèrent des coordonnées retournées par la surface tactile qui varient de 1 à Ntac, il peut aussi être nécessaire de calculer la position (TXPcour, TYPcour) avec TXPcourt=XPcour.TNhoriz/Ntac et TYpoint=YPcour.TNvert/Ntac ou TNhoriz, TNvert sont les dimensions horizontales et verticales de l'écran d'affichage secondaire, en pixels. Le symbole de suivi est alors positionné sur l'écran d'affichage secondaire aux coordonnées (TXPcour, TYPcour) exprimées en pixels de cet écran. Par simplification on suppose dans la suite que les coordonnées sur la surface tactile et sur l'écran d'affichage secondaire sont les mêmes. La position Pl représente la position du contact (doigt) sur la surface tactile. Pl représente donc la position d'un contact, mesurée directement sur la surface tactile, alors que Pcour représente une position du symbole de suivi calculée par la procédure de pointage. Pl comporte une coordonnée horizontale variant de 1 à Ntac et une coordonnée verticale variant de 1 à Ntac, Ic point ( 1,1) étant le coin inférieur gauche de la surface tactile et le point (Ntac, Ntac) étant le coin supérieur droit de la surface tactile. Les conventions de représentation sont donc les mêmes pour Pcour et Pl.
S représente le décalage entre la position du contact sur la surface tactile et la position du symbole de suivi.
C représente l'existence d'un contact sur la surface tactile. C=I signifie qu'il y a un contact, C=O signifie l'absence de contact. Le rayon du disque constituant la zone de reprise, mesuré dans la même unité ("pixels" de la surface tactile) que les positions Pl, est noté limite_0 et vaut par exemple Ntac/L ou L est la largeur en centimètres de la surface tactile. Ceci correspond à une zone de reprise de 1 cm de rayon.
Lorsque l'ordinateur démarre la valeur initiale de Pcour est par exemple au milieu de la surface tactile, soit XPcour=Ntac/2, YPcouι-Ntac/2. La procédure de pointage se déroule en tâche de fond comme les procédures de pointage usuelles utilisant un stylet ou une souris. La procédure démarre au début 100.
A l'étape 102 le contact et la position sont actualisés, la variable C reçoit l'état du contact, à savoir 1 si au moins un doigt est en contact avec la surface tactile, 0 sinon. La variable de position Pl contenant deux entiers reçoit la position du contact sur la surface tactile.
A l'étape 103 la procédure teste si le doigt était au contact lors de l'actualisation. L'état de la variable C est testé et suivant son état la procédure retourne au début ou continue.
A l'étape 104 la procédure de pointage teste si la position du contact, caractérisée par Pl, est dans la zone de reprise entourant la position Pcour (qui est an centre de la surface tactile au démarrage de l'ordinateur mais peut être n'importe ou sur la surface tactile par la suite). La procédure teste pour cela la norme du vecteur Pl-Pcour. Si cette norme est inférieure à la valeur limite_0 cela veut dire que Pl est dans un disque de rayon limite_0 centré autour de Pcour, ce disque constituant la zone de reprise.
- Si Pl est hors de la zone de reprise, il n'y a pas reprise de l'ancienne valeur de Pcour et donc le décalage S entre la position du symbole de suivi Pcour et la position du contact Pl est nul. La variable S représentant le décalage entre le point Pl ou se trouve le doigt de l'opérateur, et le point Pcour qui est pris en compte pour le pointage, reçoit la valeur 0 dans l'étape 113.
- si Pl est dans la zone de reprise, la valeur Pcour est reprise, donc inchangée. Le décalage entre la position du symbole de suivi Pcour et la position du contact est calculé à l'étape 105. La variable S reçoit en 105 le décalage entre la position du doigt P 1 et la position du symbole de suivi Pcour, qui, sauf si Pl=Pcour, diffère légèrement de la position Pi. « S<=Pcour-Pl » signifie que la variable S reçoit le résultat du calcul Pcour-Pl. Cette notation sera réutilisée par la suite.
L'étape 108 (décalage de la position de pointage) calcule la position du symbole de suivi Pcour en décalant la dernière position du contact Pl, du décalage S calculé à l'étape précédente. La procédure déplace alors le symbole de suivi et le symbole de pointage pour les placer respectivement au point Pcour sur l'écran tactile, et au point (Xpoint,Ypoint) correspondant sur l'écran d'affichage principal soit Xpoint=XPcour.Nlioriz/Ntac et
Ypoinl=YPcour.Nvert/Ntac. Lorsque il y a eu reprise à l'étape 104, l'existence de ce décalage matérialise la différence entre la position Pcour du symbole de suivi et la position Pl du doigt au contact de la surface tactile. En l'absence de reprise le décalage est nul.
A l'étape d'actualisation 109 la valeur de C est réactualisée et la variable Pl reçoit la position du contact retournée par la surface tactile. Le contact est ensuite testé à l'étape 110. Si C=O il y a eu rupture du contact et la procédure retourne donc à son début. Sinon la procédure revient à l'étape 108.
simulation de l'activation des boutons de la souris à l'aide de la surface tactile
Les figures 8 et 9 illustrent un principe de simulation de l'activation des boulons de la souris, utilisant plusieurs doigts. La surface tactile utilisée est par exemple xine surface tactile résistive. Ces surfaces tactiles ne peuvent pas identifier la présence de plus d'un contact. Lorsque plusieurs contacts ont lieu simultanément sur la surface, ces surfaces tactiles retournent à l'ordinateur, au moins approximativement, une moyenne des positions des différents contacts. Sur la figure 8 un doigt de l'utilisateur touche la surface tactile. Le symbole de suivi (non représenté) suit la position de ce doigt sur la surface tactile. Un symbole de pointage 302 sur l'écran d'affichage suit également la position du doigt 301. La position du doigt 301 sur la surface tactile 213 est en un point 305 indiqué par une croix 309 qui indique le centre du symbole de suivi. La valeur de position retournée par la surface tactile correspond à une position indiquée par la croix 309 superposée au point de contact 305. La position 305 est entourée par deux zones de second contact 306 et 307. On n'a pas représenté le symbole de suivi 319 de la figure 5 ni la zone de reprise qui coïncide avec ce symbole.
L'utilisateur déplace son doigt 301, suivi par le symbole de pointage 302, le spot 305 et les zones de second contact 306, 307 jusqu'à amener le symbole de pointage 302 sur l'élément de menu 303 affiché sur l'écran d'affichage. Comme représenté sur la figure 9, l'utilisateur touche alors avec son deuxième doigt le point 308 situé dans la zone de second contact 306. Ceci cause un déplacement brutal de la valeur de position détectée par la surface tactile, qui passe du point 309 de la figure 8 au point 309 de la figure 9 situé dans une zone d'activation qui est l'image de la zone 306 par une homolhétie de centre 305 et de rapport 1/2. Ce changement brutal de position est identifié par la procédure de pointage mise en oeuvre par l'ordinateur 212, qui le traduit par exemple comme un enfoncement du bouton gauche de la souris. Cet enfoncement du bouton gauche de la souris fait par exemple apparaître une fenêtre de texte 304 sur l'écran d'affichage. La position détectée par la surface tactile correspond approximativement à la moyenne des positions des deux doigts venant au contact de la surface, c'est pourquoi cette position est brutalement modifiée lorsque le deuxième doigt touche la surface tactile. Lorsque la procédure de pointage détecte renfoncement du bouton gauche de la souris elle laisse le symbole de pointage 302 et le symbole de suivi 319 à leur dernière position précédant l'enfoncement du bouton.
L'utilisateur aurait également pu, avec un autre doigt ou avec le même doigt, toucher la zone de second contact 307 ce qui aurait par exemple été reconnu comme un enfoncement du bouton droit de la souris.
Après avoir touché la zone 306, l'utilisateur peut immédiatement retirer son deuxième doigt pour revenir à la situation de la figure 8. Le point 309 revient alors brutalement sur le point 305 ce qui est reconnu comme un relâchement du bouton de la souris.
Toutefois, après avoir touché la zone 306, l'utilisateur peut également maintenir ses deux doigts au contact de la surface tactile et les déplacer conjointement. Ce déplacement sera suivi par le symbole de pointage 302 et le symbole de suivi 319, et un relâchement du bouton de la souris ne sera identifié que lorsque l'utilisateur relèvera un des doigts. Ceci permet par exemple la fonction "glisser-déplacer". La procédure de pointage ne disposant que d'une position moyenne de contact elle déplace le symbole de suivi 319 pour suivre le mouvement de la position moyenne du contact représentée par la croix 309 de la figure 9, mais en maintenant entre le symbole de suivi et la position moyenne l'écart qui existe immédiatement après l'enfoncement du bouton de la souris. Cet écart correspond sur la figure 9 à l'écart entre le point 305 qui correspond aussi à la position du symbole de suivi, et la position moyenne de contact représentée par la croix 309. L'utilisateur peut faire cesser tout contact avec la surface tactile. L'ordinateur garde en mémoire la dernière zone pointée avant rupture du contact et continue d'afficher le symbole de pointage 302 et le symbole de suivi à leur dernière position précédant la rupture du contact. Une zone de reprise est définie, par exemple un disque centré sur la dernière zone pointée avant rupture du contact. Si l'utilisateur reprend contact avec la surface tactile dans la zone de reprise, la position du symbole de pointage lors de la prise de contact n'est pas modifiée et le symbole de pointage suivra seulement les déplacements ultérieurs du doigt de l'utilisateur. De même la position du symbole de suivi n'est pas modifiée, de manière à reproduire sur la surface tactile le déplacement du symbole de pointage. Si l'utilisateur reprend contact avec la surface tactile en dehors de la zone de reprise, la position du symbole de pointage est modifiée immédiatement en fonction de la position du nouveau contact. De même la position du symbole de suivi est amenée immédiatement sur la nouvelle position de contact. Ceci permet l'équivalent d'une reprise en main de la souris sans déplacement, ou d'un changement brutal de zone pointée du type réalisable avec un stylet. Apres une reprise du symbole de pointage, en règle générale le symbole de suivi n'est plus centré sur la position 305 du contact sur la surface de pointage. Il y a donc affichage d'un symbole de suivi qui ne coïncide pas exactement avec la position du doigt sur la surface de pointage, mais qui suivra néanmoins cette position lorsque l'utilisateur déplacera son doigt sans interrompre le contact.
On peut générer un symbole de suivi constitué par un disque 319 représenté sur la figure 10, et un indicateur de la zone de second contact constitué par un cercle 702 également représenté sur la figure 10. Après une reprise du symbole de pointage, les zones de second contact sont centrées sur la nouvelle position du doigt alors que le symbole de suivi reste sur la dernière position du doigt précédant la rupture du contact, comme indiqué plus haut. Dans ce cas, l'indicateur 702 est centré sur la nouvelle position du contact alors que le symbole de suivi est centré sur l'ancienne position du contact et ces deux symboles sont donc décentrés l'un par rapport à l'autre comme indiqué sur la figure 10.
La figure 11 représente schématiquement la procédure de pointage qui tourne en tâche de fond sur l'ordinateur 212 et qui gère le pointage et l'activation des boutons d'une souris "virtuelle". La figure 12 représente la même procédure. La figure 12 indique le principe de chaque étape alors que la figure 11 détaille les opérations affectant des variables utilisées par le programme. Cette procédure est particulièrement bien adaptée au dispositif des figures 1 et 2 mais elle peut également être utilisée avec uns surface tactile directement superposé à l' écran d'affichage principal, par exemple dans un "tabtel PC" ou un assistant personnel. Ceci évite sur un "tablet PC" l'utilisation d'un stylet, qui est contraignante pour l'utilisateur.
Les conventions sont similaires à celles de la figure 6 et les étapes de la figure 11 qui ont des équivalents sur la figure 6 gardent les mêmes numéros. Pcour = ( XPcour, YPcour ) représente la position du symbole de suivi sur la surface tactile. XPcour est l'abscisse (coordonnée horizontale) et YPcour est l'ordonnée (coordonnée verticale) d'un point sur la surface tactile, le point Pcoiu— ( 1,1) étant le coin inférieur gauche de la surface tactile et le point Pcour=(Ntac, Ntac) étant Ic coin supérieur droit de la surface tactile. Si Xpoint, Ypoint sont les coordonnées en pixels du point pointé par le symbole de pointage sur l'écran d'affichage principal, alors Xpoint et Ypoint sont proportionnels à XPcour et YPcour. Plus précisément, si XPcour et YPcour sont entiers et varient de 1 à Ntac , et si les dimensions horizontales et verticales de l'écran d'affichage principal, en pixels, sont respectivement Nlioriz et Nvert, alors on a Xpoint=XPcour.Nhoriz/Ntac et Ypoint=YPcour.Nvert/Ntac. Si les coordonnées sur l'écran d'affichage secondaire diffèrent des coordonnées retournées par la surface tactile qui varient de 1 à Nlac, il peut aussi être nécessaire de calculer la position (TXPcour, TYPcour) avec TXPcourt=XPcour.TNhoriz/Ntac et TYρoint=YPcour.TNvert/Nιac ou TNhoriz, TNvert sont les dimensions horizontales et verticales de l'écran d'affichage secondaire, en pixels. Le symbole de suivi est alors positionné sur L'écran d'affichage secondaire aux coordonnées (TXPcour, TYPcour) exprimées en pixels de cet écran. Par simplification on suppose dans la suite que les coordonnées sur la surface tactile et sur l'écran d'affichage secondaire sont les mêmes.
Les positions Pl, P2, et P3 représentent des positions sur la surface tactile. Toutefois Pl, P2, P3 représentent des positions d'un contact, mesurées directement sur la surface tactile, alors que Pcour représente une position du symbole de suivi calculée par la procédure de pointage. Pl, P2 et P3 comportent chacun une coordonnée horizontale variant de 1 à Ntac et une coordonnée verticale variant de 1 à Ntac, le point (1,1) étant le coin inférieur gauche de la surface tactile et le point (Ntac, Ntac) étant le coin supérieur droit de la surface tactile. Les conventions de représentation sont donc les mêmes pour Pcour, Pl, P2, P3. S représente le décalage entre la position mesurée sur la surface tactile et la position du symbole de suivi.
C représente l'existence d'un contact sur la surface tactile. C=I signifie qu'il y a un contact, C=O signifie l'absence de contact.
Un certain nombre de valeurs limites sont utilisées. On suppose que la surface tactile est carrée de coté L exprimé en cm. Les différentes valeurs limites utilisées sont détaillées ci-après:
La zone de continuité correspond à une zone dans laquelle doit normalement rester le point de contact entre deux actualisations successives si l'utilisateur déplace son doigt sans rupture du contact. Sa valeur exacte dépend donc de la fréquence d'actualisation, toutefois en général elle est très petite.
La zone de désactivation représente la zone dans laquelle la position moyenne de contact doit passer brutalement pour que l'on considère qu'un bouton est relevé. La procédure de pointage met à jour en permanence la position Pcour du symbole de suivi, qui correspond également h un facteur de proportionnalité près à la position du symbole de pointage. Elle identifie également les événements "boulon 1 enfoncé", "boulon 2 enfoncé", "bouton relevé" pour lesquels elle peut par exemple générer des interruptions logicielles simulant l'activation des boutons correspondants d'une souris. L'ordinateur et les différentes interfaces gèrent les entrées et sorties de cette procédure, lui fournissant en particulier la position du contact sur la surface tactile et commandant en particulier le module laser pour afficher le symbole de suivi au point Pcour.
Lorsque l'ordinateur démarre la valeur initiale de Pcour est par exemple au milieu de la surface tactile, soit XPcour=Ntac/2, YPcoπr=Nlac/2. La procédure de pointage se déroule en tâche de fond comme les procédures de pointage usuelles utilisant un stylet ou une souris. La procédure démarre au début 100. Les boutons sont initialement desactivés dans l'étape 101.
À l'étape 102 le contact et la position sont actualisés, la variable C reçoit l'état du contact, à savoir 1 si au moins un doigt est en contact avec la surface tactile, 0 sinon. La variable de position Pl contenant deux entiers reçoit la position du contact sur la surface tactile.
À l'étape 103 la procédure teste si le doigt était au contact lors de l'actualisation. L'état de la variable C est testé et suivant son état la procédure retourne au début ou continue.
A l'étape 104 la procédure de pointage leste si la position du contact, caractérisée par Pl, est dans la zone de reprise entourant la position Pcour (qui est au centre de la surface tactile au démarrage de l'ordinateur mais peut être n'importe ou sur la surface tactile par la suite). La procédure teste pour cela la norme du vecteur Pl-Pcour. Si cette norme est inférieure à la valeur limite_0 cela veut dire que Pl est dans un disque de rayon limite_0 centré autour de Pcour, ce disque constituant la zone de reprise.
- Si Pl est hors de la zone de reprise, il n'y a pas reprise de l'ancienne valeur de Pcour et donc le décalage S entre la position du symbole de suivi Pcour et la position du contact Pl est nul. La variable S représentant le décalage entre le point Pl ou se trouve le doigt de l'opérateur, et le point Pcour qui est pris en compte pour le pointage, reçoit la valeur 0 dans l'étape 113. - si Pl est dans la zone de reprise, la valeur Pcour est reprise, donc inchangée. Le décalage entre la position du symbole de suivi Pcour et la position du contact est calculé à l'étape 105. La variable S reçoit en 105 le décalage entre la position du doigt Pl et la position du symbole de suivi Pcour, qui, sauf si Pl≈Pcour, diffère légèrement de la position Pl. « S<=Pcour-Pl » signifie que la variable S reçoit le résultat du calcul Pcour-Pl. Cette notation sera réutilisée par la suite. L'étape 108 (décalage de la position de pointage) calcule la position du symbole de suivi Pcour en décalant la dernière position du contact Pl, du décalage S calculé à l'étape précédente. La procédure déplace alors le symbole de suivi et le symbole de pointage pour les placer respectivement au point Pcour sur l'écran tactile, et au point (Xpoint,Ypoint) correspondant sur l'écran d'affichage principal. Lorsque il y a eu reprise à l'étape 104, l'existence de ce décalage matérialise la différence entre la position Pcour du symbole de suivi et la position Pl du doigt au contact de la surface tactile. En l'absence de reprise le décalage est nul.
A l'étape d'actualisation 109 la valeur de C est réactualisée et la variable P2 reçoit la position du contact retournée par la surlace tactile. Le contact est ensuite testé à l'étape 110. Si C=O il y a eu rupture du contact et la procédure retourne donc à son début. Sinon la procédure teste lors de l'étape 111 si P2 est dans la zone d'activation du bouton virtuel numéro 1. Cette zone d'activation est un anneau centré autour de la dernière position courante renvoyée par la surface tactile avant P2, soit Pl. Le rayon intérieur de cet anneau est Ll, son rayon extérieur est LIb. Si P2 est dans la zone d'activation du premier bouton virtuel, celui ci est activé lors de l'étape 114. Sinon la procédure teste lors de l'étape 112 si le point P2 est dans la zone d'activation du second bouton virtuel, qui estiin anneau de rayon intérieur L2 et de rayon extérieur L2b. Si P2 est dans la zone d'activation du second bouton virtuel, le bouton virtuel numéro 2 est activé lors de l'étape 115. Lorsque le bouton virtuel numéro 1 est activé, l'ordinateur simule l'enfoncement du bouton gauche d'une souris d'ordinateur, ce qui génère un indicateur de changement d'état qui peut être un "bip" sonore émis par l'ordinateur ou simplement un changement visible sur l'écran d'affichage principal, comme l'ouverture d'une fenêtre. De même lorsque le boulon virtuel numéro 2 est activé, l'ordinateur simule l'enfoncement du bouton droit d'une souris.
Si aucun bouton virtuel n'est activé, la procédure teste en 127 si la position moyenne est dans une zone de continuité qui est un disque de rayon LO avec L0<Ll<Llb<L2<L2b. Si on est dans la zone de continuité la valeur courante Pl de la position du contact sur la surface tactile est remplacée en 125 par la dernière position P2 et la procédure retourne en 108 pour itérer la boucle de détection de l'activation des boutons. Si on est hors de la zone de continuité, la procédure « ignore » la valeur P2 et retourne à l'étape 108 sans modification de Pl.
Si un des boutons virtuels 1 ou 2 a été activé, la procédure se poursuit par l'étape 116 de calcul du décalage S. La position retournée par la surface tactile est maintenant la position moyenne des deux doigts qui sont en contact avec l'écran. Pour maintenir la position du symbole de suivi Pcour qui ne doit pas être perturbée par l'activation d'un bouton, la variable S est augmentée à l'étape 116 de l'écart de position Pl -P2 et à l'étape 117 la variable position du symbole de suivi Pcour devient P2+S. On peut vérifier que cette affectation ne modifie pas l'affectation Pcour <= Pl+S faite précédemment à l'étape 108.
A l'étape 118 il y a ensuite actualisation des variables C et P3. La variable P3 reçoit la position du contact sur la surface tactile. Si C=O il y a eu rupture du contact et on retourne au début 100 de la procédure, dont la première étape 101 désactivera les boutons. Si C=I on teste si l'écart entre les positions P3 et P2 est supérieur à une limite prédéfinie limite 1. Si c'est le cas, on considère qu'un doigt à été brutalement relevé ce qui correspond à une désactivation du bouton virtuel qui est effectuée lors de l'étape 122. Sinon, l'étape 126 teste si la nouvelle position P3 est dans une zone de continuité qui est un disque centré sur la position précédente P2 et de rayon LO. Si P3 est dans la zone de continuité il y a remplacement de l'ancienne valeur P2 par la nouvelle valeur P3 lors de l'étape 121. En eflet dans ce cas la différence de position est supposée correspondre à un déplacement conjoint des deux doigts sur l'écran tactile qui doit être suivi par le symbole de pointage. La variable Pcour est ensuite actualisée en conséquence lors de l'étape 117. Lors de ce nouveau passage par l'étape 117, Pcour est effectivement modifié si P3 était dans la zone de continuité, pour prendre en compte le déplacement de la position du contact. La boucle comportant les étapes 117 à 120 et 126, 121 déplace ainsi le symbole de pointage jusqu'à ce que l'utilisateur relève un ou les deux doigts. A l'étape 117 le symbole de suivi et le symbole de pointage sont déplacés pour les mettre respectivement sur leurs nouvelles positions Pcour et (Xpoint, Ypoint).
Lorsque le bouton a été désactivé à l'étape 122, il est à nouveau nécessaire de recalculer le décalage S (étape 123) et de remplacer Pl par la dernière position connue du contact, qui est P3. Le vecteur S est augmenté dans l'étape 123 du vecteur P2-P3, et la variable Pl reçoit la valeur de P3 dans l'étape 124, la procédure retournant ensuite à l'étape 108. Ces différentes affectations préparant le retour à l'étape 108 permettent que le symbole de pointage 302 ne soit pas déplacé lors de la désactivation du bouton.
Le bouton 1 et le bouton 2 peuvent simuler respectivement les boutons gauche et droit d'une souris d'ordinateur, ou tout autre touche de clavier ou bouton de souris. Le nombre de boutons peut être augmenté en augmentant ou en diversifiant les zones d'activation. Les zones d'activation ne sont pas nécessairement annulaires et elles peuvent prendre tout type de forme, la forme annulaire étant toutefois simple et ergonomique.
Variantes diverses.
L'utilisation d'un symbole de suivi sur l'écran tactile est facultative. En effet le symbole de suivi constitue surtout une aide pour l'utilisateur débutant. L'utilisateur expérimenté peut retrouver la zone de reprise sans l'aide du symbole de suivi. La suppression du symbole de suivi ne modifie pas les procédures des figures 6, 7, 11, 12 à l'exception du fait que le symbole de suivi n'est plus affiché (mais sa position, qui correspond aussi à la position du symbole de pointage, doit toujours être calculée). La suppression du symbole de suivi permet d'utiliser une surface tactile non superposée à un écran d'affichage secondaire, ce qui est particulièrement économique. La figure 13 montre une modification de la figure 6, dans laquelle l'écran d'affichage secondaire 215 a été supprimé et seule la surface tactile 213 est utilisée.
Une surface tactile courbe permet de faciliter l'accès à la surface tactile pour les doigts de la main. Un dispositif d'affichage constitué par un écran balayé par un spot laser s'adapte aisément à une surface tactile courbe et permet l'obtention d'un écran d'affichage secondaire à moindre coût. La figure 14 illustre schématiquement un tel dispositif d'affichage. Celui-ci comporte une surface tactile 213 courbe solidaire du clavier 206 et transparente. Sur la face arrière de cette surface tactile se trouve une surface diffusante 225. Une diode laser collimatée 228 émet un faisceau et deux miroirs galvanométriques 227, 226 permettent de commander la direction de ce faisceau et donc la position du spot laser 224 formé sur la surface diffusante 225. La surface tactile 213 peut être du type à capteurs de force, qui est bien adapté à l'utilisation de surfaces courbes. L'ordinateur commande donc l'affichage par l'intermédiaire d'une carte de commande des miroirs galvanométriques, on représentée. L'ensemble de balayage 229 comprenant la diode laser et les miroirs galvanométriques est lié au clavier et à la surface tactile, par exemple par une pièce 221.
Le dispositif de la figure 1 a le défaut de nécessiter de multiples interfaces dirigées vers l'ordinateur et de nécessiter une gestion complexe de la part de l'ordinateur. Ce problème est réglés par le dispositif de la figure 15 dans lequel seuls les éléments différant de la figure 1 ont été renumérotés. Sur la figure 15 un dispositif de contrôle 601 reçoit les informations en provenance de la surface tactile 213 par l'intermédiaire d'une interface 605. Il commande l'afficheur 215 par l'intermédiaire de l'interface 604. Il commande l'afficheur 215 de manière à afficher le symbole de suivi. Le dispositif de contrôle 601 comprend une mémoire dans laquelle sont enregistrées des instructions exécutables, et un processeur exécutant ces instructions. Les instructions enregistrées dans la mémoire du dispositif 601 sont adaptées pour que le processeur suive la procédure des figures 11 et 12, déplace le symbole de suivi sur l'écran 603 comme déterminé par cette procédure, et envoie à l'ordinateur 212, par l'intermédiaire de l'interface 607, la position courante Pcour du symbole de suivi. Le déplacement du symbole de pointage sur l'écran 215 de faible résolution étant imprécis, le contrôleur 601 renvoie malgré tout à l'ordinateur 212 une position aussi précise que possible, limitée seulement par les performances de la surface tactile 213 et de son interface 605, qui permettent de détecter de très faibles déplacements. Cette position renvoyée à l'ordinateur 212 permet ensuite à celui-ci de contrôler la position du symbole de pointage de l'écran 201 avec la précision nécessaire. Si l'afficheur est suffisamment éclairé, la surface tactile 213 peut être recouverte d'un tissu protecteur diffusant la lumière venant de l'afficheur. La précision nécessaire étant faible, celte diffusion n'est pas gênante. Dans ce dispositif le contrôleur 601 réalise la gestion des diverses interfaces et renvoie à l'ordinateur 212 uniquement des informations utiles. Le contrôleur 601 peut également relayer les informations provenant du clavier 206 par l'intermédiaire d'une interface 606, pour les transmettre à l'ordinateur 212 par l'interface 607.
Par exemple, l'ensemble constitué de l'afficheur 603, de la surface tactile 602, du clavier 206, des interfaces 604, 605, 606, 607 et du contrôleur 601 peut être constitué par un ordinateur portable à écran tactile, le processeur de cet ordinateur constituant le contrôleur 601, et les informations de position du symbole de pointage étant transmises à l'ordinateur principal 212 par une connection ethernel ou USB. Toutefois cette solution est excessivement coûteuse, car le processeur se trouve alors surdimensionné et l'écran d'affichage secondaire 603 utilisé est inutilement précis et inutilement lumineux. De préférence, le contrôleur 601 est un microcontrôleur d'un coût raisonnable, l'écran 603 est de faible définition et faiblement illuminé voire non illuminé, l'interface 607 est une interface LJSB couramment utilisée pour les claviers, et l'ensemble est intégré dans le boîtier du clavier.
Une surface tactile capable de détecter la pression exercée par les doigts peut être utilisée. Une telle surface tactile est décrite par exemple dans le document US 5,159,159. Un autre type de surface tactile détectant la pression est une surface à détection de force. Dans ce cas, le clic de la souris peut être simulé par une pression plus élevée exercée par le doigt. L'utilisateur touche la surface tactile pour pointer, et appuie plus fortement pour cliquer.
La complexité de la procédure des figures 11 et 12 résulte en partie du fait que les surfaces tactiles résistives détectent un seul contact à la fois. Pour en améliorer la fiabilité et pour la simplifier, il est avantageux d'utiliser une surface tactile capable de détecter simultanément plusieurs contacts. Par ailleurs, les surfaces tactiles résistives nécessitent une pression non négligeable du doigt sur la surface. Cette pression est plus faible lorsque seul l'ongle vient au contact de la surface, mais reste néanmoins non négligeable. Pour éviter ce problème, il est avantageux d'utiliser des surfaces tactiles à détection de proximité qui ne nécessitent pas une pression du doigt sur la surface tactile.
Dans la procédure des figures U et 12 il est possible de modifier la taille de la zone de reprise de manière à ce qu'elle couvre l'ensemble de la surface tactile. Ceci équivaut à donner une valeur élevée au paramètre
"limite_0". Dans ce cas l'utilisateur ne déplace jamais brutalement le symbole de pointage d'un point à un autre. Ce faisant on se rapproche du fonctionnement d'une souris d'ordinateur mais on ne bénéficie pas d'un avantage de la tablette optique qui est de pointer sur une "image" absolue de l'écran. Au contraire on peut supprimer la zone de reprise (limite_0=0) auquel cas on a systématiquement un positionnement absolu sur l'écran, mais dans ce cas l'utilisateur n'est pas en mesure d'effectuer facilement de petits déplacements du symbole de pointage et ne bénéficie pas des avantages ergonomiques de la zone de reprise.
Les procédures des figures 6, 7, 11, 12 peuvent être utilisées avec des surfaces tactiles horizontales, non nécessairement liées au clavier, ce qui facilite l'utilisation de certains types de surfaces tactiles qui ne peuvent pas être pointées avec l'ongle du doigt, comme les surfaces tactiles capactitives. Dans ce cas, la surface tactile 213 proche de la verticale de la figure 1 est remplacée par une surface tactile horizontale indépendante du clavier.
Les procédures des figures 6, 7, 11 et 12 peuvent être également utilisées avec une surface tactile directement superposées à un écran d'affichage principal que regarde l'utilisateur, comme dans un assistant personnel ou un "tablet PC". Dans ce cas, l'écran d'affichage principal 201 et l'écran d'affichage secondaire 215 sont remplacés par un écran d'affichage unique. Le symbole de suivi et le symbole de pointage sont alors confondus en un seul symbole, qui peut par exemple comprendre une flèche (symbole de pointage) et un cercle indiquant les limites de la zone de reprise (symbole de suivi). Ce symbole est affiché sur l'écran d'affichage unique à une position Xpoint=XPcour.Nhoriz/Nlac, Ypoint=YPcour.Nvert/Ntac, ou Nhoriz et Nvert représentent les dimensions de l'écran d'affichage unique superposé à la surface tactile. Les coordonnées sur la surface tactile restent comprises entre 1 et Ntac.
Les procédures des figures 6,7,11 et 12 peuvent également être utilisées avec une surface tactile 213 qui n'est superposée à aucun écran d'affichage, et est utilisée uniquement pour pointer un écran d'affichage distant. Dans ce cas, le symbole de pointage reste affiché mais il n'y a pas affichage d'un symbole de suivi. La position Pcour du symbole de suivi est toujours calculée, mais constitue essentiellement un intermédiaire de calcul pour déterminer la position (Xpoint, Ypoint) du symbole de pointage.
La figure 16 illustre plusieurs variations possibles du dispositif de la figure 13, également adaptables au cas ou un écran d'affichage secondaire est superposé à la surface tactile. La figure 16 (a) montre un angle Q de 90 degrés. La figure I6(b) montre un angle de 90 degrés, mais la surface tactile a été positionnée au-dessus du clavier et non derrière le clavier. La figure 16 (c) montre un angle élevé proche de 120 degrés. La figure 16(c) montre un angle proche de 30 degrés.
La figure 17 (a) illustre une variation du dispositif de la figure 13, comportant une articulation composée:
- d'un cylindre 931 fixe par rapport au clavier cl solidaire de la pièce de maintien 906,
- d'un cylindre creirx 930 tournant autour du cylindre 931, fixe par rapport à la surface tactile et solidaire de la pièce 905.
Cette articulation permet de positionner la surface tactile avec des angles Q allant par exemple de 0 à 120 degrés, mais les angles faibles sont utilisés uniquement pour replier la surface tactile sur le clavier et en faciliter le transport. En fonctionnement l'utilisateur peut choisir un angle convenable entre la surface tactile et le clavier. La figure 17 (b) illustre une variation du dispositif selon l'invention, dans laquelle la surface tactile est montée sur un support indépendant du clavier. Le clavier et le support de la surface tactile sont alors posés sur une table 932.
Mode de réalisation amélioré. Les figures 18 à 24 illustrent un mode de réalisation amélioré de l'ensemble clavier-surface tactile et des procédures de contrôle. Ce mode de réalisation utilise un type de surface tactile dont le principe général est décrit dans les brevets US 7,236,162 et US 4,782,328.
La figure 18 montre schérnatiquemenl l'ensemble clavier et surface tactile, en vue de face. La figure 19 montre le même ensemble vu depuis un plan de coupe central. La surface tactile comprend une plaque transparente 1008. Cette plaque est reliée par l'intermédiaire de plots ( 1012 par exemple) à une plaque de maintien 1003 en acier.
Les plots sont munis de capteurs de force permettant une mesure de la pression exercée par un doigt sur la surface
1008. La plaque 1003 est percée d'un trou qui accueille une grille 1005 par exemple en carton noir, et une plaque diffusante 1006 par exemple en papier blanc. La plaque diffusante 1006 est rétroéclairée par l'ampoule 1007 fixée sur la pièce 906. La lumière émise par l'ampoule 1007 traverse donc la feuille diffusante 1006, la grille 1005 et la plaque 1008 avant d'éclairer éventuellement un doigt venant au contact de la plaque 1008.
La plaque 1003 est fixée sur la pièce 906 et les caméras 1001, 1002 sont fixées sur la plaque 1003. Lorsque un doigt vient au contact de la surface 1008, les caméras 1001, 1002 en font deux images soit une image stéréoscopique, à partir de laquelle est calculée la position du doigt.
Les capteurs de force permettent de détecter une pression sur la plaque 1008, qui remplace par exemple l'enfoncement du boulon gauche d'une souris.
Lorsque il n'y a pas de doigt à proximité de la surface 1008 l'image enregistrée par les caméras doit autant que possible être noire. C'est le rôle de la protection 1020 qui est par exemple en carton noir absorbant et diffusant, et de la grille 1005 qui peut également être en carton noir absorbant et diffusant. Pour faciliter la compréhension du dessin, sur la figure 19 on a représenté en traits plus épais la partie de la protection 1020 qui coupe effectivement le plan de coupe central; par exemple cette partie est pointée par la flèche 1022. L'intérieur 1026 de la protection a été représenté plus foncé que son extérieur 1027. La partie utile de l'image se formant sur les capteurs des caméras provient de l'intérieur de la protection
1020, plus précisément du fond des cavités 1025 et 1024. L'angle que fait le bord 1022 par rapport à la verticale est destiné à ce que la caméra ne voie pas l'intérieur de ce bord mais uniquement le fond de la cavité 1024. Le bord 1022 protège les cavités 1024 et 1025 contre une partie de la lumière ambiante: la lumière ambiante orientée dans le plan de la Figure ne pénètre pas directement dans les cavités 1024 et 1025 sans être d'abord diffusée par le clavier, car le rayon extrême 1029 ne parvient pas à l'intérieur des cavités. La deuxième cavité 1025 est formée par deux replis 1023 et 1021 de la protection. Elle est mieux protégée de la lumière ambiante que la cavité 1024 et son fond est plus noir. Ceci permet d'avoir un fond plus noir et moins sensible à la lumière ambiante sur la partie des capteurs qui fait l'image de ce fond, et sur laquelle se formera l'image de la partie du doigt qui est la plus proche de la surface tactile et donc la plus importante pour le fonctionnement de la surface tactile. L'orientation du repli 1023 est déterminée pour que les caméras ne voient pas le coté de ce repli qui est du coté de la cavité 1025, la plus importante. Par contre, le fait que la caméra puisse voir le sommet du repli et le coté du repli qui est à l'intérieur de la cavité 1024 crée une frontière légèrement suréelairée entre les images des deux cavités sur le capteur de la caméra. Comme on le voit sur la figure 18, la protection 1020 protège le haut et les cotés de la surface tactile 1008, soit toute la zone se trouvant dans le champ de vision utile des caméras 1001 et 1002. Les caméras sont à peu près focalisées sur l'entrée de la cavité 1025, limitée par les replis 1021 et 1023, de manière à avoir sur les capteurs une zone bien noire et donc peu perturbée par les variations éventuelles de l'éclairage extérieur. Le diamètre utile de la lentille frontale des caméras, ainsi que la position relative de la caméra et de la plaque 1008, sont ajustés pour que l'image de l'entrée de la cavité 1025 ne soit pas perturbée par la présence de la fenêtre 1008. LTn diamètre utile typique peut être de l'ordre de 2 mm pour pouvoir détecter la présence d'un doigt à environ 1 mm de la surface 1008. Un diamètre plus faible facilite la conception optique et permet de détecter un doigt plus proche de la surface tactile, un diamètre plus élevé permet d'utiliser une ampoule 1007 plus faible.
La grille 1005 permet de limiter l'ouverture du faisceau lumineux issu de la surface diffusante J006 traversant la plaque transparente 1008. La lumière ayant traversé cette grille a une inclination maximale par rapport à une direction orthogonale à la surface 1008, qui est limitée par la largeur des ouvertures de la grille et l'épaisseur de la grille dans le sens horizontal. Ainsi, le rayon le plus incliné 1028 traversant l'ouverture la pins basse ressort de la grille sans être arrêté par la protection 1020 qui s'arrête sur le dessin à l'extrémité supérieure du bord droit incliné 1022. L'image obtenue sur le capteur d'une caméra en présence d'un doigt se rapprochant de la surface tactile est représentée sur la figure 20. L'image est sombre sauf l'image d'un doigt, plus claire, éventuellement plus floue que sur le dessin. La coordonnée suivant la direction ou le capteur est le plus court est à peu près proportionnelle à l'angle Q indiqué sur la figure 19. La coordonnée suivant la direction ou le capteur est le plus long est à peu près proportionnelle à l'angle φ indiqué sur la figure 18. L'image est analysé par un processeur, qui peut être le processeur d'un ordinateur ou un processeur de traitement du signal spécialisé remplaçant le contrôleur 601 de la figure 15, dans le cas ou l'ensemble du système est organisé comme sur la figure 15. Dans ce dernier cas, qui est préféré pour ne pas perturber le fonctionnement de l'ordinateur, le processeur de traitement du signal reçoit les données en provenance des deux caméras et des capteurs de force et du clavier. Il analyse ces données et ne transmet à l'ordinateur que les données en provenance du clavier, les informations sur l'enfoncement des boutons virtuels de souris et la position des divers symboles utilisés pour le pointage.
Le processeur peut suivre par exemple la procédure des figures 6 et 7 de manière à travailler avec une zone de reprise. Cette procédure est modifiée en supprimant l'affichage du symbole de suivi puisque le dispositif des figures 18 et 19 ne dispose pas d'écran d'affichage secondaire permettant l'affichage d'un symbole de suivi. Par contre le calcul de Pcour reste utile puisque c'est à partir de Pcour que la position du symbole de pointage sur l'écran d'affichage est calculé.
Cette procédure est également modifiée en remplaçant l'étape 102 par la procédure décrite figure 22, et en remplaçant l'étape 109 par la même procédure décrite figure 22. La procédure décrite figure 22 a pour objectif:
- d'une part de déterminer l'existence d'un contact sur la surface tactile et la position du symbole de pointage à partir des images provenant des caméras,
- d'autre part, en l'absence d'un contact mais lorsque la position du doigt peut être détectée à proximité de la surface 1008, d'afficher sur l'écran d'affichage principal un symbole de pré-pointage qui indique la position qu'aurait le symbole de pointage si le contact était établi au point de la surface tactile qui est en face du doigt.
Le symbole de pré-pointage est par exemple un pointeur translucide ou clignotant de même forme que le symbole de pointage. Son rôle est de remplacer la vision directe du doigt ou du stylet à proximité de l'écran, dont l'utilisateur d'un écran tactile dispose habituellement et dont on ne dispose pas dans la présente invention, du fait que la surface tactile n'est pas superposée directement à l'écran d'affichage. Avec un écran tactile classique, J'utilisateur voit son doigt passer au-dessus de l'écran et rétroagit sur la position du doigt en fonction de cette image, de manière à viser un point correctement et du premier coup. Dans le présent dispositif, l'utilisateur ne voit pas son doigt mais il voit le symbole de pré-pointage, qu'il utilise de la même manière pour aller toucher la surface tactile directement à un point visé, de manière beaucoup plus précise que s'il ne disposait pas du symbole de prépointage. A litre d'illustration la figure 24 montre l'utilisation du symbole de pré-pointage. Sur la figure 22(a) le doigt pointe un point sur la surface tactile et le pointeur est affiché au point correspondant sur l'écran d'affichage principal. Sur la figure 22(b) le doigt s'éloigne brutalement de l'écran et le symbole de pointage reste en place. Sur la figure 24 (c) le doigt se rapproche de l'écran sans arriver au contact. Le symbole de pointage reste mais le symbole de pré-pointage s'affiche en un point correspondant à la position du doigt. Sur la figure 24(d) le doigt se déplace le long de l'écran, vers le bas, mais n'arrive pas au contact. Seul le symbole de pré-pointage le suit. Sur la figure 24 (e) le doigt arrive finalement au contact de l'écran. Le symbole de pointage remplace alors le symbole de pré-pointage.
Dans la procédure de la figure 22: - à l'étape 1101 les images en provenance des deux caméras sont chargées par le processeur.
- à l'étape 1102 le processeur identifie si les images sont uniformément sombres, ou si elles comportent une partie claire. Par exemple les images sont considérées comme comportant une partie claire si l'éclairage d'au moins un nombre fixé de pixels est au-dessus d'une valeur limite d'éclairage fixée. Dans le cas ou les deux images comportent une partie claire, on considère qu'un doigt est présent et la procédure passe à l'étape 1104. Dans le cas contraire, la procédure, lors de l'étape 1103, met à 0 la valeur de la variable C de la figure 6, puis se termine et rend le contrôle à la procédure de la figure 6 qui passe à l'étape suivante.
- à l'étape 1104, la procédure extrait de l'image présente sur une caméra le point B de la figure 20 qui représente le point correspondant à la valeur minimale de la coordonnée proportionnelle à θ parmi l'ensemble des pixels "clairs" dont l'éclairage est au-dessus de la valeur limite d'éclairage, ou si plusieurs pixels clairs ont la même coordonnée ou ont une coordonnée inférieure à une valeur limite de contact à partir de laquelle on considère qu'il y a contact, au barycentre de ces pixels. La procédure l'ait de même avec l'image présente sur l'autre caméra.
- à l'étape 1105, la procédure calcule les coordonnées X, Y, Z du doigt à partir des coordonnées des points B obtenus sur chaque caméra. Pour cela, elle calcule les coordonnées X, Y, Z à l'aide de formules de triangulation que l'on peut établir, en fonction des caractéristiques géométriques du système, selon le principe illustré figure 21. Les formules de calcul des coordonnées X, Y sont obtenues suivant le principe illustré figure 21(a). Ce sont les coordonnées de l'intersection A des rayons issus des centres optiques O 1 , O2 des deux caméras et caractérisés par les angles φ1 , φ2 eux mêmes obtenus à partir des coordonnées des points B sur les deux caméras. Les centres optiques des deux caméras correspondent approximativement à la position de leur lentille frontale. On pose L i =O1 O2 et O1 Q = X0 Z -I-Y0J . Q est le coin en bas à droite de la partie utile de la surface tactile 1008. L' angle φ1 est compté positivement dans le sens trigonométrique et l'angle φ2 est compté positivement dans le sens anti-trigonométrique. L'angle ex est l'angle entre l'axe O γ θ 2 et l'axe
_ Ltan0, optique de la caméra 1001. On a: QA=JC i -I-Y' / avec X — - et
^ J tan flétan G2 tan 0X+ tan Q2
Les formules de calcul de la coordonnée Z sont obtenues suivant le principe illustré figure 21 (b). A partir de la distance D entre O1 et A déterminée sur la figure 21 (a) et de l'angle O= O1 déterminé à partir de la position du point B sur la caméra de centre optique O ^ on peut calculer la hauteur Z de la figure 21 (b) soit Z=D sUiO1 .
- à l'étape 1106 la procédure teste si Z est inférieur à une valeur limite finale de contact en-dessous de laquelle on considère qu'il y a contact sur la surface tactile. Si Z est inférieur à la valeur limite finale de contact la procédure passe à l'étape 1108 sinon elle passe à l'étape 1107.
- à l'étape 1108 la procédure affecte à la variable C de la procédure de la figure 6 la valeur 1 et au point Pl de la procédure de la figure 6 les coordonnées (X,Y). Elle se termine ensuite et rend le contrôle à la procédure de la figure 6 qui passe à l'étape suivante.
- à l'étape 1107 la procédure affecte à la variable C de la procédure de la figure 6 la valeur 0. Elle positionne le symbole de pré-pointage au point de l'écran d'affichage dont les coordonnées correspondent à (X, Y) soit Xpoint=X.Nhoriz/Ntac et Ypoint=Y.Nvert/Ntac ou Ntac est la valeur maximale pouvant être prise par X et Y et ou Nvert et Nhoriz sont les dimensions de l'écran d'affichage principal en pixels. Notons que si les calculs sont faits sur un processeur de traitement du signal, celui-ci va transmettre à l'ordinateur principal, sous une forme ou une autre, une instruction d'afficher le symbole de pré-pointage. Après affichage du symbole de pré-pointage la procédure de la figure 22 se termine et la procédure de la figure 6 reprend le contrôle et passe à l'étape suivante. Lorsque deux doigts sont au contact de la figure tactile simultanément et génèrent donc tous les deux des points clairs avec la même valeur faible, inférieure à la valeur limite de contact, de la coordonnée proportionnelle à Q , alors le processus de la figure 22 génère des coordonnées du point B qui sont celles du point B 1 de la figure 23, soit à peu près le milieu des deux doigts. Il y a donc moyennage de la position des deux doigts, ce qui permet également d'incorporer la procédure de la figure 22 dans la procédure d'activation de boutons virtuels des figures 11 et 12, Dans ce cas, la procédure de la figure 22 se substitue aux étapes 102, 109, 118 des figures 11 et 12 de la même manière qu'elle se substituait aux étapes 102 et 109 de la figure 6. La valeur P de la figure 22 correspond respectivement à la valeur Pl, P2 et P3 dans les étapes 102, 109, 118. Comme dans le présent mode de réalisation l'activation du bouton gauche de la souris se fait par pression sur la surface tactile, dans la procédure de la figure 12 on n'a besoin d'activer que le bouton droit de la souris. Ceci se fait par exemple en adoptant une limite très élevée LIb de la procédure de la figure 11, de sorte que un seul bouton peut être activé, le bouton 1 qui doit alors simuler le bouton droit de la souris.
La procédure de la figure 22 peut également fonctionner seule si on n'a besoin ni d'une zone de reprise ni de simuler les boutons de la souris. Dans ce cas l'étape 1108 incorpore également l'affichage du symbole de pointage ou son déplacement, et l'étape "FIN" est remplacée par un retour à l'étape "début" pour rendre la procédure itérative. Avec le présent dispositif le bouton gauche de la souris peut être activé par une pression sur la surface tactile, mesurée par les capteurs de pression. Il est également possible de définir deux valeurs limites de pression, de manière à ce qu'une pression faible mais non nulle simule l'enfoncement d'un premier bouton de souris, et à ce qu'une pression plus élevée simule l'enfoncement d'un deuxième bouton de souris. Lc positionnement des caméras 1001 et 1002, éloignées de la zone utile de la surface tactile 1008, est adapté pour permettre l'utilisation du symbole de pré-pointage sur l'ensemble de la surface tactile. En effet, si les caméras étaient trop près du coin de la surface tactile, comme c'est d'ailleurs le cas dans les brevets US 4,782,328 et US 7,236,162 alors compte tenu de l'angle des faisceaux parvenant aux les capteurs il ne serait pas possible de détecter un doigt qui n'a pas encore atteint la surface tactile, lorsque ce doigt est trop près de la caméra. Cette contrainte est encore plus importante si on souhaite que la lumière directe parvenant aux capteurs provienne uniquement de l'intérieur des cavités 1024, 1025. Ce positionnement des caméras permet également de diminuer les contraintes de fabrication sur l'optique des caméras. Les caméras 1001 et 1002 doivent également être positionnées toutes deux d'un même coté de la surface tactile, la ligne joignant les lentilles frontales des caméras étant suffisamment en-dessous de la zone utile de la surface tactile 1008. En effet si la zone utile de la surface tactile passait au niveau de la ligne joignant les lentilles frontales des deux caméras on ne pourrait pas déterminer la position d'un doigt le long de cette ligne.
Les caméras 1001 et 1002 peuvent éventuellement être remplacées par des caméras linéaires qui font seulement une image de cavité 1025. Dans ce cas le symbole de pré-pointage ne peut pas être utilisé.
Diverses protections peuvent être ajoutées au système, sous forme de plaques transparentes ou réfléchissantes selon qu'elles doivent ou non être traversées par la lumière. De telles protections permettent par exemple d'enfermer complètement l'ampoule 1007 pour éviter des fuites de lumière, et de protéger le trajet optique complet des faisceaux allant vers les caméras pour qu'il ne puisse être atteint par les doigts de l'utilisateur que dans la zone correspondant effectivement à la surface tactile, et pour le protéger également de la poussière ou de tous objets extérieurs. II est possible, pour diminuer l'influence de la lumière extérieure, de remplacer l'ampoule 1007 par une
LED ou un autre dispositif générant un éclairage sensiblement monochromatique, et de placer sur le chemin optique de la lumière parvenant au capteur d'une caméra un filtre monochromateur. Le filtre monochromateur peut par exemple être placé juste devant le capteur CCD ou CMOS de la caméra. Dans ce cas la lumière ambiante perd beaucoup de son intensité en traversant le filtre monochromateur, alors que la lumière issue de la LED garde son intensité.
Les figures 18 et 19 ont été faites par souci de simplicité avec une surface tactile verticale mais la surface tactile peut être penchée vers l'avant pour améliorer l'ergonomie du dispositif. Des protections peuvent être rajoutées sur les cotés du clavier pour empêcher totalement la lumière ambiante d'atteindre directement l'intérieur des cavités 1024 et 1025 sans être d'abord diffusée par une protection. Sur les figures 19 et 18 il est possible de supprimer la plaque en verre 1008. Cela n'empêche pas le fonctionnement de la surface tactile mais cela supprime le retour tactile immédiat vers l'utilisateur effectuant un acte de pointage, puisque le pointage se fait alors dans l'air sans aucun contact matériel, sur une surface immatérielle définie uniquement par un plan d'observation des caméras. Par ailleurs dans ce cas il n'est plus possible de simuler renfoncement d'un boulon de souris en fonction d'une pression mesurée sur la plaque 1008.
Sur les figures 19 et 18 la surface tactile peut également être rendue légèrement courbe. Sur la figure 22, l'étape 1106 doit pour cela cire remplacée par une condition dépendant de X, Y, Z. Par exemple la surface tactile peut être représentée par une courbe Z=f(Y) ou F est une fonction. Dans ce cas le test à effectuer à l'étape 1106 devient "1Z inférieur à f(Y) ?" . Si la plaque 1008 a été supprimée, il n'y a pas d'autre modification. Si la plaque 1008 est présente, elle doit être rendue courbe.
A titre d'exemple la figure 25 représente une modification de la figure 19, sur laquelle la surface 1008 est penchée et courbée.
Les plots 1012 équipés de capteurs de force, dont un détail est reproduit figure 26 (a), peuvent avantageusement être remplacés par le dispositif de la figure 26(b). Sur cette figure, la plaque 1003 est percée d'un trou fermé par une plaque 1060 et dans lequel vient se loger un ressort en compression 1064. Le ressort 1064 appuie sur une plaque 1061 collée sur ou autrement lice à la plaque 1008. La plaque 1061 appuie elle-même sur la plaque 1062 solidaire de la plaque 1003 par l'intermédiaire d'un élément de liaison 1063. La plaque 1061 et la plaque 1003 sont métalliques et branchées aux deux bornes d'un dispositif de détection de l'existence d'un contact. Ce dispositif transmet les informations concernant l'existence d'un contact au processeur qui les retransmet à l'ordinateur. Le même dispositif existe à chaque coin de la plaque 1008. Quand l'utilisateur appuie sur la plaque 1008 la pièce 1064 vient au contact de la plaque 1008 et le contact est établi. Lorsque un contact est établi à un des quatre coins de la plaque 1008, alors l'ordinateur simule l'enfoncement du bouton gauche d'une souris. Ce dispositif est plus simple que les capteurs de force et a l'avantage de procurer un retour tactile immédiat à l'utilisateur lui confirmant l'enfoncement du bouton de la souris.
Il est possible d'équiper le système de plus de deux caméras. Par exemple l'usage de quatre caméras suivant la configuration décrite dans le brevet US 7,236,162 , mais avec utilisation des protections et de l'éclairage du présent dispositif, permet d'améliorer la fiabilité du système et la distance par rapport à la surface tactile à laquelle un doigt peut être détecté. II est possible d'utiliser des caméras infrarouges. Dans ce cas une source d'éclairage infrarouge n'est pas indispensable puisque le doigt est, du fait de sa température, un émetteur infrarouge. Une source d'éclairage infrarouge peut être néanmoins utilisée. Par exemple, une telle source peut être une plaque chauffante remplaçant l'élément diffusant 1006. Une diode infrarouge peut également être utilisée en remplacement de l'ampoule 1007. Si cette diode émet dans un spectre de longueurs d'ondes réduit un filtre monochromateur sélectionnant cette longueur d'onde et placé devant Ie capteur peut améliorer la détection.
La surface tactile des figures 18 et 19 peut être utilisée avec d'autres types de dispositifs. Par exemple la surface tactile peut être séparée du clavier, pour permettre à l'utilisateur d'utiliser un clavier existant. Le rétroéclairage par l'ampoule 1007 rend le système plus fiable mais il est facultatif et peut être supprimé et remplacé par l'éclairage ambiant, par un autre type d'éclairage auxiliaire, ou par la lumière émanant d'un écran LCD superposé à la plaque 1008 ce qui permet également d'utiliser le dispositif en présence d'un écran d'affichage superposé à la surface tactile. Dans ce dernier l'écran d'affichage peut aussi être utilisé comme écran d'affichage secondaire et permettre l'affichage d'un symbole de suivi, fi peut aussi, dans un dispositif à écran tactile classique, être utilisé comme écran d'affichage principal. La procédure de la figure 22 peut également être utilisée dans ce dernier cas, permettant ainsi d'afficher sur l'écran tactile un symbole de pré-pointage qui fonctionne alors comme une "ombre artificielle" du doigt et peut faciliter le pointage même si elle est moins indispensable que le symbole de pré-pointage dans un dispositif ou la surface tactile est séparée de l'écran d'affichage.
Le mode de réalisation préféré de l'invention utilise l'ensemble clavier-écran des figures 18 et 19, modifié comme indiqué sur la figure 26 pour permettre un équivalent plus simple du "clic souris", et modifié comme indiqué sur la figure 25 pour que la surface tactile soit légèrement penchée, mais non courbe pour ne pas compliquer excessivement le système. Le mode de réalisation préféré utilise l'ensemble informatique de la figure 15 ou le processeur du dispositif de contrôle 601 exécute des instructions qui permettent la réalisation de la procédure des figures 11 et 12, complétée par la procédure de la figure 22 comme indiqué plus haut, et modifiée pour ne pas afficher le symbole de pointage. Dans le mode de réalisation préféré le processeur 601 transmet à l'ordinateur 212, par l'intermédiaire de l'interface 607, l'ensemble des données concernant la position du symbole de pointage, la position du symbole de pré-pointage, l'état des boulons virtuels de la souris, et les données en provenance du clavier.
Applications industrielles:
Le dispositif suivant l'invention est applicable en remplacement des souris d'ordinateurs et apporte une amélioration de l'ergonomie des systèmes de pointage.

Claims

Revendications:
1- Dispositif informatique comprenant:
- un écran d'affichage principal (201),
- un ordinateur (212) relié à l'écran d'affichage principal,
- un clavier (206) permettant à un utilisateur d'envoyer des caractères alphanumériques à l'ordinateur et disposé pour permettre à l'utilisateur frappant des caractères alphanumériques d'observer simultanément l'écran d'affichage principal, le clavier déterminant un plan géométrique moyen du clavier qui minimise la distance moyenne entre les touches du clavier et le plan moyen du clavier,
- une surface tactile (213) non superposée à l'écran d'affichage principal, disposée pour qu'un utilisateur pointe avec son doigt sur la surface tactile et observe en même temps l' écran d'affichage principal, la surface tactile déterminant un plan géométrique moyen de Ia surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, et
- une interface (210) entre la surface tactile et l'ordinateur, adaptée pour que l'ordinateur puisse recevoir des informations concernant la position d'un contact sur la surface tactile,
- l'ordinateur étant adapté pour déplacer un symbole de pointage sur l' écran d'affichage principal en fonction de la position du doigt sur la surface tactile, cl - la surface tactile n'étant pas superposée à une reproduction de l'image affichée sur l'écran d'affichage principal, Caractérisé par le fait que le clavier et la surface tactile sont disposés pour que:
- l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier soit à l'arrière des touches du clavier situées le plus à l'avant du clavier,
- l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier, orienté positivement dans le sens qui va, à l'avant du clavier, du coté du clavier ou il n'y a pas de touches vers le coté du clavier ou il y a des touches, soit compris entre 30 degrés et 135 degrés.
2- Dispositif suivant la revendication 1, la surface tactile (213) étant liée mécaniquement au clavier (206).
3- Dispositif selon une des revendications 1 ou 2, la surface tactile (213) étant superposée à un écran d'affichage secondaire (215), la surface tactile et l'écran d'affichage secondaire formant ensembles un écran tactile, et l'image affichée par l'écran tactile comprenant un symbole de suivi destiné à reproduire le mouvement du symbole de pointage.
4- Dispositif d'entrée de données destiné à un système informatique suivant la revendication 3, comprenant un clavier et une surface tactile, le clavier déterminant un plan géométrique moyen du clavier qui minimise la dislance moyenne entre les touches du clavier et le plan moyen du clavier, la surface tactile déterminant un plan géométrique moyen de la surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, caractérisé par les faits suivants:
- la surface tactile est solidaire du clavier et la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier soit à l'arrière des touches du clavier situées le plus à l'avant du clavier, - la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier, orienté positivement dans le sens qui va, à l'avant du clavier, du coté du clavier ou il n'y a pas de touches vers le coté du clavier ou il y a des touches, soit compris entre 30 degrés et 135 degrés, et pour que la surface tactile soit du coté du clavier ou se trouvent les touches du clavier,
- il comprend un écran d'affichage secondaire superposé à la surface tactile, l'écran d'affichage secondaire et la surface tactile formant ensemble un écran tactile,
- il est adapté pour afficher sur l'écran tactile un symbole de suivi (319), et pour déplacer le symbole de suivi de manière à ce que sa position suive les déplacements d'un doigt sur la surface tactile,
- il est adapté pour afficher un fond uniforme sur une zone de pointage de l'écran tactile, à l'exception du symbole de suivi, - la zone de pointage est rectangulaire et couvre au moins la moitié de la surface de l'écran tactile.
5- Dispositif d'entrée de données destiné à un dispositif informatique suivant la revendication 3, comprenant un clavier et une surface tactile, le clavier déterminant un plan géométrique moyen du clavier qui minimise la dislance moyenne entre les touches du clavier et le plan moyen du clavier, la surface tactile déterminant un plan géométrique moyen de la surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, caractérisé par les faits suivants:
- la surface tactile est solidaire du clavier et la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier soit à l'arrière des touches du clavier situées le plus à l'avant du clavier, - la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier, orienté positivement dans le sens qui va, à l'avant du clavier, du coté du clavier ou il n'y a pas de touches vers le coté du clavier ou il y a des touches, soit compris entre 30 degrés et 135 degrés, et pour que la surface tactile soit du coté du clavier ou se trouvent les touches du clavier,
- il comprend un écran d'affichage secondaire superposé à la surface tactile, l'écran d'affichage secondaire et la surface tactile formant ensemble un écran tactile,
- il comporte un moyen pour afficher sur l'écran tactile un symbole de suivi,
- il comporte un moyen de contrôle adapté pour : a) lorsque le contact sur l'écran tactile est déplacé progressivement sans interruption du contact, déplacer le symbole de suivi de manière à suivre le déplacement du contact, b) lorsque le contact sur l'écran tactile est interrompu puis rétabli, alors: i) laisser le symbole de suivi immobile si le point de rétablissement en lequel le contact est rétabli est dans une zone de reprise associée à la position du symbole de suivi; la zone de reprise ayant une surface inférieure au quart de la surface de l'écran tactile et supérieure à 1 millimètre carré. ii) positionner le symbole de suivi à proximité du point de rétablissement si le point de rétablissement est hors de la zone de reprise associée à la position du symbole de suivi.
6- Dispositif d'entrée de données destiné à un dispositif informatique suivant la revendication 2, comprenant un clavier et une surface tactile, le clavier déterminant un plan géométrique moyen du clavier qui minimise la distance moyenne entre les touches du clavier et le plan moyen du clavier, la surface tactile déterminant un plan géométrique moyen de la surface tactile qui minimise la distance moyenne entre la surface tactile et le plan moyen de la surface tactile, caractérisé par les faits suivants:
- la surface tactile est solidaire du clavier et la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'intersection entre le plan moyen de la surface tactile et le plan moyen du clavier soit à l'arrière des touches du clavier situées le plus à l'avant du clavier,
- la liaison entre le clavier et la surface tactile est adaptée ou réglable pour que l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier, orienté positivement dans le sens qui va, à l'avant du clavier, du coté du clavier ou il n'y a pas de touches vers le coté du clavier ou il y a des touches, soit compris entre 30 degrés et 125 degrés, et pour que la surface tactile soit du coté du clavier ou se trouvent les touches du clavier,
- la surface tactile (Fig.13: 204) n'est superposée à aucun écran d'affichage.
7- Dispositif suivant une des revendications 2 à 6, caractérisé par le fait que la liaison entre la surface tactile et le clavier est fixe.
8- Dispositif suivant une des revendications 2 à 7, dans lequel l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier est compris entre 85 degrés et 95 degrés.
9- Dispositif suivant une des revendications 2 à 7, dans lequel l'angle entre le plan moyen de la surface tactile et le plan moyen du clavier est compris entre 30 et 85 degrés et dans lequel la surface tactile surplombe le clavier.
10- Dispositif la revendication 9, la surface tactile étant recourbée vers le clavier.
U- Dispositif suivant une des revendications 2 à 10, le clavier étant lesté pour compenser la force exercée par l'utilisateur sur la surface tactile et éviter une rotation du support et de la surface tactile.
12- Dispositif selon une des revendications 2 à 11, la largeur de la surface tactile étant inférieure à 85% de la largeur du clavier.
13- Dispositif selon la revendication 12, la largeur de la surface tactile étant inférieure à 75% de la largeur du clavier.
14 - Dispositif suivant une des revendications 1 à 13, la diagonale de la surface tactile étant supérieure à 12 cm. 15 - Dispositif suivant une des revendications 1 à 14, la diagonale de la surface tactile étant intérieure à 35 cm.
16 - Dispositif suivant une des revendications 1 à 15, la distance minimale entre le clavier et la surface tactile étant inférieure à 10 cm.
17- Dispositif suivant une des revendications 1 à 16, le clavier comprenant des touches montées sur des ressorts.
18 - Dispositif suivant une des revendications 1 à 17, la surface tactile étant fixée sur un support, le coté du support opposé à la surface tactile étant non tactile.
19 - Dispositif selon une des revendications 1 à 19, dans lequel la surface tactile comporte une plaque matérielle disposée à proximité de la surface ou la position du doigt est détectée, permettant un retour tactile vers l'utilisateur touchant la plaque.
20 - Dispositif selon la revendication 19 , caractérisé par le fait que la surface tactile est adaptée pour détecter la position d'un doigt dont l'ongle seul est au contact de la surface tactile.
21- Dispositif suivant une des revendications 1 à 20, la surface tactile étant une surface à détection de proximité.
22- Dispositif suivant une des revendications 1 à 21, la surface tactile étant adaptée pour détecter simultanément la position d'au moins deux doigts.
23- Dispositif suivant la revendications 20, la surface tactile étant une surface tactile résistive.
24- Dispositif suivant la revendications 20, la surface tactile étant une surface tactile à détection de force.
25 - Elément d'un dispositif suivant une des revendications 1 à 24, comprenant la surface tactile, un support adapté pour la fixation du clavier, et une liaison entre le support adapté et la surface tactile.
26 - Dispositif suivant la revendication 5, le moyen de contrôle comportant une série d'instructions enregistrées sur un support et chargcables par un processeur, adaptées pour que le processeur exécute une procédure informatique,
- la procédure comportant une étape de reprise ou déplacement activée lorsque le contact sur l'écran tactile est interrompu puis à nouveau établi,
- l'étape de reprise ou déplacement déplaçant le symbole de suivi vers le point de rétablissement si le point d'interruption est en dehors de la zone de reprise, et laissant la position du symbole de suivi inchangée dans le cas contraire. 27 - Dispositif selon une des revendications 4 à 6, comprenant un moyen de contrôle d'affichage principal adapté pour: a) lorsque un contact sur la surface tactile est déplacé progressivement sans interruption du contact, déplacer un symbole de pointage sur un écran d'affichage principal, de manière à suivre sur l'écran d'affichage principal le déplacement d'un point d'affichage associé au contact, dépendant uniquement de la position du contact, b) lorsque le contact sur la surface tactile est interrompu puis rétabli, alors: i) laisser le symbole de pointage immobile si le point de rétablissement en lequel le contact est rétabli est dans une zone de reprise associée à la position du symbole de pointage; la zone de reprise ayant une surface inférieure au quart de la surface de l'écran tactile et supérieure à 1 millimètre carré, ii) positionner le symbole de pointage à proximité du point d'affichage associé au point de rétablissement si le point de rétablissement est hors de la zone de reprise associée à la position du symbole de pointage.
28 - Dispositif selon une des revendications 1 à 3, comprenant un moyen de contrôle d'affichage principal adapté pour: a) lorsque un contact sur la surface tactile est déplacé progressivement sans interruption du contact, déplacer le symbole de pointage sur l'écran d'affichage principal, de manière à suivre sur l'écran d'affichage principal le déplacement d'un point d'affichage associé au contact, dépendant uniquement de la position du contact, b) lorsque le contact sur la surface tactile est interrompu puis rétabli, alors: i) laisser le symbole de pointage immobile si le point de rétablissement en lequel le contact est rétabli est dans une zone de reprise associée à la position du symbole de pointage; la zone de reprise ayant une surface inférieure au quart de la surface de l'écran tactile et supérieure à 1 millimètre carré, ii) positionner le symbole de pointage à proximité du point d'affichage associé au point de rétablissement si le point de rétablissement est hors de la zone de reprise associée à la position du symbole de pointage.
29- Dispositif selon la revendication 5, comprenant un moyen de contrôle d'affichage principal adapté pour positionner un symbole de pointage en un point dépendant uniquement de la position du symbole de suivi.
30- Dispositif selon une des revendications 27 à 29, le moyen de contrôle d'affichage comprenant une série d'instructions enregistrées sur un support et chargeables par un processeur, adaptées pour que le processeur exécute une procédure informatique,
- la procédure comportant une étape de reprise ou déplacement activée lorsque le contact sur l'écran tactile est interrompu puis à nouveau établi,
- l'étape de reprise ou déplacement déplaçant le symbole de pointage vers le point d'affichage associé au point de rétablissement si le point de rétablissement est en dehors de la zone de reprise, et laissant la position du symbole de suivi inchangée dans le cas contraire.
31- Dispositif suivant une des revendications 1 à 30, comprenant un moyen de simulation adapté pour : - lorsque un premier est au contact de la surface tactile, déplacer le symbole de pointage pour suivre le mouvement de ce doigt,
- lorsque un deuxième doigt arrive au contact d'une zone de second contact de l'écran tactile, simuler l'enfoncement d'un bouton d'un dispositif de pointage et/ou générer un premier indicateur de changement d'état.
32- Dispositif selon la revendication 31, la zone de second contact dépendant de la position du premier doigt et ne comprenant pas la position du premier doigt.
33- Dispositif suivant une des revendications 31 à 32, le moyen de simulation étant adapté pour: - lorsque le premier et le deuxième doigt sont déplacés conjointement sur la surface tactile, déplacer le symbole de pointage pour suivre le mouvement conjoint des premier et deuxième doigts.
34- Dispositif suivant une des revendications 31 à 33, le moyen de simulation étant adapté pour:
- lorsque le deuxième doigt cesse d'être au contact de la surface tactile, simuler le relâchement du bouton d'un dispositif de pointage et/ou générer un second indicateur de changement d'état.
35 - Dispositif suivant une des revendications 31 à 34,
-adapte pour déterminer l'existence et la position moyenne d'un contact entre un doigt et la surface tactile,
- ne permettant pas de déterminer simultanément les positions de deux contacts distincts sur la surface tactile, - comprenant une série d'instructions enregistrées sur un support et chargeables par un processeur, adaptées pour que le processeur exécute une procédure informatique comprenant: a) une première étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, b) une deuxième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, c) si lors deux étapes un contact existe sur la surface tactile et si lors de la seconde étape la position moyenne du contact est dans une zone d'activation dépendant de la position moyenne de contact lors de la première étape et ne comprenant pas la position moyenne du contact lors de la première étape, une étape de simulation de l'activation d'un bouton d'un dispositif de pointage et/ou de génération d'un indicateur de changement d'état.
36 - Dispositif suivant la revendication 35, la zone d'activation étant adaptée pour être atteinte lorsque, un premier doigt étant au contact de l'écran tactile lors de la première étape, un deuxième doigt arrive au contact de l'écran tactile lors de la deuxième étape, ce qui déplace la position moyenne du contact, qui est constitué par les deux doigts lors de la seconde étape.
37- Dispositif suivant une des revendications 35 h 36, adapté pour positionner le symbole de pointage en un point qui est une fonction de la position moyenne du contact, dans lequel l'étape de simulation et/ou de génération est accompagnée d'une étape de changement de cette fonction, adaptée pour que la position du symbole de pointage immédiatement après l'étape de simulation et/ou de génération soit la même qu'avant l'étape de simulation et/ou de génération. 38- Dispositif suivant une des revendications 35 à 37, dans lequel l'étape de simulation et/ou de génération est suivie des étapes suivantes:
- une troisième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile, - une quatrième étape de détermination de l'existence et la position moyenne d'un contact sur la surface tactile,
- si lors des troisième et quatrième étapes un contact existe sur la surface tactile et si lors de la quatrième étape la position moyenne du contact est dans une zone de désactivation dépendant de la position moyenne de contact lors de la troisième mesure et ne comprenant pas la position moyenne du contact lors de la troisième mesure, une étape de simulation de la désactivation d'un bouton d'un dispositif de pointage et/ou de génération d'un indicateur de changement d'état.
39-Dispositif selon la revendication 3, le rapport entre la surface du symbole de suivi et la surface de l'écran tactile étant au moins deux fois supérieur au rapport entre la surface du symbole de pointage et la surface de l'écran d'affichage principal.
40 - Dispositif selon la revendication 6, caractérisé par les faits suivants:
- il comprend au moins deux caméras ( 1001, 1002) générant des images à partir desquelles la position d'un contact sur la surface tactile est obtenue par triangulation,
- il comprend une protection absorbante ( 1020) couvrant une zone atteinte par des rayons optiques parallèles à la surface tactile et passant par le centre de la lentille frontale d'une caméra, pour générer un fond noir sur lequel se détache un doigt au contact de la surface tactile.
41- Dispositif suivant la revendication 40, comprenant une cavité absorbante (1025) couvrant une zone atteinte par des rayons optiques parallèles à la surface tactile et passant par le centre de la lentille frontale d'une caméra, pour générer un fond noir sur lequel se détache un doigt au contact de la surface tactile,
42 - Dispositif selon la revendication 6 ou une des revendications 40 à 41, comprenant un dispositif d'éclairage (1007, 1006,1005) générant une lumière diffuse dirigée de l'arrière vers l'avant de la surface tactile.
43- Dispositif suivant la revendication 42, le dispositif d'éclairage comprenant:
- une surface diffusante ( 1006) éclairée par une source d'éclairage (1007),
- une grille absorbante (1005) traversée par la lumière issue de la surface diffusante avant qu'elle ne parvienne à la surface tactile ( 1008).
44- Dispositif selon la revendication 43, la grille absorbante étant dimensionnée pour limiter l'ouverture angulaire des rayons lumineux, de manière à ceux que ceux-ci n'éclairent pas directement une zone vue par la caméra en l'absence d'un doigt sur la surface tactile. 45- Dispositif selon une des revendications 40 à 44, comprenant exactement deux caméras, la distance entre une caméra et la zone utile de la surface tactile étant au moins le quart du coté de la zone utile de la surface tactile.
46- Dispositif selon une des revendications 1, 6, ou 40 à 45, la zone située devant la surface tactile étant divisée en une zone de contact et une zone de détection, un doigt détectable dans la zone de contact étant considéré comme au contact de la surface tactile, un doigt se trouvant dans la zone de détection étant détectable mais n'étant pas considéré comme au contact de la surface tactile, la zone de détection étant adaptée pour que tout doigt au contact de la surface tactile soit détecté dans la zone de contact, comprenant un moyen de contrôle adapté pour:
- lorsque un doigt est dans la zone de détection, afficher un symbole de pré-pointage sur un écran d'affichage principal, en un point dépendant de la position du doigt, le symbole de pré-pointage étant différent d'un symbole de pointage, le symbole de pointage étant affiché simultanément mais n'étant pas déplacé en fonction de la position du doigt dans la zone de détection,
- lorsque le doigt parvient à la zone de contact, supprimer le symbole de pré-pointage et déplacer le symbole de pointage en fonction de la position du doigt sur la zone de contact.
EP07823469A 2006-09-01 2007-09-03 Dispositif de pointage Withdrawn EP2067092A2 (fr)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR0607791A FR2905484A1 (fr) 2006-09-01 2006-09-01 Dispositif de pointage
FR0702850A FR2915294A1 (fr) 2007-04-19 2007-04-19 Methode et dispositif d'activation d'un bouton virtuel
FR0704451A FR2917861A1 (fr) 2007-06-20 2007-06-20 Dispositif et methode de pointage
PCT/FR2007/001425 WO2008025904A2 (fr) 2006-09-01 2007-09-03 Dispositif de pointage

Publications (1)

Publication Number Publication Date
EP2067092A2 true EP2067092A2 (fr) 2009-06-10

Family

ID=38992652

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07823469A Withdrawn EP2067092A2 (fr) 2006-09-01 2007-09-03 Dispositif de pointage

Country Status (2)

Country Link
EP (1) EP2067092A2 (fr)
WO (1) WO2008025904A2 (fr)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2142711A (en) * 1983-07-04 1985-01-23 Philips Electronic Associated Manually operable x-y signal generator
SE515663C2 (sv) * 1996-08-23 2001-09-17 Ericsson Telefon Ab L M Pekskärm och användning av pekskärm
JP2000112567A (ja) * 1998-09-30 2000-04-21 Internatl Business Mach Corp <Ibm> 携帯型電子装置
JP2003330591A (ja) * 2002-05-08 2003-11-21 Toshiba Corp 情報処理装置およびコンピュータの操作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008025904A3 *

Also Published As

Publication number Publication date
WO2008025904A3 (fr) 2009-07-09
WO2008025904A2 (fr) 2008-03-06

Similar Documents

Publication Publication Date Title
US10949643B2 (en) On-LCD screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs
TWI543038B (zh) 用於實體使用者介面上之影像投影之裝置、系統、及方法
AU2010218345B2 (en) Dynamic rear-projected user interface
US8259240B2 (en) Multi-touch sensing through frustrated total internal reflection
TWI536227B (zh) 光學觸控偵測
US8581852B2 (en) Fingertip detection for camera based multi-touch systems
US9436275B2 (en) Transmissive display apparatus and operation input method
US20140168153A1 (en) Touch screen systems and methods based on touch location and touch force
JP2007506180A (ja) 表示モニタのための座標検出システム
US8184101B2 (en) Detecting touch on a surface via a scanning laser
US20120023423A1 (en) Orientation free user interface
US20100146387A1 (en) Touch display scroll control
CA2620149A1 (fr) Procede d&#39;entree pour surface d&#39;afficheur interactif
US20100201636A1 (en) Multi-mode digital graphics authoring
US20120127084A1 (en) Variable light diffusion in interactive display device
US20140016103A1 (en) Interactive control system, methods of making the same, and devices incorporating the same
EP2067092A2 (fr) Dispositif de pointage
EP2926232A1 (fr) Système et procédé de communication reproduisant une interactivité de type physique
TWM419988U (en) Touch-to-control input apparatus
TW201342159A (zh) 觸控裝置和觸控投影系統
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection
WO2009121199A1 (fr) Procede et dispositif pour realiser une surface tactile multipoints a partir d&#39;une surface plane quelconque et pour detecter la position d&#39;un objet sur une telle surface
FR2946768A1 (fr) Procede d&#39;entree tactile d&#39;instructions de commande d&#39;un programme d&#39;ordinateur et systeme pour la mise en oeuvre de ce procede
FR2917861A1 (fr) Dispositif et methode de pointage
FR2915294A1 (fr) Methode et dispositif d&#39;activation d&#39;un bouton virtuel

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

R17D Deferred search report published (corrected)

Effective date: 20090709

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20100112