EP2915023A1 - Bestimmung einer eingabeposition auf einem touch-screen - Google Patents
Bestimmung einer eingabeposition auf einem touch-screenInfo
- Publication number
- EP2915023A1 EP2915023A1 EP13786638.0A EP13786638A EP2915023A1 EP 2915023 A1 EP2915023 A1 EP 2915023A1 EP 13786638 A EP13786638 A EP 13786638A EP 2915023 A1 EP2915023 A1 EP 2915023A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- display
- touch
- angle
- eyes
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
Definitions
- the invention relates to a method for determining an input position on a touch-sensitive display and a device for the same purpose.
- touch-sensitive displays sometimes called touch screens
- smartphones touch screens
- touch screens are widely used in so-called smartphones.
- the use of touch screens in motor vehicles has been considered.
- touch screens and the contents displayed on them such as buttons
- the object of the person skilled in the art is to develop an improved device and an improved method by means of which the input position can be determined.
- a method for determining an input position on a touch-sensitive display by a user comprises: detecting the position of the user's eyes, in particular using a camera; Detecting the position of a touch on the touch-sensitive display; Determining the input position based on the detected position of the eyes with respect to at least a portion of the touch-sensitive display, in particular with respect to a graphic element displayed on the display, and the detected position of the touch.
- FIGS. 1a and 2a show the entry of one with his eyes 5 (shown only symbolically) almost vertically above the user (not shown) located on a touch-sensitive display 1.
- FIGS. 2a and 2b show the input of a user who looks obliquely on the touch-sensitive display 1, that is, at an angle.
- Like reference numerals designate corresponding elements.
- the touch surface 3 of the user looking obliquely on the display is offset from the button 2. This offset arises because the user's finger 4 seems to cover the button 2 from the perspective of the user looking diagonally, although this is not actually the case is. Also, the assigned touch position is outside the shadow area 2.
- the user assumes the finger 4 would be above the button 2 and the corresponding touch area 3 and the assigned touch position would be correspondingly on the button 2.
- the position of the user's eyes By detecting and taking into account the position of the user's eyes and the known position of the touch-sensitive display, parts thereof, the touch position, for example, or a graphic element, a button, for example, it is possible to correct the offset of the position of the touch arising the oblique view of the user on the display results.
- the determination of the input position is thus improved and the input request of the user better recognized.
- the position of the eyes may be due to image processing known per se.
- the eyes can each be recognized individually, on the basis of which a representative gaze position is determined.
- position of the eyes herein also includes the representative gaze position
- the part of the display may be the whole display itself or, especially with curved display surfaces, the part relevant to the input, as well as a graphical element, the button, for example Graphical interface
- the graphical element can be chosen as the smallest distance to the position of the touch, compared to other graphic elements.
- determining the input position it is possible to deduce a user position by detecting the eyes. For example, if the user is to the right or left of the ad. In the event that the display is installed in the center console of a vehicle, it can be determined in this way, whether the driver or passenger operates the display. The determination of the input position then takes into account whether it is a driver or a passenger and determines the input position depending on this preparatory determination, for example by shifting the touch position or area. In this case, a deviation of the contact position or area in the direction of the user position can be assumed.
- Fig. 1c shows typical finger positions when touching the display for a driver (left finger), a user located in the center behind the display (finger in the middle) and a passenger (finger right).
- the position of the touch for the driver and front passenger is offset in their respective direction.
- the deviation in the position of the contact surface or the contact position may be angle-dependent, depending on how far the user is crazy from the center position directly behind the display to the left or right.
- the input position is determined on the basis of the position of the touch, which is adjusted based on an angle associated with the position of the eyes with respect to the at least one part of the display, in particular in such a way that the adaptation is greater, the smaller the angle is where the angle is measured from the display.
- the angle is determined starting from the display surface on at least part of the display to a connection between the at least part of the display and the position of the eyes. If the angle is small, the user looks particularly obliquely on the display and the offset of the touch point will be particularly large.
- the point of contact determined by the touch-sensitive display is used, which is then corrected on the basis of how the user looks obliquely at the display.
- the angle is based on the angle between the viewing direction determined by the position of the eyes and the at least one part of the display and the at least one part of the display, whereby the normalization of the at least one part of the display is taken into account for the angle determination.
- the viewing direction is the connection between the position of the eyes and the at least part of the display.
- a normal is perpendicular to a plane. In the case of curved display surfaces, this applies to the attachment point of the normal, which can also be approximated or averaged and can be determined for attachment surfaces, here the at least one part of the display.
- the normal is particularly taken into account by determining the angle of the viewing direction to a plane. which is perpendicular to the normal and touches the essoroberfiamba, so in the case of a flat display to the display surface itself. In this way, the determination of the angle is detailed in more detail.
- the angle may be based on the angle! between a projection of the viewing direction onto the display in accordance with the direction of the normal and the viewing direction. In this way, the determination of the angle is more detailed, namely, it takes place between two distances, once the line of sight and on the other a projection of the line of sight.
- the projection may be at the nearest graphical element at the touchpoint (or generally at a point assigned to the display or part of the display) or at the touchpoint itself. This may be an endpoint of the projection. In this way, the angle determination should be made regardless of whether the position of the eyes are to the left or right of the display, in other words to compensate for a rotation of the position of the eyes around the display (at the same height above the display).
- the angle is based on the angle between the viewing direction determined by the position of the eyes and the at least part of the display and a predetermined and predetermined direction, in particular wherein the predetermined direction is perpendicular to the normal of the at least one part Ad is.
- the predetermined direction may, for example, point upwards and / or upwards in the case of a display installed in a vehicle.
- the predetermined direction is particularly in a plane itself. If the display is in a car can thus also be determined whether the driver or passenger operates the display.
- the angle is based on the wink! between a projection of the viewing direction onto the display according to the direction of the normal in a plane perpendicular to the normal and the direction assigned to the display and predetermined. This further details that the angle between two distances is determined.
- the projection is made in the direction of the normal, thus the predetermined direction and the projection lie in the same plane.
- the viewing direction is projected onto the display.
- both the rotation of the position of the eyes around the display and the height of the position of the eyes over the display are compensated for by the combination of the methods presented above.
- the detection of the position of the touch can be carried out by means of touch-sensitive means, in particular means for the capacitive detection of touches, the means being comprised by the touch-sensitive display.
- the touch-sensitive display may thus be a typical capacitive touch-based touch screen.
- techniques such as resistance based technologies or surface acoustic techniques can also be used.
- an apparatus for determining an input position on a touch-sensitive display by a user comprises: the touch-sensitive display, means for detecting the position of the eyes of a user of the apparatus, in particular comprising a camera; Electronic processing means, the apparatus being adapted to carry out a method according to one of the preceding claims.
- the camera can be a camera which produces images in the visible light range and / or in the infrared range.
- the electronic processing means can be set up by means of computer programs and comprise a microprocessor, microcontroller, dedicated electronic circuits and / or a computer.
- the device may be located in a vehicle, in particular a car.
- FIG. 3a and 3b show schematically a system according to an embodiment once in plan view and once in side view.
- Like reference numerals in Fig. 3 denote elements corresponding to those of Figs. 1a to 2b.
- FIGS. 1a to 2b schematically show a system according to an embodiment which, in addition to the elements shown in FIGS. 1a to 2b, also comprises an electronic processing unit 6 and a camera 7.
- the camera 7 at least receives the eyes of the user.
- the camera 7 is connected to the electronic processing unit 6, to which the camera 7 transmits the recording.
- the processing unit 6 determines the position of the eyes 5 of the user by methods of image processing known per se.
- the processing unit 6 also uses the known position of the camera 7.
- the electronic processing unit 6 receives from the touch-sensitive display 1, with which it is connected, indications of the position of the touch and / or information on the contact surface. Based on this information, the electronic processing device determines a graphical element of the graphic interface displayed on the display 1. This may, for example, be the graphical element closest to the touch position.
- the electronic processing unit 6 determines the angles W1 and W2, based on which the touch position is then corrected to determine the input position. To determine the angles W1 and W2, the processing unit first projects the connection between a point of the button 2 (more generally a graphical element) and the position of the user's eyes 5 on the level display 1.
- the dotted arrow represents the projection 8 of the connection , the attachment point is determined as the center of gravity of the button 2 and forms the beginning or end point of the arrows and directions.
- the projection 8 takes place perpendicular to the normal of the planar display 1. In Fig. 3b, the projection 8 is shown for illustrative reasons slightly above the display 1, although it is actually in the planar display.
- connection 10 between the button 2 and the eyes 5 of the user is shown in FIG. 3b.
- the connection 10 ends, for illustrative reasons, shortly before the button 2, although it actually extends to the button 2, for example to the center of gravity of the button 2.
- the angle W1 is determined between the projection 8 and the connection 10 (see Fig. 3b ).
- the angle W2 is determined between the projection 8 and the direction 1 associated with the display 1.
- the direction 9 essentially serves as an arbitrarily determinable but fixed reference.
- the processing unit 6 subsequently determines the input position based on the touch position and the angles W1 and W2.
- the touch position along the projection 8 is shifted by an amount determined by the angle W1.
- the input position when determining the input position, it is also taken into account to what extent the button 2 is covered by the finger 4 for the eyes 5 of the user. If, for example, the determination of the angle W2, the position of the user's eyes 5 and the contact surface 3 show that the user's view of the button 2 is not obscured, or only partially obscured, by the eyes 5, the contact position will not be or only comparatively little postponed.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Offenbart wird ein Verfahren zum Bestimmen einer Eingabeposition auf einer berührungsempfindlichen Anzeige durch einen Benutzer, umfassend: Erfassen der Position der Augen des Benutzers, insbesondere mithilfe einer Kamera; Erfassen der Position einer Berührung auf der berührungsempfindlichen Anzeige; Bestimmen der Eingabeposition basierend auf der erfassten Position der Augen in Bezug auf zumindest einen Teil der berührungsempfindlichen Anzeige, insbesondere in Bezug auf ein auf der Anzeige angezeigtes graphisches Element, und der erfassten Position der Berührung.
Description
Bestimmung einer Eingabeposition auf einem Touch-Screen
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Eingabeposition auf einer berührungsempfindlichen Anzeige und eine Vorrichtung zu demselben Zweck.
Heutzutage sind berührungsempfindliche Anzeigen, manchmal auch Touch-Screens genannt, vor allen Dingen bei sogenannten Smartphones weit verbreitet. Der Einsatz von Touch-Screens in Kraftfahrzeugen ist erwogen worden. Für die Interaktion mit Touch-Screens und den darauf angezeigten Inhalten wie Schaltflächen ist es fundamental, dass der Eingabewunsch eines Benutzers, also die Position, die der Benutzer auf der Oberfläche des Touch-Screens berühren möchte, nachfolgend die Eingabeposition genannt, korrekt bestimmt wird.
Die Druckschrift US 2010/0079405 A1 schlägt zu diesem Zweck Verfahren vor, die mithilfe der Analyse von Eigenschaften der Fläche der Berührung auf den Eingabewunsch des Benutzers zu schließen versuchen. Die Verfahren basieren ausschließlich auf den der Berührung selbst inhärenten Eigenschaften, andere Quellen die Berührung zu analysieren werden außer Acht gelassen.
Aufgabe an den Fachmann ist es, eine verbesserte Vorrichtung und ein verbessertes Verfahren zu entwickeln, mit deren Hilfe die Eingabeposition bestimmt werden kann.
Die Aufgabe wird durch ein Verfahren nach Anspruch 1 und eine Vorrichtung nach Anspruch 9 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
In einem Aspekt umfasst ein Verfahren zum Bestimmen einer Eingabeposition auf einer berührungsempfindlichen Anzeige durch einen Benutzer: Erfassen der Position der Augen des Benutzers, insbesondere mithilfe einer Kamera; Erfassen der Position einer Berührung auf der berührungsempfindlichen Anzeige; Bestimmen der Eingabeposition basierend auf der erfassten Position der Augen in Bezug auf zumindest einen Teil der berührungsempfindlichen Anzeige, insbesondere in Bezug
auf ein auf der Anzeige angezeigtes graphisches Element, und der erfassten Position der Berührung.
Auf diese Weise wird berücksichtigt aus welcher Position der Benutzer auf die berührungsempfindliche Anzeige blickt. Abweichungen in der Eingabe, die sich durch die gegenüber einer Eingabe aus einer ideafposition ergeben, können so berücksichtigt werden. Ein schematisches Beispiel hierfür ist in Fig. 1a und 2a in Draufsicht und in den die jeweils gleiche Situation zeigenden Fig. 1b und 2b in Seitenansicht gezeigt. Fig. 1a und 1 b zeigen die Eingabe eines sich mit seinen Augen 5 (nur symbolhaft dargestellt) nahezu senkrecht über der auf einer berührungsempfindiichen Anzeige 1 befindlichen Benutzers (nicht gezeigt). Der Benutzer möchte die Schaltfläche 2, manchmal Button genannt, berühren und erzeugt dabei die Berührungsfläche 3 mit seinem Finger 4 (mit angedeutetem Fingernagel) auf der Oberfläche der Anzeige 1 , wobei der Berührungsfläche 3 eine Position der Berührung, beispielsweise der Schwerpunkt der Berührungsfläche zugeordnet ist. Die Fig. 2a und 2b zeigen die Eingabe eines Benutzers, der schräg auf die berührungsempfindliche Anzeige 1 blickt, also unter einem Winkel. Gleiche Bezugszeichen bezeichnen sich entsprechende Elemente. Wie ersichtlich ist, ist die Berührungsfläche 3 des schräg auf die Anzeige blickenden Benutzers versetzt gegenüber der Schaltfläche 2. Dieser Versatz entsteht, da der Finger 4 des Benutzers aus Sicht des schräg blickenden Benutzers die Schaltfläche 2 zu bedecken scheint, obwohl dies tatsächlich nicht der Fall ist. Auch die zugewiesene Berührungsposition befindet sich außerhalb der Schattfläche 2. Der Benutzer geht davon aus, der Finger 4 würde sich oberhalb der Schaltfläche 2 befinden und die entsprechende Berührungsfläche 3 und die zugewiesene Berührungsposition würde entsprechend auf der Schaltfläche 2 liegen. Durch die Erfassung und Berücksichtigung der Position der Augen des Benutzers und der bekannten Position der berührungsempfindlichen Anzeige, Teilen davon, der Berührungsposition beispielsweise, oder eines graphischen Elements, eine Schaltfläche beispielsweise, ist es möglich den Versatz der Position der Berührung zu korrigieren, der sich aus der schrägen Sicht des Benutzers auf die Anzeige ergibt. Die Bestimmung der Eingabeposition wird somit verbessert und der Eingabewunsch des Benutzers besser erkannt.
Die Position der Augen kann aufgrund von an sich bekannter Bildverarbeitung erfolgen. Dabei können die Augen jeweils einzeln erkannt werden, auf deren Basis dann eine repräsentative Blickposition bestimmt wird. Der Begriff „Position der Augen" umfasst hierin auch die repräsentative Blickposition. Der Teil der Anzeige kann die ganze Anzeige selbst sein, oder - gerade bei gekrümmten Anzeigeoberflächen - der für die Eingabe relevante Teil, sowie ein graphisches Element, die Schaltfläche beispielsweise, einer angezeigten graphischen Schnittstelle. Das graphische Element kann aufgrund einer im Vergleich zu anderen graphischen Elementen kleinsten Entfernung zur Position der Berührung gewählt werden.
Bei der Bestimmung der Eingabeposition kann durch die Erfassung der Augen auf eine Benutzerposition rückgeschlossen werden. Aiso beispielsweise, ob sich der Benutzer rechts oder links der Anzeige befindet. In dem Fall, dass die Anzeige in der Mittelkonsole eines Fahrzeugs verbaut ist, kann auf diese Weise bestimmt wer- den, ob der Fahrer oder Beifahrer die Anzeige bedient. Die Bestimmung der Eingabeposition berücksichtigt dann, ob es sich um einen Fahrer oder Beifahrer handelt und bestimmt die Eingabeposition abhängig von dieser vorbereitenden Bestimmung, beispielsweise durch Verschieben der Berührungsposition oder -fläche. Hierbei kann eine Abweichung der Berührungsposition oder -fläche in Richtung der Benut- zerposition angenommen werden. Fig. 1c zeigt typische Fingerpositionen bei Berührung der Anzeige für einen Fahrer (Finger links), einen sich in der Mitte hinter der Anzeige befindlichen Benutzer (Finger in der Mitte) und einen Beifahrer (Finger rechts). Wie ersichtlich ist die Position der Berührung für den Fahrer und Beifahrer in ihre jeweilige Richtung versetzt. Die Abweichung bei der Position der Berührungs- fläche beziehungsweise der Berührungsposition kann winkelabhängig sein, atso davon abhängig wie weit der Benutzer von der Mittelposition direkt hinter der Anzeige nach links oder rechts verrückt ist.
In einer vorteilhaften Weiterbildung wird die Eingabeposition ausgehend von der Position der Berührung bestimmt, die basierend auf einem Winkel angepasst wird, der der Position der Augen in Bezug auf den zumindest einen Teil der Anzeige zugeordnet ist, insbesondere derart, dass die Anpassung umso größer ist, je kleiner
der Winkel ist, wobei der Winkel ausgehend von der Anzeige gemessen wird. Der Winkel wird dabei ausgehend von der Anzeigenoberfläche am zumindest einen Teil der Anzeige zu einer Verbindung zwischen dem zumindest einen Teil der Anzeige und der Position der Augen bestimmt. Wenn der Winkel klein ist, blickt der Benutzer besonders schräg auf die Anzeige und der Versatz des Berührungspunktes wird besonders groß ausfallen. Gemäß dieser Weiterbildung wird zur Bestimmung der Eingabeposition, die den Eingabewunsch repräsentiert, von dem von der berüh- rungsempfindlichen Anzeige bestimmten Berührungspunkt ausgegangen, der dann korrigiert wird anhand der Feststellung wie schräg der Benutzer auf die Anzeige blickt.
Insbesondere basiert der Winkel auf dem Winkel zwischen der durch die Position der Augen und dem zumindest einen Teil der Anzeige bestimmten Blickrichtung und dem zumindest einen Teil der Anzeige, wobei für die Winkelbestimmung die Normale des zumindest einen Teils der Anzeige berücksichtigt wird. Die Blickrichtung ist mit anderen Worten die Verbindung zwischen der Position der Augen und dem zumindest einen Teil der Anzeige. Eine Normale steht auf einer Ebene senkrecht. Bei gebogenen Anzeigenoberflächen gilt dies für den Aufsatzpunkt der Normalen, der auch approximiert oder gemittelt werden kann und für Aufsatzflächen bestimmt werden kann, hier der zumindest eine Teil der Anzeige, Die Normale wird insbesondere berücksichtigt, indem der Winkel der Blickrichtung zu einer Ebene bestimmt wird, die senkrecht zur Normalen steht und die Anzeigenoberfiäche berührt, also im Fall einer ebenen Anzeige zur Anzeigenoberfläche selbst. Auf diese Weise wird die Bestimmung des Winkels näher detailliert.
Ferner kann der Winkel basierend auf dem Winke! zwischen einer Projektion der Blickrichtung auf die Anzeige gemäß der Richtung der Normalen und der Blickrichtung bestimmt werden. Auf diese Weise wird die Bestimmung des Winkels genauer detailliert, sie findet nämlich zwischen zwei Strecken statt, einmal der Blickrichtung und zum anderen einer Projektion der Blickrichtung. Die Projektion kann am dem Berührungspunkt am nächsten liegenden graphischen Element aufsetzen (oder all- gemein einem der Anzeige oder einem Teil der Anzeige zugewiesenen Punkt) oder am Berührungspunkt selbst. Dieses kann ein Endpunkt der Projektion sein. Auf diese Weise soll die Winkelbestimmung unabhängig davon gemacht werden, ob sich
die Position der Augen links oder rechts der Anzeige befinden, mit anderen Worten soll eine Rotation der Position der Augen um die Anzeige herum (auf der selben Höhe über der Anzeige) ausgeglichen werden.
In einer Alternative basiert der Winkel auf dem Winkel zwischen der durch die Posi- tion der Augen und dem zumindest einen Teil der Anzeige bestimmten Blickrichtung und einer der Anzeige zugeordneten und vorbestimmten Richtung, insbesondere wobei die vorbestimmte Richtung senkrecht zu der Normalen des zumindest einen Teils der Anzeige ist.
Mithilfe dieser Alternative kann bei der Bestimmung der Eingabeposition berücksich- tigt werden, ob der Benutzer von links oder von rechts und in welchem Maße beziehungsweise in welchem Winke! er auf die Anzeige blickt. Die vorbestimmte Richtung kann beispielsweise bei einer in einem Fahrzeug verbauten Anzeige nach oben und/oder vorne zeigen. Bei einer ebenen Anzeige liegt die vorbestimmte Richtung insbesondere in einer Ebene selbst. Falls sich die Anzeige in einem PKW befindet kann somit auch festgestellt werden, ob der Fahrer oder Beifahrer die Anzeige bedient. insbesondere basiert der Winkel auf dem Winke! zwischen einer Projektion der Blickrichtung auf die Anzeige gemäß der Richtung der Normalen in eine zur Normalen senkrechten Ebene und der der Anzeige zugeordneten und vorbestimmten Rich- tung. Hiermit wird weiter detailliert, dass der Winket zwischen zwei Strecken bestimmt wird. Damit die Winkel bestimmung korrekt verläuft und unabhängig von Abweichungen in der Höhe der Augen über der Anzeige ist, wird die Projektion in Richtung der Normalen vorgenommen, tdeaierweise liegt die vorbestimmte Richtung und die Projektion in derselben Ebene. Bei einer ebenen Anzeige wird die Blickrichtung auf die Anzeige projiziert.
In einer besonders bevorzugten Weiterbildung wird sowohl die Rotation der Position der Augen um die Anzeige herum, als auch die Höhe der Position der Augen über der Anzeige ausgeglichen durch die Kombination der oben dargestellten Verfahren.
Das Erfassen der Position der Berührung kann mithilfe von berührungsempfindlichen Mitteln, insbesondere Mitteln zur kapazitiven Erfassung von Berührungen, ausgeführt werden, wobei die Mittel von der berührungsempfindlichen Anzeige um- fasst sind. Die berührungsempfindliche Anzeige kann somit ein typischer auf kapazi- tiver Erfassung der Berührungsfläche beruhender Touch Screen sein. Natürlich können auch Techniken wie auf Widerstand beruhender Technologien oder akustische Oberflächenweilen eingesetzt werden.
Weiterhin kann vorgesehen sein, dass mithilfe der Kamera die allgemeine Position des Benutzers erfasst wird, also beispielsweise ob es sich bei einer in einem Fahr- zeug befindlichen Anzeige um den Fahrer oder Beifahrer handelt. Die allgemeine Position kann anhand der vorhergehenden oder bei der Eingabe eingenommenen Orientierung oder Bewegung der Hand des Benutzers oder des Arms des Benutzers festgestellt werden. Aufbauend auf dieser Bestimmung kann die Eingabeposition ebenfalls bestimmt werden aufbauend auf der Berührungsposition. In einem anderen Aspekt umfasst eine Vorrichtung zum Bestimmen einer Eingabeposition auf einer berührungsempfindlichen Anzeige durch einen Benutzer: die be- rührungsempfindliche Anzeige, Mittel zur Erfassung der Position der Augen eines Benutzers der Vorrichtung, insbesondere umfassend eine Kamera; Elektronische Verarbeitungsmittel, wobei die Vorrichtung dazu eingerichtet ist ein Verfahren ge- mäß einem der vorhergehenden Ansprüche auszuführen. Bei der Kamera kann es sich um eine Kamera handeln, die im sichtbaren Lichtbereich Aufnahmen fertigt und/oder im Infrarotbereich. Die elektronischen Verarbeitungsmittel können mithilfe von Computerprogrammen einrichtbar sein und einen Mikroprozessor, Mikrocontrol- ler, dedizierte elektronische Schaltkreise und/oder einen Computer umfassen. Die Vorrichtung kann sich in einem Fahrzeug, insbesondere einem PKW, befinden.
KURZE BESCHREIBUNG DER ZEICHNUNG
Fig. 3a und 3b zeigen schematisch ein System gemäß einem Ausführungsbeispiel einmal in Draufsicht und einmal in Seitenansicht. Gleiche Bezugszeichen in Fig. 3 bezeichnen Elemente, die denen der Fig. 1a bis 2b entsprechen.
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
Fig. 3a und 3b zeigen schematisch ein System gemäß einem Ausführungsbeispiel, das zusätzlich zu den in Fig. 1a bis 2b gezeigten Elementen noch eine elektronische Verarbeitungseinheit 6 und eine Kamera 7 umfasst.
Die Kamera 7 nimmt zumindest die Augen des Benutzers auf. Die Kamera 7 ist mit der elektronischen Verarbeitungseinheit 6 verbunden, an die die Kamera 7 die Aufnahme übermittelt. Die Verarbeitungseinheit 6 bestimmt mit an sich bekannten Verfahren der Bildverarbeitung die Position der Augen 5 des Benutzers. Dabei bedient sich die Verarbeitungseinhett 6 auch der bekannten Position der Kamera 7.
Gleichzeitig oder anschließend empfängt die elektronische Verarbeitungseinheit 6 von der berührungsempfindlichen Anzeige 1 , mit der sie verbunden ist, Angaben für die Position der Berührung und/oder Angaben zur Berührungsfläche. Ausgehend von diesen Angaben bestimmt die elektronische Verarbeitungsvorrichtung ein gra- phisches Element der auf der Anzeige 1 angezeigten graphischen Schnittstelle. Dies kann beispielsweise das der Berührungsposition nächstliegende graphische Element sein.
Ausgehend von diesen empfangenen Daten bestimmt die elektronische Verarbeitungseinheit 6 die Winket W1 und W2, auf deren Basis dann die Berührungsposition korrigiert wird, um die Eingabeposition zu bestimmen.
Um die Winkel W1 und W2 zu bestimmen projiziert die Verarbeitungseinheit zunächst die Verbindung zwischen einem Punkt der Schaltfläche 2 (allgemeiner einem graphischen Element) und der Position der Augen 5 des Benutzers auf die ebene Anzeige 1. Der gestrichelte Pfeil stellt die Projektion 8 der Verbindung dar, der Auf- satzpunkt wird als der Schwerpunkt der Schaltfläche 2 bestimmt und bildet Anfangsoder Endpunkt der Pfeile und Richtungen. Die Projektion 8 findet senkrecht zur Normalen der ebenen Anzeige 1 statt. In Fig. 3b wird die Projektion 8 aus zeichnerischen Gründen leicht über der Anzeige 1 dargestellt, obwohl sie eigentlich in der ebenen Anzeige liegt. In Fig. 3b ist zusätzlich die Verbindung 10 zwischen der Schaltfläche 2 und den Augen 5 des Benutzers gezeigt. Die Verbindung 10 endet aus zeichnerischen Gründen kurz vor der Schaltfläche 2, obwohl sie eigentlich bis auf die Schaltfläche 2 reicht, beispielsweise auf den Schwerpunkt der Schaltfläche 2. Der Winkel W1 wird zwischen der Projektion 8 und der Verbindung 10 bestimmt (vgl. Fig. 3b). Der Winkel W2 wird zwischen der Projektion 8 und der der Anzeige 1 zugeordneten Richtung 9 bestimmt. Die Richtung 9 dient im Wesentlichen als beliebig bestimmbare aber festgelegte Referenz.
Die Verarbeitungseinheit 6 bestimmt im Folgenden die Eingabeposition ausgehend von der Berührungsposition und den Winkeln W1 und W2. Im vorliegenden Beispiel wird die Berührungsposition entlang der Projektion 8 um einen aus dem Winkel W1 bestimmten Betrag verschoben.
Generell wird bei der Bestimmung der Eingabeposition auch berücksichtigt inwieweit die Schaltfläche 2 von dem Finger 4 für die Augen 5 des Benutzers verdeckt wird. Ergibt sich beispielsweise aus der Bestimmung des Winkeis W2, der Position der Augen 5 des Benutzers und der Berührungsfläche 3, dass die Schaltfläche 2 für den Blick des Benutzers ausgehend von den Augen 5 nicht oder nur teilweise verdeckt wird, wird die Berührungsposition nicht oder nur vergleichsweise wenig verschoben.
Claims
ANSPRÜCHE 1. Verfahren zum Bestimmen einer Eingabeposition auf einer berührungsempfindlichen Anzeige durch einen Benutzer, umfassend:
Erfassen der Position der Augen des Benutzers, insbesondere mithilfe einer Kamera;
Erfassen der Position einer Berührung auf der berührungsempfindlichen Anzeige;
Bestimmen der Eingabeposition basierend auf der erfassten Position der Augen in Bezug auf zumindest einen Teil der berührungsempfindlichen Anzeige, insbesondere in Bezug auf ein auf der Anzeige angezeigtes graphisches Element, und der erfassten Position der Berührung.
2. Verfahren nach Anspruch 1 , wobei die Eingabeposition ausgehend von der Position der Berührung bestimmt wird, die basierend auf einem Winkel angepasst wird, der der Position der Augen in Bezug auf den zumindest einen Teil der Anzeige zugeordnet ist, insbesondere derart, dass die Anpassung umso größer ist, je kleiner der Winkel ist, wobei der Winkel ausgehend von der Anzeige gemessen wird.
3. Verfahren nach Anspruch 2, wobei der Winkel basierend auf dem Winkel zwischen einer durch die Position der Augen und dem zumindest einen Teil der Anzeige bestimmten Blickrichtung und dem zumindest einen Teil der Anzeige bestimmt wird, wobei für die Winkelbestimmung die Normale des zumindest einen Teils der Anzeige berücksichtigt wird.
4. Verfahren nach Anspruch 3, wobei der Winkel basierend auf dem Winkel zwischen einer Projektion der Blickrichtung auf die Anzeige gemäß der Richtung der Normalen und der Blickrichtung bestimmt wird.
5. Verfahren nach Anspruch 2, wobei der Winkel basierend auf dem Winkel zwischen der durch die Position der Augen und dem zumindest einen Teil der Anzeige bestimmten Blickrichtung und einer der Anzeige zugeordneten und vorbestimmten Richtung be- stimmt wird, insbesondere wobei die vorbestimmte Richtung senkrecht zu der Normalen des zumindest einen Teils der Anzeige ist.
6. Verfahren nach Anspruch 5, wobei der Winkel basierend auf dem Winkel zwischen einer Projektion der Blickrichtung auf die Anzeige gemäß der Richtung der Normalen und der der Anzeige zugeordneten und vorbestimmten Richtung bestimmt wird.
7. Verfahren nach einem der Ansprüche 3 oder 4 und einem der Ansprüche 5 oder 6, wobei der in den Ansprüchen 5 und 6 genannte Winkel ein weiterer Winkel ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erfassen der Position der Berührung mithilfe von berührungsempfindlichen Mitteln, insbesondere Mitteln zur kapazitiven Erfassung von Berührungen, ausgeführt wird, wobei die Mittel von der berührungsempfindlichen Anzeige um- fasst sind.
9. Vorrichtung zum Bestimmen einer Eingabeposition auf einer berührungs- empfindlichen Anzeige durch einen Benutzer, umfassend: die berührungsempfindliche Anzeige,
Mittel zur Erfassung der Position der Augen eines Benutzers der Vorrichtung, insbesondere umfassend eine Kamera;
Elektronische Verarbeitungsmittel,
wobei die Vorrichtung dazu eingerichtet ist ein Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012219958.6A DE102012219958A1 (de) | 2012-10-31 | 2012-10-31 | Bestimmung einer Eingabeposition auf einem Touch-Screen |
PCT/EP2013/071950 WO2014067803A1 (de) | 2012-10-31 | 2013-10-21 | Bestimmung einer eingabeposition auf einem touch-screen |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2915023A1 true EP2915023A1 (de) | 2015-09-09 |
Family
ID=49551584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP13786638.0A Withdrawn EP2915023A1 (de) | 2012-10-31 | 2013-10-21 | Bestimmung einer eingabeposition auf einem touch-screen |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150234515A1 (de) |
EP (1) | EP2915023A1 (de) |
DE (1) | DE102012219958A1 (de) |
WO (1) | WO2014067803A1 (de) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013019200A1 (de) * | 2013-11-15 | 2015-05-21 | Audi Ag | Verfahren zum Betreiben eines Bediensystems, Bediensystem und Vorrichtung mit einem Bediensystem |
JP5971817B2 (ja) | 2014-06-20 | 2016-08-17 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 情報処理装置、プログラム及び方法 |
DE102016202251A1 (de) | 2016-02-15 | 2017-08-17 | Volkswagen Aktiengesellschaft | Anordnung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders bei einer Bedienung einer berührungsempfindlichen Anzeigeeinrichtung |
WO2020183249A1 (en) * | 2019-03-08 | 2020-09-17 | Indian Institute Of Science | A system for man-machine interaction in vehicles |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6734215B2 (en) * | 1998-12-16 | 2004-05-11 | University Of South Florida | Exo-S-mecamylamine formulation and use in treatment |
US8284170B2 (en) | 2008-09-30 | 2012-10-09 | Apple Inc. | Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor |
US8890819B2 (en) * | 2009-03-31 | 2014-11-18 | Mitsubishi Electric Corporation | Display input device and vehicle-mounted information equipment |
US8432271B2 (en) * | 2009-07-29 | 2013-04-30 | Davy Zide Qian | Driver alarm for preventing children from being left in car |
US8982160B2 (en) * | 2010-04-16 | 2015-03-17 | Qualcomm, Incorporated | Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size |
US9152287B2 (en) * | 2010-08-05 | 2015-10-06 | Analog Devices, Inc. | System and method for dual-touch gesture classification in resistive touch screens |
US8884928B1 (en) * | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
US8933885B2 (en) * | 2012-09-25 | 2015-01-13 | Nokia Corporation | Method, apparatus, and computer program product for reducing hand or pointing device occlusions of a display |
-
2012
- 2012-10-31 DE DE102012219958.6A patent/DE102012219958A1/de not_active Withdrawn
-
2013
- 2013-10-21 EP EP13786638.0A patent/EP2915023A1/de not_active Withdrawn
- 2013-10-21 WO PCT/EP2013/071950 patent/WO2014067803A1/de active Application Filing
-
2015
- 2015-04-29 US US14/699,176 patent/US20150234515A1/en not_active Abandoned
Non-Patent Citations (2)
Title |
---|
None * |
See also references of WO2014067803A1 * |
Also Published As
Publication number | Publication date |
---|---|
WO2014067803A1 (de) | 2014-05-08 |
US20150234515A1 (en) | 2015-08-20 |
DE102012219958A1 (de) | 2014-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112014000496B4 (de) | Benutzerschnittstellenvorrichtung, Eingabeerfassungsverfahren und Fahrzeugeingabevorrichtung | |
EP3113969B1 (de) | Anwenderschnittstelle und verfahren zur signalisierung einer 3d-position eines eingabemittels bei der gestenerfassung | |
DE102012005800A1 (de) | Eingabevorrichtung | |
EP2915023A1 (de) | Bestimmung einer eingabeposition auf einem touch-screen | |
DE102012000274A1 (de) | Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt | |
EP2653335B1 (de) | Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs | |
DE102011112445A1 (de) | Multifunktionsbedieneinrichtung | |
DE102017121342A1 (de) | Anzeigesteuerungsvorrichtung, anzeigesteuerungssystem und anzeigesteuerungsverfahren | |
WO2014108147A1 (de) | Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung | |
DE112015006572T5 (de) | Touch-Panel-Steuervorrichtung und Fahrzeuginformationsvorrichtung | |
EP3911532B1 (de) | Bediensystem mit portabler schnittstelleneinheit sowie kraftfahrzeug mit dem bediensystem | |
DE102019213636A1 (de) | Fahrzeug-Infotainment-Vorrichtung, Verfahren zum Steuern derselben und Fahrzeug damit | |
WO2014067774A1 (de) | Verfahren und vorrichtung zum betreiben einer eingabevorrichtung | |
WO2014108150A2 (de) | Bedienschnittstelle für eine handschriftliche zeicheneingabe in ein gerät | |
DE102014218504A1 (de) | Fahrzeug mit frei positionierbaren haptischen Bedienelementen | |
WO2016184971A1 (de) | Verfahren zum betreiben einer bedienvorrichtung sowie bedienvorrichtung für ein kraftfahrzeug | |
DE102014005760A1 (de) | Anordnung für einen Innenraum eines Kraftfahrzeugs | |
DE102015105682A1 (de) | Bedienungsvorrichtung | |
DE112017007109T5 (de) | Berührungseingabebeurteilungseinrichtung, Touchpanel-Eingabeeinrichtung,Berührungseingabebeurteilungsverfahren und Berührungseingabebeurteilungsprogramm | |
WO2017108560A1 (de) | Anzeigevorrichtung und bedieneinrichtung | |
DE102019002885A1 (de) | Bedienvorrichtung | |
DE102007053051B4 (de) | Bedienvorrichtung mit einer Schaltvorrichtung und einer Erkennungsvorrichtung | |
EP3274789A1 (de) | Kraftfahrzeugssimulationsanordnung zur simulation einer virtuellen umgebung mit einem virtuellen kraftfahrzeug und verfahren zur simulation einer virtuellen umgebung | |
DE102022105769A1 (de) | Betrieb eines berührempfindlichen Multiview-Anzeigeschirms | |
DE102013016490A1 (de) | Kraftfahrzeug mit berührungslos aktivierbarem Handschrifterkenner |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20150330 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20180418 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN |
|
18W | Application withdrawn |
Effective date: 20190905 |