DE102014224618A1

DE102014224618A1 - Method and device for operating an input device

Info

Publication number: DE102014224618A1
Application number: DE102014224618.0A
Authority: DE
Inventors: Stefan Andreas Kniep; Markus Langenberg; Daniel Zaum; Jens Heimsoth; Gerrit De Boer; Philippe Dreuw
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-12-02
Filing date: 2014-12-02
Publication date: 2016-06-02

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die einen Sensor (3) zum Erfassen der Position und/oder Positionsänderung mindestens eines Fingers (8, 9) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird. Dabei ist vorgesehen, dass in Abhängigkeit von einer vorgebbaren Position von zumindest zwei Fingern (8, 9) der Hand (6) zueinander auf eine Eingabe erkannt wird.The invention relates to a method for operating an input device (2), in particular a motor vehicle (1), which has a sensor (3) for detecting the position and / or position change of at least one finger (8, 9) of a hand (6) of a user in which, depending on the detected position and / or position change, an input is detected and executed. It is provided that, depending on a predeterminable position of at least two fingers (8, 9), the hand (6) is recognized relative to one another for input.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die einen berührungsfrei arbeitenden Sensor zum Erfassen der Position und/oder Positionsänderung mindestens eines Fingers einer Hand eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des Fingers auf eine Eingabe erkannt und durchgeführt wird. The invention relates to a method for operating an input device, in particular a motor vehicle, having a non-contact sensor for detecting the position and / or position change of at least one finger of a user's hand, depending on the detected position and / or position change of the finger an input is detected and performed.

Ferner betrifft die Erfindung eine entsprechende Eingabevorrichtung. Furthermore, the invention relates to a corresponding input device.

Stand der TechnikState of the art

Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden. Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese durchgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebspararmeter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.In today's motor vehicles operating concepts are used in which an input device and a display device are arranged close to each other. Usually, so-called touch-sensitive screens and so-called touch screens are provided for this purpose, in which operation and display take place at the same location. Frequently display devices are mounted in the upper part of a control panel or dashboard of the motor vehicle, so that the driver does not have to turn his eyes too far away from the traffic to read. In other vehicles are a touchpad, so a touch-sensitive sensor, in the area of the armrest of the driver, and the display device at the usual place in the area of the dashboard. A visual feedback to the driver in the operation of the sensor can take place in the form of an indicated transparent hand, which is represented by the display device. Thereby, the driver can conveniently operate the input device while the display is still presented to him in an advantageous viewpoint. In this case, it is also conceivable not to design the display device as a screen, but as a head-up display. While classical touch-sensitive sensors or touchpads require a touch by the user to operate them, input devices are also known which recognize or register inputs without contact. With the aid of depth sensors, for example, the positions of a user's hand, fingers and / or arm are detected in the room and evaluated for gesture operation. Finger gestures require high resolution, which can be achieved with sensors such as time-of-flight sensors, stereo cameras, structured light, or the like. For hand or body gestures, sensors with a lower resolution can also be used, such as radar sensors. By one or more sensors, therefore, the position or position change of the hand of a user is detected, being detected in response to the detected position and / or position change to an input and this is performed. The user thus indicates with a movement of his hand or with at least one finger of his hand to the input device, which input he wants to make. The input device recognizes the desired input by means of the movement of the finger and executes it by converting the command given by the movement and, for example, changing an operating parameter of the motor vehicle. For example, depending on the position and position change of a user's finger, the "increase volume" input can be detected and executed by the input device by increasing the volume of, for example, an entertainment system of the motor vehicle.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass auf die Eingabeoberfläche verzichtet werden kann, indem auf einfache Art und Weise der Eingabevorrichtung zu erkennen gegeben wird, ob eine durchgeführte Positionsänderung als Eingabe zu werten ist oder nicht. Erfindungsgemäß ist es vorgesehen, dass in Abhängigkeit von beziehungsweise bei Erfassen einer vorgebbaren Position von zumindest zwei Fingern der Hand zueinander auf eine Eingabe erkannt und diese ausgeführt wird. Es ist also vorgesehen, dass die gewünschte Eingabe des Benutzers in Abhängigkeit von der Ausrichtung beziehungsweise Position von zumindest zwei Fingern zueinander erkannt wird. Dabei kann diese vorgebbare Position sowohl als Bedingung für das Erfassen einer Positionsänderung oder auch für das Anzeigen des Endes einer Eingabe genutzt werden. So ist es denkbar, dass die vorgebbare Position nach Durchführen einer Eingabe erfasst und dadurch die zuvor durchgeführte Eingabe erkannt und durchgeführt wird, oder dass die vorgebbare Position während der Eingabe als Bedingung für das Erfassen der Eingabe erfasst wird. Dadurch, dass die Position von zumindest zwei Fingern zueinander überwacht wird, kann auf das Vorsehen einer Eingabeoberfläche verzichtet werden. Üblicherweise wird die Eingabe durch den Benutzer mit einem Finger vorgenommen, beispielsweise wenn er einen Buchstaben oder ein Wort zeichnet. Durch das Bewegen eines zweiten Fingers in die vorgebbare Position zu dem ersten Finger teilt der Benutzer dem System auf einfache Art und Weise mit, dass eine Eingabe nun begonnen oder beendet wird, unabhängig davon, wo sich der die Bewegung durchführende Finger im Raum befindet. The method according to the invention with the features of claim 1 has the advantage that the input surface can be dispensed with by simply indicating to the input device whether or not a position change carried out is to be regarded as an input. According to the invention, it is provided that, as a function of or upon detection of a predefinable position of at least two fingers of the hand, one another recognizes an input and executes it. It is therefore provided that the desired input of the user is detected in dependence on the orientation or position of at least two fingers to each other. In this case, this predefinable position can be used both as a condition for detecting a change in position or for displaying the end of an input. Thus, it is conceivable that the predefinable position is detected after performing an input and thereby the previously performed input is detected and performed, or that the predeterminable position is detected during the input as a condition for detecting the input. By monitoring the position of at least two fingers with respect to each other, the provision of an input surface can be dispensed with. Usually, the input is made by the user with a finger, for example, when drawing a letter or a word. By moving a second finger to the predeterminable position with respect to the first finger, the user can tell the system in a simple manner that an entry will now be started or terminated, regardless of where the finger passing the movement is in the room.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass bei Erfassen der vorgebbaren Position der zwei Finger zueinander das Erfassen einer Positionsänderung unterbrochen wird. Zeichnet der Benutzer beispielsweise mit einem ersten Finger einen Buchstaben in die Luft, so kann er durch das Hinzufügen des zweiten Fingers in der vorgebbaren Position zu dem ersten Finger mitteilen, dass die durchgeführte Positionsänderung des ersten Fingers nunmehr beendet ist, und die darauffolgende Bewegung nicht mehr zu der durchzuführenden Eingabe zuzurechnen ist. Durch das Vorsehen des zweiten Fingers in der vorgebbaren Position zum ersten Finger wird somit mitgeteilt, dass das Erfassen der Positionsänderung unterbrochen und daher das Folgende nicht für die Auswertung der Positionsänderung und das Erkennen einer Eingabe genutzt werden soll. According to an advantageous development of the invention, it is provided that upon detection of the predeterminable position of the two fingers, the detection of a change in position in relation to each other is interrupted. For example, if the user draws a letter in the air with a first finger, he can tell by adding the second finger in the predeterminable position to the first finger that the positional change of the first finger has now ended and the subsequent movement is no longer complete attributable to the input to be made. By providing the second finger in the predeterminable position to the first finger, it is thus communicated that the detection of the position change is interrupted and therefore the following should not be used for the evaluation of the position change and the recognition of an input.

Weiterhin ist bevorzugt vorgesehen, dass bei einer durch die Positionsänderung erfolgenden Buchstabeneingabe durch den Benutzer bei Erfassen der vorgebbaren Position der zwei Finger zueinander die Buchstabeneingabe als abgeschlossen erkannt wird. Bewegt der Benutzer also seinen ersten Finger, um einen Buchstaben zu zeichnen, kann er durch Hinzufügen des zweiten Fingers in die vorgebbare Position zu dem ersten Finger mitteilen, dass der Buchstabe zu Ende gezeichnet wurde. Entsprechend wird dann das Erfassen und Auswerten einer Position und/oder Positionsänderung unterbrochen. Dadurch lassen sich Buchstaben durch das System auf einfache Art und Weise sicher erfassen. Furthermore, it is preferably provided that the character input is detected as completed when the user enters the predefinable position of the two fingers when the user enters a position change due to the position change. Thus, when the user moves his first finger to draw a letter, he can tell by adding the second finger in the predeterminable position to the first finger that the letter has been completed. Accordingly, the detection and evaluation of a position and / or position change is interrupted. This allows letters to be safely captured by the system in a simple manner.

Weiterhin ist bevorzugt vorgesehen, dass bei einer durch die Positionsänderung erfolgenden Worteingabe bei Erfassen der vorgebbaren Position der zwei Finger zueinander ein Leerzeichen gesetzt wird. Selbstverständlich kann der Benutzer durch das Bewegen des ersten Fingers auch gleich ein ganzes Wort schreiben. Durch das Hinzufügen des zweiten Fingers in der vorgebbaren Position zu dem ersten Finger teilt er dem System mit, dass das Wort beendet und ein Leerzeichen gesetzt werden soll. Wird also in diesem Fall die vorgebbare Position oder Ausrichtung der Finger zueinander erfasst, wird auf das Setzen eines Leerzeichens als Eingabe erkannt und von der Eingabevorrichtung ausgeführt. Furthermore, it is preferably provided that a space is entered when the predeterminable position of the two fingers is detected when the position input is changed. Of course, the user can also write a whole word by moving the first finger. By adding the second finger in the predeterminable position to the first finger, it tells the system to quit the word and set a space. If, in this case, the specifiable position or orientation of the fingers relative to one another is detected, the setting of a space is recognized as an input and executed by the input device.

Besonders bevorzugt ist vorgesehen, dass nur für die Dauer der erfassten vorgebbaren Position die Unterbrechung der Erfassung der Positionsänderung erfolgt. Solange der Benutzer also die zwei Finger in der vorgebbaren Position hält, wird eine weitere Positionsänderung nicht für das Erkennen der Eingabe ausgewertet. Sobald der Benutzer den zweiten Finger wieder entfernt beziehungsweise in eine andere sich von der vorgebbaren Position unterscheidende Position verlagert, wird die Position beziehungsweise Bewegung/Positionsänderung des verbleibenden Fingers wieder erfasst, um eine Eingabe zu erkennen und durchzuführen. Particularly preferably, it is provided that the interruption of the detection of the position change takes place only for the duration of the detected predefinable position. So long as the user holds the two fingers in the predeterminable position, another position change is not evaluated for recognizing the input. As soon as the user removes the second finger or moves it to another position that differs from the predefinable position, the position or movement / change in position of the remaining finger is detected again in order to recognize and carry out an input.

Ferner ist bevorzugt vorgesehen, dass als vorgebbare Position der Finger zueinander das Aufspreizen einer virtuellen Ebene durch die zwei Finger vorgegeben wird. Wird also durch den berührungsfrei arbeitenden Sensor, der insbesondere als Kameraeinrichtung ausgebildet ist, erkannt, dass zwei Finger des Benutzers eine Ebene aufspannen, insbesondere weil sie einen Winkel zwischen sich einschließen, so wird erkannt, dass die Finger die vorgebbare Position erreicht haben. Furthermore, it is preferably provided that the spreading of a virtual plane through the two fingers is predetermined as a preselectable position of the fingers relative to each other. Thus, if it is detected by the non-contact sensor, which is designed in particular as a camera device, that two fingers of the user span a plane, in particular because they enclose an angle between them, then it is recognized that the fingers have reached the predefinable position.

Besonders bevorzugt wird auf die Position dann erkannt, wenn die zwei Finger einen Winkel von mehr als 30°, insbesondere mehr als 45°, vorzugsweise einen Winkel zwischen 80° und 100°, miteinander einschließen. Insbesondere bei einem Winkel von 45° oder mehr kann davon ausgegangen werden, dass die Stellung der Finger zueinander keine zufällige Stellung darstellt, sondern durch den Benutzer gewünscht herbeigeführt wurde. Somit kann sicher die dadurch gewünschte Eingabe, wie beispielsweise das Setzen eines Trennzeichens oder eines Leerzeichens erkannt und durchgeführt werden. Particularly preferably, the position is recognized when the two fingers enclose an angle of more than 30 °, in particular more than 45 °, preferably an angle between 80 ° and 100 °. In particular, at an angle of 45 ° or more can be assumed that the position of the fingers to each other is not a random position, but was brought about by the user desired. Thus, the input desired thereby, such as setting a separator or a space, can be surely recognized and performed.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Eingabe nur dann erkannt wird, wenn es sich bei den erfassten Fingern um Daumen und Zeigefinger der Hand handelt. Ob es sich bei den Fingern um Daumen und Zeigefinger der Hand handelt, kann durch herkömmliche Verfahren der Konturerkennung ermittelt werden. Insbesondere lässt sich dies auch durch den von den Fingern eingeschlossenen Winkel bestimmen. Ein Winkel von 80° oder mehr könnte beispielsweise üblicherweise nicht durch Zeigefinger und Mittelfinger der Hand eines Benutzers erreicht werden, sodass bei Vorliegen eines derartigen Winkels auf Daumen und Zeigefinger geschlossen werden kann. According to an advantageous development of the invention, it is provided that the input is recognized only when the detected fingers are the thumb and forefinger of the hand. Whether the fingers are the thumb and forefinger of the hand can be determined by conventional contour recognition techniques. In particular, this can also be determined by the angle enclosed by the fingers. An angle of 80 ° or more, for example, could not usually be achieved by the forefinger and middle finger of a user's hand, so that when such an angle is present, the thumb and forefinger can be closed.

Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens ist vorgesehen, dass nur bei Erfassen der vorgebbaren Position der zumindest zwei Finger zueinander in Abhängigkeit von einer erfassten Positionsänderung von wenigstens einem der zumindest zwei Finger die Eingabe erkannt und durchgeführt wird. In diesem Fall ist also vorgesehen, dass durch das Erfassen der vorgebbaren Position die dabei erfasste Positionsänderung als Eingabe erkannt und durchgeführt wird. In diesem Fall arbeitet das Verfahren also umgekehrt, sodass durch das Hinzufügen des Weiteren, insbesondere abgespreizten Fingers, insbesondere Daumens, dem System mitgeteilt wird, dass nun eine Eingabe erfolgt, und nicht, wie zuvor beschrieben, dass eine Eingabe nun unterbrochen wird. According to a further advantageous embodiment of the method, it is provided that only upon detection of the predefinable position the at least two fingers are recognized and executed in response to a detected change in position of at least one of the at least two fingers. In this case, it is thus provided that the detected position change detected and performed as input by detecting the predetermined position. In this case, the method thus works in reverse, so that by adding the further, in particular splayed finger, in particular thumb, the system is informed that now an input is made, and not, as described above, that an input is now interrupted.

Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 10 führt zu den oben bereits genannten Vorteilen. Sie zeichnet sich dadurch aus, dass die Eingabevorrichtung bei bestimmungsgemäßem Gebrauch bei Erfassen einer vorgebbaren Position von zumindest zwei Fingern der Hand zueinander eine Eingabe erkennt und durchführt. Vorzugsweise weist die Eingabevorrichtung außerdem eine Anzeigeeinheit auf, die dem Benutzer die Position seines oder seiner Finger in einem Sensorfeld des berührungsfrei arbeitenden Sensors darstellt, sodass der Benutzer sich leichter orientieren kann. Das Sensorfeld kann dabei auch in zwei unterschiedliche Bereiche, insbesondere in ein Tastaturfeld und in ein Auswahlfeld aufgeteilt und entsprechend auch durch die Anzeigeeinheit dargestellt werden. The input device according to the invention with the features of claim 10 leads to the advantages already mentioned above. It is characterized in that the input device at intended use in detecting a predetermined position of at least two fingers of the hand to each other detects and performs an input. Preferably, the input device also has a display unit which displays to the user the position of his or her fingers in a sensor field of the non-contact sensor, so that the user can orient himself more easily. The sensor field can also be divided into two different areas, in particular in a keypad and in a selection field and also represented by the display unit.

Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen:In the following, the invention will be explained in more detail with reference to the drawing. To show:

1 den Innenraum eines Kraftfahrzeugs mit einer vorteilhaften Eingabevorrichtung, 1 the interior of a motor vehicle with an advantageous input device,

2 eine beispielhafte Buchstabeneingabe, 2 an exemplary letter input,

3A und 3B eine einen Befehl eingebende Hand eines Benutzers in unterschiedlichen Zuständen. 3A and 3B a user's hand entering a command in different states.

1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen berührungsfrei arbeitenden Sensor 3 sowie eine Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 ist als Bildschirm, insbesondere Display, ausgebildet und kann beispielsweise Bestandteil eines Navigationssystems oder eines Entertainmentsystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HUD) auszubilden. Der berührungsfrei arbeitende Sensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien dargestellten Erfassungsbereich aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte. 1 shows a schematic representation of the interior of a motor vehicle not shown here 1 which is an input device 2 for non-contact input of control commands. For this purpose, the input device has a non-contact sensor 3 and a display unit 4 on. The display unit 4 is in the dashboard or in the control console of the motor vehicle 1 arranged arranged. The display unit 4 is designed as a screen, in particular display, and may for example be part of a navigation system or an entertainment system of the motor vehicle 1 be. It is also conceivable, the display unit 4 alternatively or additionally as a Head-Up Display (HUD) form. The non-contact sensor 3 is preferably designed as a two-dimensional video camera or camera device having the detection range shown with dashed lines. The video camera is preferably oriented such that it faces the front end of a central armrest 5 of the motor vehicle 1 has. The armrest 5 itself has no real input surface on which a driver by means of a hand only schematically shown here 6 could enter a command by touching the input interface.

Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen. The input device 2 is instead adapted to a position and / or position change of at least one finger of the hand 6 in the room to capture and depending on an input to recognize and execute.

Da eine reale Eingabeoberfläche nicht vorhanden ist, muss es dem Benutzer auf andere Art und Weise ermöglich werden, eindeutige Eingaben durchzuführen. Moderne Systeme sind bereits dazu ausgebildet, Schriftzeichen, die durch den Benutzer gezeichnet werden, zu erkennen. Um dies auch vorliegend zu ermöglichen, wird das im Folgenden beschriebene Verfahren durchgeführt. Since a real input interface does not exist, the user must be otherwise enabled to make unique inputs. Modern systems are already designed to recognize characters that are drawn by the user. In order to make this possible in the present case, the method described below is carried out.

Das Verfahren adressiert ein Problem, das insbesondere bei einem Interaktionskonzept „Tippen im freien Raum“ auftritt. Da es keine Berührungserkennung gibt, lässt sich auch eine Schrifterkennung nicht ohne Weiteres umsetzen, weil das System zwar die Position der Fingerspitzen erkennen kann, jedoch nicht, ob der Finger im Sinne des Fahrers aufgesetzt ist, also schreibt, oder nicht aufgesetzt sein soll, im Sinne eines nicht abgesetzten Stiftes, da sich der Finger ja permanent in der Luft befindet. The method addresses a problem that occurs in particular in an interaction concept "typing in free space". Since there is no touch detection, even a handwriting recognition can not be readily implemented, because the system can recognize the position of the fingertips, but not whether the finger is placed in the driver's sense, so writes, or should not be placed in the Meaning of a non-detached pin, since the finger is indeed permanently in the air.

2 zeigt beispielhaft einen Bewegungsweg B, der notwendig wäre, um den Großbuchstabe E zu zeichnen. Dabei ist das Eingeben des Großbuchstabens E ohne beim Zeichnen abzusetzen schwierig zu erfassen. Wird anschließend ein weiterer Buchstabe gezeichnet, ohne dass vorher abgesetzt wurde, kann zwischen den beiden Buchstaben auch nicht ohne weiteres unterschieden werden. Im Gegensatz zu konventionellen berührungsempfindlichen Sensoren kann nicht ohne Weiteres eine Unterscheidung zwischen „Stift hoch“ und „Stift runter“ getroffen werden. 2 shows an example of a movement path B, which would be necessary to draw the capital letter E. The inputting of the capital letter E is difficult to detect when drawing. If a further letter is then drawn without having been deposited beforehand, it is not easy to distinguish between the two letters. In contrast to conventional touch-sensitive sensors, it is not easy to make a distinction between "pin up" and "pin down".

Dieses Problem wird durch das vorteilhafte Verfahren dadurch gelöst, dass neben dem schreibenden Finger ein weiterer Finger genutzt wird, um dem erkennenden System, also der Eingabevorrichtung 2 mitzuteilen, wann ein einzelner Buchstabe oder ein Wort abgeschlossen ist. Der zusätzliche Finger wird dazu eingesetzt, ein Trennzeichen oder ein Leerzeichen in der Bewegung des Zeichenfingers zu platzieren. Dabei wird wie folgt vorgegangen:
Zunächst erfolgt eine Hintergrundmodellierung zur Bestimmung des Hinter- und des Vordergrunds anhand des von dem Sensor 3 erfassten Bildes, wobei sowohl statische als auch dynamische Modelle benutzt werden können. Durch eine anschließende Schwellwertbildung wird eine binäre Vordergrundmaske berechnet. This problem is solved by the advantageous method in that in addition to the writing finger another finger is used to the recognizing system, so the input device 2 to tell when a single letter or word is completed. The extra finger is used to place a separator or space in the movement of the character finger. The procedure is as follows:
First, a background modeling for the determination of the background and the foreground on the basis of the sensor 3 captured image using both static and dynamic models. Subsequent thresholding computes a binary foreground mask.

Anschließend wird eine Handkonturberechnung auf der Vordergrundmaske durchgeführt, und ein Handkonturschwerpunkt berechnet. Danach folgt eine Berechnung der Fingerspitzenkandidaten durch das sogenannte „k-Curvature“-Maß entlang der erfassten Kontur der Hand. Pixel, deren „k-Curvature“-Maß einen gewissen Schwellwert überschreiten, werden in einer binären Maske als entsprechender Kandidat markiert.Subsequently, a hand contour calculation is performed on the foreground mask, and a hand contour center of gravity is calculated. This is followed by a calculation of the fingertip candidates by the so-called "k-curvature" measure along the detected contour of the hand. Pixels whose "k-curvature" measures exceed a certain threshold are marked as corresponding candidates in a binary mask.

Auf der binären Fingerspitzenkandidaten-Maske werden erneut geschlossene Konturen berechnet (sogenannte Blobbs), wobei deren Schwerpunktzentren die Positionen aller Fingerspitzen repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese vorzugsweise anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. The binary fingertip candidate mask is used to recalculate contiguous contours (so-called blobbs), whose centroid centers represent the positions of all fingertips. If several false fingertips were detected by an over-segmentation, they are preferably discarded based on geometric heuristics and the distance to the hand contour center of gravity.

Vorteilhafterweise werden die Fingerspitzen über die Zeit verfolgt und die erfassten Positionsänderungen werden abgespeichert. Advantageously, the fingertips are tracked over time and the detected position changes are stored.

Für die Definition des Trennzeichens sind unterschiedlichste Ausführungen denkbar. Dabei wird davon ausgegangen, dass das Trennzeichen oder eine Eingabe in Abhängigkeit von der Position von zumindest zwei Fingern zueinander erkannt wird. So kann einfach die Sichtbarkeit des Daumens der Hand als Trennzeichen verwendet werden. For the definition of the delimiter various designs are conceivable. It is assumed that the separator or an input is detected in dependence on the position of at least two fingers to each other. Thus, simply the visibility of the thumb of the hand can be used as a separator.

3A und 3B zeigen jeweils die von dem Sensor 3 erfasste Hand 6 des Benutzers in unterschiedlichen Stellungen. Gemäß 3A ist die Hand 6 des Benutzers bis auf Zeigefinger 8 und Daumen 9 zu einer Faust geballt. Die beiden aufgespreizten Finger, also der Zeigefinger 8 und der Daumen 9 schließen einen Winkel α ein, sodass sie zusammen eine gedachte Ebene aufspreizen. Dies wird von der Eingabevorrichtung 2 als Leerzeichen oder Trennzeichen erkannt. Während der Benutzer beim Zeichnen des Buchstabens nur den Zeigefinger 8 ausstreckt, kann er durch Ausspreizen des Daumens 9 ein Trennzeichen oder Leerzeichen setzen. Vorteilhafterweise muss der Daumen dabei um einen Mindestwinkel α_min ausgespreizt werden, der beispielweise 45° beträgt. Legt der Benutzer den Daumen 9 wieder an, so wird im Folgenden die Bewegung des Zeigefingers 8 als weitere Eingabe beziehungsweise als eine eine Eingabe durchführende Positionsänderung erkannt. 3A and 3B each show that of the sensor 3 grasped hand 6 the user in different positions. According to 3A is the hand 6 of the user except for index finger 8th and thumbs 9 balled into a fist. The two spread fingers, so the index finger 8th and the thumb 9 enclose an angle α so that together they spread an imaginary plane. This is done by the input device 2 recognized as a space or delimiter. While the user draws the letter only the index finger 8th He can stretch out, he can by spreading the thumb 9 put a separator or space. Advantageously, the thumb must be spread out by a minimum angle α _min , which is for example 45 °. The user puts his thumb 9 again, so will the movement of the index finger 8th detected as a further input or as an input carrying position change.

Alternativ wäre es denkbar, dass Daumen und Zeigefinger permanent sichtbar sind, wie in 3B dargestellt, wobei der Benutzer ein Trennzeichen durch ein Abknicken des Daumens 9 setzt, wie durch einen Pfeil 10 angedeutet. Auch hier wird die Position von Zeigefinger 8 und Daumen 9 zueinander überwacht. In diesem Fall ist die das Leerzeichen setzende vorgegebene Position die angewinkelte Position des Daumens 9, wodurch Zeigefinger und Daumen 9 abschnittsweise parallel zueinander ausgerichtet sind. Wird der Daumen wieder abgespreizt gemäß Pfeil 10, sodass er wie in 3A mit dem Zeigefinger 8 zusammen einen Winkel α einschließt, so wird die weitere Bewegung des Zeigefingers 8 als Eingabebewegung ausgewertet und eine entsprechende Eingabe erkannt und durchgeführt. Alternatively, it would be conceivable that the thumb and forefinger are permanently visible, as in 3B shown, wherein the user is a delimiter by a bend of the thumb 9 put as if by an arrow 10 indicated. Again, the position of index finger 8th and thumbs 9 monitored each other. In this case, the predetermined position setting the blank is the bent position of the thumb 9 , whereby forefinger and thumb 9 are aligned in sections parallel to each other. If the thumb is spread out again according to the arrow 10 so he like in 3A with the index finger 8th together forms an angle α, so the further movement of the index finger 8th evaluated as input movement and a corresponding input detected and performed.

Dabei kann vorgesehen sein, dass ein Trennzeichen dadurch gesetzt wird, dass der Benutzer nach Abschluss eines Buchstabens den Daumen kurz abspreizt oder anlegt. Sobald der Daumen anschließend wieder angelegt oder abgespreizt ist, erfolgt die Eingabe des nächsten Buchstabens. It can be provided that a delimiter is set by the fact that the user spreads his thumb shortly after completion of a letter or applies. As soon as the thumb is then created or spread again, the next letter is entered.

Im Folgenden soll die Erfassung und Auswertung der Positionsänderung der Hand 6 beziehungsweise der Finger der Hand 6 noch einmal im Detail erläutert werden: Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran ( Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004 ) des durch den Sensor 3 erfassten Bildes. Dadurch werden der Hintergrund und der Vordergrund voneinander getrennt. Als Hintergrund wird dabei das statische beziehungsweise sich nicht verändernde von dem Sensor 3 erfasste Bild in dem Kraftfahrzeug verstanden. Das statische Bild dient als Referenzbild, dass zu jedem Zeitpunkt einer Bildfolge von einem aktuell erfassten Bild abgezogen wird, so dass nur Bildelemente beziehungsweise Pixel im resultierenden Differenzbild markiert sind, die sich vom vorher definierten/ erfassten statischen Hintergrundbild unterscheiden. Der Vordergrund ist die im Erfassungsbereich des Sensors 3 bewegte Hand 6 eines Benutzers, wie sie in 1 beispielhaft dargestellt ist. The following is the capture and evaluation of the change in position of the hand 6 or the finger of the hand 6 be explained in detail: First, a background modeling according to Zivkovic, Zoran ( Zivkovic, Zoran; "Improved Adaptive Gaussian Mixture Model for Background Subtraction", ICPR, 2004 ) of the sensor 3 captured image. This will separate the background and the foreground. The background is the static or non-changing of the sensor 3 captured image in the motor vehicle understood. The static image serves as a reference image that is subtracted from a currently acquired image at any time of an image sequence, so that only pixels or pixels are marked in the resulting difference image, which differ from the previously defined / detected static background image. The foreground is the one in the detection range of the sensor 3 moving hand 6 of a user, as in 1 is shown by way of example.

Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh ( Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 ) durchgeführt wird, bei welcher relevante Vordergrundregionen für die Handerkennung durch spezielle Hautfarbmodelle erfasst werden, wobei aufgrund des Farbunterschieds zwischen der Hand und dem Hintergrund die Hand erkannt wird. As an alternative or in addition to the background modeling, it is provided that a foreground modeling according to Dadgostar and Sarrafzadeh (US Pat. Dadgostar, Farhad and Sarrafzadeh, Abdolhossein: "Adaptive real-time skin detector based on Hue thresholding: A Comparison of two motion tracking methods", Pattern Recognition Letters, 2006, 1342-1352 ), in which relevant foreground regions for hand recognition are detected by special skin color models, whereby the hand is recognized due to the color difference between the hand and the background.

Auf Basis der der durch die Vordergrund- und/oder Hintergrundmodellierung gewonnenen Daten wird eine Handkontur der Hand 6 ermittelt und insbesondere auch der Handkonturschwerpunkt berechnet. Vorteilhafterweise wird dazu eine Handkontursegmentierung nach Suzuki und Abe ( Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 ) durchgeführt. Anschließend werden Fingerspitzen der Hand 6 und damit einzelne Finger erkannt. Dies erfolgt vorzugsweise in Abhängigkeit von den erfassten Krümmungen der Handkontur, wie beispielsweise bei Malik ( Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 ) beschrieben wurde. Alternativ kann auch eine Handmodellierung, wie sie von Liu und Lovell ( Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 ) beschrieben wurde durchgeführt werden, um sowohl die Hand als auch ihre Finger- und Fingerspitzen zu detektieren ( Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 ). Auf Basis der so bestimmten Fingerspitzen werden erneut geschlossene Konturen, berechnet, wobei deren Schwerpunktzentren die Position der finalen Fingerspitze repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. Hierdurch lassen sich auf einfache Art und Weise einzelne Fingerspitzen der Hand 6 ermitteln.On the basis of the data obtained by the foreground and / or background modeling, a hand contour of the hand becomes 6 determined and in particular also calculated the hand contour center of gravity. Advantageously, a hand contour segmentation according to Suzuki and Abe ( Suzuki, S. and Abe, K .: Topological Structural Analysis of Digitized Binary Images by Border Following. "CVGIP, 1985, 32-46 ) carried out. Subsequently, fingertips become the hand 6 and thus recognize individual fingers. This is preferably done as a function of the detected curvatures of the hand contour, as for example in Malik ( Malik, Shahzad: "Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 ) has been described. Alternatively, a hand modeling, as described by Liu and Lovell ( Liu, Nianjun and Lovell, Brian C. "Hand Gesture Extraction by Active Shape Models ", Proceedings of Digital Image Computing on Techniques and Applications, 2005 ) to detect both the hand and its fingertips and fingertips ( Lee, J. and Kunii, TL: Model-Based Analysis of Hand Posture, IEEE Computer Graphics and Applications, 1995, 77-86 ). Based on the fingertips thus determined, again closed contours are calculated, with their centers of gravity representing the position of the final fingertip. If several false fingertips were detected by over-segmentation, they are discarded based on geometric heuristics and the distance to the hand contour center of gravity. As a result, individual fingertips of the hand can be easily achieved 6 determine.

Sowohl die gesamte Hand 6 als auch deren Fingerspitzen können mit bekannten Trackingverfahren, wie sie beispielsweise von Do, Asfour und Dillmann ( Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 ) beschrieben wurden, verfolgt werden. Die Erkennung statischer Zeigegesten kann durch standartisierte Klassifikationsverfahren und unabhängig zu jedem Bild einer Sequenz erfolgen, wie von Lockton und Fitzgibbon ( Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002) oder Nagi (Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 ) beschrieben. Probabilistische Sequenzmodellierungsverfahren erlauben sowohl die Erkennung einfacher statischer ( Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 ) als auch komplexer dynamischer Handgesten ( Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 ), die nicht notwendigerweise eine bereits segmentierte Handkontur als Eingabe erwarten, sondern mittels erscheinungsbasierter Merkmale auf dem gesamten Bild arbeiten. Ähnliche Verfahren, die auch angewendet können, basieren auf einer Analyse des optischen Flusses ( Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 ).Both the entire hand 6 and their fingertips can with known tracking methods, as for example by Do, Asfour and Dillmann ( Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: "Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 ). The detection of static pointers can be done by standardized classification methods and independently to each image of a sequence, as described by Lockton and Fitzgibbon ( Lockton, R. and Fitzgibbon, AW: "Real-time gesture recognition using deterministic boosting", BMVC, 2002) or Nagi (Nagi, Jawad et al., "Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA). 2011, 342-347 ). Probabilistic sequence modeling techniques allow both the detection of simple static ( Dreuw, Philippe; Keyser, Daniel; Deselaers, Thomas and Ney, Hermann: "Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128 ) as well as complex dynamic hand gestures ( Dreuw, Philippe; Rybach, David; Deselaer, Thomas; Zahedi, Morteza and Ney, Hermann. Speech Recognition Techniques for a Sign Language Recognition System, Interspeech, Antwerp, Belgium, 2007, 2513-2516 ), which do not necessarily expect an already segmented hand contour as an input, but work on the entire image using appearance-based features. Similar methods that can be used are based on an analysis of the optical flow ( Cutler, R. and Turk, M .: "View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 ).

Durch das Verfahren und die Eingabevorrichtung 2 wird es somit ermöglicht, ohne das Vorsehen einer tatsächlichen realen Eingabeoberfläche, Trennzeichen oder Leerzeichen einzufügen beziehungsweise die Verwendung einer Funktion „Stift oben“ und „Stift unten“ zu ermöglichen. Dadurch kann die Schrifteingabe unter ergonomischen Gesichtspunkten angenehmer gestaltet werden. Darüber hinaus sind das Verfahren und die Eingabevorrichtung kostengünstig darstellbar. By the method and the input device 2 Thus, without the provision of an actual real input interface, it is possible to insert separators or spaces or to allow the use of a "pen up" and "pen down" function. As a result, the input of letters can be made more pleasant from an ergonomic point of view. In addition, the method and the input device can be displayed inexpensively.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Zivkovic, Zoran; "Improved Adaptive Gaussian Mixture Model for Background Subtraction", ICPR, 2004 [0031]
Dadgostar, Farhad and Sarrafzadeh, Abdolhossein: "Adaptive real-time skin detector based on Hue thresholding: A comparison of two motion tracking methods" Pattern Recognition Letters, 2006, 1342-1352 [0032]
Suzuki, S. and Abe, K .: Topological Structural Analysis of Digitized Binary Images by Border Following. "CVGIP, 1985, 32-46 [0033]
Malik, Shahzad: "Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 [0033]
Liu, Nianjun and Lovell, Brian C. "Hand Gesture Extraction by Active Shape Models", Proceedings of Digital Image Computing on Techniques and Applications, 2005 [0033]
Lee, J. and Kunii, TL: "Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77-86 [0033]
Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: "Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 [0034]
Lockton, R. and Fitzgibbon, AW: "Real-time gesture recognition using deterministic boosting", BMVC, 2002) or Nagi (Nagi, Jawad et al., "Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA). 2011, 342-347 [0034]
Dreuw, Philippe; Keyser, Daniel; Deselaers, Thomas and Ney, Hermann: "Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128 [0034]
Dreuw, Philippe; Rybach, David; Deselaer, Thomas; Zahedi, Morteza and Ney, Hermann. "Speech Recognition Techniques for a Sign Language Recognition System", Interspeech, Antwerp, Belgium, 2007, 2513-2516 [0034]
Cutler, R. and Turk, M .: "View-Based Interpretation on Real-Time Optical Flow for Gestural Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998. [0034]

Claims

Method for operating an input device ( 2 ), in particular a motor vehicle ( 1 ), which has a sensor ( 3 ) for detecting the position and / or position change of at least one finger ( 8th . 9 ) of a hand ( 6 ) of a user, wherein, as a function of the detected position and / or position change, an input is detected and executed, characterized in that, as a function of a predefinable position, at least two fingers ( 8th . 9 ) of the hand ( 6 ) is recognized to each other on an input.

A method according to claim 1, characterized in that, upon detection of the predetermined position of the at least two fingers to each other the detection of a change in position is interrupted.

Method according to one of the preceding claims, characterized in that, in the case of a letter input by the user which occurs as a result of the position change, when the predeterminable position of the two fingers ( 8th . 9 ) to each other, the letter input is recognized as completed.

Method according to one of the preceding claims, characterized in that, in the event of a word input occurring as a result of the change in position, upon detection of the presettable position of the two fingers ( 8th . 9 ) a space is set to each other.

Method according to one of the preceding claims, characterized in that an interruption of the detection of the position change takes place only for the duration of the detection of the predeterminable position.

Method according to one of the preceding claims, characterized in that the position of the fingers relative to one another is the spreading of a virtual plane through two fingers ( 8th . 9 ) is given.

Method according to one of the preceding claims, characterized in that the position is recognized when the two fingers ( 8th . 9 ) enclose an angle of more than 30 °, in particular more than 45 °, preferably between 80 ° and 100 ° with each other.

Method according to one of the preceding claims, characterized in that an input is recognized only if it is in the detected fingers ( 8th . 9 ) around thumb ( 9 ) and index fingers ( 8th ) of the hand ( 6 ).

Method according to one of the preceding claims, characterized in that only upon detection of the predefinable position of the at least two fingers ( 8th . 9 ) to one another depending on a detected change in position of at least one of the at least two fingers ( 8th . 9 ) the input is detected and performed.

Input device ( 2 ), in particular for a motor vehicle ( 1 ), with a non-contact sensor ( 3 ) for detecting a position and / or position change of at least one finger ( 8th . 9 ) of a hand ( 6 ) of a user, wherein the input device ( 2 ) is adapted, depending on the position and / or position change of the at least one finger ( 8th . 9 ) to recognize and execute an input, characterized in that the input device ( 2 ) performs the method according to one or more of claims 1 to 9 when used as intended.