DE102018211624A1 - Method and user interface for capturing an input using pointing gesture - Google Patents

Method and user interface for capturing an input using pointing gesture Download PDF

Info

Publication number
DE102018211624A1
DE102018211624A1 DE102018211624.5A DE102018211624A DE102018211624A1 DE 102018211624 A1 DE102018211624 A1 DE 102018211624A1 DE 102018211624 A DE102018211624 A DE 102018211624A DE 102018211624 A1 DE102018211624 A1 DE 102018211624A1
Authority
DE
Germany
Prior art keywords
selection
selection area
user
areas
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018211624.5A
Other languages
German (de)
Inventor
Florian Roider
Isabel Schönewald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102018211624.5A priority Critical patent/DE102018211624A1/en
Priority to CN201980030140.4A priority patent/CN112074801A/en
Priority to PCT/EP2019/068737 priority patent/WO2020011943A1/en
Publication of DE102018211624A1 publication Critical patent/DE102018211624A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B60K2360/11—
    • B60K2360/141—
    • B60K2360/1438—
    • B60K2360/1464—
    • B60K2360/149—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

Es wird ein Verfahren (300) zur Erfassung einer Eingabe eines Nutzers an einer Eingabefläche (104) beschrieben, wobei die Eingabefläche (104) eine Mehrzahl von Auswahlbereichen (201) umfasst. Das Verfahren (300) umfasst das Erfassen (301) von Sensordaten in Bezug auf den Kopf (110), insbesondere die Augen, und zumindest eine Hand (115) des Nutzers. Außerdem umfasst das Verfahren (300) das Bestimmen (302), auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs (211), auf den der Blick des Nutzers gerichtet sein könnte. Ferner umfasst das Verfahren (300) das Ermitteln (303), auf Basis der Sensordaten, einer Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers. Des Weiteren umfasst das Verfahren (300) das Ermitteln (304), auf Basis der Zeigerichtung (125), eines ausgewählten Auswahlbereichs (201, 211) aus der Mehrzahl von Auswahlbereichen (201), wobei der erste Auswahlbereich (211) bei dem Ermitteln (304) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.A method (300) for detecting an input from a user on an input surface (104) is described, the input surface (104) comprising a plurality of selection areas (201). The method (300) comprises the acquisition (301) of sensor data relating to the head (110), in particular the eyes, and at least one hand (115) of the user. In addition, the method (300) comprises determining (302), based on the sensor data, at least one first selection area (211), which the user could be looking at. The method (300) further comprises determining (303), based on the sensor data, a pointing direction (125) of a pointing gesture made by the user by means of the hand (115). The method (300) further comprises determining (304), based on the pointing direction (125), a selected selection area (201, 211) from the plurality of selection areas (201), the first selection area (211) being determined ( 304) has an increased priority compared to one or more others of the plurality of selection areas (201).

Description

Die Erfindung betrifft ein Verfahren und eine Benutzerschnittstelle, die es einem Nutzer ermöglichen, in zuverlässiger Weise eine Eingabe mittels Zeigegestik zu tätigen.The invention relates to a method and a user interface that enable a user to make a reliable entry using pointing gestures.

Ein Fahrzeug kann eine Benutzerschnittstelle aufweisen, die es einem Nutzer des Fahrzeugs ermöglicht, mittels einer Geste eine Eingabe zu tätigen, z.B. um ein Infotainmentsystem des Fahrzeugs zu bedienen. Dabei kann anhand von ein oder mehreren Kameras die Bewegung der Hand des Nutzers erfasst werden. Die erfassten Bilddaten können ausgewertet werden, um eine Eingabegeste aus einer Mehrzahl von gespeicherten Eingabegesten zu erkennen.A vehicle may have a user interface that enables a user of the vehicle to make an input using a gesture, e.g. to operate an infotainment system of the vehicle. The movement of the user's hand can be recorded using one or more cameras. The captured image data can be evaluated in order to recognize an input gesture from a plurality of stored input gestures.

Eine beispielhafte Eingabegeste ist dabei eine Zeigegeste, die es einem Nutzer ermöglicht, mit dem Finger auf einen bestimmten Auswahlbereich auf einer Auswahl- bzw. Eingabefläche (z.B. auf einem Bildschirm) der Benutzerschnittstelle des Fahrzeugs zu zeigen, um eine mit dem Auswahlbereich assoziierte Eingabe zu tätigen. Die Zeigerichtung des Fingers des Nutzers kann dabei auf Basis der erfassten Bilddaten ermittelt werden.An exemplary input gesture is a pointing gesture, which enables a user to point a finger at a specific selection area on a selection or input surface (for example on a screen) of the user interface of the vehicle in order to make an input associated with the selection area , The pointing direction of the user's finger can be determined on the basis of the captured image data.

Die Zeigerichtung einer Zeigegeste kann meist nur mit einer relativ geringen Genauigkeit auf Basis von Bilddaten ermittelt werden. Des Weiteren zeigt ein Nutzer häufig nur ungenau auf einen auszuwählenden Auswahlbereich. Dabei hängt die Genauigkeit der ermittelten Zeigerichtung typischerweise von der Ausrichtung der ein oder mehreren Kameras ab, durch die die Bilddaten erfasst werden. Eine geringe Genauigkeit der ermittelten Zeigerichtung einer Zeigegeste führt zu einer relativ geringen Zuverlässigkeit einer Eingabe mittels Zeigegestik. Des Weiteren erfordert die geringe Genauigkeit der ermittelten Zeigerichtung einer Zeigegeste die Verwendung von relativ großflächigen Auswahlbereichen. The pointing direction of a pointing gesture can usually only be determined with a relatively low accuracy on the basis of image data. Furthermore, a user often only points inaccurately to a selection area to be selected. The accuracy of the determined pointing direction typically depends on the orientation of the one or more cameras through which the image data are captured. A low accuracy of the determined pointing direction of a pointing gesture leads to a relatively low reliability of an input by means of pointing gesture. Furthermore, the low accuracy of the determined pointing direction of a pointing gesture requires the use of relatively large selection areas.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine kompakte Benutzerschnittstelle bereitzustellen, die eine Eingabe mittels Zeigegestik mit hoher Zuverlässigkeit ermöglicht.The present document deals with the technical task of providing a compact user interface which enables input by means of pointing gesture with high reliability.

Die Aufgabe wird jeweils durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The task is solved in each case by the independent claims. Advantageous embodiments include described in the dependent claims. It is pointed out that additional features of a claim dependent on an independent claim without the features of the independent claim or only in combination with a subset of the features of the independent claim can form a separate invention that is independent of the combination of all features of the independent claim can be made the subject of an independent claim, a divisional application or a late application. This applies in the same way to the technical teachings described in the description, which can form an invention that is independent of the features of the independent claims.

Gemäß einem Aspekt wird ein Verfahren zur Erfassung einer Eingabe eines Nutzers an einer Eingabefläche beschrieben. Dabei kann die Eingabefläche eine Mehrzahl von Auswahlbereichen umfassen. Die Eingabefläche kann z.B. einen Bildschirm umfassen, auf dem die unterschiedlichen Auswahlbereiche angezeigt werden. Des Weiteren können auf der Eingabefläche Funktionen angezeigt werden, die durch Auswahl der unterschiedlichen Auswahlbereiche ausgelöst werden können.According to one aspect, a method for detecting an input by a user on an input surface is described. The input area can comprise a plurality of selection areas. The input area can e.g. include a screen on which the different selection areas are displayed. In addition, functions can be displayed on the input surface, which can be triggered by selecting the different selection areas.

Das Verfahren umfasst das Erfassen von Sensordaten in Bezug auf den Kopf und/oder die Blickrichtung und/oder die Augen und in Bezug auf zumindest eine Hand des Nutzers. Die Sensordaten können mittels zumindest eines Nutzersensors (z.B. einer Bildkamera, einer Tiefenkamera, Annäherungssensorik, etc.) erfasst werden, der auf den Nutzer gerichtet ist. Die Sensordaten können z.B. an einem bestimmten ersten Zeitpunkt bzw. in einem bestimmten ersten Zeitraum erfasst werden.The method comprises the acquisition of sensor data in relation to the head and / or the viewing direction and / or the eyes and in relation to at least one hand of the user. The sensor data can be acquired by means of at least one user sensor (e.g. an image camera, a depth camera, proximity sensor system, etc.) which is aimed at the user. The sensor data can e.g. at a certain first time or in a certain first period.

Außerdem umfasst das Verfahren das Bestimmen, auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs, auf den der Blick des Nutzers gerichtet sein könnte. Zu diesem Zweck kann auf Basis der Sensordaten die Blickrichtung des Nutzers ermittelt werden, und es kann dann ermittelt werden, in welchen Auswahlbereich die Blickrichtung des Nutzers fällt oder fallen könnte. Dabei kann insbesondere ermittelt werden, auf welchen Auswahlbereich der Blick des Nutzers an dem ersten Zeitpunkt bzw. während des ersten Zeitraums gerichtet ist bzw. gerichtet sein könnte.In addition, the method includes determining, based on the sensor data, at least one first selection area, which the user could be looking at. For this purpose, the viewing direction of the user can be determined on the basis of the sensor data, and it can then be determined in which selection area the viewing direction of the user falls or could fall. In particular, it can be determined to which selection area the user's gaze is or could be directed at the first point in time or during the first period.

Des Weiteren umfasst das Verfahren das Ermitteln, auf Basis der Sensordaten, einer Zeigerichtung einer mittels der Hand ausgeführten Zeigegeste des Nutzers. Dabei kann die Zeigerichtung einer Zeigegeste ermittelt werden, die an einem zweiten Zeitpunkt bzw. während eines zweiten Zeitraums ausgeführt wird. Dabei können der zweite Zeitpunkt bzw. der zweite Zeitraum gleich dem ersten Zeitpunkt bzw. dem ersten Zeitraum sein. Alternativ können der zweite Zeitpunkt bzw. der zweite Zeitraum dem ersten Zeitpunkt bzw. dem ersten Zeitraum (ggf. unmittelbare) nachfolgen. Es kann somit ermittelt werden, in welche Zeigerichtung der Nutzer zeigt, während und/oder nachdem sein Blick auf den ersten Auswahlbereich gerichtet ist und/oder war.Furthermore, the method comprises determining, based on the sensor data, a pointing direction of a pointing gesture made by the user by hand. The pointing direction of a pointing gesture can be determined, which is carried out at a second point in time or during a second period. The second point in time or the second period can be equal to the first point in time or the first period. Alternatively, the second point in time or the second period can follow the first point in time or the first period (possibly immediately). It can thus be determined in which pointing direction the user points, during and / or after his gaze is and / or was directed at the first selection area.

Beispielsweise kann auf Basis des Blicks bzw. der Blickrichtung des Nutzers an einem ersten Zeitpunkt der erste Auswahlbereich detektiert werden, auf den der Blick des Nutzers letztmalig (vor Erkennung der Zeigegeste) fokussiert war. Dieser (kurz zuvor) betrachtete erste Auswahlbereich kann dann bei der Auswertung der Zeigegeste berücksichtigt werden.For example, based on the user's gaze or the gaze direction of a first The first selection area on which the user's gaze was last focused (before the gesture was recognized) was detected. This (shortly before) considered first selection area can then be taken into account when evaluating the pointing gesture.

Alternativ oder ergänzend kann auf Basis des Blicks bzw. der Blickrichtung des Nutzers für jeden der Mehrzahl von Auswahlbereichen eine Wahrscheinlichkeit dafür ermittelt werden, dass der Auswahlbereich durch den Nutzer betrachtet wird oder betrachtet wurde. Dabei kann ggf. auch die Zeitdauer berücksichtigt werden, für die die einzelnen Auswahlbereiche von dem Nutzer betrachtet wurden. Die Wahrscheinlichkeiten der unterschiedlichen Auswahlbereiche können dann bei der Auswertung der Zeigegeste berücksichtigt werden.Alternatively or additionally, based on the user's gaze or the gaze direction, a probability can be determined for each of the plurality of selection areas that the selection area is or was viewed by the user. The time period for which the individual selection areas were viewed by the user may also be taken into account. The probabilities of the different selection areas can then be taken into account when evaluating the pointing gesture.

Das Verfahren umfasst ferner das Ermitteln, auf Basis der Zeigerichtung, eines ausgewählten Auswahlbereichs aus der Mehrzahl von Auswahlbereichen. Dabei kann ein Auswahlbereich als ausgewählter Auswahlbereich ermittelt werden, wenn die Zeigerichtung in die Auswahlfläche des Auswahlbereichs zeigt, insbesondere wenn die Zeigerichtung für eine Mindestzeitdauer in die Auswahlfläche des Auswahlbereichs zeigt, die gleich wie oder größer als ein Zeitdauer-Schwellenwert ist (z.B. von 0.5 Sekunden, 0.75 Sekunden, 1 Sekunde oder mehr). Alternativ oder ergänzend kann ein Auswahlbereich in Reaktion auf eine detektierte dynamische Geste als ausgewählter Auswahlbereich ermittelt werden. Beispielhafte dynamische Gesten sind ein „Tippen“ mit dem Zeigefinger in der Luft und/oder ein relativ kurzes „nach vorne Stoßen“ des Zeigefingers in der Luft.The method further includes determining, based on the pointing direction, a selected selection area from the plurality of selection areas. A selection area can be determined as a selected selection area if the pointing direction points into the selection area of the selection area, in particular if the pointing direction points into the selection area of the selection area for a minimum period of time that is equal to or greater than a time period threshold value (for example of 0.5 seconds , 0.75 seconds, 1 second or more). Alternatively or additionally, a selection area can be determined as a selected selection area in response to a detected dynamic gesture. Exemplary dynamic gestures are "typing" with the index finger in the air and / or a relatively short "pushing forward" of the index finger in the air.

Der erste Auswahlbereich kann bei dem Ermitteln eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen aufweisen. Mit anderen Worten, der erste Auswahlbereich, auf den (mit erhöhter Wahrscheinlichkeit) der Blick des Nutzers gerichtet ist, kann bevorzugt bei der Auswahl eines Auswahlbereichs mittels Zeigegestik berücksichtigt werden. So kann die Zuverlässigkeit einer auf Zeigegestik basierenden Benutzerschnittstelle erhöht werden.When determining, the first selection area can have an increased priority compared to one or more others of the plurality of selection areas. In other words, the first selection area, to which the user's gaze is directed (with increased probability), can preferably be taken into account when selecting a selection area by means of pointing gestures. This can increase the reliability of a user interface based on pointing gesture.

Das Verfahren kann z.B. umfassen, das Erhöhen einer ersten Wahrscheinlichkeit dafür, dass der erste Auswahlbereich mittels einer Zeigegeste durch den Nutzer ausgewählt werden kann, im Vergleich zu einer zweiten Wahrscheinlichkeit dafür, dass ein oder mehrere andere der Mehrzahl von Auswahlbereichen mittels einer Zeigegeste durch den Nutzer ausgewählt werden können. Das Erhöhen bzw. Reduzieren der Auswahlwahrscheinlichkeit kann dabei z.B. durch das Vergrößern bzw. das Verkleinern der Auswahlfläche eines Auswahlbereichs erreicht werden. Die Summe der Wahrscheinlichkeiten kann dabei konstant bleiben (z.B. bei dem Wert 1).The method can e.g. comprise increasing a first probability that the first selection area can be selected by the user using a pointing gesture, compared to a second probability that one or more of the plurality of selection areas can be selected by the user using a pointing gesture. Increasing or reducing the selection probability can e.g. can be achieved by enlarging or reducing the selection area of a selection area. The sum of the probabilities can remain constant (e.g. at a value of 1).

Dabei ist eine Vergrößerung bzw. eine Verkleinerung der Auswahlfläche eines Auswahlbereichs typischerweise für einen Nutzer nicht sichtbar. Die auf der Eingabefläche dargestellten Auswahlbereiche können unverändert bleiben. Andererseits kann die Auswahlfläche um einen dargestellten Auswahlbereich vergrößert bzw. verkleinert werden, wobei die Auswahlfläche den Teil der Eingabefläche definiert, in den eine Zeigegeste zeigen muss, um den entsprechenden Auswahlbereich auszuwählen. Mit anderen Worten, eine Vergrößerung der Auswahlfläche führt typischerweise nicht zu einer für den Nutzer sichtbaren Vergrößerung der dargestellten Auswahlelemente. Es erfolgt lediglich eine Vergrößerung des theoretischen Auswahlbereichs, d.h. eine Erhöhung der Wahrscheinlichkeit dafür, dass ein bestimmtes dargestelltes Auswahlelement mit einer Zeigegestik ausgewählt werden kann.An enlargement or a reduction in the size of the selection area of a selection area is typically not visible to a user. The selection areas shown on the input area can remain unchanged. On the other hand, the selection area can be enlarged or reduced by a displayed selection area, the selection area defining the part of the input area into which a gesture must point in order to select the corresponding selection area. In other words, an enlargement of the selection area typically does not lead to an enlargement of the displayed selection elements that is visible to the user. There is only an increase in the theoretical selection range, i.e. an increase in the probability that a particular displayed selection element can be selected with a pointing gesture.

Der ausgewählte Auswahlbereich kann dann auf Basis der Zeigerichtung unter Berücksichtigung der ersten und zweiten Wahrscheinlichkeit ermittelt werden. So kann die Zuverlässigkeit einer Gestik-basierten Benutzerschnittstelle weiter erhöht werden.The selected selection area can then be determined on the basis of the pointing direction, taking into account the first and second probability. This further increases the reliability of a gesture-based user interface.

Die Auswahlbereiche können jeweils eine Auswahlfläche aufweisen, auf die der Nutzer zeigen muss, um den jeweiligen Auswahlbereich auszuwählen. Die Auswahlbereiche können in einem Basiszustand der Eingabefläche jeweils eine Auswahlfläche mit einer bestimmten Größe aufweisen. Der Nutzer muss typischerweise auf die Auswahlfläche eines Auswahlbereichs zeigen, insbesondere für eine Mindestzeitdauer, die gleich wie oder länger als der Zeitdauer-Schwellenwert ist, um den jeweiligen Auswahlbereich auszuwählen. The selection areas can each have a selection area to which the user must point in order to select the respective selection area. In a basic state of the input area, the selection areas can each have a selection area with a specific size. The user typically has to point to the selection area of a selection area, in particular for a minimum period of time that is equal to or longer than the time period threshold, in order to select the respective selection area.

Alternativ oder ergänzend kann die Auswahl eines konkreten Auswahlbereichs durch eine relativ kurze dynamische Geste erfolgen (wie z.B. eine kurze Tipp-Bewegung mit einem Finger). Die Verwendung einer dynamischen (Zeige-) Geste für die Auswahl eines Auswahlbereichs ist vorteilhaft, da so eine Auswahl relativ schnell und für einen Nutzer in komfortable Weise getroffen werden kann.Alternatively or in addition, the selection of a specific selection area can be made using a relatively short dynamic gesture (such as a short tap movement with one finger). The use of a dynamic (pointing) gesture for the selection of a selection area is advantageous, since a selection can be made relatively quickly and in a comfortable manner for a user.

Die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche kann in dem Basiszustand gleich sein. Andererseits kann die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche in dem Basiszustand von der Zuverlässigkeit abhängen, mit der ein Nutzer auf die Auswahlfläche des jeweiligen Auswahlbereichs zeigen kann. Dabei sinkt die Zuverlässigkeit typischerweise je größer der Winkel zwischen der Zeigerichtung zu dem jeweiligen Auswahlbereich und der senkrecht auf dem Körper des Nutzers stehenden Achse ist. Die Größe der Auswahlflächen kann mit sinkender Zuverlässigkeit der Gestenerkennung erhöht sein (auch im Basiszustand der Eingabefläche).The size of the selection areas of the different selection areas can be the same in the basic state. On the other hand, the size of the selection areas of the different selection areas in the basic state can depend on the reliability with which a user can point to the selection area of the respective selection area. The reliability typically drops the greater the angle between the pointing direction to the respective selection area and the axis perpendicular to the body of the user. The size of the Selection areas can increase with decreasing reliability of gesture recognition (also in the basic state of the input area).

Alternativ oder ergänzend kann mit sinkender Zuverlässigkeit der Gestenerkennung (etwa an den Bereichen der Eingabefläche, die weiter von der Achse des Nutzers entfernt sind) eine Gewichtung zu Gunsten der Blickerkennung erhöht werden.As an alternative or in addition, with decreasing reliability of the gesture recognition (for example at the areas of the input surface which are further away from the axis of the user), a weighting in favor of the gaze recognition can be increased.

Das Verfahren kann umfassen, das Vergrößern der Auswahlfläche des ersten Auswahlbereichs relativ zu der Auswahlfläche von zumindest einem anderen der Mehrzahl von Auswahlbereichen. Die vergrößerte Auswahlfläche des ersten Auswahlbereichs kann dann für das Ermitteln des ausgewählten Auswahlbereichs berücksichtigt werden. Es kann somit die Größe der Auswahlfläche des Auswahlbereichs vergrößert werden, auf den der Blick des Nutzers gerichtet ist, um diesen Auswahlbereich im Rahmen der Gestenerkennung zu priorisieren. Des Weiteren kann die Größe der Auswahlflächen der ein oder mehreren anderen der Mehrzahl von Auswahlbereichen in Abhängigkeit von dem Abstand des jeweiligen Auswahlbereichs von dem ersten Auswahlbereich skaliert (insbesondere reduziert werden). So kann die Zuverlässigkeit der Gestenerkennung weiter erhöht werden.The method may include enlarging the selection area of the first selection area relative to the selection area of at least another of the plurality of selection areas. The enlarged selection area of the first selection area can then be taken into account for determining the selected selection area. The size of the selection area of the selection area, to which the user's gaze is directed, can thus be increased in order to prioritize this selection area as part of gesture recognition. Furthermore, the size of the selection areas of the one or more other of the plurality of selection areas can be scaled (in particular reduced) depending on the distance of the respective selection area from the first selection area. This can further increase the reliability of gesture recognition.

Das Verfahren kann umfassen, das Bestimmen, ob auf Basis der Sensordaten eine Blickrichtung des Nutzers ermittelt werden kann. Ggf. kann es (z.B. aufgrund der Tatsache, dass der Nutzer eine Sonnenbrille trägt), nicht möglich sein, die Blickrichtung des Nutzers zu ermitteln. Im Rahmen des Verfahrens kann ein Maß bzw. ein Grad für die Zuverlässigkeit ermittelt werden, mit der die Blickrichtung des Nutzers auf Basis der Sensordaten ermittelt werden konnte. Das Maß bzw. der Grad für die Zuverlässigkeit der ermittelten Blickrichtung kann dann bei der gestenbasierten Auswahl eines Auswahlbereichs berücksichtigt werden. So kann die Zuverlässigkeit einer gestenbasierten Benutzerschnittstelle weiter erhöht werden.The method can include determining whether a gaze direction of the user can be determined on the basis of the sensor data. Possibly. it may not be possible (e.g. due to the fact that the user is wearing sunglasses) to determine the user's line of sight. Within the scope of the method, a measure or a degree for the reliability can be determined, with which the user's line of sight could be determined on the basis of the sensor data. The measure or the degree for the reliability of the determined viewing direction can then be taken into account in the gesture-based selection of a selection area. This can further increase the reliability of a gesture-based user interface.

Das Verfahren kann umfassen, das Ändern der Größe der Auswahlfläche von zumindest einem Auswahlbereich, insbesondere von dem ersten Auswahlbereich, in Abhängigkeit von der Blickrichtung, um die Mehrzahl von Auswahlbereichen in einen geänderten Zustand zu versetzen. Der ausgewählte Auswahlbereich kann dann auf Basis der Mehrzahl von Auswahlbereichen in dem geänderten Zustand ermittelt werden. Das Überführen der Mehrzahl von Auswahlbereichen in den geänderten Zustand kann erfolgen, wenn (ggf. nur dann wenn) die Blickrichtung bestimmt werden kann.The method can include changing the size of the selection area of at least one selection area, in particular of the first selection area, as a function of the viewing direction, in order to put the plurality of selection areas in a changed state. The selected selection area can then be determined on the basis of the plurality of selection areas in the changed state. The change of the plurality of selection areas into the changed state can take place if (if necessary only if) the viewing direction can be determined.

Andererseits kann das Verfahren umfassen, das Ermitteln des ausgewählten Auswahlbereichs auf Basis der Mehrzahl von Auswahlbereichen in dem Basiszustand (ohne Änderung der Größen der Auswahlflächen von ein oder mehreren Auswahlbereichen), wenn die Blickrichtung nicht bestimmt werden kann. Somit kann auch ohne Erkennung der Blickrichtung eine gestenbasierte Auswahl (mit einer bestimmten Grundzuverlässigkeit) ermöglicht werden. Es kann somit eine robuste Benutzerschnittstelle bereitgestellt werden.On the other hand, the method may include determining the selected selection area based on the plurality of selection areas in the basic state (without changing the sizes of the selection areas of one or more selection areas) if the viewing direction cannot be determined. A gesture-based selection (with a certain basic reliability) can thus be made possible even without recognizing the line of sight. A robust user interface can thus be provided.

Die Eingabefläche bzw. die Mehrzahl von Auswahlbereichen weisen typischerweise eine konstante Gesamtfläche auf. Die Änderung der Größe der Auswahlflächen von ein oder mehreren Auswahlbereichen kann derart erfolgen, dass die Gesamtfläche der Eingabefläche bzw. der Mehrzahl von Auswahlbereichen (auch im geänderten Zustand) konstant bzw. unverändert bleibt.The input area or the plurality of selection areas typically have a constant total area. The size of the selection areas of one or more selection areas can be changed such that the total area of the input area or the plurality of selection areas remains constant or unchanged (even in the changed state).

Die Größe der Auswahlfläche von zumindest einem Auswahlbereich kann in Abhängigkeit von dem Grad bzw. dem Maß der Zuverlässigkeit geändert werden, mit dem die Blickrichtung ermittelt werden kann. Insbesondere kann ggf. nur eine relativ kleine Größenänderung erfolgen, wenn die Blickrichtung nur mit einem relativ geringen Grad an Zuverlässigkeit ermittelt werden kann. Die Größenänderung kann dabei mit steigendem Grad an Zuverlässigkeit verstärkt erfolgen. So kann die Zuverlässigkeit der gestenbasierten Benutzerschnittstelle weiter erhöht werden.The size of the selection area of at least one selection area can be changed depending on the degree or the degree of reliability with which the viewing direction can be determined. In particular, only a relatively small size change can possibly take place if the viewing direction can only be determined with a relatively low degree of reliability. The change in size can take place with increasing degree of reliability. This further increases the reliability of the gesture-based user interface.

Im Rahmen des Verfahrens kann auf Basis der Blickrichtung des Nutzers eine Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen ermittelt werden. Dabei zeigt der Wahrscheinlichkeitswert eines Auswahlbereichs eine Wahrscheinlichkeit dafür an, dass der Blick des Nutzers auf den jeweiligen Auswahlbereich gerichtet ist. Es kann somit eine Wahrscheinlichkeitsverteilung der Blickrichtung für die Mehrzahl von Auswahlbereichen ermittelt werden. Der auf Basis der ermittelten Zeigerichtung ausgewählte Auswahlbereich kann dann in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen ermittelt werden. Insbesondere kann die Größe der Auswahlflächen der Mehrzahl von Auswahlbereichen in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten angepasst werden, um die Mehrzahl von Auswahlbereichen in den geänderten Zustand zu versetzen. Der ausgewählte Auswahlbereich kann dann auf Basis der Mehrzahl von Auswahlbereichen in dem geänderten Zustand ermittelt werden. Durch die Berücksichtigung einer Wahrscheinlichkeitsverteilung für die Blickrichtung kann die Zuverlässigkeit einer gestenbasierten Benutzerschnittstelle weiter erhöht werden.Within the scope of the method, a plurality of probability values for the plurality of selection areas can be determined on the basis of the viewing direction of the user. The probability value of a selection area indicates a probability that the user's gaze is directed at the respective selection area. A probability distribution of the viewing direction for the plurality of selection areas can thus be determined. The selection area selected on the basis of the determined pointing direction can then be determined as a function of the plurality of probability values for the plurality of selection areas. In particular, the size of the selection areas of the plurality of selection areas can be adapted as a function of the plurality of probability values in order to put the plurality of selection areas in the changed state. The selected selection area can then be determined on the basis of the plurality of selection areas in the changed state. By considering a probability distribution for the line of sight, the reliability of a gesture-based user interface can be further increased.

Das Verfahren kann umfassen, das Erfassen von Sensordaten an einer Sequenz von Zeitpunkten. Es kann dann auf Basis der Sensordaten an der Sequenz von Zeitpunkten eine Sequenz von Zeigerichtungen ermittelt werden. Des Weiteren kann auf Basis der Sequenz von Zeigerichtungen ermittelt werden, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche der Mehrzahl von Auswahlbereichen schweift (z.B. ohne lange genug auf einem Auswahlbereich zu verbleiben, um diesen Auswahlbereich auszuwählen).The method may include capturing sensor data on a sequence of Times. A sequence of pointer directions can then be determined on the basis of the sensor data on the sequence of times. Furthermore, it can be determined on the basis of the sequence of pointing directions that the user wanders over the sequence of points in time across different selection areas of the plurality of selection areas (for example without remaining on a selection area long enough to select this selection area).

Die Eingabefläche bzw. die Benutzerschnittstelle können derart ausgebildet sein, dass die Tatsache, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche schweift, optisch nicht auf der Anzeigefläche und/oder auf der Benutzerschnittstelle angezeigt wird. Insbesondere können die Eingabefläche bzw. die Benutzerschnittstelle derart ausgebildet sein, dass durch die schweifende Zeigebewegung keine Ablenkung der Blickrichtung des Nutzers bewirkt wird. So kann gewährleistet werden, dass die Blickrichtung mit dem auszuwählenden Auswahlbereich korreliert und somit zur Erhöhung der Zuverlässigkeit der gestenbasierten Auswahl genutzt werden kann.The input surface or the user interface can be designed in such a way that the fact that the user wanders over the sequence of times over different selection areas is not optically displayed on the display surface and / or on the user interface. In particular, the input surface or the user interface can be designed in such a way that the sweeping pointer movement does not cause the user to be distracted from the viewing direction. This ensures that the viewing direction correlates with the selection area to be selected and can thus be used to increase the reliability of the gesture-based selection.

Wie bereits oben dargelegt, erfolgt die Vergrößerung bzw. die Verkleinerung der Auswahlfläche eines Auswahlbereichs bevorzugt derart, dass die Änderung der Größe der Auswahlfläche für einen Nutzer nicht sichtbar ist. Die auf der Eingabefläche dargestellten Auswahlelemente für die unterschiedlichen Auswahlbereiche können während eines Auswahlvorgangs eine unveränderte (sichtbare) Größe aufweisen und/oder unverändert bleiben. Andererseits können die für die Auswertung der Zeigerichtung verwendeten Auswahlflächen der Auswahlbereiche vergrößert bzw. verkleinert werden (ohne dass dies für einen Nutzer sichtbar wird), so dass die Wahrscheinlichkeiten für die in Abhängigkeit von der Zeigerichtung erfolgenden Auswahl der unterschiedlichen Auswahlbereiche vergrößert bzw. verkleinert werden.As already explained above, the selection area of a selection area is preferably enlarged or reduced in such a way that the change in the size of the selection area is not visible to a user. The selection elements for the different selection areas shown on the input surface can have an unchanged (visible) size and / or remain unchanged during a selection process. On the other hand, the selection areas of the selection areas used for the evaluation of the pointing direction can be enlarged or reduced (without this being visible to a user), so that the probabilities for the selection of the different selection areas taking place depending on the pointing direction are increased or decreased.

Das Verfahren kann umfassen, das Ermitteln von Güte-Information in Bezug auf eine Zuverlässigkeit, mit der die Blickrichtung und/oder die Zeigerichtung ermittelt werden können. Insbesondere kann die Güte-Information die Zuverlässigkeit anzeigen, mit der auf Basis der Blickrichtung und/oder mit der auf Basis der Zeigerichtung der Auswahlbereich identifiziert werden kann, der von einem Nutzer ausgewählt wurde.The method can include determining quality information relating to reliability, with which the viewing direction and / or the pointing direction can be determined. In particular, the quality information can indicate the reliability with which the selection area, which was selected by a user, can be identified on the basis of the viewing direction and / or with which on the basis of the pointing direction.

Es kann dann in Abhängigkeit von der Güte-Information eine Gewichtung der ermittelten Blickrichtung und/oder der ermittelten Zeigerichtung, insbesondere ein Ausmaß der Priorisierung des ersten Auswahlbereichs, beim Ermitteln des ausgewählten Auswahlbereichs, angepasst werden. Insbesondere können die Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche, die auf Basis der Blickrichtung ermittelt werden, in Abhängigkeit von der Güte-Information mehr oder weniger stark bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden.Depending on the quality information, a weighting of the determined viewing direction and / or the determined pointing direction, in particular an extent of the prioritization of the first selection area when determining the selected selection area, can then be adapted. In particular, the probability values for the different selection areas, which are determined on the basis of the viewing direction, can be taken into account to a greater or lesser extent, depending on the quality information, in the gesture-based determination of a selected selection area.

Wenn die Güte-Information z.B. anzeigt, dass die Blickrichtung nur sehr unzuverlässige Information in Bezug auf den auszuwählenden Auswahlbereich liefert und/oder dass die Zeigerichtung mit relativ hoher Zuverlässigkeit ermittelt werden kann, so kann ggf. nur eine relativ geringe Priorisierung des (betrachteten) ersten Auswahlbereichs erfolgen (was z.B. durch eine relativ geringe Vergrößerung der Auswahlfläche des ersten Auswahlbereichs erreicht werden kann). Insbesondere können in diesem Fall die Blick-basierten Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche nur in einem relativ geringen Maße bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden.If the quality information e.g. indicates that the viewing direction provides only very unreliable information with regard to the selection area to be selected and / or that the pointing direction can be determined with relatively high reliability, then only a relatively slight prioritization of the (considered) first selection area can take place (e.g. by a relatively small increase in the selection area of the first selection area can be achieved). In this case, in particular, the gaze-based probability values for the different selection areas can only be taken into account to a relatively small extent in the gesture-based determination of a selected selection area.

Wenn die Güte-Information anderseits anzeigt, dass die Blickrichtung sehr zuverlässige Information in Bezug auf den auszuwählenden Auswahlbereich liefert (z.B. aufgrund einer relativ langen Betrachtungszeitdauer) und/oder dass die Zeigerichtung nur mit relativ geringer Zuverlässigkeit ermittelt werden kann (z.B. weil auf einen Auswahlbereich am (vom Nutzer abgewandten) Rand der Eingabefläche gezeigt wird), so kann ggf. eine relativ starke Priorisierung des (betrachteten) ersten Auswahlbereichs erfolgen (was z.B. durch eine relativ starke Vergrößerung der Auswahlfläche des ersten Auswahlbereichs erreicht werden kann). Insbesondere können in diesem Fall die Blick-basierten Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche in einem relativ starken Maße bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden.On the other hand, if the quality information indicates that the viewing direction provides very reliable information with regard to the selection area to be selected (e.g. due to a relatively long period of observation) and / or that the pointing direction can only be determined with relatively low reliability (e.g. because of a selection area on (the edge of the input surface facing away from the user), then a relatively strong prioritization of the (considered) first selection area can take place (which can be achieved, for example, by a relatively large enlargement of the selection area of the first selection area). In this case, in particular, the gaze-based probability values for the different selection areas can be taken into account to a relatively large extent in the gesture-based determination of a selected selection area.

Die Güte-Information kann z.B. auf Basis der Zeitdauer ermittelt werden, mit der der Nutzer einen Auswahlbereich betrachtet. Dabei steigt typischerweise mit steigender Betrachtungszeitdauer die Wahrscheinlichkeit dafür an, dass der Nutzer den betrachteten Auswahlbereich auswählen möchte. Der betrachtete Auswahlbereich kann somit bei der Ermittlung des ausgewählten Auswahlbereichs auf Basis der Zeigegeste in Abhängigkeit von der Betrachtungszeitdauer mehr oder weniger stark priorisiert werden.The quality information can e.g. are determined on the basis of the length of time with which the user looks at a selection area. Typically, the likelihood that the user would like to select the selected selection area increases with increasing observation time. The selection area under consideration can thus be prioritized more or less strongly when determining the selected selection area on the basis of the pointing gesture, depending on the period of observation.

Gemäß einem weiteren Aspekt wird eine Benutzerschnittstelle zur Erfassung einer Eingabe eines Nutzers beschrieben. Die Benutzerschnittstelle umfasst eine Eingabefläche, die in eine Mehrzahl von Auswahlbereichen unterteilt ist. Die Eingabefläche kann einen Bildschirm umfassen, der eingerichtet ist, die Mehrzahl von Auswahlbereichen anzuzeigen. Ferner kann die Eingabefläche Teil eines Straßenkraftfahrzeugs sein.According to a further aspect, a user interface for recording an input from a user is described. The user interface comprises an input area which is divided into a plurality of selection areas. The input surface may include a screen that is set up, the plurality of selection areas display. Furthermore, the input surface can be part of a road motor vehicle.

Die Benutzerschnittstelle umfasst zumindest einen Nutzersensor, der eingerichtet ist, Sensordaten in Bezug auf den Kopf und eine Hand des Nutzers zu erfassen. Außerdem umfasst die Benutzerschnittstelle eine Steuereinheit, die eingerichtet ist, auf Basis der Sensordaten zumindest einen ersten Auswahlbereich aus der Mehrzahl von Auswahlbereichen zu bestimmen, auf den der Blick des Nutzers gerichtet sein könnte bzw. gerichtet ist. Die Steuereinheit ist außerdem eingerichtet, auf Basis der Sensordaten eine Zeigerichtung einer mittels der Hand ausgeführten Zeigegeste des Nutzers zu ermitteln. Des Weiteren ist die Steuereinheit eingerichtet, auf Basis der Zeigerichtung einen ausgewählten Auswahlbereich aus der Mehrzahl von Auswahlbereichen zu ermitteln, wobei der erste Auswahlbereich bei der Ermittlung des ausgewählten Auswahlbereichs eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen aufweist.The user interface comprises at least one user sensor, which is set up to record sensor data relating to the head and hand of the user. In addition, the user interface comprises a control unit which is set up to determine, based on the sensor data, at least one first selection area from the plurality of selection areas, at which the user's gaze could be directed or is directed. The control unit is also set up, based on the sensor data, to determine a pointing direction of a pointing gesture made by the user by hand. Furthermore, the control unit is set up to determine a selected selection area from the plurality of selection areas on the basis of the pointing direction, the first selection area having an increased priority in comparison with one or more others of the plurality of selection areas when determining the selected selection area.

Die Mehrzahl von Auswahlbereichen kann mit einer entsprechenden Mehrzahl von Funktionen assoziiert sein. Die Steuereinheit kann dann eingerichtet sein, zu veranlassen, dass die mit dem ausgewählten Auswahlbereich assoziiert Funktion ausgeführt wird.The plurality of selection areas can be associated with a corresponding plurality of functions. The control unit can then be set up to cause the function associated with the selected selection area to be carried out.

Gemäß einem weiteren Aspekt wird ein Straßenkraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus) beschrieben, das die in diesem Dokument beschriebene Benutzerschnittstelle umfasst.According to a further aspect, a road motor vehicle (in particular a passenger car or a truck or a bus) is described which comprises the user interface described in this document.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The SW program can be set up to be executed on a processor (e.g. on a control device of a vehicle) and thereby to carry out the method described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a software program which is set up to be executed on a processor and thereby to carry out the method described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspect of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in a variety of ways.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

  • 1 beispielhafte Komponenten eines Fahrzeugs;
  • 2a beispielhafte Auswahlbereiche einer Eingabefläche, ohne Erfassung der Blickrichtung;
  • 2b beispielhafte Auswahlbereiche einer Eingabefläche, bei Vorliegen einer erfassten Blickrichtung; und
  • 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer Nutzereingabe.
The invention is described in more detail below on the basis of exemplary embodiments. Show
  • 1 exemplary components of a vehicle;
  • 2a exemplary selection areas of an input surface, without capturing the line of sight;
  • 2 B Exemplary selection areas of an input surface, when there is a detected line of sight; and
  • 3 a flowchart of an exemplary method for determining a user input.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen Erfassung von Nutzereingaben mittels Zeigegestik. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst zumindest einen Nutzersensor 103, der eingerichtet ist, Sensordaten bezüglich eines Nutzers, insbesondere eines Fahrers, des Fahrzeugs 100, insbesondere bezüglich des Kopfs 110 und/oder der Augen 111 des Nutzers, zu erfassen. Des Weiteren kann der Nutzersensor 103 eingerichtet sein, Sensordaten bezüglich einer Hand 115 und/oder bezüglich eines Fingers des Nutzers des Fahrzeugs 100 zu erfassen. Der Nutzersensor 103 kann einen Bildsensor bzw. eine Bildkamera umfassen. Der Nutzersensor 103 kann zur Erfassung der Sensordaten bzgl. des Nutzers auf eine Nutzerposition, insbesondere auf eine Fahrerposition, 105 des Fahrzeugs 100 gerichtet sein. As stated at the beginning, the present document deals with the reliable acquisition of user input by means of pointing gesture. In this context shows 1 exemplary components of a vehicle 100 , The vehicle 100 comprises at least one user sensor 103 , which is set up, sensor data relating to a user, in particular a driver, of the vehicle 100 , especially regarding the head 110 and / or the eyes 111 of the user. Furthermore, the user sensor 103 be set up, sensor data relating to one hand 115 and / or with respect to a finger of the user of the vehicle 100 capture. The user sensor 103 can comprise an image sensor or an image camera. The user sensor 103 can be used to record the sensor data relating to the user to a user position, in particular to a driver position, 105 of the vehicle 100 be directed.

Außerdem umfasst das Fahrzeug 100 eine Steuereinheit 101, die eingerichtet ist, auf Basis der Sensordaten des Nutzersensors 103 eine Blickrichtung 121 des Nutzers zu ermitteln. Die Blickrichtung 121 setzt sich dabei typischerweise aus einer Ausrichtung des Kopfes 110 und aus einer Ausrichtung der Augen 111 des Nutzers zusammen. Ferner kann die Steuereinheit 101 eingerichtet sein, auf Basis der Sensordaten des Nutzersensors 103 eine Zeigerichtung 125 einer Hand bzw. eines Fingers 115 des Nutzers zu ermitteln. Die Blickrichtung 121 und/oder die Zeigerichtung 125 können relativ zu einer Achse definiert sein, die senkrecht vor dem Körper des Nutzers und/oder entlang der Fahrtrichtung des Fahrzeugs 100 verläuft. Insbesondere kann die Zeigerichtung 125 durch eine Verlängerung des Fingervektors eines (Zeige-) Fingers des Nutzers und/oder anhand eines Vektors des Unterarms und/oder durch eine Verlängerung der Achse Augen-Fingerspitze erfasst werden.Also includes the vehicle 100 a control unit 101 , which is set up, based on the sensor data of the user sensor 103 a line of sight 121 of the user. The line of sight 121 typically consists of an alignment of the head 110 and from an alignment of the eyes 111 of the user together. Furthermore, the control unit 101 be set up on the basis of the sensor data of the user sensor 103 a pointing direction 125 one hand or one finger 115 of the user. The line of sight 121 and / or the pointing direction 125 can be defined relative to an axis that is perpendicular to the body of the user and / or along the direction of travel of the vehicle 100 runs. In particular, the pointing direction 125 by an extension of the finger vector of a (pointing) finger of the user and / or by means of a vector of the forearm and / or by an extension of the axis of the eye-fingertip.

Das Fahrzeug 100 umfasst ferner eine Eingabefläche 104 als Teil einer Benutzerschnittstelle des Fahrzeugs 100. Die Eingabefläche 104 kann einen Bildschirm umfassen, auf dem Eingabemöglichkeiten für den Nutzer des Fahrzeugs 100 angezeigt werden. Durch die Verwendung eines Bildschirms als Eingabefläche 104 können die Eingabemöglichkeiten für einen Nutzer des Fahrzeugs 100 flexibel verändert werden. Allgemein kann es sich bei der Eingabefläche 104 um eine beliebige Fläche des Fahrzeugs 100, z.B. um eine beliebige Fläche des Armaturenbretts des Fahrzeugs 100, handeln. Ggf. kann die Eingabefläche 104 außerhalb des Fahrzeugs 100 angeordnet sein (z.B. auf einem (ausgehend von dem Fahrzeug 100 sichtbaren) Verkehrsschild und/oder Gebäude). The vehicle 100 also includes an input surface 104 as part of a user interface of the vehicle 100 , The input area 104 can include a screen on which input options for the user of the vehicle 100 are displayed. By using a screen as an input surface 104 can be the input options for a user of the vehicle 100 can be changed flexibly. In general, it can be the input area 104 around any surface of the vehicle 100 , for example around any surface of the dashboard of the vehicle 100 , act. Possibly. can the input surface 104 outside the vehicle 100 be arranged (e.g. on a (starting from the vehicle 100 visible) traffic sign and / or building).

2a zeigt eine beispielhafte Eingabefläche 104. Die Eingabefläche 104 kann in eine Mehrzahl von Auswahlbereichen 201 unterteilt sein, wobei die unterschiedlichen Auswahlbereiche 201 jeweils paarweise über Bereichsgrenzen 203 voneinander abgegrenzt sind. Jeder Auswahlbereich 201 kann eine bestimmte Auswahlfläche aufweisen, wobei die Auswahlfläche eines Auswahlbereichs 201 durch die Bereichsgrenzen 203 des Auswahlbereichs 201 definiert wird. Die in 2b dargestellte Eingabefläche 104 weist vier unterschiedliche Auswahlbereiche 201 auf. Dabei weisen alle Auswahlbereiche 201 in dem dargestellten Beispiel Auswahlflächen gleicher Größe auf. Eine Eingabefläche 104 kann z.B. 2, 3, 4, 5, 6 oder mehr Auswahlbereiche 201 aufweisen. 2a shows an exemplary input area 104 , The input area 104 can be in a variety of selection areas 201 be divided, with the different selection areas 201 each in pairs across area boundaries 203 are delimited from each other. Any selection area 201 can have a specific selection area, the selection area of a selection area 201 through the range boundaries 203 of the selection area 201 is defined. In the 2 B shown input area 104 has four different selection areas 201 on. All selection areas show 201 in the example shown, selection areas of the same size. An input surface 104 can, for example, 2, 3, 4, 5, 6 or more selection areas 201 exhibit.

Die unterschiedlichen Auswahlbereiche 201 können mit unterschiedlichen Funktionen 202 des Fahrzeugs 100 assoziiert sein. Beispielhafte Funktionen 202 sind z.B. eine Radiofunktion, eine Telefonfunktion, eine Navigationsfunktion oder eine Webbrowser-Funktion. Durch die Auswahl eines bestimmten Auswahlbereichs 201 kann bewirkt werden, dass die mit dem ausgewählten Auswahlbereich 201 assoziierte Funktion ausgeführt bzw. aktiviert wird.The different selection areas 201 can with different functions 202 of the vehicle 100 be associated. Exemplary functions 202 are, for example, a radio function, a telephone function, a navigation function or a web browser function. By selecting a specific selection area 201 can be caused with the selected selection area 201 associated function is executed or activated.

Wie oben dargelegt, kann die Steuereinheit 101 eingerichtet sein, auf Basis der Sensordaten des Nutzersensors 103 die Zeigerichtung 125 einer Zeigegeste eines Nutzers des Fahrzeugs 100 zu ermitteln. Des Weiteren kann auf Basis der ermittelten Zeigerichtung 125 der Auswahlbereich 201 aus der Mehrzahl von Auswahlbereichen 201 ausgewählt werden, auf den der Nutzer zeigt, um eine Auswahl dieses Auswahlbereichs 201 zu bewirken. Eine Auswahl eines Auswahlbereichs 201 kann z.B. (ggf. nur dann) erfolgen, wenn der Nutzer eine (dynamische) Auswahlgeste für den gleichen Auswahlbereich 201 durchführt. Eine beispielhafte Auswahlgeste ist eine Tipp-Bewegung mit einem Finger der Hand 115 des Nutzers.As stated above, the control unit 101 be set up on the basis of the sensor data of the user sensor 103 the pointing direction 125 a pointing gesture of a user of the vehicle 100 to investigate. Furthermore, based on the determined pointing direction 125 the selection area 201 from the majority of selection areas 201 can be selected to which the user points in order to select this selection area 201 to effect. A selection of a selection area 201 can, for example (only if necessary) occur when the user makes a (dynamic) selection gesture for the same selection area 201 performs. An exemplary selection gesture is a tap movement with one finger of the hand 115 of the user.

Wie eingangs dargelegt, kann die Zeigerichtung 125 eines Nutzers meist nur mit einem relativ geringen Grad an Genauigkeit bestimmt werden, bzw. der Nutzer führt eine Zeigegeste meist nur mit einer relativ geringen Genauigkeit durch (insbesondere während der Fahrt). Dies hat zur Folge, dass der Auswahlbereich 201, auf den ein Nutzer zeigt, auf Basis der ermittelten Zeigerichtung 125 nur mit einem relativ geringen Grad an Zuverlässigkeit ermittelt werden kann. Es kann somit relativ häufig zu Fehleingaben eines Nutzers kommen.As stated at the beginning, the pointing direction can 125 of a user are usually determined only with a relatively low degree of accuracy, or the user usually performs a pointing gesture only with a relatively low accuracy (especially while driving). As a result, the selection area 201 that a user points to based on the determined pointing direction 125 can only be determined with a relatively low degree of reliability. A user can therefore make incorrect entries relatively often.

Bei der Durchführung einer Zeigegeste schaut ein Nutzer typischerweise auf den Auswahlbereich 201, auf den der Nutzer zeigen möchte. Die auf Basis der Sensordaten des Nutzersensors 103 ermittelte Blickrichtung 121 kann somit dazu verwendet werden, den Auswahlbereich 201 zu ermitteln, auf den der Nutzer bei der Ausführung einer Zeigegeste schaut. Das Wissen in Bezug auf den von einem Nutzer betrachteten Auswahlbereich 201 kann dann bei der Auswertung der Zeigegeste des Nutzers berücksichtigt werden, um die Zuverlässigkeit bei der Ermittlung des durch die Zeigegeste ausgewählten Auswahlbereichs 201 zu erhöhen.When performing a pointing gesture, a user typically looks at the selection area 201 that the user wants to point to. The one based on the sensor data of the user sensor 103 determined viewing direction 121 can thus be used to select the area 201 to determine which the user looks at when executing a pointing gesture. Knowledge of the selection area viewed by a user 201 can then be taken into account in the evaluation of the user's pointing gesture in order to determine the reliability of the selection area selected by the pointing gesture 201 to increase.

Beispielsweise kann auf Basis der Blickrichtung 125 ermittelt werden, dass der Nutzer einen ersten Auswahlbereich 211 aus der Mehrzahl von Auswahlbereichen 201 der Eingabefläche 104 betrachtet (siehe 2b). Des Weiteren kann die Zeigerichtung 125 einer Zeigegeste des Nutzers ermittelt werden, und es kann in Abhängigkeit von der Zeigerichtung 125 ein Auswahlbereich 201 der Eingabefläche 104 ausgewählt werden. Dabei kann der von dem Nutzer betrachtete erste Auswahlbereich 211 priorisiert berücksichtigt werden. Insbesondere kann die Auswahl eines Auswahlbereichs 201 auf Basis der Zeigerichtung 125 derart erfolgen, dass die Wahrscheinlichkeit dafür, dass der von dem Nutzer betrachtete erste Auswahlbereich 211 ausgewählt wird, im Vergleich zu den anderen Auswahlbereichen 201 erhöht wird.For example, based on the line of sight 125 be determined that the user has a first selection area 211 from the majority of selection areas 201 the input area 104 considered (see 2 B) , Furthermore, the pointing direction 125 a pointing gesture of the user can be determined, and it can depend on the pointing direction 125 a selection area 201 the input area 104 to be selected. The first selection area viewed by the user can 211 prioritized. In particular, the selection of a selection area 201 based on the pointing direction 125 in such a way that the probability that the first selection area viewed by the user 211 is selected, compared to the other selection areas 201 is increased.

Beispielsweise kann, wie in 2b dargestellt, die Auswahlfläche des ersten Auswahlbereichs 211 im Vergleich zu der Auswahlfläche der anderen Auswahlbereiche 201 vergrößert werden. Zu diesem Zweck können die Bereichsgrenzen 203 des ersten Auswahlbereichs 211 in die Richtung von ein oder mehreren der anderen Auswahlbereichen 201 verschoben werden. Aufgrund der vergrößerten Auswahlfläche des ersten Auswahlbereichs 211 kann die Wahrscheinlichkeit dafür, dass die Zeigerichtung 125 der Zeigegeste in den ersten Auswahlbereich 211 fällt, erhöht werden.For example, as in 2 B shown, the selection area of the first selection area 211 compared to the selection area of the other selection areas 201 be enlarged. For this purpose the range limits 203 of the first selection area 211 in the direction of one or more of the other selection areas 201 be moved. Due to the enlarged selection area of the first selection area 211 may be the probability that the pointing direction 125 the pointing gesture in the first selection area 211 falls, be increased.

Es wird somit eine Blickunterstützung verwendet, um die Eingabe mittels einer Zeigegestik zuverlässiger und genauer zu machen. Wenn auf Basis der Sensordaten des Nutzersensors 103 erkannt wird, dass der Nutzer auf die Eingabefläche 104 schaut, können der Fokus bzw. die Blickrichtung 121 des Nutzers erkannt werden und es können die ein oder mehreren Auswahlbereiche 211 in der Blickrichtung 121 des Nutzers priorisiert werden. Zu diesem Zweck können die Auswahlflächen der ein oder mehreren Auswahlbereiche 211, auf die der Blick des Nutzers gerichtet ist, vergrößert werden. Andererseits können die anderen ein oder mehreren Auswahlbereiche 201 verkleinert werden (z.B. so dass die Gesamtfläche der Auswahlbereiche 201 unverändert bleibt). Dabei ist ein Auswahlbereich 201, 211 der Bereich einer Eingabefläche 104, auf den mittels einer Zeigegeste gezeigt werden muss, um den jeweiligen Auswahlbereich 201, 222 auszuwählen. Wird beispielsweise, wie in 2b dargestellt, das Auswahlfeld bzw. der Auswahlbereich 211 der Telefonfunktion mit den Augen 111 des Nutzers fokussiert, so kann der Auswahlbereich 211 der Eingabefläche 104, der mit der Zeigegeste getroffen werden muss, um die Telefonfunktion auszuwählen, im Vergleich zu den ein oder mehreren anderen Auswahlbereichen 201 vergrößert werden. Dabei können die ein oder mehreren anderen (nicht betrachteten) Auswahlbereiche 201 alle gleich groß sein. Alternativ können die ein oder mehreren anderen (nicht betrachteten) Auswahlbereiche 201 (ggf. proportional) in Abhängigkeit von der Entfernung zum Fokusmittelpunkt der Blickrichtung 121 kleiner werden.A gaze support is thus used to make the input more reliable and precise by means of a pointing gesture. If based on the sensor data of the user sensor 103 it is recognized that the user is on the input surface 104 looks, the focus or the direction of view 121 of the user can be recognized and there can be one or more selection areas 211 in the line of sight 121 priority of the user. For this purpose, the selection areas of the one or more selection areas 211 to which the user's gaze is directed. On the other hand, the others can choose one or more selection areas 201 can be reduced (e.g. so that the total area of the selection areas 201 remains unchanged). There is a selection area 201 . 211 the area of an input surface 104 , which must be pointed at with a pointing gesture, to the respective selection area 201 . 222 select. For example, as in 2 B shown, the selection field or the selection area 211 the telephone function with the eyes 111 of the user, so the selection area 211 the input area 104 , which must be made with the pointing gesture to select the telephone function, compared to the one or more other selection areas 201 be enlarged. The one or more other (not considered) selection areas 201 all be the same size. Alternatively, the one or more other (not considered) selection areas 201 (proportional if necessary) depending on the distance to the focus center of the line of sight 121 get smaller.

Wenn auf Basis der Sensordaten des Nutzersensors 103 kein Auswahlbereich 201 der Eingabefläche 104 ermittelt werden kann, auf den der Blick des Nutzers gerichtet ist, so ist dennoch eine Eingabe mittels Zeigegeste möglich. In diesem Fall können die unterschiedlichen Auswahlbereiche 201 Auswahlflächen aufweisen, die von der Blickrichtung 121 des Nutzers unabhängig sind. Beispielsweise können, wie in 2a dargestellt, gleich große Auswahlflächen für die unterschiedlichen Auswahlbereiche 201 verwendet werden. Alternativ kann die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche 201 in Abhängigkeit von der Lage der Auswahlbereiche 201 relativ zu der Lage des Fingers 115 des Nutzers und/oder des Kopfes 110 des Nutzers verändert werden. Die Genauigkeit einer Zeigegeste sinkt typischerweise mit steigender Entfernung des auszuwählenden Auswahlbereiches 201 von dem Kopf 110 und/oder des Fingers 115 des Nutzers. Um die sinkende Genauigkeit der Zeigegeste zu kompensieren, kann die Größe der Auswahlflächen der Auswahlbereiche 201 mit steigender Entfernung zu dem Kopf 110 und/oder dem Finger 115 des Nutzers vergrößert werden. So kann die Zuverlässigkeit einer auf Zeigegesten beruhenden Benutzerschnittstelle erhöht werden.If based on the sensor data of the user sensor 103 no selection area 201 the input area 104 can be determined to which the user's gaze is directed, an entry is nevertheless possible by means of a pointing gesture. In this case, the different selection areas 201 Have selection areas that depend on the viewing direction 121 of the user are independent. For example, as in 2a shown, equally large selection areas for the different selection areas 201 be used. Alternatively, the size of the selection areas of the different selection areas 201 depending on the location of the selection areas 201 relative to the location of the finger 115 of the user and / or the head 110 of the user can be changed. The accuracy of a pointing gesture typically decreases with increasing distance of the selection area to be selected 201 from the head 110 and / or the finger 115 of the user. In order to compensate for the decreasing accuracy of the pointing gesture, the size of the selection areas of the selection areas can 201 with increasing distance to the head 110 and / or your finger 115 of the user can be enlarged. In this way, the reliability of a user interface based on pointing gestures can be increased.

Für die in diesem Dokument beschriebene Gesten-basierte Benutzerschnittstelle ist somit keine Blickunterstützung erforderlich. Wenn es die Fahrsituation nicht zulässt, dass ein Nutzer die Eingabefläche 104 betrachtet, oder wenn der Blick eines Nutzers aufgrund einer Sonnenbrille oder der Lichtverhältnisse nicht erkannt werden kann, so kann (ggf. allein) auf Basis der Zeigegestik eine Auswahl getroffen werden. Die Auswahl eines Auswahlbereichs 201 kann somit (ggf. allein) über die Zeigegestik erfolgen. Die Blickrichtung 121 kann jedoch, wenn vorhanden, unterstützend verwendet werden, um die Zuverlässigkeit der Auswahl mittels Zeigegestik zu erhöhen.No gaze support is required for the gesture-based user interface described in this document. If the driving situation does not allow a user to enter the input area 104 considered, or if a user's gaze cannot be recognized due to sunglasses or the lighting conditions, then a selection can be made (possibly alone) based on the pointing gesture. The selection of a selection area 201 can therefore (if necessary alone) be done using the pointing gesture. The line of sight 121 however, if available, can be used as a support to increase the reliability of the selection using pointing gestures.

Die Zuverlässigkeit der Erkennung der Blickrichtung 121 ist typischerweise von dem Betrachtungswinkel abhängig. Typischerweise sinkt die Zuverlässigkeit der Erkennung der Blickrichtung 121 mit steigendem Betrachtungswinkel, wobei der Betrachtungswinkel Null ist, wenn der Nutzer geradeaus nach vorne schaut (z.B. in Fahrtrichtung des Fahrzeugs 100). Die Auswahlflächen der ein oder mehreren von dem Nutzer betrachteten Auswahlbereiche 211 können Größen aufweisen, die von der Zuverlässigkeit der Erkennung der Blickrichtung 121 abhängen. Insbesondere kann die Vergrößerung der ein oder mehreren von dem Nutzer betrachteten Auswahlbereiche 211 von der Zuverlässigkeit der Erkennung der Blickrichtung 121 abhängen. Bei einer relativ geringen Zuverlässigkeit der Erkennung der Blickrichtung 121 kann eine relativ geringe Vergrößerung erfolgen. Andererseits kann bei einer relativ hohen Zuverlässigkeit der Erkennung der Blickrichtung 121 eine relativ starke Vergrößerung erfolgen.The reliability of the detection of the viewing direction 121 is typically dependent on the viewing angle. The reliability of the detection of the line of sight typically decreases 121 with increasing viewing angle, the viewing angle being zero when the user looks straight ahead (eg in the direction of travel of the vehicle 100 ). The selection areas of the one or more selection areas viewed by the user 211 can have sizes that depend on the reliability of the detection of the viewing direction 121 depend. In particular, the enlargement of the one or more selection areas viewed by the user can 211 on the reliability of the detection of the viewing direction 121 depend. With a relatively low reliability of the detection of the viewing direction 121 can be a relatively small magnification. On the other hand, the detection of the viewing direction can be done with a relatively high degree of reliability 121 a relatively large magnification.

Die Eingabefläche 104 kann derart ausgebildet sein, dass während der Auswahl eines Auswahlbereichs 201 auf der Eingabefläche 104 keine Rückmeldung darüber erfolgt, auf welchen Auswahlbereich 201 der Nutzer gerade zeigt. Insbesondere wird kein (farbiger) „Höver“ des Auswahlbereichs 201 angezeigt. So kann verhindert werden, dass der Blick des Nutzers dem Auswahlbereich 201 folgt, auf den der Nutzer gerade zeigt. Mit anderen Worten, es kann eine Ablenkung des Blicks des Nutzers und somit eine Verfälschung der Sensordaten bezüglich der Blickrichtung 121 vermieden werden. Andererseits kann so erreicht werden, dass die Blickrichtung 121 des Nutzers mit hoher Wahrscheinlichkeit auf den Auswahlbereich 211 gerichtet ist, den der Nutzer auswählen will (und nicht auf den Auswahlbereich 211 gerichtet ist, in dem eine optische Veränderung erfolgt).The input area 104 can be designed such that during the selection of a selection area 201 on the input surface 104 there is no feedback on which selection area 201 the user is currently pointing. In particular, there is no (colored) "Höver" of the selection area 201 displayed. This can prevent the user's view of the selection area 201 follows, to which the user is currently pointing. In other words, there can be a distraction of the user's gaze and thus a falsification of the sensor data with respect to the gaze direction 121 be avoided. On the other hand, it can be achieved that the viewing direction 121 of the user with high probability on the selection area 211 that the user wants to select (and not the selection area 211 is directed in which an optical change takes place).

Zur Ermittlung der Zeigerichtung 115 kann ein Zeigevektor ermittelt werden, der die Richtung im (drei dimensionalen) Raum anzeigt, in die der Finger 115 des Nutzers zeigt. Dabei kann der Zeigevektor ggf. auf eine einzige Koordinate (insbesondere die X-Richtung bzw. die Längsrichtung des Fahrzeugs 100) eines kartesischen Koordinatensystems beschränkt sein. Es kann dann ermittelt werden, in welchem Auswahlbereich 211, 201 (ausgehend von dem Finger bzw. der Hand 115 des Nutzers) der Zeigevektor auf der Eingabefläche 104 auftrifft, um den ausgewählten Auswahlbereich 211, 201 zu ermitteln.To determine the direction of the pointer 115 a pointer vector can be determined, which indicates the direction in (three-dimensional) space in which the finger 115 of the user shows. The pointer vector can possibly point to a single coordinate (in particular the X direction or the longitudinal direction of the vehicle 100 ) of a Cartesian coordinate system. It can then be determined in which selection area 211 . 201 (starting from the finger or hand 115 the user) the pointer vector on the input surface 104 hits the selected selection area 211 . 201 to investigate.

3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zur Erfassung bzw. zum Erfassen einer Eingabe eines Nutzers an einer Eingabefläche 104. Die Eingabefläche 104 kann z.B. in einem Fahrzeug 100 angeordnet sein. Die Eingabefläche 104 umfasst eine Mehrzahl von Auswahlbereichen 201, wobei die unterschiedlichen Auswahlbereiche 201 mit unterschiedlichen Funktionen assoziiert sein können, die durch Auswahl des jeweiligen Auswahlbereichs 201 ausgelöst werden können. Das Verfahren 300 kann durch die Steuereinheit 101 einer Benutzerschnittstelle und/oder eines Fahrzeugs 100 ausgeführt werden. 3 shows a flow diagram of an exemplary method 300 for capturing or capturing an input from a user on an input surface 104 , The input area 104 can, for example, in a vehicle 100 be arranged. The input area 104 comprises a plurality of selection areas 201 , the different selection areas 201 may be associated with different functions by selecting the respective selection area 201 can be triggered. The procedure 300 can by the control unit 101 a user interface and / or a vehicle 100 be carried out.

Das Verfahren 300 umfasst das Erfassen 301 von Sensordaten in Bezug auf den Kopf 110 und in Bezug auf zumindest eine Hand 115 des Nutzers. Zu diesem Zweck kann ein Nutzersensor 103 (z.B. eine Bildkamera) verwendet werden.The procedure 300 includes capturing 301 of sensor data related to the head 110 and in relation to at least one hand 115 of the user. For this purpose, a user sensor 103 (e.g. an image camera) can be used.

Außerdem umfasst das Verfahren 300 das Bestimmen 302, auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs 211, auf den der Blick des Nutzers gerichtet sein könnte bzw. gerichtet ist. Insbesondere kann auf Basis der Sensordaten eine Blickrichtung 121 des Nutzers ermittelt werden. Es kann dann ermittelt werden, auf welche ein oder mehreren (ersten) Auswahlbereiche 211 die Blickrichtung 121 gerichtet ist. Als Blickrichtung 121 kann dabei eine Richtung des Blicks des Nutzers betrachtet werden, die der Nutzer für eine bestimmte Mindestzeitdauer (z.B. von 300ms oder mehr) einhält. Durch die Berücksichtigung einer Mindestzeitdauer können Fehlerkennungen der Blickrichtungen aufgrund von zufälligen Änderungen der Ausrichtung der Augen 111 und/oder des Kopfes 110 vermieden werden.The procedure also includes 300 determining 302 , based on the sensor data, at least a first selection area 211 to which the user's gaze could or should be directed. In particular, a direction of view can be based on the sensor data 121 of the user can be determined. It can then be determined on which one or more (first) selection areas 211 the line of sight 121 is directed. As a line of sight 121 a direction of the user's gaze can be observed, which the user maintains for a certain minimum period of time (for example of 300 ms or more). By taking a minimum period of time into account, misrecognition of the gaze directions due to random changes in the alignment of the eyes 111 and / or the head 110 be avoided.

Die Mindestzeitdauer (z.B. 300ms) kann der Fixationsdauer des menschlichen Auges entsprechen. Nach Ablauf der Mindestzeitdauer kann typischerweise angenommen werden, dass nicht nur der Blick, sondern auch die Aufmerksamkeit des Nutzers auf einem Auswahlbereich 211 lag (zumindest kurzzeitig). Auf Basis der Blickrichtung 121 kann somit der Aufmerksamkeitsfokus des Nutzers bestimmt werden. Bei Betrachtungsdauern, die unterhalb der Mindestzeitdauer liegen, kann angenommen werden, dass ein Auswahlbereich wahrscheinlich nicht durch einen Nutzer wahrgenommen wurde. Die Wahrscheinlichkeit dafür, dass die Aufmerksamkeit auf einem Auswahlbereich 201 liegt, steigt typischerweise mit der Betrachtungs- bzw. Fixationszeitdauer. Die Gewichtung der Blickinformation bei der Auswertung einer Zeigegeste 125 kann somit mit steigender Betrachtungs- bzw. Fixationszeitdauer ansteigen.The minimum time period (eg 300 ms) can correspond to the fixation time of the human eye. After the minimum period of time has expired, it can typically be assumed that not only the gaze, but also the user's attention in a selection area 211 lay (at least briefly). Based on the line of sight 121 the user's focus of attention can thus be determined. With observation periods that are below the minimum period, it can be assumed that a selection area was probably not perceived by a user. The likelihood of paying attention to a selection area 201 typically increases with the observation or fixation period. The weighting of the eye information when evaluating a pointing gesture 125 can therefore increase with increasing observation or fixation time.

Ferner umfasst das Verfahren 300 das Ermitteln 303, auf Basis der Sensordaten, einer Zeigerichtung 125 einer mittels der Hand 115 ausgeführten Zeigegeste des Nutzers. Dabei können die Blickrichtung 121 und die Zeigerichtung 125 zeitlich synchron ermittelt werden (d.h. für den gleichen Zeitpunkt).The method further comprises 300 investigating 303 , based on the sensor data, a pointing direction 125 one by hand 115 executed gesture by the user. It can change the line of sight 121 and the pointing direction 125 can be determined synchronously (ie for the same point in time).

Des Weiteren umfasst das Verfahren 300 das Ermitteln 304, auf Basis der Zeigerichtung 125, eines ausgewählten Auswahlbereichs 201, 211 aus der Mehrzahl von Auswahlbereichen 201, wobei der erste Auswahlbereich 211 bei dem Ermitteln 304 eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen 201 aufweist. Die erhöhte Priorität kann z.B. durch eine relative Vergrößerung der Auswahlfläche des ersten Auswahlbereichs 211 relativ zu einem anderen Auswahlbereich 201 bewirkt werden.The process also includes 300 investigating 304 , based on the pointing direction 125 , a selected selection area 201 . 211 from the majority of selection areas 201 , the first selection area 211 in determining 304 an increased priority compared to one or more others of the plurality of selection areas 201 having. The increased priority can be achieved, for example, by relatively enlarging the selection area of the first selection area 211 relative to another selection area 201 be effected.

Durch die in diesem Dokument beschriebenen Maßnahmen können die Genauigkeit und/oder die Zuverlässigkeit der Erkennung einer Zeigegestik erhöht werden. Dabei ist für die Erkennung einer Zeigegestik nicht zwingend die Erkennung der Blickrichtung 121 erforderlich. Es wird somit eine robuste und zuverlässige gestenbasierte Benutzerschnittstelle bereitgestellt.The measures described in this document can increase the accuracy and / or the reliability of the detection of a pointing gesture. The recognition of the gaze direction is not essential for the recognition of a pointing gesture 121 required. A robust and reliable gesture-based user interface is thus provided.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not restricted to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems.

Claims (15)

Verfahren (300) zur Erfassung einer Eingabe eines Nutzers an einer Eingabefläche (104); wobei die Eingabefläche (104) eine Mehrzahl von Auswahlbereichen (201) umfasst; wobei das Verfahren (300) umfasst, - Erfassen (301) von Sensordaten in Bezug auf den Kopf (110) und zumindest eine Hand (115) des Nutzers; - Bestimmen (302), auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs (211), auf den der Blick des Nutzers gerichtet sein könnte; - Ermitteln (303), auf Basis der Sensordaten, einer Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers; und - Ermitteln (304), auf Basis der Zeigerichtung (125), eines ausgewählten Auswahlbereichs (201, 211) aus der Mehrzahl von Auswahlbereichen (201), wobei der erste Auswahlbereich (211) bei dem Ermitteln (304) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.Method (300) for detecting an input from a user on an input surface (104); wherein the input surface (104) comprises a plurality of selection areas (201); the method comprising (300) - acquiring (301) sensor data relating to the head (110) and at least one hand (115) of the user; - Determining (302), based on the sensor data, at least a first selection area (211) at which the user's gaze could be directed; - determining (303), based on the sensor data, a pointing direction (125) of a pointing gesture of the user carried out by means of the hand (115); and - Determining (304), based on the pointing direction (125), a selected selection area (201, 211) from the plurality of selection areas (201), the first selection area (211) having an increased priority in determining (304) compared to one or more others of the plurality of selection areas (201). Verfahren (300) gemäß Anspruch 1, wobei - das Verfahren umfasst, Erhöhen einer ersten Wahrscheinlichkeit dafür, dass der erste Auswahlbereich (211) mittels einer Zeigegeste durch den Nutzer ausgewählt werden kann, im Vergleich zu einer zweiten Wahrscheinlichkeit dafür, dass ein oder mehrere andere der Mehrzahl von Auswahlbereichen (201) mittels einer Zeigegeste durch den Nutzer ausgewählt werden können; und - der ausgewählte Auswahlbereich (201, 211) auf Basis der Zeigerichtung (125) unter Berücksichtigung der ersten und zweiten Wahrscheinlichkeit ermittelt (304) wird.Method (300) according to Claim 1 , in which - the method includes increasing a first probability that the first selection area (211) can be selected by the user using a pointing gesture compared to a second probability that one or more others of the plurality of selection areas (201) can be selected using a pointing gesture can be selected by the user; and - the selected selection area (201, 211) is determined (304) on the basis of the pointing direction (125) taking into account the first and second probability. Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei - die Auswahlbereiche (201) jeweils eine Auswahlfläche aufweisen, auf die der Nutzer zeigen muss, um den jeweiligen Auswahlbereich (201) auszuwählen; und - das Verfahren (300) umfasst, Vergrößern der Auswahlfläche des ersten Auswahlbereichs (211) relativ zu der Auswahlfläche von zumindest einem anderen der Mehrzahl von Auswahlbereichen (201), für das Ermitteln (304) des ausgewählten Auswahlbereichs (201, 211).The method (300) according to any one of the preceding claims, wherein - The selection areas (201) each have a selection area to which the user must point in order to select the respective selection area (201); and - The method (300) comprises enlarging the selection area of the first selection area (211) relative to the selection area of at least one other of the plurality of selection areas (201), for determining (304) the selected selection area (201, 211). Verfahren (300) gemäß Anspruch 3, wobei das Verfahren (300) umfasst, Skalieren der Größe der Auswahlflächen der ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) in Abhängigkeit von einem Abstand des jeweiligen Auswahlbereichs (201) von dem ersten Auswahlbereich (201).Method (300) according to Claim 3 The method (300) comprises scaling the size of the selection areas of the one or more others of the plurality of selection areas (201) depending on a distance of the respective selection area (201) from the first selection area (201). Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei - die Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) in einem Basiszustand jeweils eine Auswahlfläche mit einer jeweiligen Größe aufweisen; - der Nutzer auf die Auswahlfläche eines Auswahlbereichs (201) zeigen muss, insbesondere für eine Zeitdauer, die gleich wie oder länger als ein Zeitdauer-Schwellenwert ist, um den jeweiligen Auswahlbereich (201) auszuwählen; - das Verfahren (300) umfasst, Bestimmen, ob auf Basis der Sensordaten, eine Blickrichtung (121) des Nutzers ermittelt werden kann; - das Verfahren (300) umfasst, Ändern der Größe der Auswahlfläche von zumindest einem Auswahlbereich (201), insbesondere von dem ersten Auswahlbereich (211), in Abhängigkeit von der Blickrichtung (121), um die Mehrzahl von Auswahlbereichen (201) in einen geänderten Zustand zu versetzen, und Ermitteln (304) des ausgewählten Auswahlbereichs (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem geänderten Zustand, wenn die Blickrichtung (121) bestimmt werden kann.The method (300) according to any one of the preceding claims, wherein - The selection areas (201) of the plurality of selection areas (201) each have a selection area with a respective size in a basic state; - The user must point to the selection area of a selection area (201), in particular for a time period that is equal to or longer than a time duration threshold value, in order to select the respective selection area (201); - The method (300) comprises determining whether a view direction (121) of the user can be determined on the basis of the sensor data; - The method (300) comprises changing the size of the selection area of at least one selection area (201), in particular of the first selection area (211), depending on the viewing direction (121), by changing the plurality of selection areas (201) to one Move state, and determine (304) the selected selection area (201) based on the plurality of selection areas (201) in the changed state if the viewing direction (121) can be determined. Verfahren (300) gemäß Anspruch 5, wobei das Verfahren (300) umfasst, Ermitteln (304) des ausgewählten Auswahlbereichs (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem Basiszustand, wenn die Blickrichtung (121) nicht bestimmt werden kann.Method (300) according to Claim 5 The method (300) comprises determining (304) the selected selection area (201) based on the plurality of selection areas (201) in the basic state if the viewing direction (121) cannot be determined. Verfahren (300) gemäß einem der Ansprüche 5 bis 6, wobei die Größe der Auswahlfläche von zumindest einem Auswahlbereich (201) in Abhängigkeit von einem Grad der Zuverlässigkeit geändert wird, mit dem die Blickrichtung (121) ermittelt werden kann.Method (300) according to one of the Claims 5 to 6 The size of the selection area of at least one selection area (201) is changed as a function of a degree of reliability with which the viewing direction (121) can be determined. Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren (300) umfasst, - Ermitteln, auf Basis der Sensordaten, einer Blickrichtung (121) des Nutzers; - Ermitteln, auf Basis der Blickrichtung (121), einer Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen (201); wobei der Wahrscheinlichkeitswert eines Auswahlbereichs (201) eine Wahrscheinlichkeit dafür anzeigt, dass der Blick des Nutzers auf den jeweiligen Auswahlbereich (201) gerichtet ist; und - Ermitteln (304) des ausgewählten Auswahlbereichs (201, 211), in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen (201).The method (300) according to any one of the preceding claims, the method (300) comprising - Determining, based on the sensor data, a viewing direction (121) of the user; - Determining, based on the viewing direction (121), a plurality of probability values for the plurality of selection areas (201); wherein the probability value of a selection area (201) indicates a probability that the user's gaze is directed to the respective selection area (201); and - Determining (304) the selected selection area (201, 211) as a function of the plurality of probability values for the plurality of selection areas (201). Verfahren (300) gemäß Anspruch 8, wobei - die Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) in einem Basiszustand jeweils eine Auswahlfläche mit einer jeweiligen Größe aufweisen; - die Größe der Mehrzahl von Auswahlbereichen (201) in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten angepasst wird, um die Mehrzahl von Auswahlbereichen (201) in einen geänderten Zustand zu versetzen; und - der ausgewählte Auswahlbereich (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem geänderten Zustand ermittelt (304) wird.Method (300) according to Claim 8 , wherein - the selection areas (201) of the plurality of selection areas (201) each have a selection area with a respective size in a basic state; - The size of the plurality of selection areas (201) is adjusted depending on the plurality of probability values in order to put the plurality of selection areas (201) in a changed state; and - the selected selection area (201) is determined (304) on the basis of the plurality of selection areas (201) in the changed state. Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei - das Verfahren (300) umfasst, Erfassen von Sensordaten an einer Sequenz von Zeitpunkten; - das Verfahren (300) umfasst, Ermitteln, auf Basis der Sensordaten an der Sequenz von Zeitpunkten, einer Sequenz von Zeigerichtungen (125); - das Verfahren (300) umfasst, Ermitteln, auf Basis der Sequenz von Zeigerichtungen (125), dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) schweift; und - die Tatsache, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche (201) schweift, optisch nicht auf der Anzeigefläche (104) angezeigt wird.The method (300) according to any one of the preceding claims, wherein - the method (300) comprises acquiring sensor data at a sequence of times; - The method (300) comprises determining, based on the sensor data on the sequence of points in time, a sequence of pointer directions (125); - The method (300) comprises determining, based on the sequence of pointer directions (125), that the user wanders over the sequence of points in time over different selection areas (201) of the plurality of selection areas (201); and - The fact that the user wanders over the sequence of times over different selection areas (201) is not optically displayed on the display surface (104). Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei - die Sensordaten an einem ersten Zeitpunkt erfasst werden; - der zumindest eine erste Auswahlbereich (211) bestimmt (302) wird, auf den der Blick des Nutzers an dem ersten Zeitpunkt gerichtet sein könnte; und - die Zeigerichtung (125) einer mittels der Hand (115) an dem ersten Zeitpunkt ausgeführten Zeigegeste des Nutzers ermittelt (303) wird.Method (300) according to one of the preceding claims, wherein - the sensor data are acquired at a first point in time; - the at least one first selection area (211) is determined (302), onto which the user's gaze could be directed at the first point in time; and - the pointing direction (125) of a pointing gesture of the user executed by hand (115) at the first point in time is determined (303). Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren (300) umfasst, - Ermitteln von Güte-Information in Bezug auf eine Zuverlässigkeit, mit der eine Blickrichtung (121) und/oder die Zeigerichtung (125) ermittelt werden können; und - Anpassen einer Gewichtung der ermittelten Blickrichtung (121) und/oder der ermittelten Zeigerichtung (125), insbesondere Anpassen eines Ausmaßes der Priorisierung des ersten Auswahlbereichs (211), beim Ermitteln (304) des ausgewählten Auswahlbereichs (201), in Abhängigkeit von der Güte-Information.The method (300) according to any one of the preceding claims, the method (300) comprising - Determining quality information relating to a reliability with which a viewing direction (121) and / or the pointing direction (125) can be determined; and - Adjusting a weighting of the determined viewing direction (121) and / or the determined pointing direction (125), in particular adjusting an extent of the prioritization of the first selection area (211) when determining (304) the selected selection area (201), depending on the quality -Information. Benutzerschnittstelle zur Erfassung einer Eingabe eines Nutzers; wobei die Benutzerschnittstelle umfasst, - eine Eingabefläche (104), die in eine Mehrzahl von Auswahlbereichen (201) unterteilt ist; - zumindest einen Nutzersensor (103), der eingerichtet ist, Sensordaten in Bezug auf den Kopf (110) und eine Hand (115) des Nutzers zu erfassen; und - eine Steuereinheit (101), die eingerichtet ist, - auf Basis der Sensordaten zumindest einen ersten Auswahlbereich (211) aus der Mehrzahl von Auswahlbereichen zu bestimmen, auf den der Blick des Nutzers gerichtet sein könnte; - auf Basis der Sensordaten eine Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers zu ermitteln; und - auf Basis der Zeigerichtung (125) einen ausgewählten Auswahlbereich (201, 211) aus der Mehrzahl von Auswahlbereichen (201) zu ermitteln, wobei der erste Auswahlbereich (211) bei der Ermittlung des ausgewählten Auswahlbereichs (201, 211) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.User interface for acquiring input from a user; wherein the user interface comprises - an input surface (104) which is divided into a plurality of selection areas (201); - at least one user sensor (103) which is set up to record sensor data relating to the head (110) and a hand (115) of the user; and - a control unit (101) which is set up - on the basis of the sensor data, determine at least one first selection area (211) from the plurality of selection areas, onto which the user's gaze could be directed; - on the basis of the sensor data to determine a pointing direction (125) of a pointing gesture made by the user by hand (115); and - to determine a selected selection area (201, 211) from the plurality of selection areas (201) on the basis of the pointing direction (125), the first selection area (211) having a higher priority in the determination of the selected selection area (201, 211) to one or more others of the plurality of selection areas (201). Benutzerschnittstelle gemäß Anspruch 13, wobei - die Eingabefläche (104) einen Bildschirm umfasst, der eingerichtet ist, die Mehrzahl von Auswahlbereichen (201) anzuzeigen; und/oder - die Eingabefläche (104) Teil eines Straßenkraftfahrzeugs (100) ist.User interface according to Claim 13 , wherein - the input surface (104) comprises a screen which is set up to display the plurality of selection areas (201); and / or - the input surface (104) is part of a road motor vehicle (100). Benutzerschnittstelle gemäß einem der Ansprüche 13 bis 14, wobei - die Mehrzahl von Auswahlbereichen (201) mit einer entsprechenden Mehrzahl von Funktionen assoziiert ist; und - die Steuereinheit (101) eingerichtet ist, zu veranlassen, dass die mit dem ausgewählten Auswahlbereich (201, 211) assoziiert Funktion ausgeführt wird.User interface according to one of the Claims 13 to 14 , wherein - the plurality of selection areas (201) are associated with a corresponding plurality of functions; and - the control unit (101) is set up to cause the function associated with the selected selection area (201, 211) to be carried out.
DE102018211624.5A 2018-07-12 2018-07-12 Method and user interface for capturing an input using pointing gesture Pending DE102018211624A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102018211624.5A DE102018211624A1 (en) 2018-07-12 2018-07-12 Method and user interface for capturing an input using pointing gesture
CN201980030140.4A CN112074801A (en) 2018-07-12 2019-07-11 Method and user interface for detecting input through a pointing gesture
PCT/EP2019/068737 WO2020011943A1 (en) 2018-07-12 2019-07-11 Method and user interface for capturing an input by means of pointing gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018211624.5A DE102018211624A1 (en) 2018-07-12 2018-07-12 Method and user interface for capturing an input using pointing gesture

Publications (1)

Publication Number Publication Date
DE102018211624A1 true DE102018211624A1 (en) 2020-01-16

Family

ID=67514581

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018211624.5A Pending DE102018211624A1 (en) 2018-07-12 2018-07-12 Method and user interface for capturing an input using pointing gesture

Country Status (3)

Country Link
CN (1) CN112074801A (en)
DE (1) DE102018211624A1 (en)
WO (1) WO2020011943A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214556A1 (en) 2020-11-19 2022-05-19 Volkswagen Aktiengesellschaft Communication system for a vehicle for dealing with an occupant's sleep disorder

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9529530B2 (en) * 2013-08-16 2016-12-27 Edward Lau Electronic device and gesture input method of item selection
EP2843507A1 (en) * 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
JP6331567B2 (en) * 2014-03-27 2018-05-30 株式会社デンソー Display input device for vehicle
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
EP3118722B1 (en) * 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
DE102015115526A1 (en) * 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214556A1 (en) 2020-11-19 2022-05-19 Volkswagen Aktiengesellschaft Communication system for a vehicle for dealing with an occupant's sleep disorder
WO2022106176A1 (en) 2020-11-19 2022-05-27 Volkswagen Aktiengesellschaft Communication system for a vehicle for acting in the event of a sleeping disorder with an occupant

Also Published As

Publication number Publication date
CN112074801A (en) 2020-12-11
WO2020011943A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
DE112014003563B4 (en) Device and method for gesture determination, gesture control device, program and recording medium
WO2017211817A1 (en) Operator control comprising eye tracker unit and method for calibrating an eye tracker unit for an operator control
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
DE112017005111T5 (en) Board display controller
DE102018127163B4 (en) DRIVER CONDITIONING DEVICE, METHOD AND PROGRAM
DE102017211005A1 (en) DRIVER STATE MONITORING USING CORNEAL REFLECTIONS
DE102015115526A1 (en) Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
DE102016201531A1 (en) Method and device for detecting fatigue of a driver
DE102015214116A1 (en) A method and apparatus for estimating a gaze direction of a vehicle occupant, method and apparatus for determining a vehicle occupant specific headmovement gain parameter, and method and apparatus for gaze estimating a vehicle occupant
DE102017000249A1 (en) Driving Assistance System
DE102018100663A1 (en) A vehicle information display system and method for presenting vehicle information
DE102014204800A1 (en) Method and apparatus for providing a graphical user interface in a vehicle
DE102015213769A1 (en) Method and device for predicting a line of sight of a vehicle occupant
DE102018201768B4 (en) Method for displaying information in a head-up display of a vehicle, display system for a vehicle and vehicle with a display system
DE102018211624A1 (en) Method and user interface for capturing an input using pointing gesture
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102018004662A1 (en) Optical detection system with variable characteristic range via dynamic "pixel selection" - controlled by control parameters supplied by systems and / or controlled by means of self-determined control parameters
DE102020125780A1 (en) DEVICE AND METHOD FOR CONTROLLING A VEHICLE HEIGHT
DE102015217717A1 (en) A vehicle camera system and method for displaying images on a vehicle display of a vehicle
DE102018211908A1 (en) Method for capturing a digital image of an environment of a motor vehicle and motor vehicle with an image capturing device
WO2020052894A1 (en) Method for assisting a user in performing a scrolling process, apparatus and motor vehicle
DE102014009638A1 (en) Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle
EP3966061B1 (en) Human-machine interaction in a motor vehicle
DE102018208833A1 (en) System and method for controlling the map navigation of a vehicle
DE102019003061B4 (en) Device for testing an optical detection system for a motor vehicle, and a method for this

Legal Events

Date Code Title Description
R163 Identified publications notified