DE102017211462B4 - Method for supporting a user of a means of transportation, driver assistance system and means of transportation - Google Patents

Method for supporting a user of a means of transportation, driver assistance system and means of transportation Download PDF

Info

Publication number
DE102017211462B4
DE102017211462B4 DE102017211462.2A DE102017211462A DE102017211462B4 DE 102017211462 B4 DE102017211462 B4 DE 102017211462B4 DE 102017211462 A DE102017211462 A DE 102017211462A DE 102017211462 B4 DE102017211462 B4 DE 102017211462B4
Authority
DE
Germany
Prior art keywords
user
transportation
button
pointing
pointing gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017211462.2A
Other languages
German (de)
Other versions
DE102017211462A1 (en
Inventor
Marc Hofmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102017211462.2A priority Critical patent/DE102017211462B4/en
Publication of DE102017211462A1 publication Critical patent/DE102017211462A1/en
Application granted granted Critical
Publication of DE102017211462B4 publication Critical patent/DE102017211462B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60K2360/1464—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

Verfahren zur Unterstützung eines Anwenders (1) eines Fortbewegungsmittels (10), insbesondere eines Kraftfahrzeugs, umfassend die Schritte:
- Ausgeben einer Systemanfrage (100) durch Einblenden mindestens einer Schaltfläche (6) auf einem Display (4) des Fortbewegungsmittels (10),
- Erkennen (200) einer vom Anwender (1) ausgeführten Zeigegeste (11, 12, 13) und
- im Ansprechen auf ein Weisen der Zeigegeste (11, 12, 13) in Richtung der Schaltfläche (6), Ansteuern (300) mindestens eines Anwendersystems innerhalb des Fortbewegungsmittels (10), das Verfahren ferner umfassend
- einen Schritt des Erkennens einer Blickrichtung des Anwenders (1) und in Abhängigkeit der erkannten Blickrichtung Erkennen der Zeigegeste (11, 12, 13).

Figure DE102017211462B4_0000
Method for supporting a user (1) of a means of transportation (10), in particular a motor vehicle, comprising the steps:
- Outputting a system request (100) by showing at least one button (6) on a display (4) of the means of transportation (10),
- Recognizing (200) a pointing gesture (11, 12, 13) performed by the user (1) and
- in response to a pointing of the pointing gesture (11, 12, 13) in the direction of the button (6), driving (300) at least one user system within the means of locomotion (10), the method further comprising
- a step of recognizing a viewing direction of the user (1) and depending on the recognized viewing direction recognizing the pointing gesture (11, 12, 13).
Figure DE102017211462B4_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein Fahrerassistenzsystem zur Unterstützung eines Anwenders eines Fortbewegungsmittels und darüber hinaus ein Fortbewegungsmittel mit komfortabel und sicher steuerbarem Systemdialog.The present invention relates to a method and a driver assistance system for supporting a user of a means of transportation and, moreover, to a means of transportation with a system dialog that can be controlled conveniently and safely.

In Fortbewegungsmitteln erfordern einfache, systeminduzierte Dialoge, wie beispielsweise ein Entgegennehmen eines Anrufs, eine Neuberechnung einer Navigationsroute oder eine Änderung von Systemeinstellungen, eine Antwort eines Anwenders, die in der Regel händisch an einem Bedienelement oder einem Informationsdisplay eingegeben werden muss. Dies erfordert vom Anwender einen hohen Grad an Konzentration. Sofern der Anwender auch Fahrer des Fortbewegungsmittels ist, wird durch das Geben einer Antwort die Aufmerksamkeit des Anwenders, die für eine sichere Führung des Fortbewegungsmittels durch den Straßenverkehr erforderlich ist, abgelenkt, was grundsätzlich ein Sicherheitsrisiko und Gefährdungspotenzial darstellt.In means of transport, simple, system-induced dialogs, such as answering a call, recalculating a navigation route or changing system settings, require a user response, which usually has to be entered manually on a control element or an information display. This requires a high degree of concentration from the user. If the user is also the driver of the means of transport, the user's attention, which is required for safely guiding the means of transport through road traffic, is distracted by giving an answer, which fundamentally represents a safety risk and potential hazard.

DE 10 2012 205 217 A1 und DE 10 2012 205 212 A1 offenbaren ein Informationsanzeigesystem mit einer virtuellen Eingabezone, wobei eine PMD-Kamera die virtuelle Eingabezone überwacht und eine Geste nur dann als Eingabe erfasst wird, wenn die Geste innerhalb eines vordefinierten Raumbereichs erfolgt. DE 10 2012 205 217 A1 and DE 10 2012 205 212 A1 disclose an information display system having a virtual input zone, wherein a PMD camera monitors the virtual input zone and a gesture is detected as an input only if the gesture occurs within a predefined area of space.

DE 10 2009 046 376 A1 beschreibt eine Eingabevorrichtung für ein Fahrerassistenzsystem, welche einen berührungslos arbeitenden Sensor aufweisen kann, der einen Fahrzeuginnenraumbereich zur Registrierung von der Dateneingabe dienenden Hand- und/oder Fingertrajektorien des Fahrers erfasst. DE 10 2009 046 376 A1 describes an input device for a driver assistance system, which can have a contactless sensor that detects a vehicle interior area for registering the driver's hand and/or finger trajectories used for data input.

DE 10 2014 116 292 A1 lehrt ein System zur Informationsübertragung in einem Kraftfahrzeug. Dabei ist ein Gestenerkennungssensor in Blickrichtung eines Fahrzeugführers hinter dem Lenkrad unter der Abdeckung im Armaturenanzeigebereich integriert angeordnet. DE 10 2014 116 292 A1 teaches a system for transmitting information in a motor vehicle. A gesture recognition sensor is integrated behind the steering wheel under the cover in the dashboard display area in the driver's line of sight.

DE 20 2012 005 255 U1 beschreibt eine Bedienvorrichtung mit einer Gestenüberwachungseinheit, die ausgelegt ist, nicht-taktile Gesten eines Benutzers zu erfassen, wobei Aktivierungsgesten und Betätigungsgesten unterschieden werden. DE 20 2012 005 255 U1 describes an operating device with a gesture monitoring unit that is designed to detect non-tactile gestures of a user, with activation gestures and actuation gestures being differentiated.

Ausgehend davon ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie ein Fahrerassistenzsystem zur Unterstützung eines Anwenders eines Fortbewegungsmittels anzugeben bzw. bereitzustellen, mit dem Systemdialoge einfach und intuitiv geführt werden können, ohne dass der Anwender einen wesentlichen Teil seiner Aufmerksamkeit bzw. Konzentration auf den Systemdialog verwenden muss. Darüber hinaus ist es eine Aufgabe der Erfindung, ein komfortabel steuerbares Fortbewegungsmittel mit hoher Verkehrssicherheit und geringem Gefährdungspotenzial bereitzustellen.Based on this, it is an object of the present invention to specify or provide a method and a driver assistance system to support a user of a means of transport, with the system dialogs can be performed easily and intuitively without the user paying a significant part of his attention or concentration on the must use system dialog. In addition, it is an object of the invention to provide a comfortably controllable means of transport with a high level of road safety and a low risk potential.

Die Aufgabe wird durch ein Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels, das insbesondere als Kraftfahrzeug ausgebildet ist, gelöst, das nachfolgende Schritte umfasst.The object is achieved by a method for supporting a user of a means of transportation, which is designed in particular as a motor vehicle, which includes the following steps.

In einem ersten Schritt wird eine Systemanfrage durch Einblenden mindestens einer Schaltfläche auf einem Display des Fortbewegungsmittels ausgegeben. Eine Systemanfrage im Sinne der Erfindung ist ein einfacher, systeminduzierter Dialog, der insbesondere eine Zustimmung oder Ablehnung seitens des Anwenders erfordert, um ein Anwendersystem anzusteuern, wie z.B. einen Anruf entgegenzunehmen, eine Option zur Änderung eines Zustandes des Fortbewegungsmittels, wie bspw. eine Temperaturänderung, eine Lautsprecherregelung oder eine Frischluftzufuhr, vorzunehmen, oder eine Navigationsroute zu erstellen oder neu zu berechnen.In a first step, a system request is issued by showing at least one button on a display of the means of transportation. A system request within the meaning of the invention is a simple, system-induced dialog, which in particular requires approval or rejection on the part of the user in order to control a user system, such as answering a call, an option to change a status of the means of transport, such as a temperature change, a loudspeaker control or a fresh air supply, or to create or recalculate a navigation route.

Diese Systemanfrage wird erfindungsgemäß nicht durch händisches Betätigen eines Bedienelements oder Kombinationsinstruments beantwortet, sondern durch das Ausführen einer Zeigegeste. Somit umfasst das erfindungsgemäße Verfahren zudem einen Schritt des Erkennens einer vom Anwender ausgeführten Zeigegeste und ferner im Ansprechen auf ein Weisen der Zeigegeste in Richtung der Schaltfläche, ein Ansteuern mindestens eines Anwendersystems innerhalb des Fortbewegungsmittels.According to the invention, this system request is not answered by manually actuating an operating element or combination instrument, but rather by performing a pointing gesture. The method according to the invention thus also includes a step of recognizing a pointing gesture performed by the user and, in response to the pointing gesture pointing in the direction of the button, activating at least one user system within the means of transportation.

Mit anderen Worten bedeutet dies, dass eine eingeblendete Schaltfläche durch eine Zeigegeste aktiviert wird, und zwar nicht durch das Berühren der Schaltfläche, sondern bereits durch ein Deuten in Richtung der Schaltfläche. Hierbei ist ein grobes Weisen in die Richtung der Schaltfläche bereits ausreichend. Werden mehrere Schaltflächen, beispielsweise eine Schaltfläche für „Ja“ und eine Schaltfläche für „Nein“ gleichzeitig eingeblendet, so dass der Anwender eine Auswahl treffen kann, so kann durch ein entsprechendes Weisen in eine grobe Richtung (z.B. links, rechts, oben, unten, je nach Anordnung der Schaltflächen) einer Schaltfläche die entsprechende Auswahl getroffen werden. Wichtig hierbei kann sein, dass die Zeigegeste zumindest eher auf diejenige Schaltfläche weist, deren Funktion anschließend ausgeführt werden soll, z.B. kann eine Demarkationslinie darüber entscheiden welche Schaltfläche durch die Zeigegeste angewiesen werden soll. Die Demarkationslinie kann auch als Demarkationsbereich verstanden werden, welcher zwischen gültigen Zielpositionen der Zeigegesten liegt. Nach dem Treffen der Auswahl durch den Anwender mittels Zeigegeste kann sodann das Anwendersystem angesteuert werden. Die Systemanfrage ist damit beantwortet und der Systemdialog kann geschlossen werden.In other words, this means that an overlaid button is activated by a pointing gesture, not by touching the button, but by already pointing in the direction of the button. A rough pointing in the direction of the button is already sufficient. If several buttons, for example a button for "Yes" and a button for "No" are displayed at the same time so that the user can make a selection, a corresponding indication in a general direction (e.g. left, right, up, down, depending on the arrangement of the buttons) of a button, the corresponding selection can be made. It can be important here that the pointing gesture at least points to the button whose function is then to be executed, for example a demarcation line can decide which button is to be instructed by the pointing gesture. The demarcation line can also be used as Be understood demarcation area, which is between valid target positions of the pointing gestures. After the user has made the selection by means of a pointing gesture, the user system can then be controlled. The system request is answered and the system dialog can be closed.

Das Verfahren ermöglicht eine schnelle und intuitive Führung eines Systemdialogs bei hoher Bediensicherheit, ohne wesentliches Gefährdungspotenzial durch dauerhafte Ablenkung oder Konzentration auf ein zu betätigendes Bedienelement. Zudem ist das Verfahren ohne hohen technischen Aufwand einfach und damit kostengünstig ausführbar.The method enables a system dialog to be run quickly and intuitively with a high level of operating safety, without any significant risk potential due to permanent distraction or concentration on an operating element to be actuated. In addition, the method can be carried out easily and therefore inexpensively without great technical effort.

Die Unteransprüche beinhalten vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung.The dependent claims contain advantageous developments and refinements of the invention.

Gemäß einer vorteilhaften Weiterbildung des Verfahrens wird das Erkennen der Zeigegeste mittels einer Kamera ausgeführt. Die Kamera ist im Einzelnen nicht beschränkt, zeichnet sich aber durch einen Erfassungsbereich aus, der in Richtung der auszuführenden Zeigegeste ausgerichtet bzw. ausrichtbar ist. Um etwaige Fehlinterpretationen zu vermindern, ist die Kamera insbesondere als Innenraumkamera ausgebildet. Besonders geeignet sind hierbei Fahrerzustandskameras, die üblicherweise zur Erkennung eines Ermüdungszustandes oder einer Blickabwendung des Anwenders des Fortbewegungsmittels eingesetzt werden. Derartige Kameras sind vorteilhafterweise in einem Kombinationsinstrument (Kombiinstrument) positioniert und erfassen in der Regel den Kopf bzw. das Gesicht des Fahrers durch ein etwaig vorhandenes Lenkrad.According to an advantageous development of the method, the pointing gesture is recognized by means of a camera. The camera is not restricted in detail, but is characterized by a detection area that is or can be aligned in the direction of the pointing gesture to be performed. In order to reduce any misinterpretations, the camera is designed in particular as an interior camera. Driver status cameras, which are usually used to detect a state of fatigue or when the user of the means of transport is looking away, are particularly suitable here. Such cameras are advantageously positioned in a combination instrument (instrument cluster) and generally record the head or the face of the driver through any steering wheel that may be present.

Aufgrund der einfachen und intuitiven Steuerbarkeit sieht eine weitere vorteilhafte Weiterbildung vor, dass als Zeigegeste mindestens eine Geste eines Körperteils des Anwenders erkannt wird. Die Geste kann hierbei vorteilhafterweise z.B. mit dem Kopf, mit der Hand oder auch nur mit einem Finger des Anwenders, ausgeführt werden. Hierunter sind Gesten mit einem Finger aufgrund der hohen Präzision und guten Erkennbarkeit besonders gut geeignet.Due to the simple and intuitive controllability, a further advantageous development provides that at least one gesture of a part of the user's body is recognized as the pointing gesture. In this case, the gesture can advantageously be carried out, for example, with the head, with the hand or even with just one finger of the user. Among these, gestures with one finger are particularly well suited due to their high precision and good recognisability.

Weiter vorteilhaft werden zur Initiierung des Systemdialogs mindestens zwei Schaltflächen eingeblendet und das Verfahren umfasst ferner einen Schritt des Erkennens einer Auswahl einer Schaltfläche. Hierdurch werden dem Anwender mehrere Optionen geboten, um eine Rückantwort auf eine Systemanfrage zu geben, was den Bedienkomfort verbessert.At least two buttons are also advantageously displayed for initiating the system dialog, and the method also includes a step of recognizing a selection of a button. This gives the user multiple options for responding to a system request, improving ease of use.

Zur Absicherung einer Auswahl einer Schaltfläche kann weiter vorteilhaft ein Schritt des Ausgebens einer Systemrückantwort im Ansprechen auf das Erkennen der Zeigegeste vorgesehen sein. Diese Systemrückantwort kann enthalten, dass eine Schaltfläche ausgewählt wurde und im Falle von mehreren auswählbaren Schaltflächen, welche Schaltfläche ausgewählt wurde. Dies ist z.B. einfach durch farbliche Markierung der eingeblendeten und ausgewählten Schaltfläche möglich oder durch Ausblenden der nicht ausgewählten Schaltflächen.To ensure that a button is selected, a step of outputting a system response in response to the detection of the pointing gesture can also advantageously be provided. This system response may include that a button was selected and, in the case of multiple selectable buttons, which button was selected. This can be done, for example, simply by marking the displayed and selected button in color or by hiding the buttons that are not selected.

Alternativ oder additiv kann auch ein Schritt des Bestätigens einer Vorauswahl einer Schaltfläche durch den Anwender vorgesehen sein. Dies bedeutet, dass der Anwender zunächst durch das Weisen auf eine Schaltfläche eine Vorauswahl trifft, die dann durch eine weitere Zeigegeste bestätigt werden kann. Das Treffen einer Vorauswahl bzw. das endgültige Anwählen einer Schaltfläche durch den Anwender kann auch durch unterschiedliche Zeigegesten gesteuert werden. Beispielsweise steht eine langsame ziehende Bewegung, ein so genanntes „Wischen“ in Richtung der Schaltfläche, für das Treffen einer Vorauswahl, während ein impulsives Weisen in Richtung der Schaltfläche für eine endgültige Auswahl steht.Alternatively or additionally, a step of confirming a pre-selection of a button by the user can also be provided. This means that the user first makes a preselection by pointing to a button, which can then be confirmed by another pointing gesture. The making of a pre-selection or the final selection of a button by the user can also be controlled by different pointing gestures. For example, a slow dragging motion, called a "swipe," toward the button represents making a preselection, while an impulsive point toward the button represents a final selection.

Um die Bediensicherheit zu verbessern, also insbesondere um festzustellen, ob der Anwender einen Systemdialog eingehen möchte, kann das Verfahren ferner vorteilhaft einen Schritt des Erkennens einer Blickrichtung des Anwenders und in Abhängigkeit der erkannten Blickrichtung ein Erkennen der Zeigegeste umfassen. Eine Zeigegeste wird demnach insbesondere dann als solche erkannt, wenn die Blickrichtung des Anwenders zumindest kurzfristig in Richtung der Schaltfläche ausgerichtet ist/war.In order to improve operating safety, ie in particular to determine whether the user would like to enter into a system dialog, the method can also advantageously include a step of recognizing a viewing direction of the user and, depending on the recognized viewing direction, recognizing the pointing gesture. A pointing gesture is therefore recognized as such in particular when the user's line of sight is/was aligned at least briefly in the direction of the button.

Zur weiteren Verbesserung der Anwender- und Verkehrssicherheit ist gemäß einer weiteren vorteilhaften Weiterbildung vorgesehen, dass die Zeigegeste in einem Abschnitt des Fortbewegungsmittels erkannt wird, der sich von einem Lenkradkranz in Fahrtrichtung des Fortbewegungsmittels erstreckt. Diese Ausführungsform ist insbesondere für den Fall geeignet, dass der Anwender der Fahrer des Fortbewegungsmittels ist. Die Zeigegeste wird hierzu vorteilhafterweise mit einem Finger des Anwenders ausgeführt. Umschließen die Finger des Anwenders ein Lenkrad in gewohnter Art, so umgreifen die Finger einen Lenkradkranz des Lenkrads, so dass sich die Finger auf einer vom Anwender abgewandten Seite des Lenkrads, also in Fahrtrichtung vor dem Lenkrad, befinden. Zum Ausführen einer Zeigegeste mit einem Finger muss der Anwender lediglich einen Finger abheben und somit teilweise vom Lenkrad lösen, während die restlichen Finger das Lenkrad weiterhin sicher umgreifen. Hierdurch wird ein sicheres Weiterfahren und Steuern des Fortbewegungsmittels ermöglicht und dennoch eine Zeigegeste eindeutig erkennbar.To further improve user and traffic safety, another advantageous development provides for the pointing gesture to be recognized in a section of the means of transportation that extends from a steering wheel rim in the direction of travel of the means of transportation. This embodiment is particularly suitable in the event that the user is the driver of the means of transportation. For this purpose, the pointing gesture is advantageously performed with one of the user's fingers. If the user's fingers enclose a steering wheel in the usual way, the fingers grip a rim of the steering wheel so that the fingers are on a side of the steering wheel facing away from the user, ie in front of the steering wheel in the direction of travel. To perform a pointing gesture with one finger, the user only has to lift one finger and thus partially release it from the steering wheel, while the remaining fingers continue to grip the steering wheel securely. This ensures safe further driving and control of locomotion by means and yet a pointing gesture is clearly recognizable.

Insbesondere vorteilhaft wird die Zeigegeste in einem Abschnitt des Fortbewegungsmittels erkannt, der durch eine durch den Lenkradkranz definierte Ebene und eine Erfassungseinrichtung zum Erkennen der von dem Anwender ausgeführten Zeigegeste in Fahrtrichtung des Fortbewegungsmittels definiert wird. Dies kann zum Beispiel dann der Fall sein, wenn als Erfassungseinrichtung eine Innenraumkamera und insbesondere eine Fahrerzustandskamera verwendet wird, die üblicherweise im oder am Armaturenbrett, also in Fahrtrichtung gesehen vor dem Lenkrad, angeordnet ist. Auch durch diese Ausgestaltung wird eine sehr gute Fahrsicherheit und Verkehrssicherheit bei einfacher Führung eines Systemdialogs ermöglicht.The pointing gesture is particularly advantageously recognized in a section of the means of transportation that is defined by a plane defined by the steering wheel rim and a detection device for recognizing the pointing gesture performed by the user in the direction of travel of the means of transportation. This can be the case, for example, when an interior camera and in particular a driver status camera is used as the detection device, which is usually arranged in or on the dashboard, ie in front of the steering wheel as seen in the direction of travel. This refinement also enables very good driving safety and traffic safety with simple management of a system dialog.

Weiter vorteilhaft bezieht sich das Ansteuern eines Anwendersystems auf ein Audiosystem und/oder ein Telekommunikationssystem und/oder ein Entertainmentsystem und/oder ein Beleuchtungssystem und/oder eine Klimaanlage und/oder eine Heizung und/oder eine Belüftungseinrichtung und/oder einen elektrischen Fensterheber und/oder ein Komfortsystem, wie beispielsweise eine Massageeinrichtung, und/oder eine Sitzverstellung und/oder ein Navigationssystem und/oder einen Bordcomputer und/oder ein Informationssystem. Die Bedienung dieser Anwendersysteme kann besonders leicht mit Systemdialogen im Sinne der Erfindung ausgeführt werden.The actuation of a user system also advantageously relates to an audio system and/or a telecommunications system and/or an entertainment system and/or a lighting system and/or an air conditioning system and/or a heater and/or a ventilation device and/or an electric window lifter and/or a comfort system, such as a massage device, and/or a seat adjustment and/or a navigation system and/or an on-board computer and/or an information system. These user systems can be operated particularly easily with system dialogs in the sense of the invention.

Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung auch ein Fahrerassistenzsystem zur Unterstützung eines Anwenders eines Fortbewegungsmittels, wobei das Fortbewegungsmittel insbesondere in Form eines Kraftfahrzeugs ausgebildet ist. Das Fahrerassistenzsystem ist insbesondere dazu eingerichtet das vorstehend offenbarte Verfahren auszuführen. Somit wird bezüglich der Details des erfindungsgemäßen Fahrerassistenzsystems, aus Gründen der Vermeidung von Redundanz, auch Bezug genommen auf die Ausführungen zum erfindungsgemäßen Verfahren. Ferner finden die Vorteile, vorteilhaften Effekte und Weiterbildungen des erfindungsgemäßen Verfahrens auch Anwendung auf das erfindungsgemäße Fahrerassistenzsystem.According to a further aspect, the present invention also relates to a driver assistance system for supporting a user of a means of transportation, wherein the means of transportation is embodied in particular in the form of a motor vehicle. The driver assistance system is set up in particular to carry out the method disclosed above. Thus, with regard to the details of the driver assistance system according to the invention, for reasons of avoiding redundancy, reference is also made to the statements on the method according to the invention. Furthermore, the advantages, advantageous effects and developments of the method according to the invention also apply to the driver assistance system according to the invention.

Somit umfasst das Fahrerassistenzsystem ein Display, eine Erfassungseinrichtung und eine Steuervorrichtung, wobei das Display zum Ausgeben einer Systemanfrage durch Einblenden mindestens einer Schaltfläche eingerichtet ist. Das Display ist im Einzelnen nicht beschränkt und kann beispielsweise ein Head-Up-Display oder auch ein Kombinationsinstrument sein. Die Erfassungseinrichtung ist eingerichtet, eine von einem Anwender ausgeführte Zeigegeste zu erkennen und kann hierzu beispielsweise geeignete Sensoren oder eine Kamera umfassen. Zudem ist die Steuervorrichtung eingerichtet, im Ansprechen auf ein Weisen der Zeigegeste in Richtung der Schaltfläche und ein optionales Quittieren durch eine weitere Anwendereingabe, mindestens ein Anwendersystem innerhalb des Fortbewegungsmittels anzusteuern.The driver assistance system thus includes a display, a detection device and a control device, the display being set up to output a system request by showing at least one button. The display is not limited in detail and can be, for example, a head-up display or a combination instrument. The detection device is set up to recognize a pointing gesture performed by a user and can include suitable sensors or a camera for this purpose, for example. In addition, the control device is set up, in response to the pointing gesture pointing in the direction of the button and an optional acknowledgment by a further user input, to control at least one user system within the means of transportation.

Durch das erfindungsgemäße Fahrerassistenzsystem wird es dem Anwender ermöglicht auf einfache und intuitive Weise einen Systemdialog einzugehen und ein oder mehrere Anwendersysteme mit geringem Konzentrationsaufwand zu steuern.The driver assistance system according to the invention makes it possible for the user to enter into a system dialog in a simple and intuitive manner and to control one or more user systems with little concentration effort.

Gemäß einer vorteilhaften Weiterbildung umfasst die Erfassungseinrichtung eine Kamera, mittels der eine Zeigegeste erfasst werden kann. Die Kamera ist im Einzelnen nicht beschränkt, aber insbesondere als Innenraumkamera ausgebildet. Aufgrund des auf den Anwender gerichteten Erfassungsbereichs, ist die Kamera vorteilhafterweise eine Fahrerzustandskamera.According to an advantageous development, the detection device includes a camera, by means of which a pointing gesture can be detected. The camera is not restricted in detail, but is designed in particular as an interior camera. Because of the detection area directed towards the user, the camera is advantageously a driver status camera.

Besonders vorteilhaft liegt ein Erfassungsbereich der Kamera in einem Abschnitt des Fortbewegungsmittels, der sich von einem Lenkradkranz in Fahrtrichtung des Fortbewegungsmittels erstreckt, und insbesondere durch einen Bereich, der durch eine durch den Lenkradkranz definierte Ebene und die Erfassungseinrichtung zum Erkennen der von dem Anwender ausgeführten Zeigegeste in Fahrtrichtung des Fortbewegungsmittels, definiert wird. Somit kann insbesondere in dem Fall, in dem der Anwender der Fahrer des Fortbewegungsmittels ist, eine Zeigegeste vom Lenkrad aus ausgeführt werden, ohne dass die sichere Führung des Lenkrads aufgegeben werden muss. Die Zeigegeste kann z.B. durch einfaches, kurzes Abstrecken eines Fingers vom Lenkrad gegeben werden.A detection area of the camera is particularly advantageously located in a section of the means of transportation that extends from a steering wheel rim in the direction of travel of the means of transportation, and in particular through an area defined by a plane defined by the steering wheel rim and the detection device for detecting the pointing gesture performed by the user in Direction of travel of the means of transport is defined. Thus, particularly in the case where the user is the driver of the means of transportation, a pointing gesture can be performed from the steering wheel without having to relinquish safe guidance of the steering wheel. The pointing gesture can be given, for example, by simply stretching a finger away from the steering wheel.

Vorteilhafterweise ist das Anwendersystem insbesondere ein Telekommunikationssystem und/oder ein Entertainmentsystem und/oder ein Beleuchtungssystem und/oder eine Klimaanlage und/oder eine Heizung und/oder eine Belüftungseinrichtung und/oder ein elektrischer Fensterheber und/oder ein Komfortsystem und/oder eine Sitzverstellung und/oder ein Navigationssystem und/oder ein Bordcomputer und/oder ein Informationssystem. Diese Anwendersysteme lassen sich gut durch einfache Systemdialoge steuern.The user system is advantageously in particular a telecommunications system and/or an entertainment system and/or a lighting system and/or an air conditioning system and/or a heater and/or a ventilation device and/or an electric window lifter and/or a comfort system and/or a seat adjustment and/or or a navigation system and/or an on-board computer and/or an information system. These user systems can be easily controlled by simple system dialogs.

Ferner erfindungsgemäß wird auch ein Fortbewegungsmittel beschrieben, das insbesondere als Kraftfahrzeug ausgebildet ist und ein wie vorstehend beschriebenes Fahrerassistenzsystem umfasst und somit auch zur Ausführung des vorstehend offenbarten erfindungsgemäßen Verfahrens eingerichtet ist. Aufgrund des verwendeten Fahrerassistenzsystems zeichnet sich auch das erfindungsgemäße Fortbewegungsmittel durch einen hohen Fahrkomfort bei sehr guter und sicherer Steuerbarkeit aus. Einfach ausführbare Systemdialoge verbessern hierbei nicht nur den Fahrkomfort sondern auch die Interaktion mit einem oder mehreren Anwendersystemen des Fortbewegungsmittels.Furthermore, according to the invention, a means of transportation is also described, which is designed in particular as a motor vehicle and includes a driver assistance system as described above and is therefore also set up to carry out the method according to the invention disclosed above. Due to the driver assistance system used the means of locomotion according to the invention is also characterized by a high level of driving comfort with very good and safe controllability. Easy-to-execute system dialogs improve not only the driving comfort but also the interaction with one or more user systems of the means of transport.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:

  • 1 ein Flussdiagramm veranschaulichend Verfahrensschritte eines Verfahrens zur Unterstützung eines Anwenders eines Fortbewegungsmittels gemäß einer Ausführungsform der Erfindung,
  • 2 schematisierte Ausschnitte aus einem Fortbewegungsmittel gemäß einer Ausführungsform der Erfindung veranschaulichend unterschiedliche Verfahrensstände aus Sicht eines Anwenders und
  • 3 schematisierte Ausschnitte aus einem Fortbewegungsmittel veranschaulichend ein Erkennen von Zeigegesten aus Sicht einer Erfassungseinheit.
Further details, features and advantages of the invention result from the following description and the figures. Show it:
  • 1 a flow chart illustrating method steps of a method for supporting a user of a means of transportation according to an embodiment of the invention,
  • 2 Schematic excerpts from a means of locomotion according to an embodiment of the invention illustrating different procedural statuses from the point of view of a user and
  • 3 Schematized excerpts from a means of transportation illustrating a recognition of pointing gestures from the point of view of a detection unit.

Die vorliegende Erfindung wird anhand von Ausführungsbeispielen im Detail erläutert. In den Figuren sind nur die erfindungswesentlichen Details dargestellt. Alle übrigen Details sind der Übersichtlichkeit halber weggelassen.The present invention is explained in detail using exemplary embodiments. Only the details essential to the invention are shown in the figures. All other details are omitted for the sake of clarity.

1 zeigt Verfahrensschritte eines Verfahrens zur Unterstützung eines Anwenders eines Fortbewegungsmittels. Gemäß einem ersten Verfahrensschritt 100 wird eine Systemanfrage durch Einblenden mindestens einer Schaltfläche auf einem Display des Fortbewegungsmittels ausgegeben. Je nach zu führendem Dialog können mehrere Schaltflächen gleichzeitig oder nacheinander eingeblendet werden, wobei sich die Anordnung der Schaltflächen möglichst übersichtlich gestaltet, um einen minimalen Konzentrationsaufwand seitens des Anwenders bei Anwendung des Verfahrens zu erfordern. 1 shows method steps of a method for supporting a user of a means of transportation. According to a first method step 100, a system request is issued by showing at least one button on a display of the means of transportation. Depending on the dialog to be conducted, several buttons can be displayed simultaneously or one after the other, with the buttons being arranged as clearly as possible in order to require a minimum concentration effort on the part of the user when using the method.

Hieran schließt sich ein Schritt 200 des Erkennens einer von einem Anwender ausgeführten Zeigegeste an. Die Zeigegeste kann durch den Anwender beispielsweise mittels eines Fingers gegeben werden. Zum Erkennen der Zeigegeste ist bereits eine grobe Richtungsweisung der Zeigegeste ausreichend.This is followed by a step 200 of recognizing a pointing gesture performed by a user. The pointing gesture can be given by the user using a finger, for example. A rough indication of the direction of the pointing gesture is already sufficient to recognize the pointing gesture.

Im Ansprechen auf ein Weisen der Zeigegeste in Richtung der eingeblendeten Schaltfläche erfolgt in Verfahrensschritt 300 ein Ansteuern mindestens eines Anwendersystems innerhalb des Fortbewegungsmittels. Das Anwendersystem kann hierbei insbesondere ein Telekommunikationssystem und/oder ein Entertainmentsystem und/oder ein Beleuchtungssystem und/oder eine Klimaanlage und/oder eine Heizung und/oder eine Belüftungseinrichtung und/oder ein elektrischer Fensterheber und/oder ein Komfortsystem und/oder eine Sitzverstellung und/oder ein Navigationssystem und/oder ein Bordcomputer und/oder ein Informationssystem umfassen. Somit kann durch einfache und intuitive Steuerung ein Systemdialog geführt werden.In response to the pointing gesture pointing in the direction of the displayed button, in method step 300 at least one user system within the means of transportation is activated. The user system can in particular be a telecommunications system and/or an entertainment system and/or a lighting system and/or an air conditioning system and/or a heater and/or a ventilation device and/or an electric window lifter and/or a comfort system and/or a seat adjustment and/or or a navigation system and/or an on-board computer and/or an information system. Thus, a system dialog can be conducted through simple and intuitive control.

2 zeigt schematisierte Ausschnitte A, B und C aus einem Fortbewegungsmittel 10 gemäß einer Ausführungsform der Erfindung. Die Ausschnitte A, B und C sind zu unterschiedlichen Verfahrensständen aus Sicht eines Anwenders 1 gezeigt, der als Fahrer des Fortbewegungsmittels 10 dargestellt ist und seine Hände 2 an einem Lenkrad 3 hat, um das Fortbewegungsmittel 10 zu steuern. 2 shows schematic sections A, B and C from a means of transportation 10 according to an embodiment of the invention. Sections A, B and C are shown at different stages of the process from the point of view of a user 1 who is shown as the driver of the means of transportation 10 and has his hands 2 on a steering wheel 3 in order to control the means of transportation 10 .

In dem Fortbewegungsmittel 10 ist ferner ein Display 4 angeordnet, das als so genanntes Kombidisplay oder Kombinationsinstrument ausgebildet ist. Hierüber werden im „Normalzustand“ A übliche Informationen angezeigt, wie z.B. Navigationsdaten, Zustandsdaten des Fortbewegungsmittels und/oder Umgebungsdaten.A display 4 is also arranged in the means of transportation 10 and is designed as a so-called combination display or combination instrument. This is used to display the usual information in the "normal state" A, such as navigation data, status data of the means of transport and/or environmental data.

Zudem ist eine Erfassungseinrichtung 5 in Form einer Fahrerzustandskamera vorgesehen, die ebenfalls am Display 4 positioniert ist, und zwar so, dass sie eingerichtet ist, den Kopf bzw. das Gesicht des Anwenders 1 durch einen Lenkradkranz des Lenkrads 3 zu erfassen.In addition, a detection device 5 is provided in the form of a driver status camera, which is also positioned on the display 4 in such a way that it is set up to detect the head or face of the user 1 through a steering wheel rim of the steering wheel 3 .

Ausschnitt B zeigt das Fortbewegungsmittel 10 in einem weiteren Verfahrensstand. In diesem Verfahrensstand wurde ein Systemdialog initiiert und hierzu zwei Schaltflächen 6 eingeblendet, wovon eine mit „no“ und eine mit „yes“ gekennzeichnet ist. Eine Systemanfrage kann also durch Auswahl der Schaltfläche mit „no“ ablehnend und durch Auswahl der Schaltfläche mit „yes“ zustimmend beantwortet werden. Die Schaltflächen 6 sind möglichst übersichtlich und großflächig angeordnet, um sie mit einem Blick deutlich erfassen zu können.Detail B shows the means of transportation 10 in a further stage of the process. In this state of the process, a system dialog was initiated and two buttons 6 were displayed for this purpose, one of which is marked “no” and one with “yes”. A system query can therefore be answered negatively by selecting the button with "no" and affirmatively by selecting the button with "yes". The buttons 6 are arranged as clearly and extensively as possible in order to be able to grasp them clearly at a glance.

Ausschnitt C zeigt das Fortbewegungsmittel 10 in einem Verfahrensstand, in dem eine Rückantwort auf die Systemanfrage gegeben wird. Die Rückantwort wird durch das Ausführen einer Zeigegeste durch den Anwender 1 gegeben. Hierzu deutet der Anwender 1 mit einem Finger 7 in Richtung einer auszuwählenden Schaltfläche 6, in diesem Fall auf die Schaltfläche mit der Aufschrift „yes“. Die Erfassungseinrichtung 5 ist hierbei eingerichtet, diese vom Anwender 1 ausgeführte Zeigegeste zu erkennen, wobei die Zeigegeste insbesondere in einem Abschnitt des Fortbewegungsmittels 10 erkannt wird, der sich von dem Lenkradkranz des Lenkrads 3 in Fahrtrichtung F des Fortbewegungsmittels 10 erstreckt. Dies bedeutet mit anderen Worten, dass ein Erfassungsbereich 9 der Erfassungseinrichtung 5 auf einen Bereich zwischen dem Display 4 und dem Lenkrad 3 liegt, so dass ein durch das oder vom Lenkrad 3 in Richtung einer Schaltfläche 6 weisender Finger 7 des Anwenders 1 deutlich als Zeigegeste erkannt werden kann. Der Anwender 1 muss somit seine Hand 2 nicht vollständig vom Lenkrad 3 nehmen, um den Systemdialog zu führen.Detail C shows the means of transportation 10 in a procedural state in which a response to the system request is given. The response is given by the user 1 performing a pointing gesture. For this purpose, the user 1 points with a finger 7 in the direction of a button 6 to be selected, in this case the button labeled “yes”. The detection device 5 is set up here to recognize this pointing gesture performed by the user 1, the pointing gesture being recognized in particular in a section of the means of transportation 10 that extends from the steering wheel rim of the steering wheel 3 extends in the direction of travel F of the means of transportation 10 . In other words, this means that a detection area 9 of the detection device 5 lies in an area between the display 4 and the steering wheel 3, so that a finger 7 of the user 1 pointing through or from the steering wheel 3 in the direction of a button 6 is clearly recognized as a pointing gesture can be. The user 1 therefore does not have to take his hand 2 completely off the steering wheel 3 in order to conduct the system dialog.

Die ferner in dem Fortbewegungsmittel 10 vorgesehene Steuervorrichtung 8 ist hierbei eingerichtet, im Ansprechen auf ein Weisen der Zeigegeste in Richtung der Schaltfläche 6, mindestens ein Anwendersystem innerhalb des Fortbewegungsmittels 10 anzusteuern. Das Display 4, die Erfassungseinrichtung 5 und die Steuervorrichtung 8 können auch als Fahrerassistenzsystem 14 zur Unterstützung des Anwenders 1 des Fortbewegungsmittels 10 angesehen werden.The control device 8 also provided in the means of transportation 10 is set up here to control at least one user system within the means of transportation 10 in response to the pointing gesture pointing in the direction of the button 6 . The display 4, the detection device 5 and the control device 8 can also be regarded as a driver assistance system 14 to support the user 1 of the means of transportation 10.

Das Fortbewegungsmittel 10 ermöglicht eine einfache und intuitive Führung von Systemdialogen zur Steuerung von Anwendersystemen des Fortbewegungsmittels 10.The means of transportation 10 enables simple and intuitive management of system dialogs for controlling user systems of the means of transportation 10.

3 zeigt schematisierte Ausschnitte D, E und F aus einem Fortbewegungsmittel 10 aus Sicht einer Erfassungseinheit. Im Detail dargestellt ist das Erkennen von unterschiedlichen Zeigegesten durch den Anwender 1. Gut zu erkennen ist, dass die Erfassungseinrichtung 5 den Anwender 1 und hierbei sowohl dessen Kopf als auch seine Finger durch das Lenkrad 3, also genauer gesagt durch den Lenkradkranz, erfasst. Somit kann die Erfassungseinrichtung 5 auch einer Blickrichtung des Anwenders 1 und in Abhängigkeit der erkannten Blickrichtung eine Zeigegeste erkennen. 3 shows schematic excerpts D, E and F from a means of transportation 10 from the point of view of a detection unit. The recognition of different pointing gestures by the user 1 is shown in detail. It is easy to see that the detection device 5 detects the user 1 and here both his head and his fingers through the steering wheel 3, more precisely through the steering wheel rim. Thus, the detection device 5 can also recognize a viewing direction of the user 1 and a pointing gesture depending on the recognized viewing direction.

Aus Blickrichtung der Erfassungseinrichtung 5 wird in Ausschnitt D eine Zeigegeste 11, z.B. mit einem Finger, im linken Erfassungsbereich erkannt, was einem Auswählen einer rechts im Display 4 liegenden Schaltfläche 6 entspricht. Dies kann zum Beispiel das Treffen einer Vorauswahl sein.From the viewing direction of the detection device 5, a pointing gesture 11, e.g. with a finger, is recognized in section D in the left detection area, which corresponds to the selection of a button 6 on the right of the display 4. This can be, for example, making a pre-selection.

In Ausschnitt E wird eine Zeigegeste 12 in einem mittleren Erfassungsbereich der Erfassungseinrichtung 5 erkannt. Dies kann z.B. einem Auswählen einer Bestätigungsschaltfläche der vorher getroffenen Vorauswahl entsprechen.In section E, a pointing gesture 12 is recognized in a central detection area of the detection device 5 . This can, for example, correspond to selecting a confirmation button from the previously made preselection.

In Ausschnitt F wird eine Zeigegeste 13 im rechten Erfassungsbereich der Erfassungseinrichtung 5 erkannt, was einem Auswählen einer links im Display 4 liegenden Schaltfläche 6 entspricht.In section F, a pointing gesture 13 is recognized in the right-hand detection area of the detection device 5, which corresponds to a button 6 on the left of the display 4 being selected.

3 verdeutlicht, dass bereits grobe richtungsweisende Gesten als Auswählen einer Schaltfläche 6 erkannt werden können, so dass Systemdialoge ohne große Ablenkung des Anwenders 1 vom umliegenden Geschehen geführt werden können, was einen hohen Fahrkomfort bei gleichzeitig hoher Verkehrs- und Anwendersicherheit bietet. 3 makes it clear that even rough gestures pointing the way can be recognized as selecting a button 6, so that system dialogs can be conducted without major distraction of the user 1 from the surrounding events, which offers a high level of driving comfort with a high level of traffic and user safety at the same time.

Die vorhergehende Beschreibung der vorliegenden Erfindung dient nur zu illustrativen Zwecken und nicht zum Zwecke der Beschränkung der Erfindung. Im Rahmen der Erfindung sind verschiedene Änderungen und Modifikationen möglich, ohne den Umfang der Erfindung sowie ihrer Äquivalente zu verlassen.The foregoing description of the present invention is for illustrative purposes only and not for the purpose of limiting the invention. Various changes and modifications can be made within the scope of the invention without departing from the scope of the invention and its equivalents.

BezugszeichenlisteReference List

11
Anwenderuser
22
Handhand
33
Lenkradsteering wheel
44
Displayscreen
55
Erfassungseinrichtungdetection device
66
Schaltflächebutton
77
Fingerfinger
88th
Steuervorrichtungcontrol device
99
Erfassungsbereich der ErfassungseinrichtungDetection range of the detection device
1010
Fortbewegungsmittelmeans of transportation
1111
Zeigegestepointing gesture
1212
Zeigegestepointing gesture
1313
Zeigegestepointing gesture
1414
Fahrerassistenzsystemdriver assistance system
Ff
Fahrtrichtungdriving direction
100-300100-300
Verfahrensschritteprocess steps

Claims (11)

Verfahren zur Unterstützung eines Anwenders (1) eines Fortbewegungsmittels (10), insbesondere eines Kraftfahrzeugs, umfassend die Schritte: - Ausgeben einer Systemanfrage (100) durch Einblenden mindestens einer Schaltfläche (6) auf einem Display (4) des Fortbewegungsmittels (10), - Erkennen (200) einer vom Anwender (1) ausgeführten Zeigegeste (11, 12, 13) und - im Ansprechen auf ein Weisen der Zeigegeste (11, 12, 13) in Richtung der Schaltfläche (6), Ansteuern (300) mindestens eines Anwendersystems innerhalb des Fortbewegungsmittels (10), das Verfahren ferner umfassend - einen Schritt des Erkennens einer Blickrichtung des Anwenders (1) und in Abhängigkeit der erkannten Blickrichtung Erkennen der Zeigegeste (11, 12, 13).Method for supporting a user (1) of a means of transportation (10), in particular a motor vehicle, comprising the steps: - Outputting a system request (100) by showing at least one button (6) on a display (4) of the means of transportation (10), - Recognizing (200) a pointing gesture (11, 12, 13) performed by the user (1) and - in response to a pointing of the pointing gesture (11, 12, 13) in the direction of the button (6), driving (300) at least one user system within the means of locomotion (10), the method further comprising - a step of recognizing a viewing direction of the user (1) and depending on the recognized viewing direction recognizing the pointing gesture (11, 12, 13). Verfahren nach Anspruch 1, wobei das Erkennen der Zeigegeste (11, 12, 13) mittels einer Kamera, insbesondere mittels einer Innenraumkamera, insbesondere mittels einer Fahrerzustandskamera, ausgeführt wird.procedure after claim 1 , wherein the pointing gesture (11, 12, 13) is recognized by means of a camera, in particular by means of an interior camera, in particular by means of a driver status camera. Verfahren nach Anspruch 1 oder 2, wobei als Zeigegeste (11, 12, 13) mindestens eine Geste eines Körperteils des Anwenders (1), insbesondere eine Geste eines Fingers (7) des Anwenders (1), erkannt wird.procedure after claim 1 or 2 , At least one gesture of a body part of the user (1), in particular a gesture of a finger (7) of the user (1), being recognized as the pointing gesture (11, 12, 13). Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens zwei Schaltflächen (6) eingeblendet werden und das Verfahren ferner einen Schritt des Erkennens einer Auswahl einer Schaltfläche (6) umfasst.Method according to one of the preceding claims, wherein at least two buttons (6) are displayed and the method further comprises a step of recognizing a selection of a button (6). Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend einen Schritt des Ausgebens einer Systemrückantwort im Ansprechen auf das Erkennen der Zeigegeste (11, 12, 13) und/oder einen Schritt des Bestätigens einer Vorauswahl einer Schaltfläche (6) durch den Anwender (1).A method according to any one of the preceding claims, further comprising a step of issuing a system response in response to recognizing the pointing gesture (11, 12, 13) and/or a step of confirming a pre-selection of a button (6) by the user (1). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Zeigegeste (11, 12, 13) in einem Abschnitt des Fortbewegungsmittels (10) erkannt wird, der sich von einem Lenkradkranz in Fahrtrichtung (F) des Fortbewegungsmittels (10) erstreckt, und insbesondere durch eine durch den Lenkradkranz definierte Ebene und eine Erfassungseinrichtung (5) zum Erkennen der von dem Anwender (1) ausgeführten Zeigegeste (11, 12, 13) in Fahrtrichtung (F) des Fortbewegungsmittels (10) definiert wird.Method according to one of the preceding claims, wherein the pointing gesture (11, 12, 13) is recognized in a section of the means of locomotion (10) which extends from a steering wheel rim in the direction of travel (F) of the means of locomotion (10), and in particular by a plane defined by the steering wheel rim and a detection device (5) for recognizing the pointing gesture (11, 12, 13) performed by the user (1) in the direction of travel (F) of the means of transportation (10). Verfahren nach einem der vorhergehenden Ansprüche, wobei sich das Ansteuern eines Anwendersystems auf - ein Audiosystem und/oder - ein Telekommunikationssystem und/oder - ein Entertainmentsystem und/oder - ein Beleuchtungssystem und/oder - eine Klimaanlage und/oder eine Heizung und/oder - eine Belüftungseinrichtung und/oder - einen elektrischen Fensterheber und/oder - ein Komfortsystem und/oder - eine Sitzverstellung und/oder - ein Navigationssystem und/oder - einen Bordcomputer und/oder - ein Informationssystem bezieht.Method according to one of the preceding claims, wherein the driving of a user system on - an audio system and/or - a telecommunication system and/or - an entertainment system and/or - a lighting system and/or - air conditioning and/or heating and/or - a ventilation device and/or - an electric window regulator and/or - a comfort system and/or - a seat adjustment and/or - a navigation system and/or - an on-board computer and/or - refers to an information system. Fahrerassistenzsystem zur Unterstützung eines Anwenders (1) eines Fortbewegungsmittels (10), insbesondere eines Kraftfahrzeugs, eingerichtet zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7, umfassend: - ein Display (4), - eine Erfassungseinrichtung (5) und - eine Steuervorrichtung (8), wobei das Display (4) zum Ausgeben einer Systemanfrage durch Einblenden mindestens einer Schaltfläche (6) eingerichtet ist, wobei die Erfassungseinrichtung (5) eingerichtet ist, eine vom Anwender (1) ausgeführte Zeigegeste (11, 12, 13) zu erkennen und wobei die Steuervorrichtung (8) eingerichtet ist, im Ansprechen auf ein Weisen der Zeigegeste (11, 12, 13) in Richtung der Schaltfläche (6), mindestens ein Anwendersystem innerhalb des Fortbewegungsmittels (10) anzusteuern.Driver assistance system for supporting a user (1) of a means of transportation (10), in particular a motor vehicle, set up to carry out the method according to one of Claims 1 until 7 , comprising: - a display (4), - a detection device (5) and - a control device (8), the display (4) being set up to output a system request by showing at least one button (6), the detection device (5 ) is set up to recognize a pointing gesture (11, 12, 13) performed by the user (1) and wherein the control device (8) is set up, in response to pointing the pointing gesture (11, 12, 13) in the direction of the button ( 6) to control at least one user system within the means of transportation (10). Fahrerassistenzsystem nach Anspruch 8, wobei die Erfassungseinrichtung (5) eine Kamera, insbesondere eine Innenraumkamera, insbesondere eine Fahrerzustandskamera, umfasst.driver assistance system claim 8 , wherein the detection device (5) comprises a camera, in particular an interior camera, in particular a driver status camera. Fahrerassistenzsystem nach Anspruch 8 oder 9, wobei das Anwendersystem - ein Telekommunikationssystem und/oder - ein Entertainmentsystem und/oder - ein Beleuchtungssystem und/oder - eine Klimaanlage und/oder eine Heizung und/oder - eine Belüftungseinrichtung und/oder - einen elektrischen Fensterheber und/oder - ein Komfortsystem und/oder - eine Sitzverstellung und/oder - ein Navigationssystem und/oder - einen Bordcomputer und/oder - ein Informationssystem umfasst.driver assistance system claim 8 or 9 , where the user system is - a telecommunications system and/or - an entertainment system and/or - a lighting system and/or - an air conditioning system and/or a heater and/or - a ventilation device and/or - an electric window lifter and/or - a convenience system and /or - a seat adjustment and/or - a navigation system and/or - an on-board computer and/or - an information system. Fortbewegungsmittel (10), insbesondere Kraftfahrzeug, umfassend ein Fahrerassistenzsystem nach einem der Ansprüche 8 bis 10.Means of locomotion (10), in particular a motor vehicle, comprising a driver assistance system according to one of Claims 8 until 10 .
DE102017211462.2A 2017-07-05 2017-07-05 Method for supporting a user of a means of transportation, driver assistance system and means of transportation Active DE102017211462B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017211462.2A DE102017211462B4 (en) 2017-07-05 2017-07-05 Method for supporting a user of a means of transportation, driver assistance system and means of transportation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017211462.2A DE102017211462B4 (en) 2017-07-05 2017-07-05 Method for supporting a user of a means of transportation, driver assistance system and means of transportation

Publications (2)

Publication Number Publication Date
DE102017211462A1 DE102017211462A1 (en) 2019-01-10
DE102017211462B4 true DE102017211462B4 (en) 2023-05-17

Family

ID=64665911

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017211462.2A Active DE102017211462B4 (en) 2017-07-05 2017-07-05 Method for supporting a user of a means of transportation, driver assistance system and means of transportation

Country Status (1)

Country Link
DE (1) DE102017211462B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113928080A (en) * 2021-09-27 2022-01-14 浙江零跑科技股份有限公司 Double-zone vehicle-mounted air conditioning system based on global gesture recognition and operation method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046376A1 (en) 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE202012005255U1 (en) 2012-05-29 2012-06-26 Youse Gmbh Operating device with a gesture monitoring unit
DE102012205217A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit
DE102012205212A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information display system for use as head-up-display in vehicle, has photo-mixing detector camera for monitoring input region and evaluation unit which is so configured that gesture is detected only as input in virtual input region
DE102014116292A1 (en) 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046376A1 (en) 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE102012205217A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit
DE102012205212A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information display system for use as head-up-display in vehicle, has photo-mixing detector camera for monitoring input region and evaluation unit which is so configured that gesture is detected only as input in virtual input region
DE202012005255U1 (en) 2012-05-29 2012-06-26 Youse Gmbh Operating device with a gesture monitoring unit
DE102014116292A1 (en) 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle

Also Published As

Publication number Publication date
DE102017211462A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
DE102013110864A1 (en) Method for a driver assistance system of a vehicle
EP3067244B1 (en) Motor vehicle with automatic situation adaptive drive mode
DE102014016222A1 (en) Method and system for operating a touch-sensitive display device of a motor vehicle
DE102015005222A1 (en) Method for determining at least one traffic light relevant to a vehicle
DE102013011311B4 (en) Method for operating an information system of a motor vehicle and information system for a motor vehicle
DE102013217558A1 (en) Method for controlling an information display device and device with an information display device
DE102014222195A1 (en) Vehicle operation depending on the driving mode
DE102013003214A1 (en) Method for transferring driving tasks between occupants e.g. driver of motor car, involves terminating autonomous driving by driving assistance system after detecting completed transfer and acquisition of object by other occupant
DE102016224246A1 (en) Method and apparatus for interacting with a graphical user interface
DE102017202051A1 (en) Operating device for a motor vehicle and method for operating an operating device
DE102014011118B4 (en) Method for operating a light function of motor vehicle headlights and motor vehicle with a display device and a control element for operating the light function of the motor vehicle headlights
DE102012218114A1 (en) Method for aligning at least one rear-view mirror of a motor vehicle
EP3418861A1 (en) Method for operating a display device, and a motor vehicle
DE102017211462B4 (en) Method for supporting a user of a means of transportation, driver assistance system and means of transportation
DE102013015204A1 (en) Method and system for operating at least one display device of a motor vehicle and motor vehicles with a system for operating at least one display device
WO2014111241A1 (en) Method and system for controlling at least one functional unit, and motor vehicle and mobile terminal device having such a system
DE102017011498B4 (en) Method for operating an assistance system and an assistance system for a motor vehicle
DE102013011531B4 (en) Method for operating an assistance system of a motor vehicle and assistance system for a motor vehicle
DE102012023484A1 (en) Operating method and operating system in a road vehicle
DE102014014341B4 (en) Method for operating an infotainment system of a motor vehicle and infotainment system for a motor vehicle
WO2014114428A1 (en) Method and system for controlling, depending on the line of vision, a plurality of functional units, motor vehicle and mobile terminal having said system
EP3102453B1 (en) Method and device for indicating a change to a setting of at least one parameter of a vehicle function
DE102018123155A1 (en) Method for a user-vehicle interface and user-vehicle interface
DE102013019263B4 (en) Method for operating an operating device and vehicle with an operating device
EP2895949B1 (en) Touch entries via ridges/depressions on touch-sensitive displays

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final