DE102016120999A1 - User interface and method for inputting and outputting information in a vehicle - Google Patents

User interface and method for inputting and outputting information in a vehicle Download PDF

Info

Publication number
DE102016120999A1
DE102016120999A1 DE102016120999.6A DE102016120999A DE102016120999A1 DE 102016120999 A1 DE102016120999 A1 DE 102016120999A1 DE 102016120999 A DE102016120999 A DE 102016120999A DE 102016120999 A1 DE102016120999 A1 DE 102016120999A1
Authority
DE
Germany
Prior art keywords
driver
vehicle
projected image
information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016120999.6A
Other languages
German (de)
Other versions
DE102016120999B4 (en
Inventor
Yanning Zhao
Alexander van Laack
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Priority to DE102016120999.6A priority Critical patent/DE102016120999B4/en
Priority to PCT/EP2017/078146 priority patent/WO2018083218A1/en
Priority to US16/347,504 priority patent/US20200055397A1/en
Publication of DE102016120999A1 publication Critical patent/DE102016120999A1/en
Application granted granted Critical
Publication of DE102016120999B4 publication Critical patent/DE102016120999B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

Der Erfindung, welche eine Benutzerschnittstelle und ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug betrifft, liegt die Aufgabe zugrunde, eine Lösung anzugeben mit welcher eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird. Diese Aufgabe wird dadurch gelöst, dass als Anordnung zur Bilderzeugung eine ein projiziertes Bild erzeugende Bilderzeugungseinheit angeordnet ist, dass als Mittel zur Detektion einer Eingabe ein Mittel zur Gestenerkennung angeordnet ist und dass ein Mittel zur Blickerfassung und -verfolgung angeordnet ist. Die Aufgabe wird verfahrensseitig dadurch gelöst, dass ein Erkennen einer Blickrichtung eines Fahrers erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers in Form eines projizierten Bildes erzeugt und über dem Bereich schwebend dargestellt werden, dass eine Erkennung von Gesten des Fahrers durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand des Fahrers mit dem projizierten Bild oder einem Bestandteil des projizierten Bildes ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.The invention, which relates to a user interface and a method for inputting and outputting information in a vehicle, the object of the invention to provide a solution with which a reduction in the density of information and an improvement in the concentration of the driver is achieved on the driving of the vehicle. This object is achieved in that a picture-generating unit producing a projected image is arranged as the arrangement for image generation, that a means for gesture recognition is arranged as means for detecting an input and that a means for viewing and tracking is arranged. On the procedural side, the object is achieved by recognizing a driver's line of sight, assigning the driver's line of sight to an area in the vehicle that generates information about this area in the driver's line of sight in the form of a projected image and above it Area are shown floating, that recognition of gestures of the driver is performed and that when a match of detected by the gesture recognition position of a hand of the driver with the projected image or a component of the projected image, a signal is generated and output by the central control unit.

Description

Die Erfindung betrifft eine Benutzerschnittstelle, welche eine Anordnung zur Bilderzeugung, zur Anzeige von Bildern und Informationen, und ein Mittel zur Detektion einer Geste eines Benutzers umfasst, wobei die Anordnung zur Bilderzeugung und das Mittel zur Detektion einer Geste mit einer zentralen Steuereinheit verbunden sind.The invention relates to a user interface which comprises an arrangement for image generation, for displaying images and information, and a means for detecting a gesture of a user, wherein the arrangement for imaging and the means for detecting a gesture are connected to a central control unit.

Die Erfindung betrifft auch ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird.The invention also relates to a method for inputting and outputting information in a vehicle, in which information is output by means of an arrangement for image generation and in which inputs of a user are detected by a means for detecting a gesture, wherein a control of the output of the information and the detection of inputs is controlled by a central control unit.

Die Erfindung beschreibt Möglichkeiten zur Steuerung einer Maschine, wie beispielsweise einem Fahrzeug, durch Anweisungen eines Benutzers oder Fahrers über eine Benutzerschnittstelle. Hierbei kann es sich bei einem Fahrzeug um ein beliebiges technisches Gerät zur Fortbewegung handeln, vorzugsweise motorisierte Land-, Luft- oder Wasserfahrzeuge wie beispielsweise ein Kraftfahrzeug, Lastkraftwagen, Schienenfahrzeug, Flugzeug oder ein Boot.The invention describes ways of controlling a machine, such as a vehicle, by instructions of a user or driver via a user interface. This may be a vehicle to any technical device for locomotion, preferably motorized land, air or water vehicles such as a motor vehicle, truck, rail vehicle, aircraft or a boat.

Eine sogenannte Benutzerschnittstelle, auch als Nutzerschnittstelle oder englisch „Human Machine Interface“ (HMI) bezeichnet, bestimmt über die Art und Weise wie ein Mensch mit einer Maschine kommunizieren kann und umgekehrt. Die Benutzerschnittstelle legt fest, wie der Mensch seine Anweisungen an die Maschine übermittelt, wie die Maschine auf die Nutzereingaben reagiert und in welcher Form die Maschine ihre Rückmeldungen bereitstellt. Derartige Benutzerschnittstellen müssen an die Bedürfnisse und Fähigkeiten eines Menschen angepasst sein und sind meist ergonomisch gestaltet.A so-called user interface, also referred to as user interface or English "Human Machine Interface" (HMI) determines how a person can communicate with a machine and vice versa. The user interface determines how the human communicates his instructions to the machine, how the machine reacts to the user inputs, and how the machine provides its feedback. Such user interfaces must be adapted to the needs and abilities of a person and are usually ergonomically designed.

Moderne Kraftfahrzeuge weisen in der Regel eine Vielzahl von Benutzerschnittstellen auf. Dazu gehören Mittel zur Eingabe von Anweisungen oder Befehlen wie beispielsweise ein Pedal, Lenkrad, Schalt- und/oder Blinkerhebel, Schalter oder Taster. Alternativ können Eingaben auch über Eingabe- oder Steuerelemente erfolgen, welche auf einem Display dargestellt werden.Modern motor vehicles usually have a multiplicity of user interfaces. This includes means for entering instructions or commands such as a pedal, steering wheel, shift and / or turn signal lever, switch or button. Alternatively, inputs can also be made via input or control elements, which are displayed on a display.

Zu den Benutzerschnittstellen zählen auch geeignete Mittel zur optischen, akustischen oder haptischen Wahrnehmung oder Rückmeldung, wie Anzeigen für Geschwindigkeit, Reichweite, Fahr- oder Getriebeeinstellungen, Rundfunkprogramme, Soundeinstellungen, eines Navigationssystems und viele andere.User interfaces also include suitable means of visual, auditory, or haptic sensing or feedback, such as speed, range, driving or transmission settings, broadcast programs, sound settings, navigation system, and many others.

Die Anzahl der möglichen wie auch der zur Steuerung eines Fahrzeuges notwendigen Bedieneingriffe und/oder Anweisungen eines Fahrzeugführers nehmen immer weiter zu. Neben den zur Führung eines Fahrzeuges notwendigen Funktionen, wie Steuern der Richtung und der Geschwindigkeit des Fahrzeuges, existieren immer mehr Möglichkeiten zur Steuerung von Zusatzfunktionen. Derartige Zusatzfunktionen betreffen beispielsweise Systeme wie eine Klimaanlage, ein Soundsystem, ein Navigationssystem, Einstellungen möglicher Fahrwerk- und/oder Getriebefunktionen.The number of possible as well as necessary for controlling a vehicle operator interventions and / or instructions of a driver continue to increase. In addition to the functions necessary for the guidance of a vehicle, such as controlling the direction and the speed of the vehicle, there are more and more options for controlling additional functions. Such additional functions relate, for example, systems such as an air conditioning system, a sound system, a navigation system, settings of possible suspension and / or transmission functions.

Die Vielzahl an Schaltern, Knöpfen, Tasten, Eingabedisplays und anderen Bedienelementen, welche einem Fahrzeugführer zur Verfügung stehen, sowie die Vielfalt an Informations-, Hinweis- und/oder Warnanzeigen im Cockpit eines Fahrzeuges führen zu einer immer größeren Beanspruchung der Aufmerksamkeit des Fahrzeugführers. Gleichzeitig vergrößern sie die Gefahr der Ablenkung des Fahrers und erhöhen somit das Sicherheitsrisiko beim Führen eines Kraftfahrzeuges.The variety of switches, buttons, buttons, input displays and other controls that are available to a driver, as well as the variety of information, notice and / or warning displays in the cockpit of a vehicle lead to an ever greater stress the attention of the driver. At the same time they increase the risk of distraction of the driver and thus increase the safety risk when driving a motor vehicle.

Zur Verringerung dieses Sicherheitsrisikos bieten viele Fahrzeughersteller integrierte elektronische Displays mit einer menügeführten Befehlssteuerung an, welche eine breite Palette von Funktionen in einer einzigen Benutzerschnittstelle vereinen.To reduce this safety risk, many vehicle manufacturers offer integrated electronic displays with menu-driven command control, which combine a wide range of functions into a single user interface.

Nachteilig an dieser Lösung ist es, dass eine große Anzahl von Informationen und Auswahlmöglichkeiten für den Fahrer gleichzeitig im Sichtfeld des Fahrers oder in einem geeignet platzierten Display zur Anzeige gebracht werden müssen, wodurch sich die Gefahr einer Ablenkung des Fahrers wiederum erhöht.A disadvantage of this solution is that a large number of information and choices for the driver at the same time in the field of vision of the driver or in a suitably placed display must be displayed, which in turn increases the risk of distraction of the driver.

Neben der Darstellung der Informationen und Auswahlmöglichkeiten müssen auch noch Mittel zur Eingabe oder Auswahl durch den Fahrer im Display oder in Displaynähe bereitgestellt werden, welche vom Fahrer während einer Fahrt bedient werden können. Auch diese Mittel stellen eine potentielle Gefahr für die Sicherheit dar.In addition to the presentation of information and options also means for input or selection must be provided by the driver in the display or near the display, which can be operated by the driver while driving. These funds also pose a potential threat to safety.

Da für die Bedienung verschiedenster Fahrzeugsysteme ein gewisses Maß einer Hand-Auge-Koordination des Fahrers erforderlich ist, wird die Konzentration des Fahrers auf das Führen des Fahrzeuges zumindest teilweise beeinträchtigt.Since a certain degree of hand-eye coordination of the driver is required to operate a wide variety of vehicle systems, the concentration of the driver on driving the vehicle is at least partially impaired.

Aus dem Stand der Technik ist es auch bekannt, eine Reduzierung der darzustellenden Informationen dadurch zu erreichen, dass nur die in einem bestimmten Zusammenhang stehenden Informationen oder Auswahlmöglichkeiten zur Anzeige gebracht werden. Diese sogenannten kontextsensitiven Informationen oder Auswahlmöglichkeiten sind beispielsweise auf ein einziges System wie ein Navigationssystem beschränkt.It is also known from the prior art to achieve a reduction of the information to be displayed by displaying only the information or options that are in a specific context. These so-called context-sensitive information or choices are for example, limited to a single system such as a navigation system.

Aus dem Stand der Technik ist ebenfalls bekannt, einem Benutzer, beispielsweise einem Fahrzeugführer, wie einem Autofahrer oder einem Piloten, mittels eines Head-up-Displays Informationen in sein Sichtfeld zu projizieren. Unter einem Head-up-Display, auch als HUD abgekürzt, ist ein Anzeigesystem zu verstehen, bei welchem der Benutzer zum Betrachten der angezeigten Informationen die Haltung des Kopfes beziehungsweise die Blickrichtung in der ursprünglichen Ausrichtung im Wesentlichen beibehalten kann. Derartige Head-up-Displays weisen im Allgemeinen eine eigene bilderzeugende Einheit, welche die darzustellenden Informationen in Form eines Bilds bereitstellt, ein Optikmodul, welches den Strahlenverlauf innerhalb des Head-up-Displays bis zu einer Austrittsöffnung ermöglicht und auch als Spiegeloptik bezeichnet wird, sowie eine Projektionsfläche, zur Darstellung des zu erzeugenden Bildes, auf. Das Optikmodul leitet das Bild auf die Projektionsfläche, welche als eine spiegelnde, lichtdurchlässige Scheibe ausgebildet ist und auch als Combiner bezeichnet wird. In einem besonderen Fall wird als Projektionsfläche eine hierfür geeignete Windschutzscheibe eingesetzt. Der Fahrzeugführer sieht die gespiegelten Informationen der bilderzeugenden Einheit und gleichzeitig die wirkliche Umgebung hinter der Windschutzscheibe. Damit bleibt die Aufmerksamkeit eines Fahrzeugführers, beispielsweise beim Führen eines Kraftfahrzeuges, auf das Geschehen vor dem Fahrzeug gerichtet, während er die in das Sichtfeld projizierten Informationen erfassen kann.It is also known from the prior art to project information into its field of vision by means of a head-up display to a user, for example a vehicle driver, such as a driver or a pilot. A head-up display, also abbreviated as HUD, is to be understood as a display system in which the user, for viewing the displayed information, can essentially maintain the posture of the head or the viewing direction in the original orientation. Such head-up displays generally have their own imaging unit, which provides the information to be displayed in the form of an image, an optical module which allows the beam path within the head-up display to an exit opening and is also referred to as mirror optics, as well a projection surface, for displaying the image to be generated on. The optical module passes the image on the projection surface, which is designed as a reflective, translucent disc and is also referred to as a combiner. In a special case, a windscreen suitable for this purpose is used as the projection surface. The driver sees the mirrored information of the imaging unit and, at the same time, the real environment behind the windshield. Thus, the attention of a driver, for example when driving a motor vehicle, directed to the events in front of the vehicle, while he can detect the projected into the field of view information.

Aus der US 2014/0292665 ist eine Anordnung zur Blickerfassung bekannt, welche Sensoren verwendet, welche die Richtung des Fahrerblicks erfassen und die vom Fahrer angesehene Komponente identifizieren können. Diese Veröffentlichung offenbart keine Möglichkeit einer Bereitstellung von Informationen mit einer verringerten Informationsdichte oder in einer Weise in der die ausgewählte Komponente mit Farbe oder Text markiert wird.From the US 2014/0292665 For example, an eye tracking device is known that uses sensors that can sense the direction of the driver's eye and identify the component viewed by the driver. This publication does not disclose the possibility of providing information with a reduced information density or in a manner in which the selected component is marked with color or text.

Aus der US 2010/0014711 ist ein System zur Beleuchtung eines Fahrzeuginnenraums auf der Grundlage der Kopfposition des Fahrers offenbart. Jedoch offenbart diese Veröffentlichung, dass die Beleuchtung für eine Verbesserung der Sichtbedingungen für den Fahrer vorgesehen ist. Somit können keine Informationen zu einzelnen ausgewählten Bereichen zur Anzeige gebracht werden.From the US 2010/0014711 discloses a system for illuminating a vehicle interior based on the driver's head position. However, this publication discloses that the lighting is provided for improving the visibility conditions for the driver. Thus, no information on individual selected areas can be displayed.

Die Aufgabe der Erfindung besteht darin, eine Benutzerschnittstelle und ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug anzugeben, mit welchem eine vereinfachte Bedienung von Fahrzeugsystemen, eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird.The object of the invention is to provide a user interface and a method for inputting and outputting information in a vehicle, with which a simplified operation of vehicle systems, a reduction of the information density and an improvement of the concentration of the driver on the driving of the vehicle is achieved ,

Die Aufgabe wird durch einen Gegenstand mit den Merkmalen gemäß Patentanspruch 1 der selbstständigen Patentansprüche gelöst. Weiterbildungen sind in den abhängigen Patentansprüchen 2 bis 6 angegeben.The object is achieved by an article having the features according to claim 1 of the independent claims. Further developments are specified in the dependent claims 2 to 6.

Die Erfindung stellt eine Benutzerstelle (HMI) bereit, welche mit dem Fahrer eines Fahrzeuges situationsabhängig interagiert und nur einen geringen Raum zur Darstellungen von Informationen auf einem Display oder im Innenraum des Fahrzeuges benötigt.The invention provides a user station (HMI) which interacts with the driver of a vehicle depending on the situation and only needs a small space for displaying information on a display or in the interior of the vehicle.

Hierfür ist es vorgesehen, durch ein Mittel zur Blickerfassung und -verfolgung, wie eine im Fahrzeug installierte Kamera und einer zugehörigen Steuer- und Auswerteeinheit eine Erfassung der Blickrichtung und eine Blickverfolgung des Benutzers oder Fahrers zu realisieren. Durch die Auswertung der Blickrichtung oder der Blickverfolgung wird mindestens ein Bereich innerhalb des Fahrzeuges erkannt, auf welchen der Blick des Fahrers gerichtet ist. Hierzu kann es auch vorgesehen sein, dass erkannt wird, ob der Fahrer Baugruppen oder Systeme im Inneren des Fahrzeuges betrachtet oder ob sein Blick nach außen in die Fahrzeugumgebung gerichtet ist.For this purpose, it is provided to realize a detection of the viewing direction and a gaze tracking of the user or driver by means of a viewfinding and tracking device, such as a camera installed in the vehicle and an associated control and evaluation unit. By evaluating the line of sight or the gaze tracking, at least one area within the vehicle on which the driver's gaze is directed is recognized. For this purpose, it can also be provided that it is detected whether the driver is looking at assemblies or systems inside the vehicle or whether his gaze is directed outwards into the vehicle environment.

Ist der Blick des Fahrers auf Baugruppen oder Systeme im Inneren des Fahrzeuges gerichtet, erfolgt eine Zuordnung der Blickrichtung zu einer Baugruppe oder einem System wie einer Klimaanlage, einem Soundsystem, einem Anzeigedisplay, einem Lenkrad, einem Rückspiegel, einer Abdeckung oder Klappe eines Staufachs, einer Steueranordnung für ein Getriebe oder anderen.If the driver's gaze is directed at assemblies or systems inside the vehicle, the viewing direction is assigned to an assembly or a system such as an air conditioning system, a sound system, a display screen, a steering wheel, a rearview mirror, a cover or flap of a storage compartment, Control arrangement for a transmission or other.

Derart wird es ermöglicht, dem Fahrer die zu seiner Blickrichtung gehörigen oder möglichen Informationen durch eine geeignete Projektion oder Darstellung anzuzeigen. Dies kann vorzugsweise mittels einer Laserprojektion erfolgen, welche sowohl zur Darstellung geometrischer Formen wie auch von Zeichen wie Schriftzeichen geeignet ist. Eine derartige Darstellung kann auch in verschiedenen Farbe erfolgen.In this way, it is possible to indicate to the driver the information belonging or possible to his viewing direction by means of a suitable projection or presentation. This can preferably be done by means of a laser projection, which is suitable both for displaying geometric shapes as well as characters such as characters. Such a representation can also be made in different colors.

Vorgesehen ist es, über einem im Innenraum des Fahrzeuges erkannten Bereich, wie beispielsweise einem Bedienelement oder einem verschlossenen Stauraum im Fahrzeug, eine Information oder Auswahlmöglichkeiten mittels einer Laserprojektion bereitzustellen. Die erfindungsgemäße Benutzerschnittstelle ist derart gestaltet, dass eine Bedienaktion des Fahrers, wie beispielsweise eine Auswahl einer der dargestellten Auswahlmöglichkeiten, durch ein geeignetes Mittel zur Erkennung einer Bewegung oder Geste des Fahrers, erkannt und in Form einer Information einer entsprechenden zentralen Steuereinheit bereitgestellt wird.It is provided to provide information or selections by means of a laser projection over a recognized in the interior of the vehicle area, such as an operating element or a locked storage space in the vehicle. The user interface according to the invention is configured in such a way that an operator action of the driver, such as a selection of one of the presented options, is recognized by a suitable means for detecting a movement or gesture of the driver Form of information is provided to a corresponding central control unit.

Diese Steuereinheit setzt die bereitgestellte Information um und bewirkt eine zur Auswahl des Fahrers zugehörige Reaktion, wie beispielsweise ein Ein- oder Ausschalten der entsprechenden Funktion oder das Öffnen einer Klappe des Stauraums. Für eine derartige Gestenerkennung können bekannte Mittel eingesetzt werden, wie beispielsweise eine im Fahrzeug angebrachte Kamera und eine entsprechende Auswerteeinheit.This control unit implements the information provided and effects a reaction associated with the selection of the driver, such as switching on or off the corresponding function or opening a flap of the storage space. For such a gesture recognition known means may be used, such as a camera mounted in the vehicle and a corresponding evaluation.

Vorgesehen ist es, zur Erzeugung der Laserprojektion einen Spatial Light Modulator (SLM) einzusetzen. Zur Bilderzeugung können beispielsweise Technologien wie Liquid Crystal on Silicon (LcoS), Digital Light Processing (DLP) oder Micro-Electro-Mechanical Systems MEMS eingesetzt werden. Besonders vorteilhaft ist die Erzeugung dreidimensionaler Darstellungen. Vorgesehen sind Darstellungen in zwei oder drei Dimensionen sowie in Farbe.It is intended to use a Spatial Light Modulator (SLM) to generate the laser projection. For example, technologies such as Liquid Crystal on Silicon (LcoS), Digital Light Processing (DLP) or Micro-Electro-Mechanical Systems MEMS can be used for image generation. Particularly advantageous is the generation of three-dimensional representations. There are plans in two or three dimensions as well as in color.

Die Aufgabe wird auch durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 7 der selbstständigen Patentansprüche gelöst. Weiterbildungen sind in den abhängigen Patentansprüchen 8 bis 13 angegeben.The object is also achieved by a method having the features according to claim 7 of the independent claims. Further developments are specified in the dependent claims 8 to 13.

Die Erfindung realisiert ein Erkennen einer Blickrichtung eines Fahrers und eine Zuordnung dieser erkannten Blickrichtung zu einem Bereich im Innenraum des Fahrzeuges, wobei die Bereiche zu Baugruppen oder Systemen im Fahrzeug zugeordnet sind. Ein derartiger Bereich kann beispielsweise eine Luftaustrittsöffnung einer Klimaanlage, ein Soundsystem oder dessen Lautsprecher, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere sein.The invention realizes recognition of a viewing direction of a driver and an assignment of this recognized viewing direction to an area in the interior of the vehicle, the areas being assigned to assemblies or systems in the vehicle. Such an area can be, for example, an air outlet opening of an air conditioning system, a sound system or its loudspeakers, a display screen, a steering wheel, a rearview mirror, a cover or flap of a storage compartment, a control arrangement for a transmission and others.

Ist der Blick des Fahrers in einen dieser Bereiche gerichtet, so werden Informationen zu diesem ausgewählten Bereich in der Blickrichtung des Fahrers in der Form eines projizierten Bildes erzeugt und über dem Bereich dargestellt. Das projizierte Bild kann eine zwei- oder dreidimensionale Darstellung sein. Eine Darstellung in einer oder mehreren Farben ist möglich.When the driver's gaze is directed to one of these areas, information about that selected area in the driver's line of sight is generated in the form of a projected image and displayed over the area. The projected image may be a two- or three-dimensional representation. A representation in one or more colors is possible.

Bewegt der Fahrer seine Hand oder seinen Finger in die Richtung oder zu diesem projizierten Bild hin, wird diese Geste erfasst. Eine Gestenerkennung kann derart erfolgen, dass nicht nur eine Übereinstimmung der Richtung der Geste oder der Position eines Fingers mit dem projizierten Bild detektiert wird, sondern die genaue Position des Fingers innerhalb des projizierten Bildes, welches mehrere Bestandteile aufweisen kann.If the driver moves his hand or finger in the direction or to this projected image, this gesture is detected. Gesture recognition may be such that not only a match of the direction of the gesture or the position of a finger with the projected image is detected, but the exact position of the finger within the projected image, which may have multiple components.

Wird beispielsweise eine Übereinstimmung der Richtung oder der Position des Fingers mit der Position einer dieser Tasten erkannt, so wird diese Taste als ausgewählt erkannt. Eine zentrale Steuer- und Auswerteeinheit erzeugt ein Signal, welches die Auswahl dieser Taste kennzeichnet. Durch dieses Signal gesteuert kann dann die ausgewählte Funktion, wie beispielsweise das Einschalten eines Soundsystems oder einer Klimaanlage, umgesetzt werden.For example, if a match of the direction or the position of the finger is detected with the position of one of these keys, this key is recognized as selected. A central control and evaluation unit generates a signal which identifies the selection of this key. Controlled by this signal can then be the selected function, such as turning on a sound system or air conditioning, implemented.

Vorgesehen ist es, dass das projizierte Bild einen oder mehrere Bestandteile beinhalten kann. So können beispielsweise eine oder mehrere Tasten in dem projizierten Bild zur alternativen Auswahl bereitgestellt werden. Der Inhalt des projizierten Bildes oder seiner Bestandteile kann beispielsweise Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder umfassen.It is envisaged that the projected image may include one or more components. For example, one or more buttons in the projected image may be provided for alternative selection. The content of the projected image or its components may include, for example, text characters, special characters, symbols, planar or spatial geometric figures in various colors or images.

Die Erfindung sieht vor, dass der Innenraum des Fahrzeuges in Bereiche unterteilt wird. Derartige Bereiche werden zu Baugruppen oder Systemen im Fahrzeug zugeordnet, wie beispielsweise eine Klimaanlage, ein Soundsystem, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere. Im Fall einer Klimaanlage kann der Bereich beispielsweise durch die Zone einer oder mehrerer Luftaustrittsöffnungen gebildet werden. Im Fall einer Klappe eines Stauraums wird die Zone durch die Form der Klappe bestimmt. Im Fall eines Soundsystems kann die Form durch ein zugehöriges Display und/oder die im Armaturenbrett und/oder den Türen angeordneten Lautsprechern bestimmt werden.The invention provides that the interior of the vehicle is divided into areas. Such areas are assigned to assemblies or systems in the vehicle, such as an air conditioner, a sound system, a display screen, a steering wheel, a rearview mirror, a cover or flap of a storage compartment, a control arrangement for a transmission and others. In the case of an air conditioning system, the area can be formed, for example, by the zone of one or more air outlet openings. In the case of a flap of a storage space, the zone is determined by the shape of the flap. In the case of a sound system, the form may be determined by an associated display and / or the speakers located in the dashboard and / or the doors.

Vorgesehen ist es auch, dass das projizierte Bild derart dargestellt wird, dass es aus der Sichtweise des Fahrers, über einem bestimmten Bereich, also beispielsweise über den Luftaustrittsöffnungen der Klimaanlage, dargestellt wird. Die Umrandung des projizierten Bildes wird dabei mit den Grenzen des Bereichs in Übereinstimmung gebracht. Die Grenzen eines Bereichs können beispielsweise durch einen Rahmen gebildet werden, welcher um eine Luftaustrittsöffnung einer Klimaanlage herum verläuft. Der Rahmen kann auch entlang der Umrandung eines Rückspiegels, eines Anzeigedisplays oder anderer Systeme oder Baugruppen verlaufen.It is also envisaged that the projected image is displayed in such a way that it is displayed from the point of view of the driver, over a certain area, for example via the air outlet openings of the air conditioning system. The border of the projected image is matched with the boundaries of the area. The boundaries of a region may be formed, for example, by a frame which extends around an air outlet opening of an air conditioning system. The frame may also run along the border of a rearview mirror, a display screen, or other systems or assemblies.

Das projizierte Bild beinhaltet Informationen, beispielsweise in Form von Textzeichen oder Symbolen, welche die vom Fahrer auswählbaren möglichen Funktionen, zu dem entsprechenden Bereich, darstellen. Hierbei werden nur im Zusammenhang mit diesem Bereich stehende, sogenannte kontextbezogene Informationen zur Darstellung im projizierten Bild verwendet. Für den Bereich der Luftaustrittsöffnungen können somit beispielsweise die Funktionen Ein- oder Ausschalten sowie Wahlmöglichkeiten bezüglich einer Temperatur oder Gebläsestufe zur Darstellung gebracht werden. Für den Bereich eines Rückspiegels kann dies eine Auswahlmöglichkeit zum Abblenden sein, welche auch in mehreren Stufen angeboten werden kann.The projected image contains information, for example in the form of text characters or symbols, which represent the driver-selectable possible functions, to the corresponding area. Here, only in connection with this area standing, so-called context-related information is used for the representation in the projected image. For the area of the air outlet openings can thus, for example, the Functions on or off as well as choices regarding a temperature or blower level are displayed. For the area of a rearview mirror, this can be a choice for dimming, which can also be offered in several stages.

Außerdem werden die kontextbezogenen Informationen vor ihrer Darstellung im projizierten Bild auf ihre Plausibilität hin geprüft. Somit wird beispielsweise eine Möglichkeit zum Einschalten des Systems nicht in der Auswahl angeboten, wenn das System bereits eingeschaltet ist. Wird beispielsweise in einem Soundsystem eine CD abgespielt, so werden nur Funktionen zum Bedienen des CD-Players und keine Auswahlmöglichkeiten zur Senderauswahl angezeigt.In addition, the contextual information is checked for plausibility before being displayed in the projected image. Thus, for example, a way to turn on the system is not offered in the selection when the system is already on. If, for example, a CD is played in a sound system, only functions for operating the CD player and no selection options for station selection are displayed.

Besonders vorteilhaft ist es, zur Erkennung der Gesten des Fahrers Techniken einzusetzen, bei denen eine Laufzeitmessung mittels einer ToF-Kamera durchgeführt wird. Alternativ kann beispielsweise ein Verfahren, welches mit infrarotem Licht oder kapazitiv arbeitet, eingesetzt werden.It is particularly advantageous to use techniques for detecting the gestures of the driver, in which a transit time measurement is carried out by means of a ToF camera. Alternatively, for example, a method which works with infrared light or capacitive can be used.

Weitere Einzelheiten, Merkmale und Vorteile von Ausgestaltungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezugnahme auf die zugehörigen Zeichnungen. Es zeigen:

  • 1: einen beispielhaften Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug,
  • 2: eine erste Ausführungsform der erfindungsgemäßen Benutzerschnittstelle (HMI),
  • 3: eine beispielhafte Anwendung der Erfindung mit mehreren Darstellungen und
  • 4: eine weitere beispielhafte Anwendung der Erfindung mit der Darstellung einer Warnmeldung.
Further details, features and advantages of embodiments of the invention will become apparent from the following description of exemplary embodiments with reference to the accompanying drawings. Show it:
  • 1 : an exemplary procedure for the method for inputting and outputting information in a vehicle,
  • 2 A first embodiment of the user interface (HMI) according to the invention,
  • 3 an exemplary application of the invention with several representations and
  • 4 : Another exemplary application of the invention with the presentation of a warning message.

In der 1 ist ein beispielhafter Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug gezeigt. Der Verfahrensablauf beginnt im Schritt 1 mit einer Blickerfassung und -verfolgung des Fahrers. Auf der Grundlage dieser erfassten Informationen wird im Schritt 2 zum einen der Bereich bestimmt, welcher vom Fahrer aktuell betrachtet wird, wie beispielsweise eine Luftaustrittsöffnung einer Klimaanlage im Bereich eines Armaturenbretts eines Fahrzeugs. Zum anderen wird eine Auswahl der im Zusammenhang mit diesem betrachteten Bereich der Klimaanlage möglichen Anzeigeinformationen oder Auswahlmöglichkeiten vorgenommen. Hierbei werden die aktuellen Betriebszustände der Systeme des Fahrzeuges in die Auswahl mit einbezogen. Ist die Klimaanlage beispielsweise eingeschaltet, so wird die Möglichkeit des Einschaltens nicht zur Anzeige gebracht.In the 1 an exemplary flow for the method for inputting and outputting information in a vehicle is shown. The process starts in step 1 with a driver's eye tracking and tracking. On the basis of this captured information is in step 2 on the one hand determines the area, which is currently considered by the driver, such as an air outlet opening of an air conditioner in the region of a dashboard of a vehicle. On the other hand, a selection of the display information or options possible in connection with this considered area of the air conditioning system is made. In this case, the current operating states of the systems of the vehicle are included in the selection. For example, if the air conditioner is on, the possibility of turning it on is not displayed.

Im Schritt 3 wird die Erzeugung eines projizierten Bildes 9 beispielsweise mittels einer laserbasierten Bilderzeugungseinheit 10 gestartet. Im Schritt 4 erfolgt die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich. Im Beispiel kann über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ oder „Turn on“ dargestellt werden. Als Farbe für die projizierte Fläche kann grün gewählt werden, um dem Fahrer zu signalisieren, dass die angezeigte Auswahl möglich ist.In step 3 is the generation of a projected image 9 for example by means of a laser-based imaging unit 10 started. In step 4 the representation of the projected image takes place 9 above that of the driver 11 considered area. In the example above the air outlet of the air conditioning system a colored area with the words "turn on" or "turn on" can be displayed. The color for the projected area can be green to signal to the driver that the displayed selection is possible.

Die Auswahl der Farben kann anhand eine üblichen, auch in Fahrzeugen verbreiteten, Kennzeichnung von Gefahrenzuständen mit roter Farbe, Hinweismeldungen mit gelber Farbe und verfügbarer Optionen in grüner Farbe erfolgen. Eine Beschränkung auf diese Farbauswahl ist nicht gegeben, ist beispielsweise die Optik der Anzeigen im Armaturenbrett in einem blauen Design vorgenommen worden, so kann eine Abstimmung oder Anpassung an den vorhandenen Farbton den Gesamteindruck vorteilhaft verbessern.The choice of colors can be based on a common, also common in vehicles, identification of danger states with red color, information messages with yellow color and available options in green color. A restriction on this color selection is not given, for example, if the appearance of the displays in the dashboard has been made in a blue design, then a vote or adaptation to the existing color tone can improve the overall impression advantageous.

Neben farbigen Flächen in verschiedenen geometrischen Variationen, wie beispielsweise einem Rechteck, Quadrat, Kreis, einer Ellipse, einem Trapez oder einem Dreieck, können beliebige Symbole und Schriftzeichen zur Anzeige gebracht werden. Eine Darstellung eines Bildes ist ebenfalls möglich. Ebenso können dreidimensionale Darstellungen erzeugt werden.In addition to colored surfaces in various geometric variations, such as a rectangle, square, circle, an ellipse, a trapezoid or a triangle, any symbols and characters can be displayed. A representation of an image is also possible. Likewise, three-dimensional representations can be generated.

Vorgesehen ist es, die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich in dem Moment vorzunehmen, in welchem der Fahrer 11 seinen Blick in diesen Bereich richtet. Alternativ kann die Darstellung des projizierten Bildes 9 mit einer vorgegebenen Zeitverzögerung gestartet werden, um unerwünschte und den Fahrer 11 ablenkende Darstellungen auszuschließen, beispielsweise für den Fall, dass der Fahrer 11 seinen Blick über das Armaturenbrett schweifen lässt um in den rechten Außenspiegel zu sehen.It is intended that the representation of the projected image 9 above that of the driver 11 considered area in the moment in which the driver 11 his gaze in this area. Alternatively, the representation of the projected image 9 Started with a given time delay to unwanted and the driver 11 to avoid distracting representations, for example in the event that the driver 11 let his eyes wander over the dashboard to see in the right side mirror.

Die Darstellung des projizierten Bildes 9 auf einem ausgewählten Bereich kann solange erfolgen, bis der Fahrer 11 eine Eingabe oder Auswahl vorgenommen hat. Alternativ kann die Darstellung, ohne das eine Eingabe oder Auswahl erfolgt ist, beendet werden, wenn der Fahrer 11 seine Blickrichtung ändert und beispielsweise wieder in Fahrtrichtung durch die Windschutzscheibe 12 seine Umwelt 13 betrachtet. Vorteilhaft ist es, dass das Beenden der Darstellung zeitverzögert erfolgt, somit bleibt das projizierte Bild 9 über dem ausgewählten Bereich erhalten, wenn der Fahrer 11 seine Blickrichtung nur kurzzeitig verändert und anschließend wieder zu dem ausgewählten Bereich zurückkehrt. The representation of the projected image 9 on a selected area can be done until the driver 11 has made an entry or selection. Alternatively, the presentation without an input or selection may be terminated when the driver 11 his direction changes and, for example, again in the direction of travel through the windshield 12 his environment 13 considered. It is advantageous that the termination of the display is delayed, so the projected image remains 9 received over the selected area when the driver 11 his line of sight only changed briefly and then returned to the selected area.

Ist beispielsweise über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ dargestellt, erfolgt im Schritt 5 durch das Mittel zur Gestenerkennung 14 eine Gestenerkennung der Bewegungen des Fahrers 11. Bewegt der Fahrer 11 seine Hand beispielsweise zu der grün dargestellten Fläche mit der Aufschrift „Einschalten“ um diese sozusagen mit seiner Hand 15 oder einem Finger der Hand 15 zu berühren, wird diese Geste durch ein Mittel zur Gestenerkennung 16 erkannt und ein entsprechendes Signal für die zentrale Steuer- und Auswerteeinheit erzeugt. Diese Steuer- und Auswerteeinheit verfügt sowohl über die Information bezüglich des projizierten Bildes 9 mit seiner Lage und seinen Auswahlmöglichkeiten als auch über die Informationen bezüglich der erkannten Geste und ist somit in der Lage im Schritt 6 eine Prüfung derart vorzunehmen, dass kontrolliert wird, ob die Geste dem projizierten Bild 9 oder einem Bestandteil des projizierten Bildes 9 wie einem Knopf oder einer Taste korrekt zugeordnet werden kann. Im Beispiel wird somit geprüft, ob der Fahrer 11 mit seiner Hand 15 die grün dargestellte Fläche mit der Aufschrift „Einschalten“ sozusagen berührt hat.If, for example, a colored area with the inscription "Switching on" is shown above the air outlet opening of the air conditioning system, this is done in the step 5 by the means for gesture recognition 14 a gesture recognition of the movements of the driver 11 , Moves the driver 11 for example, his hand to the green area with the inscription "turn on" to this, so to speak, with his hand 15 or a finger of the hand 15 To touch, this gesture is through a means of gesture recognition 16 detected and generates a corresponding signal for the central control and evaluation. This control and evaluation unit has both the information regarding the projected image 9 with its location and its choices as well as the information regarding the recognized gesture and is thus able to step in 6 to make an examination in such a way that it is checked whether the gesture corresponds to the projected image 9 or part of the projected image 9 how to correctly assign a button or a button. The example thus checks whether the driver 11 with his hand 15 touched the green area with the inscription "Switch on" so to speak.

Hierbei wird ein Übereinstimmen der Positionen des projizierten Bildes 9 und der erkannten Position der Hand 15 oder des Fingers des Fahrers 11 geprüft. Auch in diesem Fall kann eine Übereinstimmung der Positionen erst nach dem Ablauf einer Wartezeit zu einer Erzeugung eines entsprechenden Signals, welches eine Übereinstimmung kennzeichnet, führen.This will match the positions of the projected image 9 and the recognized position of the hand 15 or the driver's finger 11 checked. Also in this case, a coincidence of the positions can only lead to the generation of a corresponding signal, which indicates a match, after the lapse of a waiting time.

Wird eine derartige Übereinstimmung erkannt, wird im Schritt 7 die ausgewählte Funktion aktiviert. Im dargestellten Beispiel erfolgt das Einschalten der Klimaanlage des Fahrzeuges. Für den Fall, dass keine oder keine eindeutige Übereinstimmung erkannt werden kann, wird im Schritt 8 eine entsprechende Fehlermeldung generiert, im Schritt 3 an die Bilderzeugungseinheit 10 ausgegeben und im Schritt 4 zur Anzeige gebracht. Eine derartige Fehlermeldung kann beispielsweise eine rot dargestellte Fläche mit der Aufschrift „Fehler“ oder „Error“ sein.If such a match is detected, in step 7 the selected function is activated. In the example shown, the switching on of the air conditioning of the vehicle. In the event that no or no clear match can be detected, in step 8th generates an appropriate error message in step 3 to the image generation unit 10 spent and in step 4 brought to the display. Such an error message can be, for example, a red area labeled "Error" or "Error".

Wie im Beispiel bereits gezeigt, kann eine Anpassung an eine Sprache eines Fahrers oder dessen Vorlieben beispielsweise bezüglich einer Farbe oder Form vorgenommen werden.As already shown in the example, an adaptation to a language of a driver or his preferences, for example with respect to a color or shape can be made.

In der 2 ist eine beispielhafte Anwendung der Erfindung mit einer Projektion oder Darstellung auf einen erkannten Fahrzeugbereich zur Steuerung der Klimaanlage gezeigt. Ein Mittel zur Blickerfassung und -verfolgung 14 ist in einem Bereich des Armaturenbretts unterhalb der Windschutzscheibe 12 in der Nähe des Lenkrads 17 angeordnet. Dieses Mittel 14 ist derart positioniert, dass es den Fahrer 11 gut erkennen kann. Alternativ kann das Mittel zur Blickerfassung und -verfolgung 14 im oberen Bereich der Windschutzscheibe 12 oder links neben der Windschutzscheibe 12 in der A-Säule des Fahrzeuges angeordnet werden.In the 2 An exemplary application of the invention is shown with a projection or representation of a recognized vehicle area for controlling the air conditioning system. A means for viewing and tracking 14 is in an area of the dashboard below the windshield 12 near the steering wheel 17 arranged. This agent 14 is positioned so that it is the driver 11 can recognize well. Alternatively, the eye tracking and tracking means 14 may be located at the top of the windshield 12 or to the left of the windshield 12 be arranged in the A-pillar of the vehicle.

Nach einem Erkennen der Blickrichtung des Fahrers 11, welcher in der 2 nur angedeutet ist, auf einen Bereich einer Luftaustrittsöffnung einer Klimaanlage in der Mitte des Armaturenbretts, erfolgt über diesem Bereich eine Darstellung eines projizierten Bildes 9, welches beispielsweise eine grüne Fläche mit einer Aufschrift „Einschalten“ oder „Turn on“ zeigt. Für diese Darstellung ist beispielsweise in einem zentralen Bereich oberhalb der Windschutzscheibe 12 eine Bilderzeugungseinheit 10 angeordnet.After recognizing the driver's line of sight 11 which is in the 2 is only hinted at a portion of an air outlet opening of an air conditioner in the middle of the dashboard, over this area is a representation of a projected image 9 which shows, for example, a green area labeled "turn on" or "turn on". For this illustration, for example, in a central area above the windshield 12 an image forming unit 10 arranged.

Beispielsweise neben der Bilderzeugungseinheit 10 ist ein Mittel zur Gestenerkennung 16 angeordnet, welches den Bereich des Fahrers 11 gut erfassen kann. Der Fahrer 11 kann durch eine geeignete Geste, in welcher er die Position seiner Hand 15 oder eines Fingers dieser Hand 15 mit der Position des projizierten Bildes 9 in Übereinstimmung bringt, wie in der 2 gezeigt ist, die Klimaanlage einschalten. Nach dem Einschalten der Klimaanlage, welches durch die zentrale Steuer- und Auswerteeinheit erfolgen kann, wird die Darstellung des projizierten Bildes beendet.For example, next to the image generation unit 10 is a means of gesture recognition 16 Arranging the area of the driver 11 can capture well. The driver 11 can by a suitable gesture, in which he is the position of his hand 15 or a finger of this hand 15 with the position of the projected image 9 in accordance, as in the 2 is shown, turn on the air conditioner. After switching on the air conditioning, which can be done by the central control and evaluation unit, the representation of the projected image is terminated.

In diesem Beispiel war die Klimaanlage ausgeschaltet, als das Mittel zur Blickerfassung und -verfolgung 14 den Bereich der Luftaustrittsöffnung der Klimaanlage detektiert hat. Somit wurde nur die kontextbezogene Möglichkeit des Einschaltens der Klimaanlage durch das projizierte Bild 9 angezeigt. In einem anderen Fall, in welchem die Klimaanlage bereits eingeschaltet ist, wird die Möglichkeit des Abschaltens durch das projizierte Bild 9 dargestellt. Dieses Verfahren ermöglicht es, die Ablenkung des Fahrers 11 minimal zu gestalten. Somit kann er sich optimal auf das Geschehen auf den Streckenverlauf 18 auf der vor ihm befindlichen Straße bzw. die Umwelt 13 konzentrieren.In this example, the air conditioner was turned off when the eye detection and tracking means 14 detected the area of the air outlet of the air conditioner. Thus, only the contextual possibility of turning on the air conditioner through the projected image 9 displayed. In another case where the air conditioner is already turned on, the possibility of turning off by the projected image becomes 9 shown. This procedure allows the distraction of the driver 11 minimal design. Thus, he can optimally on the events on the route 18 on the road ahead or the environment 13 focus.

In der 3 ist eine beispielhafte Anwendung der Erfindung mit einer Darstellung zweier projizierter Bilder 9 gezeigt. In diesem Fall wurde durch das Mittel zur Blickerfassung und -verfolgung 14, welches in der 3 im Bereich des Lenkrads 17, beispielsweise in einem Bereich im Armaturenbrett integriert, dargestellt ist, eine Blickrichtung des nicht in der 3 dargestellten Fahrers 11 auf den rechten Bereich des Armaturenbretts des Fahrzeuges erkannt. In diesem Fall werden dem Fahrer 11 zwei Auswahlmöglichkeiten durch die Darstellung zweier projizierter Bilder 9 angeboten.In the 3 is an exemplary application of the invention with a representation of two projected images 9 shown. In this case, by the means of eye tracking and tracking 14, which in the 3 in the area of the steering wheel 17 , For example, integrated in an area in the dashboard, is shown, a line of sight of not in the 3 shown driver 11 recognized on the right side of the dashboard of the vehicle. In this case, the driver 11 two choices by displaying two projected images 9 offered.

Die erste Auswahlmöglichkeit, welche von der Bilderzeugungseinheit 10 über einem Bereich einer Luftaustrittsöffnung einer Klimaanlage dargestellt wird, zeigt eine beispielsweise grüne Fläche mit der Aufschrift „Einschalten“, „turn on“ oder „open air vent“. Die zweite Auswahlmöglichkeit, welche in einem Bereich über einer Klappe eines Handschuhfachs dargestellt wird, zeigt eine grüne Fläche mit der Aufschrift „Handschuhfach öffnen“ oder „open glove box“. The first choice, which of the image generation unit 10 is shown over a region of an air outlet opening of an air conditioner, for example, shows a green area with the words "turn on", "turn on" or "open air vent". The second option, which is displayed in an area above a flap of a glove box, shows a green area labeled "open glove box" or "open glove box".

Der Fahrer 11 kann in diesem Fall, mittels einer geeigneten Geste, welche von einem Mittel zur Gestenerkennung 16 detektiert wird, entweder die Klimaanlage einschalten oder die Klappe über dem Handschuhfach öffnen. In einer alternativen Ausführung kann vorgesehen sein, dass der Fahrer 11 beide Auswahlmöglichkeiten anwählt und somit sowohl die Klimaanlage einschaltet als auch nachfolgend die Klappe über dem Handschuhfach öffnet, wobei die Reihenfolge seiner Auswahl beliebig ist. Eine Beschränkung auf die in diesem Beispiel dargestellten zwei Alternativen besteht nicht.The driver 11 can in this case, by means of a suitable gesture, that of a means for gesture recognition 16 is detected, either turn on the air conditioner or open the flap above the glove box. In an alternative embodiment, it may be provided that the driver 11 selects both choices and thus both turns on the air conditioner and subsequently opens the flap above the glove box, the order of his choice is arbitrary. A limitation to the two alternatives shown in this example does not exist.

In der 4 ist eine weitere beispielhafte Anwendung der Erfindung mit einer Darstellung einer Fehler- oder Warnmeldung gezeigt. Kann durch das Mittel zur Gestenerkennung 16 in Zusammenarbeit mit der zentralen Steuer- und Auswerteeinheit eine Geste des Fahrers 11 einem projizierten Bild 9 nicht eindeutig zugeordnet werden, weil beispielsweise die Geste des Fahrers 11 sehr unpräzise war, so kann dieser Zustand durch eine Darstellung eines projizierten Bildes 9 mit einer Fehlermeldung, beispielsweise mit der Aufschrift „Fehler“ oder „Error“ angezeigt werden.In the 4 Another example application of the invention is shown with a representation of an error or warning message. Can by the means of gesture recognition 16 in cooperation with the central control and evaluation unit a gesture of the driver 11 a projected image 9 can not be clearly assigned because, for example, the gesture of the driver 11 was very imprecise, so can this state through a representation of a projected image 9 with an error message, for example with the inscription "Error" or "Error".

In einer Alternative kann eine Warnmeldung in den Sichtbereich des Fahrers 11 mit der Aufschrift „Warnung!“ oder „Warning!“ in Form eines projizierten Bildes 9 und in einer roten Farbe dargestellt werden, wenn ein kritischer Fahrzeugzustand erkannt wurde. Dieser Zustand kann beispielsweise dann eintreten, wenn der Blick des Fahrers 11 für eine längere Zeit weg vom Verkehrsgeschehen vor dem Fahrzeug auf einen Bereich im Fahrzeug gerichtet ist und dies durch das Mittel zur Blickerfassung und -verfolgung 14 erkannt wird.In an alternative, a warning message may appear in the driver's field of vision 11 with the words "Warning!" or "Warning!" in the form of a projected image 9 and displayed in a red color when a critical vehicle condition has been detected. This condition can occur, for example, when the driver's gaze 11 for a long time away from the traffic in front of the vehicle to an area in the vehicle and this is detected by the means for detecting and tracking eye 14.

Alternativ oder zusätzlich können Informationen über einen zu geringen Abstand zu einem vorausfahrenden Fahrzeug oder das Erkennen einer Kurve im Streckenverlauf zum Auslösen einer Warnmeldung genutzt werden.Alternatively or additionally, information about too short a distance to a preceding vehicle or the recognition of a curve in the route can be used to trigger a warning message.

Zusätzlich zu der Aufschrift im projizierten Bild 9 kann beispielsweise bei einer erkannten Linkskurve eine Darstellung eines nach links zeigenden Pfeils, wie in der 4 dargestellt, oder eines anderen geeigneten Symbols erfolgen, welches den Fahrer 11 bereits in der vom Verkehrsgeschehen abgewandten Blickrichtung warnt und auf das zu erwartende Ereignis vorbereitet. In der 4 ist dieser zusätzliche Hinweis mittels vier nach links zeigenden Dreiecken dargestellt. Neben einer farbigen Darstellung, beispielsweise in Rot um einen kritischen Zustand anzuzeigen, kann das projizierte Bild 9 auch blinkend dargestellt werden.In addition to the inscription in the projected image 9 For example, in a detected left turn a representation of a left arrow, as in the 4 represented, or any other suitable symbol which the driver 11 Already in the direction away from the traffic, it warns and prepares for the expected event. In the 4 this additional hint is shown by means of four left-pointing triangles. In addition to a colored representation, for example in red to indicate a critical condition, the projected image 9 also displayed flashing.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Start Blickerfassung und -verfolgungStart eye tracking and tracking
22
Bestimmung der kontextbasierten richtungsabhängigen InformationDetermination of context-based directional information
33
Start der LaserprojektionStart of the laser projection
44
Darstellung des projizierten BildesPresentation of the projected image
55
Gestenerkennunggesture recognition
66
Prüfung Gestenauswahl korrektCheck gesture selection correct
77
Aktivierung der ausgewählten FunktionActivation of the selected function
88th
Erzeugung einer FehlermeldungGeneration of an error message
99
projiziertes Bildprojected image
1010
BilderzeugungseinheitImaging unit
1111
Fahrerdriver
1212
WindschutzscheibeWindshield
1313
Umweltenvironment
1414
Mittel zur Blickerfassung und -verfolgung, GestenerkennungMeans for eye tracking and tracking, gesture recognition
1515
Handhand
1616
Mittels zur GestenerkennungMeans for gesture recognition
1717
Lenkradsteering wheel
1818
Streckenverlaufroute

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2014/0292665 [0015]US 2014/0292665 [0015]
  • US 2010/0014711 [0016]US 2010/0014711 [0016]

Claims (13)

Benutzerschnittstelle, welche eine Anordnung zur Bilderzeugung, zur Anzeige von Bildern und Informationen, und ein Mittel zur Detektion einer Geste eines Benutzers umfasst, wobei die Anordnung zur Bilderzeugung und das Mittel zur Detektion einer Geste mit einer zentralen Steuereinheit verbunden sind, dadurch gekennzeichnet, dass als Anordnung zur Bilderzeugung eine ein projiziertes Bild (9) erzeugende Bilderzeugungseinheit (10) angeordnet ist, dass als Mittel zur Detektion einer Eingabe ein Mittel zur Gestenerkennung (16) angeordnet ist und dass ein Mittel zur Blickerfassung und -verfolgung (14) angeordnet ist.A user interface comprising an arrangement for image generation, for displaying images and information, and a means for detecting a gesture of a user, wherein the arrangement for imaging and the means for detecting a gesture are connected to a central control unit, characterized in that Arrangement for image formation is a picture generating unit (10) producing a projected image (9), in which there is arranged as means for detecting an input a means for gesture recognition (16) and in that a means for eye detection and tracking (14) is arranged. Benutzerschnittstelle nach Anspruch 1, dadurch gekennzeichnet, dass die Bilderzeugungseinheit (10), das Mittel zur Gestenerkennung (16) und das Mittel zur Blickerfassung und -verfolgung (14) im Innenraum eines Fahrzeuges angeordnet sind.User interface Claim 1 , characterized in that the image generation unit (10), the gesture recognition means (16) and the eye detection and tracking means (14) are arranged in the interior of a vehicle. Benutzerschnittstelle nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilderzeugungseinheit (10) ein Laserprojektor ist.User interface Claim 1 or 2 , characterized in that the image forming unit (10) is a laser projector. Benutzerschnittstelle nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Mittel zur Gestenerkennung (16) eine 3D-Kamera, eine Infrarot-Kamera oder eine ToF-Kamera ist.User interface according to one of the Claims 1 to 3 , characterized in that the means for gesture recognition (16) is a 3D camera, an infrared camera or a ToF camera. Benutzerschnittstelle nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Mittel zur Blickerfassung und -verfolgung (14) eine 3D-Kamera ist.User interface according to one of the Claims 1 to 4 , characterized in that the means for capturing and tracking (14) is a 3D camera. Benutzerschnittstelle nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine HUD-Einheit als ein weiteres Mittel zur Anzeige von Informationen im Fahrzeug angeordnet ist.User interface according to one of the Claims 1 to 5 , characterized in that a HUD unit is arranged as a further means for displaying information in the vehicle. Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird, dadurch gekennzeichnet, dass ein Erkennen einer Blickrichtung eines Fahrers (11) erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers (11) zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers (11) in Form eines projizierten Bildes (9) erzeugt und über dem Bereich dargestellt werden, dass eine Erkennung von Gesten des Fahrers (11) durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand (15) des Fahrers (11) mit dem projizierten Bild (9) oder einem Bestandteil des projizierten Bildes (9) ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.A method for inputting and outputting information in a vehicle, in which information is output by means of an image-forming device and in which inputs of a user are detected by a means for detecting a gesture, wherein control of the output of the information and the detection of inputs by a central control unit is controlled, characterized in that a detection of a viewing direction of a driver (11) takes place, that an assignment of the line of sight of the driver (11) is made to an area in the vehicle that information about this area in the line of sight of the driver ( 11) are generated in the form of a projected image (9) and displayed over the area that recognition of gestures of the driver (11) is performed and that upon coincidence of a detected by gesture recognition position of a hand (15) of the driver (11 ) with the projected image (9) or a component of the projected image of (9) a signal is generated and output by the central control unit. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das projizierte Bild (9) oder seine Bestandteile Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder beinhaltet.Method according to Claim 7 , characterized in that the projected image (9) or its components includes text characters, special characters, symbols, planar or spatial geometric figures in different colors or images. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass ein Bereich im Fahrzeug zu einer Baugruppe oder einem System im Fahrzeug zugehörig ist.Method according to Claim 7 or 8th , characterized in that an area in the vehicle is associated with an assembly or a system in the vehicle. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das projizierte Bild (9) an die Form des Bereiches angepasst dargestellt wird, sodass die Umrandung des projizierten Bildes (9) mit den Grenzen des Bereichs übereinstimmt.Method according to one of Claims 7 to 9 , characterized in that the projected image (9) is displayed adapted to the shape of the area such that the border of the projected image (9) coincides with the boundaries of the area. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) kontextbezogene Informationen sind.Method according to one of Claims 7 to 10 , characterized in that the information displayed in the direction of view of the driver (11) in the projected image (9) are contextual information. Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) vor der Darstellung durch eine Bilderzeugungseinheit (10) auf Plausibilität geprüft werden.Method according to one of Claims 7 to 11 , characterized in that the information shown in the viewing direction of the driver (11) in the projected image (9) before being displayed by an image generating unit (10) are checked for plausibility. Verfahren nach einem der Ansprüche 7 bis 12, dadurch gekennzeichnet, dass die Gestenerkennung durch ein Mittel (16) zur Gestenerkennung mittels eines Laufzeitverfahrens oder eines Infrarotverfahrens durchgeführt wird.Method according to one of Claims 7 to 12 , characterized in that the gesture recognition is performed by a means (16) for gesture recognition by means of a transit time method or an infrared method.
DE102016120999.6A 2016-11-03 2016-11-03 User interface and method for inputting and outputting information in a vehicle Expired - Fee Related DE102016120999B4 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016120999.6A DE102016120999B4 (en) 2016-11-03 2016-11-03 User interface and method for inputting and outputting information in a vehicle
PCT/EP2017/078146 WO2018083218A1 (en) 2016-11-03 2017-11-03 User interface and method for the input and output of information in a vehicle
US16/347,504 US20200055397A1 (en) 2016-11-03 2017-11-03 User interface and method for the input and output of information in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016120999.6A DE102016120999B4 (en) 2016-11-03 2016-11-03 User interface and method for inputting and outputting information in a vehicle

Publications (2)

Publication Number Publication Date
DE102016120999A1 true DE102016120999A1 (en) 2018-05-03
DE102016120999B4 DE102016120999B4 (en) 2018-06-14

Family

ID=60293944

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016120999.6A Expired - Fee Related DE102016120999B4 (en) 2016-11-03 2016-11-03 User interface and method for inputting and outputting information in a vehicle

Country Status (3)

Country Link
US (1) US20200055397A1 (en)
DE (1) DE102016120999B4 (en)
WO (1) WO2018083218A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552261B1 (en) * 2019-04-29 2023-07-05 엘지전자 주식회사 Electronic Devices and Methods of Operating Electronic Devices
TWI754899B (en) * 2020-02-27 2022-02-11 幻景啟動股份有限公司 Floating image display apparatus, interactive method and system for the same
FR3107876A1 (en) * 2020-03-03 2021-09-10 Alstom Transport Technologies Vehicle control interface
US11194402B1 (en) 2020-05-29 2021-12-07 Lixel Inc. Floating image display, interactive method and system for the same
CN113247007A (en) * 2021-06-22 2021-08-13 肇庆小鹏新能源投资有限公司 Vehicle control method and vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005019154A1 (en) * 2005-04-25 2006-10-26 Robert Bosch Gmbh Vehicle component e.g. seat, adjusting device, has signal and image processor processing sensor signal, such that passenger gesture are determined by processing unit, and control device controlling component based on determined gesture
US20100014711A1 (en) 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US20120173067A1 (en) * 2010-12-30 2012-07-05 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
DE102012006966A1 (en) * 2012-04-04 2012-11-08 Daimler Ag Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch
US20140292665A1 (en) 2013-03-26 2014-10-02 Audi Ag System, components and methodologies for gaze dependent gesture input control
DE102013216126A1 (en) * 2013-08-14 2015-02-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for activating a function
US20160132126A1 (en) * 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
EP2441635B1 (en) * 2010-10-06 2015-01-21 Harman Becker Automotive Systems GmbH Vehicle User Interface System
DE102013226209A1 (en) * 2013-12-17 2015-06-18 Magna Mirrors Holding Gmbh Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005019154A1 (en) * 2005-04-25 2006-10-26 Robert Bosch Gmbh Vehicle component e.g. seat, adjusting device, has signal and image processor processing sensor signal, such that passenger gesture are determined by processing unit, and control device controlling component based on determined gesture
US20100014711A1 (en) 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US20120173067A1 (en) * 2010-12-30 2012-07-05 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
DE102012006966A1 (en) * 2012-04-04 2012-11-08 Daimler Ag Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch
US20140292665A1 (en) 2013-03-26 2014-10-02 Audi Ag System, components and methodologies for gaze dependent gesture input control
DE102013216126A1 (en) * 2013-08-14 2015-02-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for activating a function
US20160132126A1 (en) * 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle

Also Published As

Publication number Publication date
WO2018083218A1 (en) 2018-05-11
DE102016120999B4 (en) 2018-06-14
US20200055397A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
DE102016120999B4 (en) User interface and method for inputting and outputting information in a vehicle
DE102016120995A1 (en) User interface and method for inputting and outputting information in a vehicle
EP1798588B1 (en) Operating system for functions in a motor vehicle
EP3084564B1 (en) Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
DE102012015002B4 (en) Method and device for assisted parking
EP3425442B1 (en) Method for enriching a field of view of a driver of a vehicle with additional information, device for use in an observers' vehicle and motor vehicle
EP3108334B1 (en) System having an adjustment device and method for automatically adjusting/switching said adjustment device for a head-up display device
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP3322611B1 (en) Method and operator control system for operating at least one function in a vehicle
DE102017202241B4 (en) ARRANGEMENT FOR ENVIRONMENTAL ASSURANCE IN A VEHICLE AND METHOD FOR CONTROLLING A FORMULATION FOR ENVIRONMENTAL PERCEPTION IN A VEHICLE
DE102016224246A1 (en) Method and apparatus for interacting with a graphical user interface
DE102016214478A1 (en) Arrangement, means of transport and method for supporting a user of a means of transportation
DE102014012723A1 (en) display system
DE102016225268A1 (en) Method and device for operating a display system with data glasses
DE102016108878A1 (en) Display unit and method for displaying information
WO2016016050A1 (en) Method for operating a light function of motor-vehicle headlamps and motor vehicle having a display device and an operating element for operating the light function of the motor-vehicle headlamps
EP3296795B1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102016224235A1 (en) Method and device for adapting the representation of image and / or operating elements on a graphical user interface
DE102017210219A1 (en) A method for assisting a user of a motor vehicle in avoiding an obstacle, driver assistance device, and motor vehicle
DE102012023484A1 (en) Operating method and operating system in a road vehicle
DE102017011498B4 (en) Method for operating an assistance system and an assistance system for a motor vehicle
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102013225496B4 (en) View-dependent control of menus in head-up displays
DE102018218746A1 (en) Method for avoiding a field of vision disturbance for an operator of an object, device for carrying out the method, and vehicle and computer program
DE102020209971A1 (en) Intelligent head-up display

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: MERH-IP MATIAS ERNY REICHL HOFFMANN PATENTANWA, DE

R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee