DE102016120999B4 - Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug - Google Patents

Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug Download PDF

Info

Publication number
DE102016120999B4
DE102016120999B4 DE102016120999.6A DE102016120999A DE102016120999B4 DE 102016120999 B4 DE102016120999 B4 DE 102016120999B4 DE 102016120999 A DE102016120999 A DE 102016120999A DE 102016120999 B4 DE102016120999 B4 DE 102016120999B4
Authority
DE
Germany
Prior art keywords
driver
vehicle
projected image
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102016120999.6A
Other languages
English (en)
Other versions
DE102016120999A1 (de
Inventor
Yanning Zhao
Alexander van Laack
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Priority to DE102016120999.6A priority Critical patent/DE102016120999B4/de
Priority to US16/347,504 priority patent/US20200055397A1/en
Priority to PCT/EP2017/078146 priority patent/WO2018083218A1/en
Publication of DE102016120999A1 publication Critical patent/DE102016120999A1/de
Application granted granted Critical
Publication of DE102016120999B4 publication Critical patent/DE102016120999B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/29Holographic features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

Der Erfindung, welche eine Benutzerschnittstelle und ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug betrifft, liegt die Aufgabe zugrunde, eine Lösung anzugeben mit welcher eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird. Diese Aufgabe wird dadurch gelöst, dass als Anordnung zur Bilderzeugung eine ein projiziertes Bild erzeugende Bilderzeugungseinheit angeordnet ist, dass als Mittel zur Detektion einer Eingabe ein Mittel zur Gestenerkennung angeordnet ist und dass ein Mittel zur Blickerfassung und -verfolgung angeordnet ist. Die Aufgabe wird verfahrensseitig dadurch gelöst, dass ein Erkennen einer Blickrichtung eines Fahrers erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers in Form eines projizierten Bildes erzeugt und über dem Bereich schwebend dargestellt werden, dass eine Erkennung von Gesten des Fahrers durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand des Fahrers mit dem projizierten Bild oder einem Bestandteil des projizierten Bildes ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird.
  • Die Erfindung beschreibt Möglichkeiten zur Steuerung einer Maschine, wie beispielsweise einem Fahrzeug, durch Anweisungen eines Benutzers oder Fahrers über eine Benutzerschnittstelle. Hierbei kann es sich bei einem Fahrzeug um ein beliebiges technisches Gerät zur Fortbewegung handeln, vorzugsweise motorisierte Land-, Luft- oder Wasserfahrzeuge wie beispielsweise ein Kraftfahrzeug, Lastkraftwagen, Schienenfahrzeug, Flugzeug oder ein Boot.
  • Eine sogenannte Benutzerschnittstelle, auch als Nutzerschnittstelle oder englisch „Human Machine Interface“ (HMI) bezeichnet, bestimmt über die Art und Weise wie ein Mensch mit einer Maschine kommunizieren kann und umgekehrt. Die Benutzerschnittstelle legt fest, wie der Mensch seine Anweisungen an die Maschine übermittelt, wie die Maschine auf die Nutzereingaben reagiert und in welcher Form die Maschine ihre Rückmeldungen bereitstellt. Derartige Benutzerschnittstellen müssen an die Bedürfnisse und Fähigkeiten eines Menschen angepasst sein und sind meist ergonomisch gestaltet.
  • Moderne Kraftfahrzeuge weisen in der Regel eine Vielzahl von Benutzerschnittstellen auf. Dazu gehören Mittel zur Eingabe von Anweisungen oder Befehlen wie beispielsweise ein Pedal, Lenkrad, Schalt- und/oder Blinkerhebel, Schalter oder Taster. Alternativ können Eingaben auch über Eingabe- oder Steuerelemente erfolgen, welche auf einem Display dargestellt werden.
  • Zu den Benutzerschnittstellen zählen auch geeignete Mittel zur optischen, akustischen oder haptischen Wahrnehmung oder Rückmeldung, wie Anzeigen für Geschwindigkeit, Reichweite, Fahr- oder Getriebeeinstellungen, Rundfunkprogramme, Soundeinstellungen, eines Navigationssystems und viele andere.
  • Die Anzahl der möglichen wie auch der zur Steuerung eines Fahrzeuges notwendigen Bedieneingriffe und/oder Anweisungen eines Fahrzeugführers nehmen immer weiter zu. Neben den zur Führung eines Fahrzeuges notwendigen Funktionen, wie Steuern der Richtung und der Geschwindigkeit des Fahrzeuges, existieren immer mehr Möglichkeiten zur Steuerung von Zusatzfunktionen. Derartige Zusatzfunktionen betreffen beispielsweise Systeme wie eine Klimaanlage, ein Soundsystem, ein Navigationssystem, Einstellungen möglicher Fahrwerk- und/oder Getriebefunktionen.
  • Die Vielzahl an Schaltern, Knöpfen, Tasten, Eingabedisplays und anderen Bedienelementen, welche einem Fahrzeugführer zur Verfügung stehen, sowie die Vielfalt an Informations-, Hinweis- und/oder Warnanzeigen im Cockpit eines Fahrzeuges führen zu einer immer größeren Beanspruchung der Aufmerksamkeit des Fahrzeugführers. Gleichzeitig vergrößern sie die Gefahr der Ablenkung des Fahrers und erhöhen somit das Sicherheitsrisiko beim Führen eines Kraftfahrzeuges.
  • Zur Verringerung dieses Sicherheitsrisikos bieten viele Fahrzeughersteller integrierte elektronische Displays mit einer menügeführten Befehlssteuerung an, welche eine breite Palette von Funktionen in einer einzigen Benutzerschnittstelle vereinen.
  • Nachteilig an dieser Lösung ist es, dass eine große Anzahl von Informationen und Auswahlmöglichkeiten für den Fahrer gleichzeitig im Sichtfeld des Fahrers oder in einem geeignet platzierten Display zur Anzeige gebracht werden müssen, wodurch sich die Gefahr einer Ablenkung des Fahrers wiederum erhöht.
  • Neben der Darstellung der Informationen und Auswahlmöglichkeiten müssen auch noch Mittel zur Eingabe oder Auswahl durch den Fahrer im Display oder in Displaynähe bereitgestellt werden, welche vom Fahrer während einer Fahrt bedient werden können. Auch diese Mittel stellen eine potentielle Gefahr für die Sicherheit dar.
  • Da für die Bedienung verschiedenster Fahrzeugsysteme ein gewisses Maß einer Hand-Auge-Koordination des Fahrers erforderlich ist, wird die Konzentration des Fahrers auf das Führen des Fahrzeuges zumindest teilweise beeinträchtigt.
  • Aus dem Stand der Technik ist es auch bekannt, eine Reduzierung der darzustellenden Informationen dadurch zu erreichen, dass nur die in einem bestimmten Zusammenhang stehenden Informationen oder Auswahlmöglichkeiten zur Anzeige gebracht werden. Diese sogenannten kontextsensitiven Informationen oder Auswahlmöglichkeiten sind beispielsweise auf ein einziges System wie ein Navigationssystem beschränkt.
  • Aus dem Stand der Technik ist ebenfalls bekannt, einem Benutzer, beispielsweise einem Fahrzeugführer, wie einem Autofahrer oder einem Piloten, mittels eines Head-up-Displays Informationen in sein Sichtfeld zu projizieren. Unter einem Head-up-Display, auch als HUD abgekürzt, ist ein Anzeigesystem zu verstehen, bei welchem der Benutzer zum Betrachten der angezeigten Informationen die Haltung des Kopfes beziehungsweise die Blickrichtung in der ursprünglichen Ausrichtung im Wesentlichen beibehalten kann. Derartige Head-up-Displays weisen im Allgemeinen eine eigene bilderzeugende Einheit, welche die darzustellenden Informationen in Form eines Bilds bereitstellt, ein Optikmodul, welches den Strahlenverlauf innerhalb des Head-up-Displays bis zu einer Austrittsöffnung ermöglicht und auch als Spiegeloptik bezeichnet wird, sowie eine Projektionsfläche, zur Darstellung des zu erzeugenden Bildes, auf. Das Optikmodul leitet das Bild auf die Projektionsfläche, welche als eine spiegelnde, lichtdurchlässige Scheibe ausgebildet ist und auch als Combiner bezeichnet wird. In einem besonderen Fall wird als Projektionsfläche eine hierfür geeignete Windschutzscheibe eingesetzt. Der Fahrzeugführer sieht die gespiegelten Informationen der bilderzeugenden Einheit und gleichzeitig die wirkliche Umgebung hinter der Windschutzscheibe. Damit bleibt die Aufmerksamkeit eines Fahrzeugführers, beispielsweise beim Führen eines Kraftfahrzeuges, auf das Geschehen vor dem Fahrzeug gerichtet, während er die in das Sichtfeld projizierten Informationen erfassen kann.
  • Aus der US 2014/0292665 ist eine Anordnung zur Blickerfassung bekannt, welche Sensoren verwendet, welche die Richtung des Fahrerblicks erfassen und die vom Fahrer angesehene Komponente identifizieren können. Diese Veröffentlichung offenbart keine Möglichkeit einer Bereitstellung von Informationen mit einer verringerten Informationsdichte oder in einer Weise in der die ausgewählte Komponente mit Farbe oder Text markiert wird.
  • Aus der US 2010/0014711 ist ein System zur Beleuchtung eines Fahrzeuginnenraums auf der Grundlage der Kopfposition des Fahrers offenbart. Jedoch offenbart diese Veröffentlichung, dass die Beleuchtung für eine Verbesserung der Sichtbedingungen für den Fahrer vorgesehen ist. Somit können keine Informationen zu einzelnen ausgewählten Bereichen zur Anzeige gebracht werden.
  • Die DE 10 2012 006 966 A1 stellt ein Verfahren zum Auslösen einer fahrzeugseitig ausführbaren Funktion mittels blickgesteuerten Bedienens durch einen Fahrer des Kraftfahrzeugs und das Kraftfahrzeug bereit. Das Verfahren, welches ein Anzeigen zumindest eines Bedienfelds für die fahrzeugseitig ausführbare Funktion auf einer Anzeigefläche im Sichtbereich des Fahrers, ein Erfassen einer Blickrichtung des Fahrers in Bezug zu dem Bedienfeld auf der Anzeigefläche durch eine Blickrichtungerfassungseinheit, ein Auswerten der erfassten Blickrichtung durch eine Recheneinheit, die mit der Blickrichtungerfassungseinheit und der Anzeigefläche gekoppelt ist, und ein Bestimmen des durch den Fahrer betrachteten Bedienfelds umfasst, ermöglicht ferner benutzergesteuert das Auslösen der zu dem bestimmten Bedienfeld gehörigen fahrzeugseitig ausführbaren Funktion.
  • Aus der DE 10 2013 216 126 A1 sind eine Vorrichtung sowie ein Verfahren zur Aktivierung einer Funktion eines Fahrzeugs bekannt. Insbesondere betrifft die vorliegende Beschreibung die intuitive Bedienung eines Fahrzeugs durch alternative Aktivierungsschritte. Dabei wird erkannt, dass ein Anwender ein mit einer vordefinierten Funktion assoziiertes erstes Anzeigeelement des Fahrzeugs fokussiert. Anschließend wird die assoziierte Funktion im Ansprechen auf eine zusätzliche haptische und/oder akustische Eingabe und/oder eine Gestik als Bestätigung des Fokussierens aktiviert. Mit anderen Worten betätigt der Anwender ein zur Bestätigung des Fokussierens vordefiniertes Element des Fahrzeugs, um die mit dem Anzeigeelement assoziierte Funktion zu aktivieren. Alternativ oder zusätzlich kann ein Sprachkommando zur Bestätigung der mit dem fokussierten Anzeigeelement assoziierten Funktion getätigt werden. Alternativ oder zusätzlich kann eine Geste erkannt und zur Bestätigung der mit dem fokussierten Anzeigeelement assoziierten Funktion führen.
  • Die US 2012/0 173 067 A1 offenbart ein Verfahren zum Steuern des Betriebs eines Fahrzeugs auf der Grundlage einer Nutzereingabe von einem Nutzer des Fahrzeugs in eine Graphikprojektionsanzeige, die eine ausgerichtete Graphik auf einer Ansicht vor dem Fahrzeug darstellt. Das Verfahren umfasst das Projizieren der ausgerichteten Graphik auf die Ansicht vor dem Fahrzeug auf der Graphikprojektionsanzeige, das Überwachen der Nutzereingabe in die Graphikprojektionsanzeige und das Steuern des Betriebs des Fahrzeugs auf der Grundlage der Nutzereingabe in die Graphikprojektionsanzeige.
  • In der US 2016/ 0 132 126 A1 ist ein System zur Informationsübertragung in einem Kraftfahrzeug beschrieben. Im Fahrgastraum des Kraftfahrzeugs sind ein Lenkrad, ein Armaturenbrett mit einer Abdeckung, ein Armaturenanzeigebereich mit einer Armaturenanzeige und eine im Bereich einer Frontscheibe angeordnete Anzeigevorrichtung vorgesehen. Das System ist auf der Erkennung von Gesten basierend ausgebildet und weist eine Gestenerkennungseinheit mit mindestens einem Gestenerkennungssensor auf. Der Gestenerkennungssensor ist dabei derart konfiguriert, in einem Bereich wahrnehmbarer Gesten Bewegungen zu erfassen.
  • Der mindestens eine Gestenerkennungssensor ist in Blickrichtung eines Fahrzeugführers hinter dem Lenkrad, unter der Abdeckung im Armaturenanzeigebereich integriert angeordnet. Die Armaturenanzeige und die Anzeigevorrichtung sind zur Darstellung interaktiver Menüs ausgebildet. Die Beschreibung betrifft zudem ein Verfahren des Betriebes des Systems zur Informationsübertragung in einem Kraftfahrzeug. Das Verfahren dient zum Hervorheben eines ausgewählten Interaktionsbereichs auf einer Anzeige. Die Beschreibung betrifft auch ein Verfahren des Betriebes eines Systems zur auf Gesten basierenden Informationsübertragung und zur Ausführung von Funktionen in einem Kraftfahrzeug.
  • In der DE 10 2005 019 154 A1 wird eine Vorrichtung zur Einstellung von wenigstens einer Fahrzeugkomponente in Abhängigkeit von einem Signal einer bildgebenden Sensorik in einem Fahrzeug beschrieben, wobei die Vorrichtung die Einstellung in Abhängigkeit von wenigstens einer durch die bildgebende Sensorik erkannten Geste eines Fahrzeuginsassen beginnt, unterdrückt oder beendet.
  • Wie beschrieben ist, wird die Einstellung von Komponenten im Fahrzeug durch definierte Gesten initiiert, die der Fahrzeuginsasse einnimmt und die mit einem Innenraumsensor, also einem bildgebenden Sensor, berührungslos erkannt werden. Auch das Abschalten des automatischen Einstellvorgangs von Fahrzeugkomponenten, auf der Basis von definierten Gesten, ist vorgesehen. Die Gesten- bzw. Posendetektion erfolgt mit einer bildgebenden Sensorik, insbesondere einem Videosensor, beispielsweise einer 3-dimmensionalen Stereokamera bzw. einer 3-D-Range-Kamera oder einem Ultraschallsensor.
  • Somit ist eine Bedarf nach einer Lösung für eine vereinfachte und sichere Bedienung von Fahrzeugsystemen vorhanden.
  • Die Aufgabe der Erfindung besteht darin, ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug anzugeben, mit welchem eine vereinfachte Bedienung von Fahrzeugsystemen, eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird.
  • Die Aufgabe wird durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 1 der selbstständigen Patentansprüche gelöst. Weiterbildungen sind in den abhängigen Patentansprüchen 2 bis 5 angegeben.
  • Nachfolgend beschrieben wird auch eine Benutzerstelle (HMI), welche mit dem Fahrer eines Fahrzeuges situationsabhängig interagiert und nur einen geringen Raum zur Darstellungen von Informationen auf einem Display oder im Innenraum des Fahrzeuges benötigt.
  • Hierfür ist es vorgesehen, durch ein Mittel zur Blickerfassung und -verfolgung, wie eine im Fahrzeug installierte Kamera und einer zugehörigen Steuer- und Auswerteeinheit eine Erfassung der Blickrichtung und eine Blickverfolgung des Benutzers oder Fahrers zu realisieren. Durch die Auswertung der Blickrichtung oder der Blickverfolgung wird mindestens ein Bereich innerhalb des Fahrzeuges erkannt, auf welchen der Blick des Fahrers gerichtet ist. Hierzu kann es auch vorgesehen sein, dass erkannt wird, ob der Fahrer Baugruppen oder Systeme im Inneren des Fahrzeuges betrachtet oder ob sein Blick nach außen in die Fahrzeugumgebung gerichtet ist.
  • Ist der Blick des Fahrers auf Baugruppen oder Systeme im Inneren des Fahrzeuges gerichtet, erfolgt eine Zuordnung der Blickrichtung zu einer Baugruppe oder einem System wie einer Klimaanlage, einem Soundsystem, einem Anzeigedisplay, einem Lenkrad, einem Rückspiegel, einer Abdeckung oder Klappe eines Staufachs, einer Steueranordnung für ein Getriebe oder anderen.
  • Derart wird es ermöglicht, dem Fahrer die zu seiner Blickrichtung gehörigen oder möglichen Informationen durch eine geeignete Projektion oder Darstellung anzuzeigen. Dies kann vorzugsweise mittels einer Laserprojektion erfolgen, welche sowohl zur Darstellung geometrischer Formen wie auch von Zeichen wie Schriftzeichen geeignet ist. Eine derartige Darstellung kann auch in verschiedenen Farbe erfolgen.
  • Vorgesehen ist es, über einem im Innenraum des Fahrzeuges erkannten Bereich, wie beispielsweise einem Bedienelement oder einem verschlossenen Stauraum im Fahrzeug, eine Information oder Auswahlmöglichkeiten mittels einer Laserprojektion bereitzustellen. Die erfindungsgemäße Benutzerschnittstelle ist derart gestaltet, dass eine Bedienaktion des Fahrers, wie beispielsweise eine Auswahl einer der dargestellten Auswahlmöglichkeiten, durch ein geeignetes Mittel zur Erkennung einer Bewegung oder Geste des Fahrers, erkannt und in Form einer Information einer entsprechenden zentralen Steuereinheit bereitgestellt wird.
  • Diese Steuereinheit setzt die bereitgestellte Information um und bewirkt eine zur Auswahl des Fahrers zugehörige Reaktion, wie beispielsweise ein Ein- oder Ausschalten der entsprechenden Funktion oder das Öffnen einer Klappe des Stauraums. Für eine derartige Gestenerkennung können bekannte Mittel eingesetzt werden, wie beispielsweise eine im Fahrzeug angebrachte Kamera und eine entsprechende Auswerteeinheit.
  • Vorgesehen ist es, zur Erzeugung der Laserprojektion einen Spatial Light Modulator (SLM) einzusetzen. Zur Bilderzeugung können beispielsweise Technologien wie Liquid Crystal on Silicon (LcoS), Digital Light Processing (DLP) oder Micro-Electro-Mechanical Systems MEMS eingesetzt werden. Besonders vorteilhaft ist die Erzeugung dreidimensionaler Darstellungen. Vorgesehen sind Darstellungen in zwei oder drei Dimensionen sowie in Farbe.
  • Das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug realisiert ein Erkennen einer Blickrichtung eines Fahrers und eine Zuordnung dieser erkannten Blickrichtung zu einem Bereich im Innenraum des Fahrzeuges, wobei die Bereiche zu Baugruppen oder Systemen im Fahrzeug zugeordnet sind. Ein derartiger Bereich kann beispielsweise eine Luftaustrittsöffnung einer Klimaanlage, ein Soundsystem oder dessen Lautsprecher, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere sein.
  • Ist der Blick des Fahrers in einen dieser Bereiche gerichtet, so werden Informationen zu diesem ausgewählten Bereich in der Blickrichtung des Fahrers in der Form eines projizierten Bildes erzeugt und über dem Bereich dargestellt. Das projizierte Bild kann eine zwei- oder dreidimensionale Darstellung sein. Eine Darstellung in einer oder mehreren Farben ist möglich.
  • Bewegt der Fahrer seine Hand oder seinen Finger in die Richtung oder zu diesem projizierten Bild hin, wird diese Geste erfasst. Eine Gestenerkennung kann derart erfolgen, dass nicht nur eine Übereinstimmung der Richtung der Geste oder der Position eines Fingers mit dem projizierten Bild detektiert wird, sondern die genaue Position des Fingers innerhalb des projizierten Bildes, welches mehrere Bestandteile aufweisen kann.
  • Wird beispielsweise eine Übereinstimmung der Richtung oder der Position des Fingers mit der Position einer dieser Tasten erkannt, so wird diese Taste als ausgewählt erkannt. Eine zentrale Steuer- und Auswerteeinheit erzeugt ein Signal, welches die Auswahl dieser Taste kennzeichnet. Durch dieses Signal gesteuert kann dann die ausgewählte Funktion, wie beispielsweise das Einschalten eines Soundsystems oder einer Klimaanlage, umgesetzt werden.
  • Vorgesehen ist es, dass das projizierte Bild einen oder mehrere Bestandteile beinhalten kann. So können beispielsweise eine oder mehrere Tasten in dem projizierten Bild zur alternativen Auswahl bereitgestellt werden. Der Inhalt des projizierten Bildes oder seiner Bestandteile kann beispielsweise Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder umfassen.
  • Die Erfindung sieht vor, dass der Innenraum des Fahrzeuges in Bereiche unterteilt wird. Derartige Bereiche werden zu Baugruppen oder Systemen im Fahrzeug zugeordnet, wie beispielsweise eine Klimaanlage, ein Soundsystem, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere. Im Fall einer Klimaanlage kann der Bereich beispielsweise durch die Zone einer oder mehrerer Luftaustrittsöffnungen gebildet werden. Im Fall einer Klappe eines Stauraums wird die Zone durch die Form der Klappe bestimmt. Im Fall eines Soundsystems kann die Form durch ein zugehöriges Display und/oder die im Armaturenbrett und/oder den Türen angeordneten Lautsprechern bestimmt werden.
  • Vorgesehen ist es auch, dass das projizierte Bild derart dargestellt wird, dass es aus der Sichtweise des Fahrers, über einem bestimmten Bereich, also beispielsweise über den Luftaustrittsöffnungen der Klimaanlage, dargestellt wird. Die Umrandung des projizierten Bildes wird dabei mit den Grenzen des Bereichs in Übereinstimmung gebracht. Die Grenzen eines Bereichs können beispielsweise durch einen Rahmen gebildet werden, welcher um eine Luftaustrittsöffnung einer Klimaanlage herum verläuft. Der Rahmen kann auch entlang der Umrandung eines Rückspiegels, eines Anzeigedisplays oder anderer Systeme oder Baugruppen verlaufen.
  • Das projizierte Bild beinhaltet Informationen, beispielsweise in Form von Textzeichen oder Symbolen, welche die vom Fahrer auswählbaren möglichen Funktionen, zu dem entsprechenden Bereich, darstellen. Hierbei werden nur im Zusammenhang mit diesem Bereich stehende, sogenannte kontextbezogene Informationen zur Darstellung im projizierten Bild verwendet. Für den Bereich der Luftaustrittsöffnungen können somit beispielsweise die Funktionen Ein- oder Ausschalten sowie Wahlmöglichkeiten bezüglich einer Temperatur oder Gebläsestufe zur Darstellung gebracht werden. Für den Bereich eines Rückspiegels kann dies eine Auswahlmöglichkeit zum Abblenden sein, welche auch in mehreren Stufen angeboten werden kann.
  • Außerdem werden die kontextbezogenen Informationen vor ihrer Darstellung im projizierten Bild auf ihre Plausibilität hin geprüft. Somit wird beispielsweise eine Möglichkeit zum Einschalten des Systems nicht in der Auswahl angeboten, wenn das System bereits eingeschaltet ist. Wird beispielsweise in einem Soundsystem eine CD abgespielt, so werden nur Funktionen zum Bedienen des CD-Players und keine Auswahlmöglichkeiten zur Senderauswahl angezeigt.
  • Besonders vorteilhaft ist es, zur Erkennung der Gesten des Fahrers Techniken einzusetzen, bei denen eine Laufzeitmessung mittels einer ToF-Kamera durchgeführt wird. Alternativ kann beispielsweise ein Verfahren, welches mit infrarotem Licht oder kapazitiv arbeitet, eingesetzt werden.
  • Weitere Einzelheiten, Merkmale und Vorteile von Ausgestaltungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezugnahme auf die zugehörigen Zeichnungen. Es zeigen:
    • 1: einen beispielhaften Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug,
    • 2: eine erste Ausführungsform der erfindungsgemäßen Benutzerschnittstelle (HMI),
    • 3: eine beispielhafte Anwendung der Erfindung mit mehreren Darstellungen und
    • 4: eine weitere beispielhafte Anwendung der Erfindung mit der Darstellung einer Warnmeldung.
  • In der 1 ist ein beispielhafter Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug gezeigt. Der Verfahrensablauf beginnt im Schritt 1 mit einer Blickerfassung und -verfolgung des Fahrers. Auf der Grundlage dieser erfassten Informationen wird im Schritt 2 zum einen der Bereich bestimmt, welcher vom Fahrer aktuell betrachtet wird, wie beispielsweise eine Luftaustrittsöffnung einer Klimaanlage im Bereich eines Armaturenbretts eines Fahrzeugs. Zum anderen wird eine Auswahl der im Zusammenhang mit diesem betrachteten Bereich der Klimaanlage möglichen Anzeigeinformationen oder Auswahlmöglichkeiten vorgenommen. Hierbei werden die aktuellen Betriebszustände der Systeme des Fahrzeuges in die Auswahl mit einbezogen. Ist die Klimaanlage beispielsweise eingeschaltet, so wird die Möglichkeit des Einschaltens nicht zur Anzeige gebracht.
  • Im Schritt 3 wird die Erzeugung eines projizierten Bildes 9 beispielsweise mittels einer laserbasierten Bilderzeugungseinheit 10 gestartet. Im Schritt 4 erfolgt die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich. Im Beispiel kann über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ oder „Turn on“ dargestellt werden. Als Farbe für die projizierte Fläche kann grün gewählt werden, um dem Fahrer zu signalisieren, dass die angezeigte Auswahl möglich ist.
  • Die Auswahl der Farben kann anhand eine üblichen, auch in Fahrzeugen verbreiteten, Kennzeichnung von Gefahrenzuständen mit roter Farbe, Hinweismeldungen mit gelber Farbe und verfügbarer Optionen in grüner Farbe erfolgen. Eine Beschränkung auf diese Farbauswahl ist nicht gegeben, ist beispielsweise die Optik der Anzeigen im Armaturenbrett in einem blauen Design vorgenommen worden, so kann eine Abstimmung oder Anpassung an den vorhandenen Farbton den Gesamteindruck vorteilhaft verbessern.
  • Neben farbigen Flächen in verschiedenen geometrischen Variationen, wie beispielsweise einem Rechteck, Quadrat, Kreis, einer Ellipse, einem Trapez oder einem Dreieck, können beliebige Symbole und Schriftzeichen zur Anzeige gebracht werden. Eine Darstellung eines Bildes ist ebenfalls möglich. Ebenso können dreidimensionale Darstellungen erzeugt werden.
  • Vorgesehen ist es, die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich in dem Moment vorzunehmen, in welchem der Fahrer 11 seinen Blick in diesen Bereich richtet. Alternativ kann die Darstellung des projizierten Bildes 9 mit einer vorgegebenen Zeitverzögerung gestartet werden, um unerwünschte und den Fahrer 11 ablenkende Darstellungen auszuschließen, beispielsweise für den Fall, dass der Fahrer 11 seinen Blick über das Armaturenbrett schweifen lässt um in den rechten Außenspiegel zu sehen.
  • Die Darstellung des projizierten Bildes 9 auf einem ausgewählten Bereich kann solange erfolgen, bis der Fahrer 11 eine Eingabe oder Auswahl vorgenommen hat. Alternativ kann die Darstellung, ohne das eine Eingabe oder Auswahl erfolgt ist, beendet werden, wenn der Fahrer 11 seine Blickrichtung ändert und beispielsweise wieder in Fahrtrichtung durch die Windschutzscheibe 12 seine Umwelt 13 betrachtet. Vorteilhaft ist es, dass das Beenden der Darstellung zeitverzögert erfolgt, somit bleibt das projizierte Bild 9 über dem ausgewählten Bereich erhalten, wenn der Fahrer 11 seine Blickrichtung nur kurzzeitig verändert und anschließend wieder zu dem ausgewählten Bereich zurückkehrt.
  • Ist beispielsweise über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ dargestellt, erfolgt im Schritt 5 durch das Mittel zur Gestenerkennung 14 eine Gestenerkennung der Bewegungen des Fahrers 11. Bewegt der Fahrer 11 seine Hand beispielsweise zu der grün dargestellten Fläche mit der Aufschrift „Einschalten“ um diese sozusagen mit seiner Hand 15 oder einem Finger der Hand 15 zu berühren, wird diese Geste durch ein Mittel zur Gestenerkennung 16 erkannt und ein entsprechendes Signal für die zentrale Steuer- und Auswerteeinheit erzeugt. Diese Steuer- und Auswerteeinheit verfügt sowohl über die Information bezüglich des projizierten Bildes 9 mit seiner Lage und seinen Auswahlmöglichkeiten als auch über die Informationen bezüglich der erkannten Geste und ist somit in der Lage im Schritt 6 eine Prüfung derart vorzunehmen, dass kontrolliert wird, ob die Geste dem projizierten Bild 9 oder einem Bestandteil des projizierten Bildes 9 wie einem Knopf oder einer Taste korrekt zugeordnet werden kann. Im Beispiel wird somit geprüft, ob der Fahrer 11 mit seiner Hand 15 die grün dargestellte Fläche mit der Aufschrift „Einschalten“ sozusagen berührt hat.
  • Hierbei wird ein Übereinstimmen der Positionen des projizierten Bildes 9 und der erkannten Position der Hand 15 oder des Fingers des Fahrers 11 geprüft. Auch in diesem Fall kann eine Übereinstimmung der Positionen erst nach dem Ablauf einer Wartezeit zu einer Erzeugung eines entsprechenden Signals, welches eine Übereinstimmung kennzeichnet, führen.
  • Wird eine derartige Übereinstimmung erkannt, wird im Schritt 7 die ausgewählte Funktion aktiviert. Im dargestellten Beispiel erfolgt das Einschalten der Klimaanlage des Fahrzeuges. Für den Fall, dass keine oder keine eindeutige Übereinstimmung erkannt werden kann, wird im Schritt 8 eine entsprechende Fehlermeldung generiert, im Schritt 3 an die Bilderzeugungseinheit 10 ausgegeben und im Schritt 4 zur Anzeige gebracht. Eine derartige Fehlermeldung kann beispielsweise eine rot dargestellte Fläche mit der Aufschrift „Fehler“ oder „Error“ sein.
  • Wie im Beispiel bereits gezeigt, kann eine Anpassung an eine Sprache eines Fahrers oder dessen Vorlieben beispielsweise bezüglich einer Farbe oder Form vorgenommen werden.
  • In der 2 ist eine beispielhafte Anwendung der Erfindung mit einer Projektion oder Darstellung auf einen erkannten Fahrzeugbereich zur Steuerung der Klimaanlage gezeigt. Ein Mittel zur Blickerfassung und -verfolgung 14 ist in einem Bereich des Armaturenbretts unterhalb der Windschutzscheibe 12 in der Nähe des Lenkrads 17 angeordnet. Dieses Mittel 14 ist derart positioniert, dass es den Fahrer 11 gut erkennen kann. Alternativ kann das Mittel zur Blickerfassung und -verfolgung 14 im oberen Bereich der Windschutzscheibe 12 oder links neben der Windschutzscheibe 12 in der A-Säule des Fahrzeuges angeordnet werden.
  • Nach einem Erkennen der Blickrichtung des Fahrers 11, welcher in der 2 nur angedeutet ist, auf einen Bereich einer Luftaustrittsöffnung einer Klimaanlage in der Mitte des Armaturenbretts, erfolgt über diesem Bereich eine Darstellung eines projizierten Bildes 9, welches beispielsweise eine grüne Fläche mit einer Aufschrift „Einschalten“ oder „Turn on“ zeigt. Für diese Darstellung ist beispielsweise in einem zentralen Bereich oberhalb der Windschutzscheibe 12 eine Bilderzeugungseinheit 10 angeordnet.
  • Beispielsweise neben der Bilderzeugungseinheit 10 ist ein Mittel zur Gestenerkennung 16 angeordnet, welches den Bereich des Fahrers 11 gut erfassen kann. Der Fahrer 11 kann durch eine geeignete Geste, in welcher er die Position seiner Hand 15 oder eines Fingers dieser Hand 15 mit der Position des projizierten Bildes 9 in Übereinstimmung bringt, wie in der 2 gezeigt ist, die Klimaanlage einschalten. Nach dem Einschalten der Klimaanlage, welches durch die zentrale Steuer- und Auswerteeinheit erfolgen kann, wird die Darstellung des projizierten Bildes beendet.
  • In diesem Beispiel war die Klimaanlage ausgeschaltet, als das Mittel zur Blickerfassung und -verfolgung 14 den Bereich der Luftaustrittsöffnung der Klimaanlage detektiert hat. Somit wurde nur die kontextbezogene Möglichkeit des Einschaltens der Klimaanlage durch das projizierte Bild 9 angezeigt. In einem anderen Fall, in welchem die Klimaanlage bereits eingeschaltet ist, wird die Möglichkeit des Abschaltens durch das projizierte Bild 9 dargestellt. Dieses Verfahren ermöglicht es, die Ablenkung des Fahrers 11 minimal zu gestalten. Somit kann er sich optimal auf das Geschehen auf den Streckenverlauf 18 auf der vor ihm befindlichen Straße bzw. die Umwelt 13 konzentrieren.
  • In der 3 ist eine beispielhafte Anwendung der Erfindung mit einer Darstellung zweier projizierter Bilder 9 gezeigt. In diesem Fall wurde durch das Mittel zur Blickerfassung und -verfolgung 14, welches in der 3 im Bereich des Lenkrads 17, beispielsweise in einem Bereich im Armaturenbrett integriert, dargestellt ist, eine Blickrichtung des nicht in der 3 dargestellten Fahrers 11 auf den rechten Bereich des Armaturenbretts des Fahrzeuges erkannt. In diesem Fall werden dem Fahrer 11 zwei Auswahlmöglichkeiten durch die Darstellung zweier projizierter Bilder 9 angeboten.
  • Die erste Auswahlmöglichkeit, welche von der Bilderzeugungseinheit 10 über einem Bereich einer Luftaustrittsöffnung einer Klimaanlage dargestellt wird, zeigt eine beispielsweise grüne Fläche mit der Aufschrift „Einschalten“, „turn on“ oder „open air vent“. Die zweite Auswahlmöglichkeit, welche in einem Bereich über einer Klappe eines Handschuhfachs dargestellt wird, zeigt eine grüne Fläche mit der Aufschrift „Handschuhfach öffnen“ oder „open glove box“.
  • Der Fahrer 11 kann in diesem Fall, mittels einer geeigneten Geste, welche von einem Mittel zur Gestenerkennung 16 detektiert wird, entweder die Klimaanlage einschalten oder die Klappe über dem Handschuhfach öffnen. In einer alternativen Ausführung kann vorgesehen sein, dass der Fahrer 11 beide Auswahlmöglichkeiten anwählt und somit sowohl die Klimaanlage einschaltet als auch nachfolgend die Klappe über dem Handschuhfach öffnet, wobei die Reihenfolge seiner Auswahl beliebig ist. Eine Beschränkung auf die in diesem Beispiel dargestellten zwei Alternativen besteht nicht.
  • In der 4 ist eine weitere beispielhafte Anwendung der Erfindung mit einer Darstellung einer Fehler- oder Warnmeldung gezeigt. Kann durch das Mittel zur Gestenerkennung 16 in Zusammenarbeit mit der zentralen Steuer- und Auswerteeinheit eine Geste des Fahrers 11 einem projizierten Bild 9 nicht eindeutig zugeordnet werden, weil beispielsweise die Geste des Fahrers 11 sehr unpräzise war, so kann dieser Zustand durch eine Darstellung eines projizierten Bildes 9 mit einer Fehlermeldung, beispielsweise mit der Aufschrift „Fehler“ oder „Error“ angezeigt werden.
  • In einer Alternative kann eine Warnmeldung in den Sichtbereich des Fahrers 11 mit der Aufschrift „Warnung!“ oder „Warning!“ in Form eines projizierten Bildes 9 und in einer roten Farbe dargestellt werden, wenn ein kritischer Fahrzeugzustand erkannt wurde. Dieser Zustand kann beispielsweise dann eintreten, wenn der Blick des Fahrers 11 für eine längere Zeit weg vom Verkehrsgeschehen vor dem Fahrzeug auf einen Bereich im Fahrzeug gerichtet ist und dies durch das Mittel zur Blickerfassung und -verfolgung 14 erkannt wird.
  • Alternativ oder zusätzlich können Informationen über einen zu geringen Abstand zu einem vorausfahrenden Fahrzeug oder das Erkennen einer Kurve im Streckenverlauf zum Auslösen einer Warnmeldung genutzt werden.
  • Zusätzlich zu der Aufschrift im projizierten Bild 9 kann beispielsweise bei einer erkannten Linkskurve eine Darstellung eines nach links zeigenden Pfeils, wie in der 4 dargestellt, oder eines anderen geeigneten Symbols erfolgen, welches den Fahrer 11 bereits in der vom Verkehrsgeschehen abgewandten Blickrichtung warnt und auf das zu erwartende Ereignis vorbereitet. In der 4 ist dieser zusätzliche Hinweis mittels vier nach links zeigenden Dreiecken dargestellt. Neben einer farbigen Darstellung, beispielsweise in Rot um einen kritischen Zustand anzuzeigen, kann das projizierte Bild 9 auch blinkend dargestellt werden.

Claims (5)

  1. Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird, wobei ein Erkennen einer Blickrichtung eines Fahrers (11) erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers (11) zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers (11) in Form eines projizierten Bildes (9) erzeugt und über dem Bereich dargestellt werden, wobei der Bereich im Fahrzeug zu einer Baugruppe oder einem System im Fahrzeug zugehörig ist und wobei das projizierte Bild (9) an die Form des Bereiches angepasst dargestellt wird, sodass die Umrandung des projizierten Bildes (9) mit den Grenzen des Bereichs übereinstimmt, dass eine Erkennung von Gesten des Fahrers (11) durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand (15) des Fahrers (11) mit dem projizierten Bild (9) oder einem Bestandteil des projizierten Bildes (9) ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das projizierte Bild (9) oder seine Bestandteile Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder beinhaltet
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) kontextbezogene Informationen sind.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) vor der Darstellung durch eine Bilderzeugungseinheit (10) auf Plausibilität geprüft werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Gestenerkennung durch ein Mittel (16) zur Gestenerkennung mittels eines Laufzeitverfahrens oder eines Infrarotverfahrens durchgeführt wird.
DE102016120999.6A 2016-11-03 2016-11-03 Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug Expired - Fee Related DE102016120999B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016120999.6A DE102016120999B4 (de) 2016-11-03 2016-11-03 Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug
US16/347,504 US20200055397A1 (en) 2016-11-03 2017-11-03 User interface and method for the input and output of information in a vehicle
PCT/EP2017/078146 WO2018083218A1 (en) 2016-11-03 2017-11-03 User interface and method for the input and output of information in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016120999.6A DE102016120999B4 (de) 2016-11-03 2016-11-03 Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug

Publications (2)

Publication Number Publication Date
DE102016120999A1 DE102016120999A1 (de) 2018-05-03
DE102016120999B4 true DE102016120999B4 (de) 2018-06-14

Family

ID=60293944

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016120999.6A Expired - Fee Related DE102016120999B4 (de) 2016-11-03 2016-11-03 Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug

Country Status (3)

Country Link
US (1) US20200055397A1 (de)
DE (1) DE102016120999B4 (de)
WO (1) WO2018083218A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020222317A1 (ko) * 2019-04-29 2020-11-05 엘지전자 주식회사 전자 장치 및 전자 장치의 동작 방법
TWI754899B (zh) * 2020-02-27 2022-02-11 幻景啟動股份有限公司 漂浮影像顯示裝置、互動方法與其系統
FR3107876A1 (fr) * 2020-03-03 2021-09-10 Alstom Transport Technologies Interface de commande pour véhicule
US11194402B1 (en) 2020-05-29 2021-12-07 Lixel Inc. Floating image display, interactive method and system for the same
CN113247007A (zh) * 2021-06-22 2021-08-13 肇庆小鹏新能源投资有限公司 一种车辆控制方法和车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005019154A1 (de) 2005-04-25 2006-10-26 Robert Bosch Gmbh Vorrichtung zur Einstellung von wenigstens einer Fahrzeugkomponente in Abhängigkeit eines Signals einer bildgebenden Sensorik in einem Fahrzeug
US20100014711A1 (en) 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US20120173067A1 (en) 2010-12-30 2012-07-05 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
DE102012006966A1 (de) 2012-04-04 2012-11-08 Daimler Ag Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung und Kraftfahrzeug
US20140292665A1 (en) 2013-03-26 2014-10-02 Audi Ag System, components and methodologies for gaze dependent gesture input control
DE102013216126A1 (de) 2013-08-14 2015-02-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Aktivierung einer Funktion
US20160132126A1 (en) 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
EP2441635B1 (de) * 2010-10-06 2015-01-21 Harman Becker Automotive Systems GmbH Fahrzeugbenutzer-Schnittstellensysteme
DE102013226209A1 (de) * 2013-12-17 2015-06-18 Magna Mirrors Holding Gmbh Verfahren zur berührungslosen Erfassung von Gesten und Bedienung von elektrischen und/oder elektronischen Funktionsmodulen in Kraftfahrzeugen, sowie eine Vorrichtung zur Durchführung des Verfahrens

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005019154A1 (de) 2005-04-25 2006-10-26 Robert Bosch Gmbh Vorrichtung zur Einstellung von wenigstens einer Fahrzeugkomponente in Abhängigkeit eines Signals einer bildgebenden Sensorik in einem Fahrzeug
US20100014711A1 (en) 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US20120173067A1 (en) 2010-12-30 2012-07-05 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
DE102012006966A1 (de) 2012-04-04 2012-11-08 Daimler Ag Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung und Kraftfahrzeug
US20140292665A1 (en) 2013-03-26 2014-10-02 Audi Ag System, components and methodologies for gaze dependent gesture input control
DE102013216126A1 (de) 2013-08-14 2015-02-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Aktivierung einer Funktion
US20160132126A1 (en) 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle

Also Published As

Publication number Publication date
US20200055397A1 (en) 2020-02-20
DE102016120999A1 (de) 2018-05-03
WO2018083218A1 (en) 2018-05-11

Similar Documents

Publication Publication Date Title
DE102016120999B4 (de) Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug
DE102016120995A1 (de) Benutzerschnittstelle und Verfahren zur Eingabe und Ausgabe von Informationen in einem Fahrzeug
EP1798588B1 (de) Bediensystem zum Bedienen von Funktionen in einem Fahrzeug
EP3084564B1 (de) Vorrichtung und verfahren zum navigieren innerhalb eines menüs zur fahrzeugsteuerung sowie auswählen eines menüeintrags aus dem menü
DE102007045932B4 (de) Verfahren und Vorrichtung zur Warnung eines Fahrers eines Fahrzeuges
DE102012015002B4 (de) Verfahren und Vorrichtung zum unterstützten Einparken
EP3108334B1 (de) System mit und verfahren zum automatischen ein-/umschalten einer einstellvorrichtung für eine head-up-display-einrichtung
EP3322611B1 (de) Verfahren und bediensystem zum bedienen von mindestens einer funktion in einem fahrzeug
DE102016224246B4 (de) Verfahren und Vorrichtung zur Interaktion mit einer grafischen Benutzerschnittstelle
EP1405124A1 (de) Head-up display system und verfahren zur ortskorrrekten darstellung eines objekts im aussenraum eines fahrzeugs in bezug auf die fahrerposition
EP3425442A1 (de) Verfahren und vorrichtung zum anreichern eines sichtfeldes eines fahrers eines fahrzeuges mit zusatzinformationen, vorrichtung zur verwendung in einem beobachter-fahrzeug, vorrichtung zur verwendung in einem objekt sowie kraftfahrzeug
JP6623910B2 (ja) 車両用表示装置
WO2015032731A1 (de) Verfahren zum steuern einer informationsanzeigeeinrichtung sowie vorrichtung mit einer informationsanzeigeeinrichtung
DE102016225268A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102008038831A1 (de) Verfahren und Vorrichtung zur automatischen Blickführung eines Fahrers eines Fahrzeugs
DE102016108878A1 (de) Anzeigeeinheit und Verfahren zur Darstellung von Informationen
WO2016124473A1 (de) Verfahren zum auswählen eines bedienelements eines kraftfahrzeugs und bediensystem für ein kraftfahrzeug
EP3296795B1 (de) Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige
DE102013203653A1 (de) Außenbildeinblendung für Center Display
DE102016224235A1 (de) Verfahren und Vorrichtung zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle
DE102017011498B4 (de) Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen
DE102012023484A1 (de) Bedienverfahren und Bediensystem in einem Straßenfahrzeug
DE102013225496B4 (de) Blickabhängige Steuerung von Menüs in Head-up Displays
DE102010052291A1 (de) Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
EP4178822A1 (de) Intelligentes head-up-display

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: MERH-IP MATIAS ERNY REICHL HOFFMANN PATENTANWA, DE

R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee