DE102016120999A1

DE102016120999A1 - Benutzerschnittstelle und Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug

Info

Publication number: DE102016120999A1
Application number: DE102016120999.6A
Authority: DE
Inventors: Yanning Zhao; Alexander van Laack
Original assignee: Visteon Global Technologies Inc
Current assignee: Visteon Global Technologies Inc
Priority date: 2016-11-03
Filing date: 2016-11-03
Publication date: 2018-05-03
Anticipated expiration: 2036-11-04
Also published as: WO2018083218A1; DE102016120999B4; US20200055397A1

Abstract

Der Erfindung, welche eine Benutzerschnittstelle und ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug betrifft, liegt die Aufgabe zugrunde, eine Lösung anzugeben mit welcher eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird. Diese Aufgabe wird dadurch gelöst, dass als Anordnung zur Bilderzeugung eine ein projiziertes Bild erzeugende Bilderzeugungseinheit angeordnet ist, dass als Mittel zur Detektion einer Eingabe ein Mittel zur Gestenerkennung angeordnet ist und dass ein Mittel zur Blickerfassung und -verfolgung angeordnet ist. Die Aufgabe wird verfahrensseitig dadurch gelöst, dass ein Erkennen einer Blickrichtung eines Fahrers erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers in Form eines projizierten Bildes erzeugt und über dem Bereich schwebend dargestellt werden, dass eine Erkennung von Gesten des Fahrers durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand des Fahrers mit dem projizierten Bild oder einem Bestandteil des projizierten Bildes ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.

Description

Die Erfindung betrifft eine Benutzerschnittstelle, welche eine Anordnung zur Bilderzeugung, zur Anzeige von Bildern und Informationen, und ein Mittel zur Detektion einer Geste eines Benutzers umfasst, wobei die Anordnung zur Bilderzeugung und das Mittel zur Detektion einer Geste mit einer zentralen Steuereinheit verbunden sind.
Die Erfindung betrifft auch ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird.
Die Erfindung beschreibt Möglichkeiten zur Steuerung einer Maschine, wie beispielsweise einem Fahrzeug, durch Anweisungen eines Benutzers oder Fahrers über eine Benutzerschnittstelle. Hierbei kann es sich bei einem Fahrzeug um ein beliebiges technisches Gerät zur Fortbewegung handeln, vorzugsweise motorisierte Land-, Luft- oder Wasserfahrzeuge wie beispielsweise ein Kraftfahrzeug, Lastkraftwagen, Schienenfahrzeug, Flugzeug oder ein Boot.
Eine sogenannte Benutzerschnittstelle, auch als Nutzerschnittstelle oder englisch „Human Machine Interface“ (HMI) bezeichnet, bestimmt über die Art und Weise wie ein Mensch mit einer Maschine kommunizieren kann und umgekehrt. Die Benutzerschnittstelle legt fest, wie der Mensch seine Anweisungen an die Maschine übermittelt, wie die Maschine auf die Nutzereingaben reagiert und in welcher Form die Maschine ihre Rückmeldungen bereitstellt. Derartige Benutzerschnittstellen müssen an die Bedürfnisse und Fähigkeiten eines Menschen angepasst sein und sind meist ergonomisch gestaltet.
Moderne Kraftfahrzeuge weisen in der Regel eine Vielzahl von Benutzerschnittstellen auf. Dazu gehören Mittel zur Eingabe von Anweisungen oder Befehlen wie beispielsweise ein Pedal, Lenkrad, Schalt- und/oder Blinkerhebel, Schalter oder Taster. Alternativ können Eingaben auch über Eingabe- oder Steuerelemente erfolgen, welche auf einem Display dargestellt werden.
Zu den Benutzerschnittstellen zählen auch geeignete Mittel zur optischen, akustischen oder haptischen Wahrnehmung oder Rückmeldung, wie Anzeigen für Geschwindigkeit, Reichweite, Fahr- oder Getriebeeinstellungen, Rundfunkprogramme, Soundeinstellungen, eines Navigationssystems und viele andere.
Die Anzahl der möglichen wie auch der zur Steuerung eines Fahrzeuges notwendigen Bedieneingriffe und/oder Anweisungen eines Fahrzeugführers nehmen immer weiter zu. Neben den zur Führung eines Fahrzeuges notwendigen Funktionen, wie Steuern der Richtung und der Geschwindigkeit des Fahrzeuges, existieren immer mehr Möglichkeiten zur Steuerung von Zusatzfunktionen. Derartige Zusatzfunktionen betreffen beispielsweise Systeme wie eine Klimaanlage, ein Soundsystem, ein Navigationssystem, Einstellungen möglicher Fahrwerk- und/oder Getriebefunktionen.
Die Vielzahl an Schaltern, Knöpfen, Tasten, Eingabedisplays und anderen Bedienelementen, welche einem Fahrzeugführer zur Verfügung stehen, sowie die Vielfalt an Informations-, Hinweis- und/oder Warnanzeigen im Cockpit eines Fahrzeuges führen zu einer immer größeren Beanspruchung der Aufmerksamkeit des Fahrzeugführers. Gleichzeitig vergrößern sie die Gefahr der Ablenkung des Fahrers und erhöhen somit das Sicherheitsrisiko beim Führen eines Kraftfahrzeuges.
Zur Verringerung dieses Sicherheitsrisikos bieten viele Fahrzeughersteller integrierte elektronische Displays mit einer menügeführten Befehlssteuerung an, welche eine breite Palette von Funktionen in einer einzigen Benutzerschnittstelle vereinen.
Nachteilig an dieser Lösung ist es, dass eine große Anzahl von Informationen und Auswahlmöglichkeiten für den Fahrer gleichzeitig im Sichtfeld des Fahrers oder in einem geeignet platzierten Display zur Anzeige gebracht werden müssen, wodurch sich die Gefahr einer Ablenkung des Fahrers wiederum erhöht.
Neben der Darstellung der Informationen und Auswahlmöglichkeiten müssen auch noch Mittel zur Eingabe oder Auswahl durch den Fahrer im Display oder in Displaynähe bereitgestellt werden, welche vom Fahrer während einer Fahrt bedient werden können. Auch diese Mittel stellen eine potentielle Gefahr für die Sicherheit dar.
Da für die Bedienung verschiedenster Fahrzeugsysteme ein gewisses Maß einer Hand-Auge-Koordination des Fahrers erforderlich ist, wird die Konzentration des Fahrers auf das Führen des Fahrzeuges zumindest teilweise beeinträchtigt.
Aus dem Stand der Technik ist es auch bekannt, eine Reduzierung der darzustellenden Informationen dadurch zu erreichen, dass nur die in einem bestimmten Zusammenhang stehenden Informationen oder Auswahlmöglichkeiten zur Anzeige gebracht werden. Diese sogenannten kontextsensitiven Informationen oder Auswahlmöglichkeiten sind beispielsweise auf ein einziges System wie ein Navigationssystem beschränkt.
Aus dem Stand der Technik ist ebenfalls bekannt, einem Benutzer, beispielsweise einem Fahrzeugführer, wie einem Autofahrer oder einem Piloten, mittels eines Head-up-Displays Informationen in sein Sichtfeld zu projizieren. Unter einem Head-up-Display, auch als HUD abgekürzt, ist ein Anzeigesystem zu verstehen, bei welchem der Benutzer zum Betrachten der angezeigten Informationen die Haltung des Kopfes beziehungsweise die Blickrichtung in der ursprünglichen Ausrichtung im Wesentlichen beibehalten kann. Derartige Head-up-Displays weisen im Allgemeinen eine eigene bilderzeugende Einheit, welche die darzustellenden Informationen in Form eines Bilds bereitstellt, ein Optikmodul, welches den Strahlenverlauf innerhalb des Head-up-Displays bis zu einer Austrittsöffnung ermöglicht und auch als Spiegeloptik bezeichnet wird, sowie eine Projektionsfläche, zur Darstellung des zu erzeugenden Bildes, auf. Das Optikmodul leitet das Bild auf die Projektionsfläche, welche als eine spiegelnde, lichtdurchlässige Scheibe ausgebildet ist und auch als Combiner bezeichnet wird. In einem besonderen Fall wird als Projektionsfläche eine hierfür geeignete Windschutzscheibe eingesetzt. Der Fahrzeugführer sieht die gespiegelten Informationen der bilderzeugenden Einheit und gleichzeitig die wirkliche Umgebung hinter der Windschutzscheibe. Damit bleibt die Aufmerksamkeit eines Fahrzeugführers, beispielsweise beim Führen eines Kraftfahrzeuges, auf das Geschehen vor dem Fahrzeug gerichtet, während er die in das Sichtfeld projizierten Informationen erfassen kann.
Aus der US 2014/0292665 ist eine Anordnung zur Blickerfassung bekannt, welche Sensoren verwendet, welche die Richtung des Fahrerblicks erfassen und die vom Fahrer angesehene Komponente identifizieren können. Diese Veröffentlichung offenbart keine Möglichkeit einer Bereitstellung von Informationen mit einer verringerten Informationsdichte oder in einer Weise in der die ausgewählte Komponente mit Farbe oder Text markiert wird.
Aus der US 2010/0014711 ist ein System zur Beleuchtung eines Fahrzeuginnenraums auf der Grundlage der Kopfposition des Fahrers offenbart. Jedoch offenbart diese Veröffentlichung, dass die Beleuchtung für eine Verbesserung der Sichtbedingungen für den Fahrer vorgesehen ist. Somit können keine Informationen zu einzelnen ausgewählten Bereichen zur Anzeige gebracht werden.
Die Aufgabe der Erfindung besteht darin, eine Benutzerschnittstelle und ein Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug anzugeben, mit welchem eine vereinfachte Bedienung von Fahrzeugsystemen, eine Verringerung der Informationsdichte und eine Verbesserung der Konzentration des Fahrers auf das Führen des Fahrzeuges erreicht wird.
Die Aufgabe wird durch einen Gegenstand mit den Merkmalen gemäß Patentanspruch 1 der selbstständigen Patentansprüche gelöst. Weiterbildungen sind in den abhängigen Patentansprüchen 2 bis 6 angegeben.
Die Erfindung stellt eine Benutzerstelle (HMI) bereit, welche mit dem Fahrer eines Fahrzeuges situationsabhängig interagiert und nur einen geringen Raum zur Darstellungen von Informationen auf einem Display oder im Innenraum des Fahrzeuges benötigt.
Hierfür ist es vorgesehen, durch ein Mittel zur Blickerfassung und -verfolgung, wie eine im Fahrzeug installierte Kamera und einer zugehörigen Steuer- und Auswerteeinheit eine Erfassung der Blickrichtung und eine Blickverfolgung des Benutzers oder Fahrers zu realisieren. Durch die Auswertung der Blickrichtung oder der Blickverfolgung wird mindestens ein Bereich innerhalb des Fahrzeuges erkannt, auf welchen der Blick des Fahrers gerichtet ist. Hierzu kann es auch vorgesehen sein, dass erkannt wird, ob der Fahrer Baugruppen oder Systeme im Inneren des Fahrzeuges betrachtet oder ob sein Blick nach außen in die Fahrzeugumgebung gerichtet ist.
Ist der Blick des Fahrers auf Baugruppen oder Systeme im Inneren des Fahrzeuges gerichtet, erfolgt eine Zuordnung der Blickrichtung zu einer Baugruppe oder einem System wie einer Klimaanlage, einem Soundsystem, einem Anzeigedisplay, einem Lenkrad, einem Rückspiegel, einer Abdeckung oder Klappe eines Staufachs, einer Steueranordnung für ein Getriebe oder anderen.
Derart wird es ermöglicht, dem Fahrer die zu seiner Blickrichtung gehörigen oder möglichen Informationen durch eine geeignete Projektion oder Darstellung anzuzeigen. Dies kann vorzugsweise mittels einer Laserprojektion erfolgen, welche sowohl zur Darstellung geometrischer Formen wie auch von Zeichen wie Schriftzeichen geeignet ist. Eine derartige Darstellung kann auch in verschiedenen Farbe erfolgen.
Vorgesehen ist es, über einem im Innenraum des Fahrzeuges erkannten Bereich, wie beispielsweise einem Bedienelement oder einem verschlossenen Stauraum im Fahrzeug, eine Information oder Auswahlmöglichkeiten mittels einer Laserprojektion bereitzustellen. Die erfindungsgemäße Benutzerschnittstelle ist derart gestaltet, dass eine Bedienaktion des Fahrers, wie beispielsweise eine Auswahl einer der dargestellten Auswahlmöglichkeiten, durch ein geeignetes Mittel zur Erkennung einer Bewegung oder Geste des Fahrers, erkannt und in Form einer Information einer entsprechenden zentralen Steuereinheit bereitgestellt wird.
Diese Steuereinheit setzt die bereitgestellte Information um und bewirkt eine zur Auswahl des Fahrers zugehörige Reaktion, wie beispielsweise ein Ein- oder Ausschalten der entsprechenden Funktion oder das Öffnen einer Klappe des Stauraums. Für eine derartige Gestenerkennung können bekannte Mittel eingesetzt werden, wie beispielsweise eine im Fahrzeug angebrachte Kamera und eine entsprechende Auswerteeinheit.
Vorgesehen ist es, zur Erzeugung der Laserprojektion einen Spatial Light Modulator (SLM) einzusetzen. Zur Bilderzeugung können beispielsweise Technologien wie Liquid Crystal on Silicon (LcoS), Digital Light Processing (DLP) oder Micro-Electro-Mechanical Systems MEMS eingesetzt werden. Besonders vorteilhaft ist die Erzeugung dreidimensionaler Darstellungen. Vorgesehen sind Darstellungen in zwei oder drei Dimensionen sowie in Farbe.
Die Aufgabe wird auch durch ein Verfahren mit den Merkmalen gemäß Patentanspruch 7 der selbstständigen Patentansprüche gelöst. Weiterbildungen sind in den abhängigen Patentansprüchen 8 bis 13 angegeben.
Die Erfindung realisiert ein Erkennen einer Blickrichtung eines Fahrers und eine Zuordnung dieser erkannten Blickrichtung zu einem Bereich im Innenraum des Fahrzeuges, wobei die Bereiche zu Baugruppen oder Systemen im Fahrzeug zugeordnet sind. Ein derartiger Bereich kann beispielsweise eine Luftaustrittsöffnung einer Klimaanlage, ein Soundsystem oder dessen Lautsprecher, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere sein.
Ist der Blick des Fahrers in einen dieser Bereiche gerichtet, so werden Informationen zu diesem ausgewählten Bereich in der Blickrichtung des Fahrers in der Form eines projizierten Bildes erzeugt und über dem Bereich dargestellt. Das projizierte Bild kann eine zwei- oder dreidimensionale Darstellung sein. Eine Darstellung in einer oder mehreren Farben ist möglich.
Bewegt der Fahrer seine Hand oder seinen Finger in die Richtung oder zu diesem projizierten Bild hin, wird diese Geste erfasst. Eine Gestenerkennung kann derart erfolgen, dass nicht nur eine Übereinstimmung der Richtung der Geste oder der Position eines Fingers mit dem projizierten Bild detektiert wird, sondern die genaue Position des Fingers innerhalb des projizierten Bildes, welches mehrere Bestandteile aufweisen kann.
Wird beispielsweise eine Übereinstimmung der Richtung oder der Position des Fingers mit der Position einer dieser Tasten erkannt, so wird diese Taste als ausgewählt erkannt. Eine zentrale Steuer- und Auswerteeinheit erzeugt ein Signal, welches die Auswahl dieser Taste kennzeichnet. Durch dieses Signal gesteuert kann dann die ausgewählte Funktion, wie beispielsweise das Einschalten eines Soundsystems oder einer Klimaanlage, umgesetzt werden.
Vorgesehen ist es, dass das projizierte Bild einen oder mehrere Bestandteile beinhalten kann. So können beispielsweise eine oder mehrere Tasten in dem projizierten Bild zur alternativen Auswahl bereitgestellt werden. Der Inhalt des projizierten Bildes oder seiner Bestandteile kann beispielsweise Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder umfassen.
Die Erfindung sieht vor, dass der Innenraum des Fahrzeuges in Bereiche unterteilt wird. Derartige Bereiche werden zu Baugruppen oder Systemen im Fahrzeug zugeordnet, wie beispielsweise eine Klimaanlage, ein Soundsystem, ein Anzeigedisplay, ein Lenkrad, ein Rückspiegel, eine Abdeckung oder Klappe eines Staufachs, eine Steueranordnung für ein Getriebe und andere. Im Fall einer Klimaanlage kann der Bereich beispielsweise durch die Zone einer oder mehrerer Luftaustrittsöffnungen gebildet werden. Im Fall einer Klappe eines Stauraums wird die Zone durch die Form der Klappe bestimmt. Im Fall eines Soundsystems kann die Form durch ein zugehöriges Display und/oder die im Armaturenbrett und/oder den Türen angeordneten Lautsprechern bestimmt werden.
Vorgesehen ist es auch, dass das projizierte Bild derart dargestellt wird, dass es aus der Sichtweise des Fahrers, über einem bestimmten Bereich, also beispielsweise über den Luftaustrittsöffnungen der Klimaanlage, dargestellt wird. Die Umrandung des projizierten Bildes wird dabei mit den Grenzen des Bereichs in Übereinstimmung gebracht. Die Grenzen eines Bereichs können beispielsweise durch einen Rahmen gebildet werden, welcher um eine Luftaustrittsöffnung einer Klimaanlage herum verläuft. Der Rahmen kann auch entlang der Umrandung eines Rückspiegels, eines Anzeigedisplays oder anderer Systeme oder Baugruppen verlaufen.
Das projizierte Bild beinhaltet Informationen, beispielsweise in Form von Textzeichen oder Symbolen, welche die vom Fahrer auswählbaren möglichen Funktionen, zu dem entsprechenden Bereich, darstellen. Hierbei werden nur im Zusammenhang mit diesem Bereich stehende, sogenannte kontextbezogene Informationen zur Darstellung im projizierten Bild verwendet. Für den Bereich der Luftaustrittsöffnungen können somit beispielsweise die Funktionen Ein- oder Ausschalten sowie Wahlmöglichkeiten bezüglich einer Temperatur oder Gebläsestufe zur Darstellung gebracht werden. Für den Bereich eines Rückspiegels kann dies eine Auswahlmöglichkeit zum Abblenden sein, welche auch in mehreren Stufen angeboten werden kann.
Außerdem werden die kontextbezogenen Informationen vor ihrer Darstellung im projizierten Bild auf ihre Plausibilität hin geprüft. Somit wird beispielsweise eine Möglichkeit zum Einschalten des Systems nicht in der Auswahl angeboten, wenn das System bereits eingeschaltet ist. Wird beispielsweise in einem Soundsystem eine CD abgespielt, so werden nur Funktionen zum Bedienen des CD-Players und keine Auswahlmöglichkeiten zur Senderauswahl angezeigt.
Besonders vorteilhaft ist es, zur Erkennung der Gesten des Fahrers Techniken einzusetzen, bei denen eine Laufzeitmessung mittels einer ToF-Kamera durchgeführt wird. Alternativ kann beispielsweise ein Verfahren, welches mit infrarotem Licht oder kapazitiv arbeitet, eingesetzt werden.
Weitere Einzelheiten, Merkmale und Vorteile von Ausgestaltungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezugnahme auf die zugehörigen Zeichnungen. Es zeigen:

1: einen beispielhaften Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug,
2: eine erste Ausführungsform der erfindungsgemäßen Benutzerschnittstelle (HMI),
3: eine beispielhafte Anwendung der Erfindung mit mehreren Darstellungen und
4: eine weitere beispielhafte Anwendung der Erfindung mit der Darstellung einer Warnmeldung.

In der 1 ist ein beispielhafter Ablauf für das Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug gezeigt. Der Verfahrensablauf beginnt im Schritt 1 mit einer Blickerfassung und -verfolgung des Fahrers. Auf der Grundlage dieser erfassten Informationen wird im Schritt 2 zum einen der Bereich bestimmt, welcher vom Fahrer aktuell betrachtet wird, wie beispielsweise eine Luftaustrittsöffnung einer Klimaanlage im Bereich eines Armaturenbretts eines Fahrzeugs. Zum anderen wird eine Auswahl der im Zusammenhang mit diesem betrachteten Bereich der Klimaanlage möglichen Anzeigeinformationen oder Auswahlmöglichkeiten vorgenommen. Hierbei werden die aktuellen Betriebszustände der Systeme des Fahrzeuges in die Auswahl mit einbezogen. Ist die Klimaanlage beispielsweise eingeschaltet, so wird die Möglichkeit des Einschaltens nicht zur Anzeige gebracht.
Im Schritt 3 wird die Erzeugung eines projizierten Bildes 9 beispielsweise mittels einer laserbasierten Bilderzeugungseinheit 10 gestartet. Im Schritt 4 erfolgt die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich. Im Beispiel kann über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ oder „Turn on“ dargestellt werden. Als Farbe für die projizierte Fläche kann grün gewählt werden, um dem Fahrer zu signalisieren, dass die angezeigte Auswahl möglich ist.
Die Auswahl der Farben kann anhand eine üblichen, auch in Fahrzeugen verbreiteten, Kennzeichnung von Gefahrenzuständen mit roter Farbe, Hinweismeldungen mit gelber Farbe und verfügbarer Optionen in grüner Farbe erfolgen. Eine Beschränkung auf diese Farbauswahl ist nicht gegeben, ist beispielsweise die Optik der Anzeigen im Armaturenbrett in einem blauen Design vorgenommen worden, so kann eine Abstimmung oder Anpassung an den vorhandenen Farbton den Gesamteindruck vorteilhaft verbessern.
Neben farbigen Flächen in verschiedenen geometrischen Variationen, wie beispielsweise einem Rechteck, Quadrat, Kreis, einer Ellipse, einem Trapez oder einem Dreieck, können beliebige Symbole und Schriftzeichen zur Anzeige gebracht werden. Eine Darstellung eines Bildes ist ebenfalls möglich. Ebenso können dreidimensionale Darstellungen erzeugt werden.
Vorgesehen ist es, die Darstellung des projizierten Bildes 9 über dem vom Fahrer 11 betrachteten Bereich in dem Moment vorzunehmen, in welchem der Fahrer 11 seinen Blick in diesen Bereich richtet. Alternativ kann die Darstellung des projizierten Bildes 9 mit einer vorgegebenen Zeitverzögerung gestartet werden, um unerwünschte und den Fahrer 11 ablenkende Darstellungen auszuschließen, beispielsweise für den Fall, dass der Fahrer 11 seinen Blick über das Armaturenbrett schweifen lässt um in den rechten Außenspiegel zu sehen.
Die Darstellung des projizierten Bildes 9 auf einem ausgewählten Bereich kann solange erfolgen, bis der Fahrer 11 eine Eingabe oder Auswahl vorgenommen hat. Alternativ kann die Darstellung, ohne das eine Eingabe oder Auswahl erfolgt ist, beendet werden, wenn der Fahrer 11 seine Blickrichtung ändert und beispielsweise wieder in Fahrtrichtung durch die Windschutzscheibe 12 seine Umwelt 13 betrachtet. Vorteilhaft ist es, dass das Beenden der Darstellung zeitverzögert erfolgt, somit bleibt das projizierte Bild 9 über dem ausgewählten Bereich erhalten, wenn der Fahrer 11 seine Blickrichtung nur kurzzeitig verändert und anschließend wieder zu dem ausgewählten Bereich zurückkehrt.
Ist beispielsweise über der Luftaustrittsöffnung der Klimaanlage eine farbige Fläche mit der Aufschrift „Einschalten“ dargestellt, erfolgt im Schritt 5 durch das Mittel zur Gestenerkennung 14 eine Gestenerkennung der Bewegungen des Fahrers 11. Bewegt der Fahrer 11 seine Hand beispielsweise zu der grün dargestellten Fläche mit der Aufschrift „Einschalten“ um diese sozusagen mit seiner Hand 15 oder einem Finger der Hand 15 zu berühren, wird diese Geste durch ein Mittel zur Gestenerkennung 16 erkannt und ein entsprechendes Signal für die zentrale Steuer- und Auswerteeinheit erzeugt. Diese Steuer- und Auswerteeinheit verfügt sowohl über die Information bezüglich des projizierten Bildes 9 mit seiner Lage und seinen Auswahlmöglichkeiten als auch über die Informationen bezüglich der erkannten Geste und ist somit in der Lage im Schritt 6 eine Prüfung derart vorzunehmen, dass kontrolliert wird, ob die Geste dem projizierten Bild 9 oder einem Bestandteil des projizierten Bildes 9 wie einem Knopf oder einer Taste korrekt zugeordnet werden kann. Im Beispiel wird somit geprüft, ob der Fahrer 11 mit seiner Hand 15 die grün dargestellte Fläche mit der Aufschrift „Einschalten“ sozusagen berührt hat.
Hierbei wird ein Übereinstimmen der Positionen des projizierten Bildes 9 und der erkannten Position der Hand 15 oder des Fingers des Fahrers 11 geprüft. Auch in diesem Fall kann eine Übereinstimmung der Positionen erst nach dem Ablauf einer Wartezeit zu einer Erzeugung eines entsprechenden Signals, welches eine Übereinstimmung kennzeichnet, führen.
Wird eine derartige Übereinstimmung erkannt, wird im Schritt 7 die ausgewählte Funktion aktiviert. Im dargestellten Beispiel erfolgt das Einschalten der Klimaanlage des Fahrzeuges. Für den Fall, dass keine oder keine eindeutige Übereinstimmung erkannt werden kann, wird im Schritt 8 eine entsprechende Fehlermeldung generiert, im Schritt 3 an die Bilderzeugungseinheit 10 ausgegeben und im Schritt 4 zur Anzeige gebracht. Eine derartige Fehlermeldung kann beispielsweise eine rot dargestellte Fläche mit der Aufschrift „Fehler“ oder „Error“ sein.
Wie im Beispiel bereits gezeigt, kann eine Anpassung an eine Sprache eines Fahrers oder dessen Vorlieben beispielsweise bezüglich einer Farbe oder Form vorgenommen werden.
In der 2 ist eine beispielhafte Anwendung der Erfindung mit einer Projektion oder Darstellung auf einen erkannten Fahrzeugbereich zur Steuerung der Klimaanlage gezeigt. Ein Mittel zur Blickerfassung und -verfolgung 14 ist in einem Bereich des Armaturenbretts unterhalb der Windschutzscheibe 12 in der Nähe des Lenkrads 17 angeordnet. Dieses Mittel 14 ist derart positioniert, dass es den Fahrer 11 gut erkennen kann. Alternativ kann das Mittel zur Blickerfassung und -verfolgung 14 im oberen Bereich der Windschutzscheibe 12 oder links neben der Windschutzscheibe 12 in der A-Säule des Fahrzeuges angeordnet werden.
Nach einem Erkennen der Blickrichtung des Fahrers 11, welcher in der 2 nur angedeutet ist, auf einen Bereich einer Luftaustrittsöffnung einer Klimaanlage in der Mitte des Armaturenbretts, erfolgt über diesem Bereich eine Darstellung eines projizierten Bildes 9, welches beispielsweise eine grüne Fläche mit einer Aufschrift „Einschalten“ oder „Turn on“ zeigt. Für diese Darstellung ist beispielsweise in einem zentralen Bereich oberhalb der Windschutzscheibe 12 eine Bilderzeugungseinheit 10 angeordnet.
Beispielsweise neben der Bilderzeugungseinheit 10 ist ein Mittel zur Gestenerkennung 16 angeordnet, welches den Bereich des Fahrers 11 gut erfassen kann. Der Fahrer 11 kann durch eine geeignete Geste, in welcher er die Position seiner Hand 15 oder eines Fingers dieser Hand 15 mit der Position des projizierten Bildes 9 in Übereinstimmung bringt, wie in der 2 gezeigt ist, die Klimaanlage einschalten. Nach dem Einschalten der Klimaanlage, welches durch die zentrale Steuer- und Auswerteeinheit erfolgen kann, wird die Darstellung des projizierten Bildes beendet.
In diesem Beispiel war die Klimaanlage ausgeschaltet, als das Mittel zur Blickerfassung und -verfolgung 14 den Bereich der Luftaustrittsöffnung der Klimaanlage detektiert hat. Somit wurde nur die kontextbezogene Möglichkeit des Einschaltens der Klimaanlage durch das projizierte Bild 9 angezeigt. In einem anderen Fall, in welchem die Klimaanlage bereits eingeschaltet ist, wird die Möglichkeit des Abschaltens durch das projizierte Bild 9 dargestellt. Dieses Verfahren ermöglicht es, die Ablenkung des Fahrers 11 minimal zu gestalten. Somit kann er sich optimal auf das Geschehen auf den Streckenverlauf 18 auf der vor ihm befindlichen Straße bzw. die Umwelt 13 konzentrieren.
In der 3 ist eine beispielhafte Anwendung der Erfindung mit einer Darstellung zweier projizierter Bilder 9 gezeigt. In diesem Fall wurde durch das Mittel zur Blickerfassung und -verfolgung 14, welches in der 3 im Bereich des Lenkrads 17, beispielsweise in einem Bereich im Armaturenbrett integriert, dargestellt ist, eine Blickrichtung des nicht in der 3 dargestellten Fahrers 11 auf den rechten Bereich des Armaturenbretts des Fahrzeuges erkannt. In diesem Fall werden dem Fahrer 11 zwei Auswahlmöglichkeiten durch die Darstellung zweier projizierter Bilder 9 angeboten.
Die erste Auswahlmöglichkeit, welche von der Bilderzeugungseinheit 10 über einem Bereich einer Luftaustrittsöffnung einer Klimaanlage dargestellt wird, zeigt eine beispielsweise grüne Fläche mit der Aufschrift „Einschalten“, „turn on“ oder „open air vent“. Die zweite Auswahlmöglichkeit, welche in einem Bereich über einer Klappe eines Handschuhfachs dargestellt wird, zeigt eine grüne Fläche mit der Aufschrift „Handschuhfach öffnen“ oder „open glove box“.
Der Fahrer 11 kann in diesem Fall, mittels einer geeigneten Geste, welche von einem Mittel zur Gestenerkennung 16 detektiert wird, entweder die Klimaanlage einschalten oder die Klappe über dem Handschuhfach öffnen. In einer alternativen Ausführung kann vorgesehen sein, dass der Fahrer 11 beide Auswahlmöglichkeiten anwählt und somit sowohl die Klimaanlage einschaltet als auch nachfolgend die Klappe über dem Handschuhfach öffnet, wobei die Reihenfolge seiner Auswahl beliebig ist. Eine Beschränkung auf die in diesem Beispiel dargestellten zwei Alternativen besteht nicht.
In der 4 ist eine weitere beispielhafte Anwendung der Erfindung mit einer Darstellung einer Fehler- oder Warnmeldung gezeigt. Kann durch das Mittel zur Gestenerkennung 16 in Zusammenarbeit mit der zentralen Steuer- und Auswerteeinheit eine Geste des Fahrers 11 einem projizierten Bild 9 nicht eindeutig zugeordnet werden, weil beispielsweise die Geste des Fahrers 11 sehr unpräzise war, so kann dieser Zustand durch eine Darstellung eines projizierten Bildes 9 mit einer Fehlermeldung, beispielsweise mit der Aufschrift „Fehler“ oder „Error“ angezeigt werden.
In einer Alternative kann eine Warnmeldung in den Sichtbereich des Fahrers 11 mit der Aufschrift „Warnung!“ oder „Warning!“ in Form eines projizierten Bildes 9 und in einer roten Farbe dargestellt werden, wenn ein kritischer Fahrzeugzustand erkannt wurde. Dieser Zustand kann beispielsweise dann eintreten, wenn der Blick des Fahrers 11 für eine längere Zeit weg vom Verkehrsgeschehen vor dem Fahrzeug auf einen Bereich im Fahrzeug gerichtet ist und dies durch das Mittel zur Blickerfassung und -verfolgung 14 erkannt wird.
Alternativ oder zusätzlich können Informationen über einen zu geringen Abstand zu einem vorausfahrenden Fahrzeug oder das Erkennen einer Kurve im Streckenverlauf zum Auslösen einer Warnmeldung genutzt werden.
Zusätzlich zu der Aufschrift im projizierten Bild 9 kann beispielsweise bei einer erkannten Linkskurve eine Darstellung eines nach links zeigenden Pfeils, wie in der 4 dargestellt, oder eines anderen geeigneten Symbols erfolgen, welches den Fahrer 11 bereits in der vom Verkehrsgeschehen abgewandten Blickrichtung warnt und auf das zu erwartende Ereignis vorbereitet. In der 4 ist dieser zusätzliche Hinweis mittels vier nach links zeigenden Dreiecken dargestellt. Neben einer farbigen Darstellung, beispielsweise in Rot um einen kritischen Zustand anzuzeigen, kann das projizierte Bild 9 auch blinkend dargestellt werden.
Bezugszeichenliste

1: Start Blickerfassung und -verfolgung
2: Bestimmung der kontextbasierten richtungsabhängigen Information
3: Start der Laserprojektion
4: Darstellung des projizierten Bildes
5: Gestenerkennung
6: Prüfung Gestenauswahl korrekt
7: Aktivierung der ausgewählten Funktion
8: Erzeugung einer Fehlermeldung
9: projiziertes Bild
10: Bilderzeugungseinheit
11: Fahrer
12: Windschutzscheibe
13: Umwelt
14: Mittel zur Blickerfassung und -verfolgung, Gestenerkennung
15: Hand
16: Mittels zur Gestenerkennung
17: Lenkrad
18: Streckenverlauf

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2014/0292665 [0015]
US 2010/0014711 [0016]

Claims

Benutzerschnittstelle, welche eine Anordnung zur Bilderzeugung, zur Anzeige von Bildern und Informationen, und ein Mittel zur Detektion einer Geste eines Benutzers umfasst, wobei die Anordnung zur Bilderzeugung und das Mittel zur Detektion einer Geste mit einer zentralen Steuereinheit verbunden sind, dadurch gekennzeichnet, dass als Anordnung zur Bilderzeugung eine ein projiziertes Bild (9) erzeugende Bilderzeugungseinheit (10) angeordnet ist, dass als Mittel zur Detektion einer Eingabe ein Mittel zur Gestenerkennung (16) angeordnet ist und dass ein Mittel zur Blickerfassung und -verfolgung (14) angeordnet ist.
Benutzerschnittstelle nach Anspruch 1, dadurch gekennzeichnet, dass die Bilderzeugungseinheit (10), das Mittel zur Gestenerkennung (16) und das Mittel zur Blickerfassung und -verfolgung (14) im Innenraum eines Fahrzeuges angeordnet sind.
Benutzerschnittstelle nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilderzeugungseinheit (10) ein Laserprojektor ist.
Benutzerschnittstelle nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Mittel zur Gestenerkennung (16) eine 3D-Kamera, eine Infrarot-Kamera oder eine ToF-Kamera ist.
Benutzerschnittstelle nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Mittel zur Blickerfassung und -verfolgung (14) eine 3D-Kamera ist.
Benutzerschnittstelle nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine HUD-Einheit als ein weiteres Mittel zur Anzeige von Informationen im Fahrzeug angeordnet ist.
Verfahren zur Ein- und Ausgabe von Informationen in einem Fahrzeug, bei welchem Informationen mittels einer Anordnung zur Bilderzeugung ausgegeben und bei welchem Eingaben eines Benutzers durch ein Mittel zur Detektion einer Geste erfasst werden, wobei eine Steuerung der Ausgabe der Informationen und des Erfassens von Eingaben durch eine zentrale Steuereinheit gesteuert wird, dadurch gekennzeichnet, dass ein Erkennen einer Blickrichtung eines Fahrers (11) erfolgt, dass eine Zuordnung der Blickrichtung des Fahrers (11) zu einem Bereich im Fahrzeug vorgenommen wird, dass Informationen zu diesem Bereich in der Blickrichtung des Fahrers (11) in Form eines projizierten Bildes (9) erzeugt und über dem Bereich dargestellt werden, dass eine Erkennung von Gesten des Fahrers (11) durchgeführt wird und dass bei einer Übereinstimmung einer mittels der Gestenerkennung detektierten Position einer Hand (15) des Fahrers (11) mit dem projizierten Bild (9) oder einem Bestandteil des projizierten Bildes (9) ein Signal durch die zentrale Steuereinheit erzeugt und ausgegeben wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das projizierte Bild (9) oder seine Bestandteile Textzeichen, Sonderzeichen, Symbole, ebene oder räumliche geometrische Figuren in verschiedenen Farben oder Bilder beinhaltet.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass ein Bereich im Fahrzeug zu einer Baugruppe oder einem System im Fahrzeug zugehörig ist.
Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das projizierte Bild (9) an die Form des Bereiches angepasst dargestellt wird, sodass die Umrandung des projizierten Bildes (9) mit den Grenzen des Bereichs übereinstimmt.
Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) kontextbezogene Informationen sind.
Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass die in der Blickrichtung des Fahrers (11) dargestellten Informationen im projizierten Bild (9) vor der Darstellung durch eine Bilderzeugungseinheit (10) auf Plausibilität geprüft werden.
Verfahren nach einem der Ansprüche 7 bis 12, dadurch gekennzeichnet, dass die Gestenerkennung durch ein Mittel (16) zur Gestenerkennung mittels eines Laufzeitverfahrens oder eines Infrarotverfahrens durchgeführt wird.