-
Die Erfindung betrifft ein Bedienverfahren für Fahrzeugfunktionen sowie ein entsprechend eingerichtetes Fahrzeug.
-
Heutzutage sind Blickrichtungserkennungs-Sensoren bekannt, die in Echtzeit und mit einer bestimmten Genauigkeit ermitteln können, in welche Richtung ein Mensch blickt. Zur Bestimmung der Blickrichtung wird das Auge meist mit einer Infrarotlicht-Quelle bestrahlt. Mithilfe einer Infrarotlicht-Kamera, wird dann die Reflexion des Infrarotlichts erkannt. Aus dem Wissen über die Position der Infrarotlichtquelle kann auf die Blickrichtung rückgeschlossen werden. Positioniert man einen solchen Sensor in einer festen Position zu einem Bildschirm, kann der Bereich erkannt werden, den ein Nutzer momentan auf diesem Bildschirm mit seinem Blick fixiert.
-
Es existieren Benutzeroberflächen auf Bildschirmen, auf denen virtuelle Schaltflächen angezeigt werden, die mit unterschiedlichen Bedienmethoden (Maus oder eben auch Blickrichtungserkennung) gesteuert werden können.
-
Darüber hinaus existieren Kopfrichtungserkennungs-Sensoren, die in Echtzeit und mit einer bestimmten Genauigkeit die Ausrichtung des Kopfes eines Menschen ermitteln. Zur Bestimmung der Kopfrichtung wird mittels einer Kamera eine Aufnahme des Kopfes im Bereich des sichtbaren Lichts gemacht. Mithilfe von Bildverarbeitung kann aus dieser Aufnahme die Ausrichtung des Kopfes bestimmt werden. Ebenfalls sind Systeme zur Kopfrichtungserkennung denkbar, die auch im Infrarotbereich arbeiten, allerdings weniger durch einfallendes und nicht künstlich erzeugtes Infrarotlicht (z.B. aufgrund von Sonneneinstrahlung) gestört werden.
-
Aufgrund der unterschiedlichen Wirkweise der Systeme ist die Ermittlung der Kopfausrichtung weniger Anfällig für Störung durch Umweltfaktoren (vor allem einfallendes Sonnenlicht) und Personenfaktoren (vor allem Brillen) gegenüber der Blickrichtungserkennung. Bei einer Störung liefert eine Blickrichtungserkennung keine Daten zur Blickrichtung.
-
Bei der Nutzung von Blickrichtungserkennungs-Sensoren als Bedienmodalität führt eine derartige Störung dazu, dass die entsprechende Benutzeroberfläche nicht oder nur noch durch eine alternative Bedienmethode gesteuert werden kann.
-
Um eine durchgängige Bedienbarkeit sicherzustellen, ist folglich eine alternative Bedienmethode (z.B. ein Dreh-Drück-Steller) notwendig. Diese richtet jedoch wieder eigene spezifische Anforderungen an die Benutzeroberfläche. Somit muss bei der Auslegung der Benutzeroberfläche ein Kompromiss zwischen den Anforderungen beider Bedienmethoden eingegangen werden.
-
Der Erfindung liegt die Aufgabe zugrunde, für eine auf Blickrichtungserkennung ausgelegte Bedienung eine Rückfallebene bereitzustellen, falls die Blickrichtungserkennung keine korrekte Bedienung ermöglicht. Gleichzeitig soll die Benutzerschnittstelle eine möglichst einheitliche und für die Blickrichtungserkennung optimierte Erscheinung haben.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
-
Ein erster Aspekt der Erfindung betrifft ein Bedienverfahren für Fahrzeugfunktionen, wobei das Fahrzeug eine Blickrichtungs- und eine Kopfrichtungserkennung sowie eine Anzeige umfasst, wobei das Verfahren die folgenden Schritte umfasst: Anzeigen einer graphischen Benutzerschnittstelle, umfassend Schaltflächen, die mithilfe der Blickrichtung des Benutzers ausgewählt und/oder aktiviert werden; Auswählen und/oder Aktivieren von Schaltflächen anhand der erkannten Blickrichtung des Benutzers; Erkennen, dass die Blickrichtungserkennung nicht einer vorbestimmten Genauigkeit und/oder Zuverlässigkeit genügt; In Antwort auf das Erkennen: Auswählen und/oder Aktivieren von Schaltflächen anhand der erkannten Kopfrichtung des Benutzers; Beenden des Auswählens und/oder Aktivierens von Schaltflächen anhand der Blickrichtung des Benutzers. Eine Fahrzeugfunktion kann eine auf das Fahrzeug bezogene Funktion sein wie eine Klimatisierung oder Scheibenstellung sowie eine allgemeine Computerfunktion wie die Bedienung eines Musikspielers oder eines Emailprogramms. Die Anzeige kann auch das dem Benutzer erscheinende Bild des Head-up Displays oder Head-mounted Displays sein, muss also nicht der physikalischen Anzeige entsprechen.
-
Hierin wird also vorgeschlagen, eine Bedienung per Kopfrichtung als Rückfallebene bzw. Ersatzbedienung zur Verfügung zu stellen, falls eine Bedienung per Blickrichtung nicht möglich ist, weil die Blickrichtungserkennung aufgrund von Störungen keine korrekte Bedienung ermöglicht.
-
Die Auslegung von Schaltflächen in graphischen Benutzerschnittstellen kann für eine Bedienung durch die Blickrichtung und Kopfrichtung ähnlich ausgelegt werden, da beide Bedienmethoden auf dem ähnlichen Prinzip der Richtungserkennung basieren. Selbst bei einer Auslegung für eine alternative Ersatzbedienung ist so eine Gestaltung der Benutzeroberfläche möglich, die weitestgehend den Anforderungen durch eine Blickrichtungsbedienung genügt.
-
Gleichzeitig ist diese Rückfallbedienung auch intuitiv. In Studien konnte gezeigt werden, dass Probanden bei Nicht-Verfügbarkeit der Blickrichtungserkennung selbständig die Kopfrichtung zur Bedienung verwenden. Aufgrund der im Prinzip ständigen Verfügbarkeit einer der beiden Bedienmethoden ist eine weitere (andersartige) Bedienmethode nicht notwendig, was zu Kosten- und Bauraumersparnis in Fahrzeugen führt.
-
Die Kopfrichtung wird als Unterfall der Kopfposition gesehen. Die Kopfrichtung kann eine Richtung sein, die der Blickrichtung bei einem Geradeausschauen entsprechen würde. Es wird also eine Drehung des Kopfes nach links/rechts und oben/unten bei der Bedienung berücksichtigt. Zusätzlich kann die Kopfrichtung in manchen Implementierungen auch eine zweite Richtung umfassen, die sich von einem zentralen Punkt der Schädeldecke zum Hals erstreckt. Wenn auch diese zweite Richtung bei der Bedienung mittels Kopfrichtung berücksichtigt wird, kann der Benutzer auch mit einem Neigen des Kopfes zur Seite eine Bedieneingabe und Schaltflächenauswahl/aktivierung erreichen. Beispielsweise kann der Kopf nach rechts geneigt werden, um die Auswahl der rechts von der aktuell ausgewählten Schaltfläche liegenden Schaltfläche zu erreichen.
-
In einer Implementierung wird die anhand der Blickrichtung ausgewählte und/oder aktivierte Schaltfläche mithilfe des Schnittpunktes einer Geraden von einem Auge (oder einem Referenzpunkt im Gesicht bzw. einem Auge) zur Anzeige bestimmt. Dabei ist die Gerade entsprechend der erkannten Blickrichtung orientiert. Diejenige Schaltfläche, die den Schnittpunkt enthält (oder der er aufgrund seiner Nähe zugeordnet wird) wird ausgewählt und/oder aktiviert. Es kann die Erfüllung weitere Kriterien, wie einer vorbestimmten Zeitdauer, während der die Schaltfläche den Schnittpunkt umfasst, vorgesehen sein bevor eine Schaltfläche als ausgewählt und/oder aktiviert gilt.
-
Die Kopfbedienung kann robuster ausgestaltet sein, als die Blickrichtungsbedienung. Zum Beispiel kann anstelle einer direkten Auswahl einer Schaltfläche per Blick, ein schrittweises nacheinander Auswählen der Schaltflächen durch Bewegung des Kopfes in eine Richtung und Rückführung in die Ausgangsposition geschehen. Die Kopfrichtung entspricht somit dem einmaligen Drücken einer „Taste“, mit der die in der entsprechenden Richtung (von der Ausrichtung auf die Anzeige) liegende nächste Schaltfläche ausgewählt wird. Ebenso kann auch ein Durchlaufen der Auswahl durch die Schaltflächen in der Richtung vorgesehen sein, in der die Kopfrichtung von der Ausrichtung in Richtung der Anzeige abweicht (was einem dauerhaften Drücken einer Taste entsprechen würde).
-
Mit anderen Worten: In einer Implementierung umfasst das Auswählen und/oder Aktivieren von Schaltflächen anhand der Kopfrichtung des Benutzers: Auswählen einer Schaltfläche rechts, oben, links oder unten von einer vorhergehend ausgewählten Schaltfläche, wenn erkannt wird, dass die Kopfrichtung zuerst auf die Anzeige hin gerichtet ist, Referenzrichtung, und dann nach rechts, oben, links bzw. unten von einer Referenzrichtung abweicht.
-
Wenn die Kopfrichtung direkt auf die Anzeige gerichtet ist (oder den zentralen Punkt/Bereich der Anzeige) wird zum Aufstart der Rückfallbedienung die im zentralen Bereich liegende Schaltfläche ausgewählt.
-
Alternativ kann vorgesehen sein, den Aufstart des Systems dadurch zu initiieren, dass sich die Kopfposition in einer Referenzposition ist, beispielsweise mittig oder im Wesentlichen vor einer Kopfstütze eines Fahrzeugsitzes. Mit anderen Worten:
Auswählen einer Schaltfläche in der Mitte oder in einem zentralen Bereich der Anzeige, wenn erkannt wird, dass die Kopfposition in einer Referenzposition ist.
-
Kommt es während der Nutzung einer Blickrichtungs-gesteuerten grafischen Benutzeroberfläche also zu einer Nicht-Verfügbarkeit der Blickrichtungsmessung kann die Benutzeroberfläche (als Rückfallebene) durch Kopfbewegung des Menschen und deren Erkennung durch einen Kopfrichtungserkennungs-Sensor/-Bildverarbeitung stattfinden. Dabei bewirkt ein Verbringen des Kopfes in die Referenzrichtung die Auswahl in der Mitte des Bildschirms und eine Kopfrichtungsänderung nach oben, unten, rechts oder links ein Verschieben der Auswahl nach oben, unten links bzw. rechts.
-
Alternativ kann auch diejenige Schaltfläche ausgewählt werden, die der erkannten Kopfrichtung entspricht. Insbesondere also derjenigen Schaltfläche, die den Schnittpunkt einer an der Kopfrichtung orientierten Geraden zwischen Kopf und Anzeige umfasst. Diese Schaltfläche ist die, auf die der Benutzer seinen Kopf ausrichtet. Diese Funktionsweise entspricht also derjenigen der Blickrichtungsbedienung.
-
In einer Implementierung umfasst das Erkennen, dass die Blickrichtungserkennung nicht einer vorbestimmten Genauigkeit und/oder Zuverlässigkeit genügt: Feststellen, dass die Blickrichtung Änderungen oberhalb eines Schwellwertes aufweist; und/oder Messen der Einstrahlung von Infrarotlicht aus dem Fahrzeugäußeren in das Fahrzeuginnere; Erkennen, dass die Blickrichtungserkennung nicht der vorbestimmten Genauigkeit und/oder Zuverlässigkeit genügt, wenn die Einstrahlung einen Schwellwert überschreitet. Es werden also zwei verschiedenen Methoden vorgeschlagen, um zu erkennen, ob die Blickrichtungserkennung für die Bedienung gerade geeignet ist. Einmal die Signale der Blickrichtungserkennung selbst, nämlich, ob sich die Blickrichtung ungewöhnlich häufig ändert, was auf eine Störung der Erkennung hindeutet. Alternativ oder zusätzlich dazu können auch die Umgebungsbedingungen, insbesondere die Intensität des Infrarotlichteinfalls von außerhalb des Fahrzeugs berücksichtigt werden. Diese kann über entsprechende Sensoren direkt gemessen werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
1 zeigt ein Flussdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
-
Das Verfahren wird von einem Fahrzeug ausgeführt, das über ein System zur Erkennung der Blickrichtung und der Kopfrichtung verfügt. Das kombinierte System besteht aus einer Kamera, die im Innenraum des Fahrzeugs montiert ist und den Bereich aufnimmt, in dem sich typischerweise der Kopf des Fahrers befindet. Die Kamera umfasst neben Sensoren für sichtbares Licht auch Sensoren speziell für Infrarotlicht. Ferner umfasst das Fahrzeug eine Anzeige in einem zentralen Bereich der Mittelkonsole. Auf der Anzeige werden Menüs angezeigt, die Fahrzeugfunktionen betreffen, Schritt S1 in 1. Ebenfalls werden Schaltflächen angezeigt, die derart gestaltet sind, dass eine Bedienung über Blickrichtungserkennung im Fahrzeugkontext möglich ist, also beispielsweise eine Mindestgröße von 2 cm × 2 cm aufweisen.
-
Gleichzeitig verfügt das Fahrzeug über eine Infrarotlichtquelle, die in räumlicher Nähe der Kamera angeordnet ist und in den Bereich Infrarotlicht abstrahlt, in dem sich üblicherweise der Kopf des Fahrers befindet. Die Infrarotlichtquelle spiegelt sich in im Auge des Fahrers und diese Reflexion wird von den Infrarotsensoren der Kamera erkannt. Anhand der Position der Reflexion im Auge kann auf die Blickrichtung des Fahrers rückgeschlossen werden. Verfahren hierzu sind im Stand der Technik bekannt.
-
Sofern erkannt wird, dass der Fahrer auf eine Schaltfläche blickt, wird diese Schaltfläche ausgewählt, Schritt S2 in 1. Die Schaltfläche und die zugehörige Fahrzeugfunktion wird aktiviert, wenn der Fahrer einen mechanischen Schalter betätigt, während die Schaltfläche ausgewählt ist.
-
Bei einer Benutzung des Systems am Tag kann eine Situation eintreten, in der eine starke Sonnenstrahlung auf das Fahrzeug einfällt. Damit kann die Intensität des einfallenden Infrarotlichts derart hoch sein, dass die Reflexion der Infrarotlichtquelle des Fahrzeugs in den Aufnahmen der Kamera nicht mehr erkannt wird. Aus diesem Grund wird ständig das Signal zu Rausch Verhältnis der Reflexion der Infrarotlichtquelle in den Aufnahmen der Kamera überwacht. Aus diesem wird auf die Genauigkeit und Zuverlässigkeit der Blickrichtungserkennung geschlossen. Liegt das Signalzu-Rausch Verhältnis unter einem Schwellwert, erscheint die Blickrichtungserkennung nicht mehr verlässlich. In einem solchen Fall wird auf die Bedienung über die Kopfrichtung umgeschaltet.
-
Die Kopfrichtung wird mithilfe der Kamera im sichtbaren Bereich des Lichts erkannt. Dazu kann, muss aber nicht, eine gesonderte Lichtquelle im Bereich des sichtbaren Lichts im Fahrzeug verbaut sein. Typischerweise wird eine solche aber nicht nötig sein, da der Einfall von sichtbarem Licht meist ausreichend sein wird, wenn der Einfall von Infrarotlicht zu hoch ist, so dass der Schwellwert des Signal-zu-Rausch Verhältnisses unterschritten wird. Die Kamera nimmt den Kopf des Fahrers auf und kann mithilfe von bekannter Bildverarbeitung die Richtung bestimmen, in die der Kopf gedreht ist (links/rechts und oben/unten).
-
Die Auswahl einer Schaltfläche erfolgt nun derart, dass zunächst die Schaltfläche in der Mitte der Anzeige ausgewählt wird. Dreht der Fahrer den Kopf einmal nach links und zur Mittenposition zurück, wird die Schaltfläche links neben der zuvor ausgewählten Schaltfläche ausgewählt. Dreht er den Kopf nach oben und zurück, wird die Schaltfläche oberhalb der zuvor ausgewählten Schaltfläche ausgewählt. Zur Aktivierung betätigt der Fahrer einen mechanischen Knopf, beispielswiese am Lenkrad.
-
Sofern die Überprüfung des Signal-zu-Rausch Verhältnisses ergibt, dass die Blickrichtungserkennung ausreichend genau und zuverlässig ist, wird die Bedienung weiterhin über die Blickrichtungserkennung vorgenommen.
-
Auf diese Weise wird eine intuitive Ersatzbedienung, nämlich per Kopfrichtung, zur Verfügung gestellt, wenn die Lichtverhältnisse der Umgebung eine korrekte Bedienung per Blickrichtung nicht ermöglichen. Dies erhöht ebenfalls die Verkehrssicherheit, weil der Fahrer kognitiv nicht durch den Wechsel zwischen stark verschiedenen Bedienmodalitäten belastet wird.
