DE102013201746A1

DE102013201746A1 - Interaktion mit fahrzeugbedienungselementen durch gestenerkennung

Info

Publication number: DE102013201746A1
Application number: DE102013201746A
Authority: DE
Inventors: Anthony Gerald King; Jeffrey Thomas Remillard; Jeff Allen Greenberg
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2012-02-06
Filing date: 2013-02-04
Publication date: 2013-08-08
Also published as: CN103294190A; GB2501575A; GB201301511D0; US20130204457A1

Abstract

Ein gestenbasiertes Erkennungssystem erhält gewünschte Befehlseingaben eines Fahrzeuginsassen durch Erkennung und Interpretation seiner Gesten. Ein Bild des inneren Abschnitts des Fahrzeugs wird aufgenommen, und das Bild des Fahrzeuginsassen wird vom Hintergrund im aufgenommenen Bild getrennt. Das getrennte Bild wird analysiert, und ein Gestenerkennungsprozessor interpretiert die Geste des Fahrzeuginsassen aus dem Bild. Ein Befehlsauslöser gibt den interpretierten gewünschten Befehl zusammen mit einer Bestätigungsmeldung für den Fahrzeuginsassen vor dem Auslösen des Befehls wieder. Wenn der Fahrzeuginsasse bestätigt, löst der Befehlsauslöser den interpretierten Befehl aus. Ferner beurteilt ein Interferenzmaschinenprozessor den Aufmerksamkeitszustand des Fahrzeuginsassen und übermittelt Signale an ein Fahrassistenzsystem, wenn der Fahrzeuginsasse unaufmerksam ist. Das Fahrassistenzsystem liefert Warnsignale an den unaufmerksamen Fahrzeuginsassen, wenn potenzielle Gefahren identifiziert werden. Ferner stellt ein Fahrererkennungsmodul bei Erkennen des Fahrers einen Satz von Personalisierungsfunktionen des Fahrzeugs wieder auf vorgespeicherte Einstellungen ein.

Description

Diese Offenbarung betrifft Fahrer- und Maschinenschnittstellen in Fahrzeugen und insbesondere solche Schnittstellen, welche einem Fahrer die Interaktion mit der Maschine ohne physischen Kontakt ermöglichen.
Systeme für die Interaktion eines Fahrzeuginsassen mit einem Fahrzeug bekannt. Ein Beispiel ist das 'SYNC'-System, das eine einfache Interaktion eines Fahrers mit dem Fahrzeug bereitstellt und Optionen aufweist, um durch Sprachbefehle Freisprechanrufe zu tätigen, Musikbedienelemente zu handhaben und andere Funktionen zu steuern, eine Push-to-talk-Taste auf dem Lenkrad zu verwenden und nötigenfalls auf das Internet zuzugreifen. Ferner sind viele Fahrzeuge mit Mensch-Maschine-Schnittstellen ausgestattet, die an geeigneten Stellen vorgesehen sind. Dies beinhaltet Schalter auf dem Lenkrad, Knöpfe auf der Mittelkonsole, Touchscreen-Schnittstellen und Trackpads.
Hin und wieder sind diese Bedienelemente, insbesondere diejenigen, die auf der Mittelkonsole vorgesehen sind, vom Fahrer nicht leicht zu erreichen. Dies kann den Fahrer dazu veranlassen, nach den gewünschten Schaltern zu suchen, und des Öfteren muss der Fahrer seine Hand ausstrecken, um die gewünschte(n) Steuerungsfunktion(en) zu erreichen. Lenkradschalter sind leicht zu erreichen, aber aufgrund der begrenzten Verfügbarkeit von Platz darauf wird die Bedienung von erweiterten Steuerungsmerkmalen durch Lenkradtasten eingeschränkt. Obwohl Sprachbefehle in dieser Hinsicht hilfreich sein können, kann diese Einrichtung hinderlich sein, wenn für einfache Vorgänge verwendet, die eine veränderliche Eingabe erfordern, wie beispielsweise ein Einstellen der Lautstärke des Musiksystems, Wechseln von Titeln oder Durchsuchen von Alben, Einstellen der Frequenz für das Radiosystem usw. Für solche Aufgaben dauern Sprachbefehlsvorgänge zuweilen länger, und der Fahrer zieht es in Fällen, in welchen das Spracherkennungssystem den gewünschten Befehl bei seiner ersten Äußerung nicht erkennen kann, vor, den gewünschten Vorgang durch seine Hände zu steuern, statt wiederholt Befehle zu geben.
Es besteht daher ein Bedarf an einem besseren System zur Ermöglichung der Interaktion zwischen dem Fahrer und den Steuerungsfunktionen des Fahrzeugs, welches die zuvor erwähnten Probleme effektiv bewältigen kann.
Die vorliegende Erfindung beschreibt ein gestenbasiertes Erkennungssystem und ein Verfahren zum Interpretieren der Gesten eines Fahrzeuginsassen und Auslösen von entsprechenden gewünschten Befehlen nach der Erkennung.
In einer Ausführungsform stellt diese Offenbarung ein gestenbasiertes Erkennungssystem bereit, um die Gesten eines Fahrzeuginsassen zu interpretieren und die gewünschten Befehlseingaben des Fahrzeuginsassen zu erhalten. Das System weist ein Mittel zum Aufnehmen eines Bildes des inneren Abschnitts des Fahrzeugs auf.
Das Bild kann ein zweidimensionales Bild oder ein dreidimensionales Tiefenbild sein, das dem inneren Abschnitt des Fahrzeugs entspricht. Ein Gestenerkennungsprozessor trennt das Bild des Fahrzeuginsassen vom Hintergrund im aufgenommenen Bild, analysiert das Bild, interpretiert die Geste des Fahrzeuginsassen aus dem getrennten Bild und erzeugt eine Ausgabe. Ein Befehlsauslöser empfängt die Ausgabe vom Gestenerkennungsprozessor und erzeugt einen interpretierten Befehl. Der Auslöser erzeugt ferner eine Bestätigungsmeldung, die dem interpretierten Befehl entspricht, liefert die Bestätigungsmeldung an den Fahrzeuginsassen und löst den Befehl bei Empfang einer Bestätigung vom Fahrzeuginsassen aus. Das System weist ferner einen Interferenzmaschinenprozessor auf, der mit einem Satz von Sensoren gekoppelt ist. Der Interferenzmaschinenprozessor wertet den Aufmerksamkeitszustand des Fahrzeuginsassen aus und empfängt Signale von den Sensoren, die potenziellen Gefahren entsprechen. Ein Fahrassistenzsystem ist mit dem Interferenzmaschinenprozessor gekoppelt und empfängt Signale von ihm. Das Fahrassistenzsystem liefert basierend auf der Aufmerksamkeit des Fahrzeuginsassen Warnsignale an den Fahrzeuginsassen, wenn die Interferenzmaschine zu einem spezifischen Zeitpunkt eine potenzielle Gefahr wahrnimmt.
Bei einer anderen Ausführungsform stellt diese Offenbarung ein Verfahren zum Interpretieren von Gesten eines Fahrzeuginsassen und Erhalten von gewünschten Befehlseingaben des Fahrzeuginsassen bereit. Das Verfahren weist ein Aufnehmen eines Bildes des inneren Abschnitts des Fahrzeugs und Trennen des Bildes des Fahrzeuginsassen vom aufgenommenen Bild auf. Das getrennte Bild wird analysiert, und die Geste des Fahrzeuginsassen wird aus den getrennten Bildern interpretiert. Der gewünschte Befehl des Fahrzeuginsassen wird dann interpretiert, und eine entsprechende Bestätigungsmeldung wird an den Fahrzeuginsassen geliefert. Bei Empfang einer Bestätigung wird der interpretierte Befehl ausgelöst.
Zusätzliche Aspekte, Merkmale und Aufgaben der vorliegenden Offenbarung sind aus den Zeichnungen und der ausführlichen Beschreibung der beispielhaften Ausführungsformen ersichtlich, die in Verbindung mit den im Anschluss angehängten Ansprüchen ausgelegt sind.
Die Figuren zeigen:
1 ist eine schematische Darstellung eines gestenbasierten Erkennungssystems gemäß der vorliegenden Offenbarung.
2 bis 4 sind typische Gesten, die durch das gestenbasierte Erkennungssystem der vorliegenden Offenbarung interpretiert werden können.
5 ist ein Flussdiagramm, das einem Verfahren zum Interpretieren von Gesten eines Fahrzeuginsassen und Erhalten einer gewünschten Befehlseingabe des Fahrzeuginsassen gemäß der vorliegenden Offenbarung entspricht.
Die folgende ausführliche Beschreibung offenbart Aspekte der Offenbarung und die Möglichkeiten zu ihrer Implementierung. Die Erfindung wird durch die Beschreibung jedoch weder definiert noch eingeschränkt, so dass solch eine Definition oder Beschränkung nur in den hierzu angehängten Ansprüchen enthalten ist. Obwohl die beste Form zur Ausführung der Erfindung offenbart wurde, ist für Fachleute zu erkennen, dass auch andere Ausführungsformen zum Ausführen oder Umsetzen der Erfindung möglich sind.
Die vorliegende Offenbarung betrifft ein gestenbasiertes Erkennungssystem und ein Verfahren zum Interpretieren der Gesten eines Fahrzeuginsassen und Erhalten von gewünschten Befehlseingaben des Fahrzeuginsassen durch Interpretieren der Gesten.
1 stellt ein beispielhaftes gestenbasiertes Erkennungssystem 100 zum Interpretieren der Gesten eines Fahrzeuginsassen und Erhalten von gewünschten Befehlen des Fahrzeuginsassen durch Erkennung dar. Das System 100 weist ein Mittel 110 zum Aufnehmen eines Bildes des inneren Abschnitts eines Fahrzeugs (nicht dargestellt) auf. Das Mittel 110 weist einen oder mehr innere Bildaufnahmesensoren 112 und einen Satz von äußeren Sensoren 114 auf. Die inneren Bildaufnahmesensoren 112 beobachten kontinuierlich den Innenraum des Fahrzeugs. Der eine oder die mehreren äußeren Sensoren 114 beobachten die äußere Umgebung des Fahrzeugs und nehmen Bilder davon auf. Ferner identifizieren die äußeren Sensoren 114 Fahrzeuge in der Nähe des Fahrzeugs des Fahrzeuginsassen und liefern Warnsignale, die potenziellen Kollisionsgefahren entsprechen, an ein Fahrassistenzsystem 150. Ein zweidimensionaler Bildgeber 116, bei dem es sich um eine Kamera handeln kann, nimmt 2D-Bilder des Innenraums des Fahrzeugs auf. Ferner weist das Mittel 110 einen dreidimensionalen Bildgeber 118 zum Aufnehmen eines Tiefenbildes des inneren Abschnitts des Fahrzeugs auf. Der 3D-Bildgeber 118 kann eine beliebige einschlägige Vorrichtung aufweisen, die auf dem Fachgebiet bekannt, mit Kraftfahrzeuganwendungen kompatibel und für diesen Zweck geeignet ist. Ein geeigneter 3D-Bildgeber ist eine Vorrichtung, die von PMD Technologies hergestellt wird und die einen anwendungsspezifischen Bildgeber verwendet. Ein anderer geeigneter 3D-Bildgeber kann ein CMOS-Bildgeber sein, der durch Messen der Verzerrung des Musters von emittiertem Licht funktioniert. Diese Vorrichtungen beruhen beide auf aktiver Beleuchtung, um das erforderliche Tiefenbild der Fahrzeuginnenräume zu erzeugen. In einem anderen Aspekt kann der 3D-Bildgeber 118 ein Blitzbildaufnahme-LIDAR sein, der die gesamte Innenraumansicht durch einen Laser oder einen Lichtimpuls aufnimmt. Der vom Mittel 110 verwendete Bildgebertyp hängt von Faktoren, einschließlich Kostenbeschränkungen und Gehäusegröße, und der zur Aufnahme von Bildern des inneren Abschnitts des Fahrzeugs erforderlichen Präzision ab.
Das Fahrzeug des Fahrzeuginsassen kann auch mit einem hochpräzisen Kollisionserkennungssystem 160 ausgestattet sein, welches jedes geeignete Kollisionserkennungssystem sein kann, das auf dem Fachgebiet allgemein bekannt ist. Das Kollisionserkennungssystem 160 kann einen Satz von Radarsensoren, Bildprozessoren und Seitenkameras usw. aufweisen, die zusammenwirken. Das Kollisionserkennungssystem 160 kann außerdem ein Totwinkel-Überwachungssystem zur Seitenabtastung und Spurwechselassistenz (LCA) aufweisen, wobei es sich um ein Nahbereichsabtastungssystem zum Erkennen eines sich rasch nähernden benachbarten Fahrzeugs handelt. Der Hauptmodus dieses Systems ist ein Nahbereichsabtastmodus, der normalerweise bei etwa 24 GHz arbeitet. Totpunkterkennungssysteme können auch ein bildbasiertes System aufweisen, das Kameras zur Totpunktüberwachung verwendet. In einer anderen Ausführungsform kann das Kollisionserkennungssystem 160 ein Valeo Raytheon System aufweisen, das bei 24 GHz arbeitet und Fahrzeuge in den Totpunktbereichen auf beiden Seiten des Fahrzeugs überwacht. Unter Verwendung mehrerer Strahlen des Mehrstrahlradarsystems bestimmt das Valeo System Position, Abstand und relative Geschwindigkeit eines sich nähernden Fahrzeugs in der Totpunktregion genau. Der Bereich des Systems beträgt etwa 40 Meter bei einem Sichtfeld von etwa 150 Grad.
Bei Identifizierung von potenziellen Kollisionsgefahren liefert das Kollisionserkennungssystem 160 entsprechende Signale an einen Gestenerkennungsprozessor 120. Der Einfachheit halber und zur Verringerung der Anzahl der Wörter wird der Gestenerkennungsprozessor 120 im Folgenden als 'Prozessor 120' bezeichnet. Wie in 1 dargestellt, ist der Prozessor 120 mit dem Kollisionserkennungssystem 160 und dem Mittel 110 gekoppelt. Nach der Aufnahme des Bildes des inneren Abschnitts des Fahrzeugs liefert das Mittel 110 das aufgenommene Bild an den Prozessor 120. Der Prozessor 120 analysiert das Bild und interpretiert die Gesten des Fahrzeuginsassen, indem er zuerst das Bild des Fahrzeuginsassen vom Hintergrund im aufgenommenen Bild trennt. Zum Identifizieren und Interpretieren von Gesten des Fahrzeuginsassen interpretiert der Prozessor 120 kontinuierlich Bewegungen, die vom Benutzer durch seine Hände, Arme usw. gemacht werden. Der Prozessor 120 weist eine Gestendatenbank 122 auf, die eine Anzahl von vorgegebenen Bildern enthält, die verschiedenen Gestenpositionen entsprechen. Der Prozessor 120 vergleicht das aufgenommene Bild mit dem Satz von vorgegebenen Bildern, die in der Gestendatenbank 122 gespeichert sind, um die Geste des Fahrzeuginsassen zu interpretieren. In 2 bis 4 sind typische Bilder dargestellt, die in der Gestendatenbank 122 gespeichert sind. Zum Beispiel entspricht das in 2(a) dargestellte Bild einem Knopfeinstellungsbefehl. Dieses Bild stellt den Zeigefinger, den Mittelfinger und den Daumen auf eine Weise in der Luft positioniert dar, die der Handlung des Haltens eines Knopfes gleicht. Eine durch die Analyse von kontinuierlich aufgenommenen Bildern des Fahrzeuginsassen wahrgenommene Drehung der so positionierten Hände von links nach rechts oder umgekehrt veranlasst den Prozessor 120 zu der Interpretation, dass eine Einstellung der Lautstärke des Musiksystems, der Temperaturregelung oder der Lüftergeschwindigkeitsregelung vom Fahrzeuginsassen gewünscht wird. Bei schnellerer Drehung in einer Richtung interpretiert der Prozessor 120 eine größere Änderung der Funktion, die gesteuert wird, und eine langsamere Drehung wird als ein Wunsch zur Vornahme einer feineren Einstellung interpretiert. Das in 2(b) dargestellte Bild entspricht der Einstellung einer Verkleinerung einer Ansicht. Diese Darstellung weist ein Positionieren des Daumens, des Zeigefingers und des Mittelfingers bei anfänglicher Beabstandung des Daumens auf. Der Fahrzeuginsasse muss mit den drei Fingern auf diese Weise in der Luft positioniert beginnen und dann den Zeigefinger und den Mittelfinger in einer Zusammendrückbewegung dem Daumen nähern. Eine langsamere Bewegung ermöglicht eine feinere Einstellung der Zoom-Funktion und ein schnelles Zusammenführen wird als eine schnelle Verkleinerung interpretiert. Das in 2(c) dargestellte Bild entspricht der Einstellung einer Vergrößerung einer Ansicht. Diese Geste ähnelt der tatsächlichen Funktion 'Auseinanderziehen zum Vergrößern' auf Berührungsbildschirmen. Der Daumen wird anfänglich leicht von Zeigefinger und Mittelfinger getrennt, worauf eine Wegbewegung des Daumens von Zeigefinger und Mittelfinger folgt. Wenn der Prozessor 120 diesem Bild ähnliche Gesten interpretiert, die vom Fahrzeuginsassen gemacht werden, aktiviert er bei Bestätigung durch den Fahrzeuginsassen die Vergrößerungsfunktion, wie im Folgenden erläutert. Die Verkleinerungs- und Vergrößerungsgesten werden zum Aktivieren von Funktionen, einschließlich der Zoomeinstellung, auf einem Anzeigebildschirm verwendet. Dies kann, ohne darauf beschränkt zu sein, eine fahrzeuginterne Straßenkarte, welche eine Straßenkarte sein kann, die einer vom GPS-/Navigationssystem des Fahrzeugs geplanten Route entspricht, eine Zoomeinstellung für einen fahrzeuginternen Webbrowser oder eine Steuerung einer beliebigen anderen fahrzeuginternen Funktion beinhalten, bei welcher eine Verkleinerungsoption anwendbar ist, zum Beispiel Albumcovers, einer aktuellen Wiedergabeliste usw.
Eine andere Geste, die der Prozessor 120 mit den entsprechenden, in der Datenbank 122 gespeicherten Bildern interpretiert, ist eine Scroll-/Dreh-/Schwenkfunktion, wie in 3(a) dargestellt. Zum Aktivieren dieser Funktion muss der Fahrzeuginsasse den Zeigefinger und den Mittelfinger zusammenlegen und diese nach links, rechts, oben oder unten schieben. Jede dieser Bewegungen führt bei Interpretation durch den Prozessor 120 zu einem Scrollen des Bildschirms in der entsprechenden Richtung. Ferner korreliert die Geschwindigkeit der Bewegung, während die Geste in der Luft gemacht wird, mit der tatsächlichen Geschwindigkeit des Scrollens über einen Anzeigebildschirm. Konkret führt ein schnelleres Streichen der Finger zu einem schnelleren Scrollen durch den Anzeigebildschirm und umgekehrt. Die Anwendung dieser Geste kann, ohne darauf beschränkt zu sein, ein Scrollen durch eine angezeigte Straßenkarte, Durchsuchen einer Liste von Titeln in einem Album, Suchen nach Frequenzen des Radiosystems oder Scrollen durch ein beliebiges Menü beinhalten, das auf dem Bildschirm angezeigt wird.
Das in 3(b) dargestellte Bild entspricht einer Auswähl-/Zeigefunktion. Zum Aktivieren dieser Funktion muss der Fahrzeuginsasse den Zeigefinger in der Luft positionieren und ihn leicht vorwärts drücken, um das tatsächliche Drücken einer Schaltfläche oder Auswählen einer Option nachzuahmen. Zum Einleiten einer Auswahl innerhalb eines bestimmten Bereichs auf einem Anzeigebildschirm muss der Fahrzeuginsasse mit dem Zeigefinger im Wesentlichen in Ausrichtung mit dem Bereich virtuell darauf zeigen. Wenn der Fahrzeuginsasse zum Beispiel wünscht, einen bestimmten Ort auf einer angezeigten Straßenkarte auszuwählen, und die Ansicht zu verkleinern, um Bereiche um den Ort zu sehen, muss er mit seinen Fingern in der Luft in Ausrichtung mit dem angezeigten Ort virtuell darauf zeigen. Das Zeigen mit dem Finger auf einen bestimmten virtuellen Bereich, wie in 3(b) dargestellt, führt zur Aktivierung von auswählbaren Optionen in der entsprechenden Richtung, die nach vorne zum Bildschirm projiziert ist. Diese Geste kann für verschiedene Auswahlmöglichkeiten verwendet werden, einschließlich des Auswählens eines bestimmten Liedes in einer Liste, Auswählens eines bestimmten Symbols in einem angezeigten Menü, Erkunden eines Ortes von Interesse auf einer angezeigten Straßenkarte usw.
Das in 4(a) dargestellte Bild ist die Geste, die einer 'Klicken und Ziehen'-Option entspricht. Um sie zu aktivieren, muss der Fahrzeuginsasse mit seinem Zeigefinger in der Luft ähnlich dem tatsächlichen Drücken einer Schaltfläche bzw. eines Symbols virtuell auf eine Option zeigen und dann den Finger die gewünschte Richtung entlang bewegen. Eine Interpretation dieser Geste führt zum Ziehen des Elements entlang dieser Richtung. Diese Funktion ist in solchen Fällen nützlich, die ein kontrolliertes Scrollen durch eine angezeigte Straßenkarte, Umordnen einer angezeigten Liste von Elementen durch Hinauf- und Hinunterziehen von bestimmten Elementen usw. aufweisen.
Die in 4(b) dargestellte Geste entspricht einer 'Aufwärtsbewegen'-Funktion. Der Fahrzeuginsasse muss mit seinem Zeigefinger auf etwas zeigen und diesen dann rasch nach oben bewegen. Bei Interpretation dieser Geste, führt eine Aktivierung dieser Funktion zum Zurückkehren zu einem Hauptmenü von einem Untermenü, das auf einem Berührungsbildschirm angezeigt wird. Alternativ kann sie auch zum Navigieren innerhalb eines Hauptmenüs verwendet werden, das auf dem Bildschirm wiedergegeben wird.
Andere ähnliche erklärbare und möglicherweise anwendbare Gesten und ihre entsprechenden Bilder in der Datenbank 122, obwohl in den Zeichnungen der Offenbarung nicht dargestellt, beinhalten jene, die der Funktion eines Öffnens bzw. Schließens eines Dachfensters entsprechen. Zum Aktivieren dieser Funktion muss der Fahrzeuginsasse eine Eingabe bereitstellen, in dem er eine Geste darstellt, die das Ergreifen einer Leine in der Nähe der Vorderseite des Dachfensters und anschließendes Zurückziehen oder Vorwärtsschieben derselben imitiert. Das kontinuierliche Aufnehmen des Bildes des Fahrzeuginsassen ermöglicht eine bessere Aktivierung dieser gestenbasierten Interpretation, und das Öffnen bzw. Schließen des Dachfensters stoppt an der Stelle, an der die Hand des Fahrzeuginsassen aufhört, sich zu bewegen. Ferner führt ein schnelles Vor- oder Zurückziehen zum vollständigen Öffnen bzw. Schließen des Dachfensters. Eine andere Geste führt zu einem Hochkippen des Dachfensters vom Fahrzeuginsassen weg. Der Fahrzeuginsasse muss seine Hände mit der Handfläche nach oben zum Dachfenster gerichtet in die Nähe desselben bringen und dann die Hand noch etwas weiter nach oben drücken. Zum Schließen eines geöffneten Dachfensters muss der Fahrzeuginsasse seine Hände dem Dachfenster nähern, das Halten einer Leine und ihr anschließendes Herunterziehen imitieren. Eine andere mögliche erklärbare Geste, die durch den Gestenerkennungsprozessor 120 interpretiert werden kann, ist die 'Streifbewegungsgeste' (obwohl in den Figuren nicht dargestellt). Diese Geste wird verwendet, um einen angezeigten Inhalt zwischen der Heads-up-Anzeige (HUD), dem Cluster und der Mittelkonsole des Fahrzeugs zu bewegen. Zum Aktivieren der Funktionalität dieser Geste muss der Fahrzeuginsasse mit seinem Zeigefinger auf den Inhalt zeigen, der bewegt werden soll, und dann den Zeigefinger in einer Weise, die der 'Streifbewegung' gleicht, in die gewünschte Richtung bewegen. Das Bewegen des Zeigefingers zum Beispiel von der Heads-up-Anzeige in Richtung der Mittelkonsole bewegt den anvisierten Inhalt von der HUD zur Mittelkonsole.
Der Prozessor 120 weist einen Interferenzmaschinenprozessor 124 (im Folgenden als 'Prozessor 124' bezeichnet) auf. Der Prozessor 124 verwendet das vom Mittel 110 aufgenommene Bild und die Eingaben von den inneren Sensoren 112 und äußeren Sensoren 114 des Fahrzeugs zum Identifizieren des Aufmerksamkeitszustandes des Fahrers. Dies beinhaltet das Identifizieren von Fällen, in welchen erkannt wird, dass der Fahrer unaufmerksam ist, beispielsweise in einem schläfrigen oder schlaftrunkenen Zustand ist oder sich mit dem Beifahrer oder einem Fahrzeuginsassen auf dem Rücksitz unterhält. Wenn in solchen Fällen eine potenzielle Gefahr vorliegt, die durch das Kollisionserkennungssystem 160 identifiziert wird, zum Beispiel wenn sich dem Fahrzeug des Fahrzeuginsassen ein Fahrzeug rasch nähert und eine potenzielle Kollisionsgefahr darstellt, übermittelt das Erkennungssystem 160 Signale hinsichtlich der potenziellen Gefahr an den Prozessor 124. Der Prozessor 124 teilt die Unaufmerksamkeit des Fahrers einem Fahrassistenzsystem 150 mit. Das Fahrassistenzsystem 150 liefert ein Warnsignal an den Fahrer/Fahrzeuginsassen. Solch ein Warnsignal wird entweder durch verbales Kommunizieren mit dem Fahrzeuginsassen oder durch ein akustisches Alarmzeichen mitgeteilt. Alternativ kann das Warnsignal auf einer Benutzeroberfläche wiedergegeben werden, wobei Einzelheiten davon auf der Oberfläche angezeigt werden. Der genaue Zeitpunkt, zu dem solch ein Warnsignal an den Fahrzeuginsassen übermittelt wird, hängt von der Aufmerksamkeit des Fahrzeuginsassen ab. Insbesondere bei einem schläfrigen oder schlaftrunkenen Fahrer werden die Signale unverzüglich und viel früher übermittelt, als wenn das Warnsignal einem aufmerksamen Fahrer vermittelt werden würde. Wenn die äußeren Sensoren 114 des Fahrzeugs eine scharfe Kurve, eine Schwelle zur Geschwindigkeitsbegrenzung oder etwas Ähnliches identifizieren und erkannt wird, dass der Fahrzeuginsasse nicht angegurtet ist, dann kann das Fahrerassistenzsystem 150 ein Signal an den Fahrzeuginsassen liefern, dass er den Sicherheitsgurt anlegen soll.
Der Prozessor 120 weist ferner ein Fahrererkennungsmodul 126 auf, das so konfiguriert ist, dass es das Bild des Fahrers erkennt. Konkret ist das Fahrererkennungsmodul 126 so konfiguriert, dass es das Bild des Eigentümers des Autos oder der Person erkennt, die das Auto am häufigsten fährt. In einer Ausführungsform verwendet das Fahrererkennungsmodul 126 ein Gesichtserkennungssystem, das einen Satz von vorgespeicherten Bildern in einer Gesichtsdatenbank aufweist, die dem Eigentümer oder der Person entsprechen, die das Auto am häufigsten fährt. Jedes Mal, wenn der Eigentümer erneut mit dem Auto fährt, erhält das Fahrerkennungsmodul das aufgenommene Bild des inneren Abschnitts des Fahrzeugs vom Mittel 110 und vergleicht das Bild des Fahrzeuginsassen mit den Bildern in der Gesichtsdatenbank. Für Fachleute ist zu erkennen, dass das Fahrererkennungsmodul 126 Merkmale oder Landmarken aus dem aufgenommenen Bild des Fahrzeuginsassen extrahiert und diese Merkmale mit den Bildern in der Gesichtsdatenbank vergleicht. Das Fahrererkennungsmodul kann jeden geeigneten, auf dem Fachgebiet bekannten Erkennungsalgorithmus, einschließlich des Fisherface-Algorithmus, zum Erkennen des Fahrers verwenden, der Elastic Bunch Graph Matching, Linear Discriminate Analysis, Dynamic Link Matching und so weiter verwendet.
Sobald das Fahrererkennungsmodul 126 den Fahrer/Eigentümer, der den Fahrersitz einnimmt, erkennt, übermittelt es Signale an einen Personalisierungsfunktionsprozessor 128. Der Personalisierungsfunktionsprozessor 128 stellt einen Satz von Personalisierungsfunktionen des Fahrzeugs wieder auf einen Satz von vorgespeicherten Einstellungen ein. Die voreingestellten Einstellungen entsprechen den Präferenzen des Fahrers, zum Beispiel einem bevorzugten Temperaturwert für die Klimaanlage, einem bevorzugten Lautstärkebereich der Musikbedienelemente, dem am häufigsten eingestellten Funkfrequenzband, dem Wiedereinstellen des Fahrersitzes auf die bevorzugte bequeme Position usw.
Ein Befehlsauslöser 130 (im Folgenden als 'Auslöser 130' bezeichnet) ist mit dem Prozessor 120 gekoppelt. Der Auslöser 130 löst den gewünschten Befehl des Fahrzeuginsassen aus, nachdem der Prozessor 120 die Geste des Fahrzeuginsassen interpretiert hat. Konkret erzeugt der Prozessor 120 beim Interpretieren der Geste des Fahrzeuginsassen eine entsprechende Ausgabe und liefert die Ausgabe an den Auslöser 130. Der Auslöser 130 erzeugt den gewünschten Befehl unter Verwendung der Ausgabe und sendet eine Bestätigungsmeldung an den Fahrzeuginsassen, bevor er den Befehl auslöst. Die Bestätigungsmeldung kann dem Fahrzeuginsassen durch ein Kommunikationsmodul 134 verbal in einem Fragemodus kommuniziert werden, oder sie kann über eine Benutzeroberfläche 132 mittels einer darin eingebetteten Genehmigungsoption (d. h. 'Ja'- oder 'Nein'-Symbolen) wiedergegeben werden. Der Fahrzeuginsasse bestätigt den interpretierten Befehl entweder durch Bereitstellen einer verbalen Bestätigung oder durch Anklicken der Genehmigungsoption auf der Benutzeroberfläche 132. Falls der Fahrzeuginsasse eine verbale Bestätigung bereitstellt, interpretiert ein Spracherkennungsmodul 136 die Bestätigung. Schließlich führt der Auslöser 130 den gewünschten Befehl des Fahrzeuginsassen aus. Falls eine Geste fehlinterpretiert wird und eine Ablehnung der Ausführung des interpretierten Befehls vom Fahrzeuginsassen erhalten wird, gibt der Auslöser 130 eine Bestätigungsmeldung wieder, die einer anderen, jedoch der vorherigen ähnlichen Befehlsoption entspricht. Wenn zum Beispiel der gewünschte Befehl ein Erhöhen der Lautstärke des Musiksystems ist und er als Erhöhen der Temperatur der Klimaanlage fehlinterpretiert wird, dann gibt der Auslöser 130 bei Empfang einer Ablehnung vom Fahrzeuginsassen im ersten Versuch Bestätigungsmeldungen wieder, die anderen Befehlen entsprechen, bis der gewünschte Vorgang implementiert werden kann. In einer Ausführungsform stellt der Fahrzeuginsasse eine gestenbasierte Bestätigung der wiedergegebenen Bestätigungsmeldung bereit. Zum Beispiel kann eine Geste, welche der Genehmigung des Fahrzeuginsassen zur Ausführung eines interpretierten Befehls entspricht, ein 'Daumen nach oben' in der Luft sein, und eine Ablehnung kann durch eine 'Daumen nach unten'-Geste interpretiert werden. In diesen Aspekten speichert die Gestendatenbank 122 die entsprechenden Bilder für den Prozessor 120, um die gestenbasierten Genehmigungen zu interpretieren.
Das Flussdiagramm in 5 offenbart verschiedene Schritte eines Verfahrens 500 zum Interpretieren von Gesten eines Fahrzeuginsassen und Erhalten von gewünschten Befehlseingaben des Fahrzeuginsassen. Bei Schritt 502 wird ein Bild des inneren Abschnitts des Fahrzeugs und der äußeren Umgebung aufgenommen. Das Bild für den inneren Abschnitt des Fahrzeugs kann ein zweidimensionales Bild, das durch eine Kamera erhalten werden kann, oder ein dreidimensionales Tiefenbild des Fahrzeuginnenraums sein, das durch geeignete, auf dem Fachgebiet bekannte Vorrichtungen erhalten werden kann, wie zuvor erläutert. Bei Schritt 504 analysiert das Verfahren das aufgenommene Bild des inneren Abschnitts und trennt das Bild des Fahrzeuginsassen davon. Bei Schritt 506 wird das getrennte Bild analysiert, und die Geste des Fahrzeuginsassen wird daraus interpretiert. In einer Ausführungsform weist die Interpretation der Geste des Fahrzeuginsassen ein Vergleichen des aufgenommenen Bildes mit einem Satz von vorgespeicherten Bildern auf, die verschiedenen Gesten entsprechen. Zu diesem Zweck können verschiedene, auf dem Fachgebiet verfügbare Algorithmen verwendet werden, wie zuvor erörtert. Der Ansatz, der durch solche Algorithmen verwendet wird, kann entweder ein geometrischer Ansatz, der sich auf die charakteristischen Merkmale des aufgenommenen Bildes konzentriert, oder ein fotometrischer Ansatz sein, der das Bild in Werte destilliert und dann diese Werte mit Merkmalen vorgespeicherter Bilder vergleicht. Bei der Interpretation der Geste des Fahrzeuginsassen wird bei Schritt 508 eine Interpretation eines entsprechenden gewünschten Befehls des Fahrzeuginsassen durchgeführt. Bei Schritt 510 erhält das Verfahren eine Bestätigungsmeldung vom Fahrzeuginsassen im Hinblick darauf, ob der interpretierte Befehl der gewünschte Befehl des Fahrzeuginsassen ist. Dies erfolgt, um Fälle zu berücksichtigen, in welchen die Geste des Fahrzeuginsassen fehlinterpretiert wird. Wenn der Fahrzeuginsasse bestätigt, wird bei Schritt 512 dann der interpretierte Befehl ausgelöst. Wenn der Fahrzeuginsasse den interpretierten Befehl nicht bestätigt und einen anderen Befehl auszuführen wünscht, dann liefert das Verfahren eine andere Bestätigungsmeldung an den Fahrzeuginsassen, die einem anderen möglichen Befehl in Bezug auf die interpretierte Geste entspricht. Falls das Verfahren zum Beispiel die Geste des Fahrzeuginsassen eines Drehens seiner Hände zum Drehen eines Knopfes interpretiert und eine erste Bestätigungsmeldung mit der Frage liefert, ob die Lautstärke des Musiksystems erhöht/verringert werden soll, und der Fahrzeuginsasse die Bestätigung ablehnt, dann kann eine zweite relevante Bestätigungsmeldung wiedergegeben werden, die zum Beispiel ein Erhöhen/Verringern der Lüftergeschwindigkeit sein kann.
Bei Schritt 514 wertet das Verfahren den Aufmerksamkeitszustand des Fahrers durch Analysieren des aufgenommenen Bildes für den inneren Abschnitt des Fahrzeugs aus. Bei Schritt 516 identifiziert das Verfahren potenzielle Gefahren, zum Beispiel ein sich rasch näherndes Fahrzeug, eine bevorstehende Schwelle zur Geschwindigkeitsbegrenzung oder eine scharfe Kurve. Zu diesem Zweck können beliebige Mittel verwendet werden, die auf dem Fachgebiet bekannt sind, einschließlich fahrzeuginterner Kollisionserkennungssysteme, Radare, Lidar, innerer und äußerer Fahrzeugsensoren. Wenn eine potenzielle Gefahr vorliegt und erkannt wird, dass der Fahrer unaufmerksam ist, dann werden bei Schritt 520 zu einem bestimmten Zeitpunkt Warnsignale an den Fahrzeuginsassen geliefert. Der genaue Zeitpunkt, zu dem solche Signale bereitgestellt werden, hängt vom Aufmerksamkeitsgrad des Fahrzeuginsassen/Fahrers ab, und im Falle eines schlaftrunkenen/schläfrigen Fahrers werden solche Signale unverzüglich bereitgestellt.
Bei Schritt 522 erkennt das Verfahren 500 den Fahrer durch eine Analyse des aufgenommenen Bildes. Für die Erkennung können geeignete Verfahren, einschließlich auf dem Fachgebiet bekannter Gesichtserkennungssysteme, wie zuvor erläutert, verwendet werden. Das Bild des Eigentümers des Autos oder der Person, die das Auto sehr oft fährt, kann in einer Gesichtsdatenbank gespeichert werden. Wenn die gleiche Person erneut in das Auto einsteigt, vergleicht das Verfahren 500 das aufgenommene Bild der Person mit den Bildern in der Gesichtsdatenbank, um sie zu erkennen. Bei Erkennung wird bei Schritt 524 ein Satz von Personalisierungsfunktionen, die der Person entsprechen, auf einen Satz von vorgespeicherten Einstellungen zurückgesetzt. Zum Beispiel kann die Temperatur des Innenraums automatisch auf einen vorher festgelegten Wert gesetzt oder das fahrerseitige Fenster automatisch halb geöffnet werden, wenn die Person den Sitz einnimmt, wie normalerweise von ihr bevorzugt.
Das offenbarte gestenbasierte Erkennungssystem kann in jedem Fahrzeug verwendet werden, das mit geeigneten Vorrichtungen, wie zuvor beschrieben, zum Erreichen der Aufgaben der Offenbarung ausgestattet ist.
Obwohl die gegenwärtige Erfindung in beträchtlichen Einzelheiten umfassend beschrieben wurde, um die möglichen Aspekte und Ausführungsformen zu erfassen, ist für Fachleute zu erkennen, dass auch andere Varianten der Erfindung möglich sein können.

Claims

Gestenbasiertes Erkennungssystem zum Interpretieren einer Geste eines Fahrzeuginsassen und Erhalten von gewünschten Befehlseingaben des Fahrzeuginsassen durch Gestenerkennung, wobei das System Folgendes aufweist: Mittel zum Aufnehmen eines Bildes des inneren Abschnitts des Fahrzeugs; einen Gestenerkennungsprozessor, der so ausgelegt ist, dass er das Bild des Fahrzeuginsassen vom aufgenommenen Bild trennt, und ferner so ausgelegt ist, dass er Gesten des Fahrzeuginsassen aus dem Bild interpretiert und eine Ausgabe erzeugt; und einen Befehlsauslöser, der mit dem Gestenerkennungsprozessor gekoppelt und so ausgelegt ist, dass er die Ausgabe von ihm empfängt, einen gewünschten Befehl interpretiert und den Befehl basierend auf einer vom Fahrzeuginsassen empfangenen Bestätigung auslöst.
System nach Anspruch 1, wobei das Mittel eine Kamera aufweist, die so konfiguriert ist, dass sie ein zweidimensionales Bild oder ein dreidimensionales Tiefenbild des inneren Abschnitts des Fahrzeugs erhält.
System nach Anspruch 1, wobei der Befehlsauslöser eine Benutzeroberfläche aufweist, die so konfiguriert ist, dass sie den gewünschten Befehl und eine entsprechende Bestätigungsmeldung anzeigt und den Fahrzeuginsassen auffordert, die Bestätigung bereitzustellen.
System nach Anspruch 1, wobei der Befehlsauslöser ein Kommunikationsmodul, das so konfiguriert ist, dass es dem Fahrzeuginsassen die interpretierte Geste des Fahrzeuginsassen verbal kommuniziert, und ein Spracherkennungsmodul aufweist, das so konfiguriert ist, dass es eine entsprechende verbale Bestätigung vom Fahrzeuginsassen erkennt.
System nach Anspruch 1, wobei der Gestenerkennungsprozessor eine Datenbank aufweist, die einen Satz von vorgegebenen Gestenbildern speichert, die verschiedenen gestenbasierten Befehlen entsprechen.
System nach Anspruch 5, wobei die vorgegebenen Bilder mindestens die Bilder aufweisen, welche Knopfeinstellung, Vergrößerungs- und Verkleinerungseinstellungen, Klicken zum Auswählen, Scrollen, Durchblättern und Klicken zum Ziehen entsprechen.
System nach Anspruch 1, wobei der Gestenerkennungsprozessor ferner einen Interferenzmaschinenprozessor aufweist, der so konfiguriert ist, dass er die Aufmerksamkeit des Fahrzeuginsassen beurteilt; wobei das System ferner ein Fahrassistenzsystem aufweist, das mit dem Interferenzmaschinenprozessor gekoppelt ist, um Eingaben von ihm zu empfangen, wenn der Fahrzeuginsasse unaufmerksam ist.
System nach Anspruch 6, ferner aufweisend ein Kollisionserkennungssystem, das mit dem Fahrassistenzsystem und dem Interferenzmaschinenprozessor gekoppelt ist, wobei das Kollisionserkennungssystem so ausgelegt ist, dass es potenzielle Gefahren beurteilt und entsprechende Gefahrensignale an das Fahrassistenzsystem liefert.
System nach Anspruch 1, wobei der Gestenerkennungsprozessor ein Fahrererkennungsmodul aufweist, das so konfiguriert ist, dass es das Bild des Fahrers erkennt und einen Satz von Personalisierungsfunktionen basierend auf der Erkennung wieder auf einen Satz von vorgespeicherten Einstellungen einstellt, die dem Fahrer entsprechen.
System nach Anspruch 9, wobei das Fahrererkennungsmodul eine Gesichtsdatenbank aufweist, die einen Satz von vorgespeicherten Bildern enthält, und so konfiguriert ist, dass es Merkmale aus dem aufgenommenen Bild mit den Bildern in der Gesichtsdatenbank vergleicht.