-
Die Erfindung betrifft ein System für ein Fahrzeug, insbesondere zur Vorhersage einer Annäherung einer Hand an eine Fahrzeug-Bedieneinheit, sowie ein Fahrzeug mit einem solchen System.
-
In Fahrzeugen, insbesondere Personenkraftwagen, werden zunehmend Bedieneinheiten vorgesehen, um nicht nur Unterhaltungsfunktionen zu steuern, sondern auch andere Funktionen eines Fahrzeugs, insbesondere Komfortfunktionen wie Klimaanlage und Innenraumbeleuchtung, Funktionen eines Navigationssystems, aber auch für die Fahrzeugführung essenzielle Funktionen wie die Einstellung einer Scheibenwischergeschwindigkeit. Im Stand der Technik ist es bekannt, einen Bildschirm im Sinne der oben genannten Bedieneinheit nur dann in einen aktivierten Modus zu versetzen, wenn sich eine bedienende Hand in entsprechender Nähe zum Bildschirm befindet.
-
Die
EP 2 424 743 B1 betrifft in diesem Zusammenhang ein Verfahren zum Anzeigen von Informationen mittels eines in einem Kraftfahrzeug befestigten Displays, bei dem von einer Benutzerschnittstelleneinrichtung Graphikdaten erzeugt werden, die zumindest einen Teilbereich des Displays so ansteuern, dass in einem Bedienzustand Informationen dargestellt werden, die zumindest einem mittels einer Eingabeeinrichtung ausführbaren Bedienschritt zugeordnet sind, und in einem Anzeigezustand Informationen dargestellt werden, die keinen Bedienschritten zugeordnet sind, und dass ein Eintreten eines Objekts in eine Bedienzone, die der Eingabeeinrichtung zugeordnet ist, und ein Verlassen der Bedienzone detektiert wird, und wobei die Benutzerschnittstelleneinrichtung von dem Bedienzustand in den Anzeigezustand wechselt, wenn das Objekt die Bedienzone verlässt und wenn das Objekt nicht innerhalb eines definierten Zeitintervalls wieder in die Bedienzone eintritt, wobei die Geschwindigkeit des Fahrzeugs erfasst wird und dass die Länge des Zeitintervalls in Abhängigkeit von der Fahrzeuggeschwindigkeit festgelegt wird.
-
Die Schwierigkeit bei dieser Lösung aus dem Stand der Technik besteht insbesondere darin, passende Sensorik zu verwenden, um die Annäherung der Hand an die Eingabeeinrichtung zuverlässig zu ermitteln. Im Innenraum eines Fahrzeugs standardmäßig verbaute Sensorik dient nämlich häufig lediglich dazu, einen Fahrer des Fahrzeugs zu überwachen und ist insbesondere auf das Gesicht des Fahrers gerichtet, um mittels Gesichtserkennung oder über Nachverfolgung von Augenbewegungen entsprechende Funktionen auszulösen. Der Bereich um eine Bedieneinheit wird aus diesem Grund häufig nicht oder nicht vollständig überwacht. Dies steht der Aufgabe entgegen, die für die Überwachung des Fahrers typischerweise verwendete Sensorik dazu zu verwenden, eine Annäherung einer Hand des Fahrers oder eine Geste im Bereich unmittelbar vor der Bedieneinheit zu erfassen.
-
Es ist eine Aufgabe der Erfindung, es zu ermöglichen, mit Sensorik eine zukünftige Bewegung einer Hand oder eines Teils einer Hand eines Anwenders in einem Fahrzeug vorherzusagen, während die Sensorik primär für den Zweck der Beobachtung des Oberkörpers des Anwenders im Fahrzeuginnenraum dient.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Ein erster Aspekt der Erfindung betrifft ein System für ein Fahrzeug, aufweisend eine Überwachungseinheit, die dazu dient, mit ihrem Erfassungsbereich zumindest einen Teil des Innenraums eines Fahrzeugs zu überwachen und Daten darüber an eine Recheneinheit des Systems zu übermitteln, wobei die Recheneinheit dazu ausgeführt ist, aus den Daten eine aktuelle Position und eine aktuelle Bewegung, insbesondere eine aktuelle Geschwindigkeit und eine aktuelle Bewegungsrichtung, einer Hand oder eines Teils einer Hand einer sich im Innenraum des Fahrzeugs befindenden Person zu ermitteln, und aus der aktuellen Position und der aktuellen Bewegung eine Vorhersage darüber zu berechnen, ob die Hand oder der Teil der Hand in einen vorgegebenen Bereich um eine Bedieneinheit des Fahrzeugs eindringen wird und bei vorhergesagtem Eindringen ein Signal darüber an die Bedieneinheit des Fahrzeugs zu übermitteln.
-
Die Überwachungseinheit weist bevorzugt eine Kameraeinheit auf, die insbesondere auf den Oberkörper des Fahrers des Fahrzeugs gerichtet ist. Prinzipiell kann anstelle der Kameraeinheit auch eine andere Sensoreinheit verwendet werden, wie Ultraschallsensoren, oder eine niederenergetische Radareinheit.
-
Durch ihre Ausrichtung kann die Überwachungseinheit typischerweise im Bereich des Oberkörpers und insbesondere im Bereich des Gesichts des Fahrers Handbewegungen erkennen, häufig jedoch nicht in unmittelbarer Nähe zur Oberfläche der Bedieneinheit, wie ein berührungsempfindlicher Bildschirm. Eine solcher berührungsempfindlicher Bildschirm weist ein Display auf, welches zum Anzeigen von Informationen genauso wie zum Erfassen von berührenden Eingaben eines Anwenders ausgeführt ist. Die Bedieneinheit kann jedoch auch anstelle der Erfassung von Eingaben auf ihrer ebenen Oberfläche dazu ausgeführt sein, flächige oder räumliche Gesten der Hand oder eines Teils der Hand des Anwenders zu erfassen, welche oberhalb der Bedieneinheit berührungslos ausgeführt werden.
-
Auch dann, wenn die Überwachungseinheit mit ihrem Erfassungsbereich die Gesten im dafür vorgesehenen Bereich relativ zur Bedieneinheit nicht erfassen kann (oder im anderen Fall, dass ein bestimmter Modus der Bedieneinheit aktiviert werden soll, wenn sich die Hand oder der Teil der Hand in einem vorgegebenen Bereich relativ zur Bedieneinheit befindet), und dadurch das Eintreten der Hand in den vorgegebenen Bereich nicht unmittelbar durch die Überwachungseinheit erkennbar ist, kann zumindest eine Vorhersage getroffen werden, ob die Hand oder der Teil der Hand in den vorgegebenen Bereich eindringt und/oder eine Geste vorhergesagt werden kann. Diese Vorhersagen werden auf Grundlage der Daten der Überwachungseinheit getroffen, die hierfür mit ihrem Erfassungsbereich außerhalb des vorgegebenen Bereichs um die Bedieneinheit (bzw. des Gesten erfassenden Bereichs oberhalb oder vorderhalb der Bedieneinheit) Informationen aufnimmt.
-
Hierfür ist in der Recheneinheit vorteilhaft ein Raummodell implementiert, welches die Position und Orientierung der Bedieneinheit relativ zur Fahrzeugkarosserie und damit relativ zur Überwachungseinheit gespeichert hält. Aus der Positionsermittlung und der Bewegungsermittlung der Hand oder falls gewünscht eines gewissen Teils der Hand wie eines Fingers kann damit die Position und Bewegung für einen aktuellen Zeitpunkt der Hand oder des Teils der Hand in Relation zur Position und Orientierung der Bedieneinheit gesetzt werden. Dies ermöglicht die Ermittlung der Vorhersage der weiteren Bewegung der Hand bzw. des Teils der Hand.
-
Hiermit ist es insbesondere möglich, vorherzusagen, ob die Hand oder wahlweise der Teil der Hand in einen vorgegebenen Bereich um die Bedieneinheit eintreten wird. Je nach Ergebnis dieser Vorhersage wird ein entsprechendes Signal an die Bedieneinheit übermittelt, sodass beispielsweise eine Gestenerfassung an der Bedieneinheit gestartet werden kann, oder beispielsweise im Falle eines berührungsempfindlichen Bildschirms als Ausführung der Bedieneinheit das Display des Bildschirms aktiviert werden kann, wenn die Hand oder der Teil der Hand in den vorgegebenen Bereich um den Bildschirm eintritt.
-
Im Obigen und im Folgenden wird vom Anwender funktional bezüglich der Bedieneinheit gesprochen, bevorzugt ist jedoch das System für einen Fahrer und/oder Beifahrer eines Fahrzeugs vorgesehen, sodass entsprechend der Fahrer oder Beifahrer der jeweilige Anwender sein kann, bevorzugt jedoch nur der Fahrer.
-
Es ist eine vorteilhafte Wirkung der Erfindung, dass keine zusätzlichen Sensoren notwendig sind, um eine Information darüber zu erhalten, zu welchem Zeitpunkt voraussichtlich eine Hand oder ein Teil einer Hand in einen vorgegebenen Bereich einer Bedieneinheit eines Fahrzeugs eindringen wird. Dies erlaubt eine kosteneffiziente Näherungs-Funktionalität und Gesten-Funktionalität, ohne dass ein hoher Aufwand für technische Integration erforderlich ist. Insbesondere wird kein zusätzlicher Sensor außer dem oder denen der Überwachungseinheit benötigt, die mit ihrem Erfassungsbereich typischerweise in Richtung des Oberkörpers oder des Gesichts des Fahrers gerichtet ist.
-
Gemäß einer vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, eine aktuelle Trajektorie der Hand oder des Teils der Hand zu ermitteln und daraus eine zukünftige Trajektorie der Hand oder des Teils der Hand zu ermitteln und mittels der zukünftigen Trajektorie die Vorhersage zu ermitteln.
-
Bevorzugt wird die Position der Hand und die Geschwindigkeit der Hand zu einem aktuellen Zeitpunkt innerhalb des Erfassungsbereichs der Überwachungseinheit von der Recheneinheit ermittelt und insbesondere beim Erreichen der Grenze des Erfassungsbereichs die Handposition und die Handbewegung außerhalb des Erfassungsbereichs vorhergesagt. Die vorhergesagte Endposition P1 der Hand kann damit auf Basis der Anfangsposition P0 sowie der aktuell ermittelten Geschwindigkeit V der Hand berechnet werden durch P1=V*t+P0, worin t die Zeit beschreibt, nach welcher P1 erreicht wird. Selbiges gilt für einen Teil der Hand, wenn dieser das gewünschte Bezugselement aufweist, beispielsweise ein Finger.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, zur Vorhersage Daten der Überwachungseinheit umfassend Informationen über Position und/oder Bewegung von anderen Körperteilen außer der Hand zusammen mit einem Skelettmodell eines Menschen zu verwenden.
-
Wird die Position und Bewegung weiterer Körperteile außer der Hand im Erfassungsbereich beobachtet, kann mithilfe eines Skelettmodells auf Position und Bewegung der Hand (und stellvertretend für die Hand eines Teils der Hand) geschlossen werden. Wird beispielsweise die Bewegung eines Oberarms mit der Schulter in ihrer Rotation und Orientierungsänderung beobachtet, sowie gleichzeitig ein nach vorne Strecken des Oberkörpers des Fahrers, deutet dies auf eine Bewegung der Hand nach vorne hin. Je näher dabei Körperbereiche an der Hand beobachtet werden können, umso genauer wird die Vorhersage über die Bewegung der Hand sein.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Vorhersage auf Basis des Skelettmodells und der zukünftigen Trajektorie zu ermitteln. Hierbei werden beide Vorhersagen miteinander kombiniert und beispielsweise in einem Schätzmodell wie dem Kalman-Filter zusammengeführt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, eine Vorhersage darüber zu treffen, zu welcher Zeit sich die Hand oder der Teil der Hand an welchem Ort und/oder mit welcher Geschwindigkeit jeweils relativ zur Bedieneinheit befinden wird.
-
Die genaue Vorhersage über die tatsächliche Position und Bewegung der Hand oder des Teils der Hand außerhalb des Erfassungsbereichs der Überwachungseinheit erlaubt es, eine Gestensteuerung an der Bedieneinheit zu unterstützen, da genauere Vorhersagen über Position und Bewegung gemacht werden können. Dies setzt entsprechend genaue Modelle und einen weitreichenden Erfassungsbereich der Überwachungseinheit voraus, sodass zuverlässig die Gestensteuerung durch prädiktive Elemente unterstützt werden kann.
-
Gemäß einer weiteren vorteilhaften Ausführungsform liegt der vorgegebene Bereich vollständig oder teilweise außerhalb des Erfassungsbereichs der jeweiligen Überwachungseinheit.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin die Bedieneinheit auf, wobei die Bedieneinheit dazu ausgeführt ist, auf das Signal der Recheneinheit hin eine Bedienbarkeitsfunktion zu aktivieren.
-
Die Bedienbarkeitsfunktion kann insbesondere darin bestehen, den Zustand eines Bildschirms der Bedieneinheit zu verändern, insbesondere von einem Stand-by-Modus in einen aktiven Modus. Ist der Bildschirm außerdem ein berührungsempfindlicher Bildschirm, kann ferner eine Berühr-Steuerung des Bildschirms aktiviert werden, wenn die Hand oder der Teil der Hand entsprechend nahe an dem Bildschirm ist.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, aus der aktuellen Position, der Bewegungsrichtung und der Geschwindigkeit der Hand oder eines Teils einer Hand eine Vorhersage zu treffen, nach welcher Zeit die Hand oder der Teil der Hand den vorgegebenen Bereich erreichen wird und das Signal an die Bedieneinheit erst zum Auslaufen der vorhergesagten Zeit an die Bedieneinheit zu übermitteln oder das Signal zusammen mit der Information über die vorhergesagte Zeit sofort an die Bedieneinheit zu übermitteln.
-
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das System mehrere verschiedenartige Überwachungseinheiten, wobei die Recheneinheit dazu ausgeführt ist, durch Sensorfusion die Informationen der Überwachungseinheiten zu fusionieren und als Ergebnis der Sensorfusion resultierende Daten der Überwachungseinheiten zu ermitteln und auf Basis der resultierenden Daten die Vorhersage auszuführen.
-
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das System mehrere verschiedenartige Überwachungseinheiten, wobei die Recheneinheit dazu ausgeführt ist, für jede der Überwachungseinheiten eine Vorhersage zu ermitteln und die Vorhersagen zu fusionieren.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.
-
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigt:
- 1: Ein System für ein Fahrzeug zum Prädizieren einer Annäherung einer Hand an eine Fahrzeug-Bedieneinheit gemäß einem Ausführungsbeispiel der Erfindung.
-
Die Darstellungen in der Figur sind schematisch und nicht maßstäblich.
-
1 zeigt ein System 1 für ein Fahrzeug 3, welches dazu dient, eine Vorhersage über die Bewegung einer Hand 9 seines Fahrers eines Fahrzeugs 3 zur ermitteln. Das Fahrzeug 3 ist ein Personenkraftwagen, welches mit einem berührungsempfindlichen Bildschirm 11 als Bedieneinheit ausgerüstet ist. Eine kamerabasierte Überwachungseinheit 5 im Innenraum des Fahrzeugs weist einen solchen Erfassungsbereich auf, der auf den Oberkörper des Fahrers gerichtet ist. Der Erfassungsbereich der kamerabasierten Überwachungseinheit 5 schließt jedoch nicht den Bildschirm 11 mit ein, sondern endet entlang einer zum Bildschirm 11 parallelen Ebene im Abstand von fünfzehn Zentimetern oberhalb der Oberfläche des Bildschirms 11. Um den Bildschirm zu aktivieren, ist jedoch eine Information darüber notwendig, ob die Hand 9 des Fahrers des Fahrzeugs 3 in den Bereich von zehn Zentimetern oberhalb der Oberfläche des Bildschirms 11 eindringt. Hierzu übermittelt die Überwachungseinheit 5 sämtliche Daten aus ihrem Erfassungsbereich an die Recheneinheit 7. Die Recheneinheit 7 im Fahrzeug 3 ermittelt daraufhin aus den Daten einer aktuellen Position und einer aktuelle Bewegungsrichtung und Geschwindigkeit der Hand 9 des Fahrers eine Vorhersage darüber, ob die Hand 9 oder der Teil der Hand 9 in den vorgegebenen Bereich von zehn Zentimetern Abstand zum Bildschirm 11 eindringen wird. Bei vorhergesagtem Eindringen wird dann ein Signal darüber an den Bildschirm 11 des Fahrzeugs 3 übermittelt. Diese Vorhersage wird über eine Trajektorien-Extrapolation ausgeführt und basiert auf den Daten der Bewegung der Hand 9, solange sich diese im Erfassungsbereich der Überwachungseinheit 5 befindet. Der Bildschirm 11 aktiviert daraufhin Eingabefunktionen genau zu der Zeit, für die laut Vorhersage ein Eindringen der Hand in den vorgegebenen Bereich innerhalb von zehn Zentimetern oberhalb des Bildschirms 11 erfolgt.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- System
- 3
- Fahrzeug
- 5
- Überwachungseinheit
- 7
- Recheneinheit
- 9
- Hand bzw. Teil einer Hand
- 11
- Bedieneinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
