-
Die Erfindung betrifft einen Kraftwagen mit einem Head-up-Display, das heißt einer Head-up-Anzeigeeinrichtung, sowie mit einer Bedieneinrichtung für diese Head-up-Anzeigeeinrichtung. Mit der Head-up-Anzeigeeinrichtung können grafische Anzeigeelemente, also beispielsweise Menüeinträge eines Bedienmenüs eines Infotainmentsystems, auf eine Projektionsfläche des Kraftwagens projiziert werden. Bei der Projektionsfläche handelt es sich n der Regel um die Windschutzscheibe des Kraftwagens. Die Anzeigeelemente können mittels der Bedieneinrichtung durch einen Benutzer ausgewählt und/oder verändert werden, wobei die hierzu nötige Nutzereingabe eine frei in dem Fahrgastraum mit einer Hand ausgeführte Bediengeste umfassen kann.
-
Ein Kraftwagen der genannten Art ist beispielsweise aus der
US 2002/0140633 A1 bekannt. Bei dem bekannten System wird zum Erkennen der Position der Hand ein Laserstrahl oder ein intensitätsmodulierter Lichtstrahl von der Projektionseinheit hinter dem Lenkrad des Kraftwagens zur Windschutzscheibe hin ausgestrahlt und das von der Hand reflektierte Licht wieder von der Projektionseinheit empfangen. Daraus werden dann 3D-Bilddaten zum Erkennen der Hand erzeugt. Bei dem bekannten System hat sich als problematisch erwiesen, dass Fremdlicht, also beispielsweise durch die Windschutzscheibe einfallendes Sonnenlicht, das in der genannten Druckschrift beschriebene Prinzip nicht in der Realität robust umsetzbar macht.
-
Aus der
JP 2005 138755 A ist ebenfalls ein Gestenerkennungssystem für eine Head-up-Anzeigeeinrichtung bekannt, welche zum Erkennen der Hand eine Kamera aufweist. Auch hier hat sich das Auswerten der Kameradaten als schwierig erwiesen, da insbesondere Schlagschatten bei grellem Lichteinfall, insbesondere bei Sonnenschein, das Segmentieren der Hand in den Bilddaten erschwert.
-
Aus der
DE 100 56 291 A1 ist ein System zum Erzeugen von 3D-Daten für eine Handerkennung bekannt, das aus einer Kombination von Abstandssensor und Videokamera gebildet ist. Der Abstandssensor ermittelt Abstandsdaten auf der Grundlage von Ultraschall- und Infrarotwellen. Die 2D-Bilddaten der Videokamera werden dann mit diesen Abstandsdaten zu 3D-Daten kombiniert. In einem Fahrgastraum eines Kraftwagens ist die Verwendung von Ultraschall- und Infrarotwellen problematisch, da Ultraschallwellen an den vielen, unterschiedlich ausgerichteten Oberflächen im verhältnismäßig kleinen Innenraum häufig reflektiert werden, so dass es zu starken Störungen am Empfänger kommt. Infrarotwellen eignen sich aufgrund der teilweise extremen thermischen Bedingungen in einem Kraftwagen ebenfalls nicht.
-
Der Erfindung liegt die Aufgabe zugrunde, für eine Head-up-Anzeigeeinrichtung ein tastenloses Bediensystem bereitzustellen, welches den Fahrer während der Bedienung nur geringfügig von seiner Fahraufgabe ablenkt.
-
Die Aufgabe wird durch einen Kraftwagen gemäß Patentanspruch 1 gelöst. Vorteilhafte Weiterbildungen des Kraftwagens sind durch die Unteransprüche gegeben.
-
Der erfindungsgemäße Kraftwagen ist eine Weiterbildung des aus dem Stand der Technik bekannten Kraftwagens. Bei dem erfindungsgemäßen Kraftwagen weist die Bedieneinrichtung zum Erkennen der Bediengeste eines Nutzers eine 3D-Kameraeinheit und eine Berechnungseinheit auf, wobei erfindungsgemäß zumindest eine optische Sensoreinheit der 3D-Kameraeinheit über dem Fahrgastraum angeordnet ist, also am Dachhimmel oder Fahrzeugdach des Kraftwagens. Die 3D-Kameraeinheit ist dazu ausgelegt, zumindest von der Hand des Nutzers 3D-Bilddaten von oben zu erzeugen. Dazu passend ist die Berechnungseinheit dazu ausgelegt, auf Grundlage der 3D-Bilddaten eine Form und/oder Bewegung der Hand zu ermitteln. Die Berechnungseinheit kann hierzu beispielsweise als Programmmodul für ein Infotainmentsystem oder eine zentrale Recheneinheit des Kraftwagens ausgestaltet sein. Die 3D-Bilddaten können hierbei in an sich bekannter Weise Koordinaten von Flächenelementen sein, an denen das modulierte Licht zurückgeworfen wurde.
-
Der erfindungsgemäße Kraftwagen weist den Vorteil auf, dass die mit der 3D-Kameraeinheit erzeugten 3D-Bilddaten die Hand aus einer Perspektive darstellen, bei welcher das erfasste sichtbare Licht oder Infrarotlicht nur geringfügig durch Fremdlicht beeinflusst ist. Des Weiteren ist auch die perspektivische Verkürzung der Darstellung der Hand aus der beschriebenen Perspektive sehr gering, so dass Segmentierungsalgorithmen aus den 3D-Bilddaten besonders zuverlässig die zu der Hand gehörigen Bilddaten abgrenzen, d. h. segmentieren können.
-
Ein weiterer Vorteil ergibt sich, wenn die Berechnungseinheit anhand der 3D-Bildddaten zunächst ermittelt, ob sich ein Objekt in einem vorbestimmten Raumbereich des Fahrgastraums befindet und nur für diesen Fall die Gestenerkennung durchgeführt wird, also die 3D-Bilddaten daraufhin untersucht werden, ob durch sie eine Hand abgebildet ist und welche Form und/oder Bewegung die Hand ausführt. Der Nutzer muss also seine Hand zunächst in den Raumbereich hineinhalten, damit die Gestenerkennung durchgeführt wird. Hierdurch werden Fehlerkennungen aufgrund von Bewegungen des Nutzers vermieden, die er mit einer anderen Intention außerhalb des Raumbereichs ausführt.
-
Um in den 3D-Bilddaten zuverlässig die Hand zu erkennen, sieht eine vorteilhafte Weiterbildung des Kraftwagens vor, dass die Berechnungseinheit dazu ausgelegt ist, ein Körpermodell in die 3D-Bilddaten einzupassen. Dieses Körpermodell bildet zumindest die Hand des Nutzers nach, bevorzugt umfasst sie weitere Körperteile, wie beispielsweise den Unterarm und/oder den Oberarm. Mit Einpassen des Körpermodells ist hierbei gemeint, dass die durch das Körpermodell nachgebildete Form/Haltung der Hand durch Verändern von Parametern des Körpermodells so lange verändert wird, bis sich einer nachgebildete Form/Haltung ergibt, die gemäß einem vorbestimmten Optimierungskriterium mit der in den 3D-Bilddaten erkennbaren Form/Haltung übereinstimmt. Das Optimierungskriterium kann hierbei beispielsweise eine Fehlerminimierung gemäß beispielsweise eines Least-Square-Algorithmus sein. Nachdem das Körpermodell an die 3D-Bilddaten angepasst worden ist, lässt sich aus den Parametern des Körpermodells, also beispielsweise Beugungswinkeln von nachgebildeten/modellierten Gelenken und der Ausrichtung von Knochen der Finger des Modells, ablesen, welche Form und/oder Haltung die Hand gerade eingenommen hat. Indem nun diese Beschreibung der Hand in Form von Parameterwerten vorliegt, ist sie besonders aufwandsarm für eine weitere rechnerbasierte Verarbeitung im Rahmen der Gestenerkennung nutzbar. Zum Bereitstellen eines Körpermodells und Anpassen desselben kann beispielsweise die aus dem Stand der Technik bekannte Funktionsbibliothek „Kinect” des Unternehmens Microsoft zugrundegelegt werden.
-
Ein weiterer Vorteil ergibt sich, wenn bei dem Kraftwagen die Sensoreinheit einen Time-of-Flight-Sensor (ToF-Sensor) einer Photonic-Mixing-Device-Kamera (PMD-Kamera) umfasst. Durch Beleuchten des Fahrgastraumes mit intensitätsmoduliertem Licht oder Infrarotlicht und anschließendem Erfassen des Lichtes mittels des Time-of-Flight-Sensors von der Kraftwagendecke aus ergibt sich der Vorteil, dass die hieraus entstehenden 3D-Bilddaten die Hand und insbesondere den Zeigefinger besonders deutlich und gut segmentierbar (also in den 3D-Bilddaten separierbar) abbilden. Hierdurch wird die Gestenerkennung besonders robust und störunanfällig.
-
Ein weiterer Vorteil ergibt sich, wenn die Sensoreinheit in einem Dachknoten des Kraftwagens angeordnet ist, also in dem auch für das Befestigen des Rückspiegels des Kraftwagens vorgesehenen Bereich. Hierdurch lassen sich Kabelkanäle zum Betreiben der Sensoreinheit besonders einfach verlegen. Des Weiteren ergibt sich durch die resultierenden Perspektive der Sensoreinheit der Vorteil, dass eine Änderung in Z-Richtung, also entlang der optischen Achse der Sensoreinheit, beim Anheben und Senken der Hand maximal sind. Außerdem ergibt sich eine besonders geringe perspektivische Verkürzung.
-
Ein weiterer Vorteil ergibt sich, wenn die Berechnungseinheit dazu ausgelegt ist zu überprüfen, ob die Bediengeste auf ein Anzeigeelement gerichtet ist. Dann kann beispielsweise ein während des Redens gestikulierender Fahrer durch sein Gestikulieren nicht aus Versehen auch eine Veränderung der Anzeigeelemente auf der Projektionsfläche auslösen. Um die eigentliche Bedienintension zu erkennen, also zu überprüfen, ob die Bediengeste auf die Projektionsfläche gerichtet ist, sieht die Ausführungsform vor, eine Achse eines in den 3D-Bilddaten erkannten Objekts, also insbesondere der Hand, in Richtung zur Projektionsfläche hin zu extrapolieren und zu überprüfen, ob die extrapolierte Achse in einen vorbestimmten Bereich der Projektionsfläche weist. Die Achse des Objekts kann beispielsweise dann ermittelt werden, wenn das in den 3D-Bilddaten erkannte Objekt eine längliche Form aufweist, wie sie sich auch ergibt, wenn man den Zeigefinger streckt. Kann eine solche Form und/oder eine entsprechende Achse nicht ermittelt werden, so handelt es sich bei dem erkannten Objekt offenbar nicht um eine willentlich in Richtung zur Projektionsfläche hin weisende Hand. Entsprechend sollte auch das Verändern der Anzeigeelemente auf der Projektionsfläche unterbleiben.
-
Die Gestenbedienung, wie sie durch den erfindungsgemäßen Kraftwagen ermöglicht ist, kann unterschiedliche Aspekte des Bedienens umfassen. Eine Ausführungsform sieht vor, ein Bewegungsmuster der Hand zu erkennen, insbesondere eine Wischgeste. Durch das Bewegungsmuster kann das Verschieben der Anzeigeelemente auf der Projektionsfläche gesteuert werden. Hierdurch ergibt sich der Vorteil, dass ein Fahrer die Anzeigeelemente derart auf der Projektionsfläche anordnen kann, dass sie ihm nicht beim Betrachten des Straßenverkehrs hinderlich sind. Um ein solches Bewegungsmuster zu erkennen, wird bevorzugt eine zeitliche Abfolge von Koordinaten eines vorbestimmten Teils der Hand, also beispielsweise der Fingerspitze des Zeigefingers, auf eine vorbestimmte Bewegungstrajektorie hin überprüft.
-
Ein weiterer Vorteil ergibt sich, wenn in Abhängigkeit von der Bediengeste ein Inhalt der Darstellung auf der Windschutzscheibe als Projektionsfläche durch Hinzufügen und/oder Entfernen von Anzeigeelementen auf der Windschutzscheibe verändert wird. Hierdurch ergibt sich der Vorteil, dass der Fahrer seinen Blick auf das Verkehrsgeschehen freihalten kann und sich dennoch die für ihn während der Fahrt nötigen Anzeigeelemente auf der Windschutzscheibe darstellen lassen kann und überflüssige Anzeigeelemente entfernen kann.
-
Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:
-
1 eine schematische Darstellung eines Innenraums einer Ausführungsform des erfindungsgemäßen Kraftwagens sowie eine Veranschaulichung von 3D-Bilddaten; und
-
2 eine vergrößerte Darstellung eines Ausschnitts aus 1.
-
Das gezeigte Beispiel stellt eine bevorzugte Ausführungsform der Erfindung dar. Bei dem im Folgenden erläuterten Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In 1 ist von einem Kraftwagen 10 eine Fahrgastzelle oder Fahrgastraum 12 gezeigt. Bei dem Kraftwagen 10 kann es sich beispielsweise um einen Personenkraftwagen handeln. Der besseren Orientierung halber ist für die weiteren Erläuterungen in der Fig. ein Koordinatensystem dargestellt, wobei die X-Achse parallel zur Fahrzeugquerachse, die Y-Achse parallel zur Fahrzeuglängsachse und die Z-Achse parallel zur Fahrzeughochachse ausgerichtet ist.
-
Dargestellt sind eine Windschutzscheibe 14, ein Lenkrad 16 und ein Fahrer 18. Das Lenkrad 16 und der Fahrer 18 sind dabei in einer Weise gezeigt, wie sie durch 3D-Bilddaten einer 3D-Kameraeinheit 20 dargestellt werden. Bei der 3D-Kameraeinheit 20 kann es sich insbesondere um eine PMD-Kamera handeln, die als Sensoreinheit 22 einen Time-of-Flight-Sensor aufweist. Eine Lichtquelle 24, beispielsweise eine Leuchtdiode oder Infrarot-Leuchtdiode, der Kamera 20 sendet ein intensitätsmoduliertes Licht 26 in den Fahrgastraum 12 aus, das dann von Objekten im Fahrgastraum 12 reflektiert wird und zum Sensor 22 als reflektiertes moduliertes Licht 28 zurückgeworfen wird.
-
Die Kamera 20 ist an einem Fahrzeugdach 30 befestigt. Die Kamera 20 hat daher eine Perspektive von oben in den Fahrgastraum 12. Entsprechend beschreiben 3D-Bilddaten D des Sensors 20 das Lenkrad 16 und den Fahrer 18 nur insoweit, als dass zur Kamera 20 hinweisende Oberflächen abgebildet sind. Von der Kamera 20 weg weisende Oberflächen sind nicht erfasst. Daher ergibt sich aufgrund dieser Abschattungseffekte der in 1 gezeigte fließende Verlauf der Abbildung des Lenkrads 16 und des Fahrers 18. Hierbei ist angenommen, dass eine optische Achse der Kamera 20 parallel zur Z-Achse ausgerichtet ist.
-
Die 3D-Bilddaten D der Kamera 20 werden durch eine Berechnungseinheit 32 verarbeitet. Die Kamera 20 und die Berechnungseinheit 32 bilden zusammen eine Bedieneinrichtung 34 für eine Head-up-Anzeigeeinrichtung 36, mittels welcher auf der Windschutzscheibe 14 eines oder mehrere grafische Anzeigeelemente projiziert werden. Die Windschutzscheibe 14 stellt damit eine Projektionsfläche dar. Die Anzeigeeinrichtung 36 projiziert in dem gezeigten Beispiel beispielsweise eine nicht näher dargestellte Liste von Menüeinträgen zum Auswählen einer von mehreren z. B. durch ein Infotainmentsystem des Kraftwagens 10 bereitgestellten Funktion. Diese Liste bildet ein Anzeigeelement 38. Der Fahrer 18 möchte das Anzeigeelement 38 auf der Windschutzscheibe 14 verschieben, das heißt er möchte eine Ausrichtung der Projektion der Anzeigeeinrichtung 36 einstellen. Hierzu hebt er eine Hand 40 in einen vorbestimmten Raumbereich R, welcher sich oberhalb einer Ebene 42 befindet und somit durch die Ebene 42 abgegrenzt oder definiert ist.
-
Für die folgende Erläuterung wird auf 1 und 2 verwiesen, wobei 2 eine vergrößerte Darstellung der Hand 40 zeigt. Wie bereits ausgeführt, beschreiben die 3D-Bilddaten D den Fahrer 18 und das Lenkrad 16 aus der Perspektive und mit den Darstellungsmöglichkeiten der Kamera 20. Aus diesem Grund ist in 2 die Hand 40 auch mit dem Bezugszeichen D versehen, da die 3D-Bilddaten die Hand 40 in der in 1 und 2 gezeigten Weise repräsentieren.
-
Befindet sich die Hand 40 oberhalb der Ebene 42, kann der Fahrer 18 durch Ausstrecken seines Zeigefingers und Zeigen auf das Anzeigeelement 38 bewirken, dass eine dann folgende Bewegung 44 der Fingerspitze Z' des Zeigefingers Z zu einer korrespondierenden Bewegung 44' des Anzeigeelements 38 umgesetzt wird. Mit anderen Worten kann er mit ausgestrecktem Zeigefinger Z und hin- und herbewegen der Hand das Anzeigeelement 38 auf der Windschutzscheibe 14 verschieben. Dies kann durch die Bedieneinrichtung 34 in folgender Weise bewirkt werden.
-
Durch die Berechnungseinheit 32 wird erkannt, dass Teile der 3D-Bilddaten Koordinaten eines Objekts beschreiben, die dessen Koordinaten oberhalb der Ebene 42, also in den überwachten Raumbereich R weisen. Es wird zu den 3D-Bilddaten D daher durch die Berechnungseinheit 32 eine Gestenerkennung durchgeführt.
-
Es kann nun z. B. vorgesehen sein, dass die Berechnungseinheit 32 in die 3D-Bilddaten D ein Skelettmodell 46 der Hand 40 dahingehend einpasst, dass sich gemäß einem vorbestimmten Fehlerkriterium die Form der Hand gemäß dem Skelettmodell 46 an die durch die 3D-Bilddaten D beschriebene Form der Hand 40 anpasst. Nachdem das Skelettmodell 46 an die Form der durch die 3D-Bilddaten D beschriebenen Hand 40 angepasst ist, können Parameterwerte P z. B. zu Gelenken und Knochenabschnitten dahingehend überprüft werden, ob gemäß dem angepassten Skelettmodell 46 die Hand beispielsweise eine vorbestimmte Stellung eingenommen hat und/oder ein Zeigefinger der Hand in Richtung auf eines der dargestellten Anzeigeelemente 38 weist. Beispielsweise kann auch eine Knochenlinie des Zeigefingers Z zu einer extrapolierten Achse 48 verlängert werden und überprüft werden, ob die verlängerte Achse 48 sich mit einer Projektionsfläche des Anzeigeelements 38 schneidet. Ist dies der Fall, so kann bei Erkennen einer vorbestimmten Haltung der Hand zu diesem Anzeigeelement 38 die Bewegung 44 dazu genutzt werden, ein Steuersignal S zu erzeugen, welches eine Veränderung der Projektions-Koordinaten der Anzeigeeinheit 38 durch die Anzeigeinrichtung 46 bewirkt, also des Orts des Anzeigeelements 38 auf der Windschutzscheibe 14. Genauso können auch andere Bedienvorgänge durch die Bedieneinrichtung 34 auf Grundlage der 3D-Bilddaten erkannt werden, beispielsweise das Drücken einer Bedienfläche, die ebenfalls auf die Windschutzscheibe 14 durch die Anzeigeeinrichtung 36 projiziert werden kann.
-
Die Anordnung der Kamera 20 an dem Dach 30 weist den besonderen Vorteil auf, dass der Zeigefinger Z mit der Zeigefingerspitze Z' in den 3D-Bilddaten D sehr deutlich und damit gegen Störungen robust erkannt werden kann. Grund dafür ist, dass in den 3D-Bilddaten trotz der Abschattungseffekte der über der Ebene 42 befindliche Teil, also der Teil oberhalb der Berührlinie 50 der Ebene 42 mit der Hand 40 als eine sehr zuverlässig segmentierbare dreidimensionale Form hervorsteht. Ein anderer Ort der Kamera 20 bietet eine solche vorteilhafte Perspektive auf die Hand 40 nicht. Außerdem kann anstelle der Ebene 42 auch ein anderes Raumvolumen vordefiniert werden, das ebenfalls von der Perspektive der Kamera 20 am Dach 30 stets gut eingesehen werden kann. Beispielsweise kann auch ein quaderförmiges, zu allen Raumrichtungen hin abgegrenztes Raumvolumen überwacht werden.
-
Durch die Beispiele ist gezeigt, wie durch die physikalisch einwandfreie Ortbarkeit des Insassen (zum Beispiel durch eine Time-of-Flight-Kamera) beziehungsweise von Körperteilen des Insassen eine Erkennung einer Bewegung desselben erlaubt ist. Die Ansichten im Head-up-Display können so mit einer auf das Head-up-Display gerichteten Geste (zum Beispiel einer Wischgeste) verändert werden.
-
Vorteil hierdurch ist, dass eine intuitive Veränderung der Inhalte im Head-up-Display durch Gesten in Richtung Head-up-Display ermöglicht ist. Somit können Tasten für diese Funktionen eingespart werden und die Aufmerksamkeit des Fahrers bleibt auf die Fahraufgabe gerichtet.
-
Für die Realisierung dieses Ansatzes ist durch das Beispiel gezeigt, wie ein optischer Sensor 20 den Innenraum 12 des Kraftwagens inklusive Insassen 18 vermessen kann. In der Berechnungseinheit 32 werden die Signale D ausgewertet und dem Fahrzeug zur Reaktion zur Verfügung gestellt, also insbesondere als Steuersignal S. Greift man in ein vordefiniertes Volumen R, so werden durch die Auswertung der Daten D Bewegungsmuster 44 extrapoliert und interpretiert, um Inhalte 38 im Head-up-Display zu verändern. Der Verbauort der ToF-Sensoren im Dach 30, insbesondere im Dachknoten, weist den besonderen Vorteil auf, dass Fremdlicht das Erzeugen der 3D-Bilddaten D nur geringfügig, insbesondere nicht signifikant stört.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2002/0140633 A1 [0002]
- JP 2005138755 A [0003]
- DE 10056291 A1 [0004]
