DE102017215161A1

DE102017215161A1 - Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs

Info

Publication number: DE102017215161A1
Application number: DE102017215161.7A
Authority: DE
Inventors: Sven Klomp; Jan Sebastian Steffen; Frank Hesping
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-02-28

Abstract

Bei dem erfindungsgemäßen Verfahren zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs wird die Hand oder mindestens ein Finger des Fahrzeuginsassen erfasst (1). Es wird ausgewertet (2), ob der Fahrzeuginsasse mit der Hand oder dem mindestens einen Finger eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt. Eine Positionsangabe der Hand oder des mindestens einen Finger des Fahrzeuginsassen und eine Positionsangabe der Augen des Fahrzeuginsassen wird ermittelt (3), wenn eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird. Aus den ermittelten Positionsangaben wird eine Raumrichtung relativ zum Fahrzeug ermittelt (4) und ein Umgebungsobjekt in der ermittelten Raumrichtung angewählt (5). Zu dem angewählten Umgebungsobjekt werden in geeigneter Weise Informationen bereit gestellt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.
Durch vielfältige Entwicklungen, unter anderem zur Einführung des automatischen Fahrens, stehen modernen Fahrzeugen immer mehr Informationen über die Fahrzeugumgebung zur Verfügung. So können mit Sensoren alle relevante Objekte in unmittelbarer Umgebung des Fahrzeugs erfasst werden. Kamerabasierte Systeme können, beispielsweise mittels Neuronaler Netze, hierbei sogar die Art der Objekte klassifizieren. So weiß das Fahrzeug zu jedem Zeitpunkt, ob es sich bei dem erfassten Objekt um ein Verkehrsschild, eine Person, ein anderes Fahrzeug oder ein Gebäude handelt.
Durch die Bestimmung der aktuellen Fahrzeugposition aus GPS-Signalen und Geoinformationen wie hochgenauen elektronischen Kartendaten liegen dem Fahrzeug noch weitere Details zur Fahrzeugumgebung vor. Wenn die Fahrzeugsensoren wie erwähnt ein Gebäude detektieren, kann in den Kartendaten nachgeschlagen werden, ob es sich zum Beispiel um eine Werkstatt, ein Krankenhaus oder ein Restaurant handelt.
Die Informationen können dem Fahrer des Fahrzeugs auf verschiedene Art und Weise zugänglich gemacht werden. Beispielsweise können die Informationen mit sogenannten Augmented Reality Head-up-Displays (AR-HUD) so dargestellt werden, dass diese scheinbar auf der Straße oder an Objekten angeheftet sind. Hierbei muss jedoch darauf geachtet werden, nur relevante Informationen anzuzeigen, um den Fahrer nicht zu überfordern. Die Bewertung der Relevanz der Informationen ist jedoch von verschiedenen Parametern wie den Interessen und Präferenzen des jeweiligen Fahrers, der kognitiven Beanspruchung durch die aktuelle Fahr- oder Verkehrssituation etc. abhängig und daher ohne zusätzliche Eingaben bzw. Informationen vom Fahrer sehr schwierig und nur begrenzt machbar. Ein interaktiver Umgang mit den dem Fahrzeug vorliegenden Informationen bzw. eine interaktive Abfrage von Informationen zu durch die Fahrzeugsensoren erfasste Umgebungsobjekte wäre demnach wünschenswert.
Hierzu könnten Spracherkennungssysteme genutzt werden, auch eine Bedienung mittels Blickrichtungserkennung wäre denkbar. Eine Interaktion nur mit Hilfe der Sprachbedienung wäre jedoch unkomfortabel, da der Ortsbezug zur Umgebung verloren geht. Eine einfache Abfrage wie „Was ist das?“ ist nicht möglich. Selbst wenn der Fahrer die Abfrage spezifischer formulieren würde, beispielsweise durch eine Abfrage „Welches Geschäft ist in dem Gebäude ganz links?“, wäre eine eindeutige Aussage häufig kaum möglich.
Mit Hilfe der Blickrichtungserkennung einer Fahrerbeobachtungskamera könnte zwar das Kontextwissen erhöht werden. So könnte bei der Frage „Was ist das?“ die Blickrichtung des Fahrers ausgewertet und das entsprechende Objekt identifiziert werden um hierzu gezielt Informationen per Sprachausgabe oder visuell über ein Display wie das AR-HUD auszugeben. Es ist jedoch eine große Herausforderung, die benötigte Genauigkeit bei der Blickrichtungserkennung zu erzielen, da insbesondere die individuelle Augenbeschaffenheit des Fahrers einen großen Einfluss hat. Eine genaue Blickrichtungserkennung ist daher ohne eine Nutzerkalibrierung nicht möglich. Zusätzlich unterliegt die Blickrichtungserkennung speziell im Automobilbereich besonderen Anforderungen, da der Abstand zwischen den hierfür verbauten Kamerasensoren und den Augen des Fahrers vergleichsweise groß ist und die Blickrichtungserkennung im Vergleich zu anderen Anwendungen schnell erfolgen muss. Auch werden Fahrzeuge häufig von verschiedenen Nutzern gefahren, so dass eine individuelle Nutzerkalibrierung auf den jeweiligen Fahrer, ggfs. bei jedem Fahrerwechsel, erforderlich wäre. Diese Nutzerkalibrierungen erfordern zusätzlichen Aufwand und stellen damit eine Komforteinbuße bzw. eine Störung des Nutzererlebnisses dar. Ohne Nutzerkalibrierung scheitert die interaktive Informationsabfrage von Umgebungsobjekten jedoch an der ungenauen Blickrichtungserkennung.
Einen weiteren Ansatz für eine situationsangepasste Informationsanzeige in einem Kraftfahrzeug offenbart die DE 10 2015 006 610 A1 . Hierbei werden die Informationen auf einer Datenbrille wiedergegeben. Zur Vermeidung der Überfüllung des Sichtfelds der Datenbrille mit zusätzlichen Informationen werden bei kraftfahrzeugexternen Objekten zunächst nur Markierung dargestellt, die darauf hinweisen, dass weiterführende Informationen vorliegen. Durch Anwahl der Markierung können diese Informationen dann dargestellt werden. Die Anwahl kann hierbei erfolgen indem ein Auswahlelement, beispielsweise ein Cursor oder ein Fadenkreuz, durch eine Kopfbewegung des Nutzers oder mittels Eyetracking über das auszuwählende Objekt bzw. dessen Markierung bewegt wird.
Ähnlich offenbart die DE 10 2011 122 541 A1 einen virtuelleren Cursor für eine Strassenszenen-Objektauswahl auf der Head-up-Anzeige eines Fahrzeugs.
Die EP 2 778 842 A1 beschreibt bei einer Datenbrille oder auch einem Mobilfunkgerät die Blickrichtung eines Nutzers zu erfassen um auf das Vorliegen von zusätzlichen Informationen zu betrachteten Objekten hinzuweisen. Die zusätzlichen Informationen können angezeigt werden.
Schließlich offenbart http://www.vtouchinc.com/index_en.html ein System, bei dem durch das Erfassen und Verfolgen der Augen und Finger eines Nutzers mit einer 3-D Kamera Geräte in unterschiedlichen Technologiefeldern bedient werden können.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Bei dem erfindungsgemäßen Verfahren zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs wird die Hand oder mindestens ein Finger des Fahrzeuginsassen erfasst. Es wird ausgewertet, ob der Fahrzeuginsasse mit der Hand oder dem mindestens einen Finger eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt. Eine Positionsangabe der Hand oder des mindestens einen Finger des Fahrzeuginsassen und eine Positionsangabe der Augen des Fahrzeuginsassen wird ermittelt, wenn eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird. Aus den ermittelten Positionsangaben wird eine Raumrichtung relativ zum Fahrzeug ermittelt und ein Umgebungsobjekt in der ermittelten Raumrichtung angewählt.
Das erfindungsgemäße Verfahren stellt eine neue virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld dar und ermöglicht dem Fahrer, aber auch anderen Fahrzeuginsassen, auf einfache, schnelle und intuitive Weise Umgehungsobjekte anzuwählen, beispielsweise um Informationen zu Umgehungsobjekten abzufragen.
Weiterhin ist gegenüber einer reinen Blickrichtungserkennung eine zusätzliche Bestätigungs- oder Auswahlgeste nicht zwingend erforderlich. Bei einer reinen Blickrichtungserkennung dagegen wäre dieses nötig, da ein Fahrzeuginsasse normalerweise davon ausgeht, Objekte betrachten zu können, ohne das unmittelbar eine Aktion ausgelöst wird. Ferner ist der Erfassungsbereich, anders als bei der Blickrichtungserkennung mit einer Kamera, nicht eingeschränkt und kann grundsätzlich das gesamte Fahrzeugumfeld umfassen.
Gemäß einer Ausführungsform der Erfindung entspricht die Raumrichtung einer Geraden durch die beiden ermittelten Positionsangaben, wobei ein Umgebungsobjekt angewählt wird, wenn die der Raumrichtung entsprechende Gerade durch das erfasste Umgebungsobjekt verläuft oder nur um einen vordefinierten Winkel oder Abstand von dem erfassten Umgebungsobjekt abweicht.
Da der Fahrzeuginsasse das Umgebungsobjekt anschaut um dieses auszuwählen und mit dem Finger oder der Hand in die Richtung des Umgebungsobjekts zeigt, kann davon ausgegangen werden, dass die Augen des Fahrzeuginsassen und der Finger bzw. die Hand eine Gerade zu dem Umgebungsobjekt bilden. Damit kann der Sichtstrahl zu diesem Zeitpunkt auch ohne Nutzerkalibrierung mit hoher Genauigkeit ermittelt werden und zu einer Anwahl eines Umgebungsobjekts genutzt werden. Es ist daher kein Vorwissen über den Nutzer notwendig. Auch ist der Nutzer nicht zwingend gefordert, das Objekt direkt zu fokussieren und es ist möglich, Objekte auch aus dem peripheren Sichtbereich auszuwählen, da lediglich die Position der Augen genutzt wird, nicht aber die Ausrichtung. Damit wird bei der Durchführung des erfindungsgemäßen Verfahrens durch einen Fahrer des Fahrzeugs eine Ablenkung vom Fahrgeschehen verringert.
Vorzugsweise werden die Augen des Fahrzeuginsassen sensorisch erfasst, wobei daraus die Positionsangabe der Augen des Fahrzeuginsassen ermittelt wird.
So kann beispielweise mit Hilfe einer 3D-Kamera die Positionen der Augen sowie des Fingers im Vergleich zu einer konventionellen Blickrichtungserkennung sehr robust bestimmt werden.
Gemäß einer Ausführungsform der Erfindung wird eine Positionsangabe des Umgebungsobjekts relativ zum Fahrzeug erfasst.
Gemäß einer weiteren Ausführungsform der Erfindung wird eine Information zu dem angewählten Umgebungsobjekt ausgegeben.
Vorteilhafterweise liegt eine Liste von Umgebungsobjekten vor, wobei eines der in der Liste enthaltenen Umgebungsobjekte ausgewählt wird.
Weiterhin ist es von Vorteil, wenn bei den Positionsangaben die Fahrzeugeigenbewegung und/oder die Bewegung der Umgebungsobjekte mitberücksichtigt wird.
Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs eine erste Erfassungseinheit, welche die Hand oder mindestens einen Finger eines Fahrzeuginsassen erfasst und eine Auswerte- und Steuereinheit, der Daten von der ersten Erfassungseinheit zugeführt werden. Die Auswerte- und Steuereinheit wertet die Daten von der ersten Erfassungseinheit daraufhin aus, ob der Fahrzeuginsasse mit der Hand oder dem mindestens einen Finger eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt, ermittelt eine Positionsangabe der Hand oder des mindestens einen Finger des Fahrzeuginsassen und eine Positionsangabe der Augen des Fahrzeuginsassen, wenn eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird sowie aus den ermittelten Positionsangaben eine Raumrichtung relativ zum Fahrzeug und wählt ein Umgebungsobjekt in der ermittelten Raumrichtung an.
Gemäß einer Ausführungsform der Erfindung ist eine zweite Erfassungseinheit vorgesehen, welche die Augen eines Fahrzeuginsassen erfasst, wobei daraus die Positionsangabe der Augen des Fahrzeuginsassen ermittelt wird. Dieses ermöglich eine noch genauere Ermittlung der Raumrichtung, da diese gegenüber einer vordefinierten Positionsangabe die exakte tatsächliche Position der Augen des Fahrzeuginsassen berücksichtigt.
Gemäß einer weiteren Ausführungsform der Erfindung weist die erste und/oder die zweite Erfassungseinheit eine 3D-Kamera auf. Auf diese Weise kann sowohl die Position im Raum genau erfasst werden, aber auch eine Bildauswertung erfolgen um beispielsweise die einzelnen Finger des Fahrzeuginsassen zu erfassen.
Vorzugsweise ist hierbei eine gemeinsame Erfassungseinheit für die Erfassung der Hand oder des mindestens einen Finger des Fahrzeuginsassen und der Augen des Fahrzeuginsassen vorgesehen. Durch geeignete Anordnung einer 3D-Kamera können sowohl die Augen als auch die Finger bzw. die Hand des Fahrzeuginsassen gemeinsam erfasst werden sodass gegenüber der Verwendung von zwei separaten 3-D Kameras die Kosten reduziert werden können.
Gemäß einer Ausführungsform der Erfindung erfasst mindestens ein Sensor, insbesondere ein Kamerasensor, das Umfeld des Fahrzeugs. Auf diese Weise sind die Informationen über Umgebungsobjekte im Umfeld des Fahrzeugs immer aktuell und können auch Objekte umfassen, die nicht in einem Kartenmaterial der Fahrzeugumgebung enthalten sind.
Gemäß einer weiteren Ausführungsform der Erfindung ist eine Ausgabeeinheit zur Ausgabe einer Information zu einem angewählten Umgebungsobjekt vorgesehen.
Die Erfindung betrifft auch ein Kraftfahrzeug, in dem das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung eingesetzt wird.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs;
2 zeigt schematisch einen Fahrzeuginsassen mit einem Blockschaltbild einer erfindungsgemäßen Vorrichtung;
3 zeigt ein erstes Beispiel für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld;
4 zeigt ein zweites Beispiel für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld;
5 zeigt ein drittes Beispiel für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld;
6 zeigt ein viertes Beispiel für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld; und
7 zeigt ein fünftes Beispiel für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
1 zeigt schematisch ein Ausführungsbeispiel für das erfindungsgemäße Verfahren zur Anwahl von Umgebungsobjekten im Umfeld eines Fahrzeugs. Die Umgebungsobjekte können beliebige statische oder bewegte Objekte im Umfeld des Fahrzeugs sein, beispielsweise Verkehrsschilder oder Gebäude, aber auch Verkehrsteilnehmer wie andere fahrende Kraftfahrzeuge. Falls die Position eines Umgebungsobjekts durch einen Fahrzeugsensor ermittelt wird, sind die berücksichtigten Umgebungsobjekte hierbei durch die Sensorreichweite des Fahrzeugs beschränkt.
Gemäß einem ersten Verfahrensschritt 1 wird hierbei ein Finger, insbesondere Zeigefinger, des Fahrzeuginsassen sensorisch erfasst. In einem Verfahrensschritt 2 wird dann ausgewertet, ob der Fahrzeuginsasse eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt, da nur dann das weitere erfindungsgemäße Verfahren ausgeführt werden soll. So kann beispielsweise ausgewertet werden, ob sich der Finger in etwa in Augenhöhe befindet und so orientiert ist, dass er aus dem Fahrzeug heraus zeigt.
Ist dieses der Fall, so wird in einem Verfahrensschritt 3 die Position des Fingers sowie die Position der Augen des Fahrzeuginsassen ermittelt. Hierfür kann eine Positionsangabe der Augen ebenfalls sensorisch, beispielsweise mittels einer 3D-Kamera, ermittelt werden. Findet das erfindungsgemäße Verfahren für den Fahrer des Fahrzeugs Anwendung, so kann aber auch eine vordefinierte Position für die Augen des Fahrers verwendet werden. So ist die Sitzposition des Fahrers während der Fahrt bekannt. Die waagerechte Position der Augen des Fahrers ist dabei üblicherweise mittig vor dem Lenkrad des Fahrzeugs. Ebenso ist die Position der Augen in senkrechter Richtung sowie in Richtung der Fahrzeuglängsachse innerhalb gewisser Grenzen vorbestimmt, lässt sich aber beispielsweise aus Sitz-, Spiegel- und HUD-Einstellungen noch genauer ermitteln.
In einem Verfahrensschritt 4 kann dann aus den Positionsangaben für den Finger und die Augen des Fahrzeuginsassen die Raumrichtung zu dem Umgebungsobjekt relativ zum Fahrzeug ermittelt werden, da sich üblicherweise der Finger bei einer Zeigegeste aus Sicht der zeigenden Personen so vor dem Umgebungsobjekt befindet, dass er einen Teil des Umgebungsobjektes verdeckt und damit Finger, Augen und Umgebungsobjekt auf einer Geraden liegen. Die Zeigegeste kann hierbei mittig auf das Umgebungsobjekt, aber ebenso auch am unteren Rand des Umgebungsobjekts erfolgen um während der Zeigegeste das Umgebungsobjekt noch besser erkennen zu können.
In einem Verfahrensschritt 5 wird dann basierend auf der ermittelten Raumrichtung ein Umgebungsobjekt angewählt, wenn die der Raumrichtung entsprechende Gerade durch ein erfasstes Umgebungsobjekt verläuft oder nur um einen vordefinierten Winkel oder Abstand von dem erfassten Umgebungsobjekt abweicht. Hierfür kann die relative Position des Umgebungsobjektes zum Fahrzeug und gegebenenfalls auch die Ausdehnung des Umgebungsobjektes mit geeigneten Fahrzeugsensoren ermittelt werden. Dieses kann permanent während des Fahrbetriebes erfolgen, sodass eine Liste der aktuellen Umgebungsobjekte mit ihren jeweiligen Positionen in einem Speicher des Fahrzeugs vorgehalten werden kann. Es ist aber auch möglich die Position der Umgebungsobjekte erst dann zu ermitteln, wenn eine Zeigegeste detektiert wurde. Schließlich ist es auch möglich statt der relativen Position die absoluten Positionen von dem Eigenfahrzeug und den Umgebungsobjekten für die Anwahl heranzuziehen. Die Position des Eigenfahrzeugs kann hierbei aus GPS-Daten, die Position der Umgebungsobjekte, insbesondere bei größeren Umgebungsobjekten wie Häusern, aus digitalen Kartendaten ermittelt werden.
Für das angewählte Umgehungsobjekt werden dann in Verfahrensschritt 6 automatisch Informationen abgefragt. Die Informationen können hierbei bereits im Fahrzeug, beispielsweise im Rahmen des digitalen Kartenmaterials eines Navigationssystems vorliegen oder aber auch über ein Kommunikationsnetzwerk, insbesondere das Internet, von externen Datenbanken abgefragt werden.
In Verfahrensschritt 7 werden die erlangten Informationen dann an einen Fahrzeuginsassen ausgegeben. Dieses kann beispielsweise durch eine optische Anzeige auf einem Display erfolgen. Insbesondere für Ausgaben an den Fahrer ist dabei eine Einblendung mittels eines HUD-Displays in der Nähe des angewählten Umgebungsobjektes von Vorteil. Stattdessen oder zusätzlich kann eine akustische Ausgabe über Lautsprecher im Fahrzeug erfolgen.
2 zeigt schematisch einen Fahrzeuginsassen 8 mit einem Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dem Fahrzeuginsassen kann es sich hierbei um den Fahrer des Fahrzeugs, aber auch um den Beifahrer oder einen anderen Fahrzeuginsassen handeln.
Der Fahrzeuginsasse möchte Informationen zu einem von ihm betrachteten Umgebungsobjekt 9 abfragen und zeigt hierfür mit dem Zeigefinger seiner rechten Hand auf dieses Umgebungsobjekt. Das Umgebungsobjekt befindet sich hierbei, anders als der Fahrzeuginsasse und die für die Erfindung verwendeten und im folgenden beschrieben Einheiten und Bauteile des Fahrzeugs, außerhalb des Fahrzeuges in der näheren Fahrzeugumgebung, symbolisiert durch eine gestrichelte Linie, die das Fahrzeug und die Fahrzeugumgebung voneinander trennt. Da sich das Umgebungsobjekt in einiger Entfernung von dem Fahrzeuginsassen befindet, ist auch der Sichtstrahl 10, der von den Augen des Fahrzeuginsassen über seinen Zeigefinger auf das Umgebungsobjekt verläuft, unterbrochen dargestellt.
Um die Position der Fingerspitze des Zeigefingers zu ermitteln, ist im Innenraum des Fahrzeugs eine 3D-Kamera 11 vorgesehen. Die 3D-Kamera, ist hierbei so im Innenraum verbaut, dass der Finger während einer Zeigegeste sowie auch die Augen des Fahrzeuginsassen gut erfasst werden können, beispielsweise in Bereichen des Armaturenbretts, der Mittelkonsole, des Rückspiegels oder des Dachhimmels. Vorzugsweise wird die 3D-Kamera im nahen Infrarotbereich betrieben, da dann auch bei Dunkelheit durch eine nicht dargestellte Infrarotbeleuchtung der Betrieb gewährleistet ist, ohne dass hierdurch der Fahrzeuginsasse gestört oder geblendet wird. Statt mit einer 3D-Kamera kann die Position der Fingerspitze auch mit anderen geeigneten Sensoren erfasst werden, die eine ausreichende Genauigkeit aufweisen, wie beispielsweise Radarsensoren.
Zusätzlich zu der Position der Fingerspitze erfasst die 3D Kamera 11 auch die Augenposition des Fahrzeuginsassen 8. Die Augenposition kann stattdessen aber auch mit einer weiteren, nicht dargestellten 3D Kamera erfasst werden. Ebenso ist es denkbar die Position der Augen bzw. Augenhöhlen mit anderen geeigneten Sensoren, wie beispielsweise Radarsensoren, zu erfassen. Weiterhin kann, anstatt direkt die Position der Augen zu ermitteln, beispielsweise bei nicht ausreichender Auflösung des verwendeten Sensors, zunächst nur die Position des Kopfes ermittelt werden und dann basierend auf den typischen Proportionen eines menschlichen Kopfes bzw. der typischen Position der Augen aus der Kopfposition die Augenposition berechnet werden. Schließlich kann, wie bereits oben erwähnt auch eine vordefinierte Position für die Augen des Fahrers verwendet werden.
Die Bildsignale der 3D-Kamera 11 werden einer Auswerte- und Steuereinheit 12 zugeführt, die einen Mikroprozessor, einen internen elektronischen Speicher und eine oder mehrere elektrische Schnittstellen aufweisen kann. Die Auswerte- und Steuereinheit 12 bestimmt durch eine Bildverarbeitung der Bildsignale, ob der Fahrzeuginsasse eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt. Hierfür können aus den Bildsignalen Merkmale ermittelt werden, die dann mit entsprechenden, abgespeicherten Mustern von Händen bzw. Fingern, die eine Zeigegeste ausführen, verglichen werden. Wenn die Auswerte- und Steuereinheit 12 ermittelt, dass eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausführt wird, bestimmt sie die Positionen des Fingers und der Augen des Fahrzeuginsassen und hieraus eine Raumrichtung relativ zum Fahrzeuginsassen bzw. Fahrzeug.
Das Umfeld des Fahrzeugs wird durch einen Kamerasensor 13 erfasst. Ein Kamerasensor hat hierbei gegenüber anderen Sensoren den Vorteil, dass nicht nur das Vorhandensein und die Position eines Umgebungsobjekts erfasst werden kann, sondern durch geeignete Algorithmen zur Bildverarbeitung und Bilderkennung auch eine semantische Erkennung bzw. Auswertung von auf dem Umgebungsobjekt befindlichen Bild- und/oder Textinformationen erfolgen kann. Es können aber statt einem einzelnen Fahrzeugsensor ebenso mehrere Fahrzeugsensoren verwendet werden die an verschiedenen Orten der Fahrzeugkarosserie verbaut sein können. Hierbei können neben Kamerasensoren auch beispielsweise Radar- oder Ultraschallsensoren oder eine Kombination von mehreren Sensoren mit unterschiedlicher Sensortechnik verwendet werden.
Die Sensordaten des Kamerasensors 13, und gegebenenfalls weiterer nicht dargestellter Fahrzeugsensoren, werden der Auswerte- und Steuereinheit 12 zugeführt, welche aus den Sensordaten die relative Position der erfassten Umgebungsobjekte ermittelt und abspeichert. Ebenso kann die von einer nicht dargestellten GPS-Einheit ermittelte aktuelle Position des Fahrzeugs der Auswerte- und Steuereinheit 12 zugeführt werden, die dann aus digitalem Kartenmaterial die in der Nähe der gegenwärtigen Fahrzeugposition befindlichen und in den Kartendaten vermerkten Umgebungsobjekte bestimmt.
Auf diese Weise kann im Fahrzeug eine Liste mit Umgebungsobjekten erstellt werden. Hierbei kann vorgesehen werden Umgebungsobjekte wieder aus der Liste zu entfernen, wenn sich diese nicht mehr im Erfassungsbereich der Fahrzeugsensoren befinden. Für Umgebungsobjekte, die von dem Fahrzeuginsassen angewählt worden sind, kann jedoch vorgesehen werden die Position der Umgebungsobjekte sowie Bildsignale oder weiterführende Informationen zu den Umgehungsobjekten beizubehalten. Hierbei werden vorzugsweise absolute Positionsangaben der Umgebungsobjekte abgespeichert, die beispielsweise aus dem digitalem Kartenmaterial bekannt sind oder aus der von der nicht dargestellten GPS-Einheit ermittelten absoluten Position des Fahrzeugs zum Zeitpunkt der Erfassung des jeweiligen Umgebungsobjekts bestimmt werden.
Führt der Fahrzeuginsasse eine Zeigegeste durch, so ermittelt die Auswerte- und Steuereinheit 12 ob sich ein Umgebungsobjekt in der dem ermittelten Sichtstrahl 10 entsprechenden Raumrichtung befindet. Falls dies der Fall ist, so kann das Umgebungsobjekt durch die Auswerte- und Steuereinheit 12 unmittelbar angewählt werden. Es kann aber auch vorgesehen werden, dass diese Anwahl nur erfolgt, wenn der Fahrzeuginsasse mindestens für einen vordefinierten Zeitraum auf dieses Umgebungsobjekt zeigt oder die Anwahl durch eine mittels des Fingers angedeuteten Klick- oder Doppelklick-Bewegung vornimmt.
Für ein angewähltes Umgebungsobjekt können dann von einer internen Datenbank oder von externen Datenbanken mittels einer nicht dargestellten Kommunikationseinheit Informationen abgefragt werden. Die Informationen können dann über eine Ausgabeeinheit oder mehrere Ausgabeeinheiten an den Fahrzeuginsassen ausgegeben werden. So kann eine Sprachausgabe über einen oder mehrere Lautsprecher 14 und/oder über ein Display 15, beispielsweise ein Head-up-Display, erfolgen. Hierbei kann es vorgesehen sein, auf dem Head-up-Display einen Cursor, beispielsweise in Form einer Hand mit einem eine Zeigegeste ausführenden Zeigefinger darzustellen. Dies kann bei dicht nebeneinanderliegenden Umgebungsobjekten die Anwahl erleichtern. Ebenso kann es vorgesehen sein, im Bereich von Umgebungsobjekten, für die Informationen vorhanden sind, noch vor der Anwahl eine Markierung darzustellen. Auf diese Weise kann einerseits der Fahrzeuginsasse dazu animiert werden, Informationen abzufragen wobei andererseits verhindert wird, dass der Fahrzeuginsasse vergebens auf ein Umgebungsobjekt weist, für das keine Informationen zu erhalten sind. Auch kann eine Markierung vorgesehen sein, die erst nach erfolgter Anwahl des Umgebungsobjektes angezeigt wird und den Fahrzeuginsassen über eine erfolgreiche Anwahl informiert.
In den 3 bis 7 werden verschiedene Beispiele für eine virtuelle Interaktionsmöglichkeit mit dem Fahrzeugumfeld dargestellt. Der Fahrzeuginsasse zeigt hierbei jeweils mit seinem Zeigefinger auf ein Umgebungsobjekt 9, zu dem er weitere Informationen erhalten möchte. Die Information kann hierbei per Sprachausgabe oder über ein Display, beispielsweise ein Head-up-Display, ausgegeben werden. Die Hand 16 des Fahrzeuginsassen mit ausgestrecktem Zeigefinger ist jeweils schematisch vor dem angewählten Objekt dargestellt.
In 3 wird durch den Fahrzeuginsassen ein Gebäude angewählt, um die Hausnummer und Informationen zu Geschäften innerhalb des Gebäudes zu erhalten. Hierzu wird zunächst die Position des angewählten Gebäudes ermittelt. Aus einer Datenbank, die im Fahrzeug als Teil des Navigationssystems vorliegen kann oder aber auch bei einem Serviceunternehmen online abgefragt werden kann, werden dann die zu dem Gebäude vorliegenden Informationen abgefragt und an den Fahrzeuginsassen ausgegeben. Eine Sprachausgabe mit der gewünschten Information kann dann beispielsweise wie folgt lauten: „Dies ist die Otto-Brenner-Straße 5. Darin befindet sich das Fachgeschäft Bauhaus, welches in 20 Minuten schließt.“ Die gleiche Information kann auch optisch über ein Display angezeigt werden, wobei insbesondere bei fahrenden Fahrzeug eine komprimierte Anzeige erfolgen kann um eine schnelle Aufnahme der Information zu ermöglichen.
Ebenso können, wie in 4 dargestellt, Ortsschilder durch den Fahrzeuginsassen angewählt werden, um Informationen zu den darauf genannten Städten zu erhalten. So kann im dargestellten Fall beispielsweise die folgende Information zu der auf dem Ortseingangsschild genannten Ortschaft gegeben werden: „Flensburg ist nach Kiel und Lübeck die drittgrößte Stadt von Schleswig-Holstein...“. Der Ortsname kann hierbei durch eine Erfassung des Ortseingangsschilds mit einer Außenkamera mit anschließender Bildauswertung ermittelt werden. Ebenso kann aber auch lediglich die Position des Ortseingangsschilds direkt ermittelt werden, wenn digitales Kartenmaterial vorliegt, in dem das Ortseingangsschild und der auf dem Ortseingangsschild vermerkte Ortsname abgespeichert sind.
Ein weiteres Beispiel ist in 5 dargestellt. Wenn der Fahrzeuginsasse hier auf die dargestellte Entfernungstafel zeigt, kann er die berechnete Reisezeit zu den auf der Entfernungstafel genannten Städten bei aktueller Verkehrssituation erhalten, beispielsweise in folgender Form: „Bei aktueller Verkehrslage erreichen Sie Hamburg in 55 Minuten. Auf dem Weg nach Kiel ist ein Stau von 10km Länge.“ Die Ortsnamen können hierbei wie im vorherigen Beispiel durch eine Erfassung der Entfernungstafel mit einer Außenkamera mit anschließender Bildauswertung oder eine Erfassung der Position der Entfernungstafel mit anschließendem Nachschlagen in digitalem Kartenmaterial ermittelt werden. Ein Navigationssystem kann dann basierend auf den ermittelten Ortsnamen, sowie der beispielsweise mittels GPS bestimmten aktuellen Position des Fahrzeugs und Echtzeit-Staumeldungen und Verkehrswarnungen von hierauf spezialisierten Informations-Diensten die gewünschten Auskünfte ermitteln und ausgeben.
Ebenso kann, wie in 6 gezeigt, ein Werbeschild durch den Fahrzeuginsassen angewählt werden, um Informationen zu dem beworbenen Objekt zu erhalten, wie beispielsweise: „Das Orient Restaurant bietet orientalische Küche und hat eine durchschnittliche Kundenbewertung von 4 von 5 Sternen.“ Information können hierbei wie bereits für 3 beschrieben ermittelt und ausgegeben werden.
Schließlich können auch Verkehrszeichen angewählt werden, um nähere Informationen aus der Straßenverkehrsordnung zu erhalten, beispielsweise für das in 7 gezeigte Verkehrszeichen: „Fahrzeuge über 6 Tonnen tatsächliches Gewicht dürfen diese Straße nicht befahren.“
Die abgefragten Informationen zu Umgebungsobjekten des Fahrzeugs sind nicht auf die oben dargestellten Beispiele beschränkt. So können beispielsweise auch Informationen zu bewegten Umgebungsobjekten, wie beispielsweise zu Werbeaufdrucke auf benachbarten Fahrzeugen abgefragt werden. So finden sich beispielsweise auf Lkw-Planen oder den Fahrzeugen von Handwerksbetrieben häufig Werbe- und Kontaktinformationen. Diese können mit einer Kamera erfasst und durch eine anschließende Bildverarbeitung ausgewertet werden. Über ein Kommunikationsnetzwerk, insbesondere das Internet, können dann weitere Informationen zu einem dargestellten beworbenen Produkt automatisch abgefragt werden. Ebenso kann eine angegebene Telefonnummer automatisch angewählt werden.
Schließlich ist es auch denkbar Informationen abzufragen, wenn der Fahrzeuginsasse die Zeigegeste ausführt, aber auf kein Umgehungsobjekt deutet. So kann der Fahrzeuginsasse beispielsweise gezielt auf den Himmel zeigen um sich Wetternachrichten ausgeben zu lassen. Ebenso kann er auf die das Fahrzeug umgebende Landschaft deuten um Informationen zu dem gerade durchfahrenden geographischen Gebiet zu erhalten.
Die abgefragten Informationen können nach der Ausgabe einen Fahrzeuginsassen gelöscht werden, aber ebenso abgespeichert werden umso dem Fahrzeuginsassen auch später noch eine erneute Abfrage zu ermöglichen.
Es ist auch möglich, dass Umgehungsobjekt zunächst nur fotografisch zu erfassen um hierauf später zurückgreifen zu können. Dieses ermöglicht dem Fahrer zunächst die Fahraufgabe zu beenden, und danach in Ruhe das Bild des erfassten Umgebungsobjekts zu studieren.
Die Erfindung kann in beliebigen Bereichen der Fahrzeugtechnik eingesetzt werden.
Bezugszeichenliste

1: Erfassung Finger
2: Überprüfung Zeigegeste
3: Ermittlung Position Finger & Augen
4: Ermittlung Raumrichtung
5: Anwahl Umgebungsobjekt in Raumrichtung
6: Abfrage Information zu Umgebungsobjekt
7: Ausgabe Information zu Umgebungsobjekt
8: Fahrzeuginsasse
9: Umgebungsobjekt
10: Sichtstrahl
11: 3D- Kamera
12: Auswerte- und Steuereinheit
13: Fahrzeugsensor
14: Lautsprecher
15: Display
16: Hand des Fahrzeuginsassen

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015006610 A1 [0007]
DE 102011122541 A1 [0008]
EP 2778842 A1 [0009]

Claims

Verfahren zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs, bei dem - die Hand oder mindestens ein Finger des Fahrzeuginsassen erfasst (1) wird; - ausgewertet (2) wird, ob der Fahrzeuginsasse mit der Hand oder dem mindestens einen Finger eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt; - eine Positionsangabe der Hand oder des mindestens einen Finger des Fahrzeuginsassen und eine Positionsangabe der Augen des Fahrzeuginsassen ermittelt (3) wird, wenn eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird; - aus den ermittelten Positionsangaben eine Raumrichtung relativ zum Fahrzeug ermittelt (4); und - ein Umgebungsobjekt in der ermittelten Raumrichtung angewählt (5) wird.
Verfahren nach Anspruch 1, wobei die Raumrichtung einer Geraden durch die beiden ermittelten Positionsangaben entspricht und ein Umgebungsobjekt angewählt wird, wenn die der Raumrichtung entsprechende Gerade durch das erfasste Umgebungsobjekt verläuft oder nur um einen vordefinierten Winkel oder Abstand von dem erfassten Umgebungsobjekt abweicht.
Verfahren nach Anspruch 1 oder 2, wobei die Augen des Fahrzeuginsassen sensorisch erfasst werden und daraus die Positionsangabe der Augen des Fahrzeuginsassen ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Positionsangabe des Umgebungsobjekts relativ zum Fahrzeug erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Information zu dem angewählten Umgebungsobjekt abgefragt (6) und ausgegeben (7) wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Liste von Umgebungsobjekten vorliegt und eines der in der Liste enthaltenen Umgebungsobjekte ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei den Positionsangaben die Fahrzeugeigenbewegung und/oder die Bewegung der Umgebungsobjekte mitberücksichtigt wird.
Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs, mit einer ersten Erfassungseinheit, welche die Hand oder mindestens einen Finger eines Fahrzeuginsassen erfasst und einer Auswerte- und Steuereinheit (12), der Daten von der ersten Erfassungseinheit zugeführt werden, wobei die Auswerte- und Steuereinheit (12) - die Daten von der ersten Erfassungseinheit daraufhin auswertet, ob der Fahrzeuginsasse mit der Hand oder dem mindestens einen Finger eine Zeigegeste im Raum in Richtung des Umfelds des Fahrzeugs ausführt; - eine Positionsangabe der Hand oder des mindestens einen Finger des Fahrzeuginsassen und eine Positionsangabe der Augen des Fahrzeuginsassen ermittelt, wenn eine Zeigegeste in Richtung des Umfelds des Fahrzeugs ausgeführt wird; - aus den ermittelten Positionsangaben eine Raumrichtung relativ zum Fahrzeug ermittelt; und - ein Umgebungsobjekt in der ermittelten Raumrichtung anwählt.
Vorrichtung nach Anspruch 8, wobei eine zweite Erfassungseinheit die Augen eines Fahrzeuginsassen erfasst und daraus die Positionsangabe der Augen des Fahrzeuginsassen ermittelt wird.
Vorrichtung nach Anspruch 8 oder 9, wobei die erste und/oder die zweite Erfassungseinheit eine 3D-Kamera aufweist.
Vorrichtung nach Anspruch 10, wobei eine gemeinsame Erfassungseinheit (11) für die Erfassung der Hand oder des mindestens einen Finger des Fahrzeuginsassen und der Augen des Fahrzeuginsassen vorgesehen ist.
Vorrichtung nach einem der Ansprüche 8 bis 11, wobei mindestens ein Sensor (13), insbesondere ein Kamerasensor, das Umfeld des Fahrzeugs erfasst.
Vorrichtung nach einem der Ansprüche 8 bis 12, wobei eine Ausgabeeinheit (14, 15) zur Ausgabe einer Information zu einem angewählten Umgebungsobjekt vorgesehen ist.
Kraftfahrzeug, das eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen oder eine Vorrichtung gemäß einem der Ansprüche 8 bis 13 aufweist.