-
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrerassistenzsystem, ein Verfahren zur Bereitstellung von Informationen für einen Benutzer, ein Computerprogrammelement und ein computerlesbares Speichermedium.
-
In modernen Fahrzeugen werden zunehmend Fahrerassistenzsysteme verbaut, um den Fahrer während des Fahrens zu unterstützen. Ferner können Fahrerassistenzsysteme Funktionen des Beifahrers, wie z.B. die Routenführung, übernehmen. Für den Fahrer und/oder einen Benutzer des Fahrzeugs, wie einen Passagier, können, insbesondere in einer unbekannten Umgebung, zusätzliche Informationen hilfreich sein, welche die Fahrzeugumgebung betreffen.
-
Es ist eine Aufgabe der Erfindung, dem Benutzer eines Fahrzeugs Informationen bereitzustellen.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen.
-
Ein erster Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug. Das Fahrerassistenzsystem weist eine Sensoranordnung und eine Steuereinheit auf. Die Sensoranordnung ist dazu eingerichtet, Bilddaten eines Benutzers des Fahrzeugs und Audiodaten des Benutzers zu erfassen. Die Steuereinheit ist dazu eingerichtet, eine Gestik, eine Körperhaltung und/oder eine Mimik des Benutzers basierend auf den Bilddaten des Benutzers zu erkennen. Des Weiteren ist die Steuereinheit dazu eingerichtet, in den erfassten Audiodaten einen Sprachbefehl des Benutzers zu erkennen. Ferner ist die Steuereinheit dazu eingerichtet, anhand der erkennten Gestik, Körperhaltung und/oder Mimik, sowie anhand des erkannten Sprachbefehls einen Kontext zu bestimmen und dem Benutzer eine Information basierend auf dem bestimmten Kontext bereitzustellen.
-
Während einer Fahrt kann es vorkommen, dass dem Benutzer eines Fahrzeugs, z.B. einem Fahrer, einem Beifahrer und/oder einem Passagier, Fragen aufkommen, welche insbesondere einen Bezug zu der aktuellen Fahrzeugumgebung haben. Beispielsweise richtet der Benutzer seinen Blick kurz auf ein Objekt in der Umgebung und sagt „Was ist das für ein altes Gebäude?“. Ein ortskundiger Beifahrer würde wohl Antworten „meinst du das gelbe Gebäude auf der rechten Seite? Das ist das Schloss xyz“ oder „Welches Gebäude meinst du? Das gelbe Gebäude auf der rechten Seite oder das weiße Gebäude davor?“. Diese Aufgabe bzw. Interaktion kann das vorhergehend und nachfolgend beschriebene Fahrerassistenzsystem übernehmen. Dieses kann als ein intelligenter Fahrbegleiter dienen, mit welchem ein natürlicher Dialog (über Sprache und Gestik) möglich ist.
-
Hierfür kann das Fahrerassistenzsystem eine Sensoranordnung und eine Steuereinheit aufweisen. Die Sensoranordnung kann Bilddaten und Audiodaten des Benutzers erfassen und an die Steuereinheit zur Auswertung weitergeben. Die Steuereinheit kann basierend auf den Bilddaten des Benutzers eine Gestik, wie beispielweise eine Fingerbewegung, eine Körperhaltung, z.B. die Kopfstellung, und/oder eine Mimik, beispielsweise eine Blickrichtung, erkennen. In den erfassten Audiodaten des Benutzers kann die Steuereinheit einen Sprachbefehl erkennen, wie z.B. „Was ist das für ein altes Gebäude?“. Ferner kann der Benutzer natursprachige Fahrerinformation im Zusammenhang mit dem Verkehr und dem Fahren, z. B. „gilt das Tempolimit 80 für mich?“, „kann ich dort drüben einfahren?“, „Buche mir bitte einen Platz in dem Restaurant dort drüben“ oder „was ist das für eine Automarke dort drüben?“ an das Fahrerassistenzsystem richten. Basierend auf der erkannten Mimik, Gestik und/oder Körperhaltung und basierend auf dem Sprachbefehl kann die Steuereinheit ein Objekt identifizieren, welches von dem Benutzer gemeint ist. Ferner kann die Steuereinheit Informationen für den Benutzer bezüglich des Objekts bereitstellen, gezielt weitere Informationen bei dem Benutzer nachfragen und/oder sich das erkannte Objekt bestätigen lassen. Die Steuereinheit kann die Informationen visuell, beispielsweise über eine Anzeigeeinheit wie ein Bildschirm, und/oder akustisch, über das Infotainmentsystem des Fahrzeugs, an den Benutzer ausgeben. Die Information können beispielsweise aus einer digitalen Straßenkarte bzw. einer Datenbank in Verbindung mit der aktuellen Position des Fahrzeugs stammen. Alternativ oder zusätzlich kann die Steuereinheit Bilddaten der Fahrzeugumgebung mit der Blickrichtung kombinieren und Objekte in den Bilddaten der Fahrzeugumgebung erkennen.
-
Die Sensoranordnung kann mehrere Sensoreinheiten am und im Fahrzeug aufweisen. Diese können auch bereits im Fahrzeug vorhanden sein. Eine Innenraumkamera kann den Benutzer beobachten und somit die Gestik, die Körperhaltung und/oder die Mimik des Benutzers erfassen. Ein Mikrofon kann die Audiodaten des Benutzers erfassen, welche einen Sprachbefehl bezüglich der Umgebung aufweisen können. Des Weiteren kann die Blickrichtung und die Kopf-/Körperhaltung des Benutzers zum Zeitpunkt, indem welchem die Audiodaten erfasst wurden, erkannt werden. Auch zusätzliche Gesten, z. B. ein Fingerzeig, können von der Sensoranordnung erfasst werden.
-
Aus der Blickrichtung, Kopf-/Körperhaltung und Gesten des Benutzers kann ein Winkel bzw. ein Blickwinkel (in den Fahrzeugkoordinaten) ermittelt werden, welcher mit der Blickrichtung des Benutzers korrespondiert. Ausgehend von der Position des Fahrzeugs und entlang dem zuvor ermittelten Blickwinkel des Benutzers kann ein fokussierter Bereich in der Umgebung (in reellen Koordinaten) bestimmt werden, welchen der Benutzer mit seinem Sprachbefehl und seiner Geste gemeint haben könnte. Die Sensoranordnung kann ferner eine Außenkamera aufweisen, welche Bilddaten der Fahrzeugumgebung erfasst. Diese Bilddaten können ebenfalls durch die Steuereinheit analysiert werden, um darin Objekte zu erkennen, welche mit dem vom Benutzer erkannten Geste und dem Sprachbefehl korrespondieren. Zum Beispiel können Objekte erkannt werden, welche mit der Geste, der Körperhaltung und/oder der Mimik und mit dem Sprachbefehl des Benutzers korrespondieren. Hierzu kann der fokussierte Bereich des Benutzers genutzt werden. Dieser kann wiederum in die durch die Außenkamera erfassten Bilddaten projiziert und dem Benutzer auf einer Anzeigeeinheit, wie beispielsweise einem Display, angezeigt werden.
-
Sollte auf den Bilddaten der Fahrzeugumgebung kein Objekt existieren, welches direkt mit der Frage des Fahrers verknüpft werden kann, kann ein Bildausschnitt adaptiert werden, bis der Benutzer Fahrer seine Bestätigung gibt. Die Adaptierung des Bildabschnittes kann ebenfalls über einen natürlichen Dialog mit dem Benutzer erfolgen, beispielsweise wie „Bisschen weiter nach links?“ (rechts/oben/unter) oder „Ist das Gebäude nun im markierten Bereich?“. Alternativ oder zusätzlich kann der Benutzer durch eine Touch- oder Tasteneingabe, z.B. per Wischgeste, den entsprechenden Bildausschnitt wählen bzw. markieren. Nach dem Erfolgen der Adaption, kann der Benutzer durch die Steuereinheit aufgefordert werden das Objekt, welches er in dem Sprachbefehl gemeint hat auf der Anzeigeeinheit zu bestätigen, z.B. über Antippen oder Bestätigen. Alternativ oder zusätzlich kann der Blickwinkel, mit welcher der Benutzer das Objekt auf der Anzeigeeinheit betrachtet, zur Identifizierung des in Frage kommenden Objektes genutzt werden. Dadurch kann eine automatische Feststellung des Objektes erfolgen. Es sei angemerkt, dass das zu bestätigende Objekt auf der Anzeigeeinheit farbig hervorgehoben werden kann, beispielsweise mit einem Objektrahmen oder durch Einfärben des Objektes. Alternativ oder zusätzlich kann eine Audioausgabe erfolgen, welcher der Objektname aus einer Datenbank bekannt sein kann. Die Information bezüglich des ausgewählten Objekts kann die Steuereinheit aus einer Datenbank (lokal gespeichert), von einer Cloud (geschützter Fernzugriff) oder aus dem Internet beziehen. Beispielsweise kann das Fahrerassistenzsystem ein digitaler Assistent sein, welcher verschiedene Technologien verwendet, um eine Information für den Benutzer bereitzustellen. Hierbei kann eine Fahrerbeobachtung, eine Gestenerkennung, eine Intentionserkennung, beispielsweise über den Terminkalender des Benutzers, eine natürliche Spracherkennung und/oder ein location-based Informationsdienst zum Einsatz kommen. Insbesondere können Informationen für Points of Interest (POIs), wie beispielsweise historische oder markante Gebäude, berühmte Museen, Straßen und Plätze aber auch über Verkehrszeichen sowie dynamische Verkehrsereignisse bereitgestellt werden.
-
Es sei angemerkt, dass die Steuereinheit eine elektronische Schaltung, ein Schaltkreis, ein Rechenwerk, eine Recheneinheit, ein Prozessor oder ein Steuergerät sein kann. Ferner kann die Steuereinheit auch eine Speichereinheit aufweisen, welche die durch die Steuereinheit benötigten und/oder erzeugten Daten speichert.
-
Gemäß einer Ausführungsform der Erfindung betrifft die Information oder der Kontext ein Element der Fahrzeugumgebung.
-
Insbesondere können Informationen bezüglich Points of Interest, welche sich in der Nähe zum Fahrzeug befinden bereitgestellt werden.
-
Gemäß einer Ausführungsform der Erfindung ist die Sensoranordnung dazu eingerichtet, Bilddaten einer Fahrzeugumgebung zu erfassen und die Steuereinheit ist dazu eingerichtet, basierend auf den Bilddaten der Fahrzeugumgebung eine aktuelle Umgebungssituation zu erkennen und diese in der Bestimmung des Kontextes zu berücksichtigen.
-
Zum Beispiel kann die Sensoranordnung auch eine Außenkamera aufweisen, welche Bilddaten der Fahrzeugumgebung erfasst. Durch das Bestimmen der aktuellen Umgebungssituation kann die erkannte Geste, Körperhaltung oder Mimik und sowie der Sprachbefehl mit zusätzlichen Kontext versehen werden. Des Weiteren kann so über eine Objekterkennung ein in Frage kommendes Objekt in den Bilddaten der Fahrzeugumgebung erkannt werden. Ferner können dem Benutzer die Bilddaten der Außenkamera mit dem in Frage kommenden Objekt dargestellt werden.
-
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, zur Erkennung der Gestik, der Körperhaltung und/oder der Mimik, der Umgebungssituation und des Sprachbefehls bei der Bestimmung des Kontextes ein künstliches neuronales Netz zu verwenden.
-
Zur schnellen, verlässlichen und sichereren Auswertung bzw. Analyse der Audio- und Bilddaten der Sensoranordnung kann durch die Steuereinheit ein künstliches neuronales Netz verwendet werden. Dieses kann explizit darauf trainiert sein, die Gestik, die Mimik oder die Körperhaltung, sowie den Sprachbefehl des Benutzers in den Sensordaten zu erkennen. Hierbei kann ein rekurrentes neuronales Netz (RNN) oder ein convolutional neural Network (CNN) eingesetzt werden.
-
Dazu können Verfahren zur Mustererkennung, beispielsweise neuronaler Netze, bekannte Formen, wie z.B. die Augen oder das ganzen Gesicht, herangezogen werden. Diese bekannten Formen können in den Bilddaten durch die Mustererkennung wieder aufgefunden werden und die geometrische Position optimal geschätzt werden. Dies kann weiter verbessert werden, wenn ein kinematisches Modell eines Menschen geschätzt wird, dessen zweidimensionalen Projektionen des vom Kamerasystem aufgenommenen Bildes entspricht. Als Optimalschätzer können beispielsweise Kalman-Filter herangezogen werden, die für die in Frage kommenden kinematischen Winkel des Models optimale Werte für die zweidimensionale Kameraprojektion bestimmen. Aus der geometrischen Lage und der Größe der bekannten Formen, z.B. der Pupillenmittelpunkte, der Nasenspitze und/oder der Mundwinkel lassen sich somit die interessierenden Größen für Blickwinkel oder Zeigerichtunq bestimmt werden.
-
Gemäß einer Ausführungsform der Erfindung weist das Fahrerassistenzsystem ferner einer Anzeigeeinrichtung auf. Die Steuereinheit ist dazu eingerichtet, die Anzeigeeinrichtung anzuleiten ein Bild anzuzeigen und/oder einen Teil eines Bildes zu markieren, welches mit dem bestimmten Kontext korrespondiert.
-
Beispielsweise kann die Steuereinheit ein Bild, vorzugsweise das Kamerabild der Außenkamera auf einer Anzeigeeinheit anzeigen und in diesem Bild das Objekt, für welches sich der Benutzer interessiert, markieren. Die Anzeigeeinheit kann beispielsweise ein Display oder ein Monitor innerhalb des Fahrzeugs sein. Somit kann dem Benutzer visuell dargestellt werden, zu welchem Objekt die Informationen durch das Fahrerassistenzsystem bereitgestellt werden. Alternativ oder zusätzlich kann auch ein Bild aus der Datenbank, dem Internet oder der digitalen Straßenkarte angezeigt werden, um den Kontext genauer zu bestimmen. Somit kann das Fahrerassistenzsystem mit dem Benutzer in einen Dialog treten. Alternativ oder zusätzlich kann die Steuereinheit des Fahrerassistenzsystems basierend auf dem bestimmten Kontext eine Vorauswahl treffen und diese dem Benutzer zur Verfügung stellen. Aus dieser Auswahl kann anschließend der Benutzer auswählen. Alternativ oder zusätzlich kann die Steuereinheit auf bereits vergangene Bilddaten der Fahrzeugumgebung zugreifen und darin in Frage kommende Objekte identifizieren und dem Benutzer zur Auswahl stellen.
-
Gemäß einer Ausführungsform der Erfindung ist das angezeigte Bild und/oder der markierte Teil des Bildes durch einen Sprachbefehl oder durch eine Eingabe des Benutzers anpassbar. Somit kann der Benutzer den Bildausschnitt verschieben und weiter gezielt Informationen zu einem bestimmten Objekt in der Fahrzeugumgebung dem Fahrerassistenzsystem mitteilen.
-
Gemäß einer Ausführungsform der Erfindung ist das angezeigte Bild und/oder der markierte Teil des Bildes durch den Benutzer identifizierbar und bestätigbar, vorzugsweise mittels eines Antippens auf der Anzeigeeinrichtung.
-
Beispielsweise kann der Benutzer eine durch das Fahrerassistenzsystem getroffene Auswahl bezüglich eines Objekts ansehen, identifizieren und dem System gegenüber bestätigen. Alternativ oder zusätzlich kann die Bestätigung auch akustisch oder durch einen Tastendruck erfolgen.
-
Gemäß einer Ausführungsform der Erfindung weist das Fahrerassistenzsystem ferner eine Positionierungseinrichtung auf. Die Positionierungseinrichtung ist dazu eingerichtet, die aktuelle Position des Fahrzeugs zu bestimmen. Die Steuereinheit ist dazu eingerichtet, die aktuelle Position zu berücksichtigen, um dem Benutzer die Information bereitzustellen.
-
Dadurch, dass die Position des Fahrzeugs bekannt ist, können die in Frage kommenden Objekte eingeschränkt werden. Ferner können der Sprachbefehl und die Geste mit Informationen der digitalen Karte oder der Datenbank in Verbindung gebracht werden. Die Position kann beispielsweise über ein globales Positionierungssystem, z.B. GPS, Galileo, Baidou oder GLONASS, oder aber über eine Zellpositionierung mit Hilfe von Mobilfunknetzen bestimmt werden.
-
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, den Kontext mit Beginn der Gestik, der Körperhaltung und/oder der Mimik zu bestimmen.
-
Beispielsweise kann das Fahrerassistenzsystem bereits mit der Bestimmung des Kontextes beginnen und demensprechend Bilddaten analysieren, wenn der Benutzer das erste Mal eine Reaktion zeigt und nicht erst nach dem Beenden des Sprachbefehls . Somit kann auch einem sich schnell veränderten Fahrzeugumfeld, z.B. während der Fahrt, Rechnung getragen werden. Hierfür können die Bilddaten der Außenkamera und/oder der Innenraumkamera gespeichert werden und die Bilddaten zum Zeitpunkt der Reaktion des Benutzers können zur Bestimmung des Kontextes bzw. zur Bestimmung des in Frage kommenden Objekts herangezogen werden.
-
Gemäß einer Ausführungsform der Erfindung weist die Sensoranordnung ein Mikrofon, eine Innenraumkamera, eine Außenkamera, einen Radarsensor, einen Lidarsensor, einen Infrarotsensor, einen Ultraschallsensor und/oder eine Kombination hieraus auf. Ferner können bereits im Fahrzeug befindliche Sensoren oder Sensordaten durch die Sensoranordnung verwendet werden.
-
Gemäß einer Ausführungsform der Erfindung weist die Gestik, die Körperhaltung und/oder die Mimik des Benutzers einen Blickwinkel, eine Blickrichtung, eine Kopfhaltung, einen Gesichtsausdruck, eine Handbewegung, eine Fingerbewegung und/oder einen fokussierten Bereich auf.
-
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, eine Interaktion mit dem Benutzer (3) zu unterlassen, wenn basierend auf der Gestik, der Körperhaltung und/oder der Mimik und/oder der Umgebungssituation festgestellt wird, dass eine gefährliche Fahrsituation vorliegt.
-
Beispielweise kann die Steuereinheit feststellen, ob aktuell eine Interaktion mit dem Benutzer möglich bzw. sinnvoll ist. Beispielsweise kann während einer anstrengenden oder risikoreicheren Fahrsituation eine Interaktion zwischen dem Fahrerassistenzsystem und dem Benutzer unterbleiben. Alternativ oder zusätzlich kann die Interaktion mit dem Benutzer unterbrochen werden und zu einem späteren Zeitpunkt wieder aufgegriffen werden. Es sei angemerkt, dass die Fahrsituation bzw. die Kritikalität dieser aus Telematik-Daten und über Daten in Bezug auf die Verkehrslage ermittelt werden kann. Insbesondere können die Verkehrsdichte, über eine Außenkamera, die Durchschnittgeschwindigkeit und die Komplexität des Straßennetzes in die Bestimmung der Kritikalität der Fahrsituation mit einbezogen werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem vorhergehend und nachfolgend beschriebenen Fahrerassistenzsystem.
-
Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.
-
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Bereitstellung von Informationen für einen Benutzer eines Fahrzeugs, die folgenden Schritte aufweisend:
- - Erfassen von Bild- und Audiodaten eines Benutzers des Fahrzeugs;
- - Erfassen von Bilddaten einer Fahrzeugumgebung;
- - Erkennen, durch eine Steuereinheit, einer Gestik, einer Körperhaltung und/oder einer Mimik des Benutzers basierend auf den erfassten Bilddaten des Benutzers;
- - Erkennen, durch die Steuereinheit, eines Sprachbefehls des Benutzers basierend auf den erfassten Audiodaten;
- - Bestimmen, durch die Steuereinheit, eines Kontextes anhand der erkannten Gestik, der Körperhaltung und/oder der Mimik und anhand des erkannten Sprachbefehls; und
- - Bereitstellen einer Information basierend auf dem bestimmten Kontext.
-
Es sei angemerkt, dass die Schritte des Verfahrens auch in einer anderen Reihenfolge oder gleichzeitig ausgeführt werden können. Ferner kann zwischen einzelnen Schritten auch eine längere Zeitspanne liegen.
-
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einer Steuereinheit eines Fahrerassistenzsystems ausgeführt werden, das Fahrerassistenzsystem anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
-
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einer Steuereinheit eines Fahrerassistenzsystems ausgeführt wird, das Fahrerassistenzsystem anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
-
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und der Figuren.
-
Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung der Figuren gleiche Bezugszeichen angegeben, so bezeichnen diese gleiche oder ähnliche Elemente.
- 1 zeigt ein Blockdiagramm eines Fahrerassistenzsystems gemäß einer Ausführungsform der Erfindung.
- 2 zeigt ein weiteres Blockdiagramm eines Fahrerassistenzsystems gemäß einer Ausführungsform der Erfindung.
- 3 zeigt ein Fahrzeug mit einem Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung.
- 4 zeigt Ablaufdiagramm für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer gemäß einer Ausführungsform der Erfindung.
- 5 zeigt ein Flussdiagramm für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer gemäß einer Ausführungsform der Erfindung.
-
1 zeigt eine Fahrerassistenzsystem 1. Dieses Fahrerassistenzsystem 1 weist eine Steuereinheit 10, eine Sensoranordnung 20, eine Positionierungseinrichtung 40 und eine Anzeigeeinheit 50 auf. Die Sensoranordnung 20 erfasst Sensordaten eines Benutzers und insbesondere Bilddaten und Audiodaten des Benutzers. Des Weiteren kann die Sensoranordnung 20 auch Bilddaten einer Fahrzeugumgebung erfassen, beispielsweise von Gebäuden oder einem Platz. Die Sensoranordnung 20 kann beispielsweise eine Innenraumkamera, eine Außenkamera, ein Mikrofon, einen Radarsensor, einen Infrarotsensor, einen Ultraschallsensor oder einen Lidarsensor aufweisen oder auf bereits im Fahrzeug vorhandene Sensoren zurückgreifen. Die Steuereinheit 10 erhält die von der Sensoranordnung 20 erfassten Sensordaten und wertet diese aus bzw. analysiert diese. Ferner kann die Steuereinheit 10 eine Geste, eine Körperhaltung und/oder eine Mimik von dem Benutzer in den Bilddaten der Sensoranordnung erkennen. Die erkannte Geste, Körperhaltung und/oder Mimik kann beispielsweise ein Winken, ein Zeigen mit der Hand, ein Handzeichen, eine Kopfbewegung, eine Blickrichtung, ein Blickwinkel, ein Gesichtsausduck oder ein fokussierter Bereich sein. Der Sprachbefehl kann insbesondere eine Frage des Benutzers sein. Zur Erkennung der Geste, der Körperhaltung und/oder der Mimik, sowie des Sprachbefehls kann die Steuereinheit 10 ein künstliches neuronales Netz aufweisen, welches die von der Sensoranordnung 20 erfassten Sensordaten auswertet bzw. analysiert. Sobald die Steuereinheit 10 die Geste, die Körperhaltung und/oder die Mimik, sowie den Sprachbefehl des Benutzers erkannt hat, kann die Steuereinheit 10 einen Kontext bestimmen und entsprechend dieses Kontextes eine Information 30 an den Benutzer ausgeben, welche mit der erkannten Geste, Körperhaltung und/oder Mimik, sowie dem Sprachbefehl korrespondiert. Diese Ausgabe kann beispielsweise visuell über die Anzeigeeinheit 50 geschehen. Alternativ oder zusätzlich ist auch eine akustische Ausgabe der Information 30 an den Benutzer möglich. Die Steuereinheit 10 kann basierend auf der Geste, der Körperhaltung und/oder der Mimik in Verbindung mit dem Sprachbefehl die Information 30 an den Benutzer bereitstellen. Insbesondere betrifft die Information 30 ein Objekt der direkten Fahrzeugumgebung. Die Positionierungseinrichtung 40 übergibt die aktuelle Fahrzeugposition an die Steuereinheit 10 anhand der die Erfassung der Umgebungssituation mittels der Kartendaten um die aktuelle Fahrzeugposition verbessert werden kann.
-
Alternativ oder zusätzlich kann die Steuereinheit 10 die aktuelle Umgebungssituation bestimmen, z.B. Stau, fahren in der Stadt, fahren auf der Autobahn, fahren in einer 30er Zone oder fahren in einer Baustelle. Diese Umgebungssituation kann die Steuereinheit 10 dazu verwenden, um die erkannte Geste, die erkannte Körperhaltung, die erkannte Mimik und den Sprachbefehl in einen weiteren Kontext zu rücken und zu verifizieren, zu überprüfen oder zu plausibilisieren.
-
2 zeigt eine detaillierte Ansicht des Fahrerassistenzsystems 1 aus 1. Die Sensoranordnung 20 kann eine Innenraumkamera 21 und ein Mikrofon 22 aufweisen, welche Bild- bzw. Audiodaten des Benutzers 3 erfassen. Diese Daten können an die Steuereinheit 10 weitergeleitet werden. Ferner kann die Positionierungseinrichtung 40 die aktuelle Position des Fahrzeugs bestimmen und der Steuereinheit 10 zur Ermittlung des Kontextes und/oder zur Informationsbereitstellung mitteilen. Ferner kann das Fahrerassistenzsystem 1 eine Außenkamera aufweisen, welche Bilddaten einer Fahrzeugumgebung erzeugt. Die Steuereinheit 10 kann das Objekt, auf welches sich der Benutzer 3 bezieht zur Bestätigung durch den Benutzer 3 auf einer Anzeigeeinheit 50 darstellen. Erfolgt durch den Benutzer 3 die Bestätigung, kann die Steuereinheit 10 die durch den Benutzer 3 gewünschte Information 30 ausgegeben werden. Diese Ausgabe kann visuell über eine Anzeigeeinheit 50 aber auch akustisch über einen Lautsprecher 51 erfolgen. Somit kann das Fahrerassistenzsystem 1 mit dem Benutzer 3 in einen Dialog treten. Des Weiteren kann die Steuereinheit 10 basierend auf dem bestimmten Kontext eine Vorauswahl treffen und diese dem Benutzer 3 anzeigen bzw. ausgeben. Somit kann auf einfache und schnelle Weise der genaue Kontext bestimmt werden. Des Weiteren kann die Bestimmung des Kontextes bereits mit der Erkennung der Gestik, Körperhaltung und/oder Mimik erfolgen und nicht erst mit Ende des Sprachbefehls. Somit kann auch auf schnelle Ereignisse während der Fahrt reagiert werden. Alternativ oder zusätzlich kann die Steuereinheit 10 den Dialog mit dem Fahrer unterbrechen bzw. verschieben, wenn diese anhand der Umgebungssituation feststellt, dass zurzeit keine Interaktion mit dem Benutzer zu erfolgen hat.
-
3 zeigt ein Fahrzeug 2 mit einem Fahrerassistenzsystem 1. Das Fahrerassistenzsystem 1 kann hierbei auf bereits im Fahrzeug 2 vorhandene Sensoren und eine Steuereinheit zurückgreifen, sodass eine einfache, schnelle und kostengünstige Realisierung des Fahrerassistenzsystems 1 möglich ist.
-
4 zeigt ein Ablaufplan für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer. In einem ersten Schritt S20 erfolgt die Beobachtung des Benutzers, beispielsweise durch eine Innenraumkamera, und die Erfassung von Bilddaten des Benutzers. In Schritt S21 werden Audiodaten des Benutzers erfasst und darin ein Sprachbefehl bestimmt. In Schritt S22 wird der Sprachbefehl analysiert. Wenn der Sprachbefehl die Fahrzeugumgebung betrifft, wird das Verfahren in Schritt S23 fortgesetzt, wenn nicht, beginnt das Verfahren wieder in Schritt S20. In dem Schritt S23 wird die Geste, die Körperhaltung und/oder die Mimik in den Bilddaten des Benutzers erkannt. Schritt S24 kann als Teil von Schritt S23 (Mimikerkennung) erfolgen oder aber als separater Schritt durchgeführt werden, in welchem der Blickwinkel des Benutzers bestimmt wird. Im Anschließenden Schritt S25 kann mittels der Blickrichtung und von Bilddaten einer Außenkamera ein fokussierter Bereich in der Fahrzeugumgebung bestimmt werden, welchen der Benutzer gerade ansieht. In Schritt S26 wird überprüft, ob eine Interaktion bzw. ob ein Dialog mit dem Benutzer zurzeit möglich ist. Ist dies nicht möglich so beginnt das Verfahren wieder bei Schritt S20. Ist eine Interaktion mit dem Benutzer möglich, so kann mit Schritt S27 fortgefahren werden. In Schritt S27 wird überprüft, ob ein Objekt durch das Fahrerassistenzsystem basierend auf dem Sprachbefehl und der Gestik, der Körperhaltung und/oder der Mimik eindeutig erkannt wurde. Wurde das Objekt eindeutig erkannt, werden die angefragten Informationen in Schritt S30 an den Benutzer ausgegeben. Wurde das Objekt nicht eindeutig erkannt, kann in Schritt S28 dem Benutzer ein Bild bzw. ein Bildbereich auf einer Anzeigeeinheit angezeigt werden, in welchem sich das vom Benutzer gemeinte Objekt befinden kann. In Schritt S29 kann ein Dialog mit dem Benutzer erfolgen, in welchem dieser das von ihm gemeinte Objekt näher definiert und/oder bestätigt. Ist dies geschehen kann das Verfahren wieder in Schritt S27 fortgesetzt werden.
-
5 zeigt ein Flussdiagramm für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer eines Fahrzeugs. In einem Schritt S1 werden Bild- und Audiodaten eines Benutzers des Fahrzeugs durch eine Sensoranordnung erfasst. In Schritt S2 werden Bilddaten von einer Fahrzeugumgebung erfasst. In einem Schritt S3 wird, durch eine Steuereinheit, eine Gestik, eine Körperhaltung und/oder eine Mimik des Benutzers basierend auf den erfassten Bilddaten des Benutzers erkannt. In Schritt S4 wird, basierend auf den erfassten Audiodaten, durch die Steuereinheit ein Sprachbefehl des Benutzers erkannt. In Schritt S5 wird durch die Steuereinheit eine Umgebungssituation basierend auf den erfassten Bilddaten der Fahrzeugumgebung erkannt. In Schritt S6 wird ein Kontext anhand der erkannten Gestik, der Körperhaltung und/oder der Mimik, anhand des erkannten Sprachbefehls sowie anhand der erkannten Umgebungssituation bestimmt. In einem Schritt S7 wird eine Information dem Benutzer basierend auf dem bestimmten Kontext bereitgestellt. Diese Information kann insbesondere mit der aktuellen Fahrzeugumgebung in Zusammenhang stehen.
