-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Dialogsystems, insbesondere eines Sprachdialogsystems, eines Fahrzeugs, sowie ferner ein Dialogsystem und ein Fahrzeug, insbesondere ein Kraftfahrzeug, mit einem solchen Dialogsystem.
-
Ein Fahrzeug im Sinne der Erfindung kann ein Kraftfahrzeug, insbesondere ein Personenkraftwagen oder Lastkraftwagen, sein. Die Erfindung ist jedoch auch bei anderen Land-, Wasser-, Schienen- und Luftfahrzeugen anwendbar.
-
Moderne Kraftfahrzeuge verfügen über eine Vielzahl von Funktionen. Damit diese vom Fahrer oder anderen Benutzern möglichst nutzerfreundlich aktiviert und bedient werden können, werden unterschiedliche Bedienmodalitäten zur Verfügung gestellt, welche teilweise auch redundant oder in Verbindung miteinander genutzt werden können. Neben herkömmlichen Bedienelementen wie Tasten, Schaltern, Wippen, Dreh-/Drückstellern und dergleichen bieten moderne Kraftfahrzeuge auch die Möglichkeit der Sprachsteuerung und der Gestensteuerung.
-
Dabei kann Gestik oder Sprache nicht nur zur Entgegennahme einfacher Befehle verwendet werden. Manche Fahrzeuge sind zur Durchführung eines mehrgliedrigen Dialogs eingerichtet. Es können also von dem Fahrzeug im Ansprechen auf die erste Eingabe, z.B. Spracheingabe, Antworten oder Rückfragen ausgegeben werden, auf die der Nutzer dann wiederum mit einer Spracheingabe oder Geste antworten kann. Alternativ kann der Nutzer den Dialog auch unter Nutzung herkömmlicher Bedienelemente des Fahrzeugs fortsetzen, also beispielsweise zur Bestätigung eines vom Fahrzeug per Sprachausgabe vorgeschlagenen Ergebnisses (z.B. eines Telefonbucheintrags oder einer Adresse) eine Bestätigungstaste drücken.
-
Im Rahmen der vorliegenden Offenbarung ist der Begriff Dialogsystem breit zu verstehen. Insbesondere soll die Möglichkeit umfasst sein, dass sowohl Fahrzeug als auch Nutzer verschiedene, auch wechselnde, Dialogmodalitäten, nutzen. So kann der Nutzer den Dialog mittels Spracheingabe, Gestik und / oder Bedienelementen führen. Das Fahrzeug kann den Dialog mittels Sprach- und / oder sonstiger Audioausgabe, visueller Ausgabe und / oder haptischem Feedback führen.
-
Es sind ferner Fahrzeuge mit Navigationssystem bekannt. Ist bei einem Navigationssystem die Zielführung aktiv, so wird der Fahrer durch visuell und / oder akustisch ausgegebene Hinweise zu einer eingestellten Zieladresse geleitet.
-
DE 10 2004 009 278 A1 beschreibt ein Verfahren zur Zielführung von Nutzern eines Navigationssystems. Dabei werden mittels einer Bilderfassungseinrichtung in der Umgebung des Fahrzeugs befindliche Objekte erkannt und für auszugebende Zielführungsinformationen genutzt. So kann beispielsweise die Zielführungsinformation „Hinter dem blauen Auto in die Straße rechts abbiegen“ ausgegeben werden. Eine ähnliche Vorgehensweise schlägt auch
EP 0 782 118 A1 vor.
-
EP 2 003 423 A1 offenbart ein Navigationssystem mit einem Display. Bei der auf dem Display ausgegebenen Anzeige werden von einer Kamera erfasste Umfeldbilddaten mit grafischen Zielführungshinweisen kombiniert.
-
DE 10 2012 013 503 A1 schlägt ein Fahrzeugsteuerungssystem mit einer Kombination aus Gestenerkennung und Spracherkennung vor. Dadurch wird die Beantwortung multimodaler Anfragen ermöglicht. Beispielsweise könnte ein Nutzer auf ein Hotelgebäude im Umfeld des Fahrzeugs zeigen und sagen: „Wie teuer ist das Zimmer in diesem Hotel?“
-
Derartige Systeme sind jedoch nach heutigem Stand nur mit sehr hohem technischem Aufwand umsetzbar. Ausgehend vom Stand der Technik stellt sich die Aufgabe, ein Dialogsystem mit reduzierter technischer Komplexität bereitzustellen.
-
Die Aufgabe wird gelöst bei einem Verfahren und einem Dialogsystem mit den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstände der abhängigen Ansprüche.
-
Das erfindungsgemäße Verfahren dient zum Betreiben eines Dialogsystems, insbesondere eines Sprachdialogsystems, eines Fahrzeugs während einer aktiven Zielführung eines Navigationssystems.
-
In einem ersten erfindungsgemäßen Verfahrensschritt wird eine Eingabe eines Nutzers erfasst. Dabei kann es sich um eine beliebige, auch multimodale, Eingabe handeln, z.B. um eine Spracheingabe und / oder eine Geste und / oder eine Betätigung eines Bedienelements, z.B. eines Touchscreens.
-
Im folgenden Schritt wird eine navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert. Unter einer navigationsrelevanten Objektbezeichnung ist jegliche Bezeichnung zu verstehen, die für die aktive Zielführung oder für eine andere Art der Navigation, insbesondere für eine alternative Zielführung, von Relevanz sein kann.
-
Ein mit einer navigationsrelevanten Objektbezeichnung bezeichnetes Objekt muss eine geografische Position aufweisen. Diese kann zeitlich konstant (wie z.B. bei einem Gebäude) oder veränderlich (wie z.B. bei einem sich bewegenden Fahrzeug) sein. Ferner muss die geografische Position nicht punktuell sein, sondern kann ein Gebiet (wie z.B. bei einem Park) oder einen örtlichen Verlauf (wie z.B. bei einer Straße) umfassen. Ferner ist nicht erfindungswesentlich, dass die navigationsrelevante Objektbezeichnung ein bestimmtes Objekt eindeutig bezeichnet. Beispielsweise kann aus der Eingabe des Nutzers die navigationsrelevante Objektbezeichnung „das Haus“ extrahiert werden, die aber noch keinen eindeutigen Schluss darauf zulässt, welches Haus konkret gemeint ist.
-
Navigationsrelevant sind somit insbesondere ortsfeste oder bewegliche Objekte außerhalb des Fahrzeugs, insbesondere im Umfeld des Fahrzeugs befindliche Objekte. Navigationsrelevant sind ferner geografische Angaben. In der Regel nicht navigationsrelevant sind Bezeichnungen von Objekten ohne jeglichen geografischen Bezug und insbesondere von nicht-gegenständlichen Objekten. Beispielsweise enthält die Spracheingabe „Spiele die Symphonie Nr. 1 von Ludwig van Beethoven“ keine navigationsrelevante Objektbezeichnung.
-
Beispiele für zu extrahierenden navigationsrelevante Objektbezeichnungen sind:
- - ein Fahrzeug, das der Nutzer mit den Worten „das blaue Fahrzeug vor uns“ beschrieben hat;
- - ein Gebäude, auf das der Nutzer zeigt, wobei er zudem eine Spracheingabe tätigt, welche die Worte „dieses Haus“ umfasst;
- - ein Gebiet, das der Nutzer mit den Worten „der Park links“ beschrieben hat;
- - eine Straße, die der Nutzer mit den Worten „die aktuelle Straße“ beschrieben hat.
-
Im folgenden Schritt wird eine geografische Position eines durch die Objektbezeichnung bezeichneten Objekts bestimmt. Hierzu können von Sensoren (z.B. Kamera, Radar, Lidar, Ultraschall, GPS, etc.) des Fahrzeugs bereitgestellte Daten, digitale Kartendaten und / oder weitere Informationen genutzt werden. Weitere Informationen können insbesondere mittels drahtloser Datenübertragung (insbesondere car-to-car und car-to-infrastructure) von anderen Verkehrsteilnehmern und / oder anderen Objekten (insbesondere Infrastrukturobjekten wie z.B. Lichtsignalanlagen, Landmarken, etc.) übermittelte und vom Fahrzeug empfangene Positionsangaben und / oder weitere Daten sein. Zur Bestimmung der geografischen Position kann auch mittels einer drahtlosen Datenverbindung, insbesondere einer Mobilfunkverbindung, auf fahrzeugexterne Datenbanken zugegriffen werden, die Informationen über geografische Positionen enthalten.
-
Gelingt es nicht, die geografische Position des durch die Objektbezeichnung bezeichneten Objekts zu bestimmen, etwa aufgrund einer möglichen Mehrdeutigkeit der Objektbezeichnung (z.B. „das Auto“), können vorteilhafte Ausführungsformen der Erfindung eine Fortsetzung des Verfahrens auf folgende Arten vorsehen.
-
Erstens kann vorzugsweise ein Dialog mit dem Nutzer zum Zwecke der eindeutigen Bestimmung des Objekts geführt werden. Insbesondere kann das Dialogsystem eine sinnvolle Rückfrage stellen („Welches Auto meinen Sie?“).
-
Zweitens kann vorzugsweise für den Fall, dass mehrere Objekte bestimmt werden konnten, die durch die Objektbezeichnung bezeichnet werden, das Verfahren parallel für alle diese Objekte fortgesetzt werden. Weiter vorzugsweise können die so entstehenden parallelen Stränge des Verfahrens später entweder wieder zusammengeführt oder teilweise abgebrochen werden, sodass im Ergebnis das Verfahren nur bezüglich eines einzigen Objekts (oder einer Gruppe von Objekten, die z.B. aufgrund ihrer räumlichen Nähe zusammengefasst werden können) bis zum letzten erfindungsgemäßen Verfahrensschritt durchgeführt wird.
-
Drittens kann vorzugsweise das Verfahren abgebrochen werden. Besonders bevorzugt erfolgt eine Ausgabe einer Meldung, z.B. eines Sprachhinweises, an den Nutzer, in welcher er über den Abbruch des Verfahrens und den Grund hierfür in Kenntnis gesetzt wird.
-
Im folgenden Schritt wird eine geografische Position des Fahrzeugs bestimmt. Dies geschieht auf an sich im Stand der Technik bekannte Weise, insbesondere mittels eines Navigationssatellitensystems (Globales Navigationssatellitensystem, GNSS, insbesondere GPS, Galileo, GLONASS und / oder Beidou), weiterer Umfeldsensoren und / oder digitaler Kartendaten.
-
Alternativ oder zusätzlich kann ein geografischer Verlauf einer voraussichtlichen Fahrtroute der aktiven Zielführung bestimmt werden. Dieser geografische Verlauf umfasst mit anderen Worten die geografischen Positionen derjenigen Trajektorie, an denen sich das Fahrzeug gemäß der aktiven Zielführung voraussichtlich zukünftig aufhalten wird. Beispielsweise kann dies der weitere Verlauf der aktuell befahrenen Straße sein.
-
Schließlich sieht das Verfahren vor, dass eine Ausgabe zur Beantwortung der Eingabe des Nutzers unter Berücksichtigung der geografischen Position des Objekts und der geografischen Position des Fahrzeugs und / oder des geografischen Verlaufs der voraussichtlichen Fahrtroute der aktiven Zielführung erzeugt wird. Mit anderen Worten wird also bei der Beantwortung der Eingabe des Nutzers Bezug auf das von dem Nutzer referenzierte Objekt genommen. Dabei wird berücksichtigt, wo sich das Fahrzeug derzeit befindet und / oder zukünftig befinden wird.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass bei aktiver Zielführung ein besonderer Bedarf an Dialog bestehen kann. Das Verfahren trägt diesem Umstand Rechnung, indem es einen auf Belange der aktiven Zielführung beschränkten Dialog mit handhabbarem technischem Aufwand ermöglicht. Neben dem verringerten technischen Aufwand bietet es den Vorteil, dass die Eingabe des Nutzers in einer äußerst natürlichen und verständlichen Weise beantwortet werden kann, nämlich indem die Bezugnahme des Nutzers auf das navigationsrelevante Objekt aufgegriffen und für die Antwort verwendet wird.
-
Vorzugsweise umfasst das Verfahren einen Schritt eines Bestimmens eines inhaltlichen Bezugs der Eingabe zu der aktiven Zielführung. Hierdurch kann die technische Komplexität noch weiter reduziert werden. Wird nämlich bei diesem Schritt kein inhaltlicher Bezug der Eingabe zu der aktiven Zielführung festgestellt, so kann besonders bevorzugt das Verfahren abgebrochen werden. Zur Bestimmung des inhaltlichen Bezugs kann die Eingabe beispielsweise auf das Vorhandensein vorbestimmter Schlagworte untersucht werden. Eine Liste vorbestimmter Schlagworte kann z.B. die Begriffe „Straße“, „Auto“, „Haus“, Kreuzung“, „Brücke“, „rechts“, „links“, „abbiegen“ und dergleichen umfassen. Umfasst die Eingabe eine Geste, so kann die Bestimmung in entsprechender Weise mittels vorbestimmter Gestenmuster erfolgen. So kann beispielsweise bei einer Zeigegeste auf einen Bereich außerhalb des Fahrzeugs (also mit anderen Worten eine Zeigegeste auf eine Fahrzeugscheibe) bestimmt werden, dass die Eingabe einen inhaltlichen Bezug zur aktiven Zielführung hat.
-
Besonders bevorzugt kann ein inhaltlicher Bezug der Eingabe zu der aktiven Zielführung dann bestimmt werden, wenn sich die Eingabe auf eine Fahranweisung und / oder ein bevorstehendes auszuführendes Fahrmanöver bezieht. Es kann z.B. ein inhaltlicher Bezug der Eingabe zu der aktiven Zielführung dann bejaht werden, wenn die Eingabe unmittelbar nach einer (insbesondere akustischen und / oder visuellen) Ausgabe einer Fahranweisung erfolgt. „Unmittelbar“ bedeutet in diesem Zusammenhang weniger als 30 Sekunden, bevorzugt weniger als 10 Sekunden, besonders bevorzugt innerhalb von 5 Sekunden.
-
In weiterer Ausgestaltung umfasst das Verfahren folgende zusätzliche Schritte:
- - Erfassen eines Abbilds der Umgebung des Fahrzeugs,
- - Identifizieren zumindest eines navigationsrelevanten Objekts im dem Abbild der Umgebung des Fahrzeugs.
-
Der erfindungsgemäße Schritt des Extrahierens einer navigationsrelevanten Objektbezeichnung aus der Eingabe erfolgt dann derart, dass eine das identifizierte navigationsrelevante Objekt bezeichnende navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert wird.
-
Diese Ausführungsform kann die technische Komplexität des Verfahrens noch weiter verringern, indem die Menge an Objekten, auf die sich die Eingabe des Nutzers beziehen kann, vorab eingegrenzt wird. Dadurch muss die Eingabe nicht mehr auf das Vorhandensein irgendeiner navigationsrelevanten Objektbezeichnung untersucht werden, sondern lediglich auf das Vorhandensein der Bezeichnung eines der zuvor identifizierten navigationsrelevanten Objekte.
-
Das Abbild der Umgebung des Fahrzeugs kann erfasst werden, indem digitale Kartendaten der Umgebung des Fahrzeugs ausgewertet werden. Dazu kann bevorzugt ein Kartenausschnitt ausgewertet werden, der den Bereich (in Fahrrichtung) vor dem Fahrzeug abdeckt. Bevorzugt kann sich die Größe des Kartenausschnitts an der aktuellen Sichtweite des Nutzers orientieren, welche insbesondere abhängig von den Licht- und Witterungsverhältnissen geschätzt werden kann. Alternativ oder zusätzlich kann sich die Größe des Kartenausschnitts an der Entfernung zum Ort eines bevorstehenden auszuführenden Fahrmanövers orientieren.
-
Alternativ oder zusätzlich kann das Abbild der Umgebung des Fahrzeugs erfasst werden, indem Sensordaten von Umfeldsensoren des Fahrzeugs, insbesondere Bilder einer Fahrzeugkamera, ausgewertet werden. Es sei angemerkt, dass es sich bei einer Fahrzeugkamera nicht zwingend um eine im Fahrzeug fest installierte Kamera handeln muss. Beispielsweise könnte auch ein in geeigneter Weise mit dem Dialogsystem verbundenes Mobilgerät, insbesondere ein sogenanntes Smartphone, als Fahrzeugkamera dienen. Die Daten der Umfeldsensoren, insbesondere die Bilder der Fahrzeugkamera, können mittels Bildverarbeitungs- und -erkennungsmethoden auf das Vorhandensein navigationsrelevanter Objekte untersucht werden.
-
Gegenüber der ausschließlichen Verwendung von Kartendaten hat dies den Vorteil, dass auch nicht-ortsfeste Objekte, z.B. andere Verkehrsteilnehmer, identifiziert werden können. Es ist daher die Verwendung von Kartendaten und Umfeldsensordaten, insbesondere Kamerabildern, besonders bevorzugt.
-
Schließlich kann, alternativ oder zusätzlich zu den vorstehend beschriebenen Varianten, das Abbild der Umgebung des Fahrzeugs erfasst werden, indem über drahtlose Datenübertragung (insbesondere car-to-car und car-to-infrastructure) von anderen Verkehrsteilnehmern und / oder anderen Objekten (insbesondere Infrastrukturobjekten wie z.B. Lichtsignalanlagen, Landmarken, etc.) übermittelte und vom Fahrzeug empfangene Positionsangaben und / oder weitere Daten ausgewertet werden.
-
Sodann wird in dem Abbild der Umgebung des Fahrzeugs zumindest ein navigationsrelevantes Objekt identifiziert. Dazu kann das Abbild bevorzugt nach allen Objekten durchsucht werden, welche vorbestimmte Kriterien, insbesondere eine Objektart, erfüllen. So können z.B. in dem Abbild eine oder mehrere der folgenden Objektarten identifiziert werden:
- - Straßen und Kreuzungen,
- - Brücken,
- - Gebiete, insbesondere Parks, Gewässer und dergleichen,
- - Fahrzeuge und andere Verkehrsteilnehmer,
- - Werbetafeln,
- - Ampeln,
- - Points-of-interest (POI), z.B. Tankstellen.
-
In besonders bevorzugter Ausgestaltung erfolgt ein erneutes Extrahieren einer navigationsrelevanten Objektbezeichnung aus der Eingabe, wenn keine das identifizierte navigationsrelevante Objekt bezeichnende navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert wurde. Mit anderen Worten kann für den Fall, dass die Untersuchung des Abbilds der Umgebung des Fahrzeugs kein Ergebnis im Form eines identifizierten navigationsrelevanten Objekts hervorgebracht hat, der Schritt des Extrahierens einer navigationsrelevanten Objektbezeichnung aus der Eingabe erneut, dann allerdings ohne Beschränkung auf vorab identifizierte Objekte, erfolgen. Dieses Vorgehen hat den Vorteil, dass zunächst versucht wird, die navigationsrelevante Objektbezeichnung auf vergleichsweise wenig aufwändige Weise zu ermitteln. Nur dann, wenn dies nicht gelingt, wird die navigationsrelevante Objektbezeichnung auf vergleichsweise aufwändige Weise ermittelt. Im Ergebnis ergibt sich in manchen Fällen eine verringerte technische Komplexität, in keinem Fall aber ein verschlechtertes Ergebnis.
-
Die Eingabe des Nutzers umfasst bevorzugt
- - eine Spracheingabe und / oder
- - eine Bediengeste, insbesondere eine Zeigegeste,
- - und / oder eine Betätigung eines Bedienelements.
-
Damit ist das Dialogsystem mit Vorteil eingerichtet, alle Varianten eines natürlichen multimodalen Dialogs zu unterstützen. Insbesondere können kombinierte Eingaben, etwa eine Zeigegeste auf ein Objekt und die gleichzeitige Spracheingabe „dieses Objekt“ (z.B. „dieses Fahrzeug“ oder „dieses Gebäude“ etc.), ohne Informationsverlust verwertet werden.
-
Die Ausgabe zur Beantwortung der Eingabe des Nutzers umfasst bevorzugt
- - eine akustische Ausgabe, insbesondere eine Sprachausgabe, und / oder
- - eine visuelle Ausgabe und / oder
- - eine haptisch erfassbare Ausgabe.
-
Die visuelle Ausgabe kann eine Ausgabe auf einem Display des Fahrzeugs sein. Besonders bevorzugt kann sich die visuelle Ausgabe sich mit einem Bild der Realität überlagern. Hierzu ist insbesondere eine Ausgabe auf einem Head-up display (HUD) des Fahrzeugs und / oder auf einer Datenbrille (auch Augmented-reality-Brille genannt) des Nutzes geeignet und bevorzugt. Umfasst nämlich die Ausgabe eine örtliche Information, etwa einen Ort eines bevorstehenden Fahrmanövers, so kann diese örtliche Information dem Nutzer an der reellen Position angezeigt werden. Beispielsweise kann im HUD ein Objekt oder eine Straßenkreuzung mit einem Symbol (z.B. einem Pfeil) oder einer andersartigen (z.B. farblichen) Hervorhebung markiert werden.
-
Ausführungsformen der Erfindung sehen vor, dass die Ausgabe zur Beantwortung der Eingabe des Nutzers unter Berücksichtigung zumindest einer früheren Eingabe des Nutzers und / oder einer die aktive Zielführung des Navigationssystems betreffenden Information, insbesondere einer Navigationsanweisung, erzeugt wird.
-
Bei der erstgenannten Alternative wird also ein früheres Dialogglied aufgegriffen. Lautete beispielsweise eine frühere Spracheingabe „Können wir zu einer nahegelegenen Tankstelle navigieren?“, so kann die Eingabe „Ist sie das?“ oder „Ist das unsere Tankstelle?“ oder „Dahin?“, jeweils verbunden mit einer entsprechenden Zeigegeste, unter Berücksichtigung der früheren Eingabe beantwortet werden. Somit wird im geschilderten Beispiel eine Rückfrage vermieden, die anderenfalls zur Beseitigung von Unklarheiten oder Mehrdeutigkeiten nötig sein könnte.
-
Bei der zweitgenannten Alternative wird Information genutzt, die sich auch der aktiven Zielführung des Navigationssystems ergibt. In ähnlicher Weise wie zuvor geschildert kann dadurch eine Eingabe wie z.B. „Ist das unser Ziel?“ oder „Fahren wir dort entlang?“ oder „Ist die Ausfahrt vor oder hinter der Brücke?“ verarbeitet werden.
-
Die Erfindung wird ferner gebildet durch ein Dialogsystem, insbesondere Sprachdialogsystem, zur Durchführung des beschriebenen Verfahrens.
-
Die Erfindung wird ferner gebildet durch ein Fahrzeug mit einem erfindungsgemäßen Dialogsystem.
-
Weitere Ausführungsformen der Erfindung werden nachfolgend anhand beispielhafter Darstellungen erläutert. Dabei zeigt
- 1 ein Ablaufdiagramm einer ersten Ausführungsform der Erfindung und
- 2 ein Ablaufdiagramm einer zweiten Ausführungsform der Erfindung.
-
Gleiche Bezugszeichen kennzeichnen in den Figuren gleiche Merkmale der dargestellten Ausführungsformen der Erfindung. Es wird darauf hingewiesen, dass es sich bei den dargestellten Figuren sowie der zugehörigen Beschreibung lediglich um Ausführungsbeispiele der Erfindung handelt. Insbesondere sind Darstellungen von Merkmalskombinationen in den Figuren und / oder der Figurenbeschreibung nicht dahingehend auszulegen, dass die Erfindung zwingend die Verwirklichung aller genannten Merkmale erfordert. Andere Ausführungsformen der Erfindung können weniger, mehr und / oder andere Merkmale enthalten. Der Schutzbereich und die Offenbarung der Erfindung ergeben sich aus den beiliegenden Patentansprüchen und der vollständigen Beschreibung.
-
Das in 1 dargestellte Ablaufdiagramm zeigt einen beispielhaften Ablauf von Verfahrensschritten beim Betrieb eines Sprachdialogsystems eines Fahrzeugs. Das Sprachdialogsystem ist nicht auf Spracheingabe und -ausgabe beschränkt. Vielmehr ist es zu einem multimodalen Dialog eingerichtet und kann neben Sprache auch Gesten und andere Eingabemodalitäten verarbeiten.
-
Bei den nachfolgend zur Erläuterung der Erfindung geschilderten beispielhaften Situationen ist jeweils eine Zielführung eines Navigationssystems des Fahrzeugs aktiv. Dies bedeutet, dass in dem Navigationssystem ein Zielort eingestellt ist und das Navigationssystem fortlaufend eine Route von der aktuellen Position des Fahrzeugs zu dem eingestellten Zielort sowie entsprechende Fahranweisungen bestimmt und ausgibt.
-
In einem ersten Verfahrensschritt 10 wird eine Eingabe eines Nutzers erfasst. In einer beispielhaften ersten Situation umfasst die Eingabe eine Spracheingabe, nämlich: „Ist die Ausfahrt vor oder hinter der Brücke?“ Die Eingabe umfasst ferner eine Zeigegeste des Nutzers, der durch die Windschutzscheibe in Richtung einer vor dem Fahrzeug liegenden Brücke zeigt. Zur Erfassung dieser multimodalen Eingabe nutzt das Dialogsystem Innenraumkameras und Innenraummikrofone des Fahrzeugs. Die Eingabe des Nutzers bezieht sich auf eine vorangegangene Navigationsanweisung des Navigationssystems, die lautete: „In 1000 Metern die Ausfahrt in Richtung Neustadt nehmen.“
-
Im anschließenden Verfahrensschritt 11 wird bestimmt, ob ein inhaltlicher Bezug der Eingabe zu der aktiven Zielführung vorliegt. Hierzu kann beispielsweise überprüft werden, ob die Eingabe bestimmte Schlagworte oder Gestenmuster umfasst. Im vorliegenden Beispiel ist das Wort „Ausfahrt“ ein solches Schlagwort, sodass der inhaltliche Bezug der Eingabe zu der aktiven Zielführung in Schritt 11 bejaht wird. Das Verfahren wird mit Verfahrensschritt 20 fortgesetzt. Wäre in Schritt 11 die Bestimmung eines inhaltlichen Bezugs der Eingabe zu der aktiven Zielführung nicht möglich gewesen, so wäre das Verfahren unmittelbar beendet worden.
-
In Schritt 20 wird eine navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert. Im vorliegenden Fall enthält die Spracheingabe die navigationsrelevanten Objektbezeichnungen „Brücke“ sowie „Ausfahrt“. Die Nutzergeste, die ebenfalls Bestandteil der Eingabe ist, bezieht sich ebenfalls auf die Brücke. Es ist vorteilhaft, wenn auch nicht zwingend, die Spracheingabe und die Nutzergeste in Schritt 20 kombiniert zu analysieren, sodass bereits in diesem Schritt 20 festgestellt wird, dass sich die sprachliche Bezeichnung „Brücke“ und die auf ein Objekt gerichtete Zeigegeste auf dasselbe Objekt beziehen.
-
In Schritt 30 wird je eine geografische Position der Brücke sowie der Ausfahrt bestimmt. Hierzu kann beispielsweise zunächst eine grobe Positionsbestimmung der Objekte mithilfe von Kameradaten und anderen Umfeldsensordaten des Fahrzeugs erfolgen, um den geografischen Bereich einzugrenzen, in welchem sich die Objekte befinden. Anschließend kann eine digitale Karte des Fahrzeugs genutzt werden, um die geografischen Positionen der Objekte exakt zu bestimmen.
-
In Schritt 40 wird der geografische Verlauf einer voraussichtlichen Fahrtroute der aktiven Zielführung bestimmt. Es ist nicht zwingend, dass die Verfahrensschritte in der geschilderten Reihenfolge ausgeführt werden. Insbesondere ist es möglich, dass die in Schritt 40 bestimmten Informationen ohnehin unabhängig von der Ausführung des erfindungsgemäßen Verfahrens fortlaufend von dem Navigationssystem des Fahrzeugs bestimmt werden und daher zu jedem Zeitpunkt ohne gesonderte Ausführung des Schritts 40 vorliegen.
-
Im nachfolgenden Verfahrensschritt 50 wird eine Ausgabe zur Beantwortung der Eingabe des Nutzers unter Berücksichtigung der geografischen Position des Objekts und des geografischen Verlaufs der voraussichtlichen Fahrtroute der aktiven Zielführung erzeugt. Dabei wird berücksichtigt, dass sich der Nutzer mit seiner Eingabe auf eine vorangegangene Navigationsanweisung bezieht. Dies stellt das Dialogsystem anhand der Verwendung des Begriffs „Ausfahrt“ fest. Das Dialogsystem erzeugt daher die Sprachausgabe „Die Ausfahrt befindet sich 200 Meter hinter der Brücke“. Zugleich wird der Ort der Ausfahrt in einem HUD des Fahrzeugs mit einem Pfeilsymbol markiert.
-
In einer beispielhaften zweiten Situation umfasst die Eingabe eine Spracheingabe, nämlich: „Können wir einen Umweg durch dieses Gebiet fahren?“ Die Eingabe umfasst ferner eine Zeigegeste des Nutzers, der durch die Windschutzscheibe in Richtung eines landschaftlich reizvollen Gebiets zeigt. Bei einem alternativen Beispiel könnte der Nutzer statt der Zeigegeste mit dem Finger einen Touchscreen berühren, auf welchem eine Kartendarstellung angezeigt wird, sodass er ebenfalls das gewünschte Gebiet bezeichnet.
-
Aufgrund der Verwendung des Begriffs „Umweg“ wird im nachfolgenden Schritt 11 festgestellt, dass die Eingabe einen inhaltlichen Bezug zu aktiven Zielführung hat.
-
In Schritt 20 werden die Spracheingabe sowie die Zeigegeste des Nutzers (alternativ: die Eingabe auf dem Touchscreen) kombiniert analysiert, sodass das von dem Benutzer identifizierte Gebiet als navigationsrelevante Objektbezeichnung extrahiert wird.
-
In Schritt 30 wird dessen geografische Position, die in diesem Fall nicht punktuell ist, sondern zum Beispiel durch einen polygonalen Grenzverlauf definiert sein kann, bestimmt. In dieser beispielhaften zweiten Situation kann die in Schritt 50 unter Berücksichtigung der in Schritt 40 bestimmten Informationen erzeugte Ausgabe lauten: „Möchten Sie die aktuelle Route ändern? Es entsteht dadurch ein Umweg von 4 km Länge und 10 Minuten Dauer. Wenn Sie die aktuelle Route ändern möchten, biegen sie in 600 Metern links ab.“ Zugleich kann die Ausgabe eine Darstellung der alternativen Routenführung durch das gewünschte Gebiet auf dem Touchscreen umfassen. Die Ausgabe kann auch ein Entscheidungsmenü (z.B. „Ja/Nein“) umfassen, sodass der Nutzer seinen Wunsch durch Spracheingabe oder durch Betätigung eines Bedienelements (z.B. Drehdrücksteller) mitteilen kann.
-
2 zeigt ein Ablaufdiagramm einer weiteren Ausführungsform der Erfindung. In der zuvor geschilderten beispielhaften ersten Situation weicht der Ablauf des Verfahrens gegenüber der in 1 dargestellten Ausführungsform folgendermaßen ab.
-
In Schritt 12 wird ein Abbild der Umgebung des Fahrzeugs erfasst. Hierzu wird ein bestimmter Bereich der digitalen Karte des Navigationssystems des Fahrzeugs genutzt. Der Bereich kann z.B. einen in Fahrtrichtung orientierten Halbkreis von 2 km Radius um die aktuelle geografische Position des Fahrzeugs umfassen. In Schritt 13 werden alle navigationsrelevanten Objekte in dem Abbild der Umgebung des Fahrzeugs identifiziert. Unter den auf diese Weise identifizierten Objekten befinden sich auch die Brücke und die Ausfahrt, auf die der Nutzer bei seiner Eingabe Bezug genommen hat, da diese in der digitalen Karte als Objekte enthalten sind.
-
In Schritt 20' wird eine navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert. Dabei werden allerdings nur solche Objekte überhaupt in Betracht gezogen, die zuvor in Schritt 13 identifiziert worden sind. Umfasst also zum Beispiel der in Schritt 13 verwendete Kartenausschnitt insgesamt 250 navigationsrelevante Objekte, so können in Schritt 20' nur solche Objektbezeichnungen extrahiert werden, die eines dieser 250 Objekte bezeichnen.
-
In der nachfolgenden Abfrage 20a wird daher geprüft, ob in Schritt 20' zumindest eine Objektbezeichnung extrahiert werden konnte. Ist dies nicht der Fall, so wird das Verfahren wie zuvor mit Bezug zu 1 beschrieben mit dem Verfahrensschritt 20 fortgesetzt. In diesem Schritt 20 wird eine navigationsrelevante Objektbezeichnung aus der Eingabe extrahiert, ohne dass die Suchmenge auf die in Schritt 13 identifizierten Objekte beschränkt wäre. Wurde jedoch in Schritt 20' zumindest ein Objekt gefunden, so ergibt die Abfrage 20a ein positives Ergebnis und das Verfahren wird mit Schritt 30 fortgesetzt.
-
Der weitere Verfahrensablauf, der die Verfahrensschritte 30, 40, 50 umfasst, geht wie zuvor mit Bezug zu 1 beschrieben vonstatten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102004009278 A1 [0007]
- EP 0782118 A1 [0007]
- EP 2003423 A1 [0008]
- DE 102012013503 A1 [0009]
