DE102018002941A1 - Verfahren zum Führen eines Sprachdialogs - Google Patents

Verfahren zum Führen eines Sprachdialogs Download PDF

Info

Publication number
DE102018002941A1
DE102018002941A1 DE102018002941.8A DE102018002941A DE102018002941A1 DE 102018002941 A1 DE102018002941 A1 DE 102018002941A1 DE 102018002941 A DE102018002941 A DE 102018002941A DE 102018002941 A1 DE102018002941 A1 DE 102018002941A1
Authority
DE
Germany
Prior art keywords
vehicle
user
answer
processor
mercedes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018002941.8A
Other languages
English (en)
Inventor
Galia Weidl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018002941.8A priority Critical patent/DE102018002941A1/de
Publication of DE102018002941A1 publication Critical patent/DE102018002941A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Führen eines Sprachdialogs zwischen einem Fahrzeug und einem mit dem Fahrzeug interagierenden Nutzer (N). Das Verfahren umfasst ein Empfangen von durch ein autonomes Fahrzeugsystem erzeugten Kontextdaten durch einen Prozessor, ein Empfangen einer Sprachäußerung vom mit dem Fahrzeug interagierenden Nutzer (N) durch einen Prozessor, eine Verarbeitung der Sprachäußerung anhand der Kontextdaten durch einen Prozessor und eine selektive Erzeugung mindestens entweder einer Dialogfrage oder Dialogantwort an den Nutzer (N) oder einer Steuermaßnahme für einen Prozessor basierend auf den Kontextdaten.
Erfindungsgemäß werden zur hierarchischen logischen Darstellung von Informationen kausal- und/oder temporalabhängige Wissensdiagramme verwendet.

Description

  • Die Erfindung betrifft ein Verfahren zum Führen eines Sprachdialogs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
  • Aus dem Stand der Technik sind, wie in der DE 10 2017 101 238 A1 beschrieben, Spracherkennungssysteme und ein Verfahren zum automatisierten Fahren beschrieben. Das Verfahren umfasst den Empfang von durch ein autonomes Fahrzeugsystem erzeugten Kontextdaten durch einen Prozessor, den Empfang von Sprachäußerungen eines mit dem Fahrzeug interagierenden Benutzers durch einen Prozessor, die Verarbeitung der Sprachäußerung durch einen Prozessor, basierend auf den Kontextdaten, und durch einen Prozessor das selektive Übermitteln mindestens entweder einer Dialogfrage zum Benutzer oder einer Steuermaßnahme für das autonome Fahrzeugsystem basierend auf den Kontextdaten.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Führen eines Sprachdialogs anzugeben.
  • Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Führen eines Sprachdialogs mit den Merkmalen des Anspruchs 1.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Ein Verfahren zum Führen eines Sprachdialogs zwischen einem Fahrzeug und einem mit dem Fahrzeug interagierenden Nutzer umfasst ein Empfangen von durch ein autonomes Fahrzeugsystem erzeugten Kontextdaten durch einen Prozessor, ein Empfangen einer Sprachäußerung vom mit dem Fahrzeug interagierenden Nutzer durch einen Prozessor, eine Verarbeitung der Sprachäußerung anhand der Kontextdaten durch einen Prozessor und eine selektive Erzeugung mindestens entweder einer Dialogfrage oder Dialogantwort an den Nutzer oder einer Steuermaßnahme für einen Prozessor basierend auf den Kontextdaten. Bei mehreren oder allen erwähnten Prozessoren kann es sich jeweils um denselben Prozessor oder um verschiedene Prozessoren handeln.
    Erfindungsgemäß werden zur hierarchischen logischen Darstellung der Informationen kausal- bzw. temporalabhängige Wissensdiagramme, auch als Knowledge Graphs bezeichnet, verwendet. Beispielsweise können dafür Bayes'sche Netzwerke, probabilistische grafische Modelle, Long short-term memory (LSTM, deutsch: langes Kurzzeitgedächtnis), Case-Based reasoning, relationale (engl.: relational) Datenbanken bzw. andere Verfahren der künstlichen Intelligenz verwendet werden. Zur generierten Spracherklärung kann ein Video, beispielsweise bis zu 10 Sekunden, aus dem unmittelbaren Situationsverlauf, auf welchem insbesondere die Kontextdaten basieren, erzeugt werden, um die Erklärung zu verdeutlichen. Die Auswertung der Daten/Situationsanalyse findet entweder im Fahrzeug oder auf einem Server statt, bei sicherheitsrelevanten Situationen jedoch zweckmäßigerweise immer im Fahrzeug.
  • Das erfindungsgemäße Verfahren ist insbesondere eine Erweiterung bisher bekannter Sprachdialoge, beispielsweise des so genannten Chatbot „Ask Mercedes“, auch als „cognitive digital assistant“ bezeichnet, mit Antworten insbesondere auf situationsspezifische Fragen, insbesondere im Zusammenhang mit einem autonomen Fahrbetrieb, insbesondere auf Mercedes-spezifische CASE-relevante Fragen, zusätzlich zu typischen alltäglichen Fragen wie Wetter, aktuelle Zeit, Kalendertermine, Erinnerungen, Verkehr, Nachrichten, Musik. Dabei steht die Abkürzung CASE für Connected Autonomous Shared Elektric (vehicle).
  • Es wird mittels des Verfahrens insbesondere ein Akzeptanz- und Vertrauensgewinn in das autonom fahrende Fahrzeug mittels kurzer und einfacher Erklärungen erreicht. Der Nutzer fühlt sich sicher, gut und laufend informiert über das, was bei der autonomen Fahrt oder bei anderen Funktionen, insbesondere CASE-Funktionen, passiert. Dadurch wird eine empathische digitale Assistenz und Beziehung zwischen dem Fahrzeug und dem Nutzer aufgebaut. Mittels des Verfahrens wird das autonome Fahren dem Nutzer erklärt, so dass Kauf- und Anwendungsentscheidungen, insbesondere auch bezüglich der so genannten „shared Mobility“, positiv beeinflusst werden können.
  • Eine Alternative zu dem hier beschriebenen Verfahren wäre beispielsweise eine kontinuierliche Visualisierung entlang einer Route auf einem großen Display in der Mittelkonsole des Fahrzeugs. Dies bietet eine transparente Darstellung des autonomen Fahrverhaltens. Allerdings verlangt dies die Aufmerksamkeit des Nutzers, welcher eigentlich autonom fahren möchte, um beispielsweise Nebentätigkeiten ausführen zu können. Des Weiteren besteht hier keine Möglichkeit, rückwirkend Fragen zu stellen und Erklärungen zu Ereignissen im Umgebungsverkehr und über autonome Manöver zu erhalten, welche wenige Sekunden zuvor ausgeführt wurden. Das hier beschriebene Verfahren bietet somit erhebliche Vorteile gegenüber einer solchen Lösung.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
    • 1 schematisch einen Ablauf eines Verfahrens zum Führen eines Sprachdialogs zwischen einem Fahrzeug und einem mit dem Fahrzeug interagierenden Nutzer, und
    • 2 schematisch eine Detaildarstellung des Verfahrensablaufs.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt einen Ablauf eines Verfahrens zum Führen eines Sprachdialogs zwischen einem Fahrzeug und einem mit dem Fahrzeug interagierenden Nutzer N. 2 zeigt diesen Ablauf in einer Detaildarstellung.
  • Das Verfahren umfasst ein Empfangen von durch ein autonomes Fahrzeugsystem erzeugten Kontextdaten durch einen Prozessor, ein Empfangen einer Sprachäußerung insbesondere einer Nutzerfrage F, vom mit dem Fahrzeug interagierenden Nutzer N durch einen Prozessor, eine Verarbeitung der Sprachäußerung anhand der Kontextdaten durch einen Prozessor und eine selektive Erzeugung mindestens entweder einer Dialogfrage oder Dialogantwort an den Nutzer N oder einer Steuermaßnahme für einen Prozessor basierend auf den Kontextdaten. Die Dialogantwort wird im Folgenden als Antwort A bezeichnet.
  • Zur hierarchischen logischen Darstellung der Informationen werden kausal- bzw. temporalabhängige Wissensdiagramme, auch als Knowledge Graphs bezeichnet, verwendet. Beispielsweise können dafür Bayes'sche Netzwerke, probabilistische grafische Modelle, Long short-term memory (LSTM), Case-Based reasoning, relationale Datenbanken bzw. andere Verfahren der künstlichen Intelligenz verwendet werden. Zur generierten Spracherklärung kann ein Video V aus dem unmittelbaren Situationsverlauf erzeugt werden, um die Erklärung zu verdeutlichen.
    Dieses Verfahren ist besonders vorteilhaft bei einem autonomen Fahrbetrieb des Fahrzeugs, da der Nutzer N, insbesondere bei ersten autonomen Fahrerlebnissen, viele Fragen zum jeweiligen Verhalten des autonom fahrenden Fahrzeugs hat. Fehlende Erfahrung mit autonom fahrenden Fahrzeugen kann zu Akzeptanzproblemen führen. Mittels des hier beschriebenen Verfahrens, welches beispielsweise eine Erweiterung zu bereits im Fahrzeug durchgeführten Sprachdialogverfahren, beispielsweise eine Erweiterung eines digitalen Assistenten DA, ist, kann insbesondere über die im Zusammenhang mit dem autonomen Fahren zur Verfügung stehenden neuen Funktionen besser aufgeklärt werden und dadurch Vertrauen und Akzeptanz in das autonome Fahren aufgebaut werden.
  • Dabei ermöglicht das Verfahren eine intelligente Aufbereitung von Antworten A und Erklärungen zum autonomen Fahren. Insbesondere wird eine situative Ableitung von Informationen und deren Sprachausgabe SP durchgeführt. Es werden somit insbesondere Nutzerfragen F zu einem jeweiligen autonomen Fahrtverlauf bereits während der Fahrt beantwortet, d. h. in oder unmittelbar nach der jeweiligen Situation, auf die sich die Nutzerfrage F bezieht, beispielsweise:
    • Nutzerfrage F: „Warum hast du gebremst?“ (Beispielsweise war der Nutzer N beschäftigt mit Nebentätigkeiten und hat daher das Verkehrsgeschehen nicht verfolgt.)
    • Antwort A: „Weil ein anderes Fahrzeug vor uns in der Spur eingeschert ist und weil keine freie Nachbarspur vorhanden ist, um dorthin auszuweichen.“
  • Die Antwort A kombiniert situative Informationen, beispielweise bis maximal zehn Sekunden vor der Nutzerfrage F temporär gespeicherte Hoch-Level-Daten und Informationen. Die Daten stammen beispielsweise von einem ESP-System, welches ein Bremsmanöver ausgeführt hat (ESP steht für elektronisches Stabilitätsprogramm). Das ESP hat beispielsweise basierend auf Anforderung einer Funktion gebremst, zum Beispiel basierend auf Distronic (Abstandsregelung) oder Distronic Querregelung (DTQ, d. h. Querunterstützung mit Lenkeingriffen für Spur-folgen, Spur-halten und -regeln) oder Collision Mitigation System (CMS) oder Lane Departure Protection (LDP). Die Distronic basiert ihre Bremsanforderung auf eine Situationsanalyse SA, welche das einscherende Fahrzeug als relevant erkannt hat.
  • Die Situationsanalyse SA hat die situative Manövererkennung aus fusionierten Objektdaten des eigenen Fahrzeugs und umgebender Fahrzeuge abgeleitet. Diese Objektdaten werden entlang der Fahrt gesammelt und bestehen aus situativ gemessenen Parametern wie Geschwindigkeiten, Beschleunigungen, Orientierung des Fahrzeugs in der Spur, TimeToLaneCrossing, Belegungsgitter/Freiraum auf Front- und Nachbar-Spuren, relative Geschwindigkeiten und relative Abstände zu nah fahrenden Fahrzeugen. Die Situationsanalyse SA basiert auf Inferenzberechnungen (zu Maneuver Recognition) mit zum Beispiel Bayes Netzwerken.
  • Das Verfahren wird insbesondere in Form eines so genannten Chatbot durchgeführt, welcher insbesondere als ein cognitiver digitaler Assistent DA ausgestaltet ist. Dieser wird vom Nutzer N mit einem Aktivierungswort angesprochen, beispielsweise mit „Hej Mercedes“ oder mit einem anderen Aktivierungswort, welches beispielsweise vorgegeben ist oder vom Nutzer N gewählt werden kann. Nach dem Aktivierungswort wird eine anschließende Nutzerfrage F erfasst und verarbeitet und eine entsprechende Antwort A ausgegeben.
  • Beispielsweise kann vorgesehen sein, dass der Nutzer N bei Fahrtantritt auf diese Sprachdialogfunktion des Fahrzeugs hingewiesen wird, zum Beispiel durch eine entsprechende Begrüßung durch das Fahrzeug: „Willkommen zu deiner autonomen Fahrt bei Mercedes/smart! Frag mich, wenn du etwas zu deinem autonomen Fahrtverlauf wissen möchtest. Mögliche Dialoge können dann beispielsweise wie folgt ablaufen:
    • „Hej Mercedes, warum so langsam?“ „Ich fahre langsamer wegen eines Fahrradfahrers auf unserer Spur.“
    • „Hej Mercedes, was machst du gerade?“ „Folgefahrt mit 102 km/h. Langsames Vorderfahrzeug und belegte Nebenspur. Wir folgen, bis sichere Gelegenheit für Spurwechsel.“
  • Die Verwendung eines Sprachdialogs ist wegen der natürlichen Art der Mensch-Maschine-Schnittstelle besonders gut geeignet, für derartige Interaktionen zwischen dem Nutzer N und dem Fahrzeug. Der Sprachdialog vermittelt von Anfang an auf anwenderfreundliche empathische Art das Gefühl, dass der Mensch, d. h. der Nutzer N, ein willkommener Anwender ist.
  • Beispielsweise wird bei einem so genannten „shared moblity“-Fahrzeug, d. h. bei einem von mehreren Nutzern N gemeinsam genutzten Fahrzeug, der Nutzer N bereits bei einer Türentriegelung begrüßt:
  • „Willkommen zu deiner autonomen Mercedes (smart)-Fahrt. Wohin möchtest du fahren? Möchtest du ein kurzes Tutorial zu deiner autonomen Fahrt (z.B. wie geht eine autonome Fahrt anzufordern, die Route planen, Fahrt starten und beenden oder zwischen den Steuermodi (manuell/ autonom) wechseln)? Während der Fahrt kannst du dich mit Fragen an mich wenden.“
  • Falls der Nutzer N eine Einführung in das autonome Fahren wünscht, wird ein Video-Tutorial auf einem Fahrzeugdisplay abgespielt. Dies ist besonders wichtig für Nutzer N, welche noch keine Erfahrung haben, weil sie noch nicht autonom transportiert wurden, zum Beispiel auf der Autobahn oder mit einem Robotertaxi. Der Nutzer N bekommt „on demand“, d. h. nach Aufforderung, die Informationen über beispielsweise die Geschwindigkeit bei routinemäßigem Spurfolgen oder über Ereignisse d. h. über autonome Manöver wie Spurwechsel, Ausweichen, Bremsen oder Beschleunigen.
  • Um die jeweilige Nutzerfrage F, insbesondere im Bereich des autonomen Fahrens, beantworten zu können, beinhaltet das hier beschriebene Verfahren eine kausale Analyse der Ereignisse während des autonomen Fahrtverlauf unmittelbar vor der Nutzerfrage F des Nutzers N. D. h. es werden insbesondere folgende Schritte durchgeführt:
    1. 1. Analysieren der zuletzt durchgeführten Schritte - anhand der Wirkungskette der Funktionen des autonomen Fahrens,
    2. 2. kausale Analyse der Wirkketten erfolgt mit Bayes Netzwerke (BN) oder alternativen Methoden der künstliche Intelligenz,
    3. 3. Inferenz/Ranking der höchst wahrscheinlichste BN-Klassifikations-Pfade der Schlusssätze,
    4. 4. Ermittelten kausalen Pfad auf eine kurze (Laien verständliche) Information transferieren,
    5. 5. die so erhaltene Erklärung durch natürliche Sprachausgabe SP an den Nutzer N übermitteln. Nach gleichem Prinzip erfolgt die Erklärung zu anderen Nutzerfragen F, insbesondere CASE-Fragen (CASE steht für Connected Autonomous Shared Elektric).
  • Wie bereits beschrieben, wird das Verfahren mittels eines Chatbot mit natürlicher Sprachverarbeitung durchgeführt, insbesondere in einem zum autonomen Fahrbetrieb fähigen Fahrzeug, beispielsweise auf einem autonom fahrenden Robot-System zum Transport von Menschen und Güter. Der Chatbot kommuniziert mit Sprachdialogen zwischen dem Nutzer N und dem Fahrzeug. Der Nutzer N kommuniziert mit Sprachanforderungen, um Erklärungen zum autonomen Fahrtverlauf zu erhalten, und mit Sprachsteuerungen, um Aktionen auszuführen oder um fehlende Informationen zu ergänzen und eine klare Entscheidungsbasis für den Fahrtverlauf zu sichern.
  • Der Chatbot erhält und beantwortet mit Erklärungen die Nutzerfragen F zu aktuellen Systemeinstellungen für das autonome Fahren, zu einem empfundenen autonomen Fahrstil, zu Komfort, Sicherheit, Übernahmeaufforderungen, zu einer Notfallbehandlung NB sowie zu ausgeführten Steuerungs- und/oder Regelungsaktionen des Fahrzeugs, beispielsweise Bremsen, Steuern entlang der Route, Ausweichen vor kleinen oder großen Hindernissen.
  • Der Chatbot führt einen Dialog mit dem Nutzer N, um Befehle zu ergänzen, um die Nutzerfragen F zu präzisieren und damit einen eindeutigen Informationsgehalt bei der Eingabe von Sprachbefehlen und der Ausgabe von Erklärungen zu sichern.
  • Die systemgenerierten Antworten A in natürlicher Sprache basieren auf der Systemsuche in einem hierarchisch strukturierten Satz von Informationen. Die generierten Erklärungen folgen der Logik der Hierarchie der Informationen.
  • Für die hierarchische logische Darstellung der Informationen werden kausal- bzw. temporal-abhängige Wissensdiagramme (Knowledge Graphs) verwendet. Diese erlauben eine Abstraktion bei der Interpretation der komplexen Zusammenhänge/Korrelationen zwischen den gestellten Nutzerfragen F und den relevanten Informationen und daraus abgeleitete Schlusssätze (verdichtetes Wissen) und dadurch erfolgte Regelungs-/Steuerungsaktionen. Beispielsweise können dafür Bayes'sche Netzwerke, probabilistische grafische Modelle, Long short-term memory (LSTM), Case-Based Reasoning, relationale Datenbanken bzw. andere Verfahren der künstlichen Intelligenz verwendet werden.
  • Diese hierarchische logische Darstellung erlaubt eine strukturierte Repräsentation von Wissen-und-Aktion-Beziehungen, um eine korrekte Interpretation der gestellten Nutzerfragen F in Zusammenhang mit der aktuellen Situation und/oder den aktuellen Verkehrsumständen zu erreichen. Dadurch werden die Interpretation der Nutzerfragen F und die Generierung der logisch passenden Antworten A ermöglicht. Diese Darstellung erlaubt auch die Generierung von ergänzenden Fragen, die aufeinander aufbauen, um die ursprüngliche Nutzerfrage F eindeutig zu interpretieren und zu beantworten. Ergänzende Fragen an den Nutzer N ermöglichen es auch, eindeutige Aktionen zu formulieren und auszuführen. Der Pfad von der Spracheingabe bis zur Befehlausführung implementiert das Schema Spracheingabe, transkribiert zu schriftlichen Wörtern, Befehl an die Funktionen zur Ausführung senden.
  • Die Kette zur Antwortengenerierung zu Nutzerfragen F beinhaltet die folgenden Schritte:
    • - Ausgelöst durch die Nutzerfrage F wird eine Abfrage gestellt, relevant zu der vor kurzem ausgeführte Systemaktion der Steuerung/Regelung, beispielsweise Bremsen, Lenken, Ausweichen.
    • - Darauf basierend wird eine Ermittlung ausgeführt, von der ausgeführten Aktion zu erhaltenen Anforderungen von Softwaremodulen, beispielsweise Bremse/ESP, Steuerung/EPS, Sensorsysteme wie Kamera, Lidar, Radar.
    • - Basierend auf Anforderungen von mindestens einem der Module, beispielsweise Adaptive Cruise Control - längs und quer (Längs und Querregelung), Collision Mitigation System (Kollisionsreduzierung), Lane Departure Prevention (Spurhalteassistent), welche den autonomen Fahrtverlauf planen, situativ bewerten, prädizieren und steuern, werden Manöver, Ereignisse, Beziehungen zu anderen Fahrzeuge und Umgebungsmerkmale ermittelt und verwendet, um einen Zusammenhang mit der Kritikalität der aktuellen Situation unmittelbar vor der Nutzerfrage F zu erstellen, anhand der erkannten Manöver (Einscherer, Ausscherer, Spur/Objekt-Folge, Hindernis ausweichen) des eigenen Fahrzeugs und der umgebenden Fahrzeuge, abgeleitet aus der Situationsanalyse SA und Situationsinterpretation, erhalten als kombinatorische Kombination der aktuellen situativen
    Merkmale aus der Spurfusion, Objektfusion und von dynamische Parametern zur Umgebungsbeschreibung des Fahrtverlaufs und Straßenzustands.
  • Aus der Menge der oben gelisteten Informationen (situative Schlussfolgerungen), wird nur die ausreichende und mindestens notwendige Information zur Nutzerfrage F mittels Sprachausgabe SP an den Nutzer N ausgegeben, um eine einfache Erklärung der ausgeführten Systemaktion zu begründen.
  • Ein weiteres Beispiel für einen solchen Sprachdialog:
    • Nutzerfrage F: „Hej Mercedes, warum fahren wir langsamer als Zielgeschwindigkeit (130km/h)?“ Antwort A: „Wir fahren kooperativ. Es war ein Einscherer. Um einen sicheren Abstand für uns zu erreichen, habe ich die Geschwindigkeit angepasst.“
  • Die so generierte kurze Spracherklärung wird ergänzt in Kombination mit einem kurzen Video V aus dem unmittelbaren Situationsverlauf (bis zehn Sekunden), um die Erklärung zu verdeutlichen.
    Fehlende situative Informationen können ergänzt werden nach Anfrage des Fahrzeugs an den Nutzer N, falls ein einzelnes Signal der Umgebungserfassung nicht vorliegt und die Entwicklung der Situation langsam fortschreitet, zum Beispiel bei einem prädizierten Fahrmanöverbedarf des eigenen Fahrzeugs und der umgebenden Fahrzeuge, wo deren Manöver Auswirkungen auf die eigene Folgefahrt hat.
  • Im Folgenden wird der Ablauf des Verfahrens nochmals anhand der 1 und 2 detailliert erläutert.
  • In 1 ist der grundlegende Ablauf des Verfahrens dargestellt. Der Nutzer N stellt dem Fahrzeug eine Nutzerfrage F, insbesondere im Zusammenhang mit dem autonomen Fahrbetrieb des Fahrzeugs, beispielsweise im Zusammenhang mit einem jeweiligen Verhalten des Fahrzeugs im autonomen Fahrbetrieb. Das Fahrzeug beantwortet diese Nutzerfrage F des Nutzers N basierend auf einer kausalen Analyse der vorhergehenden Ereignisse und Funktionsschritte während des autonomen Fahrtverlaufs. Diese Antwort A zur Nutzerfrage F des Nutzers N, beispielsweise eine Erklärung des jeweiligen Verhaltens des Fahrzeugs im autonomen Fahrbetrieb, wird ausgegeben mittels Sprachausgabe SP des digitalen Assistenten DA. Dafür werden folgende in 1 dargestellte Schritte durchgeführt:
  • In einem ersten Verfahrensschritt S1 wird die Nutzerfrage F des Nutzers N empfangen und zugeordnet, insbesondere einem jeweils relevanten Bereich zugeordnet, um die Analyse zu starten und eine passende Erklärung in dem Situationskontext zu erzeugen.
  • In einem zweiten Verfahrensschritt S2 wird der Situationskontext abgerufen, d.h. in einem ersten Teil S2.1 des zweiten Verfahrensschritts S2 werden die zuletzt durchgeführten Schritte abgerufen, insbesondere anhand der Wirkungskette der zuletzt gelaufenen Funktionen des autonomen Fahrens, und in einem zweiten Teil S2.2 des zweiten Verfahrensschritts S2 werden die Ereignisse aus der Umgebungsanalyse während der letzten X Sekunden abgerufen. Dabei ist X eine vorgegebene Anzahl von Sekunden, welche beispielsweise als Standard vorgegeben ist oder beispielsweise in Abhängigkeit von der jeweiligen Nutzerfrage F und/oder von der jeweiligen Situation vorgegeben sein kann.
  • In einem dritten Verfahrensschritt S3 wird eine kausale Analyse des Situationskontextes und der Wirkketten durchgeführt, beispielsweise erfolgend mittels Bayes Netzwerken (BN) oder mittels alternativen Methoden der künstlichen Intelligenz.
    In einem vierten Verfahrensschritt S4 erfolgt bzw. erfolgen die Inferenz und/oder das Ranking des höchstwahrscheinlichsten Klassifikations-Pfads der Schlusssätze.
  • In einem fünften Verfahrensschritt S5 wird der ermittelte kausale Pfad auf eine kurze, insbesondere für Laien verständliche, Information transferiert.
  • In einem sechsten Verfahrensschritt S6 wird die so erhaltene Erklärung durch natürliche Sprachausgabe SP als Antwort A an den Nutzer N übermittelt.
  • Wichtige Bestandteile dieser Informationen sind Einflussfaktoren auf das Fahrverhalten unmittelbar vor der jeweiligen Nutzerfrage F, wie beispielsweise Informationen über erkannte Objekte, Schlussfolgerungen der Situationsanalyse SA rund um das Fahrzeug und/oder durchgeführte Regelungen und/oder Steuereingaben.
  • Im Folgenden werden einige Beispiele für Sprachdialoge angegeben, interessant sowohl für aufmerksame Nutzer N als auch für mit Nebentätigkeiten beschäftigte Nutzer N:
    • Nutzerfrage F: „Hej Mercedes, was war das jetzt?“ oder „Was machst du jetzt?“ oder „Was hast du gerade gemacht?“
    • Mögliche Antworten A des Fahrzeugs: „Folgefahrt mit 102 km/h. Langsameres Vorderfahrzeug und belegte Nebenspur - wir folgen, bis sich eine Gelegenheit für Spurwechsel ergibt.“ oder „Spurwechsel Links mit 120 km/h“ oder „An der Seite waren unruhige Fußgänger, deshalb fahren wir etwas langsamer“
  • Mögliche Antworten A bei Ausweichmanövern:
    • - „Es waren Menschen am Rand unserer Fahrbahn“
    • - „Es war ein Fahrradfahrer in unserer Fahrspur“
    • - „Wir sind an einer Baustelle vorbeigefahren“
    • - „Auf der Straße lag ein Metallgegenstand“
    • - „Auf der Straße lag ein Hindernis“
  • Es können auch kontinuierliche Informationen über den Verlauf der autonomen Fahrt erfolgen, falls gewünscht. Dies ist beispielsweise empfehlenswert bei Einführungs-Probefahrten, um das typische Verhalten des autonom fahrenden Fahrzeugs zu demonstrieren und einem unerfahrenen Nutzer N zum ersten Mal zu erklären. Dadurch kann das Fahrzeug beispielsweise eine jeweilige Verhaltensweise ankündigen, die im autonomen Fahrbetrieb in Kürze erfolgen wird. Im täglichen Fahrbetrieb ist dies weniger empfehlenswert, da es zu einem Informationsüberfluss führen kann. Diesbezügliche Antworten A können beispielsweise lauten:
    • - „Wir nähern uns Menschen am Rand unserer Fahrbahn. Ich reduziere die Geschwindigkeit.“
    • - „Fahrradfahrer in unserer Spur. Werde ausweichen.“
    • - „Hindernisse auf der Fahrbahn vor uns. Werde ausweichen.“
  • In 2 ist das Verfahren nochmals detailliert dargestellt. Der Nutzer N stellt eine Nutzerfrage F, beispielsweise betreffend einen aktuellen Systemzustand, betreffend Informationen und/oder Erklärungen, betreffend den Komfort, betreffend den autonomen Fahrstil und/oder betreffend eine Übernahmeanfrage bezüglich der Fahraufgabe.
  • Diese Nutzerfrage F wird an den digitalen Assistenten DA übermittelt, welcher die zur Nutzerfrage F passende richtige Erklärung sucht. Beispielsweise fragt er hierzu das Fahrsystem HAF zur Durchführung des autonomen oder hochautomatisierten Fahrbetriebs ab. Zur Generierung der Antwort A werden dessen Systemstatus SS, eine Umgebungswahrnehmung UW, die Situationsanalyse SA und die Notfallbehandlung NB berücksichtigt.
  • Die Informationen für die Antwort A werden an den digitalen Assistenten DA übermittelt, welcher eine Sprachausgabe SP und optional ein kurzes Video V als Antwort A generiert und an den Nutzer N ausgibt. Das Video V kann beispielsweise auf einem Kombiinstrument und/oder einer anderen Anzeigeeinheit des Fahrzeugs ausgegeben werden.
  • Die Nutzerfrage F kann beispielsweise lauten: „Hej Mercedes, warum verzögerst du?“ Die Antwort A des Fahrzeugs darauf lautet beispielsweise: „Wir fahren kooperativ. Das Vorderfahrzeug musste einscheren. Ich musste einen Sicherheitsabstand einhalten.“
  • Die Nutzerfragen F der Nutzer N werden von dem das Verfahren durchführenden System, beispielsweise dem System „Ask Mercedes“, so interpretiert, dass inhaltlich flexible Formulierungen zulässig sind. Die verschiedenen Antwortoptionen sind möglich wegen verschiedener Kontexte und/oder Situationsbedingungen während der autonomen Fahrt.
  • Im Folgenden werden zur Verdeutlichung möglicher Nutzerfragen F und Antworten A einige Beispiele angegeben. Dies sind lediglich Beispiele, welche durch eine Vielzahl weiterer Nutzerfragen F und Antworten A ergänzt werden können und welche nicht alle im hier beschriebenen Verfahren verwendet werden müssen.
  • Mögliche Ansprachen des Systems durch den Nutzer N sind beispielsweise:
    „Hey Mercedes“, „Hej Mercedes“, „OK Mercedes“, „Hallo Auto“, „Hallo Computer“, usw.
  • Als Aktivierungswort kann beispielsweise der Name eines Fahrzeugherstellers, der Name des Fahrzeugs oder ein anderer Begriff verwendet werden. Beispielsweise ist der Begriff fest vorgegeben, zum Beispiel vom Fahrzeughersteller, oder kann vom Nutzer N gewählt und vorgegeben werden, d. h. kann je nach Nutzerpräferenzen anpassbar sein.
  • Der folgende Katalog der Nutzerfragen F und Antworten A des Systems, welcher, wie oben bereits erwähnt, nur beispielhaft ist, steht im Kontext des Systemzustands, der Umgebungserfassung, der Verkehrssituation und des Handlungsbedarfs:
  • Komfortbereich:
  • Nutzerfragen F zu Systemeinstellungen:
    • - Geschwindigkeit: Nutzerfrage F: „Hej Mercedes, welche ist unsere/deine Setz-Geschwindigkeit?“ Antwort A: „Fahrzeug passt seine Geschwindigkeit an die Verkehrssituation an und setzt sie automatisch um. Momentan ist die Geschwindigkeit gesetzt auf die maximal erlaubten 130 km/h fürs autonome Fahren. Falls Sie das ändern möchten, dann sagen Sie jetzt „Geschwindigkeit auf 110 km/h ändern“."
    • - Modus (Sport/Komfort): Nutzerfrage F: „Hej Mercedes, warum fahren wir so?“ Antwort A: „Ich möchte Sie besonders komfortabel ins Ziel bringen. Falls du auf Sport-Modus ändern möchtest, dann sage jetzt „Sport“."
    • - Fahrzeug-Abstand: Nutzerfrage F: „Hej Mercedes, warum hältst du diesen Abstand? / Warum haben wir eine so große Lücke vorne?“ Antwort A: „Fahrzeug kennt seine Grenzen und setzt sie automatisch um. Momentan haben Sie drei Sekunden Abstand gestellt. Falls Sie das ändern möchten, dann sagen Sie jetzt „Abstand auf 2 sec (oder auf 1 sec) ändern“."
  • Spur folgen (LaneFollow):
    • - Versetztes Fahren in der Spur (mit Vorausfahrer): Nutzerfrage F: „Hej Mercedes, warum fahren wir nicht mittig in der Spur?“ Antwort A: „Ich muss den Nebenverkehr (z.B. LKW) etwas Platz (Freiraum) einräumen“
    • - Versetztes Fahren in der Spur (ohne Vorausfahrer): Antwort A: „Ich muss Platz (Freiraum) einräumen für die Einsatzfahrzeuge“ Antwort A: „Ich muss eine Rettungsgasse bilden“ (Dem liegt beispielsweise eine Information aus der Situationsanalyse SA/Risikobewertung zugrunde).
  • Verzögerung:
  • Nutzerfrage F: „Hej Mercedes, warum fahren wir so langsam? Keiner fährt vor uns.“
    Antwort A: „Wir haben die zulässige Höchstgeschwindigkeit (z.B. 130 km/h) erreicht.“
  • Nutzerfrage F: „Hej Mercedes, warum verzögerst du?"
    Antwort A: „Ich muss für das einscherende Fahrzeug etwas Platz/Lücke lassen. Wir fahren kooperativ.“ Dem liegt beispielsweise eine Information aus der Situationsanalyse SA/Risikobewertung zugrunde.)
    Antwort A: „Ich muss die Geschwindigkeit an die Wetterbedingungen anpassen.“ (Dem liegt beispielsweise eine Information aus einem Backend-Server zu Wetterbedingungen zugrunde.)
    Antwort A: „Ich muss die Geschwindigkeit an die feuchte Fahrbahn anpassen (60 km/h)“ (Dem liegt beispielsweise eine Information aus dem Backend-Server zu Wetterbedingungen und/oder aus einer Fahrzeug-zu-Fahrzeug-Kommunikation (C2C) oder einer Kommunikation mit anderen Einrichtungen, insbesondere Infrastruktureinrichtungen (C2I) zugrunde.)
    Antwort A: „Ich muss die Geschwindigkeit an die Lichtverhältnisse (z.B. Dunkelheit, Nebel) anpassen“ (Dem liegt beispielsweise eine Information aus der eigenen Umwelterfassung zugrunde.)
    Antwort A: „Fahrzeug passt seine Geschwindigkeit an den Stand der Sensoren zur Erfassung der Umweltdaten an. Bitte den verschmutzten Sensor (z.B. Heck-Kamera) reinigen/abwischen“
  • Beschleunigen:
  • Nutzerfrage F: „Hej Mercedes, warum fahren wir so schnell?"
    Antwort A: „Kein Vorausfahrer. Wir passen uns an die zulässige Höchstgeschwindigkeit (z.B. 130 km/h) an“.
    Antwort A: „Der Vorausfahrer wird schneller und das ist noch in der Grenze der zulässigen Höchstgeschwindigkeit."
    Antwort A: „Der Vorausfahrer ist langsamer. Wir führen ein sicheres Überholmanöver aus."
    Antwort A: „Ich fahre mit kooperativem Verhalten, um Nachbar reinzulassen“ bzw. „Ich lasse den Nachbarn hinter uns einscheren.“ (Dem liegt beispielsweise eine Information aus der Situationsanalyse SA, Risikobewertung/-minimierung zugrunde.)
  • Allgemeine HAF-Fragen (HAF = Hochautomatisierte Fahrfunktion):
  • HAF Systemgrenzen:
  • Verfügbarkeit: HAF-Fahrt:
    Nutzerfrage F: „Hej Mercedes, wie lange kann ich noch HAF fahren?
    Antwort A: „bis XY Ausfahrt/Tunnel/Autobahnkreuz (noch X km)“
  • Keine Verfügbarkeit HAF-Fahrt:
  • Nutzerfrage F: „Warum geht HAF nicht an?"
    Priorität für Erklärungen warum nicht:
    Antwort A: „Du stehst auf Vollgas"
    Antwort A: „Du fährst auf dem falschen Straßentyp (z.B. kurvige Landstraße)"
    Antwort A: „Die technischen Voraussetzungen sind nicht erfüllt: GPS ist nicht verfügbar/Genauigkeit der Anforderungen"
    Antwort A: „Der Fahrzeugzustand passt nicht, z.B. Der Reifendruck muss bei der nächste Tankstelle angepasst werden.“
  • Situation: Das Fahrzeug hat vor kurzem den Nutzer N aufgefordert: „Übernehmen Sie die Steuerung, jetzt!“
    nach Übernahmeaufforderung (vor wenige Sekunden bis vor wenige Minuten): Nutzerfrage F: „Hej Mercedes, warum sollte ich übernehmen?"
    Antwort A: „Die autonome Fahrt hat ihre Systemgrenzen erreicht."
    Nutzerfrage F: „Hej Mercedes, kannst du jetzt weiter autonom fahren?"
    Antwort A: „Ja, jetzt ist das System wieder innerhalb der erlaubten Grenzen. Wir fahren weiter autonom/HAF.“
  • Art der Fahrt:
  • Nutzerfrage F: „Hej Mercedes, warum wackelt das Auto so?"
    Antwort A: „Draußen sind starke Windböen.“ (Dem liegt beispielsweise eine Information aus dem Backend-Server zu Wetterbedingungen und/oder aus dem Wetterbericht zugrunde.)
    Antwort A: „Der Straßenbelag ist uneben/aufgefräst.“
    Antwort A: „Wir fahren auf welliger Fahrbahn.“ (Dem liegt beispielsweise eine Information aus der Fahrzeug-zu-Fahrzeug-Kommunikation (C2C), aus der Fahrzeug-zu-Infrastruktur-Kommunikation (C2I) und/oder aus einer hochauflösenden Karte und/oder vom Backend-Server zugrunde.)
  • Querregelung:
  • Nutzerfrage F: „Hej Mercedes, warum ist das Lenkrad so hart?"
    Antwort A: „HAF macht sehr genaue Regelung/Spurhaltung. Bei manueller Führung ist das Lenkrad normalerweise etwas weicher.“
  • Sicherheitsrelevante Nutzerfragen F:
  • Spurwechsel:
  • Warum kein Spurwechsel:
    Nutzerfrage F: „Hej Mercedes, warum wechseln wir die Spur nicht?"
    Antwort A: „Momentan ist keine sichere Lücke."
    Antwort A: „Hier ist Überholverbot."
    Antwort A: „Die Spur endet bald."
    Antwort A: „Bald erreichen wir das Ende der zulässigen HAF-Strecke / Abfahrt von Autobahn (bzw. von autobahnähnlichem Straßentyp).“ (Dem liegt beispielsweise eine Information aus
    Umgebungserfassung/Situationsanalyse SA/Backend-Server/hochauflösende Karte zugrunde.)
  • Ausführung von Manöver:
  • Nutzerfrage F: „Hej Mercedes, mit welcher Geschwindigkeit wechselst du die Spur?"
    Antwort A: „Ich orientiere mich an sicherem und kooperativem Spurwechsel."
    Antwort A: „Den letzten Spurwechsel habe ich mit 125 km/h ausgeführt.“
  • Grund für einen durchgeführten Spurwechsel:
  • Nutzerfrage F: „Hej Mercedes, warum Spurwechsel?"
    Antwort A: „Wir werden bald von der Autobahn (zugelassene HAF-Straße) rausfahren."
    Antwort A: „Wir machen Platz für einfahrendes Fahrzeug von der Zufahrt."
    Antwort A: „Es waren kleine Hindernisse auf der Fahrbahn.“ Antwort A: „Die Spur vor uns ist/war belegt.“
  • Grund für ein abgebrochenes Manöver:
  • Nutzerfrage F: „Hej Mercedes, warum hast du den Spurwechsel abgebrochen?"
    Antwort A: „Es war ein schnelles Fahrzeug von hinten."
    Antwort A: „Die Spur-Flussgeschwindigkeit ist nicht besser/vorteilhaft."
    Antwort A: „Ein Nachbarfahrzeug belegt gerade die gleiche Spur.
  • Antwort A: „Das überholende Fahrzeug ist weg, also kein Bedarf mehr."
    Antwort A: „Der Vordermann ist abgefahren.“ (Dem liegt beispielsweise eine Information aus Umgebungserfassung/Situationsanalyse SA/Backend-Server/hochauflösender Karte zugrunde.)
  • Emergency Handling (EH):
  • In Emergency Handling (EH) Mode:
    Nutzerfrage F: „Hej Mercedes, warum hatten wir so ein starkes Verzögern?"
    Nutzerfrage F: „Hej Mercedes, warum hatten wir so ein starkes Beschleunigen?"
    Nutzerfrage F: „Hej Mercedes, warum hatten wir so ein dynamisches Ausweichen?“ (Den möglichen Antworten A liegt beispielsweise eine Information aus Umgebungserfassung/Situationsanalyse SA/Backend-Server/hochauflösende Karte zugrunde.)
  • In der EH-Situation Übernahmeaufforderung mit akustischem Signal und Sprachausgabe SP
    Fahrzeug-Aufforderung an den Fahrer:
    Aufforderung: „Übernehmen Sie die Steuerung wenn möglich!"
    Aufforderung: „Können Sie ausweichen?"
    Falls Fahrer nicht reagiert, so wird das Fahrzeug sicher an den Rand der Fahrbahn geführt.
  • Nach der kritischen Phase erläutern was los war:
    Erklärung: „Unsere Spur war plötzlich blockiert."
    Erklärung: „Es waren Hindernisse auf der Fahrbahn."
    Erklärung: „Wir haben das Hindernis mittig überfahren.“
  • Rückfallpfad (RPF):
  • Dieser RPF-Vorgang mit Übernahmeaufforderung wird initiiert mit akustischem Signal und Sprachausgabe SP.
  • Aufforderung: „Bitte übernehmen Sie sofort die Steuerung. HAF steht leider nicht mehr zur Verfügung.“
  • Erklärung: „Sie können gefahrlos selber weiterfahren.“
  • Möglicherweise bei Level L3/L4 (Level des autonomen Fahrens) werden noch Hinweise für passende Fahrermanöver ausgegeben: „Bitte,
    Bremsen!“
    Ausweichen"
    Spurhalten"
    Spurwechsel abschließen oder Abbrechen"
  • RPF wegen technischer Ursachen:
    Erklärung: „Übernahmeaufforderung wegen Bordnetzausfall“
    Erklärung: „Gravierendes technisches Problem“
    Aufforderung: „Bitte, HAF/System neu starten - jetzt (reset)“
    Aufforderung: „Steuergerät muss in der Werkstatt geprüft werden. Manuelle Steuerung OK.“
    Aufforderung(R2): „Bitte übernehmen Sie sofort die Steuerung. HAF steht leider nicht mehr zur Verfügung. Falls keine Übernahme erfolgt, fährt das Fahrzeug rechts an der Straßenseite.“
  • Bezugszeichenliste
    • A
    Antwort
    DA
    digitaler Assistent
    F
    Nutzerfrage
    HAF
    Fahrsystem
    N
    Nutzer
    NB
    Notfallbehandlung
    SA
    Situationsanalyse
    SP
    Sprachausgabe
    SS
    Systemstatus
    UW
    Umgebungswahrnehmung
    V
    Video
    S1
    erster Verfahrensschritt
    S2
    zweiter Verfahrensschritt
    S2.1
    erster Teil
    S2.2
    zweiter Teil
    S3
    dritter Verfahrensschritt
    S4
    vierter Verfahrensschritt
    S5
    fünfter Verfahrensschritt
    S6
    sechster Verfahrensschritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017101238 A1 [0002]

Claims (6)

  1. Verfahren zum Führen eines Sprachdialogs zwischen einem Fahrzeug und einem mit dem Fahrzeug interagierenden Nutzer (N), wobei das Verfahren umfasst: - Empfangen von durch ein autonomes Fahrzeugsystem erzeugten Kontextdaten durch einen Prozessor, - Empfangen einer Sprachäußerung vom mit dem Fahrzeug interagierenden Nutzer (N) durch einen Prozessor, - Verarbeitung der Sprachäußerung anhand der Kontextdaten durch einen Prozessor, - selektive Erzeugung mindestens entweder einer Dialogfrage oder Dialogantwort an den Nutzer (N) oder einer Steuermaßnahme für einen Prozessor basierend auf den Kontextdaten, dadurch gekennzeichnet, dass zur hierarchischen logischen Darstellung von Informationen kausal- und/oder temporalabhängige Wissensdiagramme verwendet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Wissensdiagramme Bayes'sche Netzwerke, probabilistische grafische Modelle, Long short-term memory, Case-Based reasoning, relationale Datenbanken und/oder andere Verfahren der künstlichen Intelligenz verwendet werden.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Dialogantwort zusätzlich zu einer generierten Spracherklärung, insbesondere zur Verdeutlichung der generierten Spracherklärung, ein Video (V) aus einem unmittelbaren Situationsverlauf erzeugt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Video (V) eine Länge von bis zu zehn Sekunden aufweist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Auswertung von Daten, insbesondere der Kontextdaten, und/oder einer Situationsanalyse (SA) im Fahrzeug oder auf einem fahrzeugexternen Server erfolgt.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Auswertung der Daten, insbesondere der Kontextdaten, und/oder der Situationsanalyse (SA) bei sicherheitsrelevanten Situationen stets im Fahrzeug erfolgt.
DE102018002941.8A 2018-04-11 2018-04-11 Verfahren zum Führen eines Sprachdialogs Withdrawn DE102018002941A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018002941.8A DE102018002941A1 (de) 2018-04-11 2018-04-11 Verfahren zum Führen eines Sprachdialogs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018002941.8A DE102018002941A1 (de) 2018-04-11 2018-04-11 Verfahren zum Führen eines Sprachdialogs

Publications (1)

Publication Number Publication Date
DE102018002941A1 true DE102018002941A1 (de) 2018-10-18

Family

ID=63679079

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018002941.8A Withdrawn DE102018002941A1 (de) 2018-04-11 2018-04-11 Verfahren zum Führen eines Sprachdialogs

Country Status (1)

Country Link
DE (1) DE102018002941A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019003781A1 (de) 2019-05-29 2020-01-02 Daimler Ag Verfahren zum lnformieren von Fahrzeugen
DE102019209315A1 (de) * 2019-06-27 2020-12-31 Audi Ag Verfahren zum Betreiben einer Ausgabevorrichtung, Speichermedium, mobiles portables Endgerät, Personalisierungseinrichtung, und Kraftfahrzeug
DE102020100783A1 (de) * 2020-01-15 2021-07-15 Audi Aktiengesellschaft Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs sowie Kraftfahrzeug zum Durchführen des Verfahrens
CN113287074A (zh) * 2019-01-04 2021-08-20 塞伦妮经营公司 使用语音交互增加自主运载工具安全性和灵活性的方法和系统
US20230025991A1 (en) * 2021-07-21 2023-01-26 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, method, and vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017101238A1 (de) 2016-01-29 2017-08-03 Gm Global Technology Operations, Llc Spracherkennungs-systeme und verfahren zum automatisierten fahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017101238A1 (de) 2016-01-29 2017-08-03 Gm Global Technology Operations, Llc Spracherkennungs-systeme und verfahren zum automatisierten fahren

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287074A (zh) * 2019-01-04 2021-08-20 塞伦妮经营公司 使用语音交互增加自主运载工具安全性和灵活性的方法和系统
EP3906451A4 (de) * 2019-01-04 2022-11-16 Cerence Operating Company Verfahren und systeme zur erhöhung der autonomen fahrzeugsicherheit und flexibilität unter verwendung von sprachinteraktion
US11577742B2 (en) 2019-01-04 2023-02-14 Cerence Operating Company Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction
DE102019003781A1 (de) 2019-05-29 2020-01-02 Daimler Ag Verfahren zum lnformieren von Fahrzeugen
DE102019209315A1 (de) * 2019-06-27 2020-12-31 Audi Ag Verfahren zum Betreiben einer Ausgabevorrichtung, Speichermedium, mobiles portables Endgerät, Personalisierungseinrichtung, und Kraftfahrzeug
DE102020100783A1 (de) * 2020-01-15 2021-07-15 Audi Aktiengesellschaft Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs sowie Kraftfahrzeug zum Durchführen des Verfahrens
US20230025991A1 (en) * 2021-07-21 2023-01-26 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, method, and vehicle

Similar Documents

Publication Publication Date Title
DE102018002941A1 (de) Verfahren zum Führen eines Sprachdialogs
DE102020100078A1 (de) Verbessern des autonomen fahrens mit empfehlung eines entfernten betrachters
WO2019174830A1 (de) Verfahren zum betreiben eines regelsystems zur automatisierten fahrzeugführung
WO2017167801A1 (de) Fahrerassistenzsystem zum unterstützen eines fahrers beim führen eines fahrzeugs
DE102022112708A1 (de) Fahrer- und umgebungsüberwachung zur vorhersage menschlicher fahrmanöver und zur reduzierung menschlicher fahrfehler
DE102012009297A1 (de) Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
EP3423324A1 (de) Pedalsystem für ein zum zumindest teilautomatisierten fahren ausgebildetes fahrzeug
DE102012022630A1 (de) Fahrerassistenzsystem und Verfahren zur Kommunikation eines Fahrers mit einem Fahrerassistenzsystem
DE112021005714T5 (de) Fahrzeug zum durchführen von minimal-risiko-manöver und verfahren zum betreiben desselben
WO2020178098A1 (de) Verfahren zum zumindest teilautomatisierten führen eines kraftfahrzeugs
EP3243717B1 (de) Kraftfahrzeug-steuervorrichtung und verfahren zum betreiben der steuervorrichtung zum autonomen führen eines kraftfahrzeugs
DE102016008365A1 (de) Proaktive Steuerung eines Assistenzsystems eines Kraftfahrzeugs
DE102015115163A1 (de) Verfahren zur situationsabhängigen Auswahl von Trajektorien für Fahrerassistenzsysteme von Fahrzeugen
EP3678913B1 (de) Verfahren zum betrieb eines fahrerassistenzsystems eines kraftfahrzeugs und kraftfahrzeug
WO2020048684A1 (de) Verfahren zum fahrerlosen betrieb eines fahrzeugs
DE102018009909A1 (de) Verfahren zum Betreiben eines Fahrzeuges beim Auslagern von Rechenleistung aus dem Fahrzeug an mindestens einen Edge-Cloud-Computer
EP3994040B1 (de) Verfahren zum koordinieren von verkehrsteilnehmern durch eine servervorrichtung sowie eine servervorrichtung und eine steuerschaltung zum durchführen des verfahrens
AT524418B1 (de) Verfahren zum Durchführen einer Testfahrt mit zumindest einem Testfahrzeug
DE102022200675A1 (de) Verfahren und System (SY) zum Anpassen eines assistierten und/oder autonomen Fahrbetriebs (AF)
DE102016013509A1 (de) Vorrichtung und Verfahren zum Erzeugen einer lernenden digitalen Karte für ein Kraftfahrzeug
DE102020104071A1 (de) Verfahren zum Steuern eines Kraftfahrzeugs sowie Fahrerassistenzsystem zum Steuern eines Kraftfahrzeugs
DE102021200457A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem und Kraftfahrzeug
DE102022117676A1 (de) Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
DE102022117675A1 (de) Verfahren, System sowie neuronales Netz zum Betreiben eines Fahrzeugs, insb. eines Assistenzsystems, eines Systems aktiver Sicherheit oder eines Systems zur Signalisierung an die Umgebung des Fahrzeugs
DE102022001383A1 (de) Fahrzeug und Verfahren zur Ausgabe von Empfehlungen an eine fahrzeugführende Person zur Übernahme einer Fahrzeugsteuerung

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee