DE102017203840A1 - Ursachenanalyse sowie wiederherstellungssysteme und -verfahren - Google Patents

Ursachenanalyse sowie wiederherstellungssysteme und -verfahren Download PDF

Info

Publication number
DE102017203840A1
DE102017203840A1 DE102017203840.3A DE102017203840A DE102017203840A1 DE 102017203840 A1 DE102017203840 A1 DE 102017203840A1 DE 102017203840 A DE102017203840 A DE 102017203840A DE 102017203840 A1 DE102017203840 A1 DE 102017203840A1
Authority
DE
Germany
Prior art keywords
root cause
instruction
module
error
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102017203840.3A
Other languages
English (en)
Inventor
Yael Shmueli Friedland
Ron. M. Hecht
Eli Tzirkel-Hancock
Ariel Telpaz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102017203840A1 publication Critical patent/DE102017203840A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/01Assessment or evaluation of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

Verfahren und Systeme werden zur Wiederherstellung aus einem Fehler in einem Spracherkennungssystem bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren: Empfangen eines ersten Befehls, der von einer ersten Sprachäußerung durch ein erstes Sprachmodell über einen Prozessor erkannt wird; Empfangen eines zweiten Befehls, der von der ersten Sprachäußerung durch ein zweites Sprachmodell erkannt wird; Ermitteln mindestens eine der Ähnlichkeiten und Unähnlichkeiten zwischen dem ersten Befehl und dem zweiten Befehl durch den Prozessor; Verarbeiten des ersten Befehls und des zweiten Befehls durch den Prozessor mit mindestens einer Regel eines Fehlermodells auf der Grundlage der Ähnlichkeiten und Unähnlichkeiten, um eine Grundursache zu bestimmen; und selektives Durchführen eines Wiederherstellungsprozesses basierend auf der Grundursache.

Description

  • TECHNISCHES GEBIET
  • Das technische Gebiet bezieht sich im Allgemeinen auf Sprachsysteme und insbesondere auf Verfahren und Systeme zum Erfassen der eigentlichen Ursache eines Spracherkennungsfehlers und die Wiederherstellung von dem Fehler basierend auf der eigentlichen Ursache.
  • HINTERGRUND
  • Spracherkennungssysteme führen eine Erkennung der Sprache durch, die von einem Benutzer geäußert wurde. So führt zum Beispiel das Fahrzeug-Sprachsystem eine Spracherkennung bei einer Sprache durch, die von einem Insassen des Fahrzeugs ausgegeben wird. Die Sprachäußerungen beinhalten typischerweise Befehle, die eine oder mehrere Funktionen des Fahrzeugs oder anderer Systeme steuern, die über das Fahrzeug-Sprachsystem zugänglich sind.
  • In einigen Fällen können Fehler bei der Spracherkennung auftreten. Spracherkennungsfehler sind problematisch und können dazu führen, dass Benutzer das System nicht mehr benutzen können. So kann beispielsweise der Benutzer nicht nachvollziehen, warum der Fehler auftritt und oder wie man den Fehler beheben kann, sodass der Benutzer einfach mit der Verwendung des Sprachsystems stoppt.
  • Dementsprechend ist es wünschenswert, Verfahren und Systeme zum Identifizieren einer Grundursache eines Spracherkennungsfehlers bereitzustellen. Es ist weiterhin wünschenswert, Verfahren und Systeme zur Wiederherstellung von Fehlern aufgrund einer identifizierten Grundursache bereitzustellen. Ferner werden weitere wünschenswerte Funktionen und Merkmale aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorangegangenen technischen Gebiet und Hintergrund offensichtlich.
  • ZUSAMMENFASSUNG
  • Es werden Verfahren und Systeme zur Wiederherstellung eines Fehlers in einem Spracherkennungssystem bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren:
  • Empfangen eines ersten Befehls, der von einer ersten Sprachäußerung durch ein erstes Sprachmodell über einen Prozessor erkannt wird; Empfangen eines zweiten Befehls, der von der ersten Sprachäußerung durch ein zweites Sprachmodell erkannt wird; Ermitteln mindestens eine der Ähnlichkeiten und Unähnlichkeiten zwischen dem ersten Befehl und dem zweiten Befehl durch den Prozessor; Verarbeiten des ersten Befehls und des zweiten Befehls durch den Prozessor mit mindestens einer Regel eines Fehlermodells auf der Grundlage der Ähnlichkeiten und Unähnlichkeiten, um eine Grundursache zu bestimmen; und selektives Durchführen eines Wiederherstellungsprozesses basierend auf der Grundursache.
  • In einem anderen Beispiel beinhaltet ein erstes nichtflüchtiges Modul, das von einem Prozessor einen ersten Befehl empfängt, der von einer ersten Sprachäußerung aus einem ersten Sprachmodell erkannt wird, einen zweiten Befehl empfängt, der von der ersten Sprachäußerung aus einem zweiten Sprachmodell erkannt wird, und Unähnlichkeiten zwischen dem ersten Befehl und dem zweiten Befehl. Das System beinhaltet ferner ein zweites nichtflüchtiges Modul, das durch einen Prozessor den ersten Befehl und den zweiten Befehl mit mindestens einer Regel eines Fehlermodells auf der Grundlage der Ähnlichkeiten und Unähnlichkeiten verarbeitet, um eine Grundursache zu ermitteln. Das System beinhaltet ferner ein drittes nichtflüchtiges Modul, das durch einen Prozessor selektiv einen Wiederherstellungsprozess basierend auf der Grundursache ausführt.
  • BESCHREIBUNG DER ZEICHNUNGEN
  • Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Ziffern gleiche Elemente bezeichnen, und worin:
  • 1 ein Funktionsblockdiagramm eines Fahrzeugs ist, das über ein Sprachsystem mit verschiedenen Ausführungsbeispielen verfügt;
  • 2 in einem Datenflussdiagramm ist, das ein Fehlererkennungs- und Wiederherstellungsmodul des Sprachsystems gemäß verschiedenen exemplarischen Ausführungsformen darstellt; und
  • 3 ist ein Sequenzdiagramm, die Sprachverfahren das Fehlererkennungs- und Wiederherstellungsverfahren darstellt, die durch das Sprachsystem gemäß verschiedenen exemplarischen Ausführungsformen durchgeführt werden können.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung nicht einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul” bezieht sich auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
  • Mit Bezug auf 1 wird in Übereinstimmung mit exemplarischen Ausführungsformen der vorliegenden Offenbarung ein Sprachsystem 10 als Teil eines Fahrzeugs 12 dargestellt. Das Sprachsystem 10 stellt eine Spracherkennung und einen Dialog für ein oder mehrere Fahrzeugsysteme 13 über ein Mensch-Maschine-Schnittstellenmodul (HMI) Modul 14 bereit. Derartige Fahrzeugsysteme 13 können beispielsweise ein Telefonsystem 16, ein Navigationssystem 18, ein Mediensystem 20, ein Telematiksystem 22, ein Netzsystem 24, oder ein beliebige andere Fahrzeugsysteme oder Nichtfahrzeug-Systeme 26, die eine sprachabhängige Anwendung beinhalten können, sind aber nicht darauf beschränkt. Wie zu erkennen ist, können eine oder mehrere Ausführungsformen des Sprachsystems 10 der vorliegenden Offenbarung auf andere Systeme als ein Fahrzeug, beispielsweise eine Uhr, einen Roboter, ein tragbares elektronisches Gerät usw. anwendbar sein und sind somit nicht auf das vorliegende Fahrzeugbeispiel beschränkt. Für exemplarische Zwecke wird das Sprachsystem 10 im Rahmen des Fahrzeugbeispiels erörtert.
  • In verschiedenen Ausführungsformen kommuniziert das Sprachsystem 10 mit den mehreren Fahrzeugsystemen 1624 und/oder anderen Fahrzeug- und Nicht-Fahrzeugsystemen 26 über das HMI-Modul 14 und einen Kommunikationsbus und/oder andere Kommunikationsmittel 28 (z. B. verdrahtet oder drahtlos mit kurzer oder langer Reichweite). Der Kommunikationsbus kann beispielsweise ein CAN-Bus sein, ist aber nicht darauf beschränkt.
  • Allgemein gesprochen beinhaltet das Sprachsystem 10 ein automatisches Spracherkennungsmodul (ASR) 32, ein Dialogmanagermodul 34 und ein Fehlererkennungs- und Wiederherstellungsmodul 36. Wie ersichtlich ist, können das ASR-Modul 32 und Dialogmanagermodul 34 als separate Systeme und/oder als kombiniertes System implementiert sein. Wie des Weiteren zu erkennen ist, können die Module des Sprachsystems 10 alle auf dem Fahrzeug 12 oder Teil auf dem Fahrzeug 12 und Teil auf einem entfernten System, wie einem entfernten Server (nicht gezeigt) implementiert werden.
  • In verschiedenen Ausführungsformen empfängt und verarbeitet das ASR-Modul 32 Sprachäußerungen aus dem HMI-Modul 14. Das ASR-Modul 32 erzeugt erkannte Befehle aus der Sprachäußerung. Gemäß der vorliegenden Offenbarung verarbeitet das ASR-Modul 32 die Sprachäußerungen unter Verwendung von mindestens zwei verschiedenen Sprachmodellen 38, 40. Das ASR-Modul 32 erzeugt aus jedem der beiden verschiedenen Sprachmodelle 38, 40 einen erkannten Befehl. Jedes verwendete Modell bietet einen Vorteil in mindestens einem der folgenden Schritte: die Anzahl der unterstützten Phrasen, die Tiefe der Phrasen, die Latenz der Verarbeitung, die Genauigkeit der Erkennung und die Bearbeitungszeit. Die Kombination der gewählten Modelle bietet Vorteile in mindestens zwei der vorstehend aufgeführten. So kann beispielsweise in verschiedenen Ausführungsformen das erste Sprachmodell 38 ein festes Modell sein, das eine feste Liste von erkennbaren Befehlen beinhaltet, die als festgelegtes Listenmodel bezeichnet werden. Ein festgelegtes Listenmodell bietet den Vorteil einer verbesserten Latenzzeit, einer verbesserten Genauigkeit und einer verbesserten Verarbeitungszeit und kann als ein optimaleres Modell angesehen werden. Ein derartiges Modell kann beinhalten, ist jedoch nicht beschränkt auf eine finite Statusgrammatik (FSG). In einem anderen Beispiel kann das zweite Sprachmodell 40 einen Bereich der Erkennung von Phrasen aufweisen, die als ein breiteres Spektrummodell bezeichnet werden. Ein breiteres Spektrummodell erkennt ein breiteres Spektrum von Befehlen, bietet jedoch eine höhere Latenzzeit und eine verringerte Genauigkeit. Ein derartiges Modell kann ein statistisches Sprachmodell (SLM) beinhalten, ist aber nicht darauf beschränkt. Wie zu erkennen ist, können die Modelle, die durch das ASR-Modul 32 implementiert werden, beliebige Sprachmodelle sein und sind nicht auf die vorliegenden Beispiele beschränkt. Das Dialogmanagermodul 34 empfängt typischerweise die Ergebnisse des ASR-Moduls 32 und verwaltet eine Interaktionssequenz und Aufforderungen, die über das HMI-Modul 14 an den Benutzer zurückgegeben werden.
  • In einigen Fällen können Fehler beim Erkennen der Befehle auftreten. Das Fehlererkennungs- und Wiederherstellungsmodul 36 empfängt die zwei oder mehr erkannten Befehle aus dem ASR-Modul 32 verarbeitet die erkannten Befehle für Fehler. Wenn zum Beispiel die beiden erkannten Befehle nicht im Wesentlichen gleich sind, verarbeitet das Fehlererkennungs- und Wiederherstellungsmodul 36 die erkannten Befehle mit einem Fehlermodell, um eine Grundursache zu identifizieren. In verschiedenen Ausführungsformen beinhaltet das Fehlermodell Regeln zum Identifizieren von Fehlern zwischen zwei Befehlen und Grundursachen, die den Regeln zugeordnet sind.
  • So kann beispielsweise eine exemplarische Sprachäußerung beinhalten: “Rufen Sie Dorian auf dem Handy an.” Das erste Sprachmodell 38 kann den erkannten Befehl erzeugen: “Rufen Sie drei eins an”, wenn eine Kontaktliste, die Dorian auflistet, nicht gefunden werden kann. In ähnlicher Weise kann das zweite Sprachmodell 40 den erkannten Befehl erzeugen: “Rufen Sie auf dem Festnetz und auf dem Handy an.” Das Fehlererkennungs- und Wiederherstellungsmodul 36 verarbeitet die beiden erkannten Befehle mit dem Fehlermodell. Das Fehlermodell identifiziert Ähnlichkeiten und/oder Unähnlichkeiten in den Befehlen und wählt eine oder mehrere bestimmte Regeln basierend auf den Ähnlichkeiten und/oder Unähnlichkeiten aus. Das Fehlermodell identifiziert zum Beispiel bei dem vorstehenden Beispiel die “Anruf”-Anweisung als Ähnlichkeit. Das Fehlermodell wählt eine Regel aus, die mit der Ähnlichkeit des „Anrufs” verknüpft ist, und verarbeitet die beiden erkannten Befehle mit der Regel. Ein Beispiel einer „Anruf” Regel kann beinhalten: wenn ein erster erkannter Befehl von einem FSG-Sprachmodell erzeugt wurde und Zahlen beinhaltet und der zweite erkannte Befehl von einem SLM-Sprachmodell erzeugt wurde und ein zufälliges Objekt beinhaltet, ist die Grundursache “keine Kontaktliste.” Wie zu erkennen ist, ist diese Regel nur ein Beispiel, da das Fehlermodell eine beliebige Anzahl von vordefinierten Regeln für eine beliebige Anzahl von Ähnlichkeiten und Unähnlichkeiten beinhalten kann. In verschiedenen Ausführungsformen werden die Regeln basierend auf Ähnlichkeiten und/oder Unähnlichkeiten definiert, die üblicherweise durch zwei bekannte Sprachmodelle erzeugt werden.
  • Sobald die Grundursache identifiziert wurde, macht das Fehlererkennungs- und Wiederherstellungsmodul 36 einen Versuch, sich ohne Benutzerbeteiligung und/oder Benutzerteilnahme zu erholen. So kann beispielsweise das Fehlererkennungs- und Wiederherstellungsmodul 36 Signale an ein oder mehrere der Fahrzeugsysteme 13 erzeugen, um sich ohne die Notwendigkeit der Beteiligung des Benutzers zu erholen. Angesichts des vorstehenden Beispiels, wenn die Grundursache “keine Kontaktliste” ist, kann das Fehlererkennungs- und Wiederherstellungsmodul 36 Steuersignale zu einem Bluetooth-System (z. B. des Netzwerksystems 24) oder einem anderen System des Fahrzeugs 12 erzeugen, um eine Kontaktliste neu zu laden und den Benutzer über das Nachladen zu informieren.
  • In einem anderen Beispiel kann das Fehlererkennungs- und Wiederherstellungsmodul 36 Benachteiligungsverbot, Sprachaufforderungen und/oder visuelle Aufforderungen erzeugen, die den Benutzer über den Fehler benachrichtigen und die Rückmeldung anfordern. Angesichts des vorstehenden Beispiels, wenn die Grundursache “keine Kontaktliste” ist, kann das Fehlererkennungs- und Wiederherstellungsmodul 36 Sprachaufforderungen und eine Interaktionssequenz an das Dialogmanagermodul 34 ausgeben, das Folgendes beinhaltet, “Es tut mir leid, es scheint so, dass Sie versuchen einen Kontakt anzurufen, wenn keine Kontaktliste verfügbar ist. Möchten Sie Ihr Telefon koppeln?” Alternativ, wenn das vorstehende Beispiel die Grundursache “keine Kontaktliste” ist, kann das Fehlererkennungs- und Wiederherstellungsmodul 36 Benachteiligungsverbot erzeugen, einschließlich visueller Aufforderungen, welche die vorstehende Aufforderung anzeigen und die Auswahlsymbole für die Auswahl eines Telefons beinhalten, um die Kontaktliste herunterzuladen.
  • Unter Bezugnahme auf 2, veranschaulicht ein Datenflussdiagramm das Ursachenerkennungs- und Wiederherstellungsmodul 36 gemäß verschiedenen Ausführungsformen. Wie zu erkennen ist, können verschiedene Ausführungsformen des Fehlererkennungs- und Wiederherstellungsmoduls 36 gemäß der vorliegenden Offenbarung eine beliebige Anzahl von Untermodulen beinhalten. Die beispielsweise in 2 dargestellten Untermodule können kombiniert werden und/oder weiter aufgeteilt werden, um in ähnlicher Weise eine Ursache für Fehler zu identifizieren und sich von der Grundursache zu erholen. In verschiedenen Ausführungsformen können die vom Grundursachenerkennungs- und Wiederherstellungsmodul 36 empfangenen Daten vom ASR-Modul 32 oder anderen Modulen des Sprachsystems 10 empfangen werden. In verschiedenen exemplarischen Ausführungsformen beinhaltet das Fehlererkennungs- und Wiederherstellungsmodul 36 ein Fehlererkennungsmodul 42, ein Grundursachenbestimmungsmodul 44, ein Grundursachen-Wiederherstellungsmodul 46, einen Fehlermodelldatenspeicher 48 und einen Wiederherstellungsprozess-Datenspeicher 50.
  • Der Fehlermodell-Datenspeicher 48 speichert ein oder mehrere Fehlermodelle. Die Fehlermodelle beinhalten eine oder mehrere Regeln zum Verarbeiten von Befehlsdaten, um eine Grundursache zu ermitteln. Der Wiederherstellungsprozess-Datenspeicher 50 speichert einen oder mehrere Wiederherstellungsprozesse. Die Wiederherstellungsprozesse beinhalten einen oder mehrere Schritte zum Wiederherstellen eines Fehlers, der einer Grundursache gegeben wird.
  • Das Fehlererkennungsmodul 42 Erstbefehlsdaten 52 entsprechend dem ersten erkannten Befehl aus dem ersten Sprachmodell und zweiten Befehlsdaten, die den zweiten Befehlsdaten 54 aus dem zweiten Sprachmodell entsprechen. Das Fehlererkennungsmodul 42 vergleicht die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54. Wenn genügend Unterschiede bestehen (z. B. eine Schwellenanzahl an Unterschieden wurde identifiziert), dann ermittelt das Fehlererkennungsmodul 42, dass ein Fehler vorliegt. Wenn ein Fehler vorliegt, vergleicht das Fehlererkennungsmodul 42 die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54 und erzeugt Ähnlichkeitsdaten 56, welche die Ähnlichkeiten und/oder Unähnlichkeiten in den beiden Befehlen anzeigen.
  • Das Grundursachen-Bestimmungsmodul 44 empfängt als Eingabe die ersten Befehlsdaten 52, die zweiten Befehlsdaten 54 und die Ähnlichkeitsdaten 56. Das Grundursachen-Bestimmungsmodul 44 verarbeitet die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54 auf der Grundlage der Ähnlichkeitsdaten 56. Das Grundursachen-Bestimmungsmodul 44 ermittelt zum Beispiel aus dem Fehlermodelldatenspeicher 48 das Fehlermodell, das eine oder mehrere Regeln definiert, die den Ähnlichkeiten und/oder Unähnlichkeiten zugeordnet sind, die durch die Ähnlichkeitsdaten 56 identifiziert wurden. Das Grundursachen-Bestimmungsmodul 44 verarbeitet dann die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54 unter Verwendung der einen oder mehreren Regeln, um die Grundursache zu identifizieren. Das Grundursachen-Bestimmungsmodul 44 erzeugt Grundursachen-Daten 58 basierend darauf.
  • Das Grundursachen-Wiederherstellungsmodul 46 empfängt als Eingabe die Grundursachendaten 58. Basierend auf den Grundursachen-Daten 58 ruft das Grundursachen-Ermittlungsmodul 46 einen Wiederherstellungsprozess aus dem Wiederherstellungsprozess-Datenspeicher 50 ab und führt den Wiederherstellungsprozess aus. In verschiedenen Ausführungsformen wählt das Grundursachen-Wiederherstellungsmodul 46, falls mehrere Wiederherstellungsprozesse für eine bestimmte Grundursache vorgesehen sind, einen Wiederherstellungsprozess, der basierend auf einem Prioritätsschema verwendet werden soll. So kann beispielsweise das Prioritätsschema darauf hindeuten, dass ein Wiederherstellungsprozess, der keine Benutzerinteraktion erfordert, zuerst ausgewählt werden kann und danach Wiederherstellungsprozesse, die eine Benutzerinteraktion erfordern, ausgewählt werden können (z. B. wenn der erste Wiederherstellungsprozess keine Wiederherstellung zulässt) basierend auf einer Ebene der Wechselwirkung ausgewählt werden kann (z. B. dieser Wiederherstellungsprozess mit einer minimalen Wechselwirkung, die zuerst ausgewählt wird, und so weiter).
  • In verschiedenen Ausführungsformen erzeugt der Wiederherstellungsprozess, wenn er vom Grundursachen-Wiederherstellungsmodul 46 ausgeführt wird, ein oder mehrere Steuersignale 60 zu einem oder mehreren Fahrzeugsystemen 13, um zu bewirken, dass sich das Fahrzeugsystem 13 von dem Fehler erholt. So kann beispielsweise der Wiederherstellungsprozess ein oder mehrere Steuersignale 60 zu einem Kurzstreckennetzwerksystem erzeugen, um zu bewirken, dass die Nahbereichskommunikation eine Kontaktliste von einer gekoppelten Vorrichtung erhält. Wie zu erkennen ist, können andere Steuersignale erzeugt werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist. In verschiedenen Ausführungsformen erzeugt der Wiederherstellungsprozess, wenn er vom Grundursachen-Wiederherstellungsmodul 46 ausgeführt wird, ein oder mehrere Benachrichtigungssignale 62, um zu bewirken, dass ein Fahrzeugsystem den Benutzer über die Grundursache informiert. So kann beispielsweise der Wiederherstellungsprozess ein oder mehrere Benachrichtigungssignale 62 zum Mediensystem 20 erzeugen, um zu bewirken, dass eine Nachricht durch eine Anzeigevorrichtung angezeigt wird.
  • In verschiedenen Ausführungsformen erzeugt der Wiederherstellungsprozess, wenn er vom Grundursachen-Wiederherstellungsmodul 46 ausgeführt wird, Dialogaufforderungsdaten und/oder Interaktionssequenzdaten 64, die vom Dialogmanagermodul 34 empfangen werden. So kann beispielsweise der Wiederherstellungsprozess Dialogbefehle erzeugen, die vom Dialogmanager verwendet werden, um dem Benutzer über das Sprachsystem 10 die Grundursache und/oder den Fehler zu übermitteln. Wie ersichtlich ist kann der Wiederherstellungsprozess in verschiedenen Ausführungsformen jede Kombination von Steuersignalen, Benachrichtigungssignalen und/oder Dialogaufforderungsdaten und / oder Interaktionssequenzdaten 64 erzeugen, um sich basierend auf der ermittelten Grundursache von dem Fehler zu erholen.
  • Bezugnehmend auf 3 und unter weiterer unter Bezugnahme auf die 12 veranschaulicht ein Sequenzdiagramm Grundursachen-Identifizierungs- und Wiederherstellungsverfahren, die durch das Sprachsystem 10 gemäß verschiedenen exemplarischen Ausführungsformen durchgeführt werden können. Wie angesichts der Offenbarung zu erkennen ist, ist die Abfolge der Vorgänge innerhalb der Verfahren nicht auf die sequenzielle Ausführung beschränkt, wie in 3 dargestellt, sondern kann in einer oder mehreren variierenden anwendbaren Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden. Weiterhin sollte ersichtlich sein, dass ein oder mehrere Schritt(e) der Verfahren hinzugefügt oder entfernt werden können, ohne dass dadurch der Geist des Verfahrens geändert wird.
  • Wie dargestellt, beginnt das Verfahren, wenn ein Benutzer einen Befehl spricht, der vom HMI-Modul 14 empfangen wird. Die HMI Modul 14 wiederum liefert den gesprochenen Befehl an das Spracherkennungssystem mit dem ersten Sprachmodell 38 bei 100 und an das Spracherkennungssystem mit dem zweiten Sprachmodell 40 bei 110. Das Spracherkennungssystem mit dem ersten Sprachmodell 38 verarbeitet den gesprochenen Befehl bei 120, um einen ersten erkannten Befehl zu ermitteln. Das Spracherkennungssystem mit dem ersten Sprachmodell 38 stellt die ersten Befehlsdaten 52 zu dem Grundursachen-Bestimmungsmodul 44 bei 130 bereit. Im Wesentlichen gleichzeitig oder danach verarbeitet das Spracherkennungssystem mit dem zweiten Sprachmodell 40 den gesprochenen Befehl bei 140, um einen zweiten erkannten Befehl zu ermitteln. Das Spracherkennungssystem mit dem zweiten Sprachmodell 40 stellt die zweiten Befehlsdaten 54 zum Grundursachen-Bestimmungsmodul 44 bei 150 bereit. Das Fehlererkennungsmodul 42 vergleicht die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54 mit einem oder mehreren Decodierern, um zu ermitteln, ob ein Fehler bei 160 vorliegt. Wenn ein Fehler vorliegt, stellt das Fehlererkennungsmodul 42 die ersten Befehlsdaten 52, die zweiten Befehlsdaten 54 und die Ähnlichkeitsdaten 56 an das Ursachenbestimmungsmodul 44 bei 170 bereit. Optional, wenn ein Fehler nicht vorhanden ist, können Bestätigungsdaten an das Dialogmanagermodul 34 gesendet werden, das anzeigt, dass der Befehl bei 180 bestätigt wird.
  • Wird ein Fehler vorliegt, ruft das Grundursachen-Bestimmungsmodul 44 eine oder mehrere Regeln aus dem Fehlermodell-Datenspeicher 48 auf der Grundlage der Ähnlichkeitsdaten 56 ab und verarbeitet die ersten Befehlsdaten 52 und die zweiten Befehlsdaten 54 unter Verwendung der einen oder mehreren Regeln, um eine Grundursache bei 190 zu ermitteln. Das Grundursachen-Bestimmungsmodul 44 liefert die Grundursachen-Daten 58 zum Grundursachen-Ermittlungsmodul 46 bei 200. Das Grundursachen-Wiederherstellungsmodul 46 ermittelt und führt einen Wiederherstellungsprozess basierend auf den Grundursachen-Daten 58 bei 210 aus. In einigen Fällen beinhaltet der Wiederherstellungsprozess das Erzeugen von Steuersignalen 60 und/oder Benachrichtigungssignalen 62 zu einem oder mehreren Fahrzeugsystemen 13 bei 220. In einigen Fällen beinhaltet der Wiederherstellungsprozess das Erzeugen von Aufforderungsdaten und/oder Interaktionssequenzdaten 64 zu dem Dialogmanagermodul 34 bei 230. Wie ersichtlich ist, können Wiederherstellungsprozesse fortgesetzt werden, bis die Grundursache wiederhergestellt worden ist, und/oder es wird ermittelt, dass die Grundursache nicht wiederhergestellt werden kann.
  • Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform oder von exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt wird, abzuweichen.

Claims (10)

  1. Verfahren zur Wiederherstellung aus einem Fehler in einem Spracherkennungssystem, umfassend: das Empfangen eines ersten Befehls, der von einer ersten Sprachäußerung durch ein erstes Sprachmodell erkannt wird; das Empfangen eines zweiten Befehls, der von der ersten Sprachäußerung durch ein zweites Sprachmodell erkannt wird; das Ermitteln, durch den Prozessor, mindestens eine der Ähnlichkeiten und Unähnlichkeiten zwischen dem ersten Befehl und dem zweiten Befehl; das Verarbeiten des ersten Befehls und des zweiten Befehls durch den Prozessor mit mindestens einer Regel eines Fehlermodells auf der Grundlage der Ähnlichkeiten und Unähnlichkeiten, um eine Grundursache zu bestimmen; und das Ausführen eines Wiederherstellungsprozesses basierend auf der Grundursache.
  2. Verfahren nach Anspruch 1, worin der Wiederherstellungsprozess das Erzeugen von Steuersignalen an ein oder mehrere Fahrzeugsysteme beinhaltet, um sich automatisch von der Grundursache zu erholen.
  3. Verfahren nach Anspruch 1, worin der Wiederherstellungsprozess das Erzeugen mindestens eines der Aufforderungsdaten und der Interaktionssequenzdaten beinhaltet, um sich von der Grundursache zu erholen.
  4. Verfahren nach Anspruch 1, ferner umfassend: das Verarbeiten der ersten Sprachäußerung mit dem ersten Sprachmodell und einem Decodierer; und das Verarbeiten der ersten Sprachäußerung mit dem zweiten Sprachmodell und dem Decodierer oder einem anderen Decodierer, worin der Decodierer oder der andere Decodierer in einem Fernserver oder offline beinhaltet ist.
  5. Verfahren nach Anspruch 4, worin das erste Sprachmodell ein finites Statusgrammatik-Modell ist, und worin das zweite Sprachmodell ein statistisches Sprachmodell ist.
  6. Verfahren nach Anspruch 1, ferner umfassend das Abrufen der mindestens einen Regel des Fehlermodells auf der Grundlage der mindestens einen Ähnlichkeiten und Unähnlichkeiten.
  7. Verfahren nach Anspruch 6, worin die mindestens eine Regel auf der Grundlage von mindestens einer der Ähnlichkeiten und Unähnlichkeiten definiert ist, die üblicherweise durch mindestens zwei bekannte Sprachmodelle erzeugt werden.
  8. Verfahren nach Anspruch 1, ferner umfassend das Abrufen des Wiederherstellungsprozesses auf der Grundlage der Grundursache.
  9. Verfahren nach Anspruch 1, worin das selektive Ausführen des Wiederherstellungsprozesses auf einem Prioritätsschema basiert.
  10. System zur Wiederherstellung aus einem Fehler in einem Spracherkennungssystem, umfassend: ein erstes nichtflüchtiges Modul, das von einem Prozessor einen ersten Befehl empfängt, der von einer ersten Sprachäußerung aus einem ersten Sprachmodell erkannt wird, einen zweiten Befehl empfängt, der aus der ersten Sprachäußerung aus einem zweiten Sprachmodell erkannt wird, und ermitteln mindestens eine der Ähnlichkeiten und Unähnlichkeiten zwischen dem ersten Befehl und dem zweiten Befehl; ein zweites nichtflüchtiges Modul, das von einem Prozessor den ersten Befehl und den zweiten Befehl mit mindestens einer Regel eines Fehlermodells auf der Grundlage der Ähnlichkeiten und Unähnlichkeiten verarbeitet, um eine Grundursache zu bestimmen; und ein drittes nichtflüchtges Modul, das durch einen Prozessor selektiv einen Wiederherstellungsprozess basierend auf der Grundursache ausführt.
DE102017203840.3A 2016-03-15 2017-03-08 Ursachenanalyse sowie wiederherstellungssysteme und -verfahren Ceased DE102017203840A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/070,970 2016-03-15
US15/070,970 US9858918B2 (en) 2016-03-15 2016-03-15 Root cause analysis and recovery systems and methods

Publications (1)

Publication Number Publication Date
DE102017203840A1 true DE102017203840A1 (de) 2017-09-21

Family

ID=59751472

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017203840.3A Ceased DE102017203840A1 (de) 2016-03-15 2017-03-08 Ursachenanalyse sowie wiederherstellungssysteme und -verfahren

Country Status (3)

Country Link
US (1) US9858918B2 (de)
CN (1) CN107195298B (de)
DE (1) DE102017203840A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364155A (zh) * 2019-07-30 2019-10-22 广东美的制冷设备有限公司 语音控制报错方法、电器及计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2820872B1 (fr) * 2001-02-13 2003-05-16 Thomson Multimedia Sa Procede, module, dispositif et serveur de reconnaissance vocale
US7440932B2 (en) * 2003-10-02 2008-10-21 International Business Machines Corporation Method and system for automating issue resolution in manufacturing execution and material control systems
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US20070288467A1 (en) * 2006-06-07 2007-12-13 Motorola, Inc. Method and apparatus for harmonizing the gathering of data and issuing of commands in an autonomic computing system using model-based translation
US8306819B2 (en) * 2009-03-09 2012-11-06 Microsoft Corporation Enhanced automatic speech recognition using mapping between unsupervised and supervised speech model parameters trained on same acoustic training data
US8190718B1 (en) * 2009-04-27 2012-05-29 Marvell International Ltd Model driven command language translator
US9064492B2 (en) * 2012-07-09 2015-06-23 Nuance Communications, Inc. Detecting potential significant errors in speech recognition results
US8924213B2 (en) * 2012-07-09 2014-12-30 Nuance Communications, Inc. Detecting potential significant errors in speech recognition results
CN103680498A (zh) * 2012-09-26 2014-03-26 华为技术有限公司 一种语音识别方法和设备
US9202459B2 (en) * 2013-04-19 2015-12-01 GM Global Technology Operations LLC Methods and systems for managing dialog of speech systems
US9437186B1 (en) * 2013-06-19 2016-09-06 Amazon Technologies, Inc. Enhanced endpoint detection for speech recognition
CN104143329B (zh) * 2013-08-19 2015-10-21 腾讯科技(深圳)有限公司 进行语音关键词检索的方法及装置

Also Published As

Publication number Publication date
US9858918B2 (en) 2018-01-02
CN107195298A (zh) 2017-09-22
US20170270908A1 (en) 2017-09-21
CN107195298B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
EP3224831B1 (de) Kraftfahrzeug-bedienvorrichtung mit korrekturstrategie für spracherkennung
DE102014109122A1 (de) Systeme und Verfahren für ergebnisbezogene Arbitrierung in Sprachdialogsystemen
DE102013222507B4 (de) Verfahren zum Adaptieren eines Sprachsystems
DE102019119171A1 (de) Spracherkennung für fahrzeugsprachbefehle
DE60213195T2 (de) Verfahren, System und Computerprogramm zur Sprach-/Sprechererkennung unter Verwendung einer Emotionszustandsänderung für die unüberwachte Anpassung des Erkennungsverfahrens
DE60215272T2 (de) Verfahren und Vorrichtung zur sprachlichen Dateneingabe bei ungünstigen Bedingungen
DE102020205786A1 (de) Spracherkennung unter verwendung von nlu (natural language understanding)-bezogenem wissen über tiefe vorwärtsgerichtete neuronale netze
DE102015109758B4 (de) Verfahren und Systeme zum Anpassen von Sprachsystemen
EP0994461A2 (de) Verfahren zur automatischen Erkennung einer buchstabierten sprachlichen Äusserung
DE202016008230U1 (de) Sprachwiedererkennung mit externen Datenquellen
DE102010034433B4 (de) Verfahren zum Erkennen von Sprache
DE112010005959T5 (de) Verfahren und System zur automatischen Erkennung eines Endpunkts einer Tonaufnahme
DE102018113034A1 (de) Stimmenerkennungssystem und stimmenerkennungsverfahren zum analysieren eines befehls, welcher mehrere absichten hat
DE102017220266B3 (de) Verfahren zum Überprüfen eines Onboard-Spracherkenners eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102014201676A1 (de) Verfahren und Systeme für das Steuern des Dialogs von Sprachsystemen
DE102015106280B4 (de) Systeme und Verfahren zum Kompensieren von Sprachartefakten in Spracherkennungssystemen
DE10040063A1 (de) Verfahren zur Zuordnung von Phonemen
DE112014006795B4 (de) Spracherkennungssystem und Spracherkennungsverfahren
DE102018132160A1 (de) System und verfahren zum verstehen von standardsprache und dialekten
DE102017203840A1 (de) Ursachenanalyse sowie wiederherstellungssysteme und -verfahren
DE102013222520B4 (de) Verfahren für ein sprachsystem eines fahrzeugs
EP3115886B1 (de) Verfahren zum betreiben eines sprachsteuerungssystems und sprachsteuerungssystem
DE102014203116A1 (de) Steuern eines sprachdialogs, wobei ein zusätzlicher sensor benutzt wird
DE112009003930T5 (de) Spracherkennungsvorrichtung
DE102015106530B4 (de) Systeme und Verfahren zum Koordinieren einer Spracherkennung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R083 Amendment of/additions to inventor(s)
R082 Change of representative

Representative=s name: SCHWEIGER PARTNERSCHAFT PATENTANWALT UND RECHT, DE

Representative=s name: SCHWEIGER & PARTNERS, DE

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final