DE10104902A1 - System und Verfahren zur sprachgesteuerten Fehlerdiagnose - Google Patents

Abstract

Die Erfindung bezieht sich auf ein System und ein Verfahren zur sprachgesteuerten Fehlerdiagnose. Es wird vorgeschlagen, insbesondere mittels Mobiltelefon eingegebene Sprachsignale durch Digitalisierung und Filterung vorzuverarbeiten und mit einem gespeicherten Sprachsatz zu vergleichen. Zu einer dabei erkannten Sprachsequenz wird eine passende Dialogsequenz ausgegeben. Die passende Dialogsequenz kann durch Vergleich mit gespeicherten Dialogsequenzen ermittelt oder dynamisch aus XML basierten Fehlermodellen generiert werden.

Description

Die Erfindung bezieht sich auf ein System und ein Verfahren zur sprachgesteuerten Fehlerdiagnose. Sie läßt sich anwenden zur Unterstützung von Servicetechnikern im Bereich des Anlagenservices.

Insbesondere Fehlermodelle auf Basis von XML (Extended Markup Language) sind geeignet, die Arbeit von Servicetechnikern bei der Störungssuche, Analyse Fehler­ behebung zu erleichtern. Im Bereich des Services von Maschinenanlagen oder Anla­ genteilen werden bereits hierarchisch strukturierte Fehlermodelle, die für eine umfas­ sende Fehlerursachenanalyse tauglich sind, eingesetzt. Deren Datenstrukturen kön­ nen ebenfalls in XML abgebildet werden. Ein Fehlermodell, das im XML Format auf einem Web Server bereitgehalten wird, erlaubt das weltweite Durchführen einer Fehlerursachenanalyse über das Internet. Ein Fehleranalyst benötigt dazu einen Computer der mit einem Web Browser ausgestattet ist und über eine Internetverbin­ dung auf die Fehlerursachenanalysemodelle zugreifen kann. Fehlermodelle beste­ hen aus Knoten welche jeweils Hypothesen darstellen. Diese Knoten sind baumartig miteinander verkettet. Jeder Knoten verfügt über eine Checkliste, an Hand derer sich Hypothesen verifizieren oder negieren lassen. Bei der Suche nach einer Betriebsstö­ rung in einer Anlage navigiert der Fehleranalyst von Knoten zu Knoten und überprüft seine Anlage an Hand der angehängten Checklisten. Wenn er eine Hypothese auf diese Art akzeptiert, navigiert er zum unterliegenden Fehlermodell bzw. zum Fehler der zur Störung seiner Anlage geführt hat.

Für einen Servicetechniker, der vor Ort an einem defekten Anlagenteil eine Fehler­ behebung durchführen muß, ist es in den seltensten Fällen möglich, über einen PC auf Diagnoseinformationen zuzugreifen. Der normale Bürocomputer ist hierzu recht unhandlich, außerdem auch den rauhen Umweltbedingungen im Service nicht immer angepaßt. Einfacher und deutlich praktischer in der Handhabung sind hierbei mobile Telefone. Sie sind leicht, einfach zu handhaben und bei Servicetechnikern als Ar­ beitswerkzeug akzeptiert, da sie im normalen Dienstalltag beispielsweise zur Fehler­ diagnose per Telefon als Konferenzschaltung mit einem Diagnoseexperten Verwen­ dung finden. Für ein solches Vorgehen wird jedoch ein Diagnoseexperte als Ge­ sprächspartner benötigt, der die entsprechenden Hinweise während eines Telefon­ gesprächs geben kann.

Sprachein- und Ausgabe ist andererseits im Bereich von Personalcomputern zum Bedienen und Diktieren weit verbreitet. Diese Systeme verarbeiten die analogen Si­ gnale eines Mikrophons durch Digitalisierung und bilden hieraus Phoneme, welche mit dem zugehörigen Spracherkennungssystem bekannten Wörtern verglichen wer­ den. Bei einer bestimmten Übereinstimmungsquote (Wahrscheinlichkeit) übergibt das Spracherkennungssystem das betreffende Wort an eine übergeordnete Anwen­ dung oder führt ein Kommando auf dem Computer aus. Mit diesen Spracherken­ nungssystemen lassen sich auch Dialogsysteme, wie sie beispielsweise für die Be­ stellung von Fahrkarten Verwendung finden, ansteuern.

Davon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und ein zu seiner Durchführung geeignetes System anzugeben, das - ohne Zwischenschal­ tung eines menschlichen Diagnoseexperten - eine sprachgesteuerte Fehlerdiagnose im Anlagenservice ermöglicht.

Diese Aufgabe wird durch ein Verfahren zur sprachgesteuerten Fehlerdiagnose ge­ löst, das die im Anspruch 1 angegebenen Merkmale aufweist. Vorteilhafte Ausge­ staltungen und ein entsprechendes System sind in weiteren Ansprüchen angegeben.

Mit der Erfindung wird demnach vorgeschlagen, insbesondere mittels Mobiltelefon eingegebene Sprachsignale durch Digitalisierung und Filterung vorzuverarbeiten und mit einem gespeicherten Sprachsatz zu vergleichen. Zu einer dabei erkannten Sprachsequenz wird eine passende Dialogsequenz ausgegeben. Die passende Dia­ logsequenz kann durch Vergleich mit gespeicherten Dialogsequenzen ermittelt, oder dynamisch aus Fehlermodellen generiert werden.

Eine weitere Beschreibung der Erfindung und deren Vorteile erfolgt nachstehend an­ hand eines in Zeichnungsfiguren dargestellten Ausführungsbeispiels.

Es zeigt:

Fig. 1 ein System zur sprachgesteuerten Diagnose,

Fig. 2 das Verfahren zur sprachgesteuerten Diagnose,

Fig. 3 einen Sprachschatz,

Fig. 4 wie in einem hierarchischen Fehlermodell sprachgesteuert navigiert wird,

Fig. 5 ein Fehlermodell in Prinzipdarstellung,

Fig. 6 die Struktur eines Fehlerbaums,

Fig. 7 ein Fehlermodell für Ventilfehler, und

Fig. 8 beispielhaft die Instanz eines Fehlermodells in XML.

Fig. 1 zeigt ein System 1 zur sprachgesteuerten Diagnose auf der Basis hierarchi­ scher Fehlermodelle im XML-Format. Das System 1 enthält eine Ein/Ausgabe- Einrichtung 10, eine Datenverarbeitungseinrichtung 20 zur Sprachverarbeitung, so­ wie Datenspeicher 30. Die Ein/Ausgabe-Einrichtung 10 enthält eine Spracheingabe- Einrichtung 11 und eine Sprachausgabe-Einrichtung 12. Die Datenverarbeitungsein­ richtung 20 enthält eine Spracherkennungs-Engine 21, eine Dialog-Engine 22 und einen Sprachschatz-Generator 23. Im Datenspeicher oder den Datenspeichern 30 sind ein Sprachschatz 31, Dialogsequenzen 32 und Fehlermodelle 33 gespeichert oder speicherbar.

In Fig. 1 ist der mögliche Informationsfluß durch Pfeile mit ausgezogenen Linien dar­ gestellt, mögliche Datenzugriffe durch Pfeile mit gestrichelten Linien. Daraus ist er­ sichtlich, daß die Spracheingabe-Einrichtung 11 dafür eingerichtet ist, analoge Sprachsignale an die Spracherkennungs-Engine 21 zu übermitteln. Die Spracher­ kennungs-Engine 21 digitalisiert und filtert die Signale und vergleicht die so vorverar­ beiteten Sprachsignale mit dem Sprachschatz 31. Die Spracherkennungs-Engine 21 gibt eine dabei erkannte Sprachsequenz an die Dialog-Engine 22 weiter. Die Dialog- Engine 22 ordnet die Sprachsequenz einer Dialogsequenz aus den Dialogsequenzen 32 zu und gibt die gefundene passende Dialogsequenz zur Sprachausgabe- Einrichtung 12. Die Dialog-Engine 22 ist dafür eingerichtet, aus den Fehlermodellen 33 dynamisch Dialogsequenzen zu erzeugen. Der Spracherkennungsgenerator 23 erzeugt unter Zugriff auf das Fehlermodell 33 einen ergänzenden Sprachschatz und fügt ihn dem gespeicherten Sprachsatz 31 hinzu.

In Fig. 2 ist das Verfahren zur sprachgesteuerten Diagnose auf Basis hierarchischer Fehlermodelle in XML, und damit die Arbeitsweise der in Fig. 1 gezeigten Einrichtung dargestellt. In Schritt 100 werden die von der Spracheingabe 11 bereitgestellten analogen Sprachsignale vorverarbeitet und analysiert. Die Signalsequenzen werden mit dem Sprachschatz 31 verglichen. Ein Sprachschatz ist in Fig. 3 beispielhaft dar­ gestellt. Eine aus dem Sprachschatz 31 erkannte Sprachsequenz wird in Schritt 200 weiter verarbeitet.

In Schritt 200 wird die Sprachsequenz mit den Dialogsequenzen 32 verglichen, mit dem Ziel, eine passende Dialogsequenz für die weitere Verarbeitung zu ermitteln. Die Dialogsequenzen 32 umfassen, wie anhand der Fig. 4 noch erläutert wird, jeweils die Struktur (Ablaufsequenz) des Dialoges und sämtliche statischen Anteile.

In Schritt 300 wird von der Dialog-Engine 22 geprüft, ob die auszugebende Dia­ logsequenz als eine der statischen Dialogsequenzen 32 vorliegt, oder ob die Ausga­ be dynamisch aus dem Fehlermodell 33 generiert werden muß (siehe hierzu auch Fig. 4). liegt eine Dialogsequenz vor, erfolgt ihre Ausgabe durch die Sprachausgabe 12, und es geht weiter mit Schritt 100. Stellt dagegen die Dialog-Engine 22 fest, daß die passende Dialogsequenz dynamisch aus dem Fehlermodell 33 generiert werden muß, erfolgt Schritt 400.

In Schritt 400 fokusiert die Dialog-Engine 22 anhand der gesprochenen Anweisung im Fehlermodell 33 auf eine bestimmte Datenmenge. Eine solche Datenmenge be­ steht aus einem Fehlermodell, das eine Beschreibung eines Fehlerereignisses und zugehörige Fehlerhypothesen enthält (siehe Fig. 6 und Fig. 7). Aus den Bezeichnun­ gen der Fehlerhypothesen wird der Sprachschatz generiert und im Speicher für den Sprachschatz 31 gespeichert. Der gezielte Zugriff auf Inhalte in den XML-basierten Fehlermodelle ist möglich, da die Information bezüglich Inhalt und Struktur leicht ver­ arbeitbar beschrieben ist. Dieser Sachverhalt wird aus Fig. 8 deutlich.

In Schritt 500 erzeugt die Dialog-Engine 22 aus der im Schritt 400 ermittelten Da­ tenmenge die auszugebende Dialogsequenz. Ausgegeben werden beispielsweise die Bezeichnungen der gefundenen Hypothesen (vgl. auch Fig. 4 und Fig. 7). Da­ nach erfolgt erneut Schritt 100 zur Fortsetzung des Dialogs.

Fig. 3 zeigt beispielhaft einen Sprachschatz 31, der Bezeichnungen der Hypothesen des in Fig. 7 gezeigten Fehlermodells enthält. Die Dialog-Engine 22 hat diesen Sprachschatz in Schritt 400 aus den XML-Daten dynamisch erzeugt und im Speicher für den Sprachschatz 31 gespeichert.

Fig. 4 zeigt, wie in dem hierarchischen Fehlermodell 33 sprachgesteuert navigiert wird (vergl. hierzu auch Fig. 5, 6 und 7). Für die Navigation stehen in Abhängigkeit des Sprachdialogs mit den Sprachausgaben 321, 322, 323, verschiedene Standard- Sprachmodelle 312 zur Verfügung, die jeweils um spezifisch generierte Sprachmo­ delle 311, 313 erweitert werden. Übergeordnete Begriffe können den Standard- Sprachmodellen 312 entnommen werden; dabei haben diese die Aufgabe die Navi­ gation zu erleichtern oder zu erläutern. So steht im dargestellten Beispiel zu jedem Zeitpunkt eine Hilfefunktion über das Wort "Hilfe" zur Verfügung; oder der Begriff "Wiederholen" bewirkt, daß das System die zuletzt genannte Frage wiederholt. "Zu­ rück" bewirkt die Navigation zum letzten Dialog, "weiter" die Navigation zum Folge­ dialog. "Wo bin ich" gibt die Hierarchie im Fehlermodell an, "Alle vorlesen" bewirkt dass alle alternativen Begriffe gleicher Ebene dem Benutzer vorgelesen werden.

Weitere allgemeingültige Navigationshilfen sind an dieser Stelle möglich um zum Beispiel schnell von einem Ort des Fehlermodells an einen Ort eines anderen Feh­ lermodells zu navigieren.

Die Navigation in und zwischen Fehlermodellen wird an Hand eines in Fig. 7 ge­ zeigten Beispiels erläutert. Der Sprachdialog beginnt mit der Auswahl eines Fehler­ modells. Im Beispiel könnte diese lauten: "Ventilfehler", "Lagerfehler" oder "Hydrau­ likfehler". Alle alternativen Fehlermodelle werden dabei vom System vorgelesen. Der verfügbare Sprachschatz besteht jeweils aus den übergeordneten Begriffen 312 (Fig. 4), sowie den individuellen Schlüsselworten 311 des Dialogs. Weiterhin kann wäh­ rend des Vorlesens ein Begriff mit dem Schlüsselwort "wählen" ausgewählt werden. Im Beispiel gemäß Fig. 4 entscheidet sich der Benutzer für den Bergriff Ventilfehler. Der Dialog verzweigt nun in das Fehlermodell Ventilfehler.

Da es sich um XML basierte Fehlermodelle handelt, wie in Fig. 8 beispielhaft be­ schrieben, können die für den weiteren Dialog erforderlichen Informationen zur Navi­ gation und Position aus den vorhandenen Modellen extrahiert werden. Die so ge­ wonnenen Daten werden von der Dialog-Engine 22 ausgewertet und gruppiert, so daß sie in die Lage versetzt wird, eine neue Hierarchieebene zu bilden, in die der Benutzer verzweigt wird, im Beispiel aus den verschiedenen Fehlerhypothesen be­ stehend. Gleichzeitig werden auch alle für die Spracherkennung wesentlichen Daten gesammelt und dem Sprachschatz zur Generierung eines aktuellen Sprachmodells zugeführt. Der Umgang mit den gefundenen XML Strukturen und den zugehörigen Dialogsequenzen wird ebenfalls aus den vorhandenen Fehlermodell-Merkmalen ex­ trahiert. So entstehen die verschiedenen, im Beispiel vorgestellten Dialogarten, bzw. Sprachausgaben 321, 322 und 323.

Im Beispiel gemäß Fig. 4 verzweigt die Dialog-Engine in das Fehlermodell Ventilfeh­ ler, wobei dem Benutzer alle alternativen Hypothesen 322 vorgesprochen werden. Wiederum stehen ihm die aus den XML Modellen extrahierten Schlüsselworte für seine Entscheidung zur Verfügung: "Installationsfehler", "Überlast", "Dichtung un­ dicht", "Falsches Medium" und "Verschmutzung", sowie der Begriff "prüfen". Im Bei­ spiel entscheidet sich der Benutzer für die Alternative "Dichtung undicht". Die Dialog- Engine extrahiert auch hier aus den Fehlermodellen den weiteren Fortgang des Benutzerdialogs und verzweigt an dieser Stelle zu einer Checkliste 323, mit welcher der Benutzer die ausgewählte Hypothese prüfen kann. Ihm wird die Checkliste 323 vor­ gelesen und er kann die entsprechenden Bauteile gemäß der Checkliste kontrollie­ ren. Zur besseren Handhabung kann der Dialog nach jedem Checkpunkt stoppen und auf ein "weiter" Kommando warten. Teilweise kommt es vor, daß Fehlermodelle weitere Fehlermodelle referenzieren, wie Fig. 6 zeigt. Im Beispiel der Fig. 7 wird auf ein Fehlermodell mit Namen "Dichtungsfehler" verwiesen. Dies bringt der Dialog da­ durch zum Ausdruck, daß er eine Alternative mit: "tiefere Diagnose möglich: Dich­ tungsfehler" als Auswahl anbietet. Nennt der Benutzer den jeweiligen Fehlermodell­ namen, beispielsweise "Dichtungsfehler", beginnt das System mit der Sprachausga­ be 321, d. h. mit einer erneuten Dialogaufnahme.

Fig. 5 zeigt als Prinzipdarstellung ein Fehlermodell 33. Die oberste Ebene beinhaltet das Prozeßmodell mit mehreren Prozeßschritten. Jeder Prozeßschritt kann in weitere Prozeßschritte untergliedert werden. Zu jedem Prozeßschritt gibt es Fehlerereignisse und kritische Komponenten mit zugeordnetem Fehlerbaum. Die Knoten eines Feh­ lerbaumes repräsentieren Fehlerhypothesen. Wesentlicher inhaltlicher Bestandteil einer Fehlerhypothese ist eine Checkliste zur Verifikation. Die Inhalte einer Fehlerhy­ pothese sind in Fig. 7 beispielhaft angegeben

Fig. 6 zeigt die Struktur eines Fehlerbaums. Das Modell hat einen hierarchischen Aufbau und besteht in der einfachsten Ausprägung aus zwei Ebenen. Die oberste Ebene repräsentiert das Fehlerereignis. Einem Fehlerereignis können mehrere Feh­ lerhypothesen unterlagert sein. Die logische Abhängigkeit kann folgendermaßen formuliert werden: Ein oder mehrere Fehlerhypothesen können Ursache für das Fehlerereignis sein. Fehlerereignis und Fehlerhypothese haben eine ähnliche inhalt­ liche Beschreibung. Die Fehlerhypothese kann zur tiefergehenden Analyse auf ande­ re Fehlermodelle verweisen, d. h. ein Fehlerbaum kann sich aus mehreren Teilbäu­ men zusammensetzen. Die Verbindung wird durch das Attribut Fehlerbaumreferenz hergestellt.

Fig. 7 zeigt ein Fehlermodell für Ventilfehler. Die Hypothesen für das Fehlerereignis Ventilfehler sind: Installationsfehler, Überlast, Dichtung undicht, falsches Medium und Verschmutzung. Die Hypothese "Dichtung undicht" ist inhaltlich näher beschrieben.

Sie besteht im Wesentlichen aus einer Verifikationscheckliste mit den Diagnosekrite­ rien: Leckage, zerstörte Dichtungselemente, falsches Dichtungselement und Dich­ tungssitz beschädigt. Zum Verifizieren dieser Hypothese kann mit Hilfe der Fehler­ baumreferenz das Fehlermodell für Dichtungsfehler herangezogen werden.

Fig. 8 zeigt beispielhaft die Instanz eines Fehlermodells in XML. Sämtliche Typen beginnen mit dem Prefix rca, gefolgt von all für Attribut oder elt für Element. Danach folgt eine kurze Beschreibung des anwendungsspezifischen Kontextes, wie bei­ spielsweise 'Fehlerhypothese'. Die inhaltliche Bestandteile stehen entsprechend der XML-Syntax in Hochkomma. Da die Inhalte entsprechend ihres Kontextes beschrie­ ben sind, können XML-Daten auf einfache Weise verarbeitet werden.

Claims (8)

1. Verfahren zur sprachgesteuerten Fehlerdiagnose, wobei
eine Datenverarbeitungseinrichtung (20) verwendet wird, die eine Spracher­ kennungs-Engine (21) mit Zugriff auf einen gespeicherten Sprachschatz (31), eine Dialog-Engine (22) und einen Sprachschatzgenerator (23) enthält,
eine Spracheingabe-Einrichtung (11) und eine Sprachausgabe-Einrichtung (12) für einen Dialogverkehr mit der Dialog-Engine (22) verwendet wird, und
wobei zur Durchführung einer sprachgesteuerten Fehlerdiagnose:

• a) in einem ersten Schritt (100) mittels der Spracheingabe-Einrichtung (11) eingege­ bene Sprachsignale mittels der Spracherkennungs-Engine (21) durch Digitalisie­ rung und Filterung der Sprachsignale vorverarbeitet werden, ein Vergleich mit dem gespeicherten Sprachschatz (31) durchgeführt wird, und eine damit erkannte Sprachsequenz an die Dialog-Engine (22) weitergegeben wird, und
• b) in einem zweiten Schritt (200) die Dialog-Engine (22) eine zur erkannten Sprach­ sequenz passende Dialogsequenz mittels der Sprachausgabe-Einrichtung (12) ausgibt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Datenver­ arbeitungseinrichtung (20) verwendet wird, deren Dialog-Engine (22) Zugriff auf ge­ speicherte Dialogsequenzen (32) und Fehlermodelle (33) hat, und dass die Ausgabe der zur erkannten Sprachsequenz passenden Dialogsequenz entweder

• a) nach einem dritten Schritt (300) erfolgt, in dem die Dialog-Engine (22) die passende Dialogsequenz als eine der gespeicherten Dialogsequenzen (32) er­ mittelt hat, oder
• b) nach mehreren Schritten (300, 400, 500) erfolgt, wobei im Fall einer in den gespeicherten Dialogsequenzen (32) fehlenden passenden Dialogsequenz, die auszugebende passende Dialogsequenz dynamisch aus den Fehlermodellen (33) generiert wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Datenver­ arbeitungseinrichtung (20) verwendet wird, die außerdem einen Sprachschatz- Generator (23) enthält, der Zugriff auf die Fehlermodelle (33) hat, und dass die dy­ namische Generierung der passenden Dialogsequenz dadurch erfolgt, dass in einem vierten Schritt (400) zunächst die Dialog-Engine (22) anhand der erkannten Sprach­ sequenz eines der Fehlermodelle (33) auswählt und aus dessen Fehlerhypothesen einen ergänzenden Sprachschatz generiert und dem gespeicherten Sprachschatz (31) hinzufügt, und dass die Dialog-Engine (22) in einem fünften Schritt (500) unter Zugriff auf den so ergänzten Sprachschatz (31) die auszugebende Dialogsequenz erzeugt.

4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass XML basierte hierarchische Fehlermodelle (33) verwendet werden.

5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeich­ net, dass ein Telefon, insbesondere Mobiltelefon zur Sprachein- und -ausgabe ver­ wendet wird.

6. System zur sprachgesteuerten Fehlerdiagnose, das eine Spracheingabe- Einrichtung (11), eine Sprachausgabe-Einrichtung (12), sowie eine Datenverarbei­ tungseinrichtung (20) aufweist, die eine Spracherkennungs-Engine (21) mit Zugriff auf einen gespeicherten Sprachschatz (31), eine Dialog-Engine (22) mit Zugriff auf gespeicherte Dialogsequenzen (32) und hierarchische XML basierte Fehlermodelle (33), und einen Sprachschatzgenerator (23) mit Zugriff auf die Fehlermodelle (33) enthält, wobei das System dafür eingerichtet ist, mittels der Spracheingabe- Einrichtung (11) eingegebene Sprachsignale mittels der Spracherkennungs-Engine (21) durch Digitalisierung und Filterung der Sprachsignale vorzuverarbeiten, einen Vergleich mit dem gespeicherten Sprachschatz (31) durchzuführen, eine damit erkannte Sprachsequenz an die Dialog-Engine (22) weiterzugeben, und eine zur er­ kannten Sprachsequenz passende Dialogsequenz auszugeben.

7. System nach Anspruch 6, dadurch gekennzeichnet, daß die Fehlermodelle (33) Standard-Sprachmodelle (312) enthalten, die abhängig von einem geführten Dialog (321, 322, 323) um damit spezifisch generierte Sprachmodelle (311, 313) er­ weiterbar sind.

8. System nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß als Sprach­ eingabe-Einrichtung (11) und als Sprachausgabe-Einrichtung (12) ein Telefon oder Mobiltelefon verwendet ist.