DE3732849A1 - System-architektur fuer ein akustisches mensch/maschine-dialogsystem - Google Patents

Description

Die vorliegende Erfindung betrifft eine System-Architektur für ein akustisches Mensch/Maschine-Dialogsystem mit einer Sprach­ eingabe-Einrichtung zur Spracheingabe in das Dialogsystem einem Konfigurationssystem und einem Adaptionssystem, wobei die Spracheingabe-Einrichtung ein Eingangssprachsignal erzeugt.

Die Mensch-Maschine Kommunikation wird heutzutage zum großen Teil mit mechanischen Hilfsmitteln, wie Tastatur, Maus, Licht­ griffel etc., geführt. Bei einem Dialogsystem der eingangs genannten Art erfolgt die Kommunikation über die menschliche Sprache. Das Dialogsystem übersetzt die sprachlich formulier­ ten Wünsche eines Benutzers in die Sprache der Maschine. Bei der Maschine handelt es sich meist um eine EDV-Anlage, auf der eine Anwendung mit stark formalisierten Ein/Ausgabeprozeduren - der Maschinensprache - implementiert ist (siehe Fig. 1).

Die Sprachein/ausgabe kann über ein Sprach-Terminal mit zu­ sätzlichen Hilfsmitteln (Bildausgabe, Lichtgriffel etc.) oder über ein Telefon erfolgen. Als EDV-Anwendungen sind z. B. auto­ matische Auskunfts- und Beratungsdienste, wie Bahn- und Flug­ auskunft, automatische Transferdienste, wie Buchung oder Bestellung nach Katalog, oder Büroverwaltungsdienste denkbar.

Zur Realisierung eines Dialogsystems müssen Methoden der auto­ matischen Spracherkennung, der linguistischen Texterschließung und der Dialogführung miteinander in einem Gesamtsystem mit einer geeigneten Architektur vereinigt werden. Einige Archi­ tekturen sind bereits vorgeschlagen worden, die jedoch im Sinne eines Gesamtsystems unvollständig sind und zum Teil zu sehr ineffizienten Realisierungen führen, vergl. z. B. G. Goodman, R. Reddy "Alternative Control Structures for Speech Understanding Systems" in "Trends in Speech Recognition", Prentice-Hall, Signal/Processing Series, 1980.

Die Interpretation fließend gesprochener Sprache wurde bisher für sehr eingeschränkte Anwendungen nur im Forschungsbereich realisiert, wobei noch kein technischer Reifegrad für den praktischen Einsatz erreicht wurde, vergl. z. B. B. Lowerre, R. Reedy "The Harpy Speech Understanding System" in "Trends in Speech Recognition", Prentice-Hall, Signal Processing Series, 1980.

Fig. 2 zeigt den prinzipiellen Aufbau eines Mensch-Maschine- Dialogsystems, das aus den Systemen Konfigurierungssystem, Adaptionssystem und Dialogsystem besteht. Der Kern des Systems stellt das Dialogsystem dar, welches den Dialog zwischen einem Benutzer und einer EDV-Anwendung führt. Das Konfigurierungs­ system dient zur Anpassung des Dialogsystems an die jeweilige EDV-Anwendung. Hier wird der für den Dialog benötigte anwen­ dungsspezifische Wortschatz mit seinen begrifflichen Be­ ziehungen (syntaktisch/semantisch/pragmatische Relationen) ein­ gegeben.

Aufgabe des Adaptionssystem ist es, das Dialogsystem an die Stimmcharakteristik des jeweiliqen Benutzers anzupassen. Hierdurch erhöht sich die Erkennungsleistung des Dialogsystems, was zu einem reibungsloseren Dialogbetrieb führt.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine System-Architektur der eingangs genannten Art zu schaffen, mit deren Hilfe es möglich ist, ein arbeits- und leistungsfähiges Mensch/Maschine-Dialogsystem zu realisieren, das mittels vor­ gegebener gesprochener Wortfolgen Anweisungen, Befehle, Frage­ stellungen usw. an eine EDV-Anlage richten kann und Antworten oder Rückfragen der EDV-Anlage verarbeiten und fallweise in Form synthetischer Sprache und/oder in Form einer Bildschirm­ anzeige an den Benutzer weitergeben kann.

Die der vorliegenden Erfindung zugrundeliegende Aufgabe wird durch eine System-Architektur der eingangs genannten Art und gemäß dem Oberbegriff des Patentanspruchs 1 gelöst, die er­ findungsgemäß durch die im kennzeichnenden Teil des Patent­ anspruchs 1 angegebenen Merkmale charakterisiert ist.

Vorteilhafte Weiterbildungen der Erfindung sind durch die in den Unteransprüchen angegebenen Merkmale gekennzeichnet.

Im folgenden wird die vorliegende Erfindung anhand mehrerer Figuren im einzelnen beschrieben.

Fig. 1 zeigt wie bereits erläutert, den grundsätzlichen Aufbau eines Blockschaltbildes eines zu realisierenden Gesamt­ systems, wie es bereits in der Fachwelt diskutiert wurde.

Fig. 2 zeigt, wie ebenfalls bereits erläutert, in mehr Ein­ zelheiten ein Blockschaltbild des gemäß Fig. 1 vor­ zusehenden Mensch/Maschine-Dialogsystems.

Fig. 3 zeigt ein Blockschaltbild der erfindungsgemäßen System- Architektur des in Fig. 2 dargestellten Mensch/Maschine- Dialogsystems.

Die Architektur des Dialogsystems 30 wie sie in Fig. 3 gezeigt ist, besteht aus einem Erkennungsmodul mit den Einheiten "Si­ gnalanalyse" 31, "Wortfolgengenerierung" 32 und "Syntaktisch- semantisch-pragmatische Inhaltsanalyse" 33, einer Dialogsteue­ rungs-Einheit 34 mit Anpassung zur EDV-Anwendung und Antwort­ generierungs-Einheit 35.

Im Erkennungsmodul wird das von einem Mikrofon kommende Sprach­ signal eines Benutzers interpretiert und in eine inhaltsorien­ tierte Darstellung gebracht. Hierbei erfolgt zunächst eine Analyse des Sprachsignals im Hinblick auf sprachspezifische Merkmale. In der Wortfolgengenerierungseinheit werden die Merkmale mit Hilfe eines phonetischen Wortlexikons 322 auf Wortfolgen abgebildet. Im allgemeinen ist diese Abbildung wegen der begrenzten akustischen Signalanalyse nicht eindeutig, dem durch paralleles Verfolgen von möglichen Wortfolgen (Wortfol­ genhypothesen) Rechnung getragen wird. Die Anzahl der Wort­ folgenhypothesen kann sehr groß werden. Dieser Aufwand kann durch ein Sprachmodell 323, in welchem die mögliche Reihenfolge von Worten auf Grund der EDV-Anwendung abgespeichert ist, er­ folgen, wodurch nur "gültige" Wortfolgenhypothesen betrachtet werden müssen. Die Prüfung auf gültige Wortfolgenhypothesen kann auch bei der Inhaltsanalyse durchgeführt werden, wobei auf­ grund linguistischer Regeln die sinnvollen Wortfolgen aus den Wortfolgehypothesen herausgefiltert werden. Zur Gewinnung der einzig richtigen Wortfolge werden zusätzlich statistische Methoden angewendet, indem die Wahrscheinlichkeit, mit der die akustischen Merkmale auf die Wortfolge abgebildet wird, be­ rechnet und diejenige Folge mit der höchsten Wahrscheinlichkeit als interpretierte Äußerung des Benutzers an die Dialogsteue­ rungs-Einheit 35 weitergegeben wird. Die Dialogsteuerungs- Einheit 35 entscheidet, ob der Inhalt der Äußerung für die An­ wendung einen "Sinn" ergibt, oder ob noch ein weiterer Dialog mit dem Benutzer geführt werden muß. Bei einer sinnvollen Anfrage wird die inhaltsorientierte Äußerungsdarstellung des Dialogsystems in einen für die EDV-Anwendung verständliche Maschinensprache überführt. Bei Rückmeldungen der EDV-Anwendung wird diese wieder in eine inhaltsorientierte Darstellung des Dialogsystems 30 gebracht und für diese Antwort generiert. Die Ausgabe der Antwort erfolgt entweder akustisch durch Sprach­ synthese oder bildhaft durch ein Bildterminal.

Die Architektur des Dialogsystems 30 erlaubt eine einfache Konfigulierung an verschiedenartige EDV-Anwendungen durch Um­ strukturierung der Datenbasen "Phonetisches Lexikon", "Sprach­ modell", "Linguistische Regeln" und "Wortlexikon" und durch Neugestaltung der Anpassung an die E/A-Prozedur. Die Adaption an die Sprechercharakteristik des Benutzers erfolgt über ein Lautlexikon 321, bei dem durch ein Benutzertraining die sprecherspezifischen Daten eingetragen werden.

Die erfindungsgemäße Architektur eignet sich auch für eine Echtzeitrealisierung. Aufgrund der benötigten hohen Rechen­ leistungen können die verschiedenen Moduln als getrennte Ver­ arbeitungseinheiten realisiert werden, so daß parallel mit mehreren Moduln gleichzeitig gearbeitet werden kann.

Claims (14)

1. System-Architektur für ein akustisches Mensch/Maschine- Dialogsystem, mit einer Spracheingabe-Einrichtung zur Sprach­ eingabe in das Dialogsystem, einem Konfigurationssystem und einem Adaptionssystem, wobei die Spracheingabe-Einrichtung ein Eingangssprachsignal erzeugt, gekennzeich­ net durch

• - eine Signalanalyse-Einheit (31), die eine Eingangseinrichtung des Dialogsystems (30) bildet und der das Eingangssprach­ signal zugeführt wird,
• - eine der Signalanalyse-Einheit (31) nachgeschaltete Wort­ folgengenerierungs-Einheit (32) zum Generieren von Wort­ folgen, wobei der Wortfolgengenerierungs-Einheit (32) ein Lautlexikon-Baustein (321), ein phonetischer Wortlexikon-Bau­ stein (322) und ein Sprachmodell-Baustein (323) zugeordnet sind,
• - eine der Wortfolgengenerierungs-Einheit (32) nachgeschaltete Inhaltsanalyse-Einheit (33) zur Durchführung einer syntaktisch-semantisch-pragmatischen Inhaltsanalyse, wobei der Inhaltsanalyse-Einheit (33) ein Baustein für syntaktisch­ semantisch-pragmatische Regeln (331) und ein Baustein für ein linguistisches Wortlexikon (332) zugeordnet sind,
• - eine der Inhaltsanalyse-Einheit (33) nachgeschaltete Dialog­ steuerungs-Einheit (34), der ein Baustein (341) zur An­ passung an eine Eingabe/Ausgabe-Prozedur für EDV-Anwendungen zugeordnet ist,
• - eine Antwortgenerierungs-Einheit (35) der ein Baustein "phonetisch-linguistisches Wortlexikon" (351) zugeordnet ist, zum Erzeugen eines synthetischen Sprachsignals und eines Bildsignals, und dadurch
• - daß der Lautlexikon-Baustein (321) an einer Schnittstelle zwischen der Architektur und dem Adaptionssystem (ADS) und alle übrigen Bausteine (322, 323, 331, 332, 341, 351) an einer Schnittstelle zwischen der Architektur und dem Konfigurationssystem (KFS) angeordnet sind.

2. Architektur nach Anspruch 1, dadurch gekenn­ zeichnet, daß das von einem Mikrophon erzeugte Sprachsignal eines Benutzers in dem Erkennungsmodul, das aus der Signalanalyse-Einheit (31), der Wortfolgengenerierungs- Einheit (32) und der Inhaltsanalyse-Einheit (33) gebildet ist, interpretiert wird und in eine inhaltsorientierte Darstellung umgesetzt wird.

3. Architektur nach Anspruch 1, dadurch gekenn­ zeichnet, daß in der Wortfolgengenerierungs-Einheit (32) die Sprachsignal-Merkmale mit Hilfe des phonetischen Wortlexikon-Bausteins (322) auf Wortfolgen abgebildet werden.

4. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein Sprachmodell in dem Sprachmodell-Baustein (323) in welchem mögliche Reihenfolgen von Worten auf Grund bestimmter EDV-Anwendungen abgespeichert ist, mit dessen Hilfe nur "gültige" Wortfolgenhypothesen geprüft werden müssen.

5. Architektur nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Prüfung auf "gültige" Wortfolgenhypothesen durch eine Inhaltsanalyse in der Inhalts­ analyse-Einheit (33) durchgeführt wird, wobei aufgrund linguistischer Regeln die jeweils sinnvollen Wortfolgen aus den Wortfolgenhypothesen herausgefiltert werden.

6. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zur Gewinnung der einzig richtigen Wortfolge für einen bestimmten Vorgang zusätzlich statistische Methoden angewendet werden, in dem die Wahr­ scheinlichkeit, mit der die akustischen Merkmale auf die Wort­ folge abgebildet wird, berechnet und diejenige Folge mit der höchsten Wahrscheinlichkeit als interpretierte Äußerung des Benutzers an den Dialogsteuerungsmodul weitergegeben wird.

7. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Dialogsteuerungsmodul entscheidet, ob der Inhalt der Äußerung für die EDV-Anwendung einen "Sinn" ergibt oder ob noch ein weiterer Dialog mit dem Benutzer geführt werden muß.

8. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die inhaltsorientierte Äußerungsdarstellung des Dialogsystems bei einer "sinnvollen" Anfrage in eine für die betreffende EDV-Anwendung verständliche Maschinensprache umgesetzt wird.

9. Architektur nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß bei einer Rückmeldung an­ läßlich der betreffenden EDV-Anwendung diese Rückmeldung in eine inhaltsorientierte Darstellung des Dialogsystems umge­ setzt wird und daß ein Antwortsignal generiert wird.

10. Architektur nach Anspruch 9, dadurch gekenn­ zeichnet, daß eine Ausgabe des Antwortsignals entweder akustisch durch Sprachsynthese oder bildhaft durch ein Bild-Terminal durchgeführt wird.

11. Architektur nach Anspruch 1, dadurch gekenn­ zeichnet, daß für verschiedenartige EDV-An­ wendungen eine Umstrukturierung der Datenbasen "phonetisches Lexikon", "Sprachmodell", "linguistische Regeln" und "Wort­ lexikon" sowie eine Neugestaltung der Anpassung an die be­ treffende Eingabe/Ausgabe-Prozedur zur einfachen Konfigurie­ rung für verschiedenartige EDV-Anwendungen durchgeführt wird.

12. Architektur nach Anspruch 1, dadurch gekenn­ zeichnet, daß eine Adaption an die Sprechercharak­ teristik des Benutzers über das Lautlexikon erfolgt, in das durch ein Benutzertraining die speicherspezifischen Daten eingetragen werden.

13. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein Echtzeitbe­ trieb vorgesehen ist.

14. Architektur nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zur Erhöhung der Rechengeschwindigkeiten verschiedene Moduln in getrennten Verarbeitungseinheiten realisiert sind, so daß eine Vielzahl von Moduln zeitparallel arbeiten kann.