DE69032777T2

DE69032777T2 - Spracherkennung unter Anwendung von Stichwörtern und Nichtstichwörter-Modellierung

Info

Publication number: DE69032777T2
Application number: DE69032777T
Authority: DE
Inventors: Chin H. New Providence New Jersey 07974 Lee; Lawrence R. Berkeley Heights New Jersey 07922 Rabiner; Jay G. Warren New Jersey 07060 Wilpon
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1989-05-17
Filing date: 1990-05-09
Publication date: 1999-05-27
Anticipated expiration: 2010-05-10
Also published as: JP2963142B2; US5649057A; CA2015410C; JPH0394299A; EP0398574B1; EP0398574A3; CA2015410A1; AU1804492A; KR900018909A; DE69032777D1; AU643142B2; KR970011022B1; AU5463390A; EP0398574A2

Description

Technisches Gebiet

Die vorliegende Erfindung betrifft Verfahren zur automatischen Erkennung von Sprache, die ausgewählte Schlüsselwörter enthält.

Allgemeiner Stand der Technik

Robuste, sprecherunabhängige Spracherkennungssysteme, die gut über Fernsprechwählanschlüsse arbeiten, werden schon seit mehr als zehn Jahren entwickelt. Anfänglich konnten Spracherkennungssysteme eine kleine Anzahl von Vokabularbestandteilen erkennen, die gesondert gesprochen wurden; es sind neuere Systeme bekannt, die Vokabularmengen mittlerer Größe erkennen können, die fließend gesprochen werden, so wie es in dem US-Patent Nr. 4 783 804, übertragen an B.-H. Juang et al., ausgegeben am 8.11.1988, beschrieben wird. Bei den meisten Spracherkennungssystemen besteht eine grundlegende Voraussetzung darin, daß das zu erkennende Eingangssignal ausschließlich aus Wörtern aus dem Erkennungsvokabular und aus Hintergrundstille besteht. Neuere Untersuchungen auf dem Gebiet der Erkennung einer begrenzten Menge gesonderter Befehlsphrasen zur Einleitung von "handvermittelten Verbindungen" haben jedoch gezeigt, daß es äußerst schwierig oder sogar unmöglich ist, praktisch zu erzielen, daß Teilnehmer eines solchen Dienstes nur die zulässigen Eingangswörter sprechen. Bei einem in der AT&T-Zentrale in Hayward, Kalifornien (bei der Bucht von San Francisco) durchgeführten großangelegten Test sprecherunabhängiger Spracherkennungstechnologien für gesonderte Wörter wurde Live- Fernsprechteilnehmerverkehr verwendet, um die gerade für eine neue Generation von Fernsprechvermittlungsanlagen entwickelten Verbindungsbearbeitungsverfahren zu bewerten. Teilnehmer, die handvermittelte Verbindungen einleiteten, wurden gebeten, mit Worten die Art der von ihnen gewünschten Verbindung zu identifizieren (d.h. R- Gespräch, Anrufkarte, Voranmeldung, Berechnung an Drittperson oder Handvermittlung). Jeder Anrufer wurde aufgefordert, auf gesonderte Weise einen von fünf mündlich angeforderten Befehlen zu sprechen. Obwohl 82% der Benutzer tatsächlich eines der Befehlswörter sprachen, wurden nur 79% dieser Eingaben gesondert gesprochen (d.h. es befolgten nur 65% aller Anrufer das Protokoll). Ein Mithören der gesprochenen Antworten der Teilnehmer zeigte, daß 17% aller Antworten zusammen mit irrelevanter Spracheingabe einen gültigen Vokabularbestandteil enthielten. Einige Beispiele sind die folgenden:
- < Stille> R-Gespräch, bitte < Stille>
- Ehm? Also gut, ich würde gerne mit Anrufkarte anrufen
- R-Gespräch vom Thomas < Stille>
- Ich will eine Voranmeldung haben
- < Stille> Ich hätte gerne die Vermittlung
Die meisten herkömmlichen Erkennungsalgorithmen für gesonderte Wörter sind nicht so entworfen, daß sie Vokabularbestandteile erkennen, die in Trägerphrasen eingebettet sind. Es müssen Modifikationen der Algorithmen als solche vorgenommen werden, um die Erkennung definierter Wörter des Vokabulars zu ermöglichen, die in irrelevanter Sprache eingebettet sind, d.h. um Schlüsselwörter zu identifizieren.
Obwohl sich die Forschung lange mit dem allgemeinen Wortidentifizierungsproblem beschäftigt hat, wurden die meisten Ergebnisse nicht veröffentlicht. Die publizierten Worterkennungsverfahren basieren hauptsächlich auf schablonengestützten, dynamischen Zeitverzerrungsansätzen. Zum Beispiel beschreibt der Artikel "Detecting and Locating Key Words in Continuous Speech Using Linear Predictive Coding", IEEE Transactions on Acoustics, Speech and Signal Processing, Band ASSP.25, Nr. 5, S. 362-367, Oktober 1977, von Christiansen und Rushforth ein sprechergeschultes Schlüsselwort-Erkennungssystem, das eine LPC-Darstellung des Sprachsignals ohne jegliche syntaktische oder semantische Informationen über die Aufgabe verwendet. Mit diesem Ansatz wurde anhand einer Vokabularmenge von vier Schlüsselwörtern und zehn Ziffern eine gute Worterkennungsgenauigkeit erzielt.
In "Keyword Recognition Using Template Concatenation", Conf. Rec. IEEE Int. Conf. Acous. Speech, and Signal Processing, S. 1233-1236, Tampa, Florida, März 1985, schlugen Higgins und Wohlford ein System mit dynamischer Zeitverzerrung zur Schlüsselworterkennung vor. Bei diesem System wurden Erkenntnisse über das Vokabular und die Syntax der Eingangssprache verwendet. Es wurde eine Menge von Schablonen für Schlüsselwörter und Nicht- Schlüsselwörter erzeugt und mit mehreren gemeinsamen Füll-Schablonen verglichen, um Schlüsselwörter in fließender Sprache zu erkennen. Diese Füll-Schablonen wurden (1) unter Verwendung von Daten aus sechs "Funktions"-Wörtern oder (2) durch Clustern von Nicht- Vokabularwörtern zu Segmenten, die ungefähr gleich Silben sind, unter Verwendung von Hand markierter Daten erzeugt. Die Ergebnisse zeigten an, daß eine explizite Kenntnis des Vokabulars zwar nicht besonders wichtig zu sein braucht, die Verwendung von Füll-Schablonen jedoch wichtig sein kann. Die Autoren fanden jedoch, daß sich die Anzahl solcher Füll-Schablonen stark auf die Leistung der Schlüsselworterkennungsvorrichtung auswirkt. Außerdem stellten sie fest, daß die Dauer der Füll-Schablonen die Genauigkeit ihres Systems steuerte. Mit zunehmender Anzahl von Schablonen, und kürzer werdenden durchschnittlichen Füll-Schablonen verbesserte sich die Genauigkeit des Systems. Beschränkungen der Dauer sind bei allen Schablonenvergleichserkennungssystemen mit dynamischer Zeitverzerrung ein großes Problem, da jede Schablone eine physikalische Dauer aufweist und die Algorithmen bestimmten lokalen Beschränkungen der Zeitdauer genügen müssen.
Ähnlich wurde in dem bestehenden Patent eines der vorliegenden Autoren, Chin-Hui Lee, mit John W. Klovstad und Kalyan Ganesan, US-Patent Nr. 4 713 777, ausgegeben am 15.12.1987, ein Hidden-Markov-Modell (HMM) verwendet, um Stille zu modellieren. Es wurden feste Bewertungsschwellenwerte verwendet, um Falschwarnungen zu beseitigen.
In dem Artikel "Application of Hidden Markov Models to Automatic Speech Endpoint Detection, Computer Speech and Language, Band 2, 3/4, S. 321-341, Dezember 1987, stellten zwei der vorliegenden Autoren, Wilpon und Rabiner, einen statistisch arbeitenden Erkennungsalgorithmus vor, bei dem die explizite Endpunkterkennung von Sprache völlig aus dem Erkennungssystem beseitigt und gleichzeitig eine hohe Erkennungsgenauigkeit aufrechterhalten wurde. Zu diesem Zweck modellierte das Erkennungssystem das ankommende Signal als eine Sequenz von Hintergrundsignal- und Vokabularwörtern. Diese Arbeit war jedoch insofern begrenzt, als die Vokabularwörter gesondert, d.h. ohne irrelevante verbale Eingaben gesprochen werden mußten.

Kurze Darstellung der Erfindung

Die Autoren haben entdeckt, daß es möglich ist, die Hintergrundgeräusche, einschließlich verbaler Geräusche (irrelevante Sprache), die in der Nähe von zu erkennenden Schlüsselwörtern auftreten, erfolgreich zu modellieren.
Weiterhin haben die Autoren entdeckt, daß bei ausreichenden gegebenen Informationen, um ein solches Modell zu schulen, die Verwendung nur eines solchen Hintergrundmodells fast genausogut wie eine. Mehrzahl solcher Modelle arbeiten kann. Diese Entdeckung war aus dem oben angeführten Stand der Technik nicht vorhersehbar.
Gemäß einem Merkmal der durch die angefügten Ansprüche definierten vorliegenden Erfindung wird zur Erkennung spezifizierter Vokabularwörter (die im folgenden als Schlüsselwörter bezeichnet werden) im Kontext uneingeschränkter Sprache ein auf statistische Weise arbeitendes Modell verwendet, das gewöhnlich als ein Hidden-Markov-Modell (HMM) bezeichnet wird. Die vorliegende Erfindung basiert auf dem grammatischen Konzept des oben angeführten Artikels von Wilpon et al. Der Ansatz, den die vorliegenden Autoren entwickelt haben, modelliert die gesamte Hintergrundumgebung, einschließlich Stille, Zimmerumgebung, Übertragungsgeräusche, und insbesondere irrelevante Sprache. Die Autoren stellen ein gegebenes Spracheingangssignal als eine unbeschränkte Sequenz solcher irrelevanter Eingangssignale mit einem nachfolgenden Schlüsselwort dar, dem eine weitere unbeschränkte Sequenz irrelevanter Eingangssignale folgt, obwohl im allgemeinsten Kontext nur ein solcher Nexus benötigt wird. Dies geschieht, indem mindestens ein Hidden-Markov-Modell erzeugt wird, das irrelevante Sprache darstellt. Zur Bestimmung der besten Sequenz von irrelevanter Sprache und Schlüsselwörtern wird ein grammatikgestütztes Erkennungssystem für gebundene Wörter verwendet.
Bei dieser gegebenen Struktur eines Erkennungssystems ermöglicht die Verwendung sogenannter (allgemeiner) Senken-Modelle für die irrelevante Sprache der Erkennungsvorrichtung, die irrelevanten Signale gleichzeitig mit der Erkennung der Schlüsselwörter zu erkennen.

Kurze Beschreibung der Zeichnungen

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden bei einer Durchsicht der folgenden ausführlichen Beschreibung in Verbindung mit der Zeichnung deutlich. Es zeigen:
Fig. 1 ein allgemeines Flußdiagramm des Erkennungssystems, in dem die vorliegende Erfindung eingesetzt werden kann;
Fig. 2 ein Diagramm des Zustandübergangsmodells und relevante Parameter, die bei der vorliegenden Erfindung verwendet werden;
Fig. 3 die typischste grammatische Sequenz, die bei der Ausübung der vorliegenden Erfindung vorkommt;
Fig. 4, 5 und 6 Kurven, die bei der Erläuterung der Erfindung nützlich sind; und
Fig. 7 ein ausführlicheres Flußdiagramm für die Ausübung der vorliegenden Erfindung.

Allgemeine Beschreibung

Mit Bezug auf das allgemeine Flußdiagramm von Fig. 1 ist zu sehen, daß der Startpunkt darin besteht, eine aus einem Sprachsignal abgeleitete Darstellung s(n) zu gewinnen. Im allgemeinen wird die Sprache digitalisiert, gefiltert, angehoben und blockweise in Rahmen zusammengestellt (alle Verfahren sind herkömmlich), um s(n) zu erzeugen. Obwohl die vorliegende Erfindung dies nicht erfordert, haben die Autoren festgestellt, daß es zweckmäßig ist, s(n) so zu analysieren, daß eine Menge von LPC-basierten Cepstral- Vektoren gewonnen wird.
Die resultierenden Merkmalsvektoren, d.h. LPC- und Cepstrum-11-Vektoren, die durch herkömmliche Verarbeitung des Signals s(n) gewonnen werden, wird zusammen mit gültigen grammatischen Regeln in den Modell-Anpassungsschritt 13 eingespeist, in dem ein Vergleich der Merkmalsvektoren von s(n) mit den beiden oben in der kurzen Darstellung der Erfindung kurz beschriebenen Arten von Wort-Bezugsmodellen durchgeführt wird. Die letztliche beste Abschätzung aus dem Block 14 wird als das beste Schlüsselwort übertragen, d.h. als das Schlüsselwort, das der gemäß der Grammatik besten Übereinstimmung mit den Merkmalsvektoren von s(n) zugeordnet ist.

Ausführliche Beschreibung

Als Beispiel erfolgt in Fig. 1 zur Erzeugung von s(n) die Digitalisierung mit einer Rate von 6,67 kHz, und die gefilterte Sprach-Bandbreite beträgt 100 - 3200 Hz. Es können natürlich auch andere besondere Abtastraten und Filterbandbreiten verwendet werden. Der Anhebungsfaktor kann bei der typischen Anwendung a = 0,95 betragen, und die Rahmen können typischerweise 45 ms lang sein, wobei zwischen Rahmen eine Verschiebung von 15 ms besteht.
Nach den Verfahren von L.R. Rabiner et al. aus dem Buch "Digital Processing of Speech Signals", Prentice Hall, Englewood Cliffs, New Jersey (1978), S. 356-372 und 398-401 und/oder nach den Verfahren aus der Arbeit von B. Bogert et al. "The Quefrency Analysis of Time Series for Echoes", Proc. Symp on Time Series Analysis, M. Rosenblatt, Hrsg., Kap. 15, S. 209-243, J. Wiley, New York, 1963, wird dann die LPC- und Cepstral- Analyse 11 durchgeführt. Jeder Sprachrahmen wird durch ein Hamming-Fenster gewichtet, so wie es auf Seite 121 in dem oben zitierten Buch von L.R. Rabiner et al. beschrieben wird. Danach wird an den Daten eine linear prädiktive Codierungsanalyse (LPC-Analyse) der p-ten Ordnung, beispielsweise der 8-ten Ordnung, durchgeführt. Für jeden Rahmen wird eine Menge von acht LPC-Koeffizienten erzeugt. Das resultierende Signal wird dann auf bekannte Weise zu einer Sequenz von LPC- Rahmenvektoren reduziert. Es ist zu beachten, daß keine automatische Endpunkterkennung an den Daten durchgeführt wird.
Danach wird aus dem LPC-Rahmenvektor der aus LPC abgeleitete Cepstral-Vektor bis zur Q-ten Komponente berechnet, wobei bei der vorliegenden Implementierung Q = 12 ist (man beachte, daß beispielsweise Q > p ist).
Der Q-Koeffizienten-Cepstral-Vektor cl(m) für den Zeitrahmen l wird durch ein Fenster Wc(m) der folgenden Form gewichtet:
und ergibt:
l(m) = cl(m) · Wc(m) (2),
wie in dem Artikel von B. Juang et al. "The Use of Bandpass Liftering in Speech Recognition", IEEE Transactions an Acoustics, Speech and Signal Processing, Band ASSP 35, Nr. 7, S. 947-954, Juli 1987 beschrieben wird.
Vor kurzem wurde gezeigt, daß sich die Leistung mehrerer standardmäßiger Spracherkennungsvorrichtungen durch eine Erweiterung des Analysevektors um spektrale Informationen über die (zeitliche) Ableitung wesentlich verbessert. Die Autoren schließen solche spektralen Ableitungsinformationen folgendermaßen in ihre Analyse mit ein.
Die zeitliche Ableitung der Sequenz gewichteter Cepstral-Vektoren wird über ein um den aktuellen Vektor herum zentriertes Fenster mit endlicher Länge von (2K + 1) Rahmen hinweg durch ein orthogonales Polynom der ersten Ordnung approximiert. (K = 2 in der vorliegenden Implementierung; daher wird die Ableitung aus einem Fenster von 5 Rahmen (75 ms) berechnet). Die Cepstral- Ableitung (d.h. der Delta-Cepstrum-Vektor) wird folgendermaßen berechnet:
wobei G ein Verstärkungsterm ist, so daß die Varianzen von l(m) und Δ l(m) etwa gleich sind. (Bei dem vorliegenden System betrug der Wert von G 0,375.) Einzelheiten der typischen Berechnung sind in dem Artikel von F.K. Soong et al., "On the Use of Instantaneous and Transitional Spectral Information in Speaker Recognition", IEEE Transactions an Acoustics, Speech and Signal Processing, Band ASSP 36, Nr. 6, S. 871-879, Juni 1988, zu finden.
Der Gesamt-Beobachtungsvektor Ol, der für die Bewertung der HMMs verwendet wird, ist die Verkettung des gewichteten Cepstral-Vektors und des entsprechenden gewichteten Delta-Cepstrum-Vektors, d.h.
Ol={ l(m), Δ l(m)} (4)
und besteht aus 24 Koeffizienten pro Vektor.
Dieses Verfahren wird in dem Artikel von L.R. Rabiner et al., "High Performance Connected Digit Recognition Using Hidden Markov Models", Conference Record, IEEE International Conference on Acoustics, Speech and Signal Processing, Band 1, S. 119-122, New York, N.Y., April 1958, weiter beschrieben.
Die Sequenz von Spektralvektoren einer unbekannten Sprachäußerung wird mit einer Menge gespeicherter wortbasierter Hidden-Markov-Modelle 12 verglichen, wobei ein rahmensynchroner Schichtenaufbaualgorithmus (FSLB-Algorithmus) 13 (der in dem Artikel von C-H. Lee et al., "A Network-Based Frame Synchronous Level Building Algorithm for Connected Word Recognition", Conf. Rec. IEEE Int. Conf. Acous. Speech and Sig. Processing, Band 1, S. 410-413, New York, N.Y., April 1988 beschrieben wird) mit Viterbi-Anpassung zwischen Schichten verwendet wird. Wort- und Zustandsdauerwahrscheinlichkeiten, die mit Bezug auf Fig. 2 beschrieben werden, wurden in die HMM- Bewertung und die Netzwerksuche bei der Modell- Abgleichprozedur 13 eingebunden. Im folgenden wird mit Bezug auf Fig. 3 eine endliche Zustandsgrammatik beschrieben, die die Menge gültiger Phraseneingaben beschreibt und dazu dient, den Erkennungsprozeß anzusteuern. Der FSLB-Algorithmus in der Prozedur 13 führt eine rahmenweise Maximum-Likelihood- Zeichenkettendecodierung durch. Dadurch werden zu jedem beliebigen Zeitpunkt optimal decodierte Zeichenteilketten verfügbar. Die Ausgabe dieses Prozesses ist eine Menge gültiger möglicher Zeichenketten.
Zur Erzeugung eines oder mehrerer Wortmodelle aus einem Lerndatensatz markierter Sprache wird ein segmentförmiger k-Mittel-Lernalgorithmus verwendet, der in dem Artikel von L.R. Rabiner et al., "A Segmental K- means Training Procedure for Connected with Recognition Based on Whole Word Reference Patterns", AT&T Technical Journal, Band 65, Nr. 3, S. 21-31, Mai 1986, beschrieben wird. Dieser Wortaufbaualgorithmus (eine Abschätzungsprozedur zur Bestimmung der Parameter der HMMs) wird für jedes Modell bis zur Konvergenz iteriert (d.h. bis die Differenz der Wahrscheinlichkeitsbewertungen bei aufeinanderfolgenden Iterationen klein genug ist).
Zur Erzeugung mehrerer Modelle pro Wort wird ein HMM-basierter Clusteralgorithmus verwendet, um vorher definierte Cluster aufzuspalten, siehe den oben erwähnten Artikel von Soong et al. Dieser Algorithmus (oder nachfolgende Verbesserungen, die alle auf den aus HMMs gewonnenen Wahrscheinlichkeiten basieren), trennt aus der Menge von Lerntoken diejenigen Token heraus, deren Wahrscheinlichkeitsbewertungen unter einen bestimmten festen oder relativen Schwellenwert fallen, d.h. es werden hiermit alle Token mit schlechten Wahrscheinlichkeitsbewertungen herausgetrennt und aus diesen sogenannten Ablieger-Token ein neues Modell erzeugt. Wenn die Token geclustert wurden, wird wieder der segmentförmige k-Mittel-Lernalgorithmus verwendet, um für jedes der Modelle die optimale Menge von Parametern zu gewinnen.
Fig. 2 zeigt die Struktur der HMMs, mit denen einzelne Wörter sowie die Hintergrundumgebung, einschließlich irrelevanter Sprache, charakterisiert werden. Die Modelle sind Links-Nach-Rechts-Markov- Modelle der ersten Ordnung mit N Zuständen. Jedes Modell wird durch folgendes völlig spezifiziert:
[1] eine Zustandsübergangsmatrix A = aij, mit der Einschränkung, daß
aij = 0 j < i, j ≥ i+2 (5)
(d.h. es werden Übergänge von dem Zustand j nur zu sich selbst oder zu dem Zustand j + 1 zugelassen).
[2] Zustandsbeobachtungsdichtematrix B = bj(x), die aus einer Mischung (Summe) von M Gaußschen Dichten besteht, mit der Form
wobei x der Eingangs-Beobachtungsvektor, cmj das Mischungsgewicht für die m-te Komponente im Zustand j, umj der Mittel-Vektor für die Mischung m im Zustand j und Umj die Kovarianz für die Mischung m im Zustand j ist (siehe das oben erwähnte Patent von Juang et al.). Alle in dieser Arbeit beschriebenen Bewertungen haben diagonale Kovarianzmatrizen verwendet. Bei den vorliegenden Bewertungen wurde die Anzahl von Zuständen pro Modell auf 10 und die Anzahl M von Mischungskomponenten pro Zustand auf neun gesetzt.
[3] eine Menge von Log-Energiedichten j(&epsi;), wobei &epsi; die dynamisch normierte Rahmenenergie und pj eine empirisch gemessene diskrete Dichte von Energiewerten im Zustand j ist.
[4] eine Menge von Zustandsdauerwahrscheinlichkeiten j(τ), wobei τ die Anzahl der im Zustand j verbrachten Rahmen und j eine empirisch gemessene diskrete Dichte von Werten der Dauer im Zustand j ist.
Die bei diesem Erkennungsprozeß der vorliegenden Erfindung verwendete Grammatik ist auf dieselbe Weise in den Erkennungsprozeß integriert wie in der oben erwähnten Arbeit von Lee et al. beschrieben. Diese Grammatik gestattet die Erkennung von Schlüsselwörtern in einer Sequenz, die eine beliebige Anzahl von Schlüsselwörtern, darunter null Schlüsselwörter, enthält, die in einer beliebigen Anzahl, darunter Null, von Senken-Modellen (der irrelevanten Sprache) und Hintergrundstillemodellen eingebettet sind. Die Grammatik ist die Menge von Regeln, die die gültigen Sequenzen erkennbarer Einheiten definieren und begrenzen.
Bei der Entscheidungsregelprozedur 14, die auf einem Vergleich verschiedener Wahrscheinlichkeitsbewertungen basiert, wird entschieden, ob eine letzte Entscheidung getroffen werden kann, oder ob eine bestimmte alternative Systemprozedur eingeleitet werden sollte.
Zur Bewertung dieser neuen Prozedur wurde hier eine typische Erkennungsaufgabe ausgewählt, bei der a priori bekannt war, daß in jeder Äußerung nur ein Schlüsselwort erscheint. Daher wird hier die Grammatik auf das Auffinden genau eines Schlüsselworts begrenzt. Dies ist graphisch in Fig. 3 gezeigt, wobei der Knoten 0 (31) der Startknoten ist und der Knoten 1 (32) der Endknoten ist.
Die Senkenmodelle und Hintergrundmodelle werden automatisch mit den beschriebenen Lernprozeduren aus einem großen Vorrat von irrelevanten Sprachsignalen erzeugt. Diese Signale enthalten irrelevante Sprache sowie Hintergrundsignal. Dies wird nachfolgend weiter beschrieben.
Der gerade beschriebene Erkennungsalgorithmus setzt voraus, daß es möglich ist, ein robustes Modell von nicht zum Vokabular gehörenden Hintergrundsignalen zu erzeugen. Es wird hier darauf abgezielt, in der Lage zu sein, automatisch die Senken-Modelle, ohne Benutzerdialog, zu erzeugen. In dem folgenden Material werden mehrere Lernverfahren beschrieben - sowohl halbautomatische als auch ganz automatische. Es wird gezeigt, daß Senken-Modelle ohne Benutzerdialog erzeugt werden können, während gleichzeitig eine hohe Erkennungsleistung aufrechterhalten wird.
Die einfachste Lernprozedur ist die Erzeugung der Senkenmodelle aus spezifischen Wörtern, die am häufigsten in irrelevanter Sprache auftreten. Dies erfordert, daß man über eine indizierte Datenbank verfügt, die anzeigt, wo solche nicht zum Vokabular gehörenden Wörter auftreten.
Als Beispiel waren die drei häufigsten nicht zum Vokabular gehörenden Wörter für die oben beschriebene Erkennungsaufgabe des Anruftyps "ehm", "bitte" und "Anruf". Um das Verfahren zum Aufbau von Modellen nur für nicht zum Vokabular gehörende Wörter einzusetzen, ist eine voll indizierte und segmentierte Datenbank erforderlich. In Fig. 4 bis 6 sind mehrere Beispiele dieser Art von segmentierter Indizierung gezeigt - die als Analyse des Typs 1 benannt werden. Auf der Grundlage einer solchen Segmentierung und Indizierung werden typischerweise für jedes der n am häufigsten gesprochenen nicht zum Vokabular gehörenden Wörter Hidden-Markov-Modelle sowie ein einziges HMM für Hintergrund-Stille erzeugt. Die Autoren haben festgestellt, daß die Erkennungsgenauigkeit für gesonderte Eingangssignale bei der Erkennungsaufgabe des Anruftyps völlig unempfindlich für die Anzahl von Senkenmodellen ist und die Erkennungsgenauigkeit für Schlüsselwörter in irrelevanter Sprache ebenfalls relativ unempfindlich für die Anzahl von Senkenmodellen ist, solange die 3 oder 4 häufigsten der nicht zum Vokabular gehörenden Wörter beteiligt sind. Daher ist diese Form halbautomatischen Lernens zumindest bei bestimmten Aufgaben sehr wirksam zur Identifizierung von Wörtern.
Damit die Schulung des Senkenmodells automatischer wird, haben die Autoren die Segmentierungs- und Indizierungsanforderungen für die Klassen Hintergrund, irrelevante Sprache und Schlüsselwörter modifiziert. Beispiele dieser Art der Indizierung und Segmentierung sind in Fig. 4 bis 6 gezeigt und werden mit Analyse des Typs 2 gekennzeichnet. Bei dieser Art des Lernens werden alle irrelevanten Sprachlaute kombiniert und ein einziges Hidden-Markov-Modell als das Senkenmodell erzeugt. Außerdem wird aus den Stillesegmenten ein separates Stillemodell erzeugt. Es wurde festgestellt, daß die Anzahl der notwendigen Zustände für das Stillemodell nur 1 beträgt. Es zeigte sich, daß bei der Erkennungsaufgabe des Anruftyps mit einem einzigen Senkenmodell und einem einzigen 1-Zustands-Stillemodell die Erkennungsergebnisse mit den unter Verwendung der Analyse des Typs 1 gewonnenen vergleichbar sind - d.h. das Typ-2-Lernen ist genauso effektiv wie das Typ-1- Lernen, obwohl weniger manuelle Analyse durchgeführt wird.
Die dritte, vollautomatische vorgeschlagene Lernprozedur besteht darin, alle Indizierungs- und Segmentierungseinschränkungen der Datenbank zu entfernen, mit der das Senkenmodell geschult wird. Die einzige Anforderung besteht darin, daß man eine Datenbank hat, die sowohl die Schlüsselwörter als auch irrelevante Sprache und Hintergrundgeräusche enthält. Beispiele einer solchen Indizierung sind in Fig. 4 bis 6 zu sehen und werden als Analyse des Typs 3 bezeichnet. Obwohl in diesen Beispielen ein Schlüsselwort vorliegt, wird das Senkenmodell anfänglich mit der gesamten Äußerung geschult. Fig. 7 zeigt ein Blockschaltbild des verwendeten Lernprozesses zur Gewinnung der letztlichen Schlüsselwort- und Senkenmodelle. Zur Initialisierung des Lernprozesses wird aus den gesonderten Vokabularwörtern und dem Vorrat von irrelevanter Sprache eine HMM-Menge 71 aufgebaut. Mit diesem Bootstrap-Modell und der Menge von Lerndaten 74, die die Vokabularwörter enthält, wird der segmentförmige k-Mittel-Lernalgorithmus verwendet, um die Lern-Zeichenketten optimal in Vokabularwörter 75-79, Stille 80 und irrelevante Sprache zu segmentieren. Danach werden neue Modelle erzeugt, und der Prozeß iteriert sich selbst zur Konvergenz.
Mit dieser vollautomatischen Lernprozedur zur Erzeugung eines einzigen Senkenmodells 81 blieb die Erkennungsgenauigkeit bei der Erkennungsaufgabe des Anruftyps die gleiche wie die vorher mit der Analyse des Typs 1 und 2 erhaltene.
Kurz gefaßt wurde mit der gerade beschriebenen vollautomatischen Lernprozedur die bevorzugte Ausführungsform, ein einziges Senkenmodell, erzeugt. Die Erkennungsergebnisse waren bei einer standardmäßigen Erkennungsaufgabe vergleichbar mit den besten aus halbautomatischen Lernprozeduren gewonnenen Ergebnissen. Dies zeigt an, daß ein einziges Senkenmodell erzeugt werden kann, das sowohl die Charakteristika der irrelevanten Sprache als auch das Hintergrundgeräusch mit einschließt.
Der hier offenbarte Algorithmus, der auf Hidden-Markov-Modell-Technologie basiert, von der gezeigt wurde, daß sie in der Lage ist, eine vordefinierte Menge von Vokabularbestandteilen zu erkennen, die im Kontext fließender uneingeschränkter Sprache gesprochen wird, wird Benutzern eine größere Freiheit bei ihren Sprechgewohnheiten ermöglichen, wodurch Fragen der Humanfaktoren bei der Spracherkennung leichter handhabbar werden.
Fachleuten werden vielfältige, auf den zugrundeliegenden Prinzipien basierende Modifikationen dieser Verfahren offensichtlich sein. Zum Beispiel braucht die grammatische Einschränkung nicht auf die Nachbarschaft beschränkt zu sein, sondern könnte statt dessen eine gewählte Beziehung, wie zum Beispiel eine geringfügige Überlappung zwischen den akustischen Ereignissen, die an ein spezifisches Modell und an ein allgemeines Modell angepaßt werden, erfordern.

Claims

1. Verfahren zur Verarbeitung eines Eingangssignals, das eine gesprochene Äußerung darstellt, wobei die gesprochene Äußerung einen Schlüsseläußerungsbestandteil und einen irrelevanten Lautbestandteil aufweist, mit den folgenden Schritten:

Vergleichen des Eingangssignals mit einer Mehrzahl von Spracherkennungsmodellen in einem Spracherkennungssystem, wobei die besagte Mehrzahl von Spracherkennungsmodellen Schlüsselwortspracherkennungsmodelle enthält, die jeweils verschiedene Schlüsseläußerungen darstellen, und weiterhin mindestens ein erstes Senkenmodell enthält, und

Erkennen einer bestimmten der besagten Schlüsseläußerungen in der besagten gesprochenen Äußerung als Reaktion auf das besagte Vergleichen,

dadurch gekennzeichnet, daß das besagte Senkenmodell ein statistisches Modell ist und eine Mehrzahl irrelevanter Laut-Lerntoken darstellt, wobei mindestens zwei der besagten irrelevanten Laut- Lerntoken von Wiederholungen eines bestimmten einen Vokabularbestandteils verschieden sind.

2. Verfahren nach Anspruch 1, wobei mindestens eines der besagten zwei irrelevanten Laut-Lerntoken eine gesprochene Äußerung ist, die von allen der besagten Schlüsseläußerungen verschieden ist.

3. Verfahren nach Anspruch 1, wobei die besagten irrelevanten Laut-Lerntoken mindestens zwei der Äußerungen "ehm", "bitte" und "rufen" enthalten.

4. Verfahren nach Anspruch 1, 2 oder 3, wobei eines der besagten irrelevanten Laut-Lerntoken ein Hintergrundgeräusch ist.

5. Verfahren nach Anspruch 1, wobei jeder der besagten Schlüsseläußerungen einzelne Aufgaben zugeordnet werden, und wobei das besagte Verfahren den weiteren Schritt des Durchführens der Aufgabe umfaßt, die der in dem besagten Erkennungsschritt erkannten Schlüsseläußerung zugeordnet ist.

6. Verfahren nach Anspruch 5, wobei die besagten einzelnen Aufgaben entsprechende verschiedene Aufgaben platzvermittelter Anrufe sind.

7. Verfahren nach Anspruch 1, wobei in dem besagten Spracherkennungssystem die besagte Mehrzahl von Spracherkennungsmodellen gemäß einer vordefinierten Grammatik miteinander in Beziehung stehen.

8. Verfahren nach Anspruch 7, wobei die besagte vordefinierte Grammatik eine Zustandsgrammatik ist, die eine Menge gültiger gesprochener Äußerungen beschreibt.

9. Verfahren nach Anspruch 1, wobei das besagte Spracherkennungssystem auf der Grundlage der besagten Mehrzahl von Spracherkennungsmodellen einen Spracherkennungsalgorithmus für gebundene Wörter implementiert.

10. Verfahren nach Anspruch 1, wobei das besagte Spracherkennungssystem ein grammatikgesteuertes Erkennungssystem für gebundene Wörter ist, bei dem die Bestandteile der Grammatik durch die besagten Spracherkennungsmodelle dargestellt werden.

11. Verfahren nach einem der Ansprüche 8, 9 oder 10, wobei die besagte Grammatik das besagte Spracheingangssignal als eine einzelne der besagten Schlüsseläußerungen charakterisiert, die durch die besagten Schlüsselwortspracherkennungsmodelle dargestellt werden, denen ein oder mehrere irrelevante Laute vorausgehen oder nachfolgen, die durch mindestens das besagte Senkenmodell dargestellt werden.

12. Verfahren mit dem Schritt des Erzeugens eines Senkenmodells zur Erkennung einer gesprochenen Äußerung mit einem Schlüsseläußerungsbestandteil und einem irrelevanten Lautbestandteil, dadurch gekennzeichnet, daß das besagte Senkenmodell ein statistisches Modell ist und als Reaktion auf eine Mehrzahl irrelevanter Laut-Lerntoken erzeugt wird, wobei mindestens zwei der besagten irrelevanten Laut-Lerntoken von Wiederholungen eines bestimmten einen Vokabularelements verschieden sind.

13. Verfahren nach Anspruch 12, wobei die besagten zwei der besagten irrelevanten Laut-Lerntoken entsprechende verschiedene Vokabularbestandteile sind.

14. Verfahren nach Anspruch 12, wobei zwei irrelevante Laut-Lerntoken der besagten Mehrzahl von irrelevanten Laut-Lerntoken ein Hintergrundgeräusch bzw. ein Vokabularbestandteil sind.

15. Verfahren nach Anspruch 14, wobei das besagte Hintergrundgeräusch einen stillen Bestandteil enthält.

16. Verfahren nach einem der Ansprüche 12 bis 15, mit dem weiteren Schritt des Kombinierens des besagten Spracherkennungsmodells mit einer Mehrzahl von Schlüsselwortspracherkennungsmodellen, um eine Grammatik zu erhalten, die erwartete Sequenzen von Schlüsselwörtern und irrelevanten Lauten definiert.

17. Verfahren nach einem der Ansprüche 12 bis 16, einschließlich des Schritts des Speicherns des besagten Senkenmodells in einem Speichermedium.

18. Verfahren nach einem der Ansprüche 1 bis 17, wobei jedes Spracherkennungsmodell der besagten Mehrzahl von Spracherkennungsmodellen ein Hidden- Markov-Modell ist.

19. Spracherkennungssystem zur Verarbeitung eines Eingangssignals, das eine gesprochene Äußerung darstellt, wobei die gesprochene Äußerung einen Schlüsseläußerungsbestandteil und einen irrelevanten Lautbestandteil aufweist, mit folgendem:

Mittel zum Vergleichen des Eingangssignals mit einer Mehrzahl von Spracherkennungsmodellen, wobei die besagte Mehrzahl von Spracherkennungsmodellen Spracherkennungsmodelle enthält, die entsprechende verschiedene Schlüsseläußerungen darstellen, und ferner mindestens ein erstes Senkenmodell enthält, und

Mittel zum Erkennen einer bestimmten der besagten Schlüsseläußerungen in der besagten gesprochenen Äußerung als Reaktion auf das besagte Vergleichen,

dadurch gekennzeichnet, daß das besagte Senkenmodell ein statistisches Modell ist und eine Mehrzahl von irrelevanten Laut-Lerntoken darstellt, wobei mindestens zwei der besagten irrelevanten Laut- Lerntoken von Wiederholungen eines bestimmten einen Vokabularbestandteils verschieden sind.

20. Spracherkennungssystem nach Anspruch 19, wobei mindestens eines der besagten zwei irrelevanten Laut- Lerntoken eine gesprochene Äußerung ist, die von allen der besagten Schlüsseläußerungen verschieden ist.

21. Spracherkennungssystem nach Anspruch 20, wobei die besagten irrelevanten Laut-Lerntoken mindestens zwei der Äußerungen "ehm", "bitte" und "rufen" enthalten.

22. Spracherkennungssystem nach Anspruch 20, wobei die besagte Mehrzahl von irrelevanten Laut-Lerntoken ein Hintergrundgeräusch enthält.

23. Spracherkennungssystem nach einem der Ansprüche 19 bis 22, wobei in dem besagten Spracherkennungssystem die besagte Mehrzahl von Spracherkennungsmodellen gemäß einer vordefinierten Grammatik miteinander in Beziehung stehen.

24. Spracherkennungssystem nach Anspruch 23, wobei die besagte vordefinierte Grammatik eine Menge erwarteter gesprochener Äußerungen beschreibt.

25. Spracherkennungssystem nach einem der Ansprüche 19 bis 22, wobei das besagte Spracherkennungssystem ein grammatikgesteuertes Erkennungssystem für gebundene Wörter ist, bei dem die Bestandteile der Grammatik durch die besagten Spracherkennungsmodelle dargestellt werden.

26. Spracherkennungssystem nach einem der Ansprüche 23 bis 25, wobei die besagte Grammatik das besagte Spracheingangssignal als eine einzelne der besagten Schlüsseläußerungen charakterisiert, die durch die besagten Schlüsselwortspracherkennungsmodelle dargestellt werden, denen ein oder mehrere irrelevante Laute vorausgehen oder nachfolgen, die durch mindestens das besagte Senkenmodell dargestellt werden.

27. Spracherkennungssystem nach einem der Ansprüche 19 bis 22, wobei das besagte Spracherkennungssystem auf der Grundlage der besagten Mehrzahl von Spracherkennungsmodellen einen Spracherkennungsalgorithmus für gebundene Wörter implementiert.

28. Spracherkennungssystem nach Anspruch 27, wobei der besagte Algorithmus das besagte Spracheingangssignal als eine einzelne der besagten Schlüsseläußerungen charakterisiert, denen ein oder mehrere irrelevante Laute vorausgehen und/oder nachfolgen.

29. Spracherkennungssystem nach einem der Ansprüche 19 bis 28, wobei jedes Spracherkennungsmodell der besagten Mehrzahl von Spracherkennungsmodellen ein Hidden-Markov-Modell ist.