DE69420842T2

DE69420842T2 - Spracherkennung unter anwendung einer zweidurchgängigen suchmethode

Info

Publication number: DE69420842T2
Application number: DE69420842T
Authority: DE
Inventors: Wishwa Gupta; Matthew Lennig
Original assignee: Nortel Networks Corp
Current assignee: Nortel Networks Ltd
Priority date: 1993-06-24
Filing date: 1994-05-18
Publication date: 2000-02-24
Anticipated expiration: 2014-05-19
Also published as: WO1995000949A1; CA2163017A1; EP0705473B1; EP0705473A1; DE69420842D1; JPH08506430A; US5515475A; CA2163017C; JP3049259B2

Description

Ausgangspunkt der Erfindung

Bei der Spracherkennung ist es gut bekannt, das Erkennungsvokabular als ein Netzwerk von miteinander verbundenen Knoten darustellen. Zweige zwischen den Knoten können Teile von Worten, Phonemen oder Allophonen sein. Allophon-Modelle sind kontaxtabhängige Phonem-Modelle. Die Allophone und Phoneme werden in vielen Fällen durch verdeckte Markov-Modelle (HMM - Hidden Markov Models) dargestellt. Somit kann irgendein Vokabular-Wort als eine Kette von miteinander verketteten HMM dargestellt werden. Die Erkennung einer unbekannten Äußerung oder eines unbekannten gesprochenen Wortes beinhaltet die Berechnung der die größte Wahrscheinlichkeit aufweisenden Folge von Zuständen in der HMM-Kette. Für mittlere bis große Vokabular-Spracherkennungssysteme stellt diese Berechnung eine sehr große Rechenlast dar.
Das gut bekannte Viterbi-Verfahren wertet die Wahrscheinlichkeiten für das Vokabular-Netzwerk dadurch aus, daß ein Gitter ausgebildet wird. Jedem Zweig in dem Vokabular-Netz ist ein Gitter oder Spalier zugeordnet. Das Gitter hat als seine Achsen die Rahmennummer als die Abszisse und den Modell-Zustand als die Ordinate. Dem Gitter sind so viele Zustände zugeordnet, wie dies der Anzahl von Zuständen in dem entsprechenden Allophon-Modell entspricht. Beispielsweise hat ein zehn Zustände aufweisendes Allophon-Modell zehn Zustände, die jedem Zweig in dem Vokabularnetzwerk mit diesem Etikett zugeordnet sind. Die Gesamtzahl von Operationen pro Rahmen für jedes Gitter ist proportional zur Gesamtzahl der Übergänge in dem entsprechenden Modell. So ist bei dem Zehn-Zustands-Allophonmodell mit dreißig Zuständen die Gesamtzahl der bei dem Viterbi-Verfahren auftretenden Operationen ungefähr 50 (30 Summen zur Abschätzung von 30 Übergängen plus 20 Maxima zur Bestimmung des besten Überganges bei jedem Zustand.
Das gut bekannte Viterbi-Verfahren kann zum Auffinden des wahrscheinlichsten Pfades durch das Vokabular-Netzwerk für eine vorgegebene Äußerung oder ein gesprochenes Wort verwendet werden. Bei dem Viterbi-Verfahren treten jedoch zwei Probleme auf. Erstens ist das Verfahren rechenmäßig kompliziert, weil es jeden Übergang in jedem Zweig für das gesamte Vokabular-Netzwerk auswertet, so daß die Hardware-Kosten prohibitiv oder zumindest sehr hoch sind. Die Berechnungskompliziertheit setzt sich in Kosten pro Kanal der Spracherkennung um. Zweitens ergibt das Viterbi-Verfahren lediglich eine einzige Auswahl, und die Schaffung von Alternativen vergrößert die Berechnungs- und Speicheranforderungen noch weiter. Eine einzige Auswahl beseitigt weiternin die Option der Schaffung von Nachverarbeitungsverbesserungen zur Vergrößerung der Erkennungsgenauigkeit.
Es wurden Vorschläge zur Verringerung der Rechenlast gemacht, die sich aus diesen 50 Operationen pro Modell ergibt. Bahl et al. (1989) (A Fast Approximate Accoustic Match for Large Vocabulary Speech Recognition. Proceedings of Eurospeech 89: European Conference of Speech Communication and Technology, Paris: 156-158) schlagen eine Umordnung der Berechnung für jeden Übergang durch Verwenden einer einzigen Übergangswahrscheinlichkeit für jedes HMM-Modell vor (Verwenden des Überganges mit der größten Wahrscheinlichkeit). Somit wird anstelle der Addition unterschiedlicher Aufzeichnungs-Beobachtungswahrscheinlichkeiten an den drei möglichen Gitterübergängen und der nachfolgenden Auswahl des Maximums das Maximum als erstes über die drei Gitter-Werte gebildet, worauf die aufgezeichnete Beobachtungswahrscheinlichkeit hinzuaddiert wird. Dies verringert die Berechnung von 5 auf 3 pro Übergang oder von 50 auf 30 für das Zehn-Zustands-Modell. Dies stellt eine Verringerung der Rechenlast dar, doch ermöglicht dies keine Antwort nach einer annehmbaren Verzögerung.
Ein weiterer Vorschlag von Bahl et al. (1992) (Constructing Candidate Word Lists Using Accoustically Similar Word Groups. IEEE Transactions on Signal Processing, Vol. 40, 11 : 2814-2816) versucht ebenfalls, diese Rechenlast zu verringern. Dieses Schema verwendet ein Drei-Zustands-Modell anstelle einer komplizierteren Topologie zur anfänglichen Einstufung mit dem Viterbi-Verfahren und verwendet dann die komplexe Topologie für eine Neueinstufung. Dieser Vorschlag kann tatsächlich die Rechenlast vergößern. Wenn beispielsweise das umgebildete Drei-Zustands-Modell so viel Mischungen wie die komplexen Topologien hat, so müssen gleiche Anzahlen von aufgezeichneten Beobachtungswahrscheinlichkeiten zweimal berechnet werden, einmal für die Drei-Zustands-Modelle und einmal für die komplexen Technologien. Die Gesamt-Speicheranforderungen zum Speichern der zwei Sätze von Modellen würden ebenfalls ansteigen.
Die Zeit, die erforderlich ist, um den Pfad mit größter Wahrscheinlichkeit zu finden, wodurch die Übereinstimmung eines Vokabular-Wortes mit einem unbekannten gesprochenen Wort festgestellt wird, führt zu der Erkennungsverzögerung des Spracherkennungssystems. Um innerhalb annehmbarer Verzögerungen unter Verwendung von eine kosteneffektive Hardware aufweisenden Rechenplattformen ansprechen zu können, ist ein weniger kompliziertes Erkennungsverfahren erforderlich. Ein derartiges Verfahren muß eine Verringerung der Rechenlast und der sich daraus ergebenden Zeitverzögerungen ergeben, ohne daß sich eine Einbuße an Erkennungsgenauigkeit ergibt, wobei dies einen beträchtlichen Fortschritt gegenüber dem Stand der Technik darstellt.

Zusammenfassung der Erfindung

Ein Ziel der vorliegenden Erfindung ist die Schaffung eines verbesserten Spracherkennungsverfahrens.
Gemäß einem Gesichtspunkt der vorliegenden Erfindung wird ein Spracherkennungsverfahren geschaffen, das die folgenden Schritte umfaßt: Schaffung eines ersten Satzes von Allophon-Modellen zur Verwendung mit akustischen Parametervektoren einer ersten Art; Schaffung eines zweiten Satzes von Allophon-Modellen zur Verwendung mit akustischen Parametervektoren einer zweiten Art; Schaffung eines Netzwerkes, das ein Erkennungsvokabular liefert, wobei jeder Zweig des Netzwerkes eines der Allophon-Modelle ist und jeder vollständige Pfad durch das Netzwerk eine Folge von Modellen ist, die ein Wort in dem Erkennungsvokabular darstellen; Analysieren einer unbekannten Äußerung zur Erzeugung einer Rahmenfolge von akustischen Parameterveektoren für jede der ersten und zweiten Arten von akustischen Parametervektoren; Schaffung eines reduzierten Gitters zur Bestimmung eines Pfades durch das Netzwerk, der eine höchste Wahrscheinlichkeit aufweist; Berechnung von Modellabständen für jeden Rahmen von akustischen Parametervektoren der ersten Art für alle Allophon- Modelle des ersten Satzes; Auffinden eines maximalen Modellabstandes für jedes Modell des ersten Satzes; Aktualisieren des reduzierten Gitters für jeden Rahmen unter der Annahme, daß jedes Allophon-Modell ein Ein-Zustands-Modell mit einer minimalen Dauer von zwei Rahmen und einer Übergangswahrscheinlichkeit gleich ihrem maximalen Modell-Abstand ist; Sortieren von Endwerten von dem reduzierten Gitter jedes Pfades durch das Vokabular-Netzwerk; Auswählen einer ersten Vielzahl von Kandidaten für die Erkennung, die die höchsten Endwerte aufweisen; Neueinstufung der ersten Vielzahl von Kandidaten unter Verwendung eines dem vollständigen Viterbi-Verfahren entsprechenden Gitters, das dem Vokabular-Netzwerk mit den für den ersten Satz von Allophon-Modellen berechneten Modellabständen entspricht; Sortieren der Kandidaten anhand ihrer Einstufung in abnehmender Reihenfolge; Auswählen einer zweiten Vielzahl von Kandidaten, die kleiner als die erste Vielzahl ist, aus der ersten Vielzahl, zur weiteren Neueinstufung unter Verwendung des zweiten Satzes von Allophon-Modellen und der zweiten Art von akkustischen Parameter-Vektoren; Auffinden einer Allophon- Segmentierung unter Verwendung der ersten Art von akustischen Parametervektoren zur Identifikation von Rahmen für Modellabstandsberechnungen für die zweite Art von akustischen Parametervektoren; Berechnung von Modellabständen für die Rahmen von akustischen Parameter-Vektoren der zweiten Art, die für die Allophon-Modelle des zweiten Satzes identifiziert sind, die sich in der zweiten Vielzahl von Kandidaten finden; Neueinstufung der zweiten Vielzahl von Kandidaten unter Verwendung des Viterbi-Verfahrens mit den Modellabständen, die für die Allophon-Modelle des zweiten Satzes berechnet wurden; und Vergleichen der Einstufungen der zweiten Vielzahl von Kandidaten für akustische Parameter-Vektoren der ersten und zweiten Arten zur Auswahl eines Erkennungskandidatens.
Gemäß einem weiteren Gesichtspunkt der vorliegenden Erfindung wird ein Spracherkennungsverfahren geschaffen, das die folgenden Schritte umfaßt: Schaffung eines ersten Satzes von Allophon- Modellen zur Verwendung mit Cepstrum-Parametervektoren; Schaffung eines zweiten Satzes von Allophon-Modellen zur Verwendung mit LSP-Parametervektoren, Schaffung eines Netzwerkes, das ein Erkennungsvokabular darstellt, bei dem jeder Zweig des Netzwerkes eines der Allophon-Modelle ist und jeder vollständige Pfad durch das Netzwerk eine Folge von Modellen ist, die ein Wort in dem Erkennungsvokabular darstellen; Schaffung eines reduzierten Gitters zur Bestimmung eines Pfades durch das Netzwerk, der die größte Wahrscheinlichkeit hat; Analysieren einer unbekannten Äußerung zur Erzeugung einer Rahmenfolge von sowohl Cepstrum- als auch LSP-Parmatervektoren; Berechnung der Cepstrum-Modellabstände für jeden Rahmen für alle Cepstrum-Allophon-Modelle; Auffinden eines maximalen Modellabstandes für jedes Modell; Aktualisieren des reduzierten Gitters für jeden Rahmen eines Ein-Zustands-Modells mit einer minimalen Dauer von zwei Rahmen und einer Übergangswahrscheinlichkeit gleich ihres maximalen Modellabstandes; Sortieren von Endwerten jedes Vokabular-Netzwerk-Pfades für das reduzierte Gitter; Auswählen von oberen n-Werten zur Schaffung von n- Kandidaten für die Erkennung; Neueinstufung der oberen n- Kandidaten unter Verwendung eines vollständigen Viterbi-Verfahren-Gitters mit den berechneten Modellabständen; Sortieren von Kandidaten anhand ihrer Einstufung in abnehmender Reihenfolge; Auswählen der oberen m-Kandidaten für eine weitere Neueinstufung unter Verwendung der LSP-Parametervektoren, worin m kleiner als n ist; Auffinden einer Allophon-Segmentierung unter Verwendung von Cepstrum-Parametern zur Identifikation von Rahmen für Modellabstandsberechnungen für LSP- Parameter; Berechnung von LSP-Modellabständen für die identifizierten Rahmen und für die LSP-Modelle, die sich in den m-Kandidaten finden; Neueinstufung der m-Kandidaten unter Verwendung des Viterbi-Verfahrens mit den berechneten LSP- Modellabständen; und Vergleichen der Einstufungen der oberen m-Kandidaten für Cepstrum- und LSP-Paramter zur Auswahl eines Erkennungskandidaten.
Gemäß der vorliegenden Erfindung wird eine Suche mit zwei Durchläufen verwendet. Der erste Durchlauf verwendet ein reduziertes Ein-Zustands-Modell, dessen Übergangswahrscheinlichkeiten dem Maximalwert zugeordnet werden, der für die Beobachtungswahrscheinlichkeit des entsprechenden Allophon- Modells berechnet wurde. Es ergibt sich eine Eins-zu-Eins- Korrespondenz zwischen diesem reduzierten Modell und dem entsprechenden Allophon-Modell. Dieses reduzierte Ein-Zustands- Modell hat seine minimale Dauer auf wenige Rahmen beschränkt. Zweckmäßigerweise können minimale Dauern von entweder zwei oder drei Rahmen verwendet werden.
Ein Vorteil der vorliegenden Erfindung ist die Vereinfachung der Kompliziertheit des Erkennungsverfahrens soweit, daß die Verwendung von kosteneffektiver Verarbeitungs-Hardware ermöglicht wird, während die Erkennungsgenauigkeit beibehalten wird.

Kurze Beschreibung der Zeichnungen

Die vorliegende Erfindung wird aus der folgenden Beschreibung unter Bezugnahme auf die Zeichnungen verständlich, in denen:
Fig. 1a und 1b Teile des Vokabular-Netzwerkes gemäß einer Ausführungsform der vorliegenden Erfindung zeigen,
Fig. 2 ein vier Zustände aufweisendes verdecktes Markov-Modell (HMM) zeigt, das ein Allophon gemäß einer Ausführungsform der vorliegenden Erfindung darstellt,
Fig. 3 in einem Diagramm ein Verfahren zur Spracherkennung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 4 graphisch ein reduziertes Gitter zeigt, auf das in Fig. 3 bezug genommen wird,
Fig. 5 graphisch die Allophon-Segmentierung aus Cepstrum-Parametern und Rahmen zeigt, die für die LSP-Modell- Abstandsberechnung verwendet werden, auf die in Fig. 3 bezug genommen wird,
Fig. 6 in Form eines Blockschaltbildes eine typische Spracherkennungseinrichtung zur Verwendung des Verfahrens der Spracherkennung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
Unter Bezugnahme auf die Fig. 1a und 1b sind Teile des Vokabular-Netzwerkes gemäß einer Ausführungsform der vorliegenden. Erfindung gezeigt. In Fig. 1a beginnt jeder Pfad 10, 12 und an einem Eintrittsknoten 16. Der Pfad 10 schließt einen Zweig 18, der das Allophon r von dem Knoten 16 zu einem Knoten 20, einen Zweig 22, der das Allophon a von dem Knoten 18 zu einem Knoten 24 darstellt, einen Zweig 26, der das Allopon b von dem Knoten 24 zu einem Knoten 28 darstellt, einen Zweig 30, der das Allophon 1 von dem Knoten 28 zu einem Knoten 32 darstellt, und einen Zweig 34 ein, der das Allophon d von dem Knoten 32 zu einem Austrittsknoten 36 darstellt.
In ähnlicher Weise schließt der Pfad 12 einen Zweig 38, einen Knoten 40, einen Zweig 42, einen Knoten 44, einen Zweig 46, einen Knoten 48, einen Zweig 50 und einen Austrittsknoten 52 ein, und der Pfad 14 schließt einen Zweig 54, einen Knoten 56, einen Zweig 58, einen Knoten 60, einen Zweig 62, einen Knoten 64, einen Zweig 66 und einen Austrittsknoten 68 ein.
Das Vokabularnetzwerk ist allgemein eine Baumstruktur, wie dies in Fig. 1a gezeigt ist, kann jedoch Pfade aufweisen, die sich neu kombinieren, wie dies in Fig. 1b gezeigt ist, die zwei Allophon-Umschreibungen oder Transkriptionen des Wortes "record" darstellt.
Die Umschreibungen für "record" sind durch folgendes dargestellt: einen Eintrittsknoten 68, einen Zweig 70, einen Knoten 72, einen Zweig 74, einen Knoten 70, einen Zweig 78, einen Knoten 80, einen Zweig 82, einen Knoten 84, einen Zweig 86, einen Knoten 88, einen Zweig 90 und einen Austrittsknoten 92; und einen Zweig 93, einen Knoten 94, einen Zweig 96, einen Knoten 98, einen Zweig 100, einen Knoten 102, einen Zweig 104, dann der Knoten 88, der Zweig 90 und der Austrittsknoten 92.
Jeder Zweig des Vokabular-Netzwerkes ist durch ein verdecktes Markov-Modell dargestellt.
In Fig. 2 ist ein vier zustände aufweisendes verdecktes Markov- Modell (Hidden Markov-Model - HMM) gezeigt, das ein Allophon gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Das vier Zustände aufweisende HMM schließt erste, zweite, dritte und vierte Zustände 110, 112, 114 bzw. 116 ein. Übergänge von Zuständen können in den meisten Fällen von drei Arten sein: auf sich selbst, nächster Zustand und Überspringen des nächsten Zustandes. Für den ersten Zustand ist der Übergang auf sich selbst ein Übergang 118, der Übergang auf den nächsten Zustand ist eine Übergang 120, und der den nächsten Zustand überspringende Übergang ist ein Übergang 122. In ähnlicher Weise weist der zweite Zustand 112 einen Übergang 124 auf sich selbst, einen Übergang 126 auf den nächsten Zustand und einen den nächsten Zustand 128 auf. Weil der vierte Zustand 116 einen Austrittszustand darstellt, hat der dritte Zustand 114 keine den nächsten Zustand überspringenden Übergänge. Entsprechend hat der dritte Zustand 114 einen Übergang 130 auf sich selbst und einen Übergang 132 auf den nächsten Zustand. Der vierte Zustand 116 hat als Austrittszustand lediglich einen Zwischenmodell-Übergang In ähnlicher Weise hat der erste Zustand 110 als Eintrittszustand ebenfalls einen Zwischenmodell-Übergang 138. Die Zwischenmodell-Übergänge 136 und 138 ermöglichen eine Verkettung von Modellen zu einer Kette, die Vokabular-Worte darstellt.
In Fig. 3 ist ein Diagramm eines Spracherkennungsverfahrens gemäß einer Ausführungsform der vorliegenden Erfindung gezeigt. Das Diagramm ergibt Schritte und Vorgänge, die in zwei Zeitrahmen auftreten: der erste ist in Echtzeit bezüglich der ankommenden Sprache und mit A) Rahmensynchron bezeichnet, während der zweite die Verarbeitungszeit nach dem Empfang der Sprache ist und mit B) Erkennungsverzögerung bezeichnet ist.
Der Teil A) schließt sieben Schritte ein. Der Schritt 1) ist die Identifikation des Beginns von Worten oder Ausdrücken mit einem Endzeiger zum Starten eines rahmensynchronen Suchverfahrens durch Initialisieren eines reduzierten Gitters. Schritt 2) ist die Berechnung von Cepstrum-Modellabständen für jeden Rahmen für alle Allophon-Modelle. Schritt 3) ist die Auffindung eines maximalen Modellabstandes für jedes Modell (beispielsweise bedeutet 130 Modelle, daß 130 Maxima gefunden wurden). Schritt 4) ist die Aktualisierung des reduzierten Gitters für jeden Rahmen unter der Annahme eines Ein-Zustands-Modells mit einer minimalen Dauer von zwei Rahmen. Die Übergangswahrscheinlichkeit für dieses Modell ist die gleiche wie der maximale Modellabstand, der im Schritt 3 berechnet wurde. Schritt 5) ist die Identifikation des Endes der Sprache mit dem Endzeiger, um die Aktualisierung des reduzierten Gitters zu stoppen. Der Schritt 6) ist das Sortieren der Endwerte für jeden Vokabular-Netzwerkpfad für das reduzierte Gitter. Schritt 7) ist die Auswahl der oberen n-Werte zur Schaffung von n Kandidaten für die Erkennung, wobei ein typischer Wert für n beispielsweise gleich 30 ist. Dies schließt den rahmensynchronen Teil des Spracherkennungsverfahrens gemäß einer Ausführungsform dieser Erfindung ab.
Der Teil B) schließt sieben Schritte (Schritte 8 bis 14) ein und kann einen oder mehrere zusätzliche Schritte einschließen (wie dies durch Schritt 15 dargestellt ist), um die Erkennungsgenauigkeit zu vergrößern. Schritt 8) ist die Neueinstufung der oberen n Kandidaten unter Verwendung des Viterbi-Verfahrens mit den Modellabständen, die im Schritt 2) berechnet wurden. Nachdem die Anzahl der Erkennungskandidaten aus jedem Vokabular- Wort bis herunter zu n Kandidaten in dem rahmensynchronen Teil verringert wurde, kann das rechenmäßig komplexe Viterbi-Verfahren in wirkungsvoller Weise dazu verwendet werden, jeden dieser n Kandidaten mit dem vollständigen Satz von Modellabständen neu einzustufen, die im Schritt 2 berechnet wurden. Der Schritt 9) ist das Sortieren der Kandidaten nach ihrer Einstufung in absteigender Reihenfolge. Der Schritt 10) ist die Auswahl der oberen m Kandidaten für eine weitere Neueinstufung unter Verwendung anderer Parameter, beispielsweise der LSP- Parameter. Ein typischer Wert von m ist 3. Der Schritt 11) ist das Auffinden einer Allophon-Segmentierung unter Verwendung von Cepstrum-Parametern. Diese Segmentbegrenzüngen werden dazu verwendet, die Rahmen zu begrenzen, die zur Berechnung der Modellabstände im Schritt 12 verwendet werden. Aufgrund der Rechenbelastung, die durch die Berechnung der Modellabstände ohne die Beschränkung auf die im Schritt 11) identifizierten Rahmen und die im Schritt 10 identifizierten Kandidaten auferlegt wurde, würde die Verwendung von alternativen Parametern eine unannehmbare zusätzliche Verzögerung einführen. Der Schritt 12) ist die Berechnung von LSP-Modellabständen für die m Kandidaten. Beispielsweise zeigen in Fig. 5 die oberen Klammern die unter Verwendung von Cepstrum hervorgerufene Segmentierung, während die unteren Klammern die Rahmen zeigen, die zur Berechnung von LSP-Modellabständen verwendet werden. Der Schritt 13) ist die Neueinstufung der m Kandidaten unter Verwendung des Viterbi-Verfahrens mit den LSP-Modellabständen, die im Schritt 12 berechnet wurden. Die Segmentbegrenzungen wurden so festgelegt, daß sie innerhalb von 230 msec (18 Rahmen) der Segmentbegrenzungen liegen, die im Schritt 11) gewonnen wurden. Der Schritt 14) ist der Vergleich der Einstufungen der oberen m Kandidaten für Cepstrum- und LSP-Parameter. Der Schritt 149 kann zweckmäßigerweise die Multiplikation der Wahrscheinlichkeiten, die sich aus Cepstrum- und LSP-Parametern für jeden jeweiligen Kandidaten ergeben, miteinander einschließen. Beispielsweise gilt für m = 3:
(P1Cep)x(PILSP) P1kombinert } Wähle das Wort mit
(P2Cep)x(PILSP) = P2kombinert } der gößten kombinierten
(P3Cep)X(PILSP) = P3kombinert } Wahrscheinlichkeit. Schritt 15) stellt eine zusätzliche wahlweise Nachverarbeitung zur Vergrößerung der Genauigkeit der Auswahl dar. Weil lediglich einige wenige Kandidaten übrigbleiben, kann eine weitere wahlweise Nachverarbeitung in das Erkennungsverfahren eingefügt werden, ohne daß eine wesentliche zusätzliche Rechenlast hervorgerufen wird, und entsprechend ohne daß die Erkennungsverzögerung wesentlich vergrößert wird. Beispielsweise kann die wahlweise Nachverarbeitung die Verwendung von Allophondauer- Beschränkungen einschließen, um die Erkennungsgenauigkeit zu verbessern.
Die beschriebene Ausführungsform verwendet ein ein Zustands- Modell mit einer minimalen Dauer von zwei Rahmen für die rahmensynchrone Suche.
In der Tabelle A sind Daten für die Einschlußrate für die richtige Auswahl von minimalen Dauern von zwei und drei Rahmen für einen 4321-Wort-Testsatz angegeben. Die Tabelle B ergibt die Erkennungsgenauigkeit an dem 4321-Wort-Testsatz nach der Neueinstufung der oberen n Kandidaten unter Verwendung des Viterbi- Verfahrens. TABELLE A TABELLE B
Wie dies aus den Daten der Tabelle A zu erkennen ist, ist die Einschlußrate für die richtige Auswahl für eine minimale Dauer von 3 Rahmen größer, als sie dies für zwei Rahmen ist. Wie dies jedoch aus den in Tabelle B angegebenen Daten ersichtlich ist, ergeben nach der Neueinstufung der n oberen Kandidaten unter Verwendung des Viterbi-Verfahrens die beiden Erkennungseinrichtungen praktisch die gleiche Erkennungsgenauigkeit.
Entsprechend wird, weil die Zwei-Rahmen-Erkennungseinrichtung weniger Rechenarbeit erfordert, diese bevorzugt. Wenn ein Neueinstufungsverfahren gefunden werden kann, das eine bessere Leistung als das Viterbi-Verfahren ergibt, in dem die hohe Einschlußrate bei der Dauer von 3 Rahmen ausgenutzt wird, so ist die höhere Rechenlast der Dauer von 3 Rahmen dieses Wert.
In Fig. 4 ist das verringerte Gitter des Schrittes 4 nach Fig. 3 graphisch dargestellt. Um das verringerte Gitter zu erzeugen, wird ein Ein-Zustands-Modell mit einer Dauer von zwei Rahmen verwendet. So ist als ein Beispiel eine Allophon- Umschreibung oder Transkription des Wortes "for" vertikal dargestellt, wobei jedem Allophon zwei Punkte auf der Achse zugeteilt sind. Die für jedes Allophon-Modell verwendete Übergangswahrscheinlichkeit ist die Maximale, die während der tatsächlichen Modellabstand-Berechnungen gefunden wird. Entsprechend erfordern Ein-Zustands-Modelle für das verringerte Gitter keine zusätzliche Berechnung von Modellabständen, sondern lediglich die Bestimmung des maximalen dieser Abstände, die für jedes Modell berechnet werden. Diese Modellabstände werden jedoch zur Verwendung in dem zweiten Durchlauf gespeichert.
Es werden Anfangszustände für das Gitter gesetzt und dann wird für jeden Rahmen das Gitter dadurch aktualisiert, daß die maximale Übergangswahrscheinlichkeit auf jeden Übergang in jedem Zweig in dem Vokabular-Netzwerk angewandt wird.
Als vereinfachtes Beispiel sei die Allophon-Umschreibung für das Vokabular-Wort "for" betrachtet. Anfangszustände werden dadurch eingestellt, daß Wahrscheinlichkeiten von "1" dem Anfangszustand 150 des Stillemodells ({) und dem Anfangszustand 154 des Modells (f) zugeordnet werden, und daß im übrigen Wahrscheinlichkeiten von "0" an jeder anderen Stelle auf der vertikalen Achse 156-168 des Gitters zugeordnet werden. Für jeden Zweig (Allophon-Modell) in dem Vokabular- Netzwerk werden drei Operationen durchgeführt, um das Gitter zu aktualisieren, nämlich zwei Multiplikationen und ein Vergleich. Somit besteht der Schritt der Aktualisierung des Gitters aus der Multiplikation der Anfangswahrscheinlichkeiten mit den maximalen Übergangswahrscheinlichkeiten für jedes Allophon in der Umschreibung. In dem Beispiel multipliziert p{ den Anfangswert von "1" für die Übergänge 170 und 172 für eine der Multiplikationen. Die Wahrscheinlichkeit p{ multipliziert den Anfangswert von "0" für den Übergang 174. Die Übergänge 170, 172 und 174 ergeben drei neue Zustände 176, 178 bzw. 180. Der Vergleich wird an dem Zustand durchgeführt, der einen Anfangszustand eines nächsten Allophons darstellt, in diesem Fall an dem Zustand 180. Der Wahrscheinlichkeitswert an dem Zustand 180, der sich aus dem Übergang 176 ergibt, wird mit dem Wert verglichen, der sich aus einem Übergang 182 von dem Anfangszustand 154 des Allophons (f) ergibt. Derjenige Wahrscheinlichkeitswert, der größer ist, wird für den Zustand 180 für die nächste Iteration der Gitteraktualisierung beibehalten. Wie im Fall des Stille-Modells ({) werden die Übergänge des (f)-Modells berechnet. Der Anfangswert von "1" für den Zustand 154 wird mit der maximalen Übergangswahrscheinlichkeit für das Allophon (f), pf für jeden der Übergänge 182 und 184 multipliziert. Der Anfangswert von "0" für den Zustand 156 wird mit der maximalen Übergangswahrscheinlichkeit für das Allophon (f), pf, für den Übergang 186 multipliziert. Die Übergänge 182, 184 und 186 ergeben drei neue Zustände 180, 188 bzw. 190. In ähnlicher Weise werden Wahrscheinlichkeiten für neue Zustände 192 bis 202 berechnet. Um jeden Gitter-Aktualisierungszyklus abzuschließen, werden die Werte der Zustände 176 bis 202 vor dem Beginn der Verarbeitung für den nächsten Rahmen in die Zustände 150-169 zurückkopiert.
Die Anfangswahrscheinlichkeiten von 1 für die Anfangszustände 150 und 154 zeigen die Wahrscheinlichkeit an, daß das Wort "for" eine Anfangsstille oder ein Luftholen hat. In gleicher Weise zeigt der Übergang 204 von dem Zustand 164 zum Zustand 202 an, daß die abschließende Stille oder Atmung ebenfalls wahlweise ist. Der Zustand 202 behält den Wert bei, der die beste Wahrscheinlichkeit für den laufenden Rahmen darstellt.
In der gesamten ausführlichen Beschreibung wurden die Übergangswahrscheinlichkeiten so beschrieben, als ob sie von "0" bis "1" reichen und als ob neue Werte bei der Aktualisierung des Gitters durch Multiplikation des derzeitigen Wertes mit der nächsten Übergangswahrscheinlichkeit abgeleitet wurden. Wie dies jedoch in der Technik der Spracherkennung üblich ist, sind typische Übergangswahrscheinlichkeiten durch Logarithmen dargestellt, so daß Multiplikationen von Wahrscheinlichkeiten auf Rechenplattformen durch rechenmäßig einfachere Additionen ausgeführt werden können.
Die Berechnung von Modellabständen ist eine komplizierte Aufgabe und legt damit den Rechenresourcen eine große Last auf. Um LSP- Modellabstände während des Erkennungs-Verzögerungsabschnittes des Spracherkennungsverfahrens ohne annehmbare Vergrößerung dieser Verzögerung zu berechnen, ist die Anzahl von Rahmen, für die die Berechnungen durchgeführt werden, beschränkt.
Die Schritte der Auffindung der Allophon-Segmentierung unter Verwendung von Cepstrum-Parametern und die Berechnung von LSP- Modellabständen werden anhand der Fig. 5 beschrieben. Als ein Beispiel ist die Allophon-Umschreibung für das Vokabular-Wort "for" graphisch in Fig. 5 gezeigt. Die horizontale Achse stellt Rahmen der Sprache dar. Die Cepstrum-Parameter-Allophonsegmente sind durch Balken 210, 212, 214 und 216 dargestellt, was die Segmentierung der Allophone f, o und r bezeichnet, wie dies durch die Klammern 218, 220 bzw. 222 dargestellt ist. Dies entspricht dem Schritt 11) nach Fig. 3. Indem Beispiel nach Fig. 5 sind die Rahmen für die Allophone, deren Modellabstände berechnet werden soll, so beschränkt, daß sie innerhalb von Rahmen (230 ms) der Segmentbegrenzungen liegen, die unter Verwendung der Cepstrum-Parameter bestimmt wurden. Daher wird die LSP-Modellabstandsberechnung für die Allophone f, o und r über die Rahmen berechnet, die durch die Klammern 224, 226 bzw. 228 gezeigt sind.
In Fig. 6 ist ein Blockschaltbild einer typischen Spracherkennungseinrichtung gezeigt, die so konfiguriert ist, daß sie das Spracherkennungsverfahren der vorliegenden Erfindung verwendet. Die Spracherkennungseinrichtung schließt einen Spracheingang 290, Abschätzeinrichtungen für Cepstrum- und LSP-Parameter 292 bzw. 294 mit Parameter-Ausgängen 296 bzw. 298 an einen Eingangsdatenpuffer 302 ein. Der Eingangsdatenpuffer ist mit einem Daten-BUS 304 verbunden. Weiterhin sind mit dem Daten-BUS Verarbeitungselemente 306, ein Erkennungsdatentabellen-Speicher 308, ein Zwischenergebnis-Speicher 310 und ein Erkennungsergebnis-Ausgangsblock 312 mit einem Ausgang 314 verbunden.
Im Betrieb wird die dem Eingang 290 zugeführte Sprache in dem Cepstrum-Analysator 292 und dem LSP-Analysator 294 analysiert, um einen Cepstrum- und LSP-Parameter-Vektorausgang über 296 bzw. 298 an den Eingangsdatenpuffer 302 für alle 12,75 msec zu erzeugen. Für die rahmensynchronen Berechnungen berechnen die Verarbeitungselemente 306 Modellabstände für jeden Rahmen von Sprachdaten für alle Cepstrum-Allophon-Modelle, die in dem Erkennungsdaten-Tabellenspeicher 308 gespeichert sind. Die berechneten Modellabstände werden in dem Zwischenergebnis- Speicher 310 für spätere Verwendung in der Viterbi-Neueinstufung der oberen n Auswahlen gespeichert. Das Gitter wird in dem Zwischenergebnis-Speicher 310 ausgebildet und wird für jeden Rahmen aktualisiert. Sobald die oberen n Auswahlen aus dem ersten Durchlauf bestimmt sind, beginnt der Erkennungsverzögerungsabschnitt des Erkennungsprozesses. Die gespeicherten Cepstrum-Modellabstände werden von dem Viterbi-Verfahren verwendet, um die oberen n Auswahlen mit der geordneten Liste neu einzustufen, die in dem Zwischenergebnis-Speicher 310 gespeichert ist. Die oberen n Auswahlen werden dann erneut unter Verwendung der Viterbi-Einstufungen geordnet. Die oberen m Auswahlen werden dann unter Verwendung von LSP-Parametern von dem Eingangsdatenpuffer 302 neu eingestuft. LSP-Modellabstände werden dadurch berechnet, daß Elemente 306 für die LSP-Allophonmodelle, die sich in den oberen m Auswahlen finden, unter Verwendung derjenigen verarbeitet werden, die in dem Erkennungsdaten-Tabellenspeicher 308 gespeicehrt sind. Für jedes Allophon-Modell werden lediglich die Rahmen verwendet, die von der Cepstrum-Segmentierung geliefert wurden. Die berechneten Modellabstände werden in dem Zwischenergebnis- Speicher 310 gespeichert und bei der Viterbi-Neueinstufung der oberen m Auswahlen verwendet. Der Vergleich der oberen m Cepstrum- und LSP-Auswahlen erfolgt, um eine Erkennung zu schaffen, die in dem Erkennungsergebnis-Ausgang 312 gespeichert wird. Das Ergebnis wird zu einer Anwendung über den Ausgang 314 als eine Erkennung weitergeleitet. Wie dies weiter oben beschrieben wurde, kann eine weitere Nachverarbeitung erfolgen, um die Erkennungsgenauigkeit zu verbessern.
Eine Hardware-Ausführung der Spracherkennungseinrichtung nach Fig. 6 verwendet sechs TMS320C&sub3;&sub1;-Mikroprozessoren der Firma Texas Instruments als Verarbeitungselemente 306 und einen Gesamtspeicher von ungefähr 16 Mbytes, der zur Schaffung des Eingangsdatenspeichers 302, des Erkennungsdaten-Tabellen- Speichers 308 und des Zwischenergebnis-Speichers 310 verwendet wird.
Vielfältige Modifikationen, Abänderungen und Anpassungen können an den vorstehend beschriebenen speziellen Ausführungsformen der Erfindung durchgeführt werden, ohne den Schutzumfang der Erfindung zu verlassen, der in den Ansprüchen definiert ist.

Claims

1. Spracherkennungsverfahren mit den folgenden Schritten:

Schaffung eines ersten Satzes von Allophon-Modellen zur Verwendung mit akustischen Parametervektoren einer ersten Art;

Schaffung eines zweiten Satzes von Allophon-Modellen zur Verwendung mit akustischen Parametervektoren einer zweiten Art;

Schaffung eines Netzwerkes, das ein Erkennungsvokabular darstellt, wobei jeder Zweig des Netzwerkes eines der Allophon- Modelle ist und jeder vollständige Pfad durch das Netzwerk eine Folge von Modellen ist, der ein Wort in dem Erkennungsvokabular darstellt;

Analysieren einer unbekannten Äußerung zur Erzeugung einer Rahmenfolge von akustischen Parameter-Vektoren für jeden der ersten und zweiten Arten von akustischen Parameter- Vektoren;

Schaffung eines reduzierten Gitters zur Bestimmung eines Pfades durch das Netzwerk, der die größte Wahrscheinlichkeit aufweist;

Berechnung von Modellabständen für jeden Rahmen von akustischen Parametervektoren der ersten Art für alle Allophon- Modelle des ersten Satzes;

Auffinden eines maximalen Modellabstandes für jedes Modell des ersten Satzes;

Aktualisieren des reduzierten Gitters für jeden Rahmen unter der Annahme, daß jedes Allophon-Modell ein Ein-Zustands- Modell mit einer minimalen Dauer von zwei Rahmen und einer Übergangswahrscheinlichkeit gleich seinem maximalen Modellabstand ist;

Sortieren der Endwerte von dem reduzierten Gitter jedes Pfades durch das Vokabular-Netzwerk;

Auswählen einer ersten Vielzahl von Kandidaten zur Erkennung, die die höchsten Endwerte aufweisen;

Neueinstufung der ersten Vielzahl von Kandidaten unter Verwendung eines vollständigen Viterbi-Verfahren-Gitters, das dem Vokabular-Netzwerk mit den für den ersten Satz von Allophon- Modellen berechneten Modellabständen entspricht;

Sortieren der Kandidaten nach ihrer Einstufung in abnehmender Reihenfolge;

Auswählen einer zweiten Vielzahl von Kandidaten, die kleiner als die erste Vielzahl ist, aus der ersten Vielzahl, zur weiteren Neueinstufung unter Verwendung des zweiten Satzes von Allophon-Modellen und der zweiten Art von akustischen Parametervektoren;

Auffinden einer Allophon-Segmentierung unter Verwendung der ersten Art von akustischen Parametervektoren zur Identifikation von Rahmen für Modellabstandsberechnungen für die zweite Art von akustischen Parametervektoren;

Berechnung von Modellabständen für die Rahmen von akustischen Parametervektoren der zweiten Art, die für die Allophonmodelle des zweiten Satzes identifiziert sind, die in der zweiten Vielzahl von Kandidaten gefunden wurden;

Neueinstufung der zweiten Vielzahl von Kandidaten unter Verwendung des Viterbi-Verfahrens mit den Modellabständen, die für die Allophon-Modelle des zweiten Satzes berechnet wurden;

und

Vergleichen der Einstufungen der zweiten Vielzahl von Kandidaten für akustische Parametervektoren von erster und zweiter Art zur Auswahl eines Erkennungskandidaten.

2. Spracherkennungsverfahren nach Anspruch 1, bei dem die akustischen Parametervektoren der ersten Art Cepstrum-Parametervektoren einschließen.

3. Spracherkennungsverfahren nach Anspruch 2, bei dem die akustischen Parametervektoren der zweiten Art LSP-Parametervektoren einschließen.

4. Verfahren zur Spracherkennung nach Anspruch 1, das weiterhin die folgenden Schritte umfaßt:

Identifikation des Beginns von Worten oder Sätzen mit einem Endzeiger vor dem Schritt der Schaffung des reduzierten Gitters; und

Identifizieren des Endes der Sprache mit dem Endzeiger zum Stoppen des Aktualisierens des reduzierten Gitters.

5. Spracherkennungsverfahren mit den folgenden Schritten:

Schaffung eines ersten Satzes von Allophon-Modellen zur Verwendung mit Cepstrum-Parametervektoren;

Schaffung eines zweiten Satzes von Allophon-Modellen zur Verwendung mit LSP-Parametervektoren;

Schaffung eines Netzwerkes, das ein Erkennungsvokabular darstellt, wobei jeder Zweig des Netzwerkes eines der Allophon- Modelle ist und jeder vollständige Pfad durch das Netzwerk eine Folge von Modellen ist, die ein Wort in dem Erkennungsvokabular darstellt;

Schaffung eines verringerten Gitters zur Bestimmung eines Pfades durch das Netzwerk mit der größten Wahrscheinlichkeit;

Analysieren einer unbekannten Äußerung zur Erzeugung einer Rahmenfolge von sowohl Cepstrum- als auch LSP-Parametervektoren;

Berechnen von Cepstrum-Modellabständen für jeden Rahmen für alle Cepstrum-Allophonmodelle;

Auffinden eines maximalen Modellabstandes für jedes Modell;

Aktualisieren des reduzierten Gitters für jeden Rahmen unter der Annahme eines Ein-Zustands-Modells mit einer minimalen Dauer von zwei Rahmen und einer Übergangswahrscheinlichkeit gleich ihrem maximalen Modellabstand;

Sortieren von Endwerten jedes Vokabular-Netzwerkpfades für das reduzierte Gitter;

Auswahl der oberen n Werte zur Schaffung von n Kandidaten für die Erkennung;

Neueinstufung der oberen n Kandidaten unter Verwendung eines vollständigen Viterbi-Verfahren-Modelles mit den berechneten Modellabständen;

Sortieren von Kandidaten anhand ihrer Einstufung in absteigender Reihenfolge;

Wählen der oberen m Kandidaten für eine weitere Neueinstufung unter Verwendung der LSP-Parametervektoren, worin m kleiner als n ist;

Auffinden einer Allophon-Segmentierung unter Verwendung von Cepstrum-Parametern zur Identifikation von Rahmen für Modelabstandsberechnungen für LSP-Parameter;

Berechnen von LSP-Modelabständen für identifizierte Rahmen und für die LSP-Modelle, die sich in den m-Kandidaten finden;

Neueinstufung der m Kandidaten unter Verwendung des Viterbi-Verfahrens mit den berechneten LSP-Modellabständen; und Vergleichen der Einstufungen der oberen M-Kandidaten für Cepstrum- und LSP-Parameter zur Auswahl eines Erkennungskandidaten.

6. Verfahren zur Spracherkennung nach Anspruch 5, das weiterhin die folgenden Schritte umfaßt:

Identifikation des Beginns von Worten oder Phrasen mit einem Endzeiger vor dem Schritt der Schaffung des reduzierten Gitters; und

7. Verfahren zur Spracherkennung nach Anspruch 6, bei dem der Schritt des Vergleichens der oberen m Kandidaten die Schritte der Multiplikation der sich aus den Cepstrum und LSP-Parametern ergebenden Wahrscheinlichkeiten für jeden jeweiligen Kandidaten miteinander und das Auswählen des Kandidatens mit der höchsten kombinierten Wahrscheinlichkeit als den Erkennungskandidaten einschließt.

8. Verfahren zur Spracherkennung nach Anspruch 7, bei dem die Rahmen so beschränkt sind, daß sie innerhalb von 18 Rahmen der Segmentbegrenzungen liegen, die unter Verwendung der Cepstrum-Parameter gefunden werden.