DE69635655T2

DE69635655T2 - Sprecherangepasste Spracherkennung

Info

Publication number: DE69635655T2
Application number: DE69635655T
Authority: DE
Inventors: Vassilios Digalakis; Leonardo Neumeyer; Dimitry Rtischev
Original assignee: SRI International Inc; Stanford Research Institute
Current assignee: SRI International Inc
Priority date: 1995-01-20
Filing date: 1996-01-19
Publication date: 2006-09-14
Anticipated expiration: 2016-01-20
Also published as: EP0804721B1; EP0804721A2; ES2252752T3; US5864810A; JP4217275B2; CA2210887A1; WO1996022514A2; WO1996022514A3; JPH10512686A; ATE314718T1; CA2210887C; DE69635655D1

Description

Diese Erfindung betrifft die automatische Spracherkennung und insbesondere ein Verfahren und ein System für das Anpassen der in einem Spracherkennungssystem verwendeten Modellen an einen bestimmten Sprecher.
Diese Technik setzt eine grundlegende Kenntnis von Statistik und Markov-Prozessen sowie eine Vertrautheit mit dem Stand der Technik in Spracherkennungssystemen unter Verwendung von Hidden-Markov-Modellen voraus. Dieser Stand der Technik wurde ausführlich in der US-A-5,825,978 erörtert.
Beispielhaft für den Stand der Technik in dem speziellen Gebiet der Anpassung von Spracherkennungssystemen an bestimmte Sprecher wird Bezug genommen auf die folgenden Patente und Veröffentlichungen, die den Erfindern im Zusammenhang mit der vorliegenden Erfindung bekannt wurden. Nicht alle diese Referenzen müssen als relevanten Stand der Technik angesehen werden.

L. R. Bahl, F. Jelinek und R. L. Mercer, „A Maximum Likelihood Approach to Continuous Speech Recognition", IEEE Trans. Pattern Analysis and Machine Intelligence, Band PAMI-5(2), Seiten 179-190, März 1983.
J. Bellegarda, „Robust Speaker Adaption Using a Piecewise Linear Acoustic Mapping", Proceedings ICASSP, Seiten I-445-I-448, San Francisco, CA, 1992.
P. Brown, C.-H.- Lee und J. Spohrer, „Bayesian Adaption in Speech Recognition", Proceedings, ICASSP, Seiten 761-764, Boston, MA, 1983.
K. Choukri, G. Chollet und Y. Grenier, "Spectral Transformations through Canonical Correlation Analysis for Speaker Adaptation in ASR", "Proceedings ICASSO", Seiten 2659-2662, Tokio, Japan, 1986.
S. Furui, "Unsupervised Speaker Adaptation Method Based on Hierarchical Speakter Clustering", Proceedings ICASSP, Seiten 286-289, Glasgow, Schottland, 1989.
X. Huang und K.-F. Lee, „On Speaker-Independent, Speaker-Dependent and Speaker-Adaptive Speech Recognition", IEEE Trans. on Speech and Audio Processing, Band 1, Nr. 2, Seiten 150-157, April 1993.

Dieses Dokument beschreibt die Anpassung eines ursprünglich sprecherunabhängigen Systems an einen spezifischen Sprecher, um Fehler zu reduzieren und vergleicht die Leistung solch eines Systems mit einem vollständig sprecherunabhängigen System und einem vollständig sprecherabhängigen System.

B.-H. Juang, „Maximum-Likelihood Estimation for Mixture Multivariate Stochastic Observations of Markov Chains", AT\&T Technical Journal, B and 64, Nr. 6, Juli – August 1985.
C.-H. Lee, C.-H. L in und B.-H. Juang, „A Study on Speaker Adaptation of the Parameters of Continuous Density Hidden Markov Models"", IEEE Trans. on Acoust., Speech and Signal Proc., Band ASSP-39(4), Seiten 806-814, April 1991.
R. Schwartz, Y. L. Chow und F. Kubala, „Rapid Speaker Adaptation Using a Probabilistic Spectral Mapping", Proceedings ICASSP, Seiten 633-636, Dallas, TX, 1987.
C. J. Leggetter und P. C. Woodland, "Speaker adaptation of continuous density HMMs using multivariate linear regression", Proc. of ICSLP 1994, Seiten 451-454, beschreiben ein Verfahren der Sprecheranpassung, welches das Binden vieler Zustandsverteilungen an einer Transformation beinhaltet.

Ein neuerer Trend in automatischen Spracherkennungssystemen ist die Verbindung von Hidden-Markov-Modellen kontinuierlicher Mischdichte (HMMs). Ein System und ein Verfahren für die Verwendung von HMMs, um Sprache zu erkennen, wird beschrieben in der US-A-5,825,978. Trotz der guten Erkennungsleistung, die HMM-Systeme durchschnittlich in Applikationen mit großem Vokabular erzielen, gibt es eine große Variabilität in der Leistung zwischen einzelnen Sprechern. Die Leistung kann rapide abnehmen, wenn der Benutzer sich stark von der Trainingspopulation unterscheidet, wie zum Beispiel ein Benutzer, der mit einem starken Akzent spricht. Eine Technik, welche die Leistung und die Robustheit eines Spracherkennungssystems verbessert, ist die Anpassung des Systems an den Sprecher und insbesondere an das Frequenzband und die Aufgabe.
Zwei Familien von Anpassungsschemata wurden im Stand der Technik vorgeschlagen. Eine basiert auf der Transformation eines Merkmalraums eines individuellen Sprechers, so daß er zu dem Merkmalsraum der Trainingspopulation „paßt". Diese Technik kann im allgemeinen als Merkmalsraumtransformation-basierter Ansatz (FST) bezeichnet werden. Diese Technik hat den Vorteil der Einfachheit und, falls die Anzahl von freien Parametern in den Transformationen klein ist, dann hat diese Technik die gewünschte Charakteristik einer schnellen Anpassung.
Die zweite Hauptfamilie von Anpassungsverfahren folgt einem Bayesian-Ansatz, der allmählichen Transformation der HMMs, so daß die Modelle die Anpassungsdaten von dem individuellen Sprecher am besten vorhersagen. In einem Bayesian-Ansatz werden die Modellparameter erneut abgeschätzt unter Verwendung von vorheriger Kenntnis von Modellparameterwerten. Der Bayesian-Ansatz hat üblicherweise wünschenswerte asymptotische Eigenschaften, d.h., die Leistung des sprecheradaptiven Systems wird sich der Leistung eines sprecherabhängigen trainierten Systems annähern, wenn sich die Menge der Adaptionssprache erhöht. Dieses Verfahren hat den Nachteil, daß die Adaptionsgeschwindigkeit üblicherweise gering ist.
Was benötigt wird, ist ein sprecheradaptives Verfahren und System, das eine überlegene Leistung für individuelle Sprecher hat, einschließlich denen, die mit von der Trainingspopulation ab weichenden Akzenten sprechen, das sich jedoch schnell an einen bestimmten Sprecher anpassen kann unter Verwendung einer geringen Menge von Adaptionsdaten.
Zusammenfassung der Erfindung
Gemäß der Erfindung wird ein sprecheradaptives Spracherkennungssystem bereitgestellt wie in Anspruch 1 ausgeführt und ein Verfahren für das Entwickeln von Spracherkennungsmodellen wie in Anspruch 10 ausgeführt.
Kurze Beschreibung der Figuren
Die 1A bis C sind Diagramme, welche die Adaption unter Verwendung von einer Modelltransformation entsprechend der Erfindung, die Adaption unter Verwendung einer Bayesian-Technik und einer Adaption unter Verwendung einer kombinierten Modelltransformation und einer Bayesian-Technik gemäß der Erfindung darstellen,
2 ist ein Diagramm eines HMM für einen einzelnen Laut,
3 ist ein Diagramm, das ein Verfahren für das Anpassen einer Mischung von Gaußkurven an die beobachteten Merkmalsdaten eines Zustandes eines Lautes darstellt,
4 ist ein Blockdiagramm eines Spracherkennungssystems, das gemäß einer Ausführungsform der Erfindung aufgebaut ist,
5 ist ein Blockdiagramm eines Spracherkennungssystems, das gemäß einer weiteren Ausführungsform der Erfindung aufgebaut ist,
6 ist ein Graph, der SI-, SA- und SD-Wortfehlerraten für Muttersprachler zeigt,
7 ist eine Tabelle, die SI- und SA-Wortfehlerraten für Nicht-Muttersprachler für verschiedene Grade der Mischungsverknüpfung und verschiedener Anzahl von Transformationen zeigt,
8 ist ein Graph, der Wortfehlerraten für verschiedene Anzahlen von Transformationen für die transformationsbasierte Adaption zeigt, und
9 ist ein Graph, der Wortfehlerraten für verschiedene Anzahlen von Transformationen für die kombinierte Adaption zeigt,
10 ist ein Graph, der Fehlerraten für das Transformationsverfahren, das genäherte Bayesian-Verfahren und das kombinierte Verfahren vergleicht, und
11 ist eine Tabelle, die Adaptionsergebnisse unter Verwendung von Bigram- und Trigram-Sprachmodellen zeigt.
Beschreibung von bevorzugten Ausführungsformen
Besondere und bevorzugte Aspekte und Ausführungsformen werden in den abhängigen Ansprüchen ausgeführt.
Gemäß der vorliegenden Erfindung paßt sich ein Spracherkennungssystem selbst an einen bestimmten Sprecher an durch Anwenden einer eingeschränkten maximalen Wahrscheinlichkeits transformation (CML) an seine gespeicherten Spracherkennungsmodelle. Dieser CML-Ansatz stellt eine dritte Hauptfamilie eines Adaptionsverfahrens dar. Die mit Randbedingungen versehene lineare Transformation wird von einer relativ geringen Menge von sprecherabhängigen (SD) Trainingsdaten abgeleitet. Das Anwenden der Transformation an die sprecherunabhängigen (SI) Modelle, die in dem Erkennungssystem gespeichert sind, erzeugt einen Satz von sprecherangepaßten (SA) Modellen. Wenn diese SA-Modelle von dem Erkennungssystem gemäß der vorliegenden Erfindung verwendet werden, wird eine stark verbesserte Erkennungsleistung eines einzelnen Sprechers erzielt. Diese Erkennungsleistungsverbesserung gegenüber einem nicht-adaptiven System ist sogar noch größer, wenn sich der Sprecher stark von der Trainingspopulation unterscheidet, wie zum Beispiel ein Sprecher mit einem starken Akzent.
Gemäß einer weiteren Ausführungsform verwendet ein Spracherkennungssystem den CML-Ansatz in Kombination mit einem Bayesian-Ansatz, um eine überragende Leistung zu erzielen. Die 1A, 1B, 1C sind eine Darstellung des bekannten Bayesian-Ansatzes, des CML-Ansatzes der vorliegenden Erfindung und dem Kombinationsansatz.
1A stellt den CML-Ansatz gemäß der Erfindung dar. Adaptionsdaten 12 werden verwendet, um eine Transformation 22 abzuleiten. Diese Transformation 22 wird dann verwendet, um die Parameter der SI-Modelle 10 zu transformieren, um die SA-Modelle 20 abzuleiten.
1B stellt den bekannten Bayesian-Ansatz dar für das Anpassen einer Spracherkennung an einen bestimmten Sprecher. Das System startet ursprünglich mit einem „Vorwissen" über Modellparameter, das als die SI-Modelle 10 dargestellt wird. Adaptionsdaten 12 von einem bestimmten Sprecher werden nun durch einen Baum-Welch-Algorithmus 14 verarbeitet, um SD-Modelle 16 zu erzeugen. Gemäß dem Bayesian-Ansatz werden diese SD-Modelle dann mit den SI-Modellen durch Addition kombiniert, um einen Satz von SA-Erkennungsmodellen 20 zu erzeugen. Gemäß dem Bayesian-Ansatz können dann die SA-Modelle 20 in dem Verfahren für die Vorwissens-SI-Modelle 10 ersetzt werden und der Prozeß kann wiederholt werden, um die SA-Modelle weiter zu verbessern.
1C stellt den Kombinationsansatz gemäß der Erfindung dar. SA-Modelle 20 werden wie in dem CML-Ansatz abgeleitet und werden dann als „Vorwissen" in einem Bayesian-Typansatz verwendet, um SA-Modelle 22 durch Kombinieren der SA-Modelle mit den SD-Modellen 16 zu erzeugen.
Ein bestimmter Typ des Spracherkennungssystems, in dem die vorliegende Erfindung effektiv eingesetzt werden kann, verwendet mehrdimensionale Gauß-Mischungsdichten, um die Wahrscheinlichkeitsfunktionen von verschiedenen Sprachzuständen, die in den Erkennungsmodellen abgelegt sind, anzupassen. Die Gauß-Mischdichten werden von den SI-Trainingsdaten abgeleitet, wenn die Modelle trainiert werden und in dem Erkennungssystem als eine gewichtete Summe von einfachen Gaußkurven gespeichert. Die SI-Trainingsdaten bestehen typischerweise aus Sprachproben von einer Anzahl von unterschiedlichen Sprechern (die „Trainingspopulation"), die jeweils eine gespeicherte Sprachprobe lesen.
Die Gauß-Mischungsdichte eines bestimmten Zustands in solch einem System wird im allgemeinen als die gewichtete Summe von einfachen Gaußkurven gespeichert. Der Satz von einfachen Gaußkurven, die verwendet werden, um einen bestimmten Zustand zu modellieren, wird im Stand der Technik auch als „Codebook" oder Codebuch bezeichnet. In einem vollständig verknüpften Spracherkennungssystem wird ein Codebook von einfachen Gaußkurven verwendet, um die Wahrscheinlichkeitsdichtefunktionen aller Sprachzustände in dem System zu modellieren und jede Wahrscheinlichkeitsdichtefunktion mit nur einem Satz von Gewichtungsfunktionen, die an die Gaußkurven in dem gemeinsam genutzten Codebook angelegt werden, verknüpft. In einem völlig unverknüpften System wird ein getrenntes Codebook von einfachen Gaußkurven verwendet, um die Wahrscheinlichkeitsdichtefunktion von jedem getrennten Sprachzustand in dem System abzubilden.
Die US-A-5,825,978 beschreibt einen Typ eines teilweise verknüpften Systems, in dem es mehrere Codebooks gibt, und ein einfaches Codebook von einfachen Gaußkurven wird verwendet, um die Wahrscheinlichkeitsdichtefunktion einer Gruppe oder einem „Cluster" in Beziehung stehender Sprachzustände zu modellieren. Gemäß einer speziellen Ausführungsform erreicht die Erfindung eine schnelle und effiziente Anpassung in solch einem Erkennungssystem durch die Annahme, daß dieselbe Transformation effektiv für alle Gaußkurven in einem bestimmten Codebook verwendet werden kann. Somit kann mit nur einer kleinen Menge von SD-Daten eine Transformation für alle gespeicherten Gaußkurven berechnet werden. Gemäß einer weiteren Ausführungsform der Erfindung kann eine Lineartransformation gemeinsam von unterschiedlichen in Bezug stehenden Codebooks verwendet werden.
Die Erfindung gemäß einer Ausführungsform verwendet einen CML-Ansatz, um Parameter für das Transformieren der Spracherkennungsmodelle abzuschätzen, statt die Sprachdaten direkt zu transformieren. Diese Technik erlaubt es, daß die Erfindung den bekannten Erwartungsmaximierungsalgorithmus (EM) verwendet, um die Maximumwahrscheinlichkeitsabschätzungen (ML) dieser Parameter zu bestimmen. Der Vorteil der Verwendung des EM-Algorithmus ist der, daß die Erfindung die Transformation von Neusprecher SD-Daten alleine abschätzen kann, ohne daß sie in vorherigen Systemen des Standes der Technik für irgendeine Form der Zeitanpassung zwischen den neuen Sprecherdaten und den Trainingsdaten vorhanden sein müssen. Weiterhin hat im Gegensatz zu vorherigen Adaptionsschemata, basierend auf Merkmalstransformationen, die vorliegende Erfindung den Vorteil, daß es nicht erforderlich ist, daß der neue Sprecher Sätze mit vorher spezifizierten Transkriptionen aufzeichnet.
Die Erfindung wurde auf dem Hauptteil des Wall Street Journals mit großem Vokabular für sowohl Muttersprachler als auch Nicht-Muttersprachler des American English bewertet. Für Muttersprachler ist die Erkennungsleistung nach der Adaption ähnlich derjenigen von sprecherabhängigen Systemen, die sechsmal so viel Trainingsdaten verwenden. Für Nicht-Muttersprachler wird die Erkennungsfehlerrate näherungsweise halbiert und nähert sich der von Muttersprachlern mit nur einer geringen Menge von Adaptionsdaten.
Für die Zwecke der Klarheit wird das Verfahren und das System der Erfindung in Bezug auf eine bestimme Ausführungsform der Erfindung wie sie in einem Spracherkennungssystem aufge nommen ist unter Verwendung von HHMs mit Gaußmischungen und mit einem willkürlichen Grad von Mischungsverknüpfung beschrieben, wie in der vorher erwähnten US-A-5,825,978 ausgeführt. Es versteht sich jedoch für den Fachmann, daß das Verfahren der Erfindung in einem breiteren Bereich von Erkennungssystemen, insbesondere in einem System unter Verwendung von HHMs mit kontinuierlichen Mischdichte eingesetzt werden kann.
Eine übliche Technik für das Anpassen eines Eingangssprachsignals an gespeicherte Laute verwendet Hidden-Markov-Modelle (HMMs). Ein HMM-Spracherkennungssystem konstruiert für jeden Laut ein gerichtetes Dreizustands-HMM. Das Trainieren des HMM besteht aus Extrahieren von Merkmalen aus einer Sammlung von Sprachabfragen von verschiedenen Sprechern, die bekannte Sprachphrasen sprechen, und Verwendung der extrahierten Merkmale, um die optimalen HMM-Parameter zu bestimmen. Der Prozeß des Extrahierens von Merkmalen teilt ein Sprachsignal in eine Anzahl von zeitlichen Fenstern, im allgemeinen von gleicher Dauer, im Stand der Technik als Frames bezeichnet. Sobald die Parameter für jedes HMM bestimmt wurden, werden die trainierten HMMs mit ihren Parametern in dem Spracherkennungssystem gespeichert. Das Erkennungssystem ist dann bereit, irgendein unbekanntes Sprachsignal zu verarbeiten und die am wahrscheinlichsten gesprochenen Worte durch Vergleichen von Merkmalen, die aus der Sprache extrahiert wurden, mit den Wahrscheinlichkeitsfunktionen für Sprechzustände, die in den HMMs gespeichert sind, zu bestimmen.
2 stellt einen Typ von Dreizustands-HMM für einen einzelnen Laut, wie zum Beispiel den Laut „ao", der den ersten Vokallaut in dem Wort „water" repräsentiert, dar. Die drei Zustände s₁, s₂ und s₃ sind mit einer Sammlung von Merkmalen verknüpft, die während eines gegebenen Frames erfaßt werden können. Verknüpft an jedem Übergang zwischen den Zuständen ist eine Wahrscheinlichkeit des Durchführens des Übergangs zwischen den Frames. Diese Wahrscheinlichkeit ist nicht als die Zeit, in der das Modell ausgewählt wird, eingestellt, sondern wird bestimmt in dem Trainingsschritt unter Verwendung von tatsächlichen Sprachdaten. Die Übergangswahrscheinlichkeitsverteilung modelliert implizit verschiedene Dauern, die in unterschiedlichen Teilen der Sprache aufgrund von unterschiedlichen Sprechgeschwindigkeiten oder unterschiedlicher Aussprache möglich sind.
Verknüpft mit jedem der drei möglichen HMM-Zustände sind Wahrscheinlichkeitsfunktionen P(y|s₁), P(y|s₂) und P(y|s₃), welche die Wahrscheinlichkeit ergeben, daß ein beobachteter Merkmalssatz y von einem Sprachsignal in diesem entsprechenden Zustand erzeugt wurde. Als ein Beispiel stellt die Funktion P(y|s₁) die Wahrscheinlichkeit des Beobachtens von y im Zustand von s₁ zur Verfügung, statt eines anderen Merkmalssatzes y'. MHH beinhaltet weiterhin sechs Übergänge t1–6, mit verknüpften Wahrscheinlichkeitsfunktionen P(s₁|s₁), P(s₂|s₁), P(s₂|s₂), P(s₂|s₃), P(s₃|s₃) P(S_exit|S₃). Entsprechend dem Modell tritt ein Übergang bei jeder Framegrenze auf und die vorerwähnten Übergangswahrscheinlichkeitsfunktionen bestimmen die Wahrscheinlichkeit, daß ein bestimmter Übergang genommen wird vorausgesetzt, das System ist in dem bestimmten Zustand.
Als Teil der Aufgabe des Auswählens eines Modells für ein Spracherkennungssystem bestimmt der Systemdesigner die Form der Wahrscheinlichkeitsgleichungen P(y|s₁), P(y|s₂), P(y|s₃)
Eine Form für diese Gleichungen, die effektiv verwendet wurde, ist die Darstellung der Gleichungen als eine Summe von gewichteten Gaußkurven. Solch eine Summe ist in 2 dargestellt. Die Kurve 60 stellt P(y|s₁) dar, wie aus den beobachteten Trainingsmerkmalsdaten abgeleitet. Der Spracherkennungssystemdesigner wünscht, eine Wahrscheinlichkeitsfunktion für P(y|s₁) zu entwickeln. Die Wahrscheinlichkeitsfunktion muß an die beobachteten Daten 60 „passen". Bei den bestehenden Spracherkennungssystemen wurde entdeckt, daß die Trainingsdaten durch eine Summe von gewichteten Gaußwahrscheinlichkeitsfunktionen dargestellt werden können, gezeigt als Kurven 62a–e. (Diese Kurven 62a–e sind eine eindimensionale Darstellung der tatsächlichen mehrdimensionalen Gaußfunktionen). Diese gewichtete Gaußsumme wird im Stand der Technik als eine „Gaußmischung" bezeichnet. Wenn jede Gaußkurve 62a–e durch eine gewichtete Gaußfunktion λ_iG_i(y) dargestellt wird, dann kann die Wahrscheinlichkeit P(y|s₁) durch die Funktion dargestellt werden:
wobei s den HMM-Zustand, y die beobachteten Merkmale bei einem gegebenen Frame t, G_i(y) eine Reihe von Gaußkurven und λ_i eine Reihe von Gewichtungskonstanten darstellt. Wenn der Spracherkennungssystemdesigner ein Modell unter Verwendung einer Wahrscheinlichkeitsfunktion in Form von Gleichung (1) auswählt, ist die Aufgabe des Trainierens des Modells die Bestimmung eines Satzes von Gaußkurven G_i und Wichtungsfaktoren λ_i, die am besten an die beobachteten Trainingsdaten für jeden HMM-Zustand passen. Sobald die Gaußkurven und Gewichtungsfaktoren bestimmt sind, werden sie von dem System für die Verwendung bei der Erkennung gespeichert. Ein Spracherkennungssystem gemäß der vorliegenden Erfindung adaptiert die gespeicherten Gaußkurven G und in einer Ausführungsform die Gewichtungskonstanten λ an einen bestimmten Sprecher, um die Erkennungsleistung für diesen Sprecher zu verbessern.
Ein Merkmal, das das Erkennen des Standes der Technik unterscheidet, ist das Ausmaß, zu dem gespeicherte Gaußkurven 22a–e für unterschiedliche HMM-Zustände gemeinsam genutzt werden. In einem vollständig kontinuierlichen HMM-System, das Gaußmischungen verwendet, gibt es keine gemeinsame Nutzung. Ein anderer Satz von Gaußkurven G_si wird abgeschätzt und für jeden unterschiedlichen HMM-Zustand gespeichert. Andere Systeme haben einen bestimmten Grad der Mischungsbindung. In solch einem System wird derselbe Satz von Gaußkurven für mehr als einen HMM-Zustand verwendet und nur die Gewichtungskoeffizienten λ_i werden für HMM-Zustände, die verknüpft sind, modifiziert. Der Begriff „Codebook" wird nach dem Stand der Technik im allgemeinen verwendet, um den Satz G_Ci von Gaußkurven zu bezeichnen, die verwendet werden, um die HMM-Zustände in einem verknüpften Mischungssystem zu approximieren.
4 ist ein Blockdiagramm eines Spracherkennungssystems, das gemäß der vorliegenden Erfindung aufgebaut ist. Das System besteht aus einem Mikrophon 100, einem Merkmalextraktionsmodul 103, einer Trainingsengine 107, einer Erkennungsengine 110, einer Adaptionsengine 113, einem Satz von gespeicherten SI-Modellen 117, einer Clusterengine 120, einem Satz von gespeicherten SA-Modellen 123 und einer Ausgabeeinrichtung 125.
Der Betrieb des Systems erfolgt wie folgt. Das Mikrophon 100 empfängt Sprachsignale. Der Extrahierer 103 decodiert die Signale in Daten, die von dem Rest des System manipuliert werden können. Ursprünglich sind die Sprachsignale Trainingsdaten, die aus gespeicherten Sätzen, die von einer Gruppe von Sprechern gesprochen sind, bestehen. Die Trainingsengine 107 verwendet diese transkribierten Sätze, um ursprüngliche Parameter für nicht-verknüpfte Codebooks für die Sprachzustände in dem System zu bestimmen und speichert diese Parameter in 117.
Die Clusterengine 120 arbeitet auf den trainierten Modellen 117, um einen Satz von verknüpften Modellen gemäß einem Verfahren, das in der oben erwähnten, in Bezug stehenden Patentanmeldung beschrieben ist. Die Clusterengine 120 identifiziert Zustände, die ähnliche Gaußfunktionen gemeinsam nutzen, gruppiert diese Zustände in Cluster, splittet die Cluster und erzeugt dann ein einzelnes „Codebook" oder „Genon" für jeden Cluster. Die Codebooks enthalten einen Satz von Gaußkurven, die verwendet werden, um die Zustände in diesem Cluster abzuschätzen. Nach dem Betrieb der Clusterengine 120 kann die Wahrscheinlichkeitsfunktion, die in 117 für einen Zustand s gespeichert ist, geschrieben werden als:
wobei G_Ci eine Gaußkurve in dem Codebook für den Cluster C ist. Die Gauß-Codebooks, die von der Clusterengine 117 mit einem willkürlichen Grad von Mischungsverknüpfung erzeugt wurden, können als „Genone" bezeichnet werden, und die HMM-Systeme mit einem willkürlichen Grad von Genon-Nutzung werden als genonische HMMs bezeichnet.
Sobald die Clusterengine 117 die SI-Modelle in genonische SI-HMMs konvertiert hat, können die Modelle von der Erkennungsengine 110 verwendet werden, um nicht gespeicherte Sprache wie folgt zu erkennen. Nicht-gespeicherte Sprache wird von dem Mikrophon 100 empfangen und dessen Merkmale werden durch 103 extrahiert. Der Extrahierer 103 liefert den Merkmalsdatensatz x zu der Erkennungsengine 110. Die Erkennungsengine 110 verwendet die in 117 gespeicherten Modelle in der Form der Gleichung (2), um einen wahrscheinlichsten Pfad von Sprachzuständen für die Daten x zu bestimmen. Dieser wahrscheinlichste Zustandspfad ist mit bestimmten Worten, wie in 1 dargestellt ist, verknüpft. Der Erkenner 110 kann die erkannten Worte auf der Ausgabeeinrichtung 125 anzeigen.
Sobald das Erkennungssystem einen vollständig trainierten Satz von SI-Modellen der Form von Gleichung (2) enthält, ist die Erkennungsengine 110 bereit, nicht gespeicherte Sprache zu erkennen. Ein neuer Sprecher, der das System verwendet, kann jedoch einen Akzent oder ein Sprachmuster haben, das sich sehr von den Trainingsdaten, die verwendet wurden, um die Modelle zu trainieren, unterscheidet. In solch einem Fall wird während einer Mehrzahl von Worten und Zuständen, die von der Erkennungsengine 110 unter Verwendung der SI-HMMs 117 erkannt werden, die Erkennungsfehlerrate hoch sein. Die Adaptionsengine 113 kann gemäß der vorliegenden Erfindung verwendet werden, um die Leistung der Erkennungsengine 110 wie folgt zu verbessern. Signale von einem neuen Sprecher, der in das Mikrophon 100 spricht, werden von dem Extrahierer 103 verarbeitet und der Merkmalsdatensatz y wird zu der Erkennungsengine 110 und zu der Adaptionsengine 113 geliefert. Die Erkennungsengine 110 bestimmt dann bekannte Zustände von den Merkmalsdaten und macht diese Zustände der Adaptionsengine 113 bekannt. Die Adaptionsengine 113 vergleicht dann die gespeicherten SI-Daten für die bekannten Zustände mit den tatsächlichen Daten von dem neuen Sprecher und bestimmt einen Satz von Transformationen für die Wahrscheinlichkeitsmodelle für diese Zustände, so daß die Wahrscheinlichkeitsmodelle besser an die tatsächlichen Daten von dem neuen Sprecher passen. Nachdem eine begrenzte Anzahl von Daten von dem neuen Sprecher empfangen wurden, wendet die Adaptionsengine 113 dann die Transformationen an alle Zustände in den SI-HMMs an, um einen Satz von SA-HMMs 123 zu erzeugen. Sobald die SA-HMMs 123 erzeugt wurden, werden die HMMs von der Erkennungsengine 110 verwendet, um Zustände in dem ankommenden Sprachsignal zu identifizieren. Gemäß einer Ausführungsform kann die Adaptionsengine 113 fortsetzen, die SA-HMMs während der Zeit, während der der neue Sprecher spricht, zu verbessern, so daß die SA-HMMs graduell die Form von Modellen, die für diesen bestimmten Sprecher entwickelt wurden, erreichen.
Die Transformation, die von der Adaptionsengine 113 der vorliegenden Erfindung eingesetzt wurde, kann leichter erklärt werden, wenn die Wahrscheinlichkeitsdichtefunktion von Gleichung (2) umgeschrieben wird als eine sprecherunabhängige HMM für den SI Vektorprozeß [y_i] mit Observationsdichten der Form:
wobei P(ω₁|s₁) eine Koeffizientenmatrix entsprechend λ_i ist und N(y_t;μ_i;Σ_i) eine Gaußfunktion mit einem Mittel μ_i und einer Kovarianz Σ_i, N_ω ist eine ganze Zahl gleich der Anzahl von Gaußfunktionen in dem bestimmten Codebook und G ist der Gauß-Codebook-Index (oder Genon-Index).
Die Adaption dieses Systems wird gemäß einer Ausführungsform der Erfindung erzielt durch gemeinsames Transformieren aller Gaußfunktionen von jedem Genon. Genauer gesagt nimmt die Erfindung an, daß bei gegebenem Genon-Index des HMM-Zustandes s_i der sprecherabhängige Vektorprozeß [x_i] durch den zugrundeliegenden sprecherunabhängigen Vektorprozeß [y_t] über die Transformation x_t = A_gy_t + b_g erhalten werden kann. Dieses Modell ist äquivalent zu der Annahme, daß der Zufallsvektor x über eine affine Transformation x = Ay + b von dem nicht beobachteten Vektor y, der eine bekannte Mischdichte
hat.
Die Maximalwahrscheinlichkeitsabschätzung (ML) des mit Nebenbedingungen versehenen Gaußmischmodells ist äquivalent zu der Abschätzung der Regressionsparameter A, b unter Verwendung von nur Observationen der abhängigen Variablen x und der Kenntnis der Verteilung der nicht beobachteten Variablen y.
Anwenden der Transformation führt dazu, daß die SA-Observationsdichten gemäß der Erfindung die Form
haben und nur die Transformationsparameter A_g, b_g, g = 1, ..., N_g durch die Engine 113 während der Adaption abgeschätzt werden, wobei N_g die Anzahl von unterschiedlichen Transformationen ist. Dieselben Transformationen können an unterschiedliche HMM-Zustände angelegt werden, und dieses Verknüpfen von Transformationen kann verwendet werden, um die Leistung, basierend auf der Menge von verfügbaren Adaptionsdaten zu optimieren.
Die Adaptionsengine 113 schätzt die Transformationsparameter A_g, b_g, g = 1, ..., N_g entsprechend einer Erweiterung des bekannten Erwartungsmaximierungsverfahrens (GM) für die Abschätzung von Gaußmischungen mit Randbedingungen ab. Das Trainingsverfahren gemäß der Erfindung unter Verwendung eines Baum-Welch-Algorithmus wird im folgenden zusammengefaßt:

1. Initialisiere alle Transformationen mit A_g(0) = I, b_g(0) = 0, g = 1, ..., N. Setze k = 0.
2. E-Schritt: führe eine Iteration des Vorwärts-Rückwärts-Algorithmus auf den Sprachdaten durch unter Verwendung der mit dem gegenwärtigen Wert der Transformationen A_g (k), b_g (k) transformierten Gaußfunktionen. Für alle Gaußkomponenten und alle Genone g ermittle die ausreichenden Statistiken:
wobei y_t(s_t) die Wahrscheinlichkeit ist zur Zeit t im Zustand s_t zu sein bei gegebenen gegenwärtigen HMM-Parametern λ_k, die Summierung läuft über alle Zeiten und HMM-Zustände, die dieselben Mischungskomponenten haben und ϕ_it(s_t) ist die a-posteriori-Wahrscheinlichkeit ϕit(st) = ρ(ωig|Ag(k), bg(k), xt, st) (10)
3. M-Schritt: Berechne die neuen Transformationsparameter. Unter der Annahme von diagonalen Kovarianz- und Transformationsmatrizen können die Elemente a und b von A_g (k + 1), b_g (k + 1) durch Lösen der folgenden Gleichung für jedes g erzielt werden, wobei der Offset-Wert b gegeben ist durch
wobei der Einfachheit halber die Abhängigkeit von g weggelassen wurde. Die Variablen μ_i, δ 2 / i, μ, σ 2 / i sind die Elemente der Vektoren und Diagonalmatrizen μ_ig, Σ_ig, μ _ig bzw. Σ_ig,
4. Wenn das Konvergenzkriterium nicht erfüllt ist, gehe zu Schritt 2.

Da die Gaußadaptionstransformation, die von der Erfindung eingesetzt wird, eine Instanz des Baum-Welch-Algorithmus für HMMs mit beschränkten Mischungsdichten ist, kann sie effizient implementiert werden. Genauer gesagt sind die ausreichenden Statistiken dieselben wie im Fall der nicht mit Nebenbedingungen versehenen Mischdichten. Der E-Schritt bei jeder Iteration des Adaptionsalgorithmus erfordert somit die Berechnung und die Speicherung dieser Statistiken und ist äquivalent zu dem E-Schritt des Baum-Welch-Algorithmus für nicht mit Nebenbedingungen versehenen Mischungsdichten. Die Berechnungsanforderung des M-Schritts sind sehr gering, verglichen mit dem E-Schritt.
Gemäß der Erfindung kann die obige Transformation ebenso modifiziert werden, daß sie sich monoton dem sprecherabhängigen Training (SD) nähert, wenn die Menge an Adaptionssprache erhöht wird durch Einstellen eines Grenzwertes und erneutes Abschätzen ohne Randbedingungen aller individueller Gaußfunktionen, für die die Anzahl von zugewiesenen Abfragen größer als der Grenzwert ist. Somit werden alle Gaußfunktionen mit einer ausreichend großen Menge an Adap tionssprache unabhängig erneut abgeschätzt, wo Gaußfunktionen mit wenig oder keinen Adaptionsdaten in Gruppen adaptiert werden. Zusätzlich, falls die Gesamtmenge von Adaptionsdaten für ein bestimmtes Genon geringer als ein vorbestimmter Grenzwert ist, dann wird eine Identitätstransformation für dessen alle Gaußfunktionen verwendet. Sobald die Transformationsparameter bestimmt sind, können die eingeschränkten ML-Abschätzungen für die Mittelwerte und Kovarianzen erhalten werden unter Verwendung von μCMLig = Λgμig + bg ΣCMLig = ΛgΣigΛTg (13)
Kombinieren der Transformation und bayesian-basierten Adaption
Gemäß einer weiteren Ausführungsform der Erfindung, die in 5 dargestellt ist, wird die transformationsbasierte Sprecheradaptionstechnik effektiv mit einer bekannten Bayesian-Adaptionstechnik kombiniert, um bessere Erkennungsleistung zu erzielen. In bayesianischen Adaptionstechniken wird die begrenzte Menge von Adaptionsdaten optimal mit dem vorherigen Wissen, das von sprecherunabhängigen Trainingsdaten abgeleitet wurde, kombiniert. Mit der geeigneten Auswahl der vorherigen Verteilungen, den maximalen a posteriori (MAP) Abschätzungen für die Mittelwerte und Kovarianzen der HMMs können Einzelgaußobservationsdichten erhalten werden unter Verwendung von Linearkombinationen von sprecherabhängigen Zählungen und einigen Größen, die von den Parametern der vorherigen Verteilungen abhängen (siehe Lee 1991). Der Begriff Zahlen bezeichnet die ausreichende Statistik, die durch Durchführen einer Iteration des Vorwärts-Rückwärts-Algorithmus auf den Adaptionsdaten erzielt wurde. MAP Abschätzungen für die Parameter der HMMs mit kontinuierlichen Mischdichten können ebenso und auf die gleiche Art und Weise erhalten werden (siehe Lee 1993). Beispielsweise kann die MAP Abschätzung für den Mittelwert μ der i-ten Gaußfunktion in der HMM-Mischdichte des Zustandes s erhalten werden unter Verwendung von
wobei γ₁(s) die Wahrscheinlichkeit zur Zeit t dem Zustand s zu sein bei gegebenen gegenwärtigen HMM Parametern ist und ϕ_it(s) die a posteriori Wahrscheinlichkeit der i-ten Mischkomponenten ist.
Die Größen τ_i(s), m_i(s) sind Parameter der verbundenen vorherigen Dichte der Mischparameter, die ausgewählt wurde als ein Produkt der Dirichlet- und normaler Wishart-Dichten. Der Parameter τ_i(s) wird üblicherweise empirisch abgeschätzt und kann verwendet werden, um die Adaptionsrate zu steuern. Ähnliche Abschätzungsformeln können für die Kovarianzen σ der Gaußfunktionen verwendet werden. Basierend auf der ähnlichen Formel für die Statistiken zweiter Ordnung kann ein genähertes MAP (AMAP) implementiert sein durch lineares Kombinieren der sprecherunabhängigen und sprecherabhängigen Zahlen für jede Komponentendichte. ⟨x⟩AMAPig = λ⟨x⟩SIig + (1 – λ)⟨x⟩SDig (16) ⟨xxT⟩AMAPig = λ⟨xxT⟩SIig + (1 – λ)⟨xxT⟩SDig (17) nAMAPig = λnSIig +(1 – λ)nSDig (18)wobei die Exponenten auf der rechten Seite die Daten bezeichnen, über welche die folgenden Statistiken (Zahlen) gesammelt werden während einer Iteration des Vorwärts-Rückwärts-Algorithmus
Die Mittelwerte und Kovarianzen von jeder Gaußkomponentendichte können dann unter Verwendung der kombinierten Zahlen abgeschätzt werden. Das Gewicht λ steuert die Adaptionsgeschwindigkeit. Dieses Verfahren kann als genäherte Bayesian-Adaption bezeichnet werden. Ähnliche Adaptionsschemata erschienen ebenso für diskrete HMMs (siehe Huang 1993) und könenn verwendet werden, um die Mischgewichte in den hier beschriebenen näherungsweisen bayesianischen Schemata zu adaptieren.
Das Gewicht λ steuert die Adaptionsgeschwindigkeit. Unter Verwendung der kombinierten Zahlen, können wir die AMAP-Abschätzungen der Mittelwerte und Kovarianzen von jeder Gaußkomponentendichte berechnen aus:
Ähnliche Adaptionsschemata erschienen ebenso für diskrete HMMs [11] und können verwendet werden, um die Mischgewichte in dem hier beschriebenen näherungsweise bayesianischen Schema zu adaptieren.
In Bayesian-Adaptionsschemata werden nur die Gaußfunktionen der sprecherunabhängigen Modelle, die am wahrscheinlichsten einige der Adaptionsdaten erzeugt haben, an den Sprecher angepaßt. Diese Gaußfunktionen können nur einen kleinen Bruchteil der Gesamtzahl in kontinuierlichen HMMs mit einer großen Anzahl von Gaußfunktionen darstellen. Auf der anderen Seite, wenn die Menge der Adaptionsdaten sich erhöht, werden die sprecherabhängigen Statistiken die schwierigen sprecherunabhängigen dominieren und die bayesianischen Techniken werden eine sprecherabhängige Leistung erreichen. Wir müssen daher ein Adaptionsschema anstreben, das die schönen Eigenschaften der bayesianischen Schemata für große Menge von Adaptionsdaten beibehalten und eine verbesserte Leistung für kleine Menge von Adaptionsdaten hat. Wir können dies erreichen durch Verwendung unserer transformationsbasierten Adaption als ein Vorverarbeitungsschritt, um die sprecherunabhängigen Modelle zu transformieren, so daß sie besser an die neuen Sprechercharakteristiken passen und die vorherige Information in den MAP-Schätzschemata verbessern.
Um die Transformation und die näherungsweise bayesianischen Verfahren zu kombinieren, transformiert die Erfindung als erstes die sprecherunabhängigen Zahlen unter Verwendung der mit dem oben beschriebenen ML-Verfahren mit Nebenbedingungen (CML) abgeschätzten Parameter. ⟨x⟩CMLig = Ag⟨x⟩SIig + bg (23) ⟨xxT⟩CMLig = Ag⟨xxT⟩SIig ATg ⟨x⟩SIig bTg ⟨xT⟩SIig ATg + nSIig ng bTg (24)
Die transformierten Zahlen können dann mit den sprecherabhängigen Zahlen, die gesammelt wurden unter Verwendung der Adaptionsdaten, kombiniert werden. ⟨x⟩COMig = λ⟨x⟩CMLig + (1 – λ)⟨x⟩SDig ⟨xxT⟩COMig = λ⟨xxT⟩CMLig + (1 – λ)⟨xxT⟩SDig , nCOMig = λnCMLig + (1 – λ)nSDig (25)und Modelle des kombinierten Verfahrens können aus diesen Zahlen abgeschätzt werden unter Verwendung von
Diese Prozedur ist schematisch in 1 gezeigt. Ein Blockdiagramm eines Spracherkennungssy stems, das diese Prozedur einsetzt, ist in 5 gezeigt. Zusätzlich zu den Komponenten in 4 beinhaltet dieses Erkennungssystem einen Satz von sprecherabhängigen Modellen 130 und eine Kombinationsengine 132 für das Kombinieren der SD-Modelle 132 mit den SA-Modellen 123, um die Erkennungsleistung der Modelle 123 zu verbessern.
Experimentelle Ergebnisse des CML-Verfahrens
Wir bewerteten unsere Adaptionsalgorithmen auf dem großen Vokabular des Hauptteils des Wall Street Journals. Experimente wurden ausgeführt unter Verwendung des DECIPHER^TM Spracherkennungssystems von SRI, das mit einer Sechs-Merkmals-Frontend konfiguriert wurde, die 12 Cepstrum-Koeffizienten (c₁–c₁₂), die Cepstrum-Energie (c₀) und deren Differenzen erster und zweiter Ordnung ausgibt. Die Cepstrum-Merkmale werden aus einer FFT-Filterbank berechnet und eine nachfolgende Cepstrum-Mittelwert-Noirmalisierung wird auf einer Satzbasis durchgeführt. Wir ver wendeten genonische versteckte Markov-Modelle mit einem willkürlichen Grad gemeinsamer Gaußfunktionennutzung über unterschiedliche HMM-Zustände. Für ein schnelles Experiment verwendeten wir den progressiven Such-Framework: einen ursprünglichen, sprecherunabhängigen Erkenner mit einem Bigram-Sprachmodell Wortgitter für alle Äußerungen in dem Testsatz aus. Diese Wortgitter werden dann erneut bewertet unter Verwendung von sprecherunabhängigen und sprecheradaptierten Modellen. Wir führten zwei Reihen von Experimenten durch auf Muttersprachlern und Nicht-Muttersprachlern des American English. Alle Experimente wurden auf dem geschlossenen Vokabulartask mit 5000 Worten durchgeführt und werden unten beschrieben.
Um die SI-, SD- und SA-Erkennungsleistung für Muttersprachler zu vergleichen, führten wir eine ursprüngliche Studie unserer Adaptionsalgorithmen auf Phase-0 WSJ-Hauptteil durch. Wir verwendeten phonetisch verbundene HMM-Mischsysteme mit allen Allophonen desselben Kontextunabhängigen Lauts, die dieselben Mischkomponenten gemeinsam nutzen, d.h. wir verwendeten Systeme mit einem Genon pro Laut. Sprecherunabhängige Systeme wurden mit 3500 Sätzen von 42 männlichen Sprechern trainiert. Die unterschiedlichen Cepstrum-Merkmale wurden als unabhängige Beobachtungsströme modelliert und jedes Codebook verwendete 50 Gaußfunktionen für die Vektormerkmale und 15 Gaußfunktionen für die Skalarmerkmale (Energiemerkmale). Es gab insgesamt 6300 phonetische Modelle, jeweils mit drei Zuständen. Die Anzahl von unterschiedlichen Ausgabeverteilungen wurde auf 6300 geclustert (eine 3-fache Reduktion) unter Verwendung von zustandsbasierten Clustern, da ein kompakteres System mit weniger Parametern für die Adaption besser geeignet ist. Die Leistung des Adaptionsalgorithmus wurde bewertet auf 100 Sätze von jedem von sechs männlichen Sprechern (001, 00b, 00c, 00d, 400 und 431) für variierende Mengen von Trainings-/Adaptionssätzen. Die SI-Wortfehlerrate für diese Sprecher betrug 15,51 % einschließlich Auslassungen und Einfügungen. Wir bewerteten ebenso die SD Leistung durch getrenntes Trainieren eines sprecherabhängigen Systems für jeden der sechs Sprecher unter Verwendung von 600 Äußerungen und fanden, daß die SD-Fehlerrate 11,51% betrug. Wir testeten dann den Adaptionsalgorithmus unter Verwendung einer kleinen Menge von Adaptionsdaten (40 Äußerungen) und die Wortfehlerrate nach der Adaption betrug 13,60%. Somit wurde mit 40 Adaptionssätzen 60% des Unterschiedes zwischen der SI- und SD-Leistung überbrückt.
Wir bewerteten dann die SA-Systemleistung für variierende Menge von Adaptionsdaten unter Verwendung von drei der Sprecher. Die Ergebnisse sind in 6 zusammengefaßt. Mit 100 Adaptionssätzen erzielte das Adaptionsschema die Leistung eines sprecherabhängigen Systems, das 6-mal so viel Trainingsdaten verwendete. Wenn alle SD-Trainingsdaten als Adaptionsdaten verwendet werden, erreicht das SA-System eine 50% Reduktion der Fehlerrate gegenüber dem SI-System und eine 25% Reduktion gegenüber dem SD-System.
Die Sprecheradaption wird eine sehr wichtige Technologie für Nicht-Muttersprachler, da die SI-Fehlerrate für eine praktische Anwendung zu hoch ist. Bei dem Testen des Adaptionsalgorithmus bei der „Spoke 3" Aufgabe des Phase 1 Wall Street Journal Hauptteils fokussierten wir uns auf das Verbessern der Erkennungsleistung für Nicht-Muttersprachler des American English unter Verwendung der Adaption. Da der Phase 1 Hauptteil während dieser Reihe von Experimenten verfügbar war, wurden die SI-Systeme aufgebaut unter Verwendung von 17000 Trainingsäußerungen von 140 männlichen Sprechern. Um die Rechenanforderungen zu reduzieren, stellten wir den Algorithmus fein ein unter Verwendung von fünf männlichen Sprechern in dem Phase-1 WSJ-Entwicklungsdatensatz. Der Bewertungsdatensatz wurde nur am Ende der Entwicklungsphase einmal abgearbeitet. Der Datensatz beinhaltet 40 Testsätze und 40 phonetisch ausgeglichene Adaptionssätze pro Sprecher. Die Sprecher wurden ausgewählt wie es ihrer Redegewandtheit in English entsprach, wobei starke und schwache Akzente abgedeckt wurden.
Wir testeten als erstes vier unterschiedliche Systeme, um den optimalen Grad der gemeinsamen Gaußfunktionsnutzung für diese Aufgabe zu bestimmen. Alle diese Systeme verwendeten 11932 kontextabhängige phonetische Modelle, jeweils mit drei Zuständen. Die Kontextabhängigkeit wurde nur innerhalb der Worte modelliert, da wir in Vorexperimenten erkannt haben, daß das Modellieren der Koartikulation über Wortgrenzen hinaus die Erkennungsleistung für Nicht-Muttersprachler nicht verbessert. Die Anzahl der in diesen Systemen verwendeten Genone betrug 40 (1 Genon pro Laut), 200, 500 und 950. Jedes Genon bestand aus einer Mischung von 43 Gaußverteilungen. Die SI- und SA-Leistung ist in 7 gezeigt. Die Adaption wurde sequentiell an die Gaußverteilungen und die Mischgewichte angewendet.
In genonischem HMMs kann ein willkürlicher Grad von Mischung, die über unterschiedliche HMM-Zustände verknüpft sind, über eine agglomerative Clusterprozedur ausgewählt werden. Wenn der Grad der Verknüpfung gering ist und folglich die Anzahl von Genonen groß ist (wie in den 500- und 950-Genonsystemen in 7), dann wird eine große Anzahl von Lineartransformationen während der Adaption abzuschätzen sein. Wir können dieses Problem beheben durch Verwenden der Verknüpfung der Transformationen über unterschiedliche Genone und das agglomerative Clusterschema, das für die Genonkonstruktion verwendet wurde, ist hierfür sehr geeignet. Jeder Knoten n in dem Baum, der während der Clusterprozedur erzeugt wird, entspricht einem Satz von Zuständen, wobei die Baumblätter einzelnen HMM-Zuständen entsprechen. Der Grad der Verknüpfung, die in einem bestimmten System verwendet wurde, kann dargestellt werden durch einen Schnitt durch den Baum. Die Lokalisierung des Schnittes wird bestimmt durch das Stoppkriterium des agglomerativen Clusters. Wenn wir eine kleinere Anzahl von Transformationen als die Anzahl von Genonen in dem System verwenden wollen, können wir somit das Stoppkriterium etwas lockern (d.h. aggressiver clustern) und einen zweiten Schnitt bei einem höheren Level durch den Baum bestimmen. Alle Knoten des ursprünglichen Schnitts 8 (d.h. alle Genone), die unter denselben Knoten des neuen Schnitts fallen, können dieselbe Transformation gemeinsam nutzen. Die dritte Spalte in 7 zeigt die Anzahl von Lineartransformationen, die bei der erneuten Abschätzung der Gaußdistributionen verwendet wurde. In den ersten beiden Systemen verwendeten wir eine Transformation pro Genon. In den verbleibenden zwei Systemen mit großen Anzahlen von Genonen gruppierten wir die Transformationen, um die Anzahl von abzuschätzenden Parametern zu reduzieren.
Die SI-Wortfehlerraten für die verschiedenen Systeme waren ähnlich und reichten von 28,7% bis 30,1%. Durch Verwendung der Verknüpfung der Transformationen während der Adaption für die 950- und 500-Genonsysteme und der Reduktion der Anzahl von Transformationen von 950 und 500 auf 200, wurden die SA-Fehlerraten von 17,7% und 16,6% auf 15,8% und 15,1% reduziert. Die SA-Fehlerrate von 15,1% war die geringste Gesamtfehlerrate für alle Systeme, die wir untersuchten, und die durchschnittliche Verbesserung aufgrund des Adaptionsalgorithmus für die fünf Sprecher betrug 47%. Um den Relativbeitrag der zwei Stufen unseres Adaptionsschemas zu bewerten, bewerteten wir die SA-Fehlerrate für unser bestes System mit abgeschalteter Mischgewichtungsadaption. Wir fanden, daß durch Adaptieren von nur den Gauß-Codebooks unter Verwendung des Abschätzverfahrens mit Randbedingungen die SA-Wortfehlerrate 15,6% betrug. Somit wird für kontinuierliche HMMs die größte Leistungsverstärkung während der Adaption durch Adaptieren der Gauß-Codebooks erzielt.
Experimentelle Ergebnisse des kombinierten Verfahrens
Wir bewerteten ebenso das kombinierte Verfahren auf dem „Spoke-3" Task des Phase-1 Großvokabulars des Wall Street Journal Hauptteils und versuchten, die Erkennungsleistung für Nicht-Muttersprachler der American English zu verbessern. Die sprecherunabhängigen kontinuierlichen HMM-Systeme, die wir als Saatmodelle für die Adaption verwendeten, waren geschlechtsabhängig und wurden durch 140 Sprecher und 17000 Sätze für jedes Geschlecht trainiert. Jedes der beiden Systeme hatte 12000 kontextabhängige phonetische Modelle, die 500 Gauß-Codebooks mit 32 Gaußkomponenten pro Codebook gemeinsam nutzten. Für die schnelle Experimentierung verwendeten wir den progressiven Such-Framework: ein ursprünglicher, sprecherunabhängiger Erkenner mit einem Bigram-Sprachmodell gibt Wortgitter für alle Äußerungen in dem Testsatz aus. Diese Wortgitter werden dann unter Verwendung von sprecheradaptierten Modellen erneut bewertet. Wir verwendeten die 5000 Wort, geschlossene Vokabular Bigram- und Trigram-Sprachmodelle mit Basislinie, die von dem Lincoln Laboratory bereitgestellt wurden. Das Trigram-Sprachmodell wurde implementiert unter Verwendung der N-besten Neubewertungsparadigmen unter Neubewerten der Liste der N-besten Sprachhypothesen, die unter Verwendung des Bigram-Sprachmodells erzeugt wurden.
In der ersten Reihe von Experimenten verwendeten wir das Bigram-Sprachmodell. Wir bewerteten als erstes die Leistung der transformationsbasierten Adaption für verschiedene Anzahlen von Transformationen und Mengen von Adaptionsdaten. Wie wir in 8 sehen, wo wir die Wortfehlerrate als eine Funktion der Anzahl von Adaptionssätzen aufgetragen haben, übertreffen mehrere Transformationen sehr beschränkte Schemata, die ein oder zwei Transformationen verwenden. Die Leistung mit 20 und 40 Transformationen ist ähnlich und besser als der weniger beschränkte Fall von 160 Transformationen. Wenn jedoch die Menge von Adaptionsdaten sich erhöht, profitieren die 160 Transformationen von den zusätzlichen Daten und übertreffen die eingeschränkteren Schemata. Ein signifikanter Abfall in der Fehlerrate wird erzielt mit nur 5 Adaptionssätzen. Wenn unter Verwendung eines einzelnen Satzes adaptiert wird, ist die Leistung ähnlich für verschiedene Zahlen von Transformationen außer für den Fall von zwei Transformationen. Der Grund ist, daß unserer Implementierung einer Transformation nur erneut bewertet wird, wenn die Anzahl von Observationen größer als ein Grenzwert ist, ansonsten verwenden wir eine Globaltransformation, die aus allen Daten abgeschätzt wurde. Da die meisten Transformationen auf die globale Transformation für den Fall eines einzelnen Adaptionssatzes zurückgesetzt werden, zeigen die Schemata mit unterschiedlichen Transformationsanzahlen eine ähnliche Leistung.
In 9 haben wir die Wortfehlerraten der kombinierten Schemata für dieselbe Anzahl von Transformationen und Adaptionssätzen wie in 8 aufgetragen. Die Systeme, die verwendet werden, um die Ergebnisse von 8 zu erhalten, werden als vorheriger Bayesian-Abschätzungsschritt, wie in Sektion 3 erläutert, verwendet. Wir können sehen, daß die Leistung des kombinierten Schemas weniger empfindlich gegenüber der Anzahl von verwendeten Transformationen wird, insbesondere bei größeren Zahlen von Adaptionssätzen. Dieses Verhalten wird erwartet, da Bayesian-Schemata sich asymptotisch an die sprecherabhängige Leistung annähern, wenn sich die Menge der Adaptionsdaten erhöht. Wenn die Anzahl von Adaptionssätzen jedoch gering ist, ist es notwendig, die geeignete Anzahl von Transformationen auszuwählen und den Bayesian-Schritt mit guter Vorabinformation auszustatten.
In 10 vergleichen wir die Wortfehlerraten des Nur-Transformationsverfahrens mit 20 und 160 Transformationen, das genäherte Bayesian-Verfahren mit konventionellen vorherigen Werten und das kombinierte Verfahren für verschiedene Mengen von Adaptionsdaten. Im letzteren Fall wurde die Anzahl von Transformationen entsprechend der verfügbaren Menge von Adaptionsdaten optimiert. Das Nur-Transformationsverfahren mit 20 Transformationen übertraf das Bayesian-Schema mit konventionellen Vorabwerten, wenn weniger als 10 Sätze für die Adaption verwendet werden, wobei sich die Situation umkehrt, wenn mehr Adaptionssätze verwendet werden. Dies stimmt mit unserer Behauptung überein, daß sich transformationsbasierte Verfahren schneller anpassen, während Bayesian-Schemata bessere asymptotische Eigenschaften haben. Die Leistung des Transformationsansatzes für größere Mengen von Adaptionsdaten kann durch Erhöhen der Anzahl von Transformationen verbessert werden. In derselben Figur können wir ebenso den Erfolg des kombinierten Verfahrens erkennen, das die ersten beiden Verfahren über den gesamten Bereich der Adaptionssätze, den wir untersuchten, signifikant übertrifft. Der Transformationsschritt stellt eine schnelle Anpassung zur Verfügung, wenn wenige Adaptionssätze verwendet werden und der Bayesian-Erneut-Abschätzungsschritt verbessert die asymptotische Leistung.
Schließlich bewerteten wir die Wortfehlerrate unserer besten Leistungskonfiguration für 40 Adaptionssätze auf den Entwicklungs- und den vorher unbekannten November ARPA-Bewertungssätzen des WSJ-Hauptteils unter Verwendung eines Trigram-Sprachmodells. Unsere Ergebnisse, dargestellt in 11, stellen die besten veröffentlichten Ergebnisse bis heute für diese Aufgabe dar. Die nicht-muttersprachliche Erkennungsleistung nach der Adaption unter Verwendung von nur 40 Sätzen ist leicht besser als die von Muttersprachlern, welche für dieselben sprecherunabhängigen Modelle eine Wortfehlerrate von 9,7% bzw. 7,2% mit einem Bigram- bzw. einem Trigram-Sprachmodell hat. Der erstgenannte Erfinder, ein Nicht-Muttersprachler des American English mit einem besonders starken Akzent war Teil des Entwicklungssatzes. Da zusätzliche Adaptionsdaten für ihn verfügbar waren, bewerteten wir die Adaptionsleistung für bis zum 285 Adaptionssätze (näherungsweise 40 Minuten Sprachtext). Für diesen bestimmen Sprecher verringerte sich die spre cherunabhängige Fehlerrate um einen Faktor 4 bzw. 6 unter Verwendung von 40 bzw. 285 Adaptionssätzen. Die sprecherangepaßte Fehlerrate von 7,1% ist vergleichbar mit der Leistung des Standes der Technik für Muttersprachler für diese Aufgabe.
Die Erfindung wurde nun unter Bezug auf spezifische Ausführungsformen beschrieben. Andere Ausführungsformen ergeben sich dem Fachmann. Es ist daher nicht beabsichtigt, daß diese Erfindung beschränkt wird, außer wie in den angefügten Ansprüchen angezeigt wird.

Claims

Sprecheradaptives Spracherkennungssystem, das aufweist: einen Satz von sprecherunabhängigen Modellen, die ausgewählte Untereinheiten der Sprache darstellen, wobei jedes Modell eine Mehrzahl von verknüpften Zuständen hat und jeder Zustand mit einer Summe von Wahrscheinlichkeitsfunktionen, die aus Trainingsdaten bestimmt wurden, verknüpft ist, wobei die Trainingsdaten von einer Mehrzahl von Sprechern aus einer Trainingspopulation abgeleitet werden, wobei die sprecherunabhängigen Modelle in Cluster entsprechend der Wahrscheinlichkeitsfunktionen, die von den sprecherunabhängigen Modellen in jedem Cluster gemeinsam genutzt werden, angeordnet sind, eine Einrichtung für das Sammeln von Sprecheradaptionsdaten entsprechend zumindest einem, jedoch nicht notwendigerweise von allen der sprecherunabhängigen Modelle, eine Einrichtung für das Erzeugen eines Satzes von sprecheradaptierten Modellen entsprechend den sprecherunabhängigen Modellen, wobei die Einrichtung für die Erzeugung aufweist: – eine Einrichtung für das Bewerten, wie gut die Adaptionsmerkmale, die mit den erkannten Zuständen in den Adaptionsdaten koordiniert sind, durch die entsprechenden Zustände der sprecherunabhängigen Modelle beschrieben werden, – eine Einrichtung für das gemeinsame Abschätzen einer Mehrzahl von verbesserten Wahrscheinlichkeitsfunktionen für entsprechende Cluster von sprecherunabhängigen Modellen basierend auf Adaptionsdaten, die in diesen Clustern für sprecherunabhängige Modelle verfügbar sind, – eine Einrichtung für das unabhängige erneute Abschätzen zumindest einer verbesserten Wahrscheinlichkeitsfunktion für ein sprecherunabhängiges Modell, für das mehr als eine vorbestimmte Grenzmenge von entsprechenden Adaptionsdaten verfügbar sind, – eine Einrichtung für das Bestimmen einer Transformation entsprechend der verbesserten Wahrscheinlichkeitsfunktionen für das Transformieren des Satzes von sprecherunabhängigen Modellen in den Satz von entsprechenden sprecheradaptierten Modellen und – eine Einrichtung für das Anwenden der Transformation, um die sprecheradaptierten Modelle zu erzeugen, wobei die Transformation angewendet werden kann, um zumindest ein sprecheradaptiertes Modell zu erzeugen, ungeachtet dessen, wie viele Adaptionsdaten für das entsprechende sprecherunabhängige Modell verfügbar sind, und eine Einrichtung für das Verwenden des Satzes von sprecheradaptierten Modellen, um nachfolgende Sprachdaten zu erkennen.
System nach Anspruch 1, bei dem die Summe der Wahrscheinlichkeitsfunktionen eine Mischung aus einfachen Wahrscheinlichkeitsfunktionen aufweist, und wobei das Anwenden der Transformation das Transformieren der einfachen Wahrscheinlichkeitsfunktionen aufweist.
System nach Anspruch 2, bei dem die einfachen Wahrscheinlichkeitsfunktionen Gauß-Funktionen sind.
System nach Anspruch 1, bei dem die Zustände der sprecherunabhängigen Modelle Gauß-Mischungen in der Form von
System nach Anspruch 4, bei dem die Summe der Wahrscheinlichkeitsfunktionen der sprecheradaptierten Modelle die Form hat
System nach Anspruch 5, das weiterhin aufweist: – eine Einrichtung für das Initialisieren aller Transformationen mit A_g(0) = I, b_g(0) = 0, g = 1, ..., N_i, – eine Einrichtung für das Einstellen von k = 0, – eine Einrichtung für das Durchführen eines E-Schrittes: Durchführen einer Iteration eines Vorwärts-Rückwärts-Algorithmus auf den Sprachdaten unter Verwendung von Gauß-Funktionen, die mit dem gegenwärtigen Wert der Transformationen A_g(k), b_g(k) transformiert sind, – eine Einrichtung für das Ansammeln für alle Komponenten der Gauß-Funktionen und aller Genone g der ausreichenden Statistiken:
wobei γ_i(s_i) die Wahrscheinlichkeit ist, den Zustand s_i zur Zeit t zu haben, wobei die gegenwärtigen HMM-Parameter λk gegeben sind, die Summe über alle Zeiten und HMM-Zustände verläuft, die dieselben Mischkomponenten zeigen, und ϕ_it(s_t) die Posterior-Wahrscheinlichkeit ϕit(st) = ρ(ωig|Ag(k), bg(k), xt, st ist, – eine Einrichtung für das Durchführen eines M-Schrittes: Berechnen der neuen Transformationsparameter A_g (k + 1), b_g (k + 1), die erhalten werden durch Lösen der folgenden Gleichungen für jedes g
wobei der Offsetwert b gegeben ist durch
wobei die Variablen μ_i, σ 2 / i, μ, σ 2 / i die Elemente der Vektoren und Diagonalmatrizen μ_ig, Σ_ig, μ _ig, Σ_ig und – eine Einrichtung für das Gehen zum E-Schritt, falls ein Konvergenzkriterium nicht erfüllt ist.
System nach Anspruch 1, das weiterhin aufweist: eine Einrichtung für das Speichern einer Mehrzahl von sprecherunabhängigen Modellen, die durch die Trainingsengine für einen individuellen Sprecher trainiert wurden, eine Einrichtung für das Kombinieren von Parametern der sprecheradaptierten Modelle mit Parametern der sprecherunabhängigen Modelle, um verbesserte sprecherabhängige Modelle zu erzeugen.
System nach Anspruch 7, bei dem die verbesserten Sprecherabhängigen Modelle Parameter haben, die entsprechend der Gleichungen abgeleitet wurden mit der Form:
Sprecheradaptives Spracherkennungssystem nach Anspruch 8, das weiterhin beinhaltet: eine Mehrzahl von Codebüchern, wobei jedes Codebuch einen Satz von einfachen Wahrscheinlichkeitsfunktionen enthält, wobei jedes Codebuch mit einer Mehrzahl der Zustände verknüpft ist, wobei die Wahrscheinlichkeitsfunktion von jedem der Zustände eine gewichtete Summe der einfachen Wahrscheinlichkeitsfunktion ist, die in deren verknüpftem Codebuch abgelegt sind, eine Einrichtung für das Verwenden der Transformation auf den Satz von Modellen, um einen Satz von sprecheradaptierten Modellen zu erzeugen durch Anwenden der Transformation, die aus einem Zustand abgeleitet ist, an das Codebuch, das mit diesem Zustand verknüpft ist, wodurch das Modell für alle anderen Zustände, die mit diesem Codebuch verknüpft sind, transformiert wird.
Verfahren zum Entwickeln von Spracherkennungsmodellen, die an einen individuellen Sprecher angepaßt sind, wobei das Verfahren die Schritte aufweist: Bereitstellen eines Satzes von sprecherunabhängigen Modellen, die ausgewählte Untereinheiten der Sprache darstellen, wobei jedes Modell mit einer Mehrzahl von Zuständen verknüpft ist und jeder Zustand mit einer Summe von Wahrscheinlichkeitsfunktionen verknüpft ist, die aus Trainingsdaten bestimmt wurden, wobei die Trainingsdaten aus einer Mehrzahl von Sprechern aus einer Trainingspopulation abgeleitet wurden, wobei die sprecherunabhängigen Modelle in Clustern entsprechend der Wahrscheinlichkeitsfunktionen, die in jedem Cluster durch die sprecherunabhängigen Modelle gemeinsam genutzt werden, angeordnet sind, Sammeln von Sprecheradaptionsdaten entsprechend zumindest einiger, jedoch nicht notwendigerweise aller sprecherunabhängigen Modelle, Erzeugen eines Satzes von sprecheradaptierten Modellen entsprechend der sprecherunabhängigen Modelle, wobei das Erzeugen aufweist: Bewerten, wie gut die Adaptionsmerkmale, die mit erkannten Zuständen in den Adaptionsdaten ausgerichtet sind, durch die entsprechenden Zustände der sprecherunabhängigen Modelle beschrieben werden, gemeinsames Abschätzen einer Mehrzahl von verbesserten Wahrscheinlichkeitsfunktionen für die entsprechenden Cluster der sprecherunabhängigen Modelle basierend auf Adaptionsdaten, die in diesen Clustern für sprecherunabhängige Modelle verfügbar sind, unabhängiges erneutes Abschätzen zumindest einer verbesserten Wahrscheinlichkeitsfunktion für ein sprecherunabhängiges Modell, für das mehr als eine vorbestimmte Grenzmenge von entsprechenden Adaptionsdaten verfügbar ist, Bestimmen einer Transformation entsprechend der verbesserten Wahrscheinlichkeitsfunktionen für das Transformieren des Satzes von sprecherunabhängigen Modellen in den Satz von entsprechenden sprecheradaptierten Modellen und Anwenden der Transformation, um die sprecherangepaßten Modelle zu erzeugen, wobei das Anwenden der Transformation das Erzeugen zumindest eines sprecherangepaßten Modells aufweist, unabhängig davon, wie viele Adaptionsdaten für das entsprechende sprecherunabhängige Modell verfügbar sind.
Verfahren nach Anspruch 10, wobei die Wahrscheinlichkeitsfunktionen Gauß-Funktionen sind.
Verfahren nach Anspruch 10, bei dem die Anzahl von Clustern eine willkürliche Zahl ist, die basierend auf Systemressourcen und gewünschten Leistungscharakteristika ausgewählt wird.
Verfahren nach einem der Ansprüche 10 bis 12, das weiterhin aufweist: Speichern einer Mehrzahl von sprecherabhängigen Modellen, die für einen individuellen Sprecher trainiert wurden, Kombinieren von Parametern der sprecheradaptierten Modelle mit Parametern der sprecherabhängigen Modelle, um verbesserte sprecherabhängige Modelle zu erzeugen.