DE60111329T2

DE60111329T2 - Anpassung des phonetischen Kontextes zur Verbesserung der Spracherkennung

Info

Publication number: DE60111329T2
Application number: DE60111329T
Authority: DE
Inventors: Dr. Volker Fischer; Dr. Eric-W Winchester Janke; Dr. Siegfried Kunzmann; Jon Tyrrell
Original assignee: International Business Machines Corp
Current assignee: Nuance Communications Inc
Priority date: 2000-11-14
Filing date: 2001-10-11
Publication date: 2006-03-16
Anticipated expiration: 2021-10-12
Also published as: US6999925B2; US20020087314A1; DE60111329D1; ATE297588T1

Description

1. HINTERGRUND DER ERFINDUNG
1.1 Gebiet der Erfindung
Die vorliegende Erfindung betrifft Spracherkennungssysteme. Insbesondere betrifft die Erfindung ein computergestütztes Verfahren und entsprechende Mittel sowie ein Computerprogrammprodukt zur automatischen Erzeugung eines zweiten Spracherkenners aus einem ersten Spracherkenner, wobei der zweite Spracherkenner an eine bestimmte Domäne angepasst ist.
1.2 Beschreibung und Nachteile des Stands der Technik
Heutige Universal-Spracherkenner zur kontinuierlichen Spracherkennung mit großem Wortschatz müssen bei verschiedenen Sprechern, Domänen oder anderen Einsatzbedingungen an die jeweilige Situation angepasst werden, um in diesen unterschiedlichen Fällen eine gute akustische Auflösung zu liefern. Das erfordert die Bestimmung einer sehr großen Anzahl von verschiedenen Parametern, die das Verhalten der Spracherkenner steuern. Beispielsweise nutzen Spracherkenner, die auf dem Hidden-Markov-Modell (HMM) beruhen, zur Erfassung der vielen Varianten der natürlich gesprochenen menschlichen Sprache üblicherweise mehrere Tausend HMM-Zustände und mehrere Zehntausend mehrdimensionaler elementarer Wahrscheinlichkeitsdichte-Funktionen (probability density functions, PDFs). Daher erfordert das Training eines mit hoher Genauigkeit arbeitenden Spracherkenners die zuverlässige Bewertung von mehreren Millionen von Parametern, was nicht nur zeitraubend ist, sondern auch eine beträchtliche Menge an Trainingsdaten voraussetzt.
Es ist allgemein bekannt, dass die Erkennungsgenauigkeit eines Spracherkenners erheblich abnimmt, wenn die phonetischen Kontexte und – als Folge davon – die in den Trainingsdaten gefundenen Ausspracheformen nicht genau denen der vorgesehenen Anwendung entsprechen. Das gilt besonders für Dialekte oder Nicht-Muttersprachler, kann jedoch auch beim Wechsel in andere Domänen zum Beispiel innerhalb derselben Sprache oder beim Wechsel auf andere Dialekte beobachtet werden. Handelsübliche Produkte zur Spracherkennung versuchen dieses Problem zu lösen, indem sie jeden einzelnen Endanwender dazu veranlassen, sich im System anzumelden und eine sprecherabhängige Neuberechnung der Parameter des akustischen Modells vorzunehmen.
Universal-Spracherkenner zur kontinuierlichen Spracherkennung mit großem Wortschatz erfassen die vielen Varianten von Sprachlauten durch Modellieren kontextabhängiger Wortteil-Einheiten, wie z. B. Phone oder Triphone, als elementare Hidden-Markov-Modelle. Statistische Parameter derartiger Modelle werden gewöhnlich aus markierten Trainingsdaten mit einem Umfang von mehreren hundert Stunden berechnet. Obwohl dies eine hohe Erkennungsgenauigkeit ermöglicht, sofern die Trainingsdaten die vorgesehene Domäne in ausreichender Weise repräsentieren, ist eine deutliche Abnahme der Erkennungsgenauigkeit zu beobachten, wenn phonetische Kontexte oder Parameter des akustischen Modells aufgrund einiger Nichtübereinstimmungen zwischen den Trainingsdaten und der vorgesehenen Anwendung nicht ausreichend genau berechnet sind.
Da die Erfassung einer großen Menge von Trainingsdaten und das anschließende Training eines Spracherkenners kostenintensiv und zeitaufwendig sind, bildet die Anpassung eines (Universal-)Spracherkenners an eine bestimmte Domäne ein vielversprechendes Verfahren zur Reduzierung der Entwicklungskosten und der Zeit bis zur Markteinführung. Gegenwärtig jedoch stellen die Anpassungsverfahren entweder einfach eine Modifizierung der Parameter des akustischen Modells zur Verfügung oder, seltener, sie wählen aus dem Bestand phonetischer Kontexte des Universal-Spracherkenners eine für die Domäne spezifische Teilmenge aus.
In "EFFECTIVE STRUCTURAL ADAPTION OF LVCSR SYSTEMS TO UNSEEN DOMAINS USING HIERARCHICAL CONNECTIONIST ACOUSTIC MODES", ICSLP '98, Oktober 1998, Seite 754–757, SYDNEY (AUSTRALIEN) wird von Fritsch, J. et al. ein Lösungsansatz für die effiziente und effektive Verkleinerung und Anpassung der Struktur von Spracherkennungssystemen mit großem Wortschatz für natürliche Sprache (large vocabulary conversational speech recognition systems, LVCSR) an Domänen vorgestellt, die dem System nicht bekannt sind. Diese Verkleinerung und Anpassung der Struktur von LVCSR-Systemen geschieht auf der Basis neuronaler Netzwerke und erfordert nur geringe Mengen transkribierter Anpassungsdaten. Dieser Lösungsansatz gestattet die dynamische Anpassung einer auf einer Baumstruktur beruhenden Modellierungshierarchie an die unterschiedlichen Eigenheiten des phonetischen Kontexts in neuen Domänen.
Angesichts des zunehmenden Interesses der Industrie an Spracherkennern für spezifische Domänen wie Spezialanwendungen, Dialekte oder Telefondienste und dergleichen sowie der bedeutenden Rolle der Sprache als Eingabemedium für die immer stärker verbreiteten Computer existiert ein deutlicher Bedarf an verbesserten Anpassungstechnologien zur Schaffung neuer Spracherkenner. Die Industrie ist auf der Suche nach Technologien, welche die schnelle Entwicklung neuer Datendateien für sprecher(un-)abhängige spezialisierte Spracherkenner mit verbesserter Anfangs-Erkennungsgenauigkeit unterstützen sowie die Reduzierung des zur kundenspezifischen Anpassung an einzelne Endanwender oder Lieferanten industrieller Software erforderlichen Aufwands.
1.2 Ziele der Erfindung
Die Erfindung beruht auf dem Ziel, eine Technologie für die schnelle und einfache kundenspezifische Anpassung von Spracherkennern an eine gegebene Domäne zur Verfügung zu stellen.
Ein weiteres Ziel besteht darin, eine Technologie zur Schaffung von spezialisierten Spracherkennern mit geringerem Ressourcenbedarf, zum Beispiel hinsichtlich Rechenzeit und Speicherbedarf, bereitzustellen.
2. Überblick über die Erfindung und ihre Vorteile
Die Aufgaben der Erfindung werden durch die einzelnen Ansprüche gelöst. Weitere vorteilhafte Anordnungen und Ausführungsarten der Erfindung werden in den jeweiligen Unteransprüchen dargestellt.
Die vorliegende Erfindung betrifft ein computergestütztes Verfahren und entsprechende Mittel sowie ein Computerprogrammprodukt zur automatischen Erzeugung eines zweiten Spracherkenners aus einem ersten Spracherkenner, wobei der zweite Spracherkenner an eine bestimmte Domäne angepasst ist. Der erste Spracherkenner umfasst ein erstes akustisches Modell mit einem ersten Entscheidungsnetzwerk und dessen entsprechenden ersten phonetischen Kontexten. In der vorliegenden Erfindung wird vorgeschlagen, dieses erste akustische Modell als Ausgangspunkt für den Anpassungsprozess zu verwenden.
Durch Neubewertung des ersten Entscheidungsnetzwerkes und der entsprechenden ersten phonetischen Kontexte auf der Grundlage von domänenspezifischen Trainingsdaten wird für den zweiten Spracherkenner ein zweites akustisches Modell mit einem zweiten Entscheidungsnetzwerk und dessen entsprechenden zweiten phonetischen Kontexten erzeugt.
Der wichtigste Vorteil des vorgeschlagenen Lösungsansatzes besteht darin, dass die Erzeugungsprozedur für das Entscheidungsnetzwerk die phonetischen Kontextinformationen des als Ausgangspunkt verwendeten ersten Spracherkenners beibehält. Im Gegensatz zu Lösungsansätzen nach dem Stand der Technik gestattet die vorliegende Erfindung gleichzeitig die Schaffung neuer phonetischer Kontexte, die im ursprünglichen Trainingsmaterial nicht vorhanden zu sein brauchen. Somit ist es möglich, den Datenbestand eines Universal-Spracherkenners auf der Grundlage einer kleinen Menge von Anpassungsdaten an eine neue Domäne anzupassen, anstatt gemäß dem Stand der Technik einen von Grund auf neuen domänenspezifischen Datenbestand zu erzeugen, was die Erfassung einer immens großen Menge domänenspezifischer Trainingsdaten erfordern würde.
3. Kurzbeschreibung der Zeichnungen
1 ist ein Diagramm, das die Gesamtstruktur der vorgeschlagenen Methode zur Erzeugung eines auf eine bestimmte Domäne zugeschnittenen Spracherkenners wiedergibt, der darüber hinaus möglicherweise auch weniger Ressourcen benötigt.
4. Beschreibung der bevorzugten Ausführungsart
In den Zeichnungen und der Spezifikation ist eine bevorzugte Ausführungsart der Erfindung dargestellt, wobei in der damit gegebenen Beschreibung, obwohl bestimmte Begriffe verwendet werden, die Terminologie lediglich in einem allgemeinen und beschreibenden Sinn und nicht in einschränkender Weise genutzt wird.
Die vorliegende Erfindung kann in Hardware, Software oder in einer Kombination aus Hardware und Software realisiert werden. Jede Art von Computersystem – oder jede auf die Umsetzung der im Patent beschriebenen Verfahren ausgerichtete andere Vorrichtung – ist geeignet. Eine typische Kombination aus Hardware und Software könnte aus einem Universal-Computersystem mit einem Computerprogramm bestehen, das beim Laden und bei der Ausführung das Computersystem so steuert, dass es die im Patent beschriebenen Verfahren durchführt. Die vorliegende Erfindung kann auch in ein Computerprogrammprodukt eingebettet werden, das alle Merkmale zur Implementierung der im vorliegenden Patent beschriebenen Verfahren umfasst, und das, wenn es in ein Computersystem geladen wird, in der Lage ist, diese Verfahren durchzuführen.
Mit dem Begriff Computerprogrammmittel oder Computerprogramm ist im vorliegenden Zusammenhang jeder beliebige Ausdruck in jeder beliebigen Sprache, jedem Code oder jeder Notation eines Befehlssatzes gemeint, der dazu dient, ein System, das die Fähigkeit zur Informationsverarbeitung besitzt, entweder direkt oder nach einem oder beiden der folgenden Schritte eine bestimmte Funktion ausführen zu lassen:

a) Konvertierung in eine andere Sprache, Notation oder einen anderen Code;
b) Reproduktion in einer anderen materiellen Form.

Die vorliegende Erfindung wird im Zusammenhang mit dem Spracherkennungssystem „ViaVoice" von IBM erläutert.
Selbstverständlich könnte stattdessen jeder andere Typ eines Spracherkennungssystems verwendet werden.
Wenn darüber hinaus die vorliegende Spezifikation die Erfindung für Spracherkenner beschreibt, welche die Technologie der Hidden-Markov-Modelle (HMM) nutzen, bedeutet das nicht, dass die vorliegende Erfindung nicht auf andere Lösungsansätze für Spracherkenner angewendet werden kann.
4.1 Einführung
Heutige Spracherkenner zur kontinuierlichen Spracherkennung mit großem Wortschatz nutzen Hidden-Markov-Modelle, um aus einem Sprachsignal f eine Wortfolge w mit einer maximalen a-posteriori-Wahrscheinlichkeit zu berechnen.
Ein Hidden-Markov-Modell (HMM) ist ein stochastischer Automat A = (π, A, B), der auf eine endliche Gruppe von Zuständen S = {s₁, ..., s_N} wirkt und die Beobachtung eines Ausgangssignals gestattet, zu jedem Zeitpunkt t, t = 1, 2, ..., T, an dem ein Zustand belegt ist. Der anfängliche Zustandsvektor π = [πi] = (P(s(1) = si], 1 ≤ i ≤ N (Gl. 1)gibt die Wahrscheinlichkeiten an, mit denen das HMM sich zum Zeitpunkt t = 1 im Zustand s_i befindet, und die Übergangsmatrix A = [ai,j] = [P(s(t + 1) = sj|s(t) = si], 1 ≤ i,j ≤ N (Gl. 2)enthält die Wahrscheinlichkeiten eines zeitinvarianten Prozesses erster Ordnung, der die Übergänge vom Zustand s_i in den Zustand s_j beschreibt. Es sind kontinuierliche wertbehaftete Merkmalvektoren x ∊ R zu beobachten, die aus dem ankommenden Sprachsignal f abgeleitet sind, und die Ausgabewahrscheinlichkeiten sind durch eine Gruppe von Wahrscheinlichkeitsdichte-Funktionen (PDFS) B = [bi] = [p(x|s(t)) = si], 1 ≤ i ≤ N (Gl. 3)definiert. Für jeden gegebenen HMM-Zustand s_i wird die unbekannte Verteilung p(x|s_i) der Merkmalvektoren näherungsweise durch eine Mischung von – normalerweise Gaußschen – elementaren Wahrscheinlichkeitsdichte-Funktionen (PDFs)
bestimmt, wobei M_i die Gruppe der dem Zustand s_i zugeordneten Gaußschen Funktionen ist. Des Weiteren bezeichnet x den beobachteten Merkmalvektor, ω_ji ist die j-te Komponentengewichtung in der Mischung für die i-te Ausgabeverteilung und μ_ji und Γ_ji sind die mittlere und die Kovarianzmatrix der j-ten Gaußschen Funktion im Zustand s_i.
Spracherkenner zur kontinuierlichen Spracherkennung mit großem Wortschatz nutzen akustische Wortteil-Einheiten wie z. B. Phone und Triphone, um die zuverlässige Bewertung einer großen Anzahl von Parametern zu gewährleisten, und gestatten durch die Verkettung der Wortteil-Modelle die dynamische Aufnahme neuer Wörter in den Wortschatz des Spracherkenners. Weil allgemein bekannt ist, dass die akustischen Kontexte von Sprachlauten sehr unterschiedlich sein können, repräsentieren HMMs (oder HMM-Zustände) gewöhnlich kontextabhängige akustische Wortteil-Einheiten. Da der Trainingswortschatz (und somit die Anzahl und Häufigkeit phonetischer Kontexte) und die akustische Umgebung (z. B. Hintergrundgeräuschpegel, Eigenschaften des Übertragungskanals, Sprecherpopulation) bei jeder Zielanwendung stark voneinander abweichen, besteht die Aufgabe des weiteren Trainingsablaufes in der datengesteuerten Identifizierung relevanter Kontexte in den markierten Trainingsdaten.
Bei einer Bootstrap-Prozedur für das Training eines dem Stand der Technik entsprechenden Spracherkenners wird zur Berechnung eines ersten Abgleichs zwischen gesprochenen Wörtern und dem Sprachsignal ein sprecherunabhängiger Universal-Spracherkenner verwendet. Bei diesem Prozess wird der Merkmalvektor eines jeden Rahmens phonetisch gekennzeichnet und zusammen mit seinem phonetischen Kontext, der durch eine feste, aber beliebige Anzahl von linken und/oder rechten Nachbarlauten definiert ist, gespeichert. Zum Beispiel führt die Berücksichtigung des linken und rechten Nachbarn eines Lautes(Phons) P₀ zu dem weit verbreiteten (wortübergreifenden) Triphon-Kontext (P_–1, P₀, P₊₁).
Anschließend erzielt man die Identifizierung relevanter akustischer Kontexte (d. h. phonetischer Kontexte, die deutlich unterschiedliche akustische Merkmalvektoren erzeugen) durch den Aufbau eines binären Entscheidungsnetzwerks mit Hilfe einer iterativen Prozedur des Aufspaltens und Zusammenfügens (split and merge). Das Ergebnis dieser Bootstrap-Prozedur ist ein von der Domäne unabhängiger Universal-Spracherkenner. Zu diesem Zweck werden über die Laute an den Positionen K_–m, ..., K_–1, K₊₁, K_+m in der Zeichenfolge des phonetischen Kontexts einige Gruppen Q_i = {P₁, ..., P_j} von sprach- und/oder domänenspezifischen Lautabfragen durchgeführt. Diese Abfragen haben die Form „Ist der Laut an der Position K_j in der Gruppe Q_i enthalten?" und spalten einen Knoten n des Entscheidungsnetzwerkes in zwei Folgeknoten auf: in einen Knoten n_L (wobei L für die linke Seite steht), der alle Merkmalvektoren enthält, die eine positive Antwort auf eine Abfrage hervorrufen, und in einen weiteren Knoten n_R (wobei R für die rechte Seite steht), der die Gruppe der Merkmalvektoren enthält, die eine negative Antwort bewirken. An jedem Knoten des Netzwerks wird die beste Abfrage ermittelt durch die Auswertung einer Wahrscheinlichkeitsfunktion, welche die Wahrscheinlichkeit P(n_L) und P(n_R) der Gruppen von Merkmalvektoren misst, die als Ergebnis einer versuchsweise durchgeführten Aufspaltung entstehen.
Um eine Anzahl von Endknoten (oder Blattknoten) zu erhalten, die eine verlässliche Bewertung der Parameter gestatten, wird die Prozedur des Aufspaltens und Zusammenfügens durch einen problemspezifischen Schwellenwert θ_p gesteuert, d. h. ein Knoten n wird nur dann in zwei Folgeknoten n_L und n_R aufgespaltet, wenn die aus dieser Aufspaltung resultierende Zunahme der Wahrscheinlichkeit größer ist als θ_p: P(n) < P(nL) + P(nR) – θp (Gl. 5)
Beim Zusammenfügen von Knoten, die nur eine kleine Anzahl von Merkmalvektoren repräsentieren, wird ein ähnliches Kriterium angelegt, und zur Steuerung der Netzwerkgröße werden andere problemspezifische Schwellenwerte verwendet, wie z. B. die minimale Anzahl von Merkmalvektoren, die zu einem Knoten gehören.
Der Prozess stoppt, wenn eine vordefinierte Anzahl von Blattknoten erzeugt wurde. Alle einem Blattknoten zugeordneten phonetischen Kontexte können durch die während des Netzwerkaufbaus ausgeführte Folge von Lautabfragen nicht voneinander unterschieden werden und gehören daher zur selben Äquivalenzklasse. Deswegen werden die entsprechenden Merkmalvektoren als homogen betrachtet und einem kontextabhängigen Einzelzustands-HMM mit kontinuierlicher Dichte zugeordnet, dessen Ausgabewahrscheinlichkeit durch das Gaußsche Mischungsmodell (Gl. 4) beschrieben wird. Anfangsbewertungen für die Komponenten der Mischung erhält man durch Clustern der Merkmalvektoren an jedem Endknoten, und abschließend wird der nach dem Stand der Technik bekannte Vorwärts-Rückwärts-Algorithmus zur Verfeinerung der Parameter der Mischungskomponenten verwendet. Es ist dabei wichtig, dass bei dieser Prozedur gemäß dem Stand der Technik das Entscheidungsnetzwerk zu Beginn lediglich aus einem einzigen Knoten und einer einzigen Äquivalenzklasse besteht (siehe eine gemäß dem vorliegenden Patent in Bezug auf dieses Merkmal wichtige Abweichung, die weiter unten diskutiert wird), das dann iterativ bis zu seiner endgültigen Form verfeinert wird (oder mit anderen Worten, der Bootstrap-Prozess beginnt effektiv „ohne" ein bereits existierendes Entscheidungsnetzwerk).
In der Literatur wird die kundenspezifische Anpassung eines Universal-Spracherkenners an eine bestimmte Domäne als „cross domain modeling" (domänenübergreifende Modellierung) bezeichnet. Der Stand der Technik auf diesem Gebiet wird zum Beispiel von R. Singh, B. Raj und R. M. Stern in „Domain adduced state tying for cross-domain acoustic modelling", 1999, Budapest, Proc. of the 6^th Europ. Conf. on Speech Communication and Technology, beschrieben und kann grob in zwei verschiedene Kategorien eingeteilt werden:
Externe Modellierung: In diesem Fall wird ein Spracherkenner unter Einbeziehung zusätzlicher Daten aus einer (dritten) Domäne mit phonetischen Kontexten trainiert, die den Kontexten der speziell betrachteten Domäne sehr ähnlich sind.
Interne Modellierung: Dieser Lösungsansatz erfordert einen Universal-Spracherkenner mit einem umfangreichen Bestand an kontextabhängigen Wortteil-Modellen. Die Anpassungsdaten werden zur Identifizierung jener Modelle verwendet, die für eine spezielle Domäne relevant sind, was gewöhnlich durch die Anwendung eines Kriteriums maximaler Wahrscheinlichkeit erreicht wird.
Obwohl man bei der externen Modellierung damit rechnen kann, dass eine bessere Abdeckung (Coverage) der Anwendungsdomäne zu einer verbesserten Erkennungsgenauigkeit führt, ist dieser Lösungsansatz immer noch zeitraubend und kostenintensiv, weil er nach wie vor die Erfassung einer erheblichen Menge von Trainingsdaten (aus einer dritten Domäne) erfordert. Andererseits nutzt die interne Modellierung die Tatsache aus, dass zur Verifizierung der Wichtigkeit eines bestimmten phonetischen Kontexts nur eine kleine Menge von Anpassungsdaten notwendig ist. Im Gegensatz zur vorliegenden Erfindung gestattet die interne domänenübergreifende Modellierung jedoch nur das Zurückgehen auf gröbere phonetische Kontexte (da dieser Lösungsansatz nur aus einer Auswahl einer Untermenge des Entscheidungsnetzwerkes und dessen phonetischem Kontext besteht) und ist nicht in der Lage, neuen phonetischen Kontext zu erkennen, der für die neue Domäne relevant, aber nicht im Wortschatz des Universal-Spracherkenners vorhanden ist. Darüber hinaus ist dieser Lösungsansatz nur erfolgreich, wenn die bestimmte, von der internen Modellierung zu behandelnde Domäne bereits (zumindest bis zu einem gewissen Umfang) im akustischen Modell des Universal-Spracherkenners berücksichtigt ist; oder mit anderen Worten, bei der betreffenden neuen Domäne muss es sich um einen Extrakt (eine Teilmenge) der Domäne handeln, an die der Universal-Spracherkenner bereits angepasst ist.
4.2 Lösung
Wenn sich die Spezifikation im Folgenden auf einen Spracherkenner bezieht, der an eine bestimmte Domäne angepasst ist, so ist der Begriff „Domäne", sofern nicht anders angegeben, als Oberbegriff zu verstehen. Eine Domäne kann sich auf eine bestimmte Sprache beziehen, eine Vielzahl von Sprachen, einen Dialekt oder eine Gruppe von Dialekten, einen bestimmten Aufgabenbereich oder eine Gruppe von Aufgabenbereichen, in denen ein Spracherkenner eingesetzt werden kann (wie zum Beispiel in bestimmten Bereichen der medizinischen Wissenschaft, nur für die spezielle Aufgabe der Erkennung von Zahlen, ...) und dergleichen.
Die erfinderische Idee der im vorliegenden Patent vorgeschlagenen Erfindung besteht darin, den bereits vorhandenen Bestand an phonetischen Kontexten eines (Universal-)Spracherkenners und eine kleine Menge domänenspezifischer Anpassungsdaten zur Hervorhebung dominanter Kontexte und zur Schaffung neuer phonetischer Kontexte zu verwenden, die für eine gegebene Domäne relevant sind. Dies wird erreicht, indem das Entscheidungsnetzwerk des Spracherkenners mit den entsprechenden phonetischen Kontexten als Ausgangspunkt verwendet wird und das Entscheidungsnetzwerk und die phonetischen Kontexte auf der Grundlage der domänenspezifischer Trainingsdaten neu bewertet werden.
Da das umfangreiche Entscheidungsnetzwerk und der reichhaltige Bestand an akustischen Kontexten des existierenden Spracherkenners als Ausgangspunkt dienen, wird durch die Architektur der vorgeschlagenen Erfindung eine Minimierung der zum Training eines Spracherkenners für eine spezielle Domäne benötigten Sprachdatenmenge und des notwendigen Aufwands zur Anpassung an den einzelnen Endanwender erreicht. Durch die im Voraus stattfindende Erzeugung und Anpassung phonetischer Kontexte an eine bestimmte Domäne gewährleistet die Erfindung den schnellen Aufbau von Datendateien für Spracherkenner mit verbesserter Erkennungsgenauigkeit für spezielle Anwendungen.
Der vorgeschlagene Ansatz beruht auf einer Interpretation der Trainingsprozedur eines Spracherkenners als einen zweistufigen Prozess, der Folgendes umfasst: 1.) die Bestimmung von relevanten akustischen Kontexten und 2.) die Bewertung von Parametern des akustischen Modells. Die nach dem Stand der Technik bekannten Anpassungsverfahren wie z. B. die Maximum-a-posteriori-Methode (MAP) oder die Maximum-Likelihood-Linear-Regression-Methode (MLLR) zielen lediglich auf eine sprecherabhängige Neubewertung der Parameter (ω_ji, μ_ji, Γ_ji), um eine verbesserte Erkennungsgenauigkei t zu erreichen; das heißt, diese Lösungsansätze haben ausschließlich die auf den Trainingsdaten beruhende Anpassung der HMM-Parameter zum Ziel. Von größter Bedeutung ist dabei, dass diese Lösungsansätze die phonetischen Kontexte unverändert lassen; das heißt, das Entscheidungsnetzwerk und die entsprechenden phonetischen Kontexte werden durch diese Technologien nicht verändert. Bei handelsüblichen Spracherkennern werden diese Verfahren gewöhnlich eingesetzt, nachdem bei einem einzelnen Endanwender einige Trainingsdaten erfasst wurden.
In einem früheren Ansatz von V. Fischer, Y. Gao, S. Kunzmann, M. A. Picheny, „Speech Recognizer for Specific Domains or Dialects", PCT-Patentanmeldung EP 99/02673, wurde gezeigt, dass die Voraus-Anpassung eines auf einer Universalbasis beruhenden akustischen Modells mit Hilfe einer begrenzten Menge von domänen- oder dialektabhängigen Trainingsdaten für eine breite Palette von Endanwendern zu einer besseren anfänglichen Erkennungsgenauigkeit führt. Darüber hinaus wurde durch V. Fischer, S. Kunzmann und C. Waast-Ricard in „Method and System for Generating Squeezed Acoustic Models for Specialized Speech Recognizer", europäische Patentanmeldung EP 99116684.4 , dargelegt, dass die Größe des akustischen Modells deutlich reduziert werden kann, ohne dabei die auf einer kleinen Menge von domänenspezifischen Anpassungsdaten beruhende Erkennungsgenauigkeit wesentlich zu verschlechtern, indem man eine Teilmenge der für diese Domäne charakteristischen Wahrscheinlichkeitsdichte-Funktionen (PDFs) wählt.
Im Gegensatz zu den vorangegangenen Lösungsansätzen konzentriert sich die vorliegende Erfindung auf die Neubewertung phonetischer Kontexte oder – mit anderen Worten – auf die Anpassung des Wortteil-Bestands des Spracherkenners an eine bestimmte Domäne. Während in jedem Sprecher-Anpassungsalgorithmus wie auch in den oben erwähnten Dokumenten von V. Fischer et al. die phonetischen Kontexte fixiert sind, sobald sie durch die Trainingsprozedur bewertet wurden, besteht die erfinderische Idee des vorliegenden Vorschlages darin, eine kleine Menge von im Voraus erzeugten Trainingsdaten für die domänenspezifische Einfügung, Löschung oder Anpassung von Lauten in ihrem jeweiligen Kontext zu verwenden. Daher bezieht sich die Neubewertung der phonetischen Kontexte auf eine (vollständige) Neuberechnung des Entscheidungsnetzwerkes und seiner entsprechenden phonetischen Kontexte auf der Grundlage des Entscheidungsnetzwerkes des Universal-Spracherkenners. Dies bedeutet einen erheblichen Unterschied zum bloßen „Auswählen" einer Teilmenge aus dem Entscheidungsnetzwerk und den phonetischen Kontexten des Universal-Spracherkenners oder zum einfachen „Erweitern" des Entscheidungsnetzwerkes durch Umwandlung eines Blattknotens in einen Innenknoten, indem man einen neuen untergeordneten Baum mit neuen Blattknoten und weiteren phonetischen Kontexten anfügt.
Die folgende Spezifikation bezieht sich auf 1. In dem Diagramm in 1 wird die Gesamtstruktur der vorgeschlagenen Methode der Erzeugung eines auf eine bestimmte Domäne zugeschnittenen Spracherkenners dargestellt und ein Überblick über das Grundprinzip der vorliegenden Erfindung gegeben; die Beschreibung im restlichen Teil dieses Abschnitts betrifft die Anwendung eines Entscheidungsnetzwerkes auf die Erkennung und Darstellung phonetischer Kontexte und sollte als Erläuterung einer bestimmten Implementierung der Grundideen verstanden werden. In der Erfindung wird vorgeschlagen, ausgehend von einem ersten Spracherkenner (1) (in den meisten Fällen ein sprecherunabhängiger Universal-Spracherkenner) und einer kleinen, d. h. begrenzten, Menge von Anpassungs- (Trainings-)Daten (2), einen zweiten Spracherkenner (6) zu erzeugen (dessen Anpassung auf der Grundlage der Trainingsdaten (2) stattfindet). Die Trainingsdaten (zur Ausnutzung der betreffenden Domäne nicht erforderlich) können mit oder ohne Überwachung durch einen beliebigen Spracherkenner erfasst werden, der nicht notwendigerweise derselbe wie in (1) ist. Nach der Extraktion der Merkmale werden die Daten mit der Transkription abgeglichen, um für jeden Rahmen eine phonetische Kennzeichnung zu erhalten. Während eine oben beschriebene Standard-Trainingsprozedur nach dem Stand der Technik die Berechnung signifikanter phonetischer Kontexte auf der Grundlage einer einzigen Äquivalenzklasse beginnt, die alle Daten enthält (ein Entscheidungsnetzwerk mit nur einem Knoten), ist von besonderer Bedeutung, dass beim vorliegenden Ansatz ein im voraus auszuführender Schritt vorgeschlagen wird, bei dem die zusätzlichen Daten abgetrennt und auf die Äquivalenzklassen des sprecherunabhängigen Universal-Spracherkenners aufgeteilt werden. Das heißt, das Entscheidungsnetzwerk und seine entsprechenden phonetischen Kontexte des ersten Spracherkenners werden als Ausgangspunkt zur Erzeugung eines zweiten Entscheidungsnetzwerks mit seinen entsprechenden zweiten phonetischen Kontexten für einen zweiten Spracherkenner verwendet, indem auf der Grundlage domänenspezifischer Trainingsdaten das erste Entscheidungsnetzwerk und die entsprechenden ersten phonetischen Kontexte neu bewertet werden.
Zu diesem Zweck werden daher die phonetischen Kontexte des vorhandenen Entscheidungsnetzwerks, wie in Schritt (31) dargestellt, zuerst extrahiert. Um die phonetischen Kontexte der Trainingsdaten zu extrahieren und zu klassifizieren (32), führt man dann die Merkmalvektoren und ihren zugehörigen phonetischen Kontext durch das Original-Entscheidungsnetzwerk (3), indem die in den Knoten des Netzwerkes gespeicherten Lautabfragen ausgeführt werden. Als Ergebnis erhält man eine Aufteilung der Anpassungsdaten, die bereits die phonetische Kontextinformation des viel größeren und viel allgemeineren Trainingsdatenstamms des Basissystems nutzen.
Danach wird der Aufspalt- und Zusammenfüg-Algorithmus zur Erkennung der relevanten neuen domänenspezifischen phonetischen Kontexte (4) eingesetzt, wodurch ein neues und neu bewertetes (domänenspezifisches) Entscheidungsnetzwerk mit entsprechenden phonetischen Kontexten entsteht. Die Lautabfragen und Aufspaltschwellenwerte (siehe zum Beispiel Gl. 5) können von der Domäne und/oder der Menge der Anpassungsdaten abhängen und somit von den beim Training des Basis-Spracherkenners verwendeten Schwellenwerten abweichen. Ähnlich wie das im einführenden Abschnitt 4.1 beschriebene Verfahren nutzt die Prozedur zur Bestimmung aller möglichen Aufspaltungen eines Knotens ein Kriterium der maximalen Wahrscheinlichkeit und stoppt, wenn die Schwellenwerte keine weitere Erzeugung von domänenabhängigen Knoten gestatten. Auf diese Weise ist man in der Lage, eine neue und neu berechnete Gruppe von Äquivalenzklassen abzuleiten, die anhand ihres Aufbaus als domänen- oder dialektabhängige Verfeinerung der originalen phonetischen Kontexte betrachtet werden kann, welche bei HMMs, die den Blattknoten des neu bewerteten Entscheidungsnetzwerks zugeordnet sind, außerdem eine Neueinstellung der HMM-Parameter (5) umfassen kann.
Ein wichtiger Vorteil dieses Lösungsansatzes liegt in der Tatsache, dass – im Gegensatz zur Verwendung der domänenspezifischen Anpassungsdaten bei der ursprünglichen Aufbauprozedur für das Entscheidungsnetzwerk nach dem Stand der Technik (siehe zum Beispiel Abschnitt 4.1 oben) – der vorliegende Ansatz die als Ausgangspunkt verwendeten phonetischen Kontextinformationen des (Universal-)Spracherkenners beibehält. Besonders wichtig ist, dass das Verfahren im Gegensatz zu den von R. Singh et al. beschriebenen Cross-Domain-Modeling-Verfahren (siehe obige Beschreibung) gleichzeitig die Erzeugung neuer phonetischer Kontexte gestattet, die im Original-Trainingsmaterial nicht vorhanden zu sein brauchen. Das vorliegende Verfahren ermöglicht es daher, den HMM-Bestand eines Universal-Spracherkenners auf der Grundlage einer kleinen Menge von Anpassungsdaten an eine neue Domäne anzupassen, statt gemäß dem Stand der Technik einen von Grund auf neuen domänenspezifischen HMM-Bestand zu erzeugen, wofür die Erfassung einer immens großen Menge domänenspezifischer Trainingsdaten erforderlich wäre.
Weil das ausgefeilte Entscheidungsnetzwerk des Universal-Spracherkenners mit seinen reichhaltigen und gut ausbalancierten Äquivalenzklassen sowie den Kontextinformationen als Ausgangspunkt genutzt wird, genügt die begrenzte, d. h. kleine Menge von Anpassungs-(Trainings-)Daten zur Erzeugung des angepassten Spracherkenners. Dies führt zu beträchtlichen Einsparungen an Aufwand für die Erfassung domänenspezifischer Trainingsdaten. Darüber hinaus erreicht man eine erhebliche Beschleunigung beim Anpassungsprozess und eine bedeutende Verbesserung der Erkennungsgenauigkeit des erzeugten Spracherkenners.
Wie auch bei dem Basis-Spracherkenner definiert jeder Endknoten des angepassten (d. h. erzeugten) Entscheidungsnetzwerkes für den spezialisierten Spracherkenner ein kontextabhängiges Einzelzustands-Hidden-Markov-Modell. Die Berechnung einer anfänglichen Bewertung für die Ausgabewahrscheinlichkeiten der Zustände (siehe Gl. 4) muss sowohl den Verlauf des Kontext-Anpassungsprozesses als auch die akustischen Merkmalvektoren berücksichtigen, die jedem Endknoten des angepassten Netzwerkes zugeordnet sind:

A. Phonetische Kontexte, die durch den Anpassungsprozess nicht verändert wurden, werden durch die jeweiligen Gaußschen Mischungskomponenten des Basis-Spracherkenners modelliert.
B. Ausgabewahrscheinlichkeiten für neu erzeugte kontextabhängige HMMs können entweder durch Anwendung der oben erwähnten Anpassungsverfahren auf die Gaußschen Funktionen des Ursprungs-Spracherkenners modelliert werden oder – wenn eine ausreichende Anzahl von Merkmalvektoren auf den neuen Endknoten übertragen wurde – durch Clustern der Anpassungsdaten.

Gemäß dem oben erwähnten Ansatz von V. Fischer et al. in „Method and System for Generating Squeezed Acoustic Models for Specialized Speech Recognizer", europäische Patentanmeldung EP 99116684.4 , können die Anpassungsdaten auch zum Beschneiden der Gaußschen Funktionen verwendet werden, um den Speicherbedarf und die CPU-Zeit zu reduzieren. Der in dieser Referenz enthaltene Ansatz hinsichtlich der Auswahl einer Teilmenge von HMM-Zuständen des Universal-Spracherkenners, welche als Ausgangspunkt verwendet werden („Squeezing", d. h. Komprimierung), und der Ansatz hinsichtlich der Auswahl einer Teilmenge von Wahrscheinlichkeitsdichte-Funktionen (PDFs) des Universal-Spracherkenners, welche als Ausgangspunkt verwendet werden („Pruning", d. h. Beschneidung), die beide für die spezielle Domäne charakteristisch sind, bilden durch Bezugnahme Bestandteile dieses Patents.
Es gibt drei weitere wichtige Aspekte des vorgeschlagenen Verfahrens

1. Die Anwendung des vorgeschlagenen Verfahrens ist nicht auf die Voraus-Anpassung domänenspezifischer oder dialektspezifischer Spracherkenner beschränkt. Das Verfahren ist auch ohne jegliche Änderung in einem Szenario der Sprecheradaption einsetzbar, in welchem es zur sprecherabhängigen Neubewertung der Modellparameter beitragen kann. Die unüberwachte Sprecheradaption, die in jedem Fall eine erhebliche Menge an sprecherabhängigen Daten benötigt, ist ein besonders vielversprechendes Anwendungsszenario.
2. Das Verfahren ist auch nicht beschränkt auf die (einmal erfolgende) Anpassung phonetischer Kontexte an eine bestimmte Domäne, sondern kann auf der Grundlage weiterer Trainingsdaten iterativ zur inkrementellen Erweiterung der phonetischen Kontexte des Universal-Spracherkenners verwendet werden.
3. Wenn mehrere Sprachen sich ein gemeinsames phonetisches Alphabet teilen, kann das Verfahren auch zur inkrementellen und datengesteuerten Einbeziehung einer neuen Sprache in einen echten mehrsprachigen Spracherkenner verwendet werden, in dem sich die Sprachen die HMMs teilen.

4.3 Anwendungsbeispiele der vorliegenden Erfindung
Angesichts des wachsenden Marktes für sprachfähige Geräte, die nur eine begrenzte (Anwendungs-)Aufgabe erfüllen müssen, bietet die hier vorgeschlagene Erfindung eine verbesserte Erkennungsgenauigkeit für eine breite Palette von Anwendungen. Ein erstes Experiment konzentrierte sich auf die Anpassung eines ziemlich universell einsetzbaren Spracherkenners an die Aufgabe einer Ziffernwahl, die einen wichtigen Anwendungsfall im stark expandierenden Mobiltelefonmarkt darstellt.
Die folgende Tabelle gibt die relativen Wortfehlerraten für das Basissystem (links), für den auf die Ziffern-Domäne angepassten Spracherkenner (Mitte) sowie für den auf die Domäne eines allgemeinen Diktats und einer Ziffernerkennungsaufgabe angepassten Spracherkenner (rechts) wieder:
Das Basissystem (Basis, siehe Tabelle oben) wurde mit 20.000 Sätzen aus verschiedenen deutschen Zeitungen und Geschäftsbriefen trainiert, die von ca. 200 Deutschen gesprochen wurden. Auf diese Weise nutzt der Spracherkenner phonetische Kontexte aus einer Mischung verschiedener Domänen. Dies ist das übliche Verfahren zur Erzielung einer angemessenen phonetischen Abdeckung beim Training von Universal-Spracherkennern zur kontinuierlichen Spracherkennung mit großem Wortschatz wie z. B. des Systems ViaVoice von IBM. Die Zifferndaten umfassen ca. 10.000 Trainings-Sprechweisen, welche aus bis zu 12 domänenspezifischen Ziffern bestehen, und werden gemäß dem Ansatz der vorliegenden Erfindung sowohl zur Anpassung des Universal-Spracherkenners (Angepasst, siehe Tabelle oben) als auch zum Training eines ziffernspezifischen Spracherkenners (Ziffern, siehe Tabelle oben) verwendet.
Die obige Tabelle gibt die (relativen) Wortfehlerraten (normalisiert auf das Basissystem) für das Basissystem, den Spracherkenner mit dem angepassten Lautkontext und das ziffernspezifische System wieder. Obwohl das Basissystem bei einem allgemeinen Diktat mit einem großen Wortschatz die beste Leistung zeigt, liefert es bei der Ziffernerkennungsaufgabe die schlechtesten Ergebnisse. Im Gegensatz dazu zeigt der ziffernspezifische Spracherkenner bei der Ziffernerkennungsaufgabe die besten Leistungen, jedoch inakzeptable Fehlerraten beim allgemeinen Diktat. Die Spalte ganz rechts demonstriert die Vorteile der Kontextanpassung: Während die Fehlerrate bei der Ziffernerkennungsaufgabe um mehr als fünfzig Prozent abnimmt, zeigt der angepasste Spracherkenner beim allgemeinen Diktat eine noch recht gute Leistung.
4.4 Weitere Vorteile der vorliegenden Erfindung
Die im vorigen Abschnitt dargelegten Ergebnisse zeigen, dass die hier beschriebene Erfindung zusätzlich zu den in der obigen Beschreibung erwähnten Vorteilen weitere bedeutende Vorteile bietet.
Anhand der Erörterung des oben dargelegten Beispiels eines an die spezielle Domäne der Ziffernerkennung angepassten Universal-Spracherkenners wurde gezeigt, dass der vorliegende Ansatz die Erkennungsrate innerhalb einer gegebenen Ziel-Domäne wesentlich verbessern kann.
Es muss darauf hingewiesen werden, dass (wie auch am oben aufgeführten Beispiel verdeutlicht wurde) die vorliegende Erfindung gleichzeitig eine inakzeptable Abnahme der Erkennungsgenauigkeit in der ursprünglichen Domäne des Spracherkenners verhindert.
Weil die vorliegende Erfindung das vorhandene Entscheidungsnetzwerk und die existierenden akustischen Kontexte eines ersten Spracherkenners als Ausgangspunkt nutzt, genügt zur Erzeugung eines zweiten Spracherkenners bereits eine sehr kleine Menge zusätzlicher domänen- oder dialektspezifischer Daten, die kostengünstig und leicht zu erfassen ist.
Auch lässt sich durch die vorgeschlagenen Anpassungsverfahren aufgrund dieses gewählten Ausgangspunktes die für das Training des Spracherkenners erforderliche Zeit wesentlich reduzieren.
Schließlich gestattet die bereitgestellte Technologie die Erzeugung spezialisierter Spracherkenner, die weniger Ressourcen für die Berechnung erfordern, zum Beispiel in Bezug auf die Berechnungszeit und den Speicherbedarf.
Alles in allem ist die vorgeschlagene Technologie somit geeignet zur inkrementellen und kostengünstigen Integration neuer Anwendungsdomänen in eine beliebige Spracherkennungsanwendung. Sie kann sowohl auf sprecherunabhängige Universal-Spracherkenner als auch auf die weitere Anpassung von sprecherabhängigen Spracherkennern angewendet werden.

Claims

Computergestütztes Verfahren zum automatischen Erzeugen eines zweiten Spracherkenners aus einem ersten Spracherkenner, wobei der zweite Spracherkenner an eine bestimmte Domäne angepasst ist und der erste Spracherkenner ein erstes akustisches Modell mit einem ersten Entscheidungsnetzwerk und dessen entsprechenden ersten phonetischen Kontexten umfasst, und wobei das Verfahren die folgenden Schritte umfasst: – Verwenden des ersten akustischen Modells als Ausgangspunkt und – Erzeugen eines zweiten akustischen Modells mit einem zweiten Entscheidungsnetzwerk und dessen entsprechenden zweiten phonetischen Kontexten des zweiten Spracherkenners durch Neubewerten (3, 4) des ersten Entscheidungsnetzwerks und der entsprechenden ersten phonetischen Kontexte auf der Grundlage domänenspezifischer Trainingsdaten, wobei das verfahren dadurch gekennzeichnet ist, dass der Schritt des Neubewertens einen Teilschritt des Aufteilens (3) der Trainingsdaten mit Hilfe des ersten Entscheidungsnetzwerkes des ersten Spracherkenners umfasst.
Computergestütztes Verfahren nach Anspruch 1, bei dem die domänenspezifischen Trainingsdaten nur einen beschränkten Umfang haben.
Computergestütztes Verfahren nach Anspruch 1, bei dem der Teilschritt des Aufteilens das Hindurchleiten der Merkmalvektoren der Trainingsdaten durch das erste Entscheidungsnetzwerk sowie das Extrahieren und Klassifizieren (32) der phonetischen Kontexte der Trainingsdaten umfasst.
Computergestütztes Verfahren nach Anspruch 1, bei dem der Schritt des Neubewertens einen Teilschritt des Erkennens (4) domänenspezifischer phonetischer Kontexte durch Ausführen einer Aufspalt- und Zusammenfüg-Methode auf der Grundlage der aufgeteilten Trainingsdaten zur Neubewertung des ersten Entscheidungsnetzwerkes und der ersten phonetischen Kontexte umfasst.
Computergestütztes Verfahren nach Anspruch 4, bei dem die Steuerparameter dieser Aufspalt- und Zusammenfüg-Methode gemäß dieser Domäne ausgewählt werden.
Computergestütztes Verfahren nach Anspruch 4, bei dem für Hidden-Markov-Modelle (HMM), die den Blattknoten des zweiten Entscheidungsnetzwerks zugeordnet sind, der Schritt des Neubewertens einen Teilschritt des Neueinstellens (5) von HMM-Parametern entsprechend diesem HMM umfasst.
Computergestütztes Verfahren nach Anspruch 6, bei dem die HMMs eine Gruppe von Zuständen s_i und eine Gruppe von Wahrscheinlichkeitsdichte-Funktionen (PDFs) umfassen, welche Ausgabewahrscheinlichkeiten für eine Beobachtung eines Sprachrahmens in den Zuständen s_i bilden, und bei welchem dem Teilschritt des Neueinstellens die folgenden Teilschritte vorangehen: – als ein erster Teilschritt das Auswählen einer Teilmenge von Zuständen, die für diese Domäne charakteristisch sind, aus den Zuständen s_i, – als ein zweiter Teilschritt das Auswählen einer Teilmenge von PDFs, die für diese Domäne charakteristisch sind, aus der Gruppe der PDFs.
Computergestütztes Verfahren nach einem der Ansprüche 6 oder 7, wobei das Verfahren mit weiteren Trainingsdaten iterativ durchgeführt wird.
Computergestütztes Verfahren nach einem der Ansprüche 6 bis 8, bei welchem der erste und zweite Spracherkenner ein Universal-Spracherkenner ist, oder bei welchem der erste und zweite Spracherkenner ein sprecherabhängiger Spracherkenner ist und die Trainingsdaten zusätzliche sprecherabhängige Trainingsdaten sind, oder bei welchem der erste Spracherkenner ein erster Spracherkenner für mindestens eine erste Sprache ist, die domänenspezifischen Trainingsdaten eine zweite Sprache betreffen und es sich bei dem zweiten Spracherkenner um einen mehrsprachigen Spracherkenner für die zweite Sprache sowie die mindestens eine erste Sprache handelt.
Computergestütztes Verfahren nach einem der vorangegangenen Ansprüche, bei welchem die Domäne eine Sprache, eine Gruppe von Sprachen oder ein Dialekt dieser Sprachen ist, oder bei welchem die Domäne einen Aufgabenbereich oder eine Gruppe von Aufgabenbereichen darstellt.
Computersystem mit einem Speicher zum Speichern eines ersten Spracherkenners, wobei das Computersystem Mittel umfasst, die zur Ausführung aller Schritte des Verfahrens nach einem der vorangegangenen Ansprüche 1 bis 10 angepasst sind.
Datenverarbeitungsprogramm zur Ausführung in einem Datenverarbeitungssystem, wobei das Datenverarbeitungsprogramm Softwarecode-Teile für die Durchführung eines Verfahrens nach einem der vorangegangenen Ansprüche 1 bis 10 umfasst, wenn das Programm auf dem Computer läuft.
Computerprogrammprodukt, das auf einem vom Computer verwendbaren Medium gespeichert ist und computerlesbare Programmmittel umfasst, welche die Durchführung eines Verfahrens nach einem der vorangegangenen Ansprüche 1 bis 10 auf einem Computer bewirken, wenn das Programm auf dem Computer läuft.