DE60100637T2

DE60100637T2 - Verfahren zur Rauschadaptierung mittels transformierter Matrizen in der automatischen Spracherkennung

Info

Publication number: DE60100637T2
Application number: DE60100637T
Authority: DE
Inventors: Christophe Cerisara; Luca Rigazio; Robert Boman; Jean-Claude Junqua
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-04-18
Filing date: 2001-04-18
Publication date: 2004-06-17
Anticipated expiration: 2021-04-19
Also published as: DE60100637D1; US6691091B1; JP3848845B2; EP1148471A1; US6529872B1; EP1148471B1; JP2001356791A

Description

HINTERGRUND UND ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung betrifft automatische Spracherkennungssysteme im Allgemeinen. Sie betrifft insbesondere Verfahren zur Anpassung des Erkennungsgeräts zur Verbesserung seiner Leistung in der Gegenwart von Geräuschen.
Gegenwärtige automatische Spracherkennungssysteme bewähren sich ziemlich gut im Labor, versagen aber schnell bei Anwendung in der Wirklichkeit. Einer der wichtigsten Einflussfaktoren für die Leistung des Erkennungsgeräts in der Wirklichkeit sind Umweltgeräusche, die das Sprachsignal verfälschen. Zur Lösung des Geräuschproblems wurde eine Reihe von Methoden entwickelt, darunter Spektralsubtraktion oder die Kombination von Parallelmodellen. Diese Lösungen erwiesen sich jedoch entweder als zu begrenzt oder als rechnerisch zu aufwendig.
Vor Kurzem wurde eine Jacobimethode zur Anpassung an sich überlagernde Geräusche vorgeschlagen, die von Geräusch A in Geräusch B übergehen. US-Patent 6,026,359, Yamaguchi beschreibt zum Beispiel einen derartigen Plan zur Modellanpassung in der Mustererkennung auf der Basis der Speicherung von Jacobimatrizen einer Taylorschen Erweiterung, die Modellparameter ausdrückt. Wenn diese Methode jedoch wirksam sein soll, müssen Geräusch A und Geräusch B bezüglich ihres Charakters und ihres Pegels ziemlich gleichartig sein. Das Jacobiverfahren bewährt sich wahrscheinlich gut, wenn Geräusch A im Innenraum eines gegebenen Fahrzeugs gemessen wird, das mit einer Geschwindigkeit von 30 Meilen pro Stunde auf einer ebenen Straße fährt, und Geräusch B ähnlich ist, d.h. zum Beispiel im selben Fahrzeug auf der selbem Straße bei einer Geschwindigkeit von 45 Meilen pro Stunde gemessen wird.
Das bekannte Jacobiverfahren beginnt zu scheitern, wenn Geräusch A und B weiter voneinander entfernt sind, zum Beispiel wenn Geräusch A im obigen Fahrzeug bei 30 Meilen pro Stunde und Geräusch B im Fahrzeug mit offenen Fenstern oder bei 60 Meilen pro Stunde gemessen wird.
Dieser Nachteil der Jacobimethode zur Geräuschanpassung begrenzt ihre Zweckmäßigkeit in vielen praktischen Anwendungsbereichen, da sich das Geräusch, das möglicherweise zur Zeit der Prüfung (beim Gebrauch des Systems) vorhanden sein wird, zur Schulungszeit oft nur schwer vorhersehen lässt. Außerdem lassen sich Jacobiverfahren zur Geräuschanpassung in vielen Bereichen nur begrenzt verbessern, da der damit verbundene rechnerische Aufwand (Verarbeitungszeit und/oder Speicherbedarf) diese Verfahren unpraktisch macht.
Die vorliegende Erfindung befasst sich mit obigem Nachteil. Anstelle von Jacobimatrizen setzt die Erfindung transformierte Jacobimatrizen ein, die in der Form einer Jacobimatrix gleichen, aber andere Werte beinhalten. Die transformierten Matrizen machen die Tatsache wett, dass die Geräusche zur Schulungszeit und zur Erkennungszeit sehr unterschiedlich sein können. Das gegenwärtig bevorzugte Ausführungsbeispiel der erfindungsgemäßen Methode bewirkt eine lineare und nichtlineare Transformation unter Anwendung eines α-Anpassungsparameters zur Entwicklung der transformierten Matrizen. Der Transformationsprozess kann auch mit anderen linearen und nichtlinearen Mitteln bewirkt werden, zum Beispiel mit Hilfe eines Neuralnetzes oder eines anderen Mechanismus der künstlichen Intelligenz. Zur Beschleunigung des Rechenvorgangs können die auf diese Weise entstandenen transformierten Matrizen durch ein Verfahren zur Reduktion der Anzahl der Dimensionen, zum Beispiel durch Analyse der Hauptkomponenten, reduziert werden.
Zum besseren Verständnis der Erfindung, ihrer Zielsetzung und Vorteile wird auf die nachstehende Beschreibung und die beiliegenden Zeichnungen verwiesen.
KURZBESCHIREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung von verschiedenen Geräuschzuständen, die das Verständnis der Endung fördern soll.
2 ist ein Ablaufdiagramm der Schidungs- und Erkennungsphasen und veranschaulicht eine gegenwärtig bevorzugte Ausführungsform der verbesserten Anpassung der transformierten Matrizen.
3 ist eine logarithmische Spektralkurve zum Vergleich der herkömmlichen Jacobianpassung mit der Kombination von Parallelmodellen (PMC).
4 und 5 sind α-Anpassungsparameterkurven, die den Einfluss von verschiedenen α-Werten auf die Erkennungsgenauigkeit veranschaulichen.
BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIEILS
1 veranschaulicht das Problem, das die vorliegende Erfindung lösen soll. Wie bei 10 gezeigt wird zum Beispiel angenommen, dass das automatische Spracherkennungssystem in einer geräuschvollen Umgebung, zum Beispiel im Innenraum eines in Bewegung befindlichen Fahrzeugs, funktionieren muss. Der im Innenraum gemessene Geräuschpegel steigt im typischen Fall bei Beschleunigung des Fahrzeugs von Geräusch A auf Geräusch A'. Obzwar der Geräuschpegel von A auf A' steigen kann, bleibt der Charakter oder die Qualität des Geräusches weitgehend gleich. Im Fahrzeug ändert sich zum Beispiel im typischen Fall das Geräuschspektrum bei Beschleunigung auf eine voraussagbare Weise. Die Amplitude des Windgeräusches nimmt zu, aber im Charakter bleibt es weitgehend weißes oder rosa Rauschen. Die Frequenz der Fahrbahngeräusche (Geräusch der auf der Straße rollenden Reifen) nimmt proportional zur Geschwindigkeitserhöhung zu.
Leider lassen sich in der Wirklichkeit der Charakter und die Qualität des Umweltgeräusches oft nicht so leicht voraussagen, wie die Zustände bei 10 in 1 anzudeuten scheinen. Überlegen wir uns zum Beispiel das Mobiltelefon. Es kann in einem in Fahrt befindlichen Fahrzeug verwendet werden, wo die bei 10 gezeigten Geräusche anfallen, oder aber an einer Straßenecke, wo ganz andere Verkehrsgeräusche im Überfluss vorhanden sind, oder aber in einem Einkaufszentrum, wo wieder ganz andere Geräusche zu hören sind. Diese Vielfalt der Geräuschqualitäten wird in 1 bei 12 veranschaulicht, wo unterschiedliche Geräuschmuster schematisch als Geräusch A, Geräusch B oder Geräusch C dargestellt sind. Die Tatsache, dass sich diese Geräuschqualitäten nicht voraussagen lassen, war bisher ein erhebliches Problem für Spracherkennungssysteme, die sich in einer verschiedenen Geräuschen ausgesetzten Umgebung bewähren müssen.
2 zeigt ein Ausführungsbeispiel der Erfindung im Einsatz bei der Spracherkennung. Dabei kommt ein Erkennungsgerät auf Modellbasis zur Anwendung. Die Modelle werden während der Schulung entwickelt und kommen später bei der Erkennung zur Anwendung. Die Schulungsphase des Systems wird in 2 allgemein bei 20 gezeigt, die Erkennungsphase bei 40. Die Eingabesprache wird während der Schulungsphase wie bei 22 gezeigt im Geräuschzustand A erstellt. Die Eingabesprache dient wie bei Schritt 24 gezeigt zur Schulung von Sprachmodellen, die bei 26 schematisch dargestellt sind. Im typischen Eingangssprachsignal gibt es gelegentlich Sprachpausen, zum Beispiel vor dem Beginn oder nach dem Ende des Sprechens. Diese sprachfreien Abschnitte können zur Aufzeichnung von Daten benutzt werden, die für das mit Geräuschzustand A verbundene Bezugsgeräusch N_a bezeichnend sind. In 2 wird das Bezugsgeräusch N_a in Block 28 gespeichert. Falls erwünscht, kann das Geräusch unter Anwendung des Schulungsverfahrens, das beim Aufbau der Sprachmodelle 26 verwendet wird, modelliert werden (Hintergrundmodell).
Nach der Schulung der Sprachmodelle wird in Schritt 30 ein Satz von transformierten Matrizen berechnet und bei 32 gespeichert. Diese Matrizen passen bei der Erkennung die Sprachmodelle so an, dass sie in den bei der Erkennung anfallenden Geräuschzuständen mehr leisten. Das grundlegende Jacobiverfahren zur Anpassung geht von der Voraussetzung aus, dass die Geräuschqualität zur Erkennungszeit ungefähr die selbe ist wie zur Schulungszeit. Anderenfalls hat die klassische Jacobianpassung nicht gerade optimale Ergebnisse.
Das verbesserte Anpassungsverfahren beruht auf der Anwendung eines Satzes von transformierten Matrizen, die für den ursprünglichen Geräuschzustand N_a generiert wurden. Zur Berechnung der transformierten Matrizen wird ein Satz der für den ursprünglichen Geräuschzustand N_a entwickelten Matrizen einer linearen oder nichtlinearen Transformation unterzogen. Die gegenwärtig bevorzugten Ausführungsbeispiele bewirken die Transformation (sowohl linear als auch nichtlinear) durch Anwendung eines im nächsten Abschnitt dargelegten α-Anpassungsfaktors. Während zur Zeit der α-Anpassungsfaktor vorgezogen wird, kann die Transformation aber auch durch ein Neuralnetz oder eine andere Art der künstlichen Intelligenz bewirkt werden.
Die Manipulation von Matrizen kann rechnerisch sehr aufwendig sein. Ein wichtiger Kostenfaktor ist der zum Speichern aller Matrizen benötigte Speicherplatz. In einem typischen Ausführungsbeispiel können die Sprachmodelle für jede Eingabe in das Lexikon mehrfache verdeckte Markow-Modellzustände zum Einsatz bringen, die jeweils mit mehreren Gaußschen Dichtewerten verbunden sind. Es würde also für alle Gaußschen Werte in jedem Zustand je eine Matrix geben. In diesem Fall müssten mehrere Hunderte von Matrizen gespeichert werden.
Das bevorzugte Ausführungsbeispiel umfasst einen Schritt 36 der Matrizenauflösung zur Erstellung eines weniger komplexen Satzes von Jacobimatrizen 38. Wie weiter unten ausführlicher dargelegt wird, bringt das gegenwärtig bevorzugte Auflösungsverfahren beim Aufbau der weniger komplexen transformierten Matrizen die Analyse der Hauptkomponenten (PCA) zur Anwendung.
Zur Erkennungszeit liegt die Eingabesprache vom Benutzer in Schritt 42 vor. Die Eingabesprache ist wie bei 44 gezeigt mit einem Geräuschzustand B (auch als Zielgeräusch N_b bezeichnet) verbunden. Wie bereits gesagt erzielt das traditionelle Jacobiverfahren zur Anpassung nicht gerade optimale Ergebnisse, wenn Geräuschzustand Beine andere Qualität hat als der bei der Schulung benutzte Geräuschzustand A. Es hat sich jedoch herausgestellt, dass das α-Anpassungsverfahren (das bei der Definition der Matrizen während der Schulung zur Anwendung kommt) die Erkennungsleistung bei ungünstigen Geräuschzuständen erheblich verbessert. Die Ergebnisse unserer Versuche werden im untenstehenden Beispiel dargelegt.
Das in 2 bei 44 gezeigte Zielgeräusch N_b wird von der Eingabesprache abgeleitet und dann wie bei 46 angedeutet zur Berechnung des Unterschiedes vom Bezugsgeräusch N_a eingesetzt. Daraufhin werden wie bei 48 gezeigt neue angepasste Sprachmodelle unter Anwendung dieses Geräuschunterschiedes und der bei der Schulung entwickelten reduzierten transformierten Matrizen berechnet. Die dabei entstehenden angepassten Sprachmodelle 50 werden dann zur Spracherkennung auf die Eingabesprache 42 angewendet, um die Erkennungsausgabe 54 zu liefern.
Alpha-Anpassung
Zum besseren Verständnis der Funktion unserer transformierten Matrizen ist die Kenntnis der herkömmlichen Jacobianpassung zu empfehlen. Die herkömmliche Jacobianpassung ist mit einem anderen Anpassungsverfahren verwandt, das unter der Bezeichnung Kombination von Parallelmodellen (PMC) bekannt ist. Traditionell kommt die Jacobianpassung als Approximation für PMC zur Anwendung, um den mit PMC verbundenen Rechenbedarf zu verringern. PMC ist rechnerisch sehr aufwendig, da für jede Dichte des Sprachmodells Mittelvektoren in die Spektraldomäne transformiert werden müssen. Nach dem Hinzuaddieren des Mittelvektors zum Zielgeräusch muss der Ergebnisvektor dann wieder in die Cepstraldomäne zurück transformiert werden. Diese doppelte Transformation, bei der eine Matrixmultiplikation und zwei nichtlineare Funktionen zur Anwendung kommen, ist gewöhnlich für eingebaute Systeme zu zeitraubend.
Traditionell kommt die Jacobianpassung in der Cepstraldomäne als Approximation für PMC zur Anwendung. Zum Vergleich beschreibt die untenstehende Gleichung 1 die PMC Berechnung, wobei F die Matrix der diskreten Kosinus-Transformation (DCT) ist. Gleichung 2 stellt die traditionelle Jacobianpassungsberechnung dar, die als Approximation der rechnerisch aufwendigeren . PMC Berechnung zur Anwendung kommt.
GLEICHUNG 1
GLEICHUNG 2
Die Approximation der Jacobianpassung hat den Nachteil, dass sie nur gilt, wenn das Zielgeräusch (beim Gebrauch des Systems) dem Bezugsgeräusch (bei der Schulung) ähnlich ist. Dieses Problem wird in 3 veranschaulicht, das die Auswertung der geräuschvollen Sprachparameter bei zunehmendem Geräusch in der logarithmischen Spektraldomäne in Kurvenform darstellt. Die Kurven vergleichen in der logarithmischen Spektraldomäne spezifisch die PMC Anpassung und die herkömmliche Jacobianpassung. Der schattierte Bereich links in 3 entspricht dem Zustand, in dem das Sprachsignal wesentlich stärker ist als das Geräusch, während der Bereich rechts den Zuständen entspricht, in denen das Geräusch stärker ist als das Sprachsignal. Wenn Schulungs- und Versuchsbedingungen in diesen beiden Bereichen gleich sind, gleicht die Leistung der Jacobianpassung der des PMC Systems. Wenn jedoch eine dieser Bedingungen im mittleren Bereich oder in einem anderen Bereich als die andere Bedingung liegt, unterscheidet sich die Jacobianpassung von PMC und unterschätzt in der Tat immer die Anpassung der Modelle.
Wir haben entdeckt, dass die herkömmliche Jacobianpassung durch lineare oder nichtlineare Transformation der Jacobimatrizen erheblich verbessert werden kann. Um die lineare oder nichtlineare Transformation zu bewirken, setzen die bevorzugten Ausführungsbeispiele einen Parameter ein, den wir einen α-Anpassungsparameter nennen können. Gleichung 3 veranschaulicht die gegenwärtig bevorzugte Anwendung des α-Anpassungsparameters zur Bewirkung einer nichtlinearen Transformation. Gleichung 4 veranschaulicht eine andere Anwendung des Parameters zur Bewirkung einer linearen Transformation. Wie oben festgestellt, wird zur Zeit zwar ein α-Anpassungsparameter für die Transformation vorgezogen, aber andere Transformationsverfahren sind ebenfalls möglich. Bei der Transformation von Jacobimatrizen für den anfänglichen Geräuschzustand kann zum Beispiel ein Neuralnetz oder eine andere An der künstlichen Intelligenz zur Anwendung kommen. Ein weiteres Transformationsverfahren legt einen ersten α-Anpassungsparameter oder -faktor an die Eingabesprache und einen zweiten α-Anpassungsparameter oder -faktor an das Geräusch an. Andere Variationen sind ebenfalls möglich.
GLEICHUNG 3
GLEICHUNG 4
In Gleichung 3 funktioniert der α-Anpassungsparameter wie folgt: Wenn das Bezugsgeräusch nahezu null ist, und wenn α nicht zu groß ist, sind beide Tangenten (berechnet bei der X-Koordinate N bzw. αN) waagerecht. Wenn das Bezugsgeräusch bedeutend ist, entsprechen beide Tangenten der Linie Y=x. Wenn das Bezugsgeräusch in den mittleren Bereich von 3 fällt, wird die Tangente steiler als die von der herkömmlichen Jacobianpassungskurve erzeugte.
Aus der Anwendung des α-Anpassungsparameters in Gleichung 3 ergibt sich eine nichtlineare Transformation der Matrizen. Da sowohl der Zähler als auch der Nenner mit dem Parameter multipliziert wird, entsteht eine nichtlineare Transformationswirkung. In Gleichung 4 wird der α-Anpassungsparameter gegen den Quotienten aus Zähler und Nenner multipliziert, wodurch eine lineare Transformationswirkung entsteht.
In beiden Fällen ist die Hauptwirkung des α-Anpassungsparameters die Steigerung der Anpassungsausrichtung der Sprachmodelle. Das ist zweckmäßig, denn es berichtigt die Neigung der herkömmlichen Jacobianpassung zur Unterschätzung der Auswirkungen des Geräusches. In einem späteren Abschnitt der vorliegenden Schrift werden wir unsere Versuchsergebnisse darlegen. Diese zeigen die Verbesserungen, die sich mit dem α-Anpassungsparameter bewerkstelligen lassen.
Auswahl des α-Anpassungsparameters
Theoretisch hängt der optimale Wert des α-Anpassungsparameters von der Umgebung ab: α sollte bei größerem Unterschied zwischen Ziel- und Bezugsgeräusch größer sein. Wir haben jedoch entdeckt, dass der α-Anpassungsparameter wesentlich stabiler ist als die Theorie andeutet. Bei Einsatz zur Generierung von transformierten Matrizen anstelle der herkömmlichen Jacobianpassung schwankt die Genauigkeit der Spracherkennung bei kleinen α-Werten nur geringfügig, etwas stärker bei mittleren α-Werten und dann wieder weniger bei Anstieg des α-Wertes über einen gewissen Punkt hinaus. Dieses Phänomen ist der Form der Kurve in 3 zuzuschreiben. Ungeachtet des α-Wertes schwankt die Schräge der Tangente im spezifischen Fall lediglich zwischen 0 und 1.
Zur Klärung dieses Punktes haben wir einen Satz von Experimenten für Ziffernerkennung in ungünstigen Umweltbedingungen entwickelt. Zwölf kontextunabhängige Ziffernmodelle wurden aufgebaut, nämlich die Ziffern 1 bis 9 sowie Modelle für „o" und „null" plus ein Modell für Schweigen. Schweigen wurde mit Hilfe eines verdeckten Markow-Modells (HMM) mit fünf Zuständen modelliert. Bei den übrigen Modellen kamen fünfzehn Zustände zur Anwendung. Jeder Zustand aller HMM setzt vier Gaußsche Dichten ein. Der Schulungssatz für die Modelle bestand aus 3803 Ziffernfolgen, die von 80 Sprechern ausgesprochen wurden. Der Schulungssatz wurde im geräuschlosen Labor aufgenommen. 4 und 5 zeigen die Genauigkeitsschwankungen, wenn α im Bereich 1 bis 4 variiert. Die Daten wurden auf der Basis von sechs verschiedenen akustischen Umweltbedingungen generiert:

– Validationskorpus, in Reinbedingungen aufgenommen
– Selber Korpus, mit Autogeräusch mit 10 dB Rauschabstand
– Selber Korpus, mit Autogeräusch mit 0 dB Rauschabstand
– Selber Korpus, mit Autogeräusch mit 15 dB Rauschabstand
– Prüfkorpus, in einem Wagen bei 30 Meilen pro Stunde aufgenommen
– Weiterer Prüfkorpus, in einem Wagen bei 60 Meilen pro Stunde aufgenommen

Mit Bezugnahme auf 4 und 5 lässt sich erkennen, dass die Genauigkeit ungeachtet der akustischen Umweltbedingungen bei verschiedenen α- Werten im Bereich α = 2,4 bis α = 3,6 nur ganz wenig schwankt. Das beweist, dass α einen stabilen Bereich hat, der in einem praktischen Ausführungsbeispiel der Erfindung gut genutzt werden kann. Während wir zur Zeit einen α-Anpassungs parameter zwischen ca. 2,4 und 3,6 vorziehen, versteht sich, dass dies nur für einen möglichen stabilen Bereich repräsentativ ist. Im Allgemeinen können auch andere α- Werte mit guten Ergebnissen zur Anwendung kömmen. Anders ausgedrückt, die Genauigkeit nimmt zwischen dem wahren „optimalen" α-Wert und einem anderen in einem bestimmten Bereich gewählten α-Wert (z.B. 2,4 bis 3,6) kaum ab. Unsere Daten zeigen, dass die Genauigkeit vom „optimalen" Punkt aus um weniger als drei Prozent abnimmt. Unsere verbesserte Jacobianpassung ist also eine sehr robuste Methode.
Reduktion der Anzahl der Dimensionen zur Verringerung des rechnerischen Aufwands
Obwohl die Jacobianpassung wie bereits gesagt rechnerisch weniger aufwendig ist als PMC, belastet sie das Erkennungssystem, insbesondere bei eingebauten Systemen, dennoch ziemlich schwer.
Wie wir gesehen haben, kann jede transformierte Matrix durch die folgende Gleichung 5 ausgedrückt werden.
GLEICHUNG 5
Hierbei ist
eine Diagonalmatrix mit den Dimensionen NFiltXNFilt, wobei NFilt die Anzahl der in der Spektralfiltergruppe zur Anwendung kommenden Filter ist.
Jede transformierte Matrix kann also als die gewichtete Summe von NFilt kanonischen Matrizen ausgedrückt werden, die in der Tat eine Basis des Raums bilden, zu welchem die Jacobimatrizen gehören. Diese kanonischen Matrizen werden definiert durch: Ji = F·diag(i)·F–1 wobei sich diag(i) auf eine diagonale NfiltxNFilt-Matrix bezieht, bei der überall 0 ist; aber 1 in Position i.
Jede transformierte Matrix lässt sich daher wie folgt ausdrücken: GLEICHUNG 6
Es müssen also nicht Nd Matrizen gespeichert werden (wobei Nd die Gesamtzahl der Dichten in allen Sprachmodellen ist), sondern nur NFilt kanonische Matrizen plus Nd mal NFilt Koeffizienten γ_i. Das reduziert den Speicherbedarf erheblich.
Diese Lösung kann jedoch weiter verbessert werden, da sie die Zeitkomplexität des Algorithmus verstärkt. Wenn alle transformierten Matrizen gespeichert sind, kann Gleichung 2 direkt auf alle Dichten angewandt werden, was Nd Matrixmultiplikation kostet.
Wenn die zweite Lösung gewählt wird, wird der rechte Teil von Gleichung 2:
In dieser Gleichung sind die Kosten NFilt Matrixadditionen und NFilt Matrixmultiplikation mit einem Skalar. Das muss für jede Dichte wiederholt werden. Die Gesamtkosten betragen daher 2·Nd·NFilt Matrix Operationen.
Wenn wir ohne zusätzliche Rechenzeit auskommen wollen, muss die Zahl der kanonischen Matrizen reduziert werden.
Das gegenwärtig bevorzugte Verfahren zur Reduzierung der Dimension eines Raums ist die Anwendung einer Analyse der Hauptkomponenten auf den zum betreffenden Raum gehörenden Satz von Elementen. Wir haben also zuerst alle Vektoren
berechnet und eine eindeutige Auflösung dieses Vektorsatzes bewerkstelligt. Die daraus entstehenden kanonischen Vektoren wurden zur Berechnung der NFilt kanonischen Jacobimatrizen
eingesetzt, die in der fallenden Reihenfolge ihrer Eigenwerte sortiert wurden.
Die oben beschriebene Analyse der Hauptkomponenten kann den Rechenbedarf erheblich verringern. Experimente haben erwiesen, dass die Anzahl der zweckmäßigen kanonischen Matrizen auf fünf Matrizen herabgesetzt werden kann.
Weitere Reduktionen sind ggf. möglich. Durch die Reduktion der Anzahl der Matrizen wird sowohl der Raumbedarf als auch die für die Anpassung erforderliche Rechenzeit verriingert. Zum besseren Verständnis der Verbesserungen, die sich aus der Reduktion der Anzahl der Dimensionen (Analyse der Hauptkomponenten) ergeben, vergleicht Tabelle I das Anpassungsverfahren auf der Basis von transformierten Matrizen mit und ohne Anwendung der Analyse der Hauptkomponenten.
TABELLE I
Die erste Spalte der obigen Tabelle I bezeichnet die Anzahl der Dimensionen, d.h. die Anzahl der kanonischen Matrizen. Die nächste Spalte bezeichnen den zur Anwendung kommenden α-Anpassungswert. Die übrigen Spalten geben die Erkennungsgenauigkeit in Prozent und die nötige Rechenzeit (Summenwert der Anpassung über die ganze Datenbank in Mikrosekunden) für die Umweltbedingungen rein (kein Geräusch), Fahrzeug mit 30 Meilen pro Stunde und Fahrzeug mit 60 Meilen pro Stunde an.
Versuchsergebnisse
Die oben beschriebenen Geräuschanpassungsverfahren wurden in verschiedenen Geräuschzuständen erprobt. Die Ergebnisse unserer Versuche sind in diesem Abschnitt dargelegt. Zur Prüfung des Anpassungssystems wurde ein Spracherkennungsgerät für ein Fahrzeugnavigationssystem verwendet. Die hier beschriebenen Anpassungsverfahren sind natürlich nicht auf Fahrzeugnavigation oder andere spezifische Erkennungsaufgaben beschränkt. Für unsere Versuche wurde die Fahrzeugnavigation deshalb gewählt, weil die Geräuschzustände in einem in Fahrt befindlichen Fahrzeug bei verschiedenen Geschwindigkeiten stark variieren können. Das Anpassungssystem wurde also in der Umwelt eines Fahrzeugs erprobt, da dies als ein gutes Maß für sein Leistungspotential anerkannt wurde.
Diese Experimente wurden wie bereits geschrieben eingerichtet. Aufgebaut wurden drei Versuchssätze: (1) ein Validationssatz bestehend aus 462 von 20 Sprechern ausgesprochenen Ziffernfolgen (zum Unterschied vom Schulungssatz), der in den selben Verhältnissen aufgenommen wurde wie der Schulungssatz; (2) 947 von verschiedenen Sprechern ausgesprochene und in einem Wagen bei 30 Meilen pro Stunde aufgenommene Ziffernfolgen; (3) 475 von den selben Sprechern ausgesprochene aus je fünf Ziffern bestehende Ziffernfolgen, diesmal jedoch im Wagen bei 60 Meilen pro Stunde aufgenommen.
Bei der Erkennung kam eine einfache Schleifengrammatik mit gleichen Übergangswahrscheinlichkeiten für alle Ziffern („o" und „null" modellieren die selbe Ziffer) und Schweigen. Die Genauigkeit wurde nach Ausscheiden des Schweigens in den erkannten Sätzen bei zehn Ziffern berechnet.
Für diese Erstversuche wurde das Signal in eine Reihe von Vektoren von neun PLP Koeffizienten (einschließlich des Restfehlers} plus neu Delta Koeffizienten codiert. Die Anpassung beschränkte sich ggf. auf die Mittelwerte der ersten neun statischen Koeffizienten. Zur Anpassung wurde das Zielgeräusch unter Anwendung der 30 ersten Rahmen eines jeden Satzes berechnet.
Die in Tabelle II dargestellten Ergebnisse vergleichen die Leistung der verdeckten Markow-Modelle (HMM) ohne Anpassung mit den Ergebnissen der Kombination von Parallelmodellen (PMC) und der traditionellen Jacobianpassung (JA). Tabelle II zeigt, dass die Kombination von Parallelmodellen und die Jacobianpassung die Erkennungsleistung in der Gegenwart von Geräuschen verbessern. Die Leistung der verbesserten Anpassung mit transformierten Matrizen unter Anwendung der α-Anpassung wird jedoch nicht gezeigt. Diese Tabelle bildet eine Basislinie, anhand derer das verbesserte Anpassungsverfahren mit transformierten Matrizen verständlicher gemacht werden soll.
TABELLE II
TABELLE III
Tabelle III vergleicht die Leistung der Kombination von Parallelmodellen und der Jacobianpassung mit und ohne Alphafaktor. In Tabelle III ist die Methode der transformierten Matrizen mit α-Anpassung als „α-TM" bezeichnet. Zum Vergleich wurde der Alphafaktor auch bei der Kombination von Parallelmodellen in der Reihe „α-PMC" eingesetzt.
Beim Vergleich der Ergebnisse in Tabelle III ist festzustellen, dass verbesserte Anpassung mit transformierten Matrizen (α-TM) in der Gegenwart von Geräuschen wesentlich mehr leistet als die normale Jacobianpassung (JA). Der Alphafaktor schwächte zwar die Leistung der PMC Anpassung nicht besonders, verbesserte sie aber auch nicht wesentlich.
Unsere Experimente haben erwiesen, dass das verbesserte Anpassungsverfahren mit transformierten Matrizen unter Anwendung des α-Anpassungsfaktors wesentlich bessere Ergebnisse zeitigt als die normale Jacobianpassung. Da Anpassung mit transformierten Matrizen außerdem an sich rechnerisch weniger aufwendig ist als PMC, wird sie zur idealen Lösung für eingebaute Erkennungssysteme, die nicht viel Verarbeitungsleistung oder Speicherplatz haben. Zu diesen Anwendungsbereichen gehören u.a. Erkennungssysteme für Mobiltelefone, Fahrzeugnavigationssysteme und andere Konsumgüter.
Weitere Verbesserungen in der Systemleistung können durch die hier beschriebenen Verfahren zur Reduktion der Anzahl der Dimensionen erzielt werden. In Verbindung mit Anpassung mit transformierten Matrizen ergibt sich ein leistungsfähiges, robustes Anpassungssystem, das sich in vielen Erkennungsbereichen gewähren wird.
Obzwar die Erfindung hier anhand der gegenwärtig bevorzugten Ausführungsbeispiele beschrieben wurde, sind selbstverständlich Änderungen ohne Abweichung von dem in den beiliegenden Ansprüchen dargelegten Umfang der Erfindung möglich.

Claims

Methode zur Durchführung der Geräuschanpassung in einem Spracherkennungssystem, bestehend aus: dem Aubau eines Satzes von Sprachmodellen unter einem ersten Geräuschzustand; der Erstellung eines Satzes von Jacobimatrizen für besagte Sprachmodelle unter besagtem erstem Geräuschzustand, gekennzeichnet durch die Transformation besagter Jacobimatrizen zur Definition eines Satzes von transformieren Matrizen und die Speicherung besagter Matrizen zwecks Anwendung in der Spracherkennung; der Erstellung von Eingabesprache unter einem zweiten Geräuschzustand; der Bestimmung einer ersten Änderung im Geräuschzustand auf der Basis der besagten ersten und zweiten Geräuschzustände; der Anwendung der besagten ersten Änderung im Geräuschzustand und der besagten transformierten Matrizen zur Anpassung des besagten Satzes von Sprachmodellen.
Methode nach Ansprüch 1, wobei besagter Schritt der Transformation besagter Jacobimatrizen unter Anwendung einer linearen Transformation erfolgt.
Methode nach Anspruch 1, wobei besagter Schritt der Transformation besagter Jacobimatrizen unter Anwendung einer nichtlinearen Transformation erfolgt.
Methode nach Anspruch 1, wobei besagter Transformationsschritt unter Anwendung eines Alpha-Anpassungsfaktors auf besagte Jacobimatrizen erfolgt, wobei besagter Alpha-Anpassungsfaktor einen Bewertungsfaktor mit einem Wert beinhaltet, der im Wesentlichen mit dem Zahlenbereich 2,4 bis 3,6 verbunden ist.
Methode nach Anspruch 1, weiter bestehend aus der Zerlegung der besagten transformierten Matrizen unter Anwendung eines Verfahrens zur Reduktion der Anzahl der Dimensionen.
Verfahren nach Anspruch 5, wobei bei besagtem Verfahren zur Reduktion der Anzahl der Dimensionen die Analyse der Hauptkomponenten zur Anwendung kommt.
Methode zum Aubau von Anpassungsmatrizen für Geräuschanpassung in einem während der Schulungszeit entwickelten und zur Anwendungszeit benutzten Spracherkennungssystem, bestehend aus: dem Aubau eines Satzes von Sprachmodellen unter einem ersten mit besagter Schulungszeit verbundenen Geräuschzustand; der Berechnung eines Satzes von Jacobimatrizen für besagte Sprachmodelle unter besagtem erstem Geräuschzustand, gekennzeichnet durch die Transformation des besagten Satzes von Jacobimatrizen unter Anwendung einer vorgegebenen Transformationsoperation zum Ausgleich von Unterschieden zwischen Geräusch zur Schulungszeit und Geräusch zur Benutzungszeit; und der Speicherung des besagten transformierten Satzes von Matrizen als Anpassungsmatrizen zwecks Anwendung in besagtem Spracherkennungssystem zur Benutzungszeit.
Methode nach Anspruch 7, wobei besagte Transformationsoperation aus der Durchführung einer linearen Transformation auf besagten Jacobimatrizen besteht.
Methode nach Anspruch 7, wobei besagte Transformationsoperation aus der Durchführung einer nichtlinearen Transformation auf besagten Jacobimatrizen besteht.
Methode nach Anspruch 7, wobei besagte Transformationsoperation aus der Anwendung eines Alpha-Anpassungsfaktors auf besagte Jacobimatrizen besteht, wobei besagter Alpha-Anpassungsfaktor einen Bewertungsfaktor mit einem Wert beinhaltet, der im Wesentlichen mit dem Zahlenbereich 2,4 bis 3,6 verbunden ist.
Methode nach Anspruch 7, weiter bestehend aus der Zerlegung der besagten Anpassungsmatrizen unter Anwendung eines Verfahrens zur Reduktion der Anzahl der Dimensionen.
Methode nach Anspruch 11, wobei bei besagtem Verfahren zur Reduktion der Anzahl der Dimensionen die Analyse der Hauptkomponenten zur Anwendung kommt.
Spracherkennungsgerät bestehend aus: einem Satz von unter einem ersten Geräuschzustand geschulten Sprachmodellen; einem Anpassungssystem, das besagte Sprachmodelle gemäß einem zweiten Geräuschzustand anpasst; einem mit besagtem Anpassungssystem verbundenen Speicher, der einen Satz von besagten Sprachmodellen entsprechenden Anpassungsmatrizen enthält, dadurch gekennzeichnet, dass die Anpassungsmatritzen aus transformierten Matrizen bestehen, die unter Anwendung einer linearen oder nichtlinearen Transformation auf einen Satz von Jacobimatrizen für besagten ersten Geräuschzustand aufgebaut wurden.
Erkennungsgerät nach Anspruch 13, wobei bei besagter Transformation der besagten Jacobimatrizen ein Alpha-Anpassungsfaktor auf besagte Jacobimatrizen als Bewertungsfaktor mit einem Wert angewendet wird, der im Wesentlichen mit dem Zahlenbereich 2,4 bis 3,6 verbunden ist.
Erkennungsgerät nach Anspruch 13, wobei besagter Satz von Anpassungsmatrizen durch Reduktion der Anzahl der Dimensionen zerlegt wird.
Erkennungsgerät nach Anspruch 13, wobei besagter Satz von Anpassungsmatrizen durch Analyse der Hauptkomponenten zerlegt wird.