DE10006930B4

DE10006930B4 - System und Verfahren zur Spracherkennung

Info

Publication number: DE10006930B4
Application number: DE10006930A
Authority: DE
Inventors: David Erik Mukwonago Chevalier; Henry L. Arlington Heights Kazecki
Original assignee: Motorola Inc
Current assignee: Google Technology Holdings LLC
Priority date: 1999-02-23
Filing date: 2000-02-16
Publication date: 2004-08-26
Anticipated expiration: 2020-02-17
Also published as: KR20000071367A; GB2347252A; DE10006930A1; BRPI0001268B8; JP2000242294A; CN1264892A; JP4354072B2; CN1171201C; US6275800B1; BRPI0001268B1; MXPA00001875A; GB0003269D0; BR0001268A; KR100321565B1; GB2347252B

Abstract

Verfahren zum Betrieb eines Spracherkennungssystems (204, 206, 207, 208), bei dem eine Sprachäußerung unter Verwendung von gespeicherten Parametern identifiziert wird, mit den folgenden Schritten:
Berechnen eines Rauschmerkmals, in einem Trainingsmodus, als Funktion von zumindest einer eingegebenen Trainingsäußerung;
Berechnen einer Eingaberauschmessung, in einem Erkennungsmodus, als Funktion einer eingegebenen Sprachäußerung;
Berechnen eines Genauigkeitsparameters aus einem Verhältnis der Rauschmessung zum Rauschmerkmal; und
Bestimmen einer besten Übereinstimmung der Sprachäußerung in Bezug auf die gespeicherten Parameter und Auswählen der bestimmten besten Übereinstimmung für die Sprachäußerung, wenn die beste Übereinstimmung den Genauigkeitsparameter übersteigt.

Description

Die Erfindung betrifft Spracherkennungssysteme.

Aus der DE 40 29 716 A1 ist ein sprachgesteuertes Fernbedienungssystem bekannt, das aufgrund eines Sprachbefehls ein Fernbedienungssignal aussendet. Das sprachgesteuerte Fernbedienungssystem umfasst eine Wichtigkeitsgrad-Bestimmungseinheit, die den Wichtigkeitsgrad eines in das Fernbedienungssystem eingegebenen Sprachbefehls bestimmt. Die Wichtigkeits-Bestimmungseinheit schickt ein dem Wichtigkeitsgrad des Sprachbefehls entsprechendes Wichtigkeitsgradsignal an eine Erkennungsgenauigkeit-Bestimmungseinheit. In Abhängigkeit vom Wichtigkeitsgrad des eingegebenen Sprachbefehls, wie er durch das Wichtigkeitsgradsignal angezeigt wird, bestimmt die Erkennungsgenauigkeit-Bestimmungseinheit, ob die Genauigkeit des Erkennungsergebnisses hoch oder niedrig ist. Aufgrund des Ergebnisses dieser Bestimmung schickt die Erkennungsgenauigkeit-Bestimmungseinheit nur ein Erkennungsergebnis mit höherer Erkennungsgenauigkeit an eine Sendeschaltung.

Die EP 0 240 330 A2 betrifft die Rauschkompensation bei der Spracherkennung. Bei der Spracherkennung ist es entsprechend der Lehre dieser Druckschrift vorteilhaft, Rauschpegel sowohl bei der Erkennung als auch beim Training zu berücksichtigen. Bei beiden Vorgängen werden ein Mikrophon erreichende Signal digitalisiert und durch eine Filterbank geleitet, um in Frequenzkanäle aufgeteilt zu werden. Beim Training werden ein Rauschschätzer und ein Maskierer zusammen mit einem Erkenner verwendet, um Wahrscheinlichkeitsdichtefunktionen für jeden Kanal zu erzeugen und zu speichern, die partial Markov-Modelle von zu erkennenden Wörtern definieren. Die Wahrscheinlichkeitsdichtefunktionen werden nur von Eingangssignalen oberhalb von Rauschpegeln abgeleitet, die Ableitung erfolgt jedoch derart, dass die Gesamtheit von jeder Wahrscheinlichkeitsdichtefunktion repräsentiert wird. Bei der Erkennung werden "Abstands"-Messungen, auf denen die Erkennung basiert, für jeden Kanal abgeleitet. Wenn das Signal in einem Kanal über dem Rauschen liegt, wird der Abstand durch den Erkenner über den negativen Logarithmus der Wahrscheinlichkeitsdichtefunktion abgeleitet. Wenn ein Kanalsignal jedoch unter dem Rauschen liegt, wird der Abstand über den negativen Logarithmus des kumulativen Abstandes der Wahrscheinlichkeitsdichtefunktion zum Rauschpegel bestimmt.

Sprecherspezifische Spracherkennungssysteme verwenden einen Merkmalsextraktionsalgorithmus, um Signalverarbeitung an einem Rahmen der Eingangssprache vornehmen und Merkmalsvektoren für jeden Rahmen ausgeben zu können. Die Rahmenrate liegt i.a. zwischen 10 und 30 ms und wird hier als Beispiel auf 20 ms Dauer festgelegt. Bekanntermaßen wird eine große Anzahl unterschiedlicher Merkmale bei Spracherkennungssystemen verwendet.

Allgemein ausgedrückt werden bei einem Trainingsalgorithmus die Merkmale verwendet, die aus der abgetasteten Sprache einer oder mehrerer Äußerungen eines Wortes oder eines Satzes extrahiert wurden, um Parameter für ein Modell dieses Wortes oder Satzes zu erzeugen. Dieses Model wird dann in einem Modellablagespeicher gespeichert. Diese Modelle werden später bei der Spracherkennung verwendet. Das Erkennungssystem vergleicht die Merkmale einer unbekannten Äußerung mit abgespeicherten Modellparametern, um eine beste Übereinstimmung zu finden. Das am besten übereinstimmende Modell wird dann von dem Erkennungssystem als Ergebnis ausgegeben.

Es ist bekannt, verborgene Markov-Modelle (Hidden Markov Model = HMM) als Basis für Erkennungssysteme zu verwenden. HMM-Erkennungssysteme ordnen Rahmen der Äußerung Zuständen des HMM zu. Die Rahmenzustandszuordnung, bei der die größte Wahrscheinlichkeit oder Wertung vorliegt, wird als beste Übereinstimmung ausgewählt.

Viele Spracherkennungssysteme unterscheiden nicht zwischen gültigen und ungültigen Äußerungen. Statt dessen wählen diese Systeme eines unter den abgespeicherten Modellen, das die größte Übereinstimmung ergibt. Einige Systeme verwenden einen Vokabularabgrenzungsalgorithmus, der ungültige Äußerungen zu erfas sen und zurückzuweisen versucht. Dies ist ein schwieriges Problem bei sprecherabhängigen Spracherkennungssystemen mit einem kleinen Vokabular aufgrund der dynamischen Größe und der unbekannten Zusammensetzung des Vokabulars. Diese Algorithmen werden in verrauschten Verhältnissen schlechter, so dass die Anzahl der falschen Zurückweisungen unter verrauschten Verhältnissen zunimmt.

In der Praxis müssen Vokabularabgrenzungsalgorithmen bei der Leistung die Balance zwischen korrekten Zurückweisungen ungültiger Äußerungen und falschen Zurückweisungen gültiger Äußerungen finden. Die Rate falscher Zurückweisungen kann eine kritische Rolle bei dem Grad der Zufriedenheit der Kunden spielen, ebenso wie häufige falsche Zurückweisungen oder fehlerhafte Übereinstimmungen zu Frustrationen führen. Damit ist die Zurückweisung aufgrund des Vokabularabgrenzungsalgorithmus eine Balance in Bezug auf die Erfüllung der Erwartungen der Anwender an die Erkennung.

Dementsprechend wird bekanntermaßen ein Zurückweisungsschwellenwert auf der Grundlage des Rauschpegels berechnet. Beispielsweise ist es bekannt, den Rauschpegel zu messen, bevor der erste Sprachrahmen erkannt wird. Ein Schwellenwert wird aus der Messung berechnet. Ein Eingangswert wird zurückgewiesen, wenn die Differenz zwischen dem Wortreferenzmuster und dem Eingangssprachmuster größer als der Zurückweisungsschwellenwert ist. Solch ein System ist daher abhängig von dem zufälligen Rauscheingangspegel. Solche Messungen sind nicht zuverlässig genug, um darauf basierend eine wirkliche Zurückweisungsentscheidung zu fällen.

Dementsprechend besteht ein Bedarf an einem verbesserten Verfahren zum Bereitstellen einer Basis für das Zurückweisen von Äußerungen in einem Spracherkennungssystem.

1 zeigt ein schematisches Schaltbild als Blockdiagramm zur Darstellung einer drahtlosen Kommunikationseinrichtung.
2 zeigt ein schematisches Schaltbild als Blockdiagramm zur Darstellung eines Spracherkennungssystems in der Einrichtung nach 1.
3 zeigt ein Grammatiknetz mit zwei Knoten.
4 ist ein Flussdiagramm des Trainingsvorgangs.
5 zeigt ein Fenster und entsprechende Rahmen.
6 ist ein grobes Flussdiagramm der Erkennungsvorgangs.
7 ist ein Flussdiagramm des Trainingsvorgangs während der Erkennung.
8 zeigt eine Straffunktion.
Die vorliegende Erfindung hat eine variable Genauigkeitsvorgabe für die Zurückweisung, die von den Hintergrundrauschpegeln während des Trainings und der Erkennung abhängt. Beim Training werden Rauschmerkmale durch Trainingsäußerungen erzeugt. Eine Zunahme des Referenzrauschmittelwertes wird aufgrund der Rauschmerkmale aktualisiert. Die Statistiken werden in einem Speicher abgelegt, um sie dem Erkennungsalgorithmus zur Verfügung zu stellen. Rauschstatistiken werden im Training im freihändigen Modus nicht aktualisiert, da das Hintergrundrauschen dann größer ist. Wenn keine Rauschstatistik vorliegt, geht der Erkennungsalgorithmus als Default-Einstellung zu der geringsten Genauigkeitsvorgabe über.
Bei der Erkennung wird das Eingangsrauschenergiemerkmal mit den Referenzrauschstatistiken verglichen, und es wird ein Rauschverhältnis berechnet. Die Genauigkeitsvorgabe des Vokabularabgrenzungsalgorithmus wird dann auf der Grundlage des Rauschverhältnisses eingestellt. Durch die vorliegende Erfindung wird es möglich, falschen Zurückweisungen gültiger Äußerungen bei Rauschen vorzubeugen.
Der Genauigkeitsvorgabeparameter ist eine Worteintrittsstrafe in dem zweistufigen Algorithmus der Anpassungserkennungssuche. Das Vertrauensmaß des besten Pfades wird als ein Einzelzustandsaussonderungsmodell mit Nullmittelwert parallel zu den Sprachidentifizierungsmodellen implementiert.
In 1 ist eine Vorrichtung 100 dargestellt, bei der die Erfindung vorteilhaft eingesetzt werden kann. Die Vorrichtung 100 wird hier zur Erläuterung als tragbares Mobiltelefon beschrieben, aber es könnte sich dabei ebensogut um einen Computer, einen digitalen Assistenten oder eine andere Vorrichtung handeln, bei der Spracherkennung vorteilhaft eingesetzt werden kann, und insbesondere kann es sich dabei um eine Vorrichtung handeln, bei der ein speichereffizientes Spracherkennungssystem von Vorteil ist. Das dargestellte Mobiltelefon umfasst einen Sender 102 und einen Empfänger 104, verbunden mit einer Antenne 106. Der Sender 102 und der Empfänger 104 sind mit einem Rufprozessor 108 verbunden, der die Rufverarbeitungsfunktionen ausführt. Der Rufprozessor 108 kann unter Verwendung eines digitalen Signalprozessors (DSP), eines Mikroprozessors, eines Mikrocontrollers, einer programmierbaren Logikeinheit, einer Kombination aus zwei oder mehr der genannten Einheiten oder irgendeiner anderen digitalen Schaltung implementiert werden.
Der Rufprozessor 108 ist mit einem Speicher 110 verbunden. Der Speicher 110 enthält RAM-Speicher, elektronisch lösch- und programmierbare Festwertspeicher (EEPROM), flash-ROM oder dergleichen bzw. eine Kombination aus zwei oder mehreren der genannten Speichertypen. Der Speicher 110 unterstützt den Betrieb des Rufprozessors 108, einschließlich der Spracherkennung, und muss einen elektronisch veränderbaren Speicher umfassen, um den Zustandsübergangspfadspeicher zu unterstützen. Der ROM kann dafür ausgelegt sein, das Betriebssystem der Vorrichtung aufzunehmen.
Ein Audioschaltkreis 112 stellt dem Rufprozessor 108 digitalisierte Signale von einem Mikrophon 114 zur Verfügung. Der Audioschaltkreis 112 treibt Lautsprecher 116 in Abhängigkeit von digitalen Signalen von dem Rufprozessor 108.
Der Rufprozessor 108 ist mit einem Anzeigeprozessor 120 verbunden. Der Anzeigeprozessor ist optional, wenn zusätzliche Prozessorunterstützung für die Vorrichtung 100 gewünscht wird. Insbesondere versorgt der Anzeigeprozessor 120 die Anzeige 126 mit Anzeigesteuerungssignalen und empfängt Eingangssignale von den Tasten 124. Der Anzeigeprozessor 120 kann unter Verwendung eines Mikroprozessors, eines Mikrocontrollers, eines digitalen Signalprozessors, einer programmierbaren Logikeinheit, einer Kombination der genannten Einheiten oder dergleichen implementiert sein. Ein Speicher 122 ist mit dem Anzeigeprozessor verbunden, um die digitale Logik darin zu unterstützen. Der Speicher 122 kann unter Verwendung eines RAM, eines EEPROM, eines ROM, eines flash-ROM oder dergleichen sowie einer Kombination von zwei oder mehreren dieser Speicherarten implementiert sein.
Wie in 2 gezeigt werden die Audiosignale, die durch das Mikrophon 114 aufgenommen werden, in einem Digital-Analog-Wandler 202 des Audioschaltkreises 112 in digitale Signale gewandelt. Der Fachmann erkennt, dass der Audioschaltkreis 112 zusätzliche Signalverarbeitung wie Filtern durchführt, das der Kürze halber hier nicht beschrieben wird. Der Rufprozessor 108 führt eine Merkmalsextraktion 204 bei der verarbeiteten digitalen Signaldarstellung des analogen Signals von dem Mikrophon 114 durch und erzeugt einen Satz von Merkmalsvektoren, die die Äußerung des Anwenders wiedergeben. Ein Merkmalsvektor wird für jedes Kurzzeitanalysefenster erzeugt. Das Kurzzeitanalysefenster ist bei dem hier dargestellten Beispiel ein Rahmen mit einer Länge von 20 ms. Damit gibt es einen Merkmalsvektor pro Rahmen. Der Prozessor 108 verwendet die Merkmale für die Spracherkennung 206 oder das Training 207.
Beim Training werden die Merkmalsvektoren der Äußerung verwendet, um Vorlagen in der Form von HMMen zu erzeugen, die in einem Speicher 208 abgelegt werden. Bei der Spracherkennung werden die Merkmalsvektoren, die die eingegebene Äußerung darstellen, mit Vorlagen der im Speicher 208 abgespeicherten Worte des Vokabulars verglichen, um festzustellen, was der Anwender gesagt hat. Das System kann die beste Übereinstimmung, einen Satz von besten Übereinstimmungen oder, optional, keine Übereinstimmung ausgeben. Der Speicher 208 ist vorzugsweise ein nicht-flüchtiger Speicherabschnitt des Speichers 110 (1) und kann z.B. ein EEPROM oder ein flash-ROM sein. Hierbei sind mit "Wort" mehrere Worte gemeint, so wie "John Doe", oder ein Wort, wie "call".
Im allgemeinen führt der Merkmalsextraktor 204 die Signalverarbeitung bei einem Rahmen der eingegebenen Sprache durch und gibt Merkmalsvektoren aus, die jeden Rahmen mit der Rate der Rahmen darstellen. Die Rate der Rahmen liegt im allgemeinen zwischen 10 und 30 ms und kann z.B. eine Dauer von 20 ms haben. Die Trainingsvorrichtung 207 verwendet die Merkmale, die aus der abgetasteten Sprache einer oder mehrerer Äußerungen eines Wortes oder eines Satzes extrahiert wurden, um Parameter für ein Modell für das Wort oder den Satz zu finden. Dieses Modell wird dann in einem nicht-flüchtigen Modellablagespeicher 208 gespeichert. Die Modellgröße hängt direkt von der Länge des Merkmalsvektors ab, so dass der benötigte Speicher um so größer wird, je länger der Merkmalsvektor ist.
Die in dem Speicher 208 abgelegten Modelle werden dann während der Erkennung 206 verwendet. Das Erkennungssystem führt einen Vergleich der Merkmale einer unbekannten Äußerung mit abgespeicherten Modellparametern durch, um die beste Übereinstimmung herauszufinden. Das Modell mit der besten Übereinstimmung wird dann von dem Erkennungssystem als Ergebnis ausgegeben.
In 3 ist ein Grammatiknetz gezeigt, das die Spracherkennung darstellt. Die Knoten N₁ und N₂ sind durch HMMe verbunden, die durch Bögen A₁ bis A_N dargestellt sind, und außerdem durch einen Aussonderungsmodellbogen A_GM. Die Bögen A₁ bis A_N stellen alle die individuellen HMMe dar, die in den Spracherkennungssystemen trainiert und in dem Speicher 208 gespeichert wurden. Der Aussonderungsmodellbogen stellt eine Modellreferenz einer Einzelzustandsaussonderung dar.
Der Knoten N₁ beinhaltet ein Einzelzustandsrauschmodell A₁ ^Rauschen. Das Erkennungssystem verwendet einen Erkennungsalgo rithmus für die Auswahl eines der Bögen A₁ bis A_N und A_GM als beste Übereinstimmung, oder es identifiziert keine Übereinstimmung (d.h. wenn keine Sprache erfasst wird). Wenn A_GM der beste Bogen ist, wird die Eingabe als ungültig verworfen.
Der Trainingsprozess wird mit Bezug auf 4 beschrieben. Anfänglich wird ein Haupttraining durchgeführt, um jede Äußerung oder Zustandsmodell A₁ bis A_N abzuleiten und in dem Speicher 208 abzuspeichern, wie dies in Schritt 402 angedeutet ist. Eine Anzahl von unterschiedlichen Verfahren sind für das Erzeugen der HMMe bekannt. In 4 verläuft jeder Bogen von links nach rechts, HMMe ohne Zustand werden übersprungen, so dass nur Selbstschleifen und Einzelschrittübergänge zugelassen sind. Im folgenden wird die Ableitung eines solchen Modells kurz beschrieben. Der Fachmann erkennt, dass die Bögen von anderen bekannten Modellen stammen können und mit anderen bekannten Verfahren erzeugt werden können.
Am Anfang werden die Merkmale in dem Merkmalsextraktor 204 extrahiert. Dabei soll der Merkmalsextraktor Cepstrum- und Delta-Cepstrum-Koeffizienten für jeden Rahmen einer Äußerung erzeugen. Der Fachmann erkennt, dass es viele Arten der Berechnung von Cepstrum-Merkmalen und der Abschätzung ihrer Ableitungen gibt und dass irgendeine geeignete Technik zum Ableiten dieser Koeffizienten eingesetzt werden kann. Die Rahmen F₁ bis F_N (5) werden während des Fensters erzeugt, wobei jeder Rahmen Merkmale enthält. Einige der Rahmen enthalten Rauschen, aus dem von dem Merkmalsextraktor Rauschenergiemerkmale erzeugt werden. Andere Rahmen stellen einen Abschnitt des Sprachsignals dar.
In 4 berechnet der Prozessor 108 in Schritt 604 beim Training 207 ein Rauschmerkmal für jedes Bogenmodell, wie es in Schritt 604 gezeigt ist. Die Messung des Rauschens erfolgt über die Merkmalsvektoren, die beim Anfang und Ende des Aufnahmefensters erzeugt werden. Insbesondere ist es wünschenswert, das Mittel der Merkmalsvektoren zu verwenden, die in einer Anfangsperiode und einer Endperiode der Äußerung gemessen werden. Zum Beispiel können die ersten 160 ms von Savge und die letzten 160 ms von Eavge des Aufnahmefensters verwendet werden. Das Aufnahmefenster ist in 5 dargestellt und umfasst die Anfangsperiode und die Endperiode, während der Rauschmerkmalsvektoren gespeichert werden. Das Aufnahmefenster kann z.B. 2 Sekunden lang sein, was der maximalen Länge eines Wortes entspricht. Dieses Aufnahmefenster kann eine feste oder eine variable Länge haben, abhängig von der erwarteten Länge der eingegebenen Äußerungen und den Beschränkungen in Bezug auf Speicherplatz.
Der Prozessor 108 bestimmt in Schritt 404, nachdem das Rauschmerkmal in Schritt 404 abgeleitet wurde, ob die Vorrichtung im freihändigen Modus betrieben wird. Die Vorrichtung kann ein Zustands-Flag aufweisen, das anzeigt, dass sich die Vorrichtung im Freihandmodus befindet, welches von dem Anwender über ein Tastenfeldmenü aktiviert wird, oder sie kann eine mechanische Verbindung aufweisen, die einen Schalter betätigt, wenn die Vorrichtung 100 mit einer Freisprecheinrichtung verbunden wird.
Wenn die Vorrichtung sich nicht im Freihandmodus befindet, berechnet der Prozessor beim Training (was unabhängig für jede Äußerung erfolgt) ein Rauschmerkmal Xnz, was dem Minimum von Savge und Eavge (d. h. min (Savg, Eavg)) entspricht, wie in Schritt 410 gezeigt ist. Für jeden Rahmen eines eingegebenen Sprachsegments kann ein Energiewert aus dessen Abtastwerten berechnet werden. Savge und Eavge sind Mittelwerte dieser Energiewerte aus den angezeigten Rahmen. Das Minimum wird für jede der Trainingsäußerungen verwendet, um einen laufenden Rauschmittelwert zu aktualisieren. Dieser Rauschmittelwert wird iterativ nach der folgenden Gleichung aktualisiert: Xref (k) = ((k – 2) · Xref (k – 2) + (Xnz1 + Xnz2)) / kwobei X_ref(k) der Referenzwert für das k-te Rauschmerkmal ist, Xnz1 das Rauschmerkmal anzeigt, das aus dem Minimum von Savge und Eavge der ersten Trainingsäußerung abgeleitet wurde, und Xnz2 das Rauschmerkmal anzeigt, das aus dem Minimum von Savge und Eavge der zweiten Trainingsäußerung abgeleitet wurde.
Der aktualisierte Rauschmittelwert und die Anzahl der Trainingsäußerungen für die Aktualisierung des Rauschmittelwertes werden in dem Speicher 110 abgelegt, wie dies in Schritt 412 gezeigt ist.
In Schritt 406 wurde festgestellt, dass die Vorrichtung in dem freihändigen Modus betrieben wurde. Ein Freihand-Flag HF wird wie in Schritt 408 dargestellt gesetzt. Das HF-Flag wird gesetzt, so dass Freihandwortmodelle verwendet werden anstatt das Rauschmodell zu aktualisieren, wenn das Training im Freihandmodus abläuft.
Es wird angenommen, dass die Trainingsumgebung relativ ruhig ist. Dies kann durch eine Signalqualitätsüberprüfung verbessert werden, wobei es erforderlich ist, dass alle Trainingsäußerungen ein Signalrauschverhältnis von wenigstens 18 dB haben. Es können auch Überprüfungen vorgesehen werden, um sicherzustellen, dass der Anwender nicht während der Savge- und Eavge-Messzeit spricht.
Der allgemeine Vorgang der Erkennung durch den Prozessor 108 wird allgemein mit Bezug auf 6 beschrieben. Am Anfang wird das Rauschmerkmal für die Testäußerung berechnet, welche die eingegebene Äußerung ist, die das System zu erkennen versucht, wie es in Schritt 602 angedeutet ist. Bei dem Erkennungsmodus wird eine Hintergrundrauschmessung während derselben anfänglichen 160 ms von Savge und 160 ms am Ende von Eavge des Aufnahmefensters vorgenommen. Die Rauschmessung während der Erkennung ist Xrecog und ist gleich dem Mittelwert von Savge und Eavge. Dieser Wert wird mit dem Referenzrauschwert verglichen, der in dem Trainingsmodus berechnet wurde. Ein Vergleich wird durchgeführt, um das Verhältnis zwischen der Erkennungshintergrundrauschabschätzung und der Trainingshintergrundrauschabschätzung zu bestimmen. Der Fachmann erkennt, dass andere relative Vergleiche dieser Werte durchgeführt werden können.
Der Prozessor 108 berechnet als nächstes die Wortstrafe in Schritt 606. Das Verhältnis wird verwendet, um eine Worteintrittsstrafe zu berechnen. Die Worteintrittsstrafe steuert die Zurückweisung wegen Vokabularabgrenzung. Allgemein ist bei höherem Rauschen in der Umgebung der Genauigkeitsvorgabewert niedriger. Die Worteintrittsstrafe wird berechnet unter Verwendung einer Vergleichstabelle, wobei das Rauschindexverhältnis die Adresse für die Speichertabelle darstellt und die Strafe der Ausgangswert ist. Eine vorteilhafte Verteilung von zehn Strafen, wie sie in 8 gezeigt ist, kann verwendet werden, wobei wesentlich verrauschtere Umgebungen bei dem Erkennungsmodus (Verhältnisse 6 – 9) eine wesentlich kleinere Strafe als Verhältnisse haben, die Erkennungsmoden darstellen, die näher an der Trainingsmodusrauschreferenz (Verhältnisse 0 – 4) liegen. Beispielsweise kann die Kurve wie folgt dargestellt werden: x = Xref (k) / Xrecog f(x) = 1 / (1 + 21, 5 ( x–5 )).
Als Default werden Verhältnisse außerhalb des Bereiches auf die minimale Worteintrittsstrafe gesetzt, die Null ist. Die tatsächlich angewendete Strafe kann zum Beispiel -220 · f(x) betragen, obgleich der tatsächliche Skalar irgendeinen Wert annehmen kann, der dazu führt, dass eine Strafe einen gewünschten Anteil an den Wertungen hat, mit denen er zusammenhängt. Die Verwendung einer nicht-linearen Beziehung bewirkt eine signifikante Verbesserung der Erkennung innerhalb und außerhalb des Vokabulars, indem eine große Strafe verhängt wird, wenn Rauschbedingungen gut sind, und eine kleine Strafe verhängt wird, wenn die Rauschbedingungen schlecht sind. Der Fachmann erkennt, dass die Berechnung der Worteintrittsstrafe direkt erfolgen kann, anstatt über die Verwendung einer Vergleichstabelle.
Die Erkennung wird mit der Hauptsuche und parallelen Aussonderungsmodellen fortgesetzt, wie es in Schritt 608 gezeigt ist. Das Ziel des Erkennungssystems ist es, den wahrscheinlichsten Pfad vom Knoten N₁ und N₂ in 3 zu finden. Die Knoten N₁ und N₂ sind durch Pfade A₁ bis A_N verbunden, die die verborgenen Markow-Modelle für das Vokabular mit N Worten dar stellen, optional mit einem Aussonderungsmodell A_GM. Zusätzlich stellen A₁ ^Rauschen und A₂ ^Rauschen die Rauschmodelle dar und sind mit den Knoten N₁ und N₂ verbunden. Das Aussonderungsmodell, versucht alle Geräusche, die nicht aus dem Vokabular stammen, oder Worte in der eingegebenen Äußerung zu fangen. Es ist ein nullwertiges Einzelzustandsmodell, das nur von dem Vokabularabgrenzungsalgorithmus zur Zurückweisung verwendet wird. Um es daran zu hindern, das Rauschen besser als das Rauschmodell zu modellieren, wird eine Strafe gegen Wahrscheinlichkeitswertungen des Aussonderungsmodells verhängt, die als Rauschen eingestuft werden.
Die Suche durch das Grammatiknetz, dargestellt in 3, wird durch einen zweistufigen Anpassungsalgorithmus wie dem Viterbi-Algorithmus durchgeführt. Auf der niedrigsten Stufe dieser Suche wird die beste Anpassung und Pfadwertung zwischen den Rahmen der eingegebenen Äußerung und den Zuständen eines gegebenen Bogens gefunden. Ein Beispiel für die Techniken, um Rahmen einer Äußerung auf Zustände eines individuellen Modells anzuwenden, ist in der ebenfalls anhängigen Patentanmeldung mit dem internen Zeichen CS10103, "Method of traceback matrix storage in speech recognition system", von den Erfindern Jeffrey Arthur Meunier et al. gegeben, die am selben Tag eingereicht wurde wie diese Anmeldung, sowie in der ebenfalls anhängigen Patentanmeldung von dem Erfinder Daniel Poppert mit demselben Anmeldetag wie bei dieser und mit dem internen Zeichen CS10104, "Method of selectively assigning a penalty to a probability associated with a voice recognition system" ( US 6233557 B1 ), auf deren Offenbarung hiermit Bezug genommen wird. Der Anpassungsalgorithmus der ersten Stufe erzeugt eine Wertung für den besten Pfad der eingegebenen Äußerung durch den gegebenen HMM-Bogen.
Zusätzlich zu dem Anpassungsalgorithmus der ersten Stufe, bei dem die Wertungen für jeden Bogen, oder HMM, über kumulative Wahrscheinlichkeiten c n / i(m) verfolgt werden, wobei dies die kumulative Wahrscheinlichkeit des Zustandes i eines Bogens A_n beim Rahmen m ist, müssen die Knoten N1 und N2 außerdem ihre eigene kumulativen Wahrscheinlichkeiten verfolgen. Die knotenspezifische kumulative Wahrscheinlichkeit C_j(m) ist die kumula tive Wahrscheinlichkeit des Knoten N_j beim Rahmen m. Diese Wahrscheinlichkeit wird sehr ähnlich zu der kumulativen Wahrscheinlichkeit für jedes HMM berechnet, indem die höchste Wertung bei dem Knoten gehalten wird. Die kumulative Wahrscheinlichkeit kann wie folgt ausgedrückt werden: Cj (m + 1) = MaxnϵAj {Cn In (m) + PoIn (dIn)},wobei Aj die Menge der Bögen {A₁, A₂,..., A_n} ist, die bei dem Knoten j enden, In die Anzahl der Zustände auf dem Bogen n ist, d_In die Dauer des letzten Zustandes des Bogens n ist und Po_In(d_In) die Strafe für einen Übergang außerhalb des Zustandes bei wenigstens dem letzten Zustand des Bogens n ist. Die kumulative Wahrscheinlichkeit ist das Maximum der Summe der letzten kumulativen Zustandswahrscheinlichkeit C_In ⁿ(m) mit der Wahrscheinlichkeit Po_In(d_In) für außerhalb des Zustandes über alle Bögen, die beim Knoten Nj enden.
Während die kumulativen Wahrscheinlichkeiten für die Knoten verfolgt werden, muss die Berechnung der kumulativen Wahrscheinlichkeit für den Anfangszustand jedes Bogens c₁ ⁿ(m) modifiziert werden, um Übergänge von einem Knoten Nj in seinen Anfangszustand zu berücksichtigen. Es gibt eine einmalige Übergangsstrafe, die dem Übergang von dem Knoten Nj in den Anfangszustand des Bogens An zugeordnet wird, was Worteintrittsstrafe genannt wird. Dies gilt nicht für das Rauschmodell oder das Aussonderungsmodell, so dass bei Aktivierung die Wirkung wie bei einer Steuerung der Zurückweisung wegen Vokabularabgrenzung durch die Genauigkeitsvorgabe eintritt. Die kumulative Wahrscheinlichkeit kann geschrieben werden als Ci n (m + 1) = oi n (fm) + max(Cj(m) + W(n), C1 n(m) + Ps1(d1)),wobei
wobei W(n) die Worteintrittsstrafe ist, A_GM der Aussonderungsbogen ist, A₁ ^Rauschen der Rauschbogen für den Knoten 1 ist, o_i ⁿ(f_m) die Beobachtungswahrscheinlichkeit des Merkmalsvektors fm im Zustand i des Bogens n ist und Ps₁(d₁) die Übergangsstrafe für denselben Zustand beim Zustand 1 des Bogens n ist. Diese Gleichung hält das Maximum von dem Übergang in denselben Zustand und dem Übergang von dem ursprünglichen Knoten und addiert die Beobachtungswahrscheinlichkeit. Die am Ende des Erkennungsprozesse erhaltene Information besteht darin, dass der Bogen überquert wurde, um zu Knoten N₂ zu gelangen. Dies erfolgt durch Information über den Ausbreitungspfad zusammen mit den kumulativen Wahrscheinlichkeiten C_i ⁿ(m) und C_j ⁿ(m).
Bei gültigen Äußerungen muss der beste Pfad des Wortmodells durch den Anpassungsalgorithmus eine um einen Wert, der größer als die Worteintrittsstrafe ist, bessere Wertung erzielen als das Aussonderungsmodell, oder die gültige Äußerung wird fälschlich zurückgewiesen. Bei ungültigen Äußerungen muss das Aussonderungsmodell größer als der Pfad durch jedes der auswählbaren Wortmodelle sein, so dass die Äußerung zurecht zurückgewiesen wird.
Der Zurückweisungsalgorithmus verwendet das gesamte Fenster von gesammelten Merkmalsvektoren, die beispielsweise einen Datenumfang von 2 Sekunden haben. Zusätzlich verwendet er ein Sprach-Rausch-Klassifizierungsbit für jeden Rahmen, um das Einzelzustandsrauschmodell zu aktualisieren, das in A₁ ^Rauschen und A₂ ^Rauschen nach 3 verwendet wird.
In dem Erkennungsmodus initialisert der Prozessor 108 die Erkennung durch Setzen des Rauschaktualisierungsbits auf 1 und des Rahmenzählers auf Null, wie es in Schritt 702 dargestellt ist. Der Rahmenzähler wird in Schritt 704 inkrementiert. Der Prozessor stellt dann fest, ob das Rausch-Flag in Schritt 706 gesetzt wurde. Wenn dies nicht der Fall ist, fährt der Prozessor mit der Entscheidung in Schritt 716 fort. Wenn das Flag gesetzt ist, bestimmt der Prozessor 108, ob das Rauschmodell in Schritt 708 aktiviert werden soll. Wenn dies nicht der Fall ist, wird das Rauschaktualisierungs-Flag in Schritt 714 auf 0 gesetzt. Die Rauschmodellierung wird abgeschaltet, nachdem eine bestimmte Anzahl von Aktualisierungen durchgeführt wurden.
Wenn Rauschaktualisierung weiter durchgeführt werden soll, bestimmt der Prozessor, ob das Rauschmodell in Schritt 710 aktualisiert werden soll. Wenn der Prozessor das Rauschmodell für den Rahmen aktualisieren soll, wird das Modell in Schritt 712 aktualisiert. Das Rauschmodell A₁ ^Rauschen Und A₂ ^Rauschen werden dynamisch unter Verwendung der Sprach-Rausch-Klassifizierungsbits durch das System berechnet, die durch den Merkmalsextraktionsalgorithmus eingegeben werden. Die Einzelheiten der Entscheidung, ob das Rauschmodell für den momentanen Rahmen aktualisiert werden soll, erfolgt durch Betrachten der Sprachklassifizierung durch die Merkmalsextraktionsalgorithmen. Wenn einmal eine vorgegebene Anzahl von aufeinanderfolgenden Sprachrahmen für die Äußerung betrachtet worden sind, so erfolgt keine weitere Aktualisierung. Beispielsweise kann die Grenze bei 3 Rahmen liegen. Das Rauschmodell wird bei einem speziellen Rahmen nur aktualisiert, wenn bei diesem Rahmen die Klassifizierung nach Sprache und Rauschen anzeigt, dass es sich um einen Rauschrahmen handelt.
Der Prozessor bestimmt dann in Schritt 716, ob der Rahmenzähler kleiner als ein Schwellenwert für die Anzahl der Rahmen ist. Eine Wahrscheinlichkeitsabschätzung erfolgt nicht, solange nicht eine bestimmte Anzahl von Rahmen verarbeitet worden ist. Das dient dazu, dass das Rauschmodell in gewisser Weise genau werden kann, bevor Wahrscheinlichkeiten auf der Grundlage von dem Rauschmodell berechnet werden. Wenn der Schwellenwert für die Anzahl der Rahmen noch nicht erreicht wurde, kehrt der Prozessor zu Schritt 704 zurück, bei dem der Rahmenzähler um Eins inkrementiert wird.
Wenn der Rahmenzähler den Schwellenwert überschreitet, berechnet der Prozessor 108 in Schritt 718 die kumulativen Wahrscheinlichkeiten für die Knoten und Bögen für den Rahmen. Die Wahrscheinlichkeitswertungen werden in Schritt 720 normalisiert. Die Normalisierung kann erfolgen, indem die größte kumulative Wahrscheinlichkeit von allen anderen kumulativen Wahrscheinlichkeiten abgezogen wird. Der kumulative Normalisierungsfaktor wird auch verfolgt, so dass die nicht-normierte Wertung am Ende des Erkennungsprozesses zurückgegeben werden kann.
Der Prozessor bestimmt dann, ob der letzte Rahmen in Schritt 722 verarbeitet wurde. Wenn dies nicht der Fall ist, kehrt der Prozessor zu Schritt 704 zurück und inkrementiert den Rahmenzähler. Andererseits wird das Erkennungsergebnis mit der normalisierten Wertung wie in Schritt 724 angedeutet ausgegeben.
Das Rauschmodell ist eine Einzelzustandsmodell. Der Vektormittelwert dieses Zustandes ist μ₁ ^Rauschen(m), also eine Funktion von m, da die Berechnung dynamisch erfolgt und eine Aktualisierung mit einem neuen Merkmalsvektor f_m+i beim Rahmen m+1 auf folgende Art durchgeführt wird: μ1 Rauschen (m) = ((MRausc h en (m) · μ1) + fm+1) / (MR ausc h en (m) + 1),wobei M_Rausc _h _en(m) die Anzahl der Rauschrahmen ist, die bei der Berechnung von μ₁ ^Rauschen(m) verwendet wurden, die sich von dem Wert m unterscheiden kann, da nicht alle Rahmen bei der Rauschaktualisierung verwendet werden. Zusätzlich wird die Aktualisierungsgleichung nur für Cepstrum-Elemente des Rauschmodells verwendet. Die Delta-Cepstrum- und die Delta-Energie werden auf Null fixiert.
Dementsprechend erkennt man, dass ein verbessertes System vorliegt, das eine variable Genauigkeitsvorgabe für die Zurückweisung zeigt, die von den Hintergrundrauschpegeln beim Training und bei der Erkennung abhängt. Das System trägt dazu bei, ungültige Äußerungen mit gespeicherten Sprachmodellen zu assoziieren, und es trägt dazu bei, die genaue Erfassung von gültigen Äußerungen zu verbessern.
Obwohl die Erfindung in obiger Beschreibung und den Zeichnungen beschrieben und erläutert wurde, stellt diese Beschreibung lediglich ein Beispiel dar, und vielerlei Änderungen und Modifikationen sind für den Fachmann möglich, ohne dass Sinn und Umfang der Erfindung geändert. werden. Obgleich die vorlie gende Erfindung insbesondere Anwendung bei tragbaren schnurlosen Vorrichtungen wie zellularen Mobiltelefonen findet, kann die Erfindung auch bei irgendeiner Vorrichtung eingesetzt werden, bei der Spracherkennung eine Rolle spielt, einschließlich Funkrufgeräten, elektronischen Kalendern, Computern und Telefoneinrichtungen. Der Umfang der Erfindung wird nur durch die nachfolgenden Ansprüche bestimmt.

Claims

Verfahren zum Betrieb eines Spracherkennungssystems (204, 206, 207, 208), bei dem eine Sprachäußerung unter Verwendung von gespeicherten Parametern identifiziert wird, mit den folgenden Schritten: Berechnen eines Rauschmerkmals, in einem Trainingsmodus, als Funktion von zumindest einer eingegebenen Trainingsäußerung; Berechnen einer Eingaberauschmessung, in einem Erkennungsmodus, als Funktion einer eingegebenen Sprachäußerung; Berechnen eines Genauigkeitsparameters aus einem Verhältnis der Rauschmessung zum Rauschmerkmal; und Bestimmen einer besten Übereinstimmung der Sprachäußerung in Bezug auf die gespeicherten Parameter und Auswählen der bestimmten besten Übereinstimmung für die Sprachäußerung, wenn die beste Übereinstimmung den Genauigkeitsparameter übersteigt.
Verfahren nach Anspruch 1, das weiterhin den Schritt des selektiven Aktualisierens des Rauschmerkmals aus einer Mehrzahl von Trainingseingabeäußerungen umfasst.
Verfahren nach Anspruch 1 oder 2, das weiterhin den Schritt des Erkennens eines Freihandbetriebsmodus umfasst und bei dem das Rauschmerkmal nicht aktualisiert wird, wenn der Trainingsmodus auftritt während sich eine das Spracherkennungssystem verwendende Vorrichtung in dem Freihandmodus befindet.
Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt des Erzeugens eines Signal-Rausch-Verhältnisses umfasst und bei dem der Trainingsmodus verboten wird, während das Signal-Rausch-Verhältnis unter einem vorgegebenen Wert liegt.
Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt des Speicherns von Rauschstatistiken während des Trainings mit einem Modell umfasst, derart, dass die Rauschstatistiken während der Erkennungsmodusbetriebsweise verfügbar sind, wobei das Rauschmerkmal aus den Rauschstatistiken berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt des Berechnens des Rauschmerkmals aus Rauschstatistiken umfasst und bei dem im Erkennungsmodus, wenn keine Rauschstatistiken für eine Äußerung verfügbar sind, ein Erkennungsalgorithmus als Vorgabe einen Minimum-Genauigkeitsparameter verwendet, wenn ein Anpassungsalgorithmus auf diese Äußerung angewendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt des Durchführens einer Vertrauensmessung eines besten Pfades unter Verwendung eines Einzelzustandsaussonderungsmodells mit Nullmittelwert parallel zu einem Sprachidentifizierungsmodell umfasst und bei dem das Sprachidentifizierungsmodell das Aussonderungsmo dell um den Genauigkeitsparameter übersteigen muss, damit die beste Übereinstimmung ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Genauigkeitsparameter nicht-linear mit dem Verhältnis der Rauschmessung zum Rauschmerkmal zusammenhängt.
Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt umfasst, im Trainingsmodus jeweilige Vorlagen zu erzeugen, die im Speicher für jeweiligen Vokabularwörtern zugeordnete Äußerungen gespeichert werden, und im Trainingsmodus jeweilige Rauschmerkmale zu speichern, die den den jeweiligen Vokabularwörtern zugeordneten Äußerungen zugeordnet sind.