DE69705891T2

DE69705891T2 - Verfahren und Vorrichtung zur entzerrenden Filterung eines Sprachsignals unter Verwendung eines statistischen Signalmodells

Info

Publication number: DE69705891T2
Application number: DE69705891T
Authority: DE
Inventors: Denis Jouvet; Chafic Mokbel; Jean Monne
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 1996-05-06
Filing date: 1997-05-02
Publication date: 2002-04-11
Anticipated expiration: 2017-05-03
Also published as: JP3919287B2; FR2748342B1; FR2748342A1; EP0806760A1; EP0806760B1; US5864806A; JPH1074099A; DE69705891D1

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur entzerrenden Filterung eines Sprachsignals unter Verwendung eines statistischen Signalmodells.
In der nachstehenden Beschreibung wird unter Nichtbeachtung des Sprachgebrauchs der Begriff "Entzerrung" durchgängig als Synonym für "Dämpfung von Störungen" verwendet.
Insbesondere sind das Filterverfahren und die Filtervorrichtung gemäß der vorliegenden Erfindung auf ein digitales Sprachsignal anwendbar, auf das sich Störungen nachteilig auswirken können und bei dem es sich um das zu verarbeitende Signal bzw. das eigentliche Signal handelt, unter Heranziehung eines verborgenen Markow-Modells des eigentlichen Signals, das im folgenden als HMM (vom englischen Begriff "Hidden Markov Model") bezeichnet wird, oder einer Näherung des Modells des eigentlichen Signals, die auf der Grundlage reeller Daten hochgerechnet wird, sowie von Filterfunktionen unter Entzerrung der Störungen.
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung finden ihre Anwendung bei der Verbesserung von Verfahren zur automatischen Spracherkennung (nachstehend mit der Abkürzung RAP bezeichnet), insbesondere über das Telefonnetz, gleich ob es sich dabei um ein öffentliches Festnetz (Reseau Telephonique Commuté - RTC) oder um ein Mobilfunknetz (Groupe Special Mobile - GSM) handelt. Ebenso findet die vorliegende Erfindung bei der Rauschbeseitigung bei Sprachsignalen Anwendung.
Bei den sogenannten RAP-Systemen sind die bekannten Techniken in den Fällen, in denen die Erkennung in geschlossenen Räumen für die Sprachsteuerung von Freisprech- Telefonen, Rechnern, Informations-Terminals oder anderen Geräten vonstatten geht, darauf gerichtet, die durch additives Rauschen hervorgerufenen Störungen zu mindern. Sie umfassen insbesondere die Filterung durch spektrale Subtraktion, die Antennenfilterung, die Filterung durch den Zustand von Markow-Modellen oder die Hinzufügung von Umgebungsrauschen zu Vergleichsmodellen im Online-Betrieb.
Die Filterung entsprechend dem Markow-Zustand besteht darin, ein Filter mittels spektraler Subtraktion (Filter nach Wiener) einzusetzen, welches das Markow-Modell der Sprache bzw. der Wörter und den Zustand mit der höchsten Wahrscheinlichkeit kennt, in welchem sich das System zu einem Zeitpunkt t befindet. Das Modell des eigentlichen Signals ist durch den Zustand des Markow-Modells gegeben, und das Rauschmodell wird auf der Grundlage der sprachlosen Stellen hochgerechnet, die dem zu entrauschenden Wortvorausgehen.
Bei der zentralisierten Erkennung zielen die bekannten Techniken darauf ab, die Auswirkungen von Telefonleitungen durch Subtraktion von spektralanalytischen Vektoren ihrer kontinuierlichen Komponente zu mildern, die über einen ausreichend weiten Horizont hochgerechnet werden. Dabei sollte man sich daran erinnern, dass der Begriff "Horizont" bei einem in Fenster unterteilten digitalen Telefonsignal eine vorgegebene ganzzahlige Anzahl von aufeinanderfolgenden Fenstern bedeutet. Zu einer ausführlicheren Beschreibung dieser Art von Ansatz wird auf den Beitrag von C. MOKBEL, J. MONNE und D. JOUVET verwiesen, der den Titel "Online adaptation of a speech recognizer to variations in telephone line conditions" trägt und in Eurospeech, Seiten 1247 bis 1250, Berlin, 1993 veröffentlicht wurde. Für einen ausreichend weiten Horizont wird festgestellt, dass das Mittel der spektralanalytischen Vektoren die Wirkungen von Telefonleitungen repräsentiert, wobei diese Feststellung umso stärker nachgeprüft wird, je langsamer die Veränderungen der Charakteristika des Kanals sind.
Ganz allgemein baut ein System zur Rauschentfernung bzw. Entzerrung auf der Kenntnis der Charakteristika des eigentlichen Signals und der Störungen auf. Die Situation ist dennoch noch komplizierter, wenn das Modell des eigentlichen Signals oder dessen Parameter nicht bekannt sind.
Wird beispielsweise angenommen, dass ein eigentliches Sprachsegment das Ausgangssignal eines autoregressiven Systems darstellt, von dem die Parameter nicht bekannt sind, so kann man zur Rauschunterdrückung auf ein Verfahren vom Typ "Estimate-Maximise" zurückgreifen, um eine Hochrechnung der Parameter des autoregressiven Modells zu erhalten und um die Störungen (vgl. beispielsweise den Beitrag von G. CELEUX und J. DIEBOLT mit dem Titel "Une version de type recuit simulé de l'algorithme EM" in: Rapports de Recherche, Nr. 1123, Programme 5, INRIA, November 1989) auszufiltern.
Es kann auch auf die blinde Entzerrung zurückgegriffen werden, die sich zur Ermittlung des Kriteriums für die Anpassung der Koeffizienten des für die Entzerrung eingesetzten Entzerrers auf die eigenen statistischen Informationen des digitalen Signals stützt. Insbesondere werden in der französischen Vorveröffentlichung FR-A-2 722 631 ein Verfahren und ein System zur adaptiven Filterung durch blinde Entzerrung eines digitalen Telefoniesignals und deren Einsatz in der Übermittlung in der Telefonie und/oder bei AUTOMATISCHER SPRACHERKENNUNG beschrieben. Das in diesem Dokument beschriebene Verfahren beruht vollständig auf den allgemeinen statistischen Informationen im Zusammenhang mit dem Sprachsignal und auf der Hypothese eines gefalteten, nahezu konstanten Effekts des Telefoniekanals.
Solche Ansätze erbringen befriedigende Ergebnisse, wenn hinsichtlich des Signals selbst einfache Hypothesen aufgestellt werden können, und zwar wenn es als autoregressives und/oder Gaußsches und/oder stationäres Signal angenommen werden kann, was nicht immer möglich ist.
Weitere neuere Untersuchungen sind auf die Verwendung der statistischen Modelle des Wortschatzes ausgerichtet, um so die Störungen und/oder die Variabilität des Sprachsignals zu verringern, was eine robustere Erkennung ermöglichen könnte.
So wird auf Seiten 1595 bis 1598 in der Vorveröffentlichung DATABASE INSPEC INSTITUTE OF ELECTRICAL ENGINEERS, INTERNATIONAL CONFERENCE ON SPOKEN LANGUAGE PROCESSING, 1994, Band 3, 18. - 22. September 1994, Yokohama, Japan ein Verfahren zur Verbesserung eines Sprachsignals beschrieben, auf das sich ein nicht korreliertes Rauschen negativ auswirkt, und zwar mit Hilfe eines im spektralanalytischen Bereich verborgenen Markow-Modells.
In der Vorveröffentlichung EP 534 837 wird ebenfalls ein Verfahren zur Verarbeitung von Sprache unter Anwendung von verborgenen Markow-Modellen beschrieben, das mittels der nicht-linearen Subtraktion funktioniert.
In dem Dokument "Speech enhancement using state dependent dynamical system model", EPHRAIM - ICASSP'92, Band 1, 23. - 26. März 1992, SAN FRANCISCO, CA (USA) wird ein Verfahren zur Modellbildung bei einem Sprachsignal unter Einsatz eines verborgenen Markow-Modells beschrieben.
Alle diese Arbeiten zeigen den Nachteil auf, das sie nicht in der Lage sind, eine Online-Anwendung zu ermöglichen, die synchron mit dem akustischen Raster bzw. Teilmuster läuft. Bei den bisher angeregten Verfahren wird das Ende des zu erkennenden Signals abgewartet, um dann die iterativen Schritte zur Hochrechnung der Neigungen und zur Identifizierung des entrauschten bzw. entzerrten Signals auszuführen. Des weiteren hängen die zu subtrahierenden Komponenten zur Hochrechnung der Neigung direkt - oder im Fall eines Verfahrens vom Typ "Estimate-Maximise" indirekt - vom günstigsten Pfad im Markow-Modell ab, wobei unter einem Pfad bzw. einer Ausrichtung im Sinne von Markow eine Zuordnung zwischen einer Abfolge akustischer Teilmuster und einer Abfolge von Zuständen (bzw. Übergängen) zu verstehen ist, denen Dichtewerte der Wahrscheinlichkeiten des Modells entsprechen. Diese Abhängigkeit birgt die Gefahr in sich, dass dem Ansatz eine bestimmte Tendenz aufgegeben wird, sofern die Ausgangsbeobachtung stark gestört ist, da diese Störungen Fehlausrichtungen herbeiführen können.
Der mit der vorliegenden Erfindung vorgeschlagene Lösungsweg unterscheidet sich von seinem grundlegenden Prinzip her von den vorstehend beschriebenen Ansätzen, ist allgemeiner als diese und überwindet die vorgenannten Nachteile insofern, als hier eine Synchronisierung mit dem akustischen Teilmuster gegeben ist.
Hierzu wird erfindungsgemäß ein Verfahren zur Entzerrung eines Sprachsignals vorgeschlagen, welches aus einer beobachteten Abfolge akustischer Teilmuster als aufeinanderfolgende Eingangsinformationen besteht, wobei sich auf das Sprachsignal Störungen nachteilig auswirken können, wobei gemäß diesem Verfahren ein Modell des Sprachsignals in Form von HMM gebildet wird; dieses Verfahren zeichnet sich dadurch aus, dass zu jedem Zeitpunkt t:
- ausgehend von mehreren vorhergehenden akustischen Teilmustern und ausgehend von mehreren Parametern des Markow-Modells Entzerrungsfilter gebildet werden, die den Pfaden im Sinne von Markow zum Zeitpunkt t zugeordnet sind;
- mindestens mehrere der Entzerrungsfilter eingesetzt werden, um zum Zeitpunkt t mehrere Abfolgen gefilterter akustischer Einzelmuster und eine Emissions-Wahrscheinlichkeit für jeden den eingesetzten Entzerrungsfiltern jeweils zugeordneten Pfaden zu erhalten;
das Entzerrungsfilter, das im Sinne von Markow dem Pfad mit der höchsten Wahrscheinlichkeit entspricht, d. h. der Pfad, für den die Wahrscheinlichkeit der Emission der Abfolge gefilterter akustischer Einzelmuster durch das entsprechende eingesetzte Entzerrungsfilter am höchsten ist, herangezogen wird; und
- als entzerrtes Einzelmuster das vom herangezogenen Entzerrungsfilter gelieferte gefilterte Einzelmuster herangezogen wird.
Des weiteren wird erfindungsgemäß auch eine Entzerrungsvorrichtung vorgeschlagen, bei welcher das vorgenannte Verfahren zum Einsatz kommt und die sich dadurch auszeichnet, dass sie ein Entzerrungsfilter-Modul aufweist, welches an seinem Eingang das von Störungen nachteilig beeinflusste Sprachsignal empfängt und an seinem Ausgang ein Sprachsignal mit verminderten Störungen liefert.
Weitere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung und aus der Betrachtung der beiliegenden einzigen Figur, in welcher das Modul zur Berechnung der Spektralanalyse des Sprachsignals, das im Entzerrungsfilter-Modul der erfindungsgemäßen Vorrichtung enthalten ist, bei einem speziellen Ausführungsbeispiel dargestellt wird.
Im gesamten nachfolgenden Text wird ein Sprachsignal herangezogen, das aus einer beobachteten Abfolge x&sub1;, ... xt, ... xTf aufeinanderfolgender akustischer Einzelmuster besteht, die hier als akustische Eingangs-Einzelmuster bezeichnet werden. Der Index 1 bei x&sub1; gibt einen vorgegebenen Anfangszeitpunkt für die Beobachtung an; der Index t bei xt bezeichnet den aktuellen Zeitpunkt und der Index Tf bei xTf repräsentiert den abschließenden Zeitpunkt der beobachteten Sequenz. Auf dieses Sprachsignal können sich Störungen nachteilig auswirken.
Es wird davon ausgegangen, dass das Sprachsignal von einem oder mehreren Mischungen erzeugt wird, deren Parameter bekannt sind oder anhand eines Lernmodells hochgerechnet werden können. Somit kann dieses Signal als Realisierung eines HMM- Modells angesehen werden, das als λ bezeichnet wird. Zu einem gegebenen Zeitpunkt wird die Beobachtung von einer der Komponenten der Mischung bzw. der Mischungen erzeugt, die einem Markow-Automaten zugeordnet sind. Die Beobachtung des Signals ermöglicht es jedoch nicht, das Signal und die entsprechende Mischung zu kennen. Die Beobachtungen werden als unvollständig bezeichnet. Bekannt sind nur die Parameter der Mischung bzw. der Mischungen, die Parameter des Markow-Automaten und die Art der Störungen, die sich nachteilig auf das beobachtete Signal auswirken.
Die HMM-Modelle sind dem Fachmann wohlbekannt, insbesondere im Zusammenhang mit AUTOMATISCHER SPRACHERKENNUNG. In diesem Zusammenhang könnte man auf das Werk von L. RABINER und B.-H. JUANG mit dem Titel "Fundamentals of speech recognition", Prentice Hall Signal Processing Series, herausgegeben in der A. V. Oppenheim Series, 1993, oder auch auf die Doktorarbeit von D. JOUVET, "Reconnaisance de mots connectes independamment du locuteur par des methodes statistiques", E.N.S.T., 1988 verweisen.
Es wird hier daran erinnert, dass ein HMM-Modell aus einem Markow-Automaten besteht, der durch eine bestimmte Anzahl von Parametern definiert wird, nämlich dessen Zustände oder Übergänge q&sub1;, ... qn (wobei N die Anzahl der Zustände des Modells angibt), die Übergänge zwischen diesen Zuständen und die Werte der Dichte der Emission eines Beobachtungsvektors, der sich in einem gegebenen Zustand befindet (bzw. für einen gegebenen Übergang). Somit beschreiben drei Gruppen von Parametern das HMM-Modell λ:
- die Gruppe von Wahrscheinlichkeiten, mit denen ein Zustand q&sub1; zu einem Anfangszeitpunkt t&sub0; besetzt ist, die mit π(qi) notiert werden;
- die Gruppe von Wahrscheinlichkeiten, mit denen ein Beobachtungsvektor x, der sich in einem gegebenen Zustand qi befindet, emittiert wird und welche in der Form bqi(x) notiert werden; für diese Wahrscheinlichkeiten gilt im folgenden die Annahme, dass sie einem Gaußschen Wahrscheinlichkeitsgesetz des mittleren Vektors mqi und der Kovarianz- Matrix Rqi folgen.
Die Wahrscheinlichkeiten der Emission werden hier den Zuständen des Markow- Automaten zugeordnet. Sie können jedoch auch genauso gut den Übergängen zugeordnet werden: dies ändert nichts an den wesentlichen Merkmalen der Erfindung.
Dies wird wie folgt geschrieben: λ = (π, a, b).
Bei diesem Modell handelt es sich bei einem Pfad mit der Länge t im Sinne von Markow - wie vorstehend bereits erläutert - um eine Zuordnung zwischen einer Abfolge von t Einzelmustern und einer Abfolge von t Zuständen, denen Werte für die Dichte der Wahrscheinlichkeiten des Modells entsprechen. Aus Gründen der Vereinfachung wird hier davon ausgegangen, dass ein Pfad eine Folge s von t Zuständen oder Übergängen q&sub1; ..., qt ist. Dies wird wie folgt notiert: s = {q&sub1;, ... qt}.
Die Verringerung der Störungen in dem beobachteten Signal erfolgt dadurch, dass auf jedes Einzelmuster xt desselben eine Entzerrungsfunktion angewendet wird, welche einem Entzerrungsfilter bzw. einem Entzerrer zugeordnet ist.
Entsprechend dem erfindungsgemäßen Verfahren werden zu jedem Zeitpunkt t in der nachstehend noch ausführlich beschriebenen Weise Entzerrer gebildet, die den Pfaden zugeordnet sind, die zu dem Zeitpunkt t in dem Markow-Automaten vorhanden sind. Somit hängt die Entwicklung eines Pfades bzw. einer Ausrichtung in dem Automaten nicht nur von dem beobachteten Signal zu einem gegebenen Zeitpunkt ab, sondern auch von dem Zustand des Entzerrers, der in diesem Pfad vorhanden ist, wobei dieser Entzerrer zu jedem Zeitpunkt auf das beobachtete Einzelmuster angewendet wird.
Nachstehend wird die dem Entzerrer im Pfad s zugeordnete Funktion wie folgt geschrieben: Fθ(s)(.). Sie ist mit einem Vektor θ(s) parametriert.
Zu einem gegebenen Zeitpunkt t bemüht man sich nun, für einen gegebenen Weg s und in Kenntnis der Parameter des HMM-Modells λ den günstigsten Vektor der Parameter - in der Schreibweise t(s) - für die Entzerrungsfunktion hochzurechnen. Unter Anwendung des Verfahrens der maximalen Glaubhaftigkeit wird dieser Vektör mittels des Vektors der Parameter hochgerechnet, für welchen in Kenntnis des Modells λ für die Emission der Abfolge akustischer Einzelmuster Fθ(s)(xt0), ..., Fθ(s)(xt), welche die Abfolge der akustischen Eingangs-Einzelmuster darstellt, die in dem im Pfad s befindlichen Entzerrer vorhanden sind, die Wahrscheinlichkeit am höchsten ist. Dies wird wie folgt geschrieben:
t(s) = argmaxθ [P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ)].
Die Bestimmung von t(s) läuft somit auf die Maximierung
P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ)
hinaus. Da die Definition der Parameter des vorstehend umrissenen Markow-Modells gegeben ist, erhält man:
wobei E = exp[-(1/2)·Fθ(s)(xτ) - mqτ)T·Rqτ&supmin;¹ Fθ(s)(xτ) - mqτ)]· J(Xτ) &supmin;¹,
wobei t&sub0; einen vorgegebenen anfänglichen Zeitpunkt angibt,
mqτ und Rqτ jeweils der Vektor sind, welcher das Mittel und die Kovarianz-Matrix repräsentiert, die dem Gesetz der Wahrscheinlichkeit der Emission mit einem Vektor xτ im Zustand oder Übergang qτ zugeordnet sind;
wobei (·)T die transponierte Matrix bezeichnet,
wobei (·)&supmin;¹ die invertierte Matrix angibt,
wobei aus Gründen der klareren Darstellung die Schreibweise q(τ-1) = qτ-i verwendet wird,
wobei p die Dimension des Beobachtungsraumes angibt, wobei aq(t0-1),qto die Wahrscheinlichkeit repräsentiert, dass der anfängliche Zustand qco eingenommen wird, und wobei J(xτ) die Jacob-Matrix darstellt, deren in der k-ten Zeile und der 1-ten Spalte liegendes Element - wobei k und 1 ganze Zahlen sind - die Ableitung des k-ten Elements des Vektors x, bezogen auf das 1-te Element des Vektors F (s)(xτ) ist.
Eine Maximierung von P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ) läuft auf eine Maximierung von log P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ) hinaus, da die logarithmische Funktion streng ansteigend ist. Wir schreiben somit
Cqτ = 1/(2(π)p/2· Rqτ 1/2
Nach dem zuvor erhaltenen Ausdruck (1) erhält man:
log P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ) = log(aq(τ-1)·qτ·Cqτ) - D
wobei D = (1/2) (Fθ(s)(xτ) - mqτ)T·Rqt&supmin;¹·(Fθ(s)(xτ) - mqτ) + 2.1n J(xτ)
wobei 1n den Neper-Logarithmus bezeichnet.
Eine Maximierung von P(Fθ(s)(xt&sub0;), ..., Fθ(s)(xt),s/λ) läuft somit auf eine Minimierung des Ausdrucks
(1/2) (Fθ(s)(xτ) - mqτ)T·Rqt&supmin;¹·(Fθ(s)(xτ) - mqτ) + 2.1n J(xτ) .
hinaus. Eine Minimierung dieses Ausdrucks führt zu ihrer Ableitung bezüglich θ und zielt auf einen Wert von θ ab, für den diese Ableitung Null ist. Es wird angenommen, dass die Funktion Fθ(s)(·) bezüglich θ(s) ableitbar ist. Die Ableitung und die Bedingung für die Annullierung der Ableitung führen zu der Gleichung
in welcher (·)&supmin;¹ die invertierte Matrix bezeichnet und δ/δθ die teilweise Ableitung bezüglich θ angibt.
In der Gleichung (2) verschwand für bestimmte Typen der Entzerrungsfunktion Fθ(s)(·)der zweite Term der Summe, nämlich
∂ln J(xτ) /∂θ
wie nachstehend noch beschrieben wird.
Die Gleichung (2) macht es möglich, die Parameter des Entzerrers hochzurechnen, welcher als Funktion Fθ(s)(·) aufweist und im Pfad s vorhanden ist. Es ist festzustellen, dass die einzige aufgestellte Hypothese die Ableitbarkeit der Entzerrungsfunktion ist. Die erhaltene Gleichung ermöglicht somit die vollständige Bestimmung des Entzerrers, insbesondere unabhängig von der Art der Störungen und von der beobachteten Sequenz x&sub1;, ..., xt.
Hierbei wird zwischen zwei grundsätzlichen Ausführungsformen des erfindungsgemäßen Entzerrungsverfahrens unterschieden, nämlich zum einen dessen Anwendung bei der Filterung und zum anderen dessen Einsatz bei einer robusten Erkennung.
Bei dem ersten Ausführungsbeispiel, nämlich bei der Filterung, wird zur Bildung eines zu einem gegebenen Zeitpunkt entzerrten Einzelmusters nur der Entzerrer berücksichtigt, der sich in dem Pfad mit der höchsten Wahrscheinlichkeit befindet.
Zur Ausfilterung von Störungen, die sich nachteilig auf das akustische Einzelmuster xt+1 auswirken, wird somit ausschließlich der Entzerrer mit der Funktion Fθ(s)(s(t)), bei welcher θt(s) den günstigsten Vektor der Parameter darstellt, der vorstehend definiert wurde, nämlich den günstigsten Vektor der Parameter des Entzerrers mit der Funktion Fθt(s), und s(t) der wahrscheinlichste Pfad im Sinne von Markow ist nämlich
s(t) = argmaxs [P(F (s)(x&sub1;), ..., F (s)(xτ),s/λ)] (3)
d. h. der Pfad, für welchen die Wahrscheinlichkeit der Emission der Abfolge von gefilterten akustischen Einzelmustern F (s)(x&sub1;), ..., F (s)(xt) bei Kenntnis von λ den größtmöglichen Wert besitzt.
Bei dem zweiten Ausführungsbeispiel, d. h. der Ausführungsform mit robuster Erkennung, wird das Ende des ausgesprochenen Wortes abgewartet, woraufhin man das zu erkennende Wort in dem im HMM-Modell wahrscheinlichsten Pfad identifiziert, wobei bekannt ist, dass die Entzerrer der verschiedenen Pfade über die gesamte akustische Dekodierung wirksam werden, d. h. im gleichen Maße wie die Progression der Pfade bzw. Ausrichtungen mit dem Eintreffen neuer Beobachtungen.
Somit wird bei der robusten Erkennung zur Ausfilterung von Störungen, die sich nachteilig auf das akustische Einzelmuster xt+1 (Filterung im vorhinein, a priori) bzw. auf das akustische Einzelmuster xt (Filterung im nachhinein, a posteriori) der Entzerrer mit der Funktion F (s) für jeden der Pfade s des Markow-Automaten eingesetzt. Die Entscheidung über die Erkennung wird zum abschließenden Zeitpunkt T für die beobachtete Abfolge aufeinanderfolgender akustischer Eingangs-Einzelmuster getroffen, und zwar wird der Pfad mit der höchsten Wahrscheinlichkeit 's(Tf) zum Zeitpunkt Tf als der Pfad gewählt, welcher folgendes verifiziert:
(Tf) = argmaxs [P(F (s)(x&sub1;), ..., F (s)(xTf),s/λ)].
Theoretisch setzt die Gleichung (3) die Berechnung für jeden Zeitpunkt t voraus, zu dem die Wahrscheinlichkeit eines vom anfänglichen Zeitpunkt ausgehenden Modells über den ganzen Pfad gilt. Die entsprechende Realisierung wird von ihrer Komplexität her sehr aufwendig und benötigt somit eine lange Berechnungszeit, wenn die Entzerrungsfunktion komplex ist.
Um diese Klippe zu umgehen, werden in der Praxis die Berechnungen dadurch erleichtert, dass ein adaptives Verfahren herangezogen wird, bei dem nur die i ersten Punkte des Pfads s bei der Hochrechnung des günstigsten Vektors der Parameter i(s) des auf diesem Pfad befindlichen Entzerrers berücksichtigt werden, wobei i eine ganze Zahl zwischen 1 und t ist.
Somit wird bei dem ersten Ausführungsbeispiel der wahrscheinlichste Pfad als der Pfad ausgewählt, welcher der folgende Näherung verifiziert:
(T) = argmaxs [P(F (s)(x&sub1;), ..., F t(s)(xt),s/λ)],
bei welcher i(s) den günstigsten Vektor der Parameter des Entzerrers mit der Funktion F i(s) darstellt, der über die i ersten Punkte des Pfads s hochgerechnet wird.
In analoger Weise wird bei dem zweiten Ausführungsbeispiel der wahrscheinlichste Pfad als jener ausgewählt, welcher die folgende Näherung verifiziert:
(Tf) = argmaxs [P(F 1(s)(x&sub1;), ..., F Tf(s)(xTf),s/λ)],
bei welcher i(s) den günstigsten Vektor der Parameter des Entzerrers mit der Funktion F i(s) darstellt, der über die i ersten Punkte des Pfads s hochgerechnet wird.
Daraus wird deutlich; dass Installation die Funktionen zur Näherung der Parameter der in den verschiedenen Pfaden vorhandenen Entzerrer nicht modifiziert. Sie ist jedoch in der Lage, auf die Folgeverarbeitung der Pfade je nach ihren Wahrscheinlichkeiten Einfluss zu nehmen. Um die Auswirkungen dieser Näherung unter völliger Beibehaltung einer angemessenen Komplexität in der Berechnung beizubehalten, lässt sich eine Einstellung der Wahrscheinlichkeiten über die m letzten Einzelmuster realisieren, wobei es sich bei m um eine vorgegebene ganze Zahl handelt. Es kann tatsächlich nachgewiesen werden, dass eine derartige Einstellung nicht die Komplexität der Berechnung erhöht.
Mit demselben Ziel der Erleichterung der Berechnungen wird in der Praxis eine andere Näherung vorgenommen. Wenn zu jedem Zeitpunkt t die Filter aller in einem HMM- Modell mit N Zuständen möglichen Pfade beachtet werden müssten, erhielte man NTf Filter. Dies ist in der Praxis nicht realisierbar. Man könnte sich dazu entscheiden, ausschließlich die K günstigsten Pfade im Auge zu haben, wobei es sich bei K um eine vorgegebene ganze Zahl handelt. Bei einem speziellen Ausführungsbeispiel im Zusammenhang mit einem RAP-System, bei dem der Algorithmus nach Viterbi verwendet wird, berücksichtigt man zu jedem Zeitpunkt ausschließlich den günstigsten Pfad, der zu einem gegebenen Zustand führt; die Anzahl der möglichen Filter wird infolgedessen auf N reduziert, wobei N die vorgenannte Anzahl der Zustände ist.
Immer mit der Zielsetzung, die Berechnungen zu erleichtern, lässt sich eine Quantifizierung der Vektoren der Parameter θ(s) vornehmen. Ebenso können die Funktionen der Entzerrung in Familien zusammengefasst werden, die jeweils mit einer selben akustischen Einheit wie beispielsweise einem Phonem verknüpft sind.
Die nun angetroffenen Störungen können gefaltet und/oder additiv sein.
Als Beispiel für eine additive Störung lässt sich ein Rauschen infolge von Motorengeräusch oder Hupen nennen, das zur Sprache hinzukommt; dies ist beispielsweise dann der Fall, wenn ein Autofahrer in seinem Fahrzeug telefoniert oder wenn ein Fußgänger in einer verkehrsbelebten Umgebung telefoniert, oder ganz allgemein wenn es um ein Umfeld mit hohem Lärmpegel geht.
Die Störungen können auch zeitlich geringfügig variabel sein. In diesem Fall können Faktoren zur Auslassung in die Näherung eingeführt werden.
Die Störungen können ebenso in einer konstanten einseitigen Verzerrung, begleitet von einer Schwankung um diese Verzerrung, bestehen.
Im folgenden werden nun zwei spezielle Arten der bei dem erfindungsgemäßen Verfahren verwendeten Entzerrungsfunktion beschrieben. Diese beiden speziellen Funktionen zur Entzerrung werden jeweils bei zwei grundlegenden Typen von Störungen eingesetzt.
Bei der ersten Entzerrungsfunktion wird eine einseitige Verzerrung bei den akustischen Einzelmustern weggelassen. Diese Funktion leitet sich von der Hypothese eines erheblichen Faltungseffekts ab, der auf den Übertragungskanal sowie auf einen Effekt beim Sprecher zurückzuführen ist und den es zu vermindern gilt.
Die zweite Entzerrungsfunktion stellt eine affine Funktion dar, bei welcher die mehrfache lineare Regression ins Spiel kommt. Sie wird vorteilhafterweise bei einer Störung eingesetzt, die aus einem erheblichen additiven Lärm bzw. Rauschen besteht.
Im Falle der ersten Entzerrungsfunktion, also in dem Fall, in dem eine einseitige Verzerrung unterdrückt wird, wird, ausgehend von der allgemeinen Näherungsformel (2) zur näherungsweisen Bestimmung der Parameter des Entzerrers, nachgewiesen, dass für jeden Pfad der Entzerrer die folgende Funktion besitzt:
Fθ(x) = x - b
wobeiθ = b ist und b durch die folgende Gleichung definiert wird:
bT = [ (xτ - mqτ)·Rqτ&supmin;¹]·[ Rqτ&supmin;¹] (4)
In diesem Fall verschwindet in der Gleichung (2) der zweite Term der Summe.
Zwischenberechnungen, auf die hier nicht näher eingegangen wird, ermöglichen die Interpretation der vorstehenden Näherungsformel (4) auf folgende Weise. Bei einem gegebenen Pfad entspricht die einseitige Verzerrung der Summe der Abstände der Vektoren der entsprechenden Mittelwerte auf dem Pfad, wobei diese Abstände mit dem Kehrwert der Varianzen um die Mittelwerte gewichtet werden (plus die Varianz, die erheblich ist, abzüglich des Abstands a der Gewichtung in der Summe) und wobei die Summe mit dem Kehrwert der Summe der Kehrwerte der Varianzen entlang des betreffenden Pfads gewichtet wird (wobei die angenäherte einseitige Verzerrung somit gut und gerne die Dimension eines akustischen Vektors erreicht).
Im Falle der zweiten Entzerrungsfunktion, also in dem Fall einer mehrfachen linearen Regression, zeigt sich - ausgehend von der allgemeinen Näherungsformel (2) zur näherungsweisen Ermittlung der Parameter des Entzerrers, dass die Störungen durch mehrfache lineare Regression mit Hilfe eines Entzerrers ausgefiltert werden, der für jeden Pfad eine affine Funktion wie folgt aufweist:
Fθ(x) = A·x + b
wobei θ = (A, b) ist, worin A eine quadratische Matrix darstellt und b ein Spaltenvektor ist.
Bei einem speziellen Ausführungsbeispiel ist die Matrix A diagonal.
Es zeigt sich, dass die Regression ein Verhältnis zwischen den Vektoren der Mittelwerte ist und den Vektoren der entlang des jeweiligen Pfads gewichteten akustischen Einzelmuster darstellt.
Im folgenden wird nun die erfindungsgemäße Vorrichtung anhand spezieller Ausführungsbeispiele beschrieben.
Die Entzerrungsvorrichtung, die mit dem vorstehend beschriebenen Verfahren arbeitet, umfasst ein Filtermodul zur Entzerrung. Dieses Modul übernimmt an seinem Eingang das mit Störungen behaftete Sprachsignal, führt an diesem Signal alle Filteroperationen gemäß dem vorstehend dargestellten Verfahren aus und liefert an seinem Ausgang ein Sprachsignal mit verringertem Störungspegel.
Die akustischen Einzelmuster x&sub1;, ... xt, ... xTf werden so gewählt, dass sie die in diesem Signal enthaltene mögliche Information mit dem höchsten Grad der Richtigkeit bzw. Stichhaltigkeit repräsentieren.
Wird die Vorrichtung bei automatischer Spracherkennung eingesetzt, stellen die spektralanalytischen Vektoren ein Beispiel für geeignete akustische Einzelmuster dar, das hier ohne jede Einschränkung herangezogen wird. Ganz allgemein wird nur das erste Dutzend von spektralanalytischen Koeffizienten berücksichtigt. Diese bilden in ausreichend befriedigender Weise die Impulsantwort des Sprachkanals und enthalten somit die für die Erkennung sachdienlichen Informationen. Außerdem sind diese Koeffizienten gegenüber der Energie des Eingangssignals unempfindlich, was bei automatischer Spracherkennung ein Qualitätskriterium darstellt.
Die spektralanalytischen Vektoren können ausgehend von dem Sprachsignal innerhalb von Zeitfenstern berechnet werden, die sich teilweise überlappen. Diese Fenster können eine feststehende zeitliche Länge aufweisen, die beispielsweise zwischen 10 und 40 ms liegt.
In der einzigen Figur ist für den Fall einer Anwendung bei automatischer Spracherkennung ein spezielles Ausführungsbeispiel eines Moduls 1 zur Berechnung der Spektralanalyse dargestellt, das in das Filtermodul zur Entzerrung einbezogen ist.
Am Eingang des KAP-Systems setzt ein (hier nicht dargestelltes) Modul zur Digitalisierung der herkömmlichen Art das analoge Sprachsignal in ein digitales Sprachsignal s(n) um. Das Signal s(n) wird an den Eingang des Moduls 1 geführt.
Das Modul 1 weist am Eingang ein Modul zur Berechnung der spektralen Energie des Sprachsignals auf. Das Modul 10 umfasst ein Modul 12 zur schnellen Fourier-Transformation auf, welches an seinem Ausgang das Spektrum des Signals liefert.
Der Ausgang des Moduls 12 ist mit dem Eingang eine Serie von Filtern 14 auf, mit denen eine Glättung des Spektrums für die Näherung der spektralen Einhüllenden vorgenommen wird, und zwar werden die kritischen Bänder der Filterbank 14 entsprechend einer nicht-linearen Skala - der MEL- oder BARK-Skala - verteilt, was zu einer erhöhten spektralen Auflösung sowohl in den niedrigen Frequenzbereichen als auch in den hohen Frequenzbereichen führt und somit eine bessere adäquate Anpassung an das menschliche Gehör ermöglicht. Es wurde tatsächlich nachgewiesen, dass die niedrigen Frequenzen vom Gehörsystem mit höherer Auflösung als die hohen Frequenzen analysiert werden. Im typischen Fall zählt die Filterbank 14 24 Frequenzbänder.
Am Ausgang der Filterbank 14 erhält man für jedes Fenster des Signals einen Vektor, der aus Spektralenergien in jedem der 24 Frequenzbänder gebildet ist, wodurch sich ein geglättetes Spektrum S(f) bildet.
Der Ausgang der Filterbank 14, der auch den Ausgang des Moduls 10 zur Berechnung der Spektralenergie darstellt, ist mit dem Eingang eines Moduls 16 zur Berechnung des Logarithmus der Spektralenergie des Sprachsignals verbunden. Der Ausgang des Moduls 16 ist an den Eingang eines Moduls 18 für die schnelle invertierte Fourier-Transformation geführt, in welchem die Durchführung der inversen Fourier-Transformation mittels einer inversen Kosinus-Transformation abläuft. Das Modul 18 liefert an seinem Ausgang die Spektralanalyse C(n) des Sprachsignals s(n) in Form einer Gruppe spektralanalytischer Vektoren, die als MFCC (vom englischen Begriff "Mel Frequency-based Cepstral Coefficients") bezeichnet werden.
Das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung erbringt den Vorteil, dass eine problemlose Kombination mit jedem anderen Verfahren bzw. jeder anderen Vorrichtung zur Vorverarbeitung des Signals möglich ist.
Die unter Verwendung des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung erzielten Resultate sind sehr befriedigend. Sie führen vor allem dazu, dass bei automatischer Spracherkennung eine Verringerung der Fehlerrate ermöglicht wird, die unter bestimmten Bedingungen bis zu 30% gehen kann.

Claims

1. Verfahren zum Entzerren eines Sprachsignals, das aus einer überwachten Abfolge aufeinanderfolgender akustischer Eingangs-Rasterbilder besteht und welches durch Störungen beeinflussbar ist, bei welchem das Sprachsignal mittels eines verborgenen Markow-Modells geformt wird, dadurch gekennzeichnet, dass zu jedem Zeitpunkt t:

- aus mehreren vorhergehenden akustischen Rasterbildern und aus mehreren Parametern des Markow-Modells Entzerrungsfilter gebildet werden, welche den Pfaden nach Markow zum Zeitpunkt t zugeordnet sind;

- zumindest einige der Entzerrungsfilter so eingesetzt werden, dass man zum Zeitpunkt t mehrere Abfolgen gefilterter akustischer Rasterbilder und eine Sendewahrscheinlichkeit für jeden der jeweils den eingesetzten Entzerrungsfiltern zugeordneten Pfade erhält;

- das Entzerrungsfilter belegt wird, das dem Pfad mit der höchsten Wahrscheinlichkeit im Sinne von Markow zugeordnet ist, d. h. dem Pfad, für welchen die Sendewahrscheinlichkeit der Abfolge der akustischen Rasterbilder, die mittels des entsprechenden eingesetzten Entzerrungsfilters gefiltert wurden, am höchsten ist; und

- als entzerrtes Rasterbild das gefilterte Rasterbild belegt wird, das von dem festgehaltenen Entzerrungsfilter geliefert wurde.

2. Verfahren nach Anspruch 1, bei welchem

jedes akustische Rasterbild durch einen Vektor xt dargestellt wird,

ein Pfad mit der Länge t nach Markow eine Abfolge von t Zuständen oder

Übergängen in der Schreibweise s = {q&sub1;, ..., qt} ist, und

- die Funktion, welche das dem Pfad s zugeordnete Entzerrungsfilter in der Schreibweise F (s)(·) notiert wird, wobei (s) ein Vektor der Parameter des dem Pfad s zugeordneten Entzerrungsfilters ist,

dadurch gekennzeichnet, dass für jeden Pfad s das Entzerrungsfilter Parameter erhält, die nach der Gleichung

hochgerechnet werden,

bei welcher t&sub0; ein vorgegebener Anfangszeitpunkt ist,

mqτ und Rqτ jeweils den Vektor angeben, welcher den Mittelwert und die dem Verlauf der Sendewahrscheinlichkeit eines Vektors xT im Zustand oder Übergang gT zugeordnete Kovarianz-Matrix repräsentiert,

(.)T die transponierte Matrix bezeichnet,

(.)&supmin;¹ die umgekehrte Matrix angibt,

δ/δ die teilweise Abweichung gegenüber O bezeichnet, und

J(xr) die Jakobsche Matrix ist, deren in der k-ten Zeile und der I-ten Spalte befindliches Element - wobei k und I ganzzahlig sind - die Ableitung des k-ten Elements des Vektors xT bezüglich des I-ten Elements des Vektors F (s) ist.

3. Verfahren nach einem der Ansprüche 1 und 2, bei welchem das verborgene Markow-Modell als Ä geschrieben wird, dadurch gekennzeichnet, dass zum Filtern der Störungen, welche das akustische Rasterbild xt-1 (Filterung im voraus) oder das akustische Raserbild xt (Filterung im nachhinein) ausschließlich das Filter mit der Entzerrungsfunktion Fθt(S)(t)) eingesetzt wird,

- wobei t(s) der günstigste Vektor der Parameter des Entzerrungsfilters mit der Funktion Fθt(S)(t)) ist, und zwar

t(s) = argmax [P Fθ(S)(xt0)... Fθt(S),s/λ)], d. h. der Parametervektor, bei dem die Sendewahrscheinlichkeit der Abfolge gefilterter akustischer Rasterbilder Fθ(S)(xt0)... Fθ(S)(xt) in Kenntnis von A den größtmöglichen Wert hat, und

- wobei (t) den wahrscheinlichsten Pfad im Sinne von Markow darstellt, und zwar

(t) = argmaxs [P Fθ(S)(x&sub1;)... Fθ(S)(xt),s/λ)], d. h. der Pfad, bei dem die Sendewahrscheinlichkeit der Abfolge gefilterter akustischer Rasterbilder Fθ(S)(x&sub1;)... Fθ(S)(xt) in Kenntnis von A den größtmöglichen Wert hat.

4. Verfahren Anspruch 3, eingesetzt zur stabilen Worterkennung, dadurch gekennzeichnet, dass als Pfad mit der höchsten Wahrscheinlichkeit s(Tl) zum Endzeitpunkt Tf der überwachten Abfolge aufeinanderfolgender akustischer Eingangs-Rasterbilder als jener ausgewählt wird, der folgende Bedingung erfüllt:

(Tf) = argmaxs [P F (S)(x&sub1;), ... F (S)(xTf), s/λ)].

5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Pfad mit der höchsten Wahrscheinlichkeit als jener ausgewählt wird, der folgende Näherung erfüllt:

(t) = argmaxs [P F 1(S)(x&sub1;), ... F t(S)(xt), s/λ)]

wobei &sub1;(s) den günstigsten Vektor der Parameter des Entzerrungsfilters mit der Funktion Fθ1(s) darstellt, der über die i ersten Punkt des Pfades s hochgerechnet wird.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Pfad mit der höchsten Wahrscheinlichkeit jener ausgewählt wird, der die Näherung erfüllt:

(t) = argmaxs [P F 1(S)(x&sub1;), ... F Tf(S)(xTf), s/λ)]

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für jeden Pfad das Entzerrungsfilter die Funktion

F (x) = x - b

besitzt, wobei = b ist und b durch folgende Beziehung definiert wird:

bT = [ (XT - mqT)T·RqT&supmin;¹]·[ RqT&supmin;¹].&supmin;¹

8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Störungen durch mehrfache lineare Regression mit Hilfe eines Entzerrungsfilters ausgefiltert werden, welches für jeden Pfad eine affine Funktion

F (x) = A·x - b

besitzt, bei welcher = (A, b) ist, wobei es sich bei A um eine quadratische Matrix handelt und b ein Spaltenvektor ist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Matrix A diagonal ist.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die akustischen Eingangs-Rasterbilder Vektorenbündel sind, welche aus dem Sprachsignal über Zeitfenstern berechnet werden, die sich teilweise überdecken.

11. Verfahren nach einem der Ansprüche 1 bis 10, bei welchem die Störungen Faltungen aufweisen und/oder additiv sind.

12. Verfahren nach einem der Ansprüche 1 bis 11, bei welchem die Störungen sich über die Zeit nur wenig verändern.

13. Vorrichtung zum Entzerren eines Sprachsignals unter Einsatz des Verfahrens nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass es Filtereinrichtungen zur Entzerrung aufweist, welche am Eingang das von Störungen beeinflusste Sprachsignal empfängt und am Ausgang ein Sprachsignal mit verringerten Störungen liefert.

14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Filtereinrichtungen zur Entzerrung folgendes umfassen:

- Einrichtungen (10) zum Berechnen der Spektrumsenergie in mehreren Frequenzbändern, um so das Spektrum (S(f)) der akustischen Rasterbilder des Sprachsignals (s(n)) zu erhalten,

- Einrichtungen (16) zum Berechnen des Logarithmus der Spektrumsenergie der akustischen Raserbilder, die am Ausgang der Einrichtungen (10) zum Berechnen der Spektrumsenergie angeordnet sind, und

- Einrichtungen (18) zur Transformierung in eine umgekehrte Kosinus-Funktion, die am Ausgang der Einrichtungen (16) zum Berechnen des Logarithmus der Spektrumsenergie angeordnet sind, um so am Ausgang des Bündel (C(n)) der akustischen Rasterbilder zu liefern.