-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren zum Extrahieren
von Merkmalen für
die automatische Spracherkennung der Art, die die Schritte umfasst,
ein akustisches Sprachsignal unter Verwendung eines Satzes von Wavelets
zu zerlegen; eine Wavelet-Grundlage festzulegen; und die Wavelet-Grundlage
auf den Satz der Wavelets anzuwenden, um mehrere Zerlegungskoeffizienten
zu generieren, die Merkmalen entsprechen, die aus dem akustischen
Sprachsignal extrahiert wurden.
-
Beim
Analysieren eines Sprachsignals besteht der erste Schritt darin,
Merkmale zu extrahieren, welche der Nutzinformation entsprechen,
die das Signal kennzeichnet. Herkömmlicher Weise bringt es dieser Merkmalsextraktionsprozess
mit sich, das Sprachsignal in sich überlappende Fenster mit einer
vorbestimmten Rahmengröße zu zerteilen
und dann die Fast Fourier Tranformation (FFT) am Signalfenster zu
berechnen. Dann wird ein endlicher Satz von Kepstrum-Koeffizienten
extrahiert, indem höherrangigere
Terme in der Fourier Transformation des logarithmischen Spektrums
verworfen werden. Die sich ergebenden Kepstrum-Koeffizienten können dann
zum Aufbau neuer Sprachmodelle, typischerweise verdeckte Markow-Modelle,
verwendet werden.
-
Ein
signifikanter Nachteil einer herkömmlichen FFT-Analyse ist ihre
feststehende Zeit-/Frequenzauflösung.
Bei der Analyse von Sprache wäre
es wünschenswert,
mehrere unterschiedliche Zeit-/Frequenzauflösungen verwenden zu können, um
die nichtlinear verteilten Sprachdaten in der Zeit-/Frequenzebene
besser ausmachen zu können.
Somit wäre
es wünschenswert,
wenn für
sich schnell ändernde
Reibelaute oder andere Konsonanten eine schärfere Zeitauflösung bereitgestellt
werden könnte,
während
gleichzeitig für
sich langsamer ändernde
Strukturen wie Vokale eine geringere Zeitauflösung bereitgestellt wird. Unglücklicherweise lässt sich
das mit der aktuellen Technologie schwer erzielen. Obwohl es möglich ist,
einen Satz von Erkennern aufzubauen und parallel einzusetzen, die
jeweils für
ein bestimmtes Sprachmerkmal ausgelegt sind, trägt eine solche Lösung eine
schwere rechnerische Last.
-
Eine
Merkmalsextraktionsmethodik, die auf Wavelet-Transformationen beruht,
wird im Schriftstück „Discriminant
wavelet basis construction for speech recognition" von Long untersucht,
veröffentlicht
bei ICSLP 1998 am 30. November 1998, S. 1047–1049, XP002173581 in Sydney,
Australien. Die Parametrisierungstechnik wird als ausreichend flexibel
erachtet, um es mit den breitgefächert
unterschiedlichen Merkmalen von typischen Sprachsignalen aufzunehmen.
Eine Trainingsphase ist auch im Spiel, während der der endgültige Sortierer
oder Klassifizierer dazu aufgerufen ist, eine Kosten- oder Aufwandsfunktion
mit einer bestimmten Auflösung
zu assoziieren. Die Teilräume
werden dann durchsucht und beschnitten, um eine Wavelet-Grundlage
bereitzustellen, die sich für
das Klassifizierungsproblem am besten eignet.
-
Ein
Satz von Merkmalsparametern für
Spracherkennung wird im Schriftstück „Subband decomposition based
speech recognition in the presence of a car noise" von Erzin im Turkish
Journal of Electrical Engineering and Computer Sciences, Elektrik
1997, Band 5, Nummer 3, S. 297–305,
XP001015312 vorgestellt. Der Merkmalssatz wurde aus den Wurzel-Kepstrum-Koeffizienten
erhalten, die aus der Wavelet-Analyse des Sprachsignals abgeleitet
waren.
-
Nach
der vorliegenden Erfindung wird ein Verfahren der vorgenannten Art
bereitgestellt, das dadurch gekennzeichnet ist, dass der Schritt
des Festlegens einer Wavelet-Grundlage
umfasst, die Unterscheidung bestimmter Geräuschklassen im Verhältnis zum
zerlegten Sprachsignal zu maximieren; der Satz der Wavelets in einer
Baumstruktur mit einem Wurzelknoten und mehreren Blattknoten geordnet
wird, wobei ein Teil der Knoten dadurch ausgewählt wird, dass die Unterscheidungsleistung
eines ersten der Knoten berechnet wird, darüber hinaus die Unterscheidungsleistung
der Unterknoten des ersten der Knoten berechnet wird und die Unterknoten
beschnitten werden, wenn die Summe der Unterscheidungsleistungen
der Unterknoten kleiner ist als die Unterscheidungsleistungen des
ersten der Knoten; und das akustische Sprachsignal kontinuierlich
in den Wurzelknoten der Baumstruktur eingespeist wird.
-
Die
vorliegenden Erfindung verwendet die Wavelet-Technologie, die ein
analytisches Verfahren bereitstellt, das eine breite Palette unterschiedlicher
Geräuschklassen
abdeckt. Indem die Wavelet-Technologie der Erfindung verwendet wird,
kann ein Signalerkennungssystem aufgebaut und eingesetzt werden,
bei dem die Sprachmodelle bereits durch einen einzigen Merkmalsextraktionsprozess
für unterschiedliche
Geräuschklassen
optimiert wurden. Auf diese Weise ist das Erkennungssystem der Erfindung
für verschiedene
Geräuschklassen
optimiert, ohne dass dabei die Komplexität des Erkennungsanalyseprozesses
erhöht
würde.
-
Die
Erfindung wird nun rein beispielhaft mit Bezug auf die beigefügten Zeichnungen
beschrieben:
-
1 ist
ein Hardware-/Software-Konzeptschema, das eine gegenwärtig bevorzugte
Ausführungsform
zum Herstellen von Waveletpakettransformationen des akustischen
Sprachsignals darstellt;
-
2 stellt
eine gegenwärtig
bevorzugte Zeit-/Frequenzzerlegung dar, die in der Teilbandanalyse durchgeführt wird;
-
3 ist
ein Blockschema der bevorzugten Ausführungsform zum Umsetzen einer
erfindungsgemäßen Teilbandmerkmalsextraktion;
-
4 stellt
ein gegenwärtig
bevorzugtes Verfahren zur Handhabung von Signalverfälschungseffekten der
Hochpassfilter dar; und
-
5 ist
ein Ablaufdiagramm, das einen Vorgang zur Auswahl der optimalen
Wavelet-Baumstruktur für
eine bestimmte Geräuschklasse
darstellt.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Das
lokale Merkmalsextraktionssystem der Erfindung verwendet eine Wavelet-Zerlegung des akustischen
Wellenverlaufs. Die Wavelet-Zerlegung führt zu einem Weg, akustische
Information in Form von Funktionen darzustellen, die in Zeit und
Frequenz lokal sind. Die Wavelet-Zerlegung unterscheidet sich somit
von der herkömmlichen
Fourier-Reihenzerlegung. Bei der herkömmlichen Fourier-Analyse sind
die Sinus- und Cosinusformen lokal in der Frequenz, aber global
in Zeit und Raum. Ein Kurzimpuls weist beispielsweise langsam abfallende
Koeffizienten auf, die unter Verwendung von FFTs schwierig zu messen
und darzustellen sind. Um solch einen Impuls darzustellen, muss
sich die Fourier-Reihe stark auf Löschen verlassen. Die gesamte
Fourier-Analyse und Eigenschaften von Funktionen im Zusammenhang
mit Eigenschaften von Koeffizienten zu bringen, wird durch die nicht-lokale
Unterstützung
erschwert, die sich durch die Sinuswellenfunktion ergibt.
-
In
Anbetracht eines gegebenen Vektorraums S ist eine Basis ein Satz
von Vektoren (e
1 ... e
n)e
i ∈ S, der
den Raum S überbrückt. Ist
e
i linear unabhängig von e
i für i ≠ j, kann die
Basis als vollständig
bezeichnet werden und von der Linearalgebra kann jeder Vektor x ∈ S in der
Grundlage, sobald ein Skalarprodukt <x, y> :
S → R definiert
ist (R ist die Menge reeller Zahlen) als
zerlegt (und rekonstruiert)
werden, worin <e
i, x> e
i die Komponente des Vektors entlang e
i genannt wird, und der Satz dieser <e
i,
x> e
i,
i = 1, ... n die Projektion des Vektors auf der Basis (e
1 ... e
n) genannt
wird.
-
Funktionen
und deshalb auch Signale, sind ein Vektorraum, sobald ein Skalarprodukt
als <f,
g> = ∫f(x)g(x)*
dxdefiniert wurde, worin f, g Funktionen sind (oder Signale,
wobei dies im mathematischen Sinn zwei Namen für dasselbe Objekt sind) und
g* die Adjungierte von g ist. Dies bedeutet, dass es möglich ist,
eine Basis für
einen Funktionsraum aufzubauen, eine Funktion in solch eine Basis
zu projizieren und das Signal unter Verwendung der Gleichungen 1
und 2 wiederherzustellen.
-
Speziell
werden Wavelet-Grundlagen aus der Verschiebung (Translation) W(x) → W(x + b)
und Dehnung (Dilation) W(x) → W(ax)
einer Prototypenfunktion W(x) aufgebaut, die Mutter-Wavelet genannt
wird. Sobald das Mutter-Wavelet einige grundlegende Eigenschaften
erfüllt,
kann eine Basis für
einen Raum von Funktionen erhalten werden, indem das Mutter-Wavelet
wie zuvor erklärt
verschoben und gedehnt wird.
-
Das
Ziel ist ein neuer Weg zur Darstellung von Funktionen – speziell
von Funktionen, die in Zeit und Frequenz lokal sind. Im Vergleich
mit der Fourier-Reihe ist zu sehen, dass die Sinus- und Cosinusformen
vollkommen lokal in der Frequenz aber global in Zeit und Raum sind.
-
Die
vorliegende Erfindung nutzt Wavelets, um eine lokale Unterstützung in
Zeit und Frequenz zu erzielen. Obwohl es viele Wege gibt, um eine
Wavelet-Zerlegung durchzuführen,
besteht das gegenwärtig
bevorzugte Verfahren darin, einen rekursiven Algorithmus einzusetzen,
der auf der Zerlegung des Signals in seine Tiefpass- und Hochpasskomponenten
aufbaut. Alternativ kann ein iterativer Prozess verwendet werden.
-
1 zeigt
veranschaulichend, wie eine Wavelet-Zerlegung unter Verwendung von
Tief- und Hochpassfiltern erzielt werden kann, die in einer kaskadenförmigen Baumstruktur
angeordnet sind. Jeder Knoten des Baums umfasst einen elementaren
Block, der aus einem Hochpassfilter 10 und einem entsprechenden Tiefpassfilter 12 besteht.
Auf jedes Filter folgt ein abwärts
abtastender Prozessor 14 zur Lieferung einer nicht redundanten
Darstellung. Das Ursprungssignal wird bei 16 eingegeben
und kann durch Durchführen
der Umkehroperation aus den Teilsignalen wieder vollkommen hergestellt
werden.
-
Das
System extrahiert lokale Merkmale auf eine optimierte Weise mittels
einer hierarchischen Zeit-/Frequenzauflösungsanalyse. Diese Analyse
wird dadurch bewerkstelligt, dass der Wavelet-Zerlegungsbaum 18 unsymmetrisch
entwickelt wird. In dieser Hinsicht ist anzumerken, dass die Knoten,
die am Grunde des Baums, wie bei 20, erscheinen, eine feinere
Frequenzauflösung
aufweisen als Knoten oben am Baum wie bei 22.
-
Die
sich ergebende Zerlegung der Zeit-/Frequenzebene ist in 2 dargestellt.
Für die
niedrigsten Frequenzen unten in 2, die zwischen
0 und 1 kHz liegen, und wo die höchste
Frequenzauflösung
benötigt wird,
werden die Teilsignale nach dem Durchlaufen von sieben Stufen des
Filterns und Abwärtsabtastens
erhalten. Die entsprechende Wavelet-Länge beträgt 24 ms für ein (bei 16 kHz) abgetastetes
Signal, und die Frequenzauflösung
beträgt
125 Hz. Hingegen werden für
die höchsten
Frequenzen (oben in 2) über 6 kHz, bei denen die Sprachinformation
weniger präsent
und weniger detailliert ist, die Teilsignale nach dem Durchlaufen
von drei Stufen des Filterns und Abwärtsabtastens erhalten. Die
entsprechende Wavelet-Länge
beträgt 3
ms und die Frequenzauflösung
1 kHz.
-
Ein
gegenwärtig
bevorzugtes Merkmalsextraktionssystem ist in 3 dargestellt.
Das Sprachsignal 30 wird zuerst einem Wavelet-Pakettransformationsblock 32 zugeführt, der
das Signal wie in Verbindung mit 1 beschrieben
unsymmetrisch in Wavelets zerlegt. Die Verarbeitung des Sprachsignals 30 kann
auf einer kontinuierlichen Basis erfolgen, indem das Signal in die
Kaskadenfilterbank eingespeist wird. Die sich ergebende Wavelet-Transformation
liefert eine lokale Unterstützung,
so dass die Verarbeitung direkt am Ursprungssignal vorgenommen werden
kann. Anders ausgedrückt
muss keine Fenstertechnik angewendet werden, wie sie normalerweise
bei der herkömmlichen
FFT-Verarbeitung erforderlich ist.
-
Die
gegenwärtig
bevorzugte Ausführungsform
verwendet Filter, die dadurch aufgebaut werden, dass das Frequenzverhalten
eines idealen Tiefpassfilters (oder Hochpassfilters) mit dem Frequenzverhalten
eines Kaiser-Fensters der Länge
15 gefaltet wird, um die Welligkeit des sich ergebenden Filters
auf ein Mindestmaß zu
reduzieren. Das Ziel ist es, einen steilen Übergang zwischen dem Durchlassbereich
und dem Sperrbereich zu erzielen, so dass eine minimale Überlappung
der Filter nötig
ist. Dies wiederum bringt eine reduzierte Korrelation an den Filterbankausgängen mit
sich. Nachdem die Tiefpassfilter auf diese Weise berechnet wurden, werden
dann die Hochpassfilter bestimmt, indem die Summe des Impulsverhaltens
in Bezug auf die diskrete Dirac-Funktion angewendet wird.
-
In 3 ist
der Ausgang des Transformationsblocks 32 bei 34 als
eine Zeit-/Frequenzzerlegung darstellend, wie in 2 vollständiger gezeigt
ist, wiedergegeben.
-
Obwohl
der Ausgang des Tiefpassfilters direkt nach dem Abwärtsabtasten
verwendet werden kann, führt
die bevorzugte Ausführungsform
eine zusätzliche
Verarbeitung am Ausgang des Hochpassfilters durch, um bestimmte
Verfälschungs-
bzw. Rückfaltungseffekte
(aliasing effects) (den sogenannten „Graucode-Effekt") rückgängig zu
machen. 4 stellt das Aliasing-Schema
dar. Es ist festzuhalten, dass die Schritte der Tiefpassfilterung
und Abwärtsabtastung
einen Bereich von Frequenzen von der Nullfrequenz bis zur Nyquist-Frequenz
erzeugen. Dies ist allgemein bei 40 dargestellt. Hingegen ist nach
der Hochpassfilterung und Abwärtsabtastung
das Spektrum, das im Frequenzbereich zurückbleibt, der zwischen der
Nullfrequenz und der Nyquist Frequenz angesiedelt ist, das Spiegelbild
des Oberbandspektrums des gefilterten Signals. Somit muss, um das
Oberband des Oberbands zu extrahieren (wobei zwei Hochpassfilter
hintereinander angelegt werden) das Unterband des Ausgangs des Hochpassfilters
hergenommen werden. Dies führt
zu einem ungewollten Vertauschen der Hochpass- und Tiefpassfilter
nach einer Hochpassfilteroperation.
-
Zum
Ausgleich führt
die bevorzugte Ausführungsform
eine Umkehroperation für
jede Filterstufe unter der Hochpassfilterungsstufe durch, bis eine
weitere Hochpassfilterungsstufe durchgeführt wird. Der kombinierte Effekt
zweier aufeinanderfolgender Alias-Vorgänge
hebt diese auf. In 4 ist das umgekehrte Oberband bei 42 gezeigt.
-
Sobald
der Aliasing-Effekt behoben ist, werden die Ausgänge der Blattfilter geglättet, indem
ein durch Block 36 veranschaulichter Integrationsprozess
durchgeführt
wird. Für
jedes Teilband I berechnet das System am entsprechenden Teilsignal
x, (n) die Durchschnittsgröße (wenn ∝ = 1) oder
Durchschnittsenergie (wenn ∝ =
2), die e1 genannt wird:
-
-
Der
vorstehende Mittelwert wird über
dieselbe Anzahl N von Koeffizienten für jedes Teilband berechnet.
Da die Abtastrate für
jeden Schritt die Baumstruktur hinab durch zwei geteilt wird, bleibt
die hierarchische Zeitauflösung
erhalten, wie in 2 dargestellt ist. Die Größe des größeren mittelwertbildenden
Fensters (die dem niedrigsten Teilband entspricht), wird Fenstergröße genannt.
Das mittelwertbildende Fenster wird dann um die Größe eines
Rahmens verschoben, um Teilbandamplituden mit einer Rahmenrate zu
liefern. Die Anzahl N gemittelter Teilsignalproben kann für die höchsten Teilbänder so
eingestellt werden, dass die Zeitausdehnung nie kleiner ist als
ein Rahmen. Als Nächstes
wird, wie bei Block 37 dargestellt ist, eine Komprimierungsoperation
durchgeführt.
Die Art der durchgeführten
Komprimierungsoperation kann von der Beschaffenheit des Sprachsignals
abhängen.
Für reine
Sprache wird eine nichtlineare logarithmische Operation durchgeführt. Für geräuschverfälschte Sprache
kann statt dessen eine Wurzelkomprimierungsoperation eingesetzt werden.
Jede dieser Operationen wendet Nichtlinearität auf e1 an.
Obwohl gegenwärtig
der obige logarithmische Operator bevorzugt wird, können statt
dessen auch andere nichtlineare Operationen angewendet werden.
-
Kepstrum-Koeffizienten
werden wie in Block 38 extrahiert, indem eine diskrete
Cosinus-Transformation (DCT) wie in Gleichung 2 angewendet wird:
-
-
Das
Ergebnis ist ein Satz von Teilbandmerkmalen 39, die dazu
verwendet werden können,
das ursprüngliche
Sprachsignal 30 darzustellen, wenn Sprachmodelle wie verdeckte
Markow-Modelle aufgebaut werden.
-
Die
Teilbandanalyse bietet viele Freiheitsgrade. Im Wesentlichen kann
jeder der Knoten im Filterbankbaum ausgewählt werden, um die Zeit-/Frequenzzerlegung
für eine
bestimmte Geräuschklasse
bereitzustellen. Anders ausgedrückt
ist es nicht notwendig, nur die Blattknoten in der Wavelet-Zerlegung
zu verwenden. Statt dessen kann auch irgendeine Kombination von
Blattknoten oder Zwischenknoten verwendet werden. Die Auswahl, welche
Knoten für
eine bestimmte Geräuschklasse
ausgewählt
werden sollen (z.B. Reibelaute, Verschlusslaute, andere Konsonanten,
Vokale und dergleichen) erfolgt dahinge hend, wie das lokale Merkmalsextraktionssystem
optimale Ergebnisse für
diese unterschiedlichen Geräuschklassen
liefert.
-
Der
Prozess zum Herausfinden, welche Kombination von Knoten für eine bestimmte
Geräuschklasse am
besten funktioniert, ist ein iterativer Prozess, der im Wesentlichen
wie folgt abläuft.
-
Mit
Bezug auf 5 arbeitet der Vorgang zur Auswahl
der optimalen Baumstruktur für
eine bestimmte Geräuschklasse
an einem Korpus von gekennzeichneten oder mit einem Etikett versehenen
Daten 100. Der erste Schritt (Schritt 102) besteht
darin, aus den gekennzeichneten Daten die betreffende Geräuschklasse
zu extrahieren. Somit werden, wenn der Baum für Reibelaute optimiert werden
soll, alle Phoneme, die Reibelaute darstellen, aus den gekennzeichneten
Trainingsdaten extrahiert. Dann wird der Wavelet-Baum bei 104 im
Wesentlichen wie zuvor beschrieben berechnet. Nach der Berechnung
des Baums bestimmen die nächsten Schritte
im Wesentlichen, wie dieser Baum am besten beschnitten werden soll,
um die betreffende Geräuschklasse
am besten zu treffen. Der dargestellte Vorgang geht so vonstatten,
dass jeder Knoten auf eine rekursive oder iterative Weise untersucht
wird.
-
Somit
wird bei Schritt 106 für
jeden Knoten eines Baums eine normierte Energie berechnet. Die Energie
(oder eine Umwandlung der Energie) wird durch eine geeignete Skalierung
normiert, so dass die Summe aller Energien für alle Knoten 1 beträgt. Liegt
die Energie an einem aktuellen unter Test befindlichen Knoten unter
einem vorbestimmten Schwellenwert, wie bei 108 geprüft wird,
verwirft der Baumbeschneidungsalgorithmus diesen Knoten und alle
seine Unterknoten. Andernfalls wird der Knoten weiter untersucht,
indem seine Unterscheidungsleistung unter Verwendung einer geeigneten
Abstandsberechnung ermittelt wird. Dies ist bei Schritt 110 dargestellt.
Danach erfolgt eine entsprechende Unterscheidungsleistungsberechnung
aller Unterknoten dieses Hauptknoten, wie bei Schritt 112 angegeben
ist.
-
Mit
der nun berechneten Unterscheidungsleistung der Haupt- und Unterknoten
vergleicht Schritt 114 die Unterscheidungsleistung des
Hauptknotens mit der Summe der Unterscheidungsleistung der Unterknoten. Wie
bei Schritt 116 angegeben, werden die Unterknoten, wenn
deren Summe größer ist
als die des Hauptknotens, in den Baum mit aufgenommen. Andernfalls
wird im Schritt 118 der Baum beschnitten, indem die Unterknoten
und alle Nachkommen dieser Unterknoten verworfen werden.
-
Der
in 5 dargestellte Vorgang geht weiter, bis jeder
Knoten entweder wie beschrieben untersucht oder aufgrund dessen
ausgeschlossen wurde, dass er ein Unter knoten eines ausgeschlossenen
Knotens ist. Das Ergebnis ist ein Wavelet-Baum, der für die betreffenden
Geräuschklassen
optimal beschnitten wurde. Nachdem ein Baum auf diese Weise entwickelt
wurde, kann das System damit fortfahren, andere Bäume (mit unterschiedlichen
Beschneidungen) für
andere Geräuschklassen
zu entwickeln.
-
Verschiedene
Bäume können dazu
optimiert werden, zwischen einer bestimmten Geräuschklasse zu unterscheiden.
Die Bäume
werden alle aus einem zu groß gewordenen
Baum extrahiert, so dass nur eine Zerlegung notwendig ist, wobei
die Knoten, die den optimalen Teilbäumen entsprechen, zur Berechnung
der gewünschten
Merkmale verwendet werden.
-
Spezialisierte
verdeckte Markow-Modelle können
an diesen spezialisierten Merkmalen trainiert werden. Beispielsweise
kann ein Satz spezialisierter Modelle, die Vokale von Konsonanten
unterscheiden, aus spezialisierten Merkmalen aufgebaut werden, die
zur Erlangung einer hohen Unterscheidungsfähigkeit zwischen solchen Lauten
optimiert wurden.
-
Eine
Auflösung
des Modells von grob zu fein kann auf diese Weise erzielt werden,
indem zuerst die weitgefassten Klassen (z.B. Konsonanten im Gegensatz
zu Vokalen) und dann in einem Mehrfachdurchgangerkennungsparadigma
die bestimmten Laute in einer Klasse erkannt werden. Alternativ
können
alle Modelle (sowohl die Fein- als auch Grobauflösung) zusammen in einem Einfachdurchgangsystem
verwendet werden, um eine Sequenz weit- und enggefasster Laute zu
generieren, die Information über
die Äußerung liefert.
-
Obwohl
die Erfindung in ihrer gegenwärtig
bevorzugten Form beschrieben wurde, ist klar, dass die Erfindung
auf viele verschiedene Weisen umgesetzt werden kann, ohne dass dabei
vom erfindungsgemäßen Aussagegehalt
abgewichen würde,
wie ex in den beigefügten
Ansprüchen
dargelegt ist.
