-
GEGENSTAND
DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft ein Verfahren und ein automatisches
System zur Sprachverarbeitung.
-
STAND DER
TECHNIK
-
Die
automatische Sprachverarbeitung umfasst alle Verfahren, die die
Sprache durch Software- oder Hardwaremittel analysieren oder erzeugen. Derzeit
sind die Hauptanwendungsbereiche der Sprachverarbeitungsverfahren
die folgenden:
- (1) das Erkennen der Sprache,
das es Maschinen erlaubt, die menschliche Sprache zu „verstehen" und insbesondere
den Text, der ausgesprochen wurde, zu transkribieren (ASR-Systeme – „Automatic
Speech Recognition");
- (2) das Erkennen des Sprechers, das es erlaubt, aus einer Einheit
von Gruppen eine Person zu erkennen, die gesprochen hat (ja sogar
sie zu authentifizieren);
- (3) das Erkennen der Sprache (Französisch, Deutsch, Englisch usw.),
was es erlaubt, die von einer Person verwendete Sprache zu erkennen;
- (4) das Codieren der Sprache, das das Hauptziel verfolgt, die Übertragung
eines Sprachsignals zu erleichtern, indem die erforderliche Speichergröße für das Speichern
des Sprachsignals verringert wird und indem seine Binärrate reduziert
wird;
- (5) die Sprachsynthese, die es erlaubt, ein Sprachsignal zu
erzeugen, zum Beispiel ausgehend von einem Text.
-
Bei
den derzeitigen Spracherkennungssystemen beginnt man mit dem Digitalisieren
des von einem Mikrofon erfassten Sprachsignals. Danach berechnet
ein Analysesystem Vektoren repräsentativer Parameter
dieses digitalisierten Sprachsignals. Diese Berechnungen erfolgen
in regelmäßigen Abständen, typisch
alle 10 Millisekunden, durch Analyse kurzer zeitlicher Signalsequenzen,
die Rahmen genannt werden, von etwa 30 Millisekunden digitalisiertem
Signal. Die Analyse des Sprachsignals führt daher zu einer Sequenz
repräsentativer
Vektoren von Parametern mit einem repräsentativen Vektor von Parametern
pro Rahmen. Diese Vektoren repräsentativer
Parameter werden anschließend
mit Referenzwerken verglichen. Dieser Vergleich bedient sich im
Allgemeinen eines statistischen Ansatzes, der auf dem Prinzip der
verborgenen Markov-Modelle (HMMs) beruht.
-
Diese
Modelle stellen lexikalische Grundeinheiten dar, wie zum Beispiel
Phoneme, Diphone, Silben oder andere und erlauben eventuell das
Schätzen
der Wahrscheinlichkeiten oder Mutmaßlichkeiten für diese
lexikalischen Grundeinheiten. Diese Modelle können als Bausteine gesehen
werden, die es erlauben, Wörter
oder Sätze
zu bauen. Ein Lexikon erlaubt es, Wörter auf der Basis dieser Bausteine
zu definieren, und eine Syntax erlaubt es, Anordnungen von Wörtern zu
definieren, die Sätze
bilden können. Die
Variablen, die diese Modelle definieren, werden im Allgemeinen durch Üben auf
der Basis eines Lernkorpus geschätzt,
das aus aufgezeichneten Sprachsignalen besteht. Man kann auch Kenntnisse
in der Phonetik oder Linguistik verwenden, um die Definition der
Modelle und das Schätzen
ihrer Parameter zu erleilchtern.
-
Unterschiedliche
Variabilitätsquellen
machen die Aufgabe des Erkennens schwierig, wie zum Beispiel die
Stimmunterschiede von einer Person zur anderen, die schlechten Aussprachen,
die lokalen Akzente, die Aufnahmebedingungen der Sprache und das
Umgebungsgeräusch.
-
Wenn
daher der Einsatz herkömmlicher
automatischer Spracherkennungssysteme unter gut kontrollierten Bedingungen
im Allgemeinen zufriedenstellt, steigt jedoch die Fehlerrate derartiger
Systeme bei Präsenz
von Lärm
deutlich. Diese Steigerung ist umso größer als das Lärmniveau
steigt. Die Anwesenheit von Lärm
führt nämlich zu
Verzerrungen der Vektoren repräsentativer
Parameter. Da diese Verzerrungen in den Modellen nicht vorhanden sind,
verschlechtern sich die Leistungen des Systems.
-
Zahlreiche
Techniken wurden entwickelt, um die Empfindlichkeit dieser Systeme
gegenüber
Lärm zu
verringern. Die verschiedenen Techniken können gemäß dem Konzept, das sie verwenden,
in fünf Hauptfamilien
zusammengefasst werden.
-
Unter
diesen Techniken zielt eine erste Familie darauf ab, einne Verarbeitung
durchzuführen,
deren Ziel darin besteht, entweder eine im Wesentlichen entrauschte
Version eines rauschbehafteten Signals zu erzielen, das von einem
Mikrofon oder mehreren Mikrofonen erfasst wird, oder eine im Wesentlichen
entrauschte (kompensierte) Version der repräsentative Parameter (J. A.
Lim & A. V. Oppenheim, „Enhancement
and bandwith compression of noisy speech", Proceedings of the IEEE, 67(12): 1586–1604, Dezember
1979). Ein Ausführungsbeispiel,
das dieses Konzept verwendet, ist in dem Dokument EP-0 556 992 beschrieben.
Obwohl sie sehr nützlich
sind, weisen diese Techniken trotzdem den Nachteil auf, dass sie
auf der Ebene der Vektoren repräsentativer
Parameter Verzerrungen einführen
und im Allgemeinen unzureichend sind, um ein Erkennen in unterschiedlichen
akustischen Umgebungen zu erlauben und insbesondere in dem Fall
von hohen Geräuschniveaus.
-
Eine
zweite Familie von Techniken betrifft das Erzielen intrinsisch weniger
rauschempfindlicher repräsentativer
Parameter als die herkömmlichen
bei den meisten automatischen Spracherkennungssystemen verwendeten
(H. Hermansky, N. Morgan & H. G.
Hirsch, „Recognition
of speech in additive and concolutional noise based on rasta spectral
processing", in
Proc. IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing,
Seiten 83–86,
1993; O. Viiki, D. Bye & K.
Laurila, „A
recurcive feature vector normalization approach for robust speech
recognition in noise",
in Proc. of ICASSP'98,
Seiten 733–736, 1998).
Diese Techniken weisen jedoch bestimmte Einschränkungen in Zusammenhang mit
den Annahmen auf, auf welchen sie beruhen.
-
Eine
dritte Familie von Techniken wurde ebenfalls vorgeschlagen. Diese
Techniken basieren statt danach zu streben, die repräsentativen
Parameter umzuwandeln, auf der Umwandlung der Parameter der Modelle,
die in den Spracherkennungssystemen eingreifen, so dass sie an die
geläufigen
Verwendungsbedingungen angepasst werden (A. P. Varga & R. K. Moore, „Simultaneous
recognition of current speech signals using hidden markov model
decomposition",
in Proc. of EUROSPEECH'91,
Seiten 1175–1178,
Genua, Italien, 1991; C. J. Leggeter & P. C. Woodland, „Maximum likehood linear regression for
speaker adaptation",
Computer Speech and Language, 9: 171–185, 1995). Diese Anpassungstechniken
sind in der Tat Schnelllerntechniken, die den Nachteil aufweisen,
dass sie nur effizient sind, wenn die Rauschbedingungen langsam
variieren. In der Tat benötigen
diese Techniken mehrere Dutzend Sekunden geräuschbelastetes Sprachsignal,
um die Parameter der Erkennungsmodelle anzupassen. Wenn sich die
Rauschbedingungen nach dieser Anpassung erneut ändern, ist das Erkennungssystem nicht
mehr fähig,
die Vektoren repräsentativer
Parameter des Sprachsignals und die Modelle einander zuzuordnen.
-
Eine
vierte Familie von Techniken besteht darin, eine Analyse durchzuführen, die
es erlaubt, repräsentative
Parameter von Frequenzbändern
zu erzielen (H. Bourlard & S. Dupont, „A new
ASR approach based on independent processing and recombination of
partial frequency bands" in
Proc. of Intl. Conf. on Spoken Language Processing, Seiten 422–425, Philadelphia,
Oktober 1996). Modelle können
daher für
jedes dieser Frequenzbänder
entwickelt werden alle diese Frequenzbänder müssen idealerweise das gesamte
Nutzfrequenzspektrum decken, das heißt bis zu 4 oder 8 kHz. Die
Bedeutung dieser Techniken, die wir in weiterer Folge „Multifrequenzband"-Techniken nennen,
besteht darin, in einer späteren
Beschlussfassungsphase die Bedeutung der stark geräuschbehafteten
Frequenzbänder minimieren
zu können.
Diese Techniken sind jedoch nur wenig effizient, wenn das Geräusch einen
großen Bereich
des Nutzfreguenzspektrums deckt. Beispiele für Verfahren, die zu dieser
Familie gehören,
werden gegeben in den Dokumenten von Tibrewala et al. („Sub-band
based recognition of noisy speech" IEEE International Conference on Acoustics,
Speech, and Signal Processing (ICASSP), US, Los Alamitos, IEE Comp.
Soc. Press, 21. April 1997, Seiten 1255–1258) und Bourlard et al. „Subband-based
speech recognition",
IEEE International Conference on Acoustics, Speech, and Signal Processing
(ICASSP), US, Los Alamitos, IEE Comp. Soc. Press, 21. April 1997,
Seiten 1251–1254).
-
Schließlich besteht
eine fünfte
Familie von Techniken darin, durch Geräuscherzeugung auf mehreren
Niveaus verschiedener Geräusche
die Gesamtheit oder einen Teil des Lernkorpus zu kontaminieren und
die Parameter der Modelle abzuschätzen, die in dem ASR-System
auf der Grundlage dieses geräuschbehafteten
Korpus eingreifen (T. Morii & H. Hoshimi, „Noise
robustness in speaker independent speech", in Proc. of the Intl. Conf. on Spoken
Language Processing, Seiten 1145–1148, November 1990). Anwendungsbeispiele,
die dieses Konzept verwenden, sind in dem Dokument EP-A-0 881 625 beschrieben,
dem Dokument US-A-5
185 848 sowie in dem Dokument von Yuk et al. („Environment-independent continuous
speech recognition using neural networks and hidden Markov models", IEEE International
Conference on Acoustics, Speech, and Signal Processing (ICASSP),
US, New York, IEE, Band Conf. 21, 7 Mai 1996, Seiten 3358–3361).
Insbesondere schlägt
das Dokument von Yuk et al. vor, ein Netzwerk künstlicher Neuronen zu verwenden,
das die Umwandlung der repräsentativen
Parameter zum Ziel hat, die aus der Analyse entrauschter Parameter hervorgehen
oder einfach besser an das nachgeschaltete Erkennungssystem angepasste.
Die Parameter dieses Neuronennetzwerkes werden auf der Basis einer
reduzierten Anzahl von Anpassungssätzen (10 bis 100 Sätze, um
gute Leistungen zu erzielen) geschätzt. Die Bedeutung dieser Techniken
besteht darin, dass ihre Leistungen quasi optimal sind, wenn das
Rauschen, das die Verwendungsbedingungen charakterisiert, dem Rauschen ähnlich ist, das
zum Kontaminieren des Sprachkorpus verwendet wurde. Wenn die zwei
Rauschen unterschiedlich sind, ist das Verfahren jedoch relativ
uninteressant. Der Anwendungsbereich dieser Techniken ist daher leider
insofern eingeschränkt,
als es nicht in Betracht gezogen werden kann, die Kontamination
auf der Basis diversifizierter Geräusche durchzuführen, die
alle Geräusche
decken, die bei der Verwendung angetroffen werden können.
-
Das
Dokument von Hussain A. („Non-linear sub-band
processing for binaural adaptative speech-enhancement" ICANN99. Ninth International Conference
on Artificial Neural Networks IEE Conf. Publ. No. 470), Edinburgh,
UK, 7–10
Sept. 1999, Seiten 121–125,
Band 1) beschreibt als solches nicht ein Analyseverfahren des Sprachsignals,
das zur Spracherkennung und/oder zur Codierung der Sprache bestimmt
ist, sondern beschreibt ein besonderes Entrauschungsverfahren (Rauschbefreiungsverfahren) der
Sprache, um ein entrauschtes zeitliches Signal zu erzielen. Genauer
genommen entspricht das Verfahren einem „Multifrequenzband"-Entrauschungsansatz,
der darin besteht, einen Filterstand zu verwenden, der zeitliche
Signale erzeugt, wobei die zeitlichen Signale anschließend von
anpassenden linearen oder nicht linearen Filtern verarbeitet werden,
das heißt
von Filtern, die sich an die Einsatzbedingungen anpassen. Diese
Methode funktioniert daher auf dem Sprachsignal selbst und nicht
auf Vektoren repräsentativer
Parameter dieses Signals, die durch Analyse erzielt werden. Die
mit diesem Verfahren verwendeten linearen Filter sind Netzwerke
herkömmlicher künstlicher
Neuronen oder solche, die Expansionsfunktionen verwenden. Das Heranziehen
dieser anpassenden Filter weist mehrere Nachteile auf. Ein erster
Nachteil besteht darin, dass die Konvergenz der Anpassungsalgorithmen
der Netzwerke aus künstlichen
Neuronen im Vergleich zu den Modulationsfrequenzen bestimmter Umgebungsgeräusche langsam
ist, was sie wenig zuverlässig
macht. Ein weiterer Nachteil besteht darin, dass der anpassende Ansatz,
wie in dem Dokument erwähnt,
das Anwenden eines Verfahrens des Typs „adapt-and-freeze" derart erforderlich macht, dass nur
während
Abschnitten ohne Sprachsignal angepasst wird. Das bedeutet, dass
ein Unterschied zwischen den Signalabschnitten mit Sprache und den
Signalabschnitten ohne Sprache gemacht werden muss, was mit den Spracherfassungsalgorithmen,
die derzeit verfügbar sind,
schwer durchzuführen
ist, insbesondere wenn das Geräuschniveau
hoch ist.
-
ZIELSETZUNGEN
DER ERFINDUNG
-
Die
vorliegende Erfindung zielt darauf ab, ein automatisches Sprachverarbeitungsverfahren
vorzuschlagen, dessen Fehlerrate im Vergleich zu der der Techniken
des Stands der Technik deutlich geringer ist.
-
Insbesondere
zielt die vorliegende Erfindung darauf ab, ein Verfahren zu liefern,
das die Spracherkennung in der Gegenwart von Lärm erlaubt (dessen Codieren
und Entrauschung), egal welcher Art dieses Geräusch ist, das heißt sogar,
wenn das Geräusch
Breitbandcharakteristiken aufweist und/oder sogar, wenn die Charakteristiken
im Laufe der Zeit sehr stark variieren, zum Beispiel wenn es aus
einem Geräusch
besteht, das im Wesentlichen niedrige Frequenzen umfasst, gefolgt
von einem Geräusch,
das im Wesentlichen hohe Frequenzen umfasst.
-
CHARAKTERISTISCHE
HAUPTELEMENTE DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft ein Verfahren zum automatischen Verarbeiten
der durch Rauschen gestörten
Sprache, das mindestens die folgenden Schritte umfasst:
- – Erfassen
und Digitalisieren der Sprache in Form mindestens eines digitalisierten
Signals,
- – Extrahieren
mehrerer zeitlicher Sequenzen oder Rahmen, die dem Signal entsprechen,
mit Hilfe eines Extraktionssystems,
- – Aufschlüsseln jedes
Rahmens mit Hilfe eines Analysesystems in mindestens zwei unterschiedliche
Frequenzbänder,
so dass mindestens zwei erste Vektoren repräsentativer Parameter für jeden
Rahmen erzielt werden, je einer pro Frequenzband und
- – Umwandeln
mit Hilfe von Umwandlersystemen der ersten Vektoren repräsentativer
Parameter in zweite Vektoren von Parametern, die für das Rauschen
relativ unempfindlich sind, wobei jedes Umwandlersystem einem Frequenzband
zugeordnet ist und den ersten Vektor repräsentativer Parameter umwandelt,
der diesem Frequenzband zugeordnet ist, und wobei das Lernen der
Umwandlersysteme auf der Basis eines Lernkorpus, das einem durch
Rauschen kontaminierten Sprachkorpus entspricht, aufbaut.
-
Der
Aufschlüsselungsschritt
in Frequenzbänder
bei dem erfindungsgemäßen Verfahren
ist grundlegend, um die Robustheit gegenüber verschiedenen Rauschtypen
sicherzustellen.
-
Vorzugsweise
umfasst das erfindungsgemäße Verfahren
ferner einen Konkatenationsschritt der zweiten Vektoren repräsentativer
Parameter, die für Rauschen
relativ unempfindlich sind, die den verschiedenen Frequenzbändern eines
gleichen Rahmens zugeordnet sind, so dass man nur noch einen einzigen
dritten Vektor konkatenierter Parameter für jeden Rahmen hat, der danach
als Eingang in ein automatisches Spracherkennungssystem verwendet wird.
-
Die
Umwandlung mit Hilfe der Umwandlersysteme kann durch linearen Umwandlungsprozeß oder nicht
linearen Umwandlungsprozeß durchgeführt werden.
-
Vorzugsweise
sind die Umwandlersysteme Netzwerke künstlicher Neuronen.
-
Die
Tatsache, dass Netzwerke künstlicher Neuronen
verwendet werden, die auf der Grundlage von Sprachdaten mit Rauschen
geübt werden,
weist den Vorteil auf, dass kein „anpassender" Ansatz erforderlich
ist, wie der, der im Dokument von Hussain A. (op. cit.) beschrieben
ist, um ihre Parameter an die Einsatzbedingungen anzupassen.
-
Ferner
und im Gegensatz zu den Netzwerken künstlicher Neuronen, die bei
den von Hussain A. (op. cit.) verwendeten Verfahren beschrieben
werden, funktionieren die Netzwerke von Neuronen, wie sie bei der
vorliegenden Erfindung verwendet werden, auf repräsentativen
Vektoren, die durch Analyse erzielt werden und nicht direkt am Sprachsignal selbst.
Diese Analyse hat den Vorteil, dass sie die Redundanz, die in dem
Sprachsignal vorhanden ist, stark reduziert, und eine Darstellung
des Signals auf der Basis von Vektoren repräsentativer Parameter mit relativ
geringem Umfang erlaubt.
-
Vorzugsweise
sind die Netzwerke künstlicher
Neuronen des Typs Multilayer-Perzeptron und jedes umfasst mindestens
eine verborgene Schicht.
-
Vorteilhafterweise
zieht das Lernen der Netzwerke aus künstlichen Neuronen des Typs
Multilayer-Perzeptron Ziele heran, die den lexikalischen Grundeinheiten
für jeden
Rahmen des Lernkorpus entsprechen, wobei die Ausgangsvektoren der
letzten oder der verborgenen Schicht oder der verborgenen Schichten
der Netzwerke aus künstlichen
Neuronen als Vektor repräsentativer
Parameter verwendet werden, die für Rauschen relativ unempfindlich
sind.
-
Die
Originalität
des erfindungsgemäßen automatischen
Sprachverarbeitungsverfahrens beruht in der Kombination von zwei
Konzepten, der „Multifrequenzband"-Aufschlüsselung
und der Kontamination durch Rauschen, die im Stand der Technik getrennt
verwendet werden und als solche nur beschränkte Bedeutung aufweisen, während ihre
Kombination dem Verfahren besondere Eigenschaften und im Vergleich
zu den derzeit verfügbaren
Methoden deutlich verbesserte Leistungen verleiht.
-
Herkömmlich fordern
die Übungsdatenkontaminationstechniken
ein Korpus, das die meisten Rauschsituationen, die in der Praxis
auftreten können,
korrekt decken (was man Multistil-Üben nennt), was aufgrund der
Diversität
der Rauschformen quasi unmöglich
durchzuführen
ist. Hingegen beruht das erfindungsgemäße Verfahren auf dem Einsatz
eines „Multfrequenzband"-Ansatzes, der die
Kontaminationstechniken rechtfertigt.
-
Das
erfindungsgemäße Verfahren
basiert im Grunde auf der Beobachtung, dass, wenn man ein relativ
enges Frequenzband betrachtet, sich die Rauschtypen im Wesentlichen
nur durch ihr Niveau unterscheiden. Daher können Modelle in Zusammenhang
mit jedem der Frequenzbänder
des Systems nach der Kontamination des Lernkorpus durch ein beliebiges
Rauschen mit verschiedenen Niveaus geübt werden; diese Modelle bleiben
für andere Rauschtypen
relativ unempfindlich. Eine spätere
Beschlussfassungsphase verwendet daher diese so genannten „robusten
Modelle" zur automatischen
Spracherkennung.
-
Die
vorliegende Erfindung betrifft auch ein automatisches Sprachverarbeitungssystem,
das mindestens Folgendes umfasst:
- – ein Erfassungssystem,
das das Erzielen mindestens eines digitalisierten Sprachsignals
erlaubt,
- – ein
Extraktionssystem, das es erlaubt, mehrere zeitliche Sequenzen oder
Rahmen zu extrahieren, die dem Signal entsprechen,
- – Mittel,
die es erlauben, jeden Rahmen in mindestens zwei unterschiedliche
Frequenzbänder aufzuschlüsseln, so
dass man mindestens zwei erste Vektoren repräsentativer Parameter erzielt, einen
Vektor für
jedes Frequenzband, und
- – mehrere
Umwandlersysteme, wobei jedes Umwandlersystem einem Frequenzband
zugeordnet ist und es erlaubt, den ersten Vektor repräsentativer
Parameter, der eben diesem Frequenzband zugeordnet ist, in einen
zweiten Vektor von Parametern umzuwandeln, der für Rauschen relativ unempfindlich
ist, und
wobei das Lernen der Umwandlersysteme auf der Basis
eines Sprachkorpus durchgeführt
wird, das durch Rauschen kontaminiert ist.
-
Vorzugsweise
sind die Umwandlersysteme Netzwerke von künstlichen Neuronen, vorzugsweise des
Typs Multilayer-Perzeptron.
-
Vorzugsweise
umfasst das erfindungsgemäße automatische
Sprachverarbeitungssystem ferner Mittel, die die Konkatenation der
zweiten Vektoren repräsentativer
Parameter, die für
Rauschen relativ unempfindlich sind, die den verschiedenen Frequenzbändern eines
gleichen Rahmens zugeordnet sind, erlauben, so dass man nur noch
einen dritten Vektor konkatenierter Parameter für jeden Rahmen hat, wobei der
dritte Vektor anschließend
als Eingang in ein automatisches Spracherkennungssystem verwendet wird.
-
Zu
bemerken ist, dass, da die Analysearchitektur für alle Frequenzbänder ähnlich ist,
nur das Blockschema für
eines der Frequenzbänder
hier detailliert beschrieben wird.
-
Das
erfindungsgemäße Verfahren
und erfindungsgemäße automatische
Verarbeitungssystem können
zum Erkennen von Sprache, zum Codieren von Sprache oder zum Entrauschen
von Sprache verwendet werden.
-
KURZBESCHREIBUNG
DER ZEICHNUNGEN
-
1 stellt
ein Schema der ersten automatischen Sprachverarbeitungsschritte
gemäß einer
bevorzugten Ausführungsform
der vorliegenden Erfindung dar, die vom Erfassen des Sprachsignals
bis zum Erzielen der für
Rauschen relativ unempfindlichen repräsentativen Parameter reicht,
die jedem der Frequenzbänder
zugewiesen werden.
-
2 stellt
das Kontaminationskonzept des Lernkorpus durch Rauschen gemäß einer
bevorzugten Ausführungsform
der vorliegenden Erfindung dar.
-
3 stellt
ein Schema der automatischen Sprachverarbeitungsschritte dar, die
auf die Schritte der 1 gemäß einer bevorzugten Ausführungsform
der vorliegenden Erfindung für
eine Spracherkennungsanwendung folgen, und von der Konkatenation
der für
das Rauschen unempfindlichen repräsentativen Parameter, die jedem
der Frequenzbänder
zugeordnet sind, bis zur Erkennungsbeschlussfassung reichen.
-
4 stellt
die Schritte der automatischen Sprachverarbeitung dar, die auf die
Schritte der 1 gemäß einer bevorzugten Ausführungsform der
Erfindung folgen, und die für
die Codierungs-, Entrauschungs- und Spracherkennungsanwendungen
gemeinsam sind.
-
BESCHREIBUNG
EINER BEVORZUGTEN AUSFÜHRUNGSFORM
DER ERFINDUNG
-
Gemäß einer
bevorzugten Ausführungsform der
Erfindung, wie 1 zeigt, durchläuft das
Signal 1, das bei einer Frequenz von 8 kHz abgetastet wird, zuerst
ein Fensteraufteilungsmodul 10, das ein Extraktionssystem
darstellt und das Signal in eine Abfolge zeitlicher Rahmen 15 zu
je 30 ms (240 Abtastungen) unterteilt. Zwei aufeinander folgende
Rahmen überlappen
sich um 20 ms. Die Elemente jedes Rahmens werden durch ein Hammingfenster
gewichtet.
-
Danach
wird bei einem ersten Schritt der digitalen Verarbeitung eine Analyse
in kritischen Bändern
an jedem Rahmen des abgetasteten Signals mit Hilfe eines Moduls 20 durchgeführt. Diese
Analyse ist für
den Frequenzauflösungsmaßstab des
menschlichen Ohrs repräsentativ.
Der verwendete Ansatz lehnt sich an die erste Analysephase der PLP-Technik
an (H. Hermansky, „Perpetual
linear predictive (PLP) analysis speech", the Journal of the Acoustical Society
of America, 87(4): 1738–1752,
April 1992). Sie arbeitet im Frequenzbereich. Die verwendeten Filter
sind trapezartig, und der Abstand zwischen den zentralen Frequenzen
folgt einem psychoakustischen Frequenzmaßstab. Der Abstand zwischen
den zentralen Frequenzen von zwei aufeinander folgenden Filtern
ist in diesem Fall auf 0,5 Bark festgelegt, wobei die Frequenz in
Bark (B) durch den folgenden Ausdruck erzielt werden kann: B = 6ln(f/600 + sgrt((f/600)^2 + 1))wobei
(f) die Frequenz in Hertz ist.
-
Andere
Werte könnten
jedoch in Betracht gezogen werden.
-
Für ein bei
8 kHz abgetastetes Signal führt diese
Analyse zu einem Vektor 25, der die Energien von 30 Frequenzbändern umfasst.
Die Vorgehensweise umfasst auch eine Akzentuierung der hohen Frequenzen.
-
Dieser
Vektor zu 30 Elementen wird anschließend in sieben Untervektoren
repräsentativer Parameter
des spektralen Mantels in sieben verschiedenen Frequenzbändern aufgeteilt.
Es wird die folgende Aufschlüsselung
verwendet: 1–4
(die Filter mit den Indexen von 1 bis 4 bilden das erste Frequenzband),
5–8, 9–12, 13–16, 17–20, 21–24 und 25–30 (die
von diesen sieben Bändern
betroffenen Frequenzen sind in 1 gegeben).
-
Jeder
Untervektor wird genormt, indem die Werte seiner Elemente durch
die Summe aller Elemente des Untervektors geteilt werden, das heißt durch
eine Schätzung
der Energie des Signals in dem betrachteten Frequenzbereich. Diese
Normung verleiht dem Untervektor eine Unempfindlichkeit gegenüber dem
Energieniveau des Signals.
-
Für jedes
Frequenzband werden die repräsentativen
Parameter schließlich
aus dem genormten Untervektor gebildet, der dem Band entspricht, sowie
aus der Schätzung
der Energie des Signals in diesem Band.
-
Für jedes
der sieben Frequenzbänder
wird die oben beschriebene Verarbeitung durch ein Modul 40 durchgeführt, das
einen Vektor 45 repräsentativer Parameter
des betreffenden Bands liefert. Das Modul 40 definiert
mit dem Modul 20 ein Analysesystem genanntes System.
-
Die
Module 10, 20 und 40 könnten durch
jeden anderen Ansatz ersetzt werden, der es erlaubt, repräsentative
Parameter verschiedener Frequenzbänder zu erzielen.
-
Für jedes
Frequenzband werden die entsprechenden repräsentativen Parameter anschließend von
einem Umwandlersystem 50 verwendet, dessen Ziel darin besteht,
einen Vektor 55 repräsentativer
Parameter, die für
das Rauschen, das in dem abgetasteten Sprachsignal vorhanden ist,
relativ unempfindlich sind.
-
Wie 3 zeigt,
werden die Vektoren repräsentativer
Parameter, die für
das Rauschen unempfindlich sind, die jedem der Frequenzbänder zugeordnet
sind, anschließend
konkateniert, um einen größeren Vektor 56 zu
bilden.
-
Dieser
große
Vektor 56 wird schließlich
als Vektor repräsentativer
Parameter des betreffenden Rahmens verwendet. Er kann von dem Modul 60 verwendet
werden, das einem Spracherkennungssystem entspricht, und dessen
Ziel darin besteht, die Sequenz von Spracheinheiten zu liefern,
die ausgesprochen wurden.
-
Zum
Durchführen
der gewünschten
Funktionalität
wurde ein Netzwerk künstlicher
Neuronen (RNA) (B. D. Ripley, „Pattern
recognition and neural networks",
Cambridge University Press, 1996) als Implementierung des Umwandlersystems 50 verwendet.
Im Allgemeinen berechnet das RNA Vektoren repräsentativer Parameter gemäß einem ähnlichen
Ansatz wie der der diskriminierenden nicht linearen Analyse (V.
Fontaine, C. Ris & J.
M. Boite, „Nonlinear
discriminant analysis for improved speech recognition", in Proc. of EUROSPEECH'97, Rhodos, Griechenland,
1997). Andere Ansätze
linearer Umwandlung oder nicht linearer Umwandlung, die nicht unbedingt
ein RNA einbeziehen, könnten
ebenfalls zum Berechnen der Vektoren repräsentativer Parameter geeignet
sein, wie zum Beispiel die Techniken der linearen diskriminierenden
Analyse (Fukunaga, Introduction to Statistical Pattern Analysis,
Academic Press, 1990), Analysetechniken in Hauptkomponenten (I.
T. Jolliffe, „Principal
Component Analysis", Springer-Verlag,
1986) oder Regressionstechniken, die das Schätzen einer entrauschten Version
der repräsentativen
Parameter erlauben (H. Sorensen, „A cepstral noise reduction
multi-layer neural network", Proc.
of the IEEE International Conference on Acoustics, Speech and Signal
Processing, Band 2, Seiten 933–936,
1991).
-
Genauer
genommen ist das hier verwendete Neuronennetzwerk ein Multilayer-Perzeptron,
das zwei verborgene Neuronenschichten umfasst. Die nicht linearen
Funktionen der Neuronen dieses Perzeptrons sind Sigmoide. Das RNA
umfasst einen Ausgang pro lexikalischer Grundeinheit.
-
Dieses
Netzwerk von künstlichen
Neuronen wird durch den Rückpropagierungsalgorithmus
auf der Basis eines Minimierungskriteriums der relativen Entropie
geübt.
Das Üben
oder Lernen wird überwacht
und greift auf Ziele zurück,
die den lexikalischen Grundeinheiten der präsentierten Übungsbeispiele entsprechen.
Genauer genommen wird für
jeden Übungs-
oder Lernrahmen der gewünschte
Ausgang des RNA, der der lexikalischen geläufigen Grundeinheit entspricht,
auf 1 gesetzt, wobei die anderen Ausgänge auf 0 gesetzt werden.
-
In
dem vorliegenden Fall sind die lexikalischen Grundeinheiten Phoneme.
Es ist aber auch möglich,
andere Einheitentypen zu verwenden, wie zum Beispiel Allophone (Phoneme
in einem besonderen phonetischen Kontext) oder phonetische Merkmale
(Nasalisierung, Reibelaute).
-
Wie 2 zeigt,
werden die Parameter dieses RNA auf der Basis eines Lernkorpus 101 geschätzt, das
durch das Rauschen 102 mit Hilfe des Moduls 100 kontaminiert
ist. Um eine Mehrheit von Rauschniveaus zu decken, die in der Praxis
angetroffen werden können,
werden hier sechs Versionen des Lernkorpus verwendet.
-
Eine
der Versionen wird verwendet so wie sie ist, das heißt ohne
hinzugefügtes
Rauschen. Die anderen Versionen werden mit Hilfe des Moduls 100 mit unterschiedlichen
Signal/Rauschen-Verhältnissen gestört: 0 dB,
5 dB, 10 dB, 15 dB und 20 dB. Diese sechs Versionen werden zum Üben des
RNA verwendet. Diese Übungsdaten
werden am Eingang des in 1 dargestellten Systems verwendet.
-
Dieses
System erlaubt es, repräsentative Parameter 45 der
verschiedenen in Betracht gezogenen Frequenzbänder zu erzielen. Es handelt
sich um Parameter, die das Netzwerk künstlicher Neuronen versorgen
und insbesondere das Üben
durch Rückpropagation
(B. D. Ripley, „Pattern
recognition and neural networks",
Cambridge University Press, 1996) erlauben.
-
Zu
bemerken ist, dass alle Techniken, die im Allgemeinen angewandt
werden, wenn man Neuronennetzwerke in der Sprachverarbeitung anwendet, hier
angewandt werden können.
Hier wurde daher beschlossen, am Eingang des RNA mehrere, genauer
genommen 9 Vektoren repräsentativer Parameter aufeinander
folgender Signalrahmen zu verwenden (um die zeitliche Korrelation
des Sprachsignals zu modellieren).
-
Bei
der Verwendung des RNA wird ein ähnlicher
Ansatz wie bei der diskriminierenden nicht linearen Analyse verwendet.
Die Ausgänge
der zweiten verborgenen Schicht, nämlich 30, werden als Parameter 55,
die für
Rauschen unempfindlich sind, für das
zugeordnete Frequenzband verwendet.
-
Wie 3 zeigt,
werden bei einer ersten Anwendung die jedem der sieben Frequenzbänder zugewiesenen
Parametervektoren anschließend
konkateniert, um zu einem Vektor 56 zu 210 konkatenierten
Parametern zu führen.
-
Bei
jedem Signalrahmen wird dieser Vektor daher als Eingang eines automatischen
Spracherkennungssystems 60 verwendet. Dieses System wird
auf der Basis repräsentativer
Parameter geübt, die
von der oben beschriebenen Technik (in 1 dargestelltes
System) ausgehend von einem Sprachkorpus (mit oder ohne Rauschen)
der gewünschten Erkennungsaufgabe
entsprechend berechnet werden.
-
Zu
bemerken ist, dass das Datenkorpus, das das Entwickeln der Systeme 50 erlaubt,
die jedem Frequenzband zugeordnet sind, nicht notwendigerweise das
gleiche wie das ist, das zum Üben
des Spracherkennungssystems 60 dient.
-
Alle
Typen robuster Techniken des Stands der Technik können frei
im Rahmen des hier vorgeschlagenen Systems eingreifen, wie 1 darstellt.
-
Daher
können
die robusten Erfassungstechniken, insbesondere die, die auf Mikrophonnetzwerken 2 beruhen,
nützlich
sein, um ein relativ entrauschtes Sprachsignal zu erzielen.
-
Ebenso
können
die Entrauschungstechniken, wie zum Beispiel die spektrale Substraktion
3 (M. Berouti, R. Schwartz & J.
Makhoul, „Enhancement
of speech corrupted by acoustic noise", in Proc. of ICASSP'79, Seiten 208–211, April 1979) in Betracht
gezogen werden.
-
Jede
Technik 22 zum Berechnen intrinsisch robuster Parameter
oder jede Technik 21 zum Ausgleichen repräsentativer
Parameter kann ebenfalls verwendet werden.
-
Die
Module 10, 20 und 40 können durch
jede andere Technik ersetzt werden, die es erlaubt, repräsentative
Parameter verschiedener Frequenzbänder zu erzielen.
-
Je
unempfindlicher für
Umgebungsrauschen diese Parameter sind, desto besser wird sich das
Gesamtsystem verhalten.
-
Im
Rahmen der Anwendung an die Spracherkennung, wie 2 zeigt,
können
auch Techniken 61 zur Anpassung der Modelle verwendet werden.
-
Ein
Verfahren 62 zum Üben
des Systems auf der Basis eines Sprachkorpus, das durch Rauschen kontaminiert
ist, ist ebenfalls möglich.
-
Bei
einer zweiten Anwendung werden die „robusten" Parameter 55, wie 4 zeigt,
am Eingang eines Regressionsmoduls 70 verwendet, das das
Schätzen
herkömmlicher
repräsentativer
Parameter 75 erlaubt, die im Rahmen von Sprachverarbeitungstechniken
verwendbar sind. Für
eine Sprachcodierungsaufgabe oder Entrauschungsaufgabe kann dieses
System 70 die Parameter eines autoregressiven Modells des
Sprachsignals schätzen. Für eine Spracherkennungsaufgabe
werden vorzugsweise Cepstra geschätzt, das heißt Werte
der diskreten Umgekehrten der Fourier-Trans formation der Logarithmen
der diskreten Fourier-Transformation des Signals.
-
Das
Regressionsmodul wird herkömmlich auf
der Grundlage eines Sprachkorpus mit oder ohne Rauschen optimiert.
-
Die
idealen Ausgänge
des Regressionsmoduls werden auf der Basis von Daten ohne Rauschen berechnet.
-
Alle
oben beschriebenen Operationen werden von Softwaremodulen durchgeführt, die
auf einem alleinigen Mikroprozessor laufen. Ferner kann jeder andere
Ansatz frei verwendet werden.
-
Man
kann zum Beispiel eine verteilte Verarbeitung in Betracht ziehen,
bei der das Modul 60 zur Spracherkennung auf einem nahen
oder dezentralen Server funktioniert, dem man die repräsentativen
Parameter 55 über
ein EDV- oder Telefonnetzwerk liefert.