DE19516106C2 - Verfahren zum Bestimmen von Referenzwerten - Google Patents

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen von Referenzwerten, die für die Ermittlung von Wortfolgen aus einem Sprachsignal benötigt werden. Die Referenzsignale liegen als mehrdimensionale Merkmalsvektoren vor, beispielsweise als Energieverteilung über das Frequenzspektrum und gegebenenfalls weitere Eigenschaften des Sprachsignals in einem kurzen Zeitabschnitt. Aus dem zu verarbeitenden Sprachsignal werden Testsignale abgeleitet, die ebenfalls ent­ sprechende Merkmalsvektoren darstellen, die das Sprachsignal für einen kurzen Zeitabschnitt beschreiben. Jedes Testsignal wird mit wenigstens einem Teil der Referenzsignale verglichen, indem die Abstände der Merkmalsvektoren bestimmt werden, und daraus werden Bewertungswerte abgeleitet, die akkumuliert werden, um schließlich wenigstens eine Wortfolge auf der Basis des günstigsten akku­ mulierten Bewertungswerts zu ermitteln.

Jedes zu ermittelnde Wort wird durch eine festgelegte Folge von akustischen Zuständen beschrieben, und jedem akustischen Zustand ist wenigstens ein Referenzsignal zugeordnet. Die Referenzsignale werden während einer Testphase aus einem vorgegebenen, bekannten Test-Sprachsignal erzeugt. Dafür werden aus dem Test-Sprachsignal ebenfalls in regelmäßigen Zeitabschnitten mehrdimensionale Merkmalsvektoren abgeleitet und gespeichert. Mit fortschreitender Verarbeitung des Test-Sprachsignals entstehen gewissermaßen Wolken von Merkmalsvektoren im mehrdimensionalen akustischen Raum, und zur Beschreibung dieser Wolken wird aus benachbarten Merkmalsvektoren ein Mittelwertvektor bestimmt, der dem Schwerpunkt der betreffenden Wolke entspricht. Ein Referenzsignal wird dann durch diesen Mittelwertvektor zusammen mit der Varianz der Merkmalvektoren oder für den Fall, daß einem akustischen Zustand mehrere Mittelwertvektoren zugeordnet sind, durch diese Mittelwertvektoren und deren Varianz sowie Gewichtsfaktoren für die einzelnen Mittelwertvektoren bestimmt. Vereinfacht wird häufig die Varianz für alle Mittelwertvektoren als gleich angenommen.

Bei der Erzeugung von Mittelwertvektoren ist zu Beginn, wenn das Test-Sprach­ signal verarbeitet ist, für jeden akustischen Zustand nur ein einziger Mittelwert­ vektor vorhanden, und dieser wird in einem nachfolgenden Verarbeitungsschritt bei Erfüllung bestimmter Bedingungen, beispielsweise wenn die Anzahl Merkmal­ vektoren einen vorgegebenen Wert überschreitet, in zwei Mittelwertvektoren aufgespalten, denen vorzugsweise die gleiche Anzahl Merkmalvektoren zugeordnet wird. Hierfür sind verschiedene Verfahren bekannt. Mit fortschreitender Durchführung dieses Verarbeitungsschrittes entstehen dann immer neue Mittelwertvektoren.

Dabei kann es häufig auftreten, daß zwei neu gebildete Mittelwertvektoren relativ nahe benachbart sind. Dies führt schließlich dazu, daß eine größere Anzahl von Mittelwertvektoren bestimmt wird, als für eine günstige Unterteilung des Merkmal­ raums tatsächlich notwendig bzw. sinnvoll ist. Allerdings kann es durchaus sein, daß relativ nahe benachbarte Merkmalvektoren zu verschiedenen akustischen Zuständen gehören. Um die Anzahl von Merkmalvektoren zu verringern, ist es beispielsweise aus "Proc. Eurospeech", Berlin, Sept. 1993, Seiten 2203 bis 2006, bekannt, Mittelwertvektoren so zu wählen, daß sie mehreren verschiedenen Zuständen zugeordnet werden können.

Aufgabe der Erfindung ist es, ein Verfahren zum Bestimmen von Referenzwerten für die Verarbeitung von Sprachsignalen anzugeben, bei dem möglichst wenige Mittelwertvektoren für die Bildung der Referenzsignale verwendet werden müssen.

Zur Lösung dieser Aufgabe werden jeweils zwei benachbarte Mittelwertvektoren, deren Nachbarschaft vorgegebenen Bedingungen genügt, verbunden, indem sie durch einen einzigen neuen Mittelwertvektor ersetzt werden. Dies geschieht unabhängig von der Zuordnung von Mittelwertvektoren zu akustischen Zuständen. Dieses Zusammenfassen von zwei Mittelwertvektoren zu einem einzigen neuen wird beispielsweise dann durchgeführt, wenn der Abstand dieser Mittelwertvektoren einen vorgegebenen Wert unterschreitet oder wenn die Anzahl von Mittelwertvektoren einen Grenzwert überschreitet. Auch andere Bedingungen können verwendet werden. Das Verbinden von zwei Mittelwertvektoren durch einen einzigen neuen wird dabei für eine Vielzahl von Mittelwertvektoren unmittelbar aufeinanderfolgend durchgeführt. Für die Auswahl der jeweils zwei Mittelwertvektoren, die verbunden werden, kann beispielsweise als Kriterium eine geringstmögliche Zunahme eines Varianzmaßes sein, wenn man diese beiden Mittelwertvektoren miteinander verschmilzt. Auch in diesem Falle sind noch andere Bedingungen möglich.

Ebenso wie während der fortschreitenden Verarbeitung der Merkmalsvektoren aus dem Test-Sprachsignal wiederholt Mittelwertvektoren aufgespalten werden zu jeweils zwei neuen Mittelwertvektoren, kann auch das Verbinden von Mittelwertvektoren wiederholt durchgeführt werden, insbesondere nach der Aufspaltung von Mittel­ wertvektoren. Grundsätzlich ist das Verbinden von jeweils zwei benachbarten Mittelwertvektoren jedoch an beliebiger Stelle innerhalb der Verarbeitung des Test- Sprachsignals wiederholt möglich.

Beim Verbinden von zwei Mittelwertvektoren ist es möglich, daß diese beiden Mittelwertvektoren verschiedenen Zuständen zugeordnet sind. Insbesondere wenn einem akustischen Zustand mehrere Mittelwertvektoren mit verschiedenen Gewichten zugeordnet sind, ist es daher zweckmäßig, daß nach dem Verbinden von Mittelwertvektoren deren Zuordnung zu den akustischen Zuständen neu ermittelt wird. Dadurch werden zumindest einige Mittelwertvektoren zwei oder sogar mehr akustischen Zuständen zugeordnet, und zwar allgemein mit verschiedenen Gewichten. Dadurch entsteht schließlich eine sehr gute Beschreibung der vor­ gegebenen akustischen Zustände durch eine minimale Anzahl von Mittelwert­ vektoren, wodurch auch die anschließende Verarbeitung eines zu untersuchenden Sprachsignals sowohl schneller als auch zuverlässiger erfolgt.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. Es zeigen:

Fig. 1 einen vereinfachten zweidimensionalen Merkmalsraum mit Mittelwert­ vektoren,

Fig. 2 schematisch die Verbindung zweier Mittelwertvektoren zu einem neuen Mittelwertvektor,

Fig. 3 die Wirkung von zwei Verbindungsschritten mit dazwischen liegendem Aufteilungsschritt.

In Fig. 1 ist stark vereinfacht eine zweidimensionale Merkmalfläche 1 mit zwei Komponenten r1 und r2 dargestellt. In praktischen Anwendungen wird allerdings von einem höherdimensionalen Merkmalsraum ausgegangen, in dem jeder Merkmalsvektor beispielsweise 32 Komponenten hat, d. h. 32 Klassen von Merkmalen.

In Fig. 1 sind in der Merkmalsfläche 1 drei Wolken 2, 3 und 4 von Merkmals­ vektoren angedeutet, wobei die Merkmalsvektoren selbst nicht dargestellt sind und die Wolken die Enden der Merkmalsvektoren beschreiben. In jeder Wolke sind einige Mittelwertvektoren angegeben, nämlich in der Wolke 2 die Mittelwert­ vektoren 10 bis 13 und in der Wolke 3 die Mittelwertvektoren 14 und 15, und in der Umgebung jedes Mittelwertvektors ist schematisch eine zweidimensionale Häufigkeitsverteilung bzw. Wahrscheinlichkeitsverteilung angedeutet. Übliche Verteilungen sind Gauss-Verteilungen oder Laplace-Verteilungen. Jeder Mittel­ wertvektor stellt den Schwerpunktvektor der benachbarten, nicht dargestellten Merkmalsvektoren dar, die bei der Verarbeitung eines Test-Sprachsignals gebildet werden. Jede Wolke repräsentiert außerdem einen akustischen Zustand, insbesondere ein Fragment eines Sprachlauts. Sie ist dadurch entstanden, daß jedesmal, wenn dieser Sprachlaut im Test-Sprachsignal auftritt, ein entsprechender Merkmalvektor auftritt, und die Merkmalvektoren zusammen ergeben die entsprechende Wolke. Zunächst, wenn die Merkmalsvektoren aus dem Test-Sprachsignal ermittelt sind, sind auch nur wenige Mittelwertvektoren zu deren Schwerpunkt vorhanden. Wenn für einen Mittelwertvektor die Anzahl der Merkmalsvektoren groß ist, wird dieser Mittelwertvektor in zwei neue Mittelwertvektoren aufgeteilt, wie dies beispielsweise bei der Wolke 13 und den Mittelwertvektoren 14 und 15 dargestellt ist. Bei der Wolke 2 haben dagegen bereits zwei Aufteilungen stattgefunden, d. h. der ursprüng­ lich einzige Mittelwertvektor ist zu zwei Mittelwertvektoren aufgespalten und diese je für sich nochmals.

Dabei kann jedoch der Fall auftreten, daß durch die Aufspaltung von Mittelwert­ vektoren in benachbarten Wolken zwei eng benachbarte Mittelwertvektoren auftreten, die zu verschiedenen akustischen Zuständen gehören. Dies ist in Fig. 2 näher angedeutet. Darin sind die Mittelwertvektoren der Einfachheit halber nur noch als Kreuze dargestellt. Die Wolke 20 entspricht einem bestimmten akustischen Zustand und enthält hier fünf Mittelwertvektoren, darunter den Mittelwertvektor 24. Entsprechend enthält auch die Wolke 21 für einen anderen, ähnlichen akustischen Zustand fünf Mittelwertvektoren, darunter den Mittelwertvektor 25. Diese beiden Mittelwertvektoren 24 und 25 sind nun sehr nahe benachbart und werden durch einen einzigen Mittelwertvektor 26 ersetzt. Dieser Mittelwertvektor 26, jedoch nur dieser, wird von den beiden akustischen Zuständen 20 und 21 geteilt. Jedem Zustand entspricht ein Referenzsignal, das alle in der betreffenden Wolke vorhandenen Mittelwertvektoren umfaßt, ferner deren Varianz, wenn nicht eine einheitliche Varianz angenommen wird, sowie ein Gewichtsfaktor, da jeder Mittelwertvektor nur mit einem Teil, d. h. mit einer gewissen Wahrscheinlichkeit zum Zustand beiträgt, die beispielsweise von der Anzahl der einem Mittelwertvektor zugeordneten einzelnen Merkmalsvektoren abhängt. Bei der Verarbeitung eines unbekannten Sprachsignals werden aus diesem Sprachsignal Testsignale abgeleitet, die ebenfalls einen Vektor im Merkmalsraum darstellen. Angenommen sei, daß in dem unbekannten Sprachsignal ein Vektor 27 auftritt. Dann wird der Unterschied zu jedem der Mittelwertvektoren eines akustischen Zustands bestimmt, jeder Unterschiedswert wird mit dem Gewicht des zugehörigen Mittelwertvektors bewertet und aus den Ergebnissen ergibt sich dann die Wahrscheinlichkeit, daß der unbekannte Merkmals­ vektor einem akustischen Zustand zugeordnet werden kann.

Es sei bemerkt, daß bei der Aufspaltung eines Mittelwertvektors in zwei neue Mittelwertvektoren nicht nur solche aus verschiedenen Zuständen benachbart sein können, sondern es können auch innerhalb eines Zustands nahe benachbarte Merkmalsvektoren aus der Aufspaltung von zwei verschiedenen Mittelwertvektoren auftreten, wie dies bei den Mittelwertvektoren 28 und 29 angedeutet ist. Diese werden dann zu einem neuen Mittelwertvektor 30 zusammengefaßt, wie in Fig. 2 angedeutet ist, ohne daß dabei Überschneidungen von akustischen Zuständen auftreten.

Die Fig. 3 zeigt schematisch die Auswirkung, wenn das Vereinigen von Merkmals­ vektoren mehrfach vorgenommen wird, und zwar in diesem Falle mit einer dazwischen liegenden Aufspaltung von Mittelwertvektoren.

In Fig. 3a) stellen die Kreise 31 bis 34 schematisch vier unterschiedliche akustische Zustände dar, und jedem von diesen ist ein einziger Mittelwertvektor 41 bis 44 zugeordnet. Durch einen Vereinigungsschritt wird nun angenommen, daß die beiden Mittelwertvektoren 41 und 42 zu einem neuen Mittelwertvektor 45 zusammengefaßt werden, und ebenso werden die Mittelwertvektoren 43 und 44 zu einem neuen Mittelwertvektor 46 zusammengefaßt, wie in Fig. 3b) angedeutet ist. Die beiden Zustände 31 und 32 teilen sich nun also den Mittelwertvektor 45, und entsprechend teilen sich die Zustände 33 und 34 den Mittelwertvektor 46.

Nun folgt ein Aufspaltungsschritt, bei dem der Mittelwertvektor 45 in zwei Mittelwertvektoren 47 und 48 aufgespalten wird, wie in Fig. 3c) angedeutet ist, und entsprechend wird der Mittelwertvektor 46 in die beiden Mittelwertvektoren 49 und 50 aufgespalten. Es sei bemerkt, daß die neuen Mittelwertvektoren 47 bis 50 praktisch immer von den ursprünglichen Mittelwertvektoren 41 bis 44 verschieden sind. Dem Zustand 31 sind nunmehr die beiden Mittelwertvektoren 47 und 48 zugeordnet, allerdings allgemein mit unterschiedlichen Gewichten, und dem Zustand 32 sind ebenfalls die Mittelwertvektoren 47 und 48 mit unterschiedlichen Gewichten zugeordnet, so daß in diesem Zustand für jeden Mittelwertvektor zwei unterschiedliche Gewichte berücksichtigt werden müssen. Entsprechendes gilt auch für die Zustände 33 und 34, die sich die beiden Mittelwertvektoren 49 und 50 mit unterschiedlichen Gewichten teilen. Insgesamt gibt es nach diesem Verarbeitungs­ schritt acht unterschiedliche Gewichte.

Nun möge wieder ein Vereinigungsschritt erfolgen, bei dem allerdings nur die beiden Mittelwertvektoren 48 und 49 zu einem neuen Mittelwertvektor 51 vereinigt werden, während die Mittelwertvektoren 47 und 50 unverändert bleiben mögen, wie in Fig. 3d) angedeutet ist. Nunmehr sind für die Darstellung der vier Zustände 31 bis 34 nur noch drei Mittelwertvektoren 47, 50 und 51 vorhanden, wobei an jedem Zustand zwei Mittelwertvektoren mit allgemein unterschiedlichen Gewichten beteiligt sind. Diese drei Mittelwertvektoren benötigen weniger Speicherplatz und können oft die akustischen Zustände 31 bis 34 genauer beschreiben, als dies durch die vier Mittelwertvektoren 41 bis 44 in Fig. 3a) der Fall war. Dabei kann zwischen den anhand der Fig. 3b) bis 3d) beschriebenen Vereinigungs- und Aufspaltungs­ schritten außerdem die Verarbeitung weiterer Teile des Test-Sprachsignals liegen, diese Schritte können jedoch auch unmittelbar aufeinanderfolgend ausgeführt werden.

Claims (3)

1. Verfahren zum Bestimmen von Referenzwerten, die für die Ermittlung von Wortfolgen aus einem Sprachsignal verwendet werden, indem aus dem Sprachsignal in regelmäßigen Zeitabschnitten Testsignale abgeleitet werden, die mit den Referenzsignalen verglichen werden, um Bewertungswerte abzuleiten, die akkumu­ liert werden für die Ermittlung wenigstens einer Wortfolge auf der Basis des günstigsten akkumulierten Bewertungswerts, wobei die Referenzsignale akustischen Zuständen zugeordnet sind und während einer Testphase aus einem Test-Sprach­ signal erzeugt werden, indem aus dem Test-Sprachsignal in regelmäßigen Zeit­ abschnitten mehrdimensionale Merkmalsvektoren abgeleitet und gespeichert werden und für benachbarte Merkmalsvektoren aus dem Schwerpunkt dieser Merkmals­ vektoren ein Mittelwertvektor für ein Referenzsignal bestimmt wird und bei Erfüllung erster Bedingungen zwei neue, benachbarte Mittelwertvektoren anstelle des einen erzeugt werden und bei Erfüllung einer zweiten Bedingung zwei beliebige benachbarte Mittelwertvektoren, deren Nachbarschaft vorgegbenen Bedingungen genügt, verbunden werden, indem sie durch einen einzigen neuen Mittelwertvektor ersetzt werden, und ein derartiges Verbinden von zwei benachbarten Mittelwert­ vektoren für eine Vielzahl von Mittelwertvektoren unmittelbar aufeinanderfolgend durchgeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Verbindung von zwei benachbarten Mittelwertvektoren mehrfach, ins­ besondere nach der Erzeugung von jeweils zwei Mittelwertvektoren anstelle eines einzelnen, durchgeführt wird.

3. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest einem Teil der akustischen Zustände mehr als ein Mittelwertvektor zugeordnet ist und zumindest einige Mittelwertvektoren zwei oder mehr akustischen Zuständen zugeordnet sind und nach dem Verbinden von zwei benachbarten Mittelwertvektoren zu einem neuen Mittelwertvektor dessen Zuordnung zu den akustischen Zuständen neu ermittelt wird.