DE69917415T2

DE69917415T2 - Sprachsynthese mit Prosodie-Mustern

Info

Publication number: DE69917415T2
Application number: DE69917415T
Authority: DE
Inventors: Frode Santa Barbara Holm; Kazue Santa Barbara Hata
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-11-25
Filing date: 1999-11-22
Publication date: 2005-06-02
Anticipated expiration: 2019-11-23
Also published as: EP1005018B1; JP2000172288A; US6260016B1; EP1005018A3; DE69917415D1; ES2218959T3; EP1005018A2

Description

Hintergrund und Zusammenfassung der Erfindung
Die vorliegende Erfindung bezieht sich im Allgemeinen auf Systeme für Text-zu-Sprache (TTS) und Sprachsynthese. Insbesondere bezieht sich die Erfindung auf ein System zur Bereitstellung natürlich klingenderer Prosodie durch die Verwendung von Prosodie-Mustern.
Die Aufgabe, natürliche, menschlich klingende Prosodie für Text-zu-Sprache und Sprachsynthese zu generieren, ist historisch eines der schwierigsten Probleme gewesen, mit dem Forscher und Entwickler konfrontiert wurden. Systeme für Text-zu-Sprache sind im Allgemeinen wegen ihrer "roboterhaften" Intonationen berüchtigt geworden. Um dieses Problem anzusprechen, haben einige frühere Systeme neuronale Netze und Vektor-Clustering-Algorithmen beim Versuch verwendet, natürlich klingende Prosodie zu simulieren. Abgesehen von ihrem nur geringen Erfolg geben diese „Black-Box"-Rechentechniken dem Entwickler kein Feedback darüber, was die kritischen Parameter für natürlich klingende Prosodie sind.
Die vorliegende Erfindung, wie in Anspruch 1 beansprucht, verwendet einen anderen Ansatz, wobei Beispiele echter menschlicher Sprache benutzt werden, um Prosodie-Muster zu entwickeln. Die Muster definieren eine Beziehung zwischen Silbenbetonungsmustern und bestimmten prosodischen Variablen, wie beispielsweise Intonation (F0) und Zeitdauer. Deshalb verwendet die Erfindung im Gegensatz zu früheren algorithmischen Ansätzen natürlich vorkommende lexikalische und akustische Attribute (z. B., Betonungsmuster, Silbenzahl, Intonation, Zeitdauer), die vom Forscher bzw. Entwickler direkt beobachtet und verstanden werden können.
Die EP 083330482 offenbart die Verwendung einer Prosodie-Datenbank, die Grundfrequenzmuster für die Verwendung in der Sprachsynthese enthält. Eine Prosodie-Datenbank wird zum Speichern einer Folge gewichteter Grundfrequenzen für die Silben eines Satzes benutzt.
Die gegenwärtig bevorzugte Implementierung speichert die Prosodie-Muster in einer Datenbank, auf die durch Spezifizieren der Silbenzahl und des mit einem jeweiligen Wort assoziierten Betonungsmusters zugegriffen werden kann. Ein Wörterbuch ist bereitgestellt, um dem System die erforderliche Information hinsichtlich Silbenzahl und Betonungsmustern zu liefern. Der Textprozessor generiert unter Verwendung des Wörterbuchs phonemische Repräsentationen von Eingabewörtern, um das Betonungsmuster der eingegebenen Wörter zu identifizieren. Ein Prosodie-Modul greift dann auf die Musterdatenbank zu und verwendet die Information über Silbenzahl und Betonungsmuster für den Zugriff auf die Datenbank. Von der Datenbank wird dann ein Prosodie-Modul abgerufen und dazu benutzt, um Prosodie-Information an das Tonerzeugungsmodul zu liefern, das synthetisierte Sprache auf Basis der phonemischen Repräsentation und der Prosodie-Information generiert.
Die gegenwärtig bevorzugte Implementierung konzentriert sich auf Sprache auf Wortebene. Wörter werden in Silben unterteilt und repräsentieren so die Grundeinheit von Prosodie. Das bevorzugte System setzt voraus, dass das durch die Silben definierte Betonungsmuster die wahrnehmbar wichtigsten Merkmale von sowohl Intonation (F0) als auch Zeitdauer bestimmt. Auf dieser Zuordnungseinheitsstufe ist der Satz von Mustern ziemlich kleiner Größenordnung und in Systemen für Text-zu-Sprache und Sprachsynthese leicht zu implementieren. Obwohl eine prosodische Analyse auf Wortebene unter Verwendung von Silben gegenwärtig bevorzugt wird, lassen sich die Prosodie-Mustertechniken der Erfindung in Systemen benutzen, die andere Zuordnungseinheitsstufen aufweisen. Beispielsweise lässt sich der Satz von Mustern erweitern, um mehr Merkmalbestimmer, sowohl auf Silben- als auch Wortebene, zu ermöglichen. In dieser Hinsicht können durch Konsonantentyp, Stimme, Eigentonhöhe von Vokalen und Segmentstruktur in einer Silbe verursachte mikroskopische F0 Störungen als Attribute verwendet werden, mit denen sich gewisse prosodische Muster kategorisieren lassen. Außerdem lassen sich die Techniken über die F0 Konturen und Zeitmuster der Wortebene hinaus auf Analysen auf Phrasen- und Satzebene erweitern.
Um die Erfindung, ihre Zielsetzung und Vorteile vollkommener zu verstehen, beziehen Sie sich bitte auf die folgende Spezifikation und die zugehörigen Zeichnungen.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm eines Sprachgenerators unter Verwendung von Prosodie-Mustern in Übereinstimmung mit der Erfindung;
2A und B ist ein Blockdiagramm, das darstellt, wie Prosodie-Muster entwickelt werden könnten;
3 ist eine graphische Verteilungsdarstellung für ein beispielhaftes Betonungsmuster;
4 ist ein Graph der durchschnittlichen F0 Kontur für das Betonungsmuster von 3;
5 ist eine Serie von Graphen, die die durchschnittliche Kontur für beispielhafte zweisilbige und dreisilbige Daten darstellen.
6 ist ein Flussdiagramm, das den vom bevorzugten Ausführungsbeispiel verwendeten Entnormalisierungsvorgang darstellt.
7 ist ein Datenbankdiagramm, das die Beziehungen unter Datenbankentitäten im bevorzugten Ausführungsbeispiel zeigt.
Beschreibung des bevorzugten Ausführungsbeispiels
Wenn Text von einem menschlichen Sprecher gelesen wird, hebt und senkt sich die Tonhöhe, Silben werden mit größerer oder geringerer Intensität artikuliert, Vokale werden gedehnt oder verkürzt und Pausen werden eingeschoben, was der gesprochenen Passage einen bestimmten Rhythmus verleiht. Diese Merkmale umfassen einige der Attribute, die Sprachforscher mit Prosodie bezeichnen. Menschliche Sprecher fügen, wenn sie eine Textpassage laut lesen, automatisch prosodische Information bei. Die prosodische Information vermittelt die Interpretation des Materials durch den Leser. Diese Interpretierung ist ein Artefakt menschlicher Erfahrung, da der gedruckte Text wenig direkte prosodische Information enthält.
Wenn ein computerimplementiertes Sprachsynthesesystem eine Textpassage liest oder rezitiert, fehlt diese menschlich klingende Prosodie in konventionellen Systemen. Der Text selbst enthält praktisch keine prosodische Information und der konventionelle Sprachgenerator hat daher wenig, woraus er die fehlende Prosodie-Information generieren kann. Wie bereits festgestellt, haben sich frühere Versuche, Prosodie-Information hinzuzufügen, auf regelbasierte Techniken und neuronale Netz- oder algorithmische Techniken, wie beispielsweise Vektor-Clusterbildungstechniken, konzentriert. Regelbasierte Techniken klingen einfach nicht natürlich und neuronale Netz- und algorithmische Techniken können nicht adaptiert werden und lassen sich nicht verwenden, um Schlussfolgerungen zu ziehen, die für die weitere Modifikation oder für die Anwendung außerhalb des Trainings-Set gebraucht werden, mit dem sie generiert wurden.
Die vorliegende Erfindung spricht das Prosodie-Problem durch Verwendung von Prosodie-Mustern an, die mit den in gesprochenen Wörtern vorgefundenen Silben-Betonungsmustern verbunden sind. Insbesondere speichern die prosodischen Muster F0 Intonations- und Zeitdauerinformation. Diese gespeicherte Prosodie-Information wird in einer Datenbank erfasst und Silben-Betonungsmustern gemäß angeordnet. Das gegenwärtig bevorzugte Ausführungsbeispiel definiert drei verschiedene Betonungsstufen. Diese sind mit den Nummern 0, 1 und 2 bezeichnet. Die Betonungsstufen beinhalten Folgendes:
0 keine Betonung
1 primäre Betonung
2 sekundäre Betonung
Laut dem bevorzugten Ausführungsbeispiel haben einsilbige Wörter ein einfaches Betonungsmuster, das der primären Betonungsstufe '1' entspricht. Mehrsilbige Wörter können verschiedene Kombinationen von Betonungsstufenmustern haben. Beispielsweise könnten zweisilbige Wörter Betonungsmuster '10', '01' und '12' haben.
Das gegenwärtig bevorzugte Ausführungsbeispiel setzt ein Prosodie-Muster für jede verschiedene Betonungsmusterkombination ein. Deshalb hat das Betonungsmuster '1' ein erstes Prosodie-Muster, das Betonungsmuster '10' ein anderes Prosodie-Muster usw. Jedes Prosodie-Muster enthält Prosodie-Information wie Intonations- und Zeitdauerinformation und optional auch andere Informationen.
1 illustriert einen Sprachgenerator, der die Prosodie-Mustertechnologie der vorliegenden Erfindung verwendet. Bezugnehmend auf die 1 wird ein Eingabetext 10 als eine Reihenfolge oder Kette von Buchstaben, die Wörter definieren, an das Textprozessormodul 12 geliefert. Der Textprozessor 12 hat ein zugehöriges Wörterbuch 14, das Informationen über eine Vielheit gespeicherter Wörter enthält. Im bevorzugten Ausführungsbeispiel hat das Wörterbuch eine bei 16 illustrierte Datenstruktur, gemäß der Wörter zusammen mit bestimmten phonemischen Repräsentations- und Betonungsmusterinformationen gespeichert werden. Insbesondere wird jedes Wort im Wörterbuch von seiner phonemischen Repräsentation, Information, die die Wortsilbengrenzen identifiziert, und Information, die festlegt, wie jeder Silbe Betonung zuzuordnen ist, begleitet. Deshalb enthält das Wörterbuch 14 in suchbarer elektronischen Form die Grundinformation, die zum Generieren einer Aussprache des Wortes erforderlich ist.
Der Textprozessor 12 ist weiter an das Prosodie-Modul 18 gekoppelt, das mit der Prosodie-Musterdatenbank 20 assoziiert ist. Im gegenwärtig bevorzugten Ausführungsbeispiel speichern die Prosodie-Muster Intonationsdaten (F0) und Zeitdauerdaten für jedes einer Vielheit von verschiedenen Betonungsmustern. Das Einzelwort-Betonungsmuster '1' umfasst ein erstes Muster, das zweisilbige Muster '10' ein zweites Muster, das Muster '01' umfasst noch ein weiteres Muster usw. Die Muster werden in der Datenbank, wie graphisch durch die Datenstruktur 22 in 1 gezeigt, nach Betonungsmuster gespeichert. Das mit einem gegebenen Wort assoziierte Betonungsmuster dient als Datenbank-Zugriffsschlüssel, mit dem das Prosodie-Modul 18 die assoziierte Intonations- und Zeitdauerinformation abruft. Das Prosodie-Modul 18 ermittelt das mit dem jeweiligen Wort assoziierte Betonungsmuster durch Information, die ihm über den Textprozessor 12 geliefert wird. Der Textprozessor 12 erhält diese Information durch Verwendung des Wörterbuchs 14.
Obwohl die gegenwärtig bevorzugten Prosodie-Muster Intonations- und Zeitdauerinformation speichern, lässt sich die Musterstruktur leicht erweitern, um andere Prosodie-Attribute einzuschließen.
Der Textprozessor 12 und das Prosodie-Modul 18 liefern beide Information an das Tonerzeugungsmodul 24. Im Besonderen liefert der Textprozessor 12 phonemische Information, die er aus dem Wörterbuch 14 erhält, und das Prosodie-Modul 18 liefert die Prosodie-Information (z. B. Intonation und Zeitdauer). Das Tonerzeugungsmodul generiert dann synthetisierte Sprache auf Basis der phonemischen und der Prosodie-Information.
Das gegenwärtig bevorzugte Ausführungsbeispiel codiert Prosodie-Information in einer standardisierten Form, in der die Prosodie-Information normalisiert und parametrisiert wird, um Speicherung und Abrufen aus der Datenbank 20 zu vereinfachen. Das Tonerzeugungsmodul 24 entnormalisiert und konvertiert die standardisierten Muster in eine Form, die sich auf die vom Textprozessor 12 gelieferte phonemische Information anwenden lässt. Die Details dieses Prozesses werden nachstehend ausführlicher beschrieben. Zunächst aber wird eine detaillierte Beschreibung der Prosodie-Muster und ihrer Konstruktion beschrieben.
Bezugnehmend auf 2A und 2B wird der Vorgang für die Generierung geeigneter Prosodie-Muster umrissen. Die Prosodie-Muster werden mit Hilfe menschlicher Trainingssprache konstruiert, die vorher aufgezeichnet und als eine Sammlung von Trainingssprachsätzen 30 geliefert werden kann. Unsere gegenwärtig bevorzugte Implementierung wurde mit ca. 3.000 Sätzen mit echten Hauptwörtern in der Satzanfangsposition konstruiert. Die Trainingssprachsammlung 30 wurde mit einer einzigen Sprecherin in amerikanischem Englisch zusammengetragen. Natürlich können auch andere Quellen für die Trainingssprache verwendet werden.
Die Trainingssprachdaten werden anfänglich durch eine Reihe von Schritten vorverarbeitet. Zuerst wird ein Etikettierwerkzeug 32 verwendet, um die Sätze in Worte zu segmentieren und die Worte in Silben und Silben in Phoneme zu segmentieren, die dann bei 34 gespeichert werden. Dann werden den Silben Betonungen, wie bei Schritt 36 gezeigt, zugeordnet. Bei der gegenwärtig bevorzugten Implementierung wurde eine dreistufige Betonungszuordnung verwendet, bei der '0' keine Betonung repräsentierte, '1' die primäre Betonung repräsentierte und '2' die sekundäre Betonung, wie bei 38 graphisch illustriert, repräsentierte. Die Unterteilung von Worten in Silben und Phoneme und das Zuordnen der Betonungsstufen lässt sich manuell oder mit Hilfe einer automatischen oder halbautomatischen Synchronisiervorrichtung, die F0 Editieren durchführt, vornehmen. In dieser Hinsicht ist die Vorverarbeitung von Trainingssprachdaten relativ zeitaufwändig, muss aber nur einmal während der Entwicklung der Prosodie-Muster durchgeführt werden. Exakt gekennzeichnete und betonungszugeordnete Daten sind erforderlich, um Genauigkeit sicherzustellen und den Rauschpegel bei der anschließenden statistischen Analyse zu reduzieren.
Nachdem die Wörter gekennzeichnet (etikettiert) und Betonungen zugeordnet worden sind, können sie nach Betonungsmustern gruppiert werden. Wie bei 40 illustriert, umfassen einsilbige Wörter eine erste Gruppe. Zweisilbige Wörter umfassen vier zusätzliche Gruppen, die Gruppe '10', die Gruppe '01', die Gruppe '12' und die Gruppe '21'. Auf ähnliche Weise lassen sich dreisilbige, viersilbige ... n-silbige Wörter entsprechend der Betonungsmuster gruppieren.
Als Nächstes werden für jede Betonungsmustergruppe die Grundtonhöhe oder Intonationsdaten F0 in Bezug auf Zeit normalisiert (dadurch wird die der jeweiligen Aufzeichnung spezifische Zeitdimension entfernt), wie bei Schritt 42 angezeigt. Dies lässt sich auf verschiedene Art erzielen. Die bei 44 beschriebene gegenwärtig bevorzugte Technik nimmt ein Resampling der Daten auf eine feste Zahl von F0 Punkten vor. Zum Beispiel können die Daten darauf abgetastet werden, 30 Proben pro Silbe zu umfassen.
Als Nächstes wird eine Reihe zusätzlicher Verarbeitungsschritte durchgeführt, um Basislinien-Tonhöhenkonstanten-Offsets, wie allgemein bei 46 angezeigt, zu eliminieren. Der gegenwärtig bevorzugte Ansatz beinhaltet das Transformieren der F0 Punkte für den ganzen Satz in die Log-Domäne wie bei 48 angezeigt. Sobald die Punkte in die Log-Domäne transformiert worden sind, können sie, wie bei 50 illustriert, der Musterdatenbank hinzugefügt werden. Bei der gegenwärtig bevorzugten Implementierung werden alle Log-Domänedaten für eine jeweilige Gruppe gemittelt und dieser Mittelwert wird benutzt, um das Prosodie-Muster mit Daten zu füllen. Daher tragen alle Wörter in einer gegebenen Gruppe (z. B. alle zweisilbigen Wörter des Musters '10') zum einzelnen Mittelwert bei, der benutzt wird, um das Muster für diese Gruppe mit Daten zu füllen. Obwohl arithmetisches Mitteln der Daten gute Resultate bringt, kann, wenn erwünscht, auch eine andere statistische Verarbeitung angewandt werden.
Zur Beurteilung der Robustheit des Prosodie-Musters kann eine zusätzliche Verarbeitung, wie in 2B beginnend bei Schritt 52 illustriert, durchgeführt werden. Die Log-Domänedaten werden verwendet, um eine lineare Regressionslinie für den ganzen Satz zu berechnen. Die Regressionslinie schneidet sich mit der Wortendgrenze, wie bei Schritt 54 angezeigt, und dieser Schnittpunkt wird als ein Elevationspunkt für das Zielwort verwendet. Bei Schritt 56 wird der Elevationspunkt auf einen gemeinsamen Bezugspunkt verschoben. Das bevorzugte Ausführungsbeispiel verschiebt die Daten entweder nach oben oder unten auf einen gemeinsamen Bezugspunkt von nominell 100 Hz.
Wie vorher festgestellt, bieten frühere neuronale Netztechniken dem Systemdesigner keine Möglichkeit, Parameter auf eine bedeutungsvolle Weise zu justieren oder zu entdecken, welche Faktoren zur Ausgabe beitragen. Die vorliegende Erfindung erlaubt dem Designer, relevante Parameter durch statistische Analyse zu erforschen. Dies ist beginnend bei Schritt 58 illustriert. Wenn erwünscht, werden die Daten bei 58 statistisch analysiert, indem jede Probe mit dem arithmetischen Mittel verglichen wird, um ein Abstandsmaß, wie beispielsweise den Flächenunterschied wie bei 60, zu berechnen. Wir verwenden ein Maß wie beispielsweise den Flächenunterschied zwischen zwei Vektoren, wie in der nachstehenden Gleichung dargelegt. Wir haben festgestellt, dass dieses Maß ziemlich gut ist, um nützliche Information darüber zu produzieren, wie ähnlich oder verschieden die Proben voneinander sind. Andere Abstandsmaße, einschließlich gewichteter Maße, die psycho-akustische Eigenschaften des sensor-neuronalen Systems berücksichtigen, können verwendet werden.
d = Maß des Unterschieds zwischen zwei Vektoren
i = Index des zu vergleichenden Vektors
Y_i = F0 Konturvektor
Y = arithmetischer Mittelvektor für Gruppe
N = Proben in einem Vektor
y = Probenwert
v_i = Stimmfunktion. 1 bei eingeschalteter Stimme, ansonsten 0.
c = Skalierfaktor (optional)
Für jedes Muster wird dieses Abstandsmaß dann wie bei 62 tabelliert, und ein Histogramm lässt sich wie bei 64 konstruieren. Ein Beispiel für ein solches Histogramm erscheint in 3, welche die Verteilungsgrafik für Betonungsmuster '1' zeigt. In der Grafik befindet sich die x-Achse auf einer willkürlichen Skala und die y-Achse ist die Zählfrequenz für einen gegebenen Abstand. Ungleichförmigkeiten werden um ca. 1/3 auf der x-Achse signifikant.
Durch Konstruieren von Histogrammen wie oben beschrieben ist ein Zugriff auf die Prosodie-Muster möglich, um zu bestimmen, wie nahe die Proben aneinander liegen, und daher wie gut das resultierende Muster einer natürlich klingen Intonation entspricht. Anders ausgedrückt informiert das Histogramm, ob die Gruppierungsfunktion (Betonungsmuster) den beobachteten Formen angemessen Rechnung trägt. Eine breite Streuung zeigt, dass dies nicht der Fall ist, während eine große Konzentration nahe dem Mittel anzeigt, dass wir ein allein durch Betonung bestimmtes Muster und daher einen guten Kandidaten für das Prosodie-Muster gefunden haben. 4 zeigt eine entsprechende Grafik der mittleren F0 Kontur für das Muster '1'. Der Datengraph in 4 entspricht der Verteilungsgrafik in 3. Beachten Sie, dass die Grafik in
4 normalisierte Log-Koordinaten repräsentiert. Der untere, mittlere und obere Teil entsprechen 50 Hz, 100 Hz bzw. 200 Hz. 4 zeigt, dass die durchschnittliche F0 Kontur für das einsilbige Muster eine langsam ansteigende Kontur ist.
5 zeigt die Resultate unserer F0 Studie in Bezug auf die Familie der zweisilbigen Muster. In 5 ist das Muster '10' bei A, das Muster '01' bei B und das Muster '12' bei C gezeigt. Außerdem ist in 5 das durchschnittliche Konturmuster für die dreisilbige Gruppe '010' inbegriffen.
Beim Vergleich der zweisilbigen Muster in 5 ist zu beachten, dass sowohl die Spitzenposition als auch die Gesamtform der F0 Kontur verschieden ist. Das Muster '10' zeigt einen Anstieg-Abfall mit einem Spitzenwert bei ca. 80% in die erste Silbe, wogegen das Muster '01' ein Muster mit flachem Anstieg-Abfall mit einem Spitzenwert von ca. 60% in die zweite Silbe zeigt. In diesen Abbildungen bezeichnet die vertikale Linie die Silbengrenze.
Das Muster '12' ist dem Muster '10' sehr ähnlich, doch sobald F0 den Zielpunkt des Anstiegs erreicht, hat das Muster '12' in dieser höheren F0 Region eine längere Dehnung. Dies deutet darauf hin, dass eine sekundäre Betonung vorliegen kann.
Das Muster '010' des illustrierten dreisilbigen Wortes zeigt eine klare Glockenkurve in der Verteilung und einige Abnormitäten. Die durchschnittliche Kontur ist eine geringfügig flache Form, gefolgt von einer Anstieg-Abfall-Kontur, wobei der F0 Spitzenwert bei ca. 85% in die zweite Silbe liegt. Beachten Sie, dass einige der Abnormitäten in dieser Verteilung falsch ausgesprochenen Wörtern in den Trainingsdaten entsprechen können.
Die Histogramme und durchschnittlichen Konturkurven können für alle verschiedenen Muster berechnet werden, die in den Trainingsdaten reflektiert sind. Unsere Studien haben gezeigt, dass die auf diese Weise produzierten F0 Konturen und Zeitdauermuster denen eines menschlichen Sprechers nahe liegen oder mit ihnen identisch sind. Bei alleiniger Verwendung des Betonungsmusters als Unterscheidungsmerkmal haben wir festgestellt, dass fast alle Grafiken der F0 Kurvenähnlichkeitsverteilung eine deutliche Glockenkurvenform zeigen. Dies bestätigt, dass das Betonungsmuster ein sehr effektives Kriterium für das Zuordnen von Prosodie-Information ist.
Im Hinblick auf die Konstruktion der Prosodie-Muster wird jetzt das Tonerzeugungsmodul 24 (1) ausführlicher erläutert. Durch das Prosodie-Modul 18 entnommene Prosodie-Information wird in einem normalisierten, tonhöhenverschobenen und Log-Domäneformat gespeichert. Deshalb muss das Tonerzeugungsmodul, um die Prosodie-Muster verwenden zu können, zuerst die Information entnormalisieren, wie in 6 beginnend bei Schritt 70 illustriert. Der Entnormalisierungsprozess verschiebt das Muster (Schritt 72) zuerst auf eine Höhe, die der Tonhöhenkontur des Rahmensatzes (frame-sentence) entspricht. Diese Konstante wird als Teil der abgerufenen Daten für den Rahmensatz (frame-sentence) gegeben und durch die Regressionslinienkoeffizienten für die Tonhöhenkontur für diesen Satz berechnet. (Siehe 2 Schritt 52–56).
Währenddessen wird auf das Zeitdauermuster zugegriffen und die Zeitdauerinformation wird entnormalisiert, um die Zeit (in Millisekunden) zu ermitteln, die mit jeder Silbe assoziiert ist. Die Log-Domänewerte des Musters werden dann bei Schritt 74 in lineare Hz-Werte transformiert. Danach wird, bei Schritt 76, jedes Silbensegment des Musters mit einer festen Zeitdauer für jeden Punkt (10 ms im gegenwärtigen Ausführungsbeispiel) einem Resampling unterzogen, so dass die Gesamtzeitdauer jeweils dem spezifizierten entnormalisierten Zeitwert entspricht. Dieses platziert die Intonationskontur wieder auf eine physikalische Zeitlinie. An dieser Stelle stehen die transformierten Musterdaten zur Verwendung durch das Tonerzeugungsmodul bereit. Natürlich lassen sich die Entnormalisierungsschritte von jedem der Module durchführen, das Prosodie-Information handhabt. Daher können die in 6 illustrierten Entnormalisierungsschritte entweder vom Tonerzeugungsmodul 24 oder vom Prosodie-Modul 18 durchgeführt werden.
Das gegenwärtig bevorzugte Ausführungsbeispiel speichert Zeitdauerinformation als Verhältnisse von Phonemwerten und global bestimmten Zeitdauerwerten. Die global bestimmten Werte entsprechen den mittleren Zeitdauerwerten, die über den ganzen Trainingskorpus beobachtet wurden. Die Pro-Silbe-Werte repräsentieren die Summe beobachteter Zeitdauerwerte für Phoneme oder Phonemgruppen innerhalb einer jeweiligen Silbe. Pro-Silbe/globale Verhältnisse werden berechnet und gemittelt, um jedes Element des Prosodie-Musters mit Daten zu füllen. Diese Verhältnisse werden im Prosodie-Muster gespeichert und zum Berechnen der tatsächlichen Zeitdauer jeder Silbe verwendet.
Das Erhalten detaillierter temporaler Prosodie-Muster ist etwas komplexer als dies für F0 Konturen der Fall ist. Dies beruht größtenteils auf der Tatsache, dass man einen hohen Grad prosodischer Absicht nicht von reinen Artikulationsbeschränkungen durch Untersuchung individueller Segmentdaten trennen kann.
Design der Prosodie-Datenbank
Die Struktur und Anordnung der gegenwärtig bevorzugten Prosodie-Datenbank wird weiter durch das Beziehungsdiagramm in 7 und durch die folgenden Datenbank-Konstruktionsspezifikation beschrieben. Die Spezifikation wird bereitgestellt, um ein bevorzugtes Ausführungsbeispiel der Erfindung zu illustrieren. Andere Datenbank-Konstruktionsspezifikationen sind ebenfalls möglich.
NORMDATA

ND1D-Primary Key
Target-Key (WordID)
Sentence-Key (SentID)
SentencePos-Text
Follow-Key (WordID)
Session-Key (SessID)
Recording-Text
Attributes-Text

WORD

WordID-Primary Key
Spelling-Text
Phonemes-Text
Syllables-Number
Stress-Text
Subwords-Number
Origin-Text
Feature1-Number (Submorphs)
Feature2-Number

FRAMESENTENCE

SentID-Primary Key
Sentence-Text
Type-Number
Syllables-Number

SESSION

SessID-Primary Key
Speaker-Text
Date Recorded-Date/Time
Tape-Text

F0DATA

NDID-Key
Index-Number
Value-Currency

DURDATA

NDID-Key
Index-Number
Value-Currency
Abs-Currency

PHONDATA

NDID-Key
Phones-Text
Dur-Currency
Stress-Text
SylPos-Number
PhonPos-Number
Rate-Number
Parse-Text

RECORDING
ID

Our
A (y = A + Bx)
B (y = A + Bx)
Descript

GROUP

GroupID-Primary Key
Syllables-Number
Stress-Text
Feature1-Number
Feature2-Number
SentencePos-Text
<Future exp.>

TEMPLATEF0

GroupID-Key
Index-Number
Value-Number

TEMPLATEDUR

GroupID-Key
Index-Number
Value-Number

DISTRIBUTIONF0

GroupID-Key
Index-Number
Value-Number

DISTRIBUTIONDUR

GroupID-Key
Index-Number
Value-Number

GROUPMEMBERS

GroupID-Key
NDID-Key
DistanceF0-Currency
DistanceDur-Currency

PHONSTAT

Phones-Text
Mean-Curr.
SSD-Curr.
Min-Curr.
Max-Curr.
CoVar-Currency
N-Number
Class-Text

FELDBESCHREIBUNGEN
NORMDATA

NDID Primärer Schlüssel
Target Zielwort. Schlüssel zur WORD Tabelle.
Sentence Quellen-Rahmensatz. Schlüssel zur FRAMESENTENCE Tabelle.
SentencePos Satzposition. ANFANG, MITTE, ENDE
Follow Wort, das dem Zielwort folgt. Schlüssel zur WORD Tabelle oder 0, wenn kein Wort folgt.
Session Zu welcher Sitzung die Aufnahme gehörte. Schlüssel zur SESSION Tabelle.
Recording Feldname für Aufnahme in Unix-Verzeichnissen (Urdaten).
Attributes Verschiedene Info. F = F0 Daten, die als anomal erachtet werden. D = Zeitdauerdaten, die als anomal erachtet werden. A = Alternative F0 B = Alternative Zeitdauer

PHONDATA

NDID Schlüssel zu NORMDATA
Phones Kette von 1 oder 2 Phons
Dur Gesamtzeitdauer für Phons
Stress Betonung der Silbe, zu der Phons gehören
SylPos Position der Silbe, die Phons enthält (ab 0 zählend)
PhonPos Position der Phoneme in der Silbe (ab 0 zählend)
Rate Sprechgeschwindigkeitsmaß der Äußerung
Parse L = Phon durch linkes Parsen realisiert R = Phon durch rechtes Parsen realisiert

PHONSTAT

Phones Kette von 1 oder 2 Phonemen
Mean Statistische mittlere Dauer für Phons
SSD Standardabweichung des Musters
Min Beobachteter Mindestwert
Max Beobachteter Höchstwert
CoVar Variationskoeffizient (Standardabweichung des Musters/Mittel)
N Zahl von Mustern für diese Phongruppe
Class Klassifikation A = Alle Muster inbegriffen

Anhand des Vorgenannten wird man erkennen, dass die vorliegende Erfindung eine Vorrichtung und Methode zum Generieren synthetisierter Sprache bereitstellt, wobei die normalerweise fehlende Prosodie-Information aus Mustern geliefert wird, die auf aus menschlicher Sprache entnommenen Daten beruhen. Wie wir vorgeführt haben, lässt sich diese Prosodie-Information aus einer Datenbank von Mustern auswählen und auf die phonemische Information durch einen Suchvorgang anwenden, der auf Betonungsmustern basiert, die mit dem Text von Eingabewörtern assoziiert sind.
Die Erfindung ist für eine breite Palette verschiedener Text-zu-Sprache- und Sprachsyntheseanwendungen, einschließlich großer Domäneanwendungen, wie Textbücher-Leseanwendungen, und begrenzteren Domäneanwendungen, wie Autonavigations- oder Phrasenbuch-Übersetzungsanwendungen, geeignet. Im Falle begrenzter Domänen kann ein kleines Set von „fixed-frame" Sätzen im Voraus designiert werden, und ein Zielwort im jeweiligen Satz kann durch ein willkürliches Wort (wie beispielsweise einen Eigennamen oder Straßennamen) ersetzt werden. In diesem Fall lässt sich Tonhöhe und Timing für die Rahmensätze (frame sentences) von wirklicher Sprache messen und speichern und daher eine sehr natürliche Prosodie für den größten Teil des Satzes sicherstellen. Das Zielwort ist dann die einzige Sache, die Tonhöhen- und Timingkontrolle mittels der Prosodie-Muster der Erfindung erfordert.

Claims

Ein Verfahren zum Trainieren eines Prosodie-Musters, unter Verwendung menschlicher Sprache, umfassend: Segmentieren von Wörtern eines Satzes (32) von der menschlichen Sprache in Phoneme, die mit Silben besagter Wörter assoziiert werden; Zuordnen von Betonungsgraden (36) an besagte Silben; Gruppieren besagter Wörter (40) gemäß besagten Betonungsgraden, um dadurch wenigstens eine Betonungsmustergruppe zu formen; Normalisieren von Intonationsdaten (42) für jedes Wort in einer gegebenen Betonungsmustergruppe in Bezug auf Zeit, um dadurch normalisierte Intonationsdaten zu formen; Einregeln des Pitch-Shifts (46) besagter normalisierten Intonationsdaten, um dadurch eingeregelte Intonationsdaten zu formen; und Berechnen eines Durchschnittswerts anhand der eingeregelten Intonationsdaten und Speichern des Durchschnittwerts in einer Prosodiedatenbank (50) als Muster.
Das Verfahren des Anspruchs 1, worin besagte normalisierten Intonationsdaten auf Resampling besagter Intonationsdaten für eine Vielheit von Intonationspunkten beruhen.
Das Verfahren des Anspruchs 1, worin der Schritt der Einregelung des Pitch-Shifts weiter das Umwandeln der normalisierten Intonationsdaten in eine Log-Domäne umfasst.
Das Verfahren des Anspruchs 1, worin die Intonationsdaten weiter als Grundtondaten (F0) definiert sind.
Verfahren des Anspruchs 3, das weiter folgenden Schritt umfasst: Formen (54) eines Elevationspunkts für besagtes Wort, wobei besagter Elevationspunkt auf linearer Regression der besagten umgewandelten Daten und einer Wortendgrenze beruht.
Das Verfahren des Anspruchs 5, worin besagter Elevationspunkt (56) als gemeinsamer Bezugspunkt eingeregelt wird.
Das Verfahren des Anspruchs 6, das das Produzieren einer Konstanten umfasst, die eine Entnormalisierung auf der Basis eines Regressionslinienkoeffizienten einer Rahmensatz-Pitchkontur repräsentiert.
Verfahren des Anspruchs 6, das weiter folgenden Schritt umfasst: Beurteilen eines Zeitdauermusters, das betrieblich die Entnormalisierung einer Zeitdauerinformation zulässt, und dadurch mit jeder der besagten Silben einen Zeitwert assoziiert.
Verfahren des Anspruchs 8, das weiter folgenden Schritt umfasst: Umwandeln (74) der Log-Domänenwerte besagten Zeitdauermusters in lineare Werte.
Verfahren des Anspruchs 8, das weiter folgenden Schritt umfasst: Resampling (76) jedes Silbensegments des Musters für eine festgelegte Zeitdauer dermaßen, dass die Gesamtzeitdauer jedes besagten Silbensegments entnormalisierten besagten Zeitwerten entsprich, wodurch eine Intonationskontur mit einer physikalischen Zeitlinie assoziiert wird.
Verfahren des Anspruchs 9, das weiter folgende Schritte umfasst: Speichern von Zeitdauerinformation als Verhältnisse von Phonemwerten nach global bestimmten Zeitdauerwerten, wobei besagte global bestimmten Zeitdauerwerte auf mittleren Zeitdauerwerten über einen ganzen Trainingskörper basieren; Basieren von Werten pro Silbe auf eine Summe des beobachteten Phonems; und Bestücken besagten Prosodie-Musters mit einem Verhältnis besagter Werte pro Silbe versus globaler Verhältnisse, die betriebsfähig sind die Berechnung einer Ist-Zeitdauer besagter jeden Silbe zuzulassen.