DE60020434T2 - Erzeugung und Synthese von Prosodie-Mustern - Google Patents
Erzeugung und Synthese von Prosodie-Mustern Download PDFInfo
- Publication number
- DE60020434T2 DE60020434T2 DE60020434T DE60020434T DE60020434T2 DE 60020434 T2 DE60020434 T2 DE 60020434T2 DE 60020434 T DE60020434 T DE 60020434T DE 60020434 T DE60020434 T DE 60020434T DE 60020434 T2 DE60020434 T2 DE 60020434T2
- Authority
- DE
- Germany
- Prior art keywords
- input
- syllable
- constituent
- duration
- grouping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015572 biosynthetic process Effects 0.000 title description 14
- 238000003786 synthesis reaction Methods 0.000 title description 14
- 239000000470 constituent Substances 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 31
- 230000003068 static effect Effects 0.000 claims description 30
- 230000002085 persistent effect Effects 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 241000233805 Phoenix Species 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005204 segregation Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
- Hintergrund und Zusammenfassung der Erfindung
- Die vorliegende Erfindung bezieht sich im Allgemeinen auf Systeme für Text-zu-Sprache (TTS) und Sprachsynthese. Insbesondere bezieht sich die Erfindung auf ein System zur Erzeugung von Dauervorlagen, die in einem Text-zu-Sprache-System verwendet werden können, um eine natürlicher klingende Sprachsynthese bereitzustellen.
- Die Aufgabe, natürliche, menschlich klingende Prosodie für Text-zu-Sprache und Sprachsynthese zu generieren, ist historisch eines der schwierigsten Probleme gewesen, mit dem Forscher und Entwickler konfrontiert wurden. Im Allgemeinen haben Text-zu-Sprache-Systeme wegen ihrer unnatürlichen Prosodie, beispielsweise wegen „roboterhafter" Intonation oder inkorrektem Satzrhythmus und Timing, einen schlechten Ruf erworben. Um dieses Problem anzusprechen, haben einige frühere Systeme neuronale Netze und Vektor-Clustering-Algorithmen beim Versuch verwendet, natürlich klingende Prosodie zu simulieren. Abgesehen von ihrem nur geringen Erfolg geben diese „Black-Box"-Rechentechniken dem Entwickler kein Feedback darüber, was die kritischen Parameter für natürlich klingende Prosodie sind.
- Die vorliegende Erfindung ist auf einen anderen Ansatz gegründet, der in einer früheren Patentanmeldung mit dem Titel „Speech Synthesis Employing Prosody Templates" offenbart worden ist. In dem offenbarten Ansatz werden Proben tatsächlicher menschlicher Sprache verwendet, um Prosodievorlagen zu entwickeln. Die Vorlagen definieren eine Beziehung zwischen Silbenbetonungsmustern und bestimmten prosodischen Variablen, wie beispielsweise Intonation (F0) und Dauer, wobei besonders die F0-Vorlagen fokussiert werden. Deshalb verwendet der offenbarte Ansatz im Gegensatz zu früheren algorithmischen Ansätzen natürlich vorkommende lexikalische und akustische Attribute (z. B. Betonungsmuster, Silbenzahl, Intonation, Dauer), die vom Forscher bzw. Entwickler direkt beobachtet und verstanden werden können.
- Der früher offenbarte Ansatz speichert die Prosodievorlagen für Intonation (F0) und Dauerinformation in einer Datenbank, auf die zugegriffen wird, indem man Silbenzahl und Betonungsmuster angibt, die mit einem gegebenen Wort assoziiert sind. Ein Wörterbuch ist bereitgestellt, um dem System die erforderliche Information hinsichtlich Silbenzahl und Betonungsmustern zu liefern. Der Textprozessor generiert unter Verwendung des Wörterbuchs phonemische Repräsentationen von Eingabewörtern, um das Betonungsmuster der eingegebenen Wörter zu identifizieren. Ein Prosodie-Modul greift dann auf die Vorlagendatenbank zu und verwendet die Information über Silbenzahl und Betonungsmuster für den Zugriff auf die Datenbank. Von der Datenbank wird dann eine Prosodievorlage für das gegebene Wort abgerufen und dazu benutzt, um Prosodie-Information an das Tonerzeugungsmodul zu liefern, das synthetisierte Sprache auf Basis der phonemischen Repräsentation und der Prosodie-Information generiert.
- Der früher offenbarte Ansatz fokussiert Sprache auf der Wortebene. Wörter werden in Silben unterteilt und repräsentieren so die Grundeinheit von Prosodie. Das durch die Silben definierte Betonungsmuster bestimmt die perzeptiv wichtigsten Merkmale von sowohl Intonation (F0) als auch Dauer. Auf dieser Zuordnungseinheitsstufe ist der Satz von Vorlagen ziemlich kleiner Größenordnung und in Systemen für Text-zu-Sprache und Sprachsynthese leicht zu implementieren. Obwohl eine prosodische Analyse auf Wortebene unter Verwendung von Silben gegenwärtig bevorzugt wird, lassen sich die Prosodie-Vorlagetechniken der Erfindung in Systemen benutzen, die andere Zuordnungseinheitsstufen aufweisen. Beispielsweise lässt sich der Satz von Vorlagen erweitern, um mehr Gruppierungsmerkmale, sowohl auf Satz- als auch Wortebene, zu ermöglichen. In dieser Hinsicht können durch Position und Typ von Phrase oder Satz verursachte Dauermodifikation (z. B. Verlängerung), Segmentstruktur in einer Silbe und phonetische Repräsentation als Attribute verwendet werden, um damit bestimmte Prosodiemuster zu kategorisieren.
- Obwohl Text-zu-Sprache-Systeme, die auf von Proben tatsächlicher menschlicher Sprache abgeleiteten Prosodievorlagen basieren, eine beträchtlich verbesserte Sprachsynthese zu versprechen schienen, waren diese Systeme durch die Schwierigkeit beschränkt, geeignete Dauervorlagen zu konstruieren. Um temporale Prosodiemuster zu erhalten, müssen die rein segmentalen Timingquantitäten aus den größeren Prosodieeffekten ausgeklammert werden. Das hat sich als sehr viel schwieriger erwiesen als die Konstruktion von F0-Vorlagen, worin durch visuelle Untersuchung individueller F0-Daten Intonationsinformation gewonnen werden kann.
- In „Modelling segmental duration in German text to speech synthesis", Bernard Möbius and Jann van Santen, Proceedings of the International Conference on Spoken Language Processing, Oktober 03, 1996 XP002121563 wird ein Modell für segmentale Dauer in der deutschen Sprache offenbart. Eingabewörter werden in Phoneme segmentiert, und es wird ein Dauermodell offenbart, das die Dauer der Sprachlaute in verschiedenen Text-, Prosodie- und Segmentkontexten voraussagt. Für jedes Segment wird ein Merkmalvektor erzeugt, sodass Kontextvariationen der Segmentdauer durch Komponenten eines Merkmalvektors erfasst werden. Für jedes Segment wird eine Dauervorlage erzeugt.
- In „Template driven generation of prosodic information for Chinese Concatenative synthesis", C H Wu and J H Chen, Phoenix, Arizona 15.–19. März, 1999 New York, IEEE 15. März, 1999, S. 65 – 68 XP000898264 ISBN:0-7803-5042-1 wird vorlagebetriebene Erzeugung von prosodischer Information für chinesische Text-zu-Sprache-Umwandlung offenbart. Eine Sprach-Datenbank wird eingesetzt, um einen auf Wortprosodie basierenden Vorlagenbaum zu begründen. Der Vorlagenbaum speichert Prosodiemerkmale einschließlich Silbendauer eines Wortes für mögliche Kombinationen linguistischer Merkmale.
- In „Assignment of segmental duration in text to speech synthesis", Jann P H van Santen, Computer Speech and Language, Academic Press, London, Bd. 8 Nr. 2, April 01, 1994, S. 95 – 128 XP00501471, ISSN:0885-2308 wird ein Modul zur Berechnung der segmentalen Dauer offenbart, in dem Dauermodelle verwendet werden, die aus Gleichungen mit Summen und Produkten bestehen.
- Spezifische, hierin offenbarte Ausführungsbeispiele präsentieren ein Verfahren zur Absonderung des höheren prosodischen Verhaltens von rein artikulatorischen Einschränkungen, sodass höhere Timinginformation aus der menschlichen Sprache extrahiert werden kann. Die extrahierte Timinginformation wird zur Konstruktion von Dauervorlagen benutzt, die bei der Sprachsynthese verwendet werden. Zuerst werden die Wörter des Eingabetexts in Phoneme und Silben segmentiert, und das assoziierte Betonungsmuster wird zugeordnet. Den betonungszugeordneten Wörtern können dann durch ein Textgruppierungsmodul Gruppierungsmerkmale zugeordnet werden. Ein Phonemclusteringmodul gruppiert die Phoneme in Phonempaare und Einzelphoneme. Eine statische Dauer, die mit jedem Phonempaar und Einzelphonem assoziiert ist, wird aus der globalen statischen Tabelle abgerufen. Ein Normalisierungsmodul erzeugt einen normalisierten Dauerwert für eine Silbe, basierend auf Verlängerung oder Verkürzung der globalen statischen Dauern, die mit den die Silbe bildenden Phonemen assoziiert sind. Der normalisierte Dauerwert wird in der Dauervorlage abgespeichert, basierend auf den Gruppierungsmerkmalen, die mit dieser Silbe assoziiert sind.
- Nach einem ersten Aspekt der vorliegenden Erfindung wird ein Vorlageerzeugungssystem zur Erzeugung einer Dauervorlage aus einer Vielzahl von Eingabewörtern bereitgestellt, das durch Folgendes gekennzeichnet ist:
einen Phonetikprozessor (40 ), betriebsfähig zum Segmentieren eines jeden der Eingabewörter in Eingabephoneme sowie zum Gruppieren der Eingabephoneme in Konstituentensilben, wobei jede dieser Konstituentensilben eine assoziierte Silbendauer hat;
ein Textgruppierungsmodul (38 ), betriebsfähig zum Identifizieren von Gruppierungsmerkmalen, die mit jeder der Konstituentensilben assoziiert sind, wobei die Gruppierungsmerkmale aus der Gruppe ausgewählt werden, die Folgendes umfasst:
Wortbetonungsmuster, phonemische Repräsentation, syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und grammatische Kategorie;
ein Phonemclusteringmodul (42 ), betriebsfähig zur Bestimmung eines mittleren Dauerwerts für jedes Eingabephonem, basierend auf jedem Vorkommen des Eingabephonems in der Vielzahl von Eingabewörtern, und zum Speichern des mittleren Dauerwerts in einer globalen statischen Tabelle (32 );
ein Normalisierungsmodul (44 ), aktivierbar zum Erzeugen eines normalisierten Dauerwerts für jede der Konstituentensilben, worin der normalisierte Dauerwert erzeugt wird, indem die Silbendauer durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert wird, aus der sich die Konstituentensilbe zusammensetzt;
das Normalisierungsmodul, außerdem betriebsfähig zum Gruppieren von Konstituentensilben nach dem Gruppierungsmerkmal und zur Konstruktion einer Dauervorlage (36 ) auf der Basis der normalisierten Dauerwerte für Konstituentensilben mit einem gegebenen Gruppierungsmerkmal. - Nach einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Erzeugen einer Dauervorlage aus einer Vielzahl von Eingabewörtern bereitgestellt, wobei das Verfahren folgende Schritte umfasst:
das Segmentieren eines jeden der Eingabewörter in Eingabephoneme, gekennzeichnet durch:
Gruppierung (56 ) der Eingabephoneme in Konstituentensilben mit einer assoziierten Silbendauer;
Zuordnung eines Gruppierungsmerkmals (58 ) zu jeder der Konstituentensilben, wobei ein Gruppierungsmerkmal aus der Gruppe ausgewählt wird, die Folgendes enthält:
Wortbetonungsmuster, phonemische Repräsentation, syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und grammatische Kategorie. - Bestimmung von repräsentativen Dauerdaten für jedes Eingabephonem auf der Basis eines jeden Vorkommens des Eingabephonems in der Vielzahl von Eingabewörtern;
Erzeugung eines normalisierten Dauerwerts für jede Konstituentensilbe, wobei der normalisierte Dauerwert erzeugt wird, indem die Silbendauer durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert wird, aus denen sich die Konstituentensilbe zusammensetzt;
Gruppierung (56 ) der Konstituentensilben nach dem Gruppierungsmerkmal; und
Bildung (84 –102 ) einer Dauervorlage für Konstituentensilben mit einem gegebenen Gruppierungsmerkmal, wobei die Dauervorlage von den normalisierten Dauerwerten für die Konstituentensilben mit dem gegebenen Gruppierungsmerkmal abgeleitet ist. - Nach einem dritten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Entnormalisieren der in einer Dauervorlage enthaltenen Dauerdaten bereitgestellt, wobei das Verfahren durch folgende Schritte gekennzeichnet ist:
Bereitstellen von Zielwörtern, die von einem Text-zu-Sprache-System zu synthetisieren sind;
Segmentieren (52 ) eines jeden der Eingabewörter in Eingabephoneme;
Gruppierung (56 ) der Eingabephoneme in Konstituentensilben mit assoziierter Silbendauer;
Clustering (68 –82 ) der Eingabephoneme in Eingabephonempaare und Eingabeeinzelphoneme;
Abruf von statischer Dauerinformation (62 ), die mit gespeicherten Phonemen in einer globalen statischen Tabelle (32 ) assoziiert ist, wobei die gespeicherten Phoneme den Eingabephonemen entsprechen, aus denen sich jede der Konstituentensilben zusammensetzt;
Abruf eines normalisierten Dauerwerts für jede der Konstituentensilben aus einer assoziierten Dauervorlage (36 ); und
Erzeugen einer entnormalisierten Silbendauer durch Multiplikation des normalisierten Dauerwerts für jede Konstituentensilbe mit der Summe der mittleren Dauerwerte der gespeicherten Phoneme, die den Eingabephonemen entsprechen, aus denen sich diese Konstituentensilbe zusammensetzt. - Um die Erfindung, ihre Zielsetzung und Vorteile vollkommener zu verstehen, beziehen Sie sich bitte auf die folgende Spezifikation und die zugehörigen Zeichnungen.
- Kurzbeschreibung der Zeichnungen
-
1 ist ein Blockdiagramm eines Sprachgenerators, der Prosodievorlagen einsetzt; -
2 ist ein Blockdiagramm einer Vorrichtung zur Erzeugung von Prosodiedauervorlagen; -
3 ist ein Flussdiagramm, das das Verfahren zum Sammeln von temporalen Daten veranschaulicht; -
4 ist ein Flussdiagramm, das das Verfahren zum Erzeugen einer globalen statischen Tabelle veranschaulicht; -
5 ist ein Flussdiagramm, das das Verfahren zum Clustering der Phoneme in Paare veranschaulicht; und -
6 ist ein Flussdiagramm, das das vom bevorzugten Ausführungsbeispiel verwendete Prosodiesyntheseverfahren darstellt. - Beschreibung des bevorzugten Ausführungsbeispiels
- Wenn Text von einem menschlichen Sprecher gelesen wird, hebt und senkt sich die Tonhöhe, Silben werden mit größerer oder geringerer Intensität artikuliert, Vokale werden gedehnt oder verkürzt und Pausen werden eingeschoben, was der gesprochenen Passage einen bestimmten Rhythmus verleiht. Diese Merkmale umfassen einige der Attribute, die Sprachforscher mit Prosodie bezeichnen. Menschliche Sprecher fügen, wenn sie eine Textpassage laut lesen, automatisch prosodische Information bei. Die prosodische Information vermittelt die Interpretation des Materials durch den Leser. Diese Interpretation ist ein Artefakt menschlicher Erfahrung, da der gedruckte Text wenig direkte prosodische Information enthält.
- Wenn ein computerimplementiertes Sprachsynthesesystem eine Textpassage liest oder rezitiert, fehlt diese menschlich klingende Prosodie in konventionellen Systemen. Der Text selbst enthält praktisch keine prosodische Information und der konventionelle Sprachgenerator hat daher wenig, woraus er die fehlende Prosodie-Information generieren kann. Wie bereits festgestellt, haben sich frühere Versuche, Prosodie-Information hinzuzufügen, auf regelbasierte Techniken und neuronale Netz- oder algorithmische Techniken, wie beispielsweise Vektor-Clusterbildungstechniken, konzentriert. Regelbasierte Techniken klingen einfach nicht natürlich und neuronale Netz- und algorithmische Techniken können nicht adaptiert werden und lassen sich nicht verwenden, um Schlussfolgerungen zu ziehen, die für die weitere Modifikation oder für die Anwendung außerhalb des Trainings-Set gebraucht werden, mit dem sie generiert wurden.
-
1 zeigt einen Sprachgenerator, der Prosodievorlagen-Technologie einsetzt. Bezugnehmend auf1 wird ein Eingabetext10 als Rahmensatz an das Textprozessormodul12 geliefert, wobei der Rahmensatz eine Folge oder einen String von Buchstaben umfasst, die Wörter definieren. Relativ zum Rahmensatz werden die Wörter durch Merkmale wie Satzposition, Satztyp, Phrasenposition und grammatische Kategorie definiert. Der Textprozessor12 hat ein assoziiertes Wörterbuch14 , das Information über eine Vielheit von gespeicherten Wörtern enthält. Das Wörterbuch hat eine Datenstruktur, die unter16 veranschaulicht wird, wonach Wörter in Verbindung mit assoziierten Wort- und Satzgruppierungsmerkmalen gespeichert werden. Insbesondere wird im gegenwärtig bevorzugten Ausführungsbeispiel der Erfindung jedes Wort im Wörterbuch durch Folgendes begleitet: seine phonemische Repräsentation, Information, die die syntaktischen Grenzen identifiziert, Information, die kennzeichnet, wie jeder Silbe die Betonung zugeordnet wird, sowie die Dauer einer jeden Konstituentensilbe. Obwohl das gegenwärtige Ausführungsbeispiel im Wörterbuch14 keine Satzgruppierungsmerkmale enthält, liegt es im Schutzbereich der Erfindung, Gruppierungsmerkmale in das Wörterbuch14 aufzunehmen. Deshalb enthält das Wörterbuch14 in suchbarer elektronischen Form die Grundinformation, die zum Generieren einer Aussprache des Wortes erforderlich ist. - Der Textprozessor
12 ist weiter an das Prosodie-Modul18 gekoppelt, das mit der Prosodievorlagen-Datenbank20 assoziiert ist. Die Prosodievorlagen speichern Intonationsdaten (F0) und Dauerdaten für jedes einer Vielheit von verschiedenen Betonungsmustern. Das Einzelwort-Betonungsmuster '1' umfasst eine erste Vorlage, das zweisilbige Muster '10' umfasst eine zweite Vorlage, das Muster '01' umfasst noch eine weitere Vorlage usw. Die Vorlagen werden in der Datenbank nach Gruppierungsmerkmalen wie Wortbetonungsmustern und Satzposition gespeichert. Im vorliegenden Ausführungsbeispiel dient das mit einem gegebenen Wort assoziierte Betonungsmuster als Datenbank-Zugriffsschlüssel, mit dem das Prosodie-Modul18 die assoziierte Intonations- und Dauerinformation abruft. Das Prosodie-Modul18 ermittelt das mit einem gegebenen Wort assoziierte Betonungsmuster durch Information, die ihm über den Textprozessor12 geliefert wird. Der Textprozessor12 erhält diese Information durch Verwendung des Wörterbuchs14 . - Der Textprozessor
12 und das Prosodie-Modul18 liefern beide Information an das Tonerzeugungsmodul24 . Im Besonderen liefert der Textprozessor12 phonemische Information, die er aus dem Wörterbuch14 erhält, und das Prosodie-Modul18 liefert die Prosodie-Information (z. B. Intonation und Dauer). Das Tonerzeugungsmodul generiert dann synthetisierte Sprache auf Basis der phonemischen und der Prosodie-Information. - Die vorliegende Erfindung geht das Prosodieproblem an, indem sie Dauer- und F0-Vorlagen verwendet, die mit Gruppierungsmerkmalen wie den in gesprochenen Wörtern vorkommenden Silbenbetonungsmustern verbunden sind. Genauer gesagt stellt die Erfindung eine Methode zum Extrahieren und Abspeichern von aus aufgenommener Sprache gewonnener Dauerinformation zur Verfügung. Diese gespeicherte Dauerinformation wird in einer Datenbank erfasst und nach Gruppierungsmerkmalen wie Silbenbetonungsmustern angeordnet.
- Das gegenwärtig bevorzugte Ausführungsbeispiel codiert Prosodie-Information in einer standardisierten Form, in der die Prosodie-Information normalisiert und parametrisiert wird, um Speicherung und Abrufen aus der Datenbank
20 zu vereinfachen. Das Prosodie-Modul18 entnormalisiert und konvertiert die standardisierten Vorlagen in eine Form, die sich auf die vom Textprozessor12 gelieferte phonemische Information anwenden lässt. Die Details dieses Prozesses werden nachstehend ausführlicher beschrieben. Zunächst aber wird eine detaillierte Beschreibung der Dauervorlagen und ihrer Konstruktion gegeben. - In
2 wird eine Vorrichtung zum Erzeugen geeigneter Dauervorlagen veranschaulicht. Um rein segmentale Timingquantitäten aus den größeren prosodischen Effekten auszuklammern, wurde ein Schema ausgedacht, um zuerst die natürlichen segmentalen Dauermerkmale zu erfassen. Im gegenwärtig bevorzugten Ausführungsbeispiel werden die Dauervorlagen mit Sätzen konstruiert, die Eigennamen in verschiedenen Satzpositionen aufweisen. Die gegenwärtig bevorzugte Implementierung wurde unter Verwendung von ungefähr 2000 gekennzeichneten Aufnahmen (Einzelwörtern), die von einer Frau in amerikanischem Englisch gesprochen wurden, konstruiert. Die Sätze können auch als eine Sammlung von vorher aufgenommenen oder hergestellten Rahmensätzen geliefert werden. Die Wörter werden als Textprobe34 eingegeben, die in Phoneme segmentiert wird, bevor sie in Konstituentensilben gruppiert wird und ihr assoziierte Gruppierungsmerkmale wie Silbenbetonungsmuster zugeordnet werden. Obwohl im gegenwärtig bevorzugten Ausführungsbeispiel die Textprobe als aufgenommene Wörter eingegeben wird, liegt es im Schutzbereich der Erfindung, die Textprobe34 als nicht aufgenommene Sätze einzugeben und den anschließend segmentierten Silben außer den Wortgruppierungsmerkmalen Phrasen- und Satzgruppierungsmerkmale zuzuordnen. Die Silben und verwandte Information werden in einer Wortdatenbank30 zur späteren Datenmanipulation bei der Erzeugung einer globalen statischen Tabelle32 und der Dauervorlagen36 gespeichert. Globale statische Dauerstatistiken wie Mittel, Standardabweichung, Minimaldauer, Maximaldauer und Kovarianz, die aus der Information in der Wortdatenbank30 abgeleitet sind, werden in der globalen statischen Tabelle32 abgespeichert. Dauervorlagen werden aus Silbendauerstatistiken konstruiert, die mit Bezug auf die in der globalen statischen Tabelle32 gespeicherten statischen Dauerstatistiken normalisiert werden. Normalisierte Dauerstatistiken für die Silben werden in Dauervorlagen36 gespeichert, die nach Gruppierungsmerkmalen geordnet werden. Es folgen weitere Details zur Konstruktion der globalen statischen Tabelle32 , der Dauervorlagen36 und zum Verfahren des Segmentierens von Silben in Phoneme. - In
3 , zusätzlich zu2 , wird das Sammeln der temporalen Daten veranschaulicht. Bei Schritt50 wird die Textprobe34 zur Bereitstellung der Dauerdaten eingegeben. Die Textprobe34 wird zuerst durch ein phonetisches Prozessormodul38 vorverarbeitet, das bei Schritt52 ein HMM-basiertes automatisches Kennzeichnungswerkzeug und ein automatisches Syllabifikationswerkzeug benutzt, um Wörter in Eingabephoneme zu segmentieren bzw. die Eingabephoneme in Silben zu gruppieren. Auf automatische Kennzeichnung folgt eine manuelle Korrektur für jeden String. Dann wird bei Schritt54 das Betonungsmuster für die Zielwörter nach dem Gehör unter Verwendung von drei verschiedenen Betonungsstufen zugeordnet. Diese sind mit den Nummern 0, 1 und 2 bezeichnet. Die Betonungsstufen beinhalten Folgendes:
0 keine Betonung
1 primäre Betonung
2 sekundäre Betonung - Laut dem bevorzugten Ausführungsbeispiel haben einsilbige Wörter ein einfaches Betonungsmuster, das der primären Betonungsstufe '1' entspricht. Mehrsilbige Wörter können verschiedene Kombinationen von Betonungsstufenmustern haben. Beispielsweise könnten zweisilbige Wörter Betonungsmuster '10', '01' und '12' haben. Das gegenwärtig bevorzugte Ausführungsbeispiel setzt eine Dauervorlage für jede verschiedene Betonungsmusterkombination ein. Deshalb hat das Betonungsmuster '1' eine erste Dauervorlage, das Betonungsmuster '10' hat eine andere Vorlage usw. Durch Markierung der Silbengrenze erhält man verbesserte statistische Dauermesszahlen, wenn die Grenze nicht nach spektralen, sondern nach perzeptiven Kriterien markiert wird. Jede Silbe wird individuell angehört, und die Markierung wird da platziert, wo auf beiden Seiten kein rhythmischer „Rest" wahrgenommen wird.
- Obwohl in der gegenwärtig bevorzugten Implementierung eine dreistufige Betonungszuordnung eingesetzt wird, liegt es im Schutzbereich der Erfindung, die Anzahl der Stufen entweder zu vergrößern oder zu verkleinern. Die Unterteilung von Wörtern in Silben und Phoneme und das Zuordnen der Betonungsstufen kann manuell oder mit Hilfe eines automatischen oder halbautomatischen Trackers erfolgen. In dieser Hinsicht ist die Vorverarbeitung von Trainingssprachdaten relativ zeitaufwändig, muss aber nur einmal während der Entwicklung der Prosodievorlagen durchgeführt werden. Exakt gekennzeichnete und betonungszugeordnete Daten sind erforderlich, um Genauigkeit sicherzustellen und den Rauschpegel bei der anschließenden statistischen Analyse zu reduzieren.
- Nach der Kennzeichnung der Wörter und nach der Zuordnung der Betonungen können die Wörter nach Betonungsmuster oder anderen Gruppierungsmerkmalen wie phonetischer Repräsentation, syntaktischer Grenze, Satzposition, Satztyp, Phrasenposition und grammatischer Kategorie gruppiert werden. In dem gegenwärtig bevorzugten Ausführungsbeispiel werden die Wörter nach Betonungsmustern gruppiert. Wie bei Schritt
56 illustriert, umfassen einsilbige Wörter eine erste Gruppe. Zweisilbige Wörter umfassen vier zusätzliche Gruppen, die Gruppe '10', die Gruppe '01', die Gruppe '12' und die Gruppe '21'. Auf ähnliche Weise lassen sich dreisilbige, viersilbige bis n-silbige Wörter entsprechend der Betonungsmuster gruppieren. Bei Schritt58 können den Wörtern andere Gruppierungsmerkmale zusätzlich zugeordnet werden. Bei Schritt60 werden die verarbeiteten Daten dann in einer Wortdatenbank30 gespeichert, die nach Gruppierungsmerkmalen, Wörtern, Silben und anderen relevanten Kriterien geordnet ist. Die Wortdatenbank stellt eine zentralisierte Sammlung von Prosodie-Information zur Verfügung, die für die Datenmanipulation und -extraktion bei der Konstruktion der globalen statischen Tabelle und der Dauervorlagen zur Verfügung steht. - In
2 und4 wird die Erzeugung der globalen statischen Tabelle32 veranschaulicht. Die globale statische Tabelle32 liefert eine globale Datenbank der statischen Phonemdauerdaten, die beim Normalisieren von Phonemdauerinformation zur Konstruktion der Dauervorlagen benutzt werden. Das gesamte segmentierte Korpus ist in der globalen statischen Tabelle32 enthalten. Bei Schritt62 wird auf eine Silbe bezogene Dauerinformation von der Wortdatenbank30 abgerufen. Bei Schritt64 wird auf das Phonemclusteringmodul42 zugegriffen, um diese Phoneme in Phonempaare und Einzelphoneme zu gruppieren. - In
2 und5 wird das Phonemclusteringmodul veranschaulicht. Das Phonemclusteringmodul42 wählt, welche Phoneme in Paare geclustert werden, basierend auf einem Kriterium der segmentalen Überlappung, oder anders ausgedrückt, dem Schwierigkeitsgrad einer manuellen Segmentierung der betreffenden Silbe. Bei Schritt68 wird der Silbenstring von links nach rechts gescannt, um zu bestimmen, ob er eine angezielte Kombination enthält. Im gegenwärtigen Ausführungsbeispiel gehört Folgendes zu den Beispielen angezielter Kombinationen: - (a) „L" oder „R" oder „Y" oder „W", gefolgt von einem Vokal,
- (b) ein Vokal, gefolgt von einem „L" oder „R" oder „N" oder „M" oder „NG",
- (c) ein Vokal und „R", gefolgt von einem „L",
- (d) ein Vokal und „L", gefolgt von einem „R",
- (e) ein „L", gefolgt von einem „M" oder „N" und
- (f) zwei aufeinander folgende Vokale.
- Bei Schritt
70 werden angezielte Kombinationen aus dem String entfernt, und bei Schritt72 werden die Dauerdaten für das der angezielten Kombination entsprechende Phonempaar berechnet, indem Dauerdaten von der Wortdatenbank30 abgerufen werden. Die Dauerdaten für das Phonempaar werden in der globalen statischen Tabelle32 entweder als Neueintrag gespeichert oder mit einem vorhandenen Eintrag für dieses Phonempaar akkumuliert. Obwohl im bevorzugten Ausführungsbeispiel Mittel, Standardabweichung, Maximum-, Minimumdauer und Kovarianz für das Phonempaar aufgezeichnet wird, liegen weitere statistische Messzahlen im Schutzbereich der Erfindung. Der Rest des Silbenstrings wird auf andere angezielte Kombinationen gescannt; diese werden auch entfernt, und es werden die Dauerdaten für das Paar kalkuliert und in die globale statische Tabelle32 eingetragen. Nachdem alle Phonempaare aus dem Silbenstring entfernt worden sind, bleiben nur Einzelphoneme zurück. Bei Schritt74 werden die Dauerdaten für die Einzelphoneme aus der Wortdatenbank30 abgerufen und in die globale statische Tabelle32 abgespeichert. - Bei Schritt
76 wird der Silbenstring von rechts nach links gescannt, um zu bestimmen, ob der String eine der vorher aufgelisteten angezielten Kombinationen enthält. Die Schritte78 ,80 und82 wiederholen dann die Ausführung der Schritte70 bis74 und scannen auf Phonempaare und Einzelphoneme und geben die kalkulierten Dauerdaten in die globale statische Tabelle32 ein. Obwohl das Scannen von links nach rechts, zusätzlich zum Scannen von rechts nach links eine gewisse Überlappung und damit eine mögliche Schiefe hervorruft, überwiegt die erhöhte statistische Genauigkeit für jeden individuellen Eintrag diese potentielle Fehlerquelle. Nach Schritt82 wird die Steuerung an das Erzeugungsmodul für die globale statische Tabelle zurückgegeben, das mit dem Betrieb fortfährt, bis jede Silbe eines jeden Wortes segmentiert worden ist. In der gegenwärtig bevorzugten Implementierung werden alle Daten für ein gegebenes Phonempaar oder Einzelphonem ungeachtet des Gruppierungsmerkmals gemittelt, und dieses Mittel wird dazu benutzt, die globale statische Tabelle32 zu bestücken. Obwohl arithmetisches Mitteln der Daten gute Resultate bringt, kann, wenn erwünscht, auch eine andere statistische Verarbeitung angewandt werden. - In
2 und6 wird das Konstruktionsverfahren für eine Dauervorlage veranschaulicht. Detaillierte temporale Prosodiemuster zu erhalten ist etwas komplizierter als bei F0-Konturen. Das liegt vor allem daran, dass man nur durch Prüfung individueller segmentaler Daten eine höhere prosodische Absicht nicht von rein artikulatorischen Beschränkungen trennen kann. Bei Schritt84 wird eine Silbe mit ihren assoziierten Gruppenmerkmalen aus der Wortdatenbank30 abgerufen. Bei Schritt86 wird auf das Phonemclusteringmodul42 zugegriffen, um die Silbe in Phonemepaare und Einzelphoneme zu segmentieren. Die Details des Betriebs des Phonemclusteringmoduls sind den vorher beschriebenen gleich. Bei Schritt88 ruft das Normalisierungsmodul44 die mittlere Dauer für diese Phoneme aus der globalen statischen Tabelle32 ab und summiert sie, um die mittlere Dauer für jede Silbe zu erhalten. Bei Schritt90 wird dann der normalisierte Wert für eine Silbe als Quotient aus der tatsächlichen Silbendauer und der mittleren Dauer für diese Silbe errechnet. -
- ti = normalisierter Wert für Silbe j
- xj = mittlere Dauer des Phonempaars j
- m = Anzahl von Phonempaaren in Silbe i
- si = tatsächlich gemessene Dauer der Silbe i
- Der normalisierte Dauerwert für die Silbe wird bei Schritt
92 in der assoziierten Dauervorlage aufgezeichnet. Jede Dauervorlage besteht aus den normalisierten Dauerdaten für Silben, die ein spezifisches Gruppierungsmerkmal wie beispielsweise ein Betonungsmuster aufweisen. - Im Hinblick auf die Dauervorlagenkonstruktion wird jetzt die Synthese der temporalen Musterprosodie mit Bezug auf
1 und6 näher erklärt. Aus der menschlichen Sprache extrahierte Dauerinformation wird in Dauervorlagen in einem normalisierten silbenbasierten Format gespeichert. Deshalb muss das Tonerzeugungsmodul, um die Dauervorlagen zu verwenden, zuerst die Information entnormalisieren, wie in6 veranschaulicht wird. Beginnend bei Schritt104 , werden ein Zielwort und ein Rahmensatz-Identifizierer empfangen. Bei Schritt106 wird das zu synthetisierende Zielwort im Wörterbuch14 aufgesucht, wo die relevanten wortbasierten Daten gespeichert sind. Die Daten enthalten Merkmale wie phonemische Repräsentation, Betonungszuordnungen und Silbengrenzen. Bei Schritt108 parst dann der Textprozessor12 das Zielwort in Silben zur anschließenden Phonemextraktion. Auf das Phonemclusteringmodul wird bei Schritt110 zugegriffen, um die Phoneme in Phonempaare und Einzelphoneme zu gruppieren. Bei Schritt112 werden die mittleren Phonemdauern für die Silbe aus der globalen statischen Tabelle32 gewonnen und summiert. Die global bestimmten Werte entsprechen den mittleren Dauerwerten, die über das ganze Trainingskorpus beobachtet wurden. Bei Schritt114 wird der Dauervorlagewert für das entsprechende Betonungsmuster erhalten und bei Schritt116 wird dieser Vorlagewert mit den Mittelwerten multipliziert, um die geschätzten Silbendauern zu erzeugen. An dieser Stelle stehen die transformierten Vorlagedaten zur Verwendung durch das Tonerzeugungsmodul bereit. Natürlich lassen sich die Entnormalisierungsschritte von jedem der Module durchführen, das Prosodie-Information handhabt. Daher können die in6 illustrierten Entnormalisierungsschritte entweder vom Tonerzeugungsmodul24 oder vom Prosodie-Modul18 durchgeführt werden. - Anhand des Vorgenannten wird man erkennen, dass die vorliegende Erfindung eine Vorrichtung und ein Verfahren zur Konstruktion von temporalen Vorlagen bereitstellt, die zum Generieren synthetisierter Sprache benutzt wird, wobei die normalerweise fehlende Dauermusterinformation aus Vorlagen geliefert wird, die auf aus menschlicher Sprache extrahierten Daten beruhen. Wie demonstriert worden ist, kann diese temporale Information aus menschlicher Sprache extrahiert werden und in einer Datenbank von Dauervorlagen abgespeichert werden, die nach Gruppierungsmerkmalen wie etwa Betonungsmustern angeordnet sind. Die in den Vorlagen gespeicherten temporalen Daten können durch ein Nachschlageverfahren, das auf mit dem Text von Eingabewörtern assoziierten Betonungsmustern basiert, auf die phonemische Information angewandt werden.
- Die Erfindung ist für eine breite Palette verschiedener Text-zu-Sprache- und Sprachsyntheseanwendungen, einschließlich großer Domäneanwendungen, wie Textbücher-Leseanwendungen, und begrenzteren Domäneanwendungen, wie Autonavigations- oder Phrasenbuch-Übersetzungsanwendungen, geeignet. Im Falle begrenzter Domänen kann ein kleines Set von „fixed-frame" Sätzen im Voraus designiert werden, und ein Zielwort im jeweiligen Satz kann durch ein willkürliches Wort (wie beispielsweise einen Eigennamen oder Straßennamen) ersetzt werden). In diesem Fall lässt sich Tonhöhe und Timing für die Rahmensätze (frame sentences) von wirklicher Sprache messen und speichern und daher eine sehr natürliche Prosodie für den größten Teil des Satzes sicherstellen. Das Zielwort ist dann die einzige Sache, die Tonhöhen- und Timingkontrolle mittels der Prosodievorlagen der Erfindung erfordert.
Claims (15)
- Vorlagenerzeugungssystem zur Erzeugung einer Dauervorlage aus einer Vielzahl von Eingabewörtern, dadurch gekennzeichnet, dass es Folgendes umfasst: einen Phonetikprozessor (
40 ), betriebsfähig zum Segmentieren eines jeden der Eingabewörter in Eingabephoneme sowie zum Gruppieren der Eingabephoneme in Konstituentensilben, wobei jede dieser Konstituentensilben eine assoziierte Silbendauer hat; ein Textgruppierungsmodul (38 ), betriebsfähig zum Identifizieren von Gruppierungsmerkmalen, die mit jeder der Konstituentensilben assoziiert sind, wobei die Gruppierungsmerkmale aus der Gruppe ausgewählt werden, die Folgendes umfasst: Wortbetonungsmuster, Phonemrepräsentation, syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und grammatische Kategorie; ein Phonemclusteringmodul (42 ), betriebsfähig zur Bestimmung eines mittleren Dauerwerts für jedes Eingabephonem, auf der Basis eines jeden Vorkommens des Eingabephonems in der Vielzahl der Eingabewörter, und zum Speichern des mittleren Dauerwerts in einer globalen statischen Tabelle (32 ); ein Normalisierungsmodul (44 ), aktivierbar zum Erzeugen eines normalisierten Dauerwerts für jede der Konstituentensilben, wobei der normalisierte Dauerwert erzeugt wird, indem die Silbendauer durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert wird, aus der sich die Konstituentensilbe zusammensetzt; das Normalisierungsmodul, außerdem betriebsfähig zum Gruppieren von Konstituentensilben nach dem Gruppierungsmerkmal und zur Konstruktion einer Dauervorlage (36 ) auf der Basis der normalisierten Dauerwerte für Konstituentensilben mit einem gegebenen Gruppierungsmerkmal. - Vorlagenerzeugungssystem nach Anspruch 1, wobei das Textgruppierungsmodul (
38 ) betriebsfähig ist, jeder der Konstituentensilben einen Betonungsgrad zuzuordnen, wobei der Betonungsgrad das Gruppierungsmerkmal für die Konstituentensilbe definiert. - Vorlagenerzeugungssystem nach Anspruch 1, wozu außerdem eine Wörterdatenbank (
30 ) gehört, die aktiviert werden kann, um die Eingabewörter mit den assoziierten Wort- und Satzgruppierungsmerkmalen zu speichern. - Vorlagenerzeugungssystem nach Anspruch 3, wobei die assoziierten Wortgruppierungsmerkmale aus der Gruppe ausgewählt werden, zu der Folgendes gehört: Phonemrepräsentation, Wortsilbengrenzen, Zuordnung der Silbenbetonung und die Dauer einer jeden Konstituentensilbe.
- Vorlagenerzeugungssystem nach Anspruch 3, wobei die assoziierten Satzgruppierungsmerkmale aus der Gruppe ausgewählt werden, zu der Folgendes gehört: Satzposition, Satztyp, Phrasenposition, syntaktische Grenze und grammatische Kategorie.
- Vorlagenerzeugungssystem nach Anspruch 1, wozu außerdem ein Phonemclusteringmodul (
42 ) gehört, das betriebsfähig ist, die Eingabephoneme einer Konstituentensilbe zu clustern, wobei das Phonemclusteringmodul ein Kriterium für die angezielte Kombination enthält, um zu entscheiden, welche Eingabephoneme in ein Eingabephonempaar zu gruppieren sind, wobei jedes der Eingabephonempaare das Kriterium für die angezielte Kombination erfüllt. - Vorlagenerzeugungssystem nach Anspruch 6, wobei das Kriterium für die angezielte Kombination aus der Gruppe ausgewählt wird, die aus Folgendem besteht: (a) „L" oder „R" oder „Y" oder „W", gefolgt von einem Vokal, (b) ein Vokal, gefolgt von einem „L" oder „R" oder „N" oder „M" oder NG" (c) ein Vokal und „R", gefolgt von einem „L", (d) ein Vokal und „L", gefolgt von einem „R", (e) ein „L", gefolgt von einem „M" oder „N" und (f) zwei aufeinander folgende Vokale.
- Verfahren zum Erzeugen einer Dauervorlage aus einer Vielzahl von Eingabewörtern, wobei das Verfahren folgende Schritte umfasst: das Segmentieren eines jeden der Eingabewörter in Eingabephoneme, gekennzeichnet durch: Gruppierung (
56 ) der Eingabephoneme in Konstituentensilben mit einer assoziierten Silbendauer; Zuordnung eines Gruppierungsmerkmals (58 ) zu jeder der Konstituentensilben, wobei das Gruppierungsmerkmal aus der Gruppe ausgewählt wird, die Folgendes enthält: Wortbetonungsmuster, Phonemrepräsentation, syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und grammatische Kategorie; Bestimmung von repräsentativen Dauerdaten für jedes Eingabephonem auf der Basis eines jeden Vorkommens des Eingabephonems in der Vielzahl der Eingabewörter; Erzeugung eines normalisierten Dauerwerts für jede Konstituentensilbe; wobei der normalisierte Dauerwert erzeugt wird, indem die Silbendauer durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert wird, aus der sich die Konstituentensilbe zusammensetzt; Gruppierung (56 ) der Konstituentensilben nach dem Gruppierungsmerkmal; und Bildung (84 –102 ) einer Dauervorlage für Konstituentensilben mit einem gegebenen Gruppierungsmerkmal, wobei die Dauervorlage von den normalisierten Dauerwerten für die Konstituentensilben mit dem gegebenen Gruppierungsmerkmal abgeleitet ist. - Verfahren nach Anspruch 8, das außerdem folgende Schritte umfasst: Zuordnung eines Gruppierungsmerkmals (
58 ) zu jeder der Konstituentensilben und Spezifizierung einer jeden Dauervorlage durch das Gruppierungsmerkmal, sodass der normalisierte Dauerwert für jede Konstituentensilbe mit einem bestimmten Gruppierungsmerkmal in der assoziierten Dauervorlage enthalten ist. - Verfahren nach Anspruch 8, das außerdem folgende Schritte umfasst: den Konstituentensilben Gruppierungsmerkmale (
58 ) zuordnen; und die Eingabewörter und Konstituentensilben mit den assoziierten Gruppierungsmerkmalen in eine Wörterdatenbank speichern (60 ). - Verfahren nach Anspruch 8, wobei der Schritt des Clustering der Eingabephoneme in Eingabephonempaare und Eingabeeinzelphoneme außerdem folgende Schritte umfasst: von links nach rechts die Konstituentensilbe durchsuchen (
68 ); Auswahl (70 ) der Eingabephoneme in der Konstituentensilbe, die einer angezielten Kombination gleich sind; und Clustering der ausgewählten Eingabephoneme in ein Eingabephonempaar. - Verfahren nach Anspruch 11, das außerdem folgende Schritte umfasst: von links nach rechts die Konstituentensilbe durchsuchen (
78 ); Auswahl der Eingabephoneme in der Konstituentensilbe, die der angezielten Kombination gleich sind; und Clustering der ausgewählten Eingabephoneme in ein Eingabephonempaar. - Verfahren zum Entnormalisieren der in einer Dauervorlage enthaltenen Dauerdaten, wobei das Verfahren durch folgende Schritte gekennzeichnet ist: Bereitstellen von Zielwörtern, die von einem Text-zu-Sprache-System zu synthetisieren sind; Segmentieren (
52 ) eines jeden der Eingabewörter in Eingabephoneme; Gruppierung (56 ) der Eingabephoneme in Konstituentensilben mit assoziierter Silbendauer; Clustering (68 –82 ) der Eingabephoneme in Eingabephonempaare und Eingabeeinzelphoneme; Abruf der mit gespeicherten Phonemen assoziierten statischen Dauerinformation (62 ) in einer globalen statischen Tabelle (30 ), worin die gespeicherten Phoneme den Eingabephonemen entsprechen, aus der sich jede der Konstituentensilben zusammensetzt; einen normalisierten Dauerwert für jede der Konstituentensilben aus einer assoziierten Dauervorlage (36 ) abrufen; und Erzeugen einer entnormalisierten Silbendauer durch Multiplikation des normalisierten Dauerwerts für jede Konstituentensilbe mit der Summe der mittleren Dauerwerte der gespeicherten Phoneme, die den Eingabephonemen entsprechen, aus denen sich diese Konstituentensilbe zusammensetzt. - Verfahren nach Anspruch 13, das außerdem folgenden Schritt enthält: Senden der entnormalisierten Silbendauer an ein Prosodiemodul (
18 ), sodass synthetische Sprache übermittelt wird, deren Prosodie natürlich klingt. - Verfahren nach Anspruch 13, das außerdem folgenden Schritt enthält: Abrufen der mit dem Zielwort assoziierten Gruppierungsmerkmale aus einem Wörterbuch (
14 ).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US268229 | 1999-03-15 | ||
US09/268,229 US6185533B1 (en) | 1999-03-15 | 1999-03-15 | Generation and synthesis of prosody templates |
Publications (2)
Publication Number | Publication Date |
---|---|
DE60020434D1 DE60020434D1 (de) | 2005-07-07 |
DE60020434T2 true DE60020434T2 (de) | 2006-05-04 |
Family
ID=23022044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE60020434T Expired - Fee Related DE60020434T2 (de) | 1999-03-15 | 2000-03-06 | Erzeugung und Synthese von Prosodie-Mustern |
Country Status (4)
Country | Link |
---|---|
US (1) | US6185533B1 (de) |
EP (1) | EP1037195B1 (de) |
DE (1) | DE60020434T2 (de) |
ES (1) | ES2243200T3 (de) |
Families Citing this family (149)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3361066B2 (ja) * | 1998-11-30 | 2003-01-07 | 松下電器産業株式会社 | 音声合成方法および装置 |
JP2000305582A (ja) * | 1999-04-23 | 2000-11-02 | Oki Electric Ind Co Ltd | 音声合成装置 |
JP2001034282A (ja) * | 1999-07-21 | 2001-02-09 | Konami Co Ltd | 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体 |
US6496801B1 (en) * | 1999-11-02 | 2002-12-17 | Matsushita Electric Industrial Co., Ltd. | Speech synthesis employing concatenated prosodic and acoustic templates for phrases of multiple words |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US6978239B2 (en) * | 2000-12-04 | 2005-12-20 | Microsoft Corporation | Method and apparatus for speech synthesis without prosody modification |
US7263488B2 (en) * | 2000-12-04 | 2007-08-28 | Microsoft Corporation | Method and apparatus for identifying prosodic word boundaries |
US6845358B2 (en) * | 2001-01-05 | 2005-01-18 | Matsushita Electric Industrial Co., Ltd. | Prosody template matching for text-to-speech systems |
US6513008B2 (en) * | 2001-03-15 | 2003-01-28 | Matsushita Electric Industrial Co., Ltd. | Method and tool for customization of speech synthesizer databases using hierarchical generalized speech templates |
US6810378B2 (en) * | 2001-08-22 | 2004-10-26 | Lucent Technologies Inc. | Method and apparatus for controlling a speech synthesis system to provide multiple styles of speech |
US20030101045A1 (en) * | 2001-11-29 | 2003-05-29 | Peter Moffatt | Method and apparatus for playing recordings of spoken alphanumeric characters |
US20060069567A1 (en) * | 2001-12-10 | 2006-03-30 | Tischer Steven N | Methods, systems, and products for translating text to speech |
US7483832B2 (en) * | 2001-12-10 | 2009-01-27 | At&T Intellectual Property I, L.P. | Method and system for customizing voice translation of text to speech |
CN1259631C (zh) * | 2002-07-25 | 2006-06-14 | 摩托罗拉公司 | 使用韵律控制的中文文本至语音拼接合成系统及方法 |
US20040030555A1 (en) * | 2002-08-12 | 2004-02-12 | Oregon Health & Science University | System and method for concatenating acoustic contours for speech synthesis |
KR100463655B1 (ko) * | 2002-11-15 | 2004-12-29 | 삼성전자주식회사 | 부가 정보 제공 기능이 있는 텍스트/음성 변환장치 및 방법 |
US7308407B2 (en) * | 2003-03-03 | 2007-12-11 | International Business Machines Corporation | Method and system for generating natural sounding concatenative synthetic speech |
US7496498B2 (en) * | 2003-03-24 | 2009-02-24 | Microsoft Corporation | Front-end architecture for a multi-lingual text-to-speech system |
DE04735990T1 (de) * | 2003-06-05 | 2006-10-05 | Kabushiki Kaisha Kenwood, Hachiouji | Sprachsynthesevorrichtung, sprachsyntheseverfahren und programm |
US8103505B1 (en) * | 2003-11-19 | 2012-01-24 | Apple Inc. | Method and apparatus for speech synthesis using paralinguistic variation |
TWI281145B (en) * | 2004-12-10 | 2007-05-11 | Delta Electronics Inc | System and method for transforming text to speech |
EP1856628A2 (de) * | 2005-03-07 | 2007-11-21 | Linguatec Sprachtechnologien GmbH | Verfahren und anordnungen zur erweiterung von maschinenbearbeitbaren textinformationen |
US20060229877A1 (en) * | 2005-04-06 | 2006-10-12 | Jilei Tian | Memory usage in a text-to-speech system |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US8036894B2 (en) * | 2006-02-16 | 2011-10-11 | Apple Inc. | Multi-unit approach to text-to-speech synthesis |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8027837B2 (en) * | 2006-09-15 | 2011-09-27 | Apple Inc. | Using non-speech sounds during text-to-speech synthesis |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US8401856B2 (en) | 2010-05-17 | 2013-03-19 | Avaya Inc. | Automatic normalization of spoken syllable duration |
US8731931B2 (en) * | 2010-06-18 | 2014-05-20 | At&T Intellectual Property I, L.P. | System and method for unit selection text-to-speech using a modified Viterbi approach |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
WO2012134877A2 (en) * | 2011-03-25 | 2012-10-04 | Educational Testing Service | Computer-implemented systems and methods evaluating prosodic features of speech |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
DE212014000045U1 (de) | 2013-02-07 | 2015-09-24 | Apple Inc. | Sprach-Trigger für einen digitalen Assistenten |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
CN105027197B (zh) | 2013-03-15 | 2018-12-14 | 苹果公司 | 训练至少部分语音命令系统 |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
AU2014278592B2 (en) | 2013-06-09 | 2017-09-07 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
EP3008964B1 (de) | 2013-06-13 | 2019-09-25 | Apple Inc. | System und verfahren für durch sprachsteuerung ausgelöste notrufe |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US9384731B2 (en) * | 2013-11-06 | 2016-07-05 | Microsoft Technology Licensing, Llc | Detecting speech input phrase confusion risk |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
AU2015266863B2 (en) | 2014-05-30 | 2018-03-15 | Apple Inc. | Multi-command single utterance input method |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10937438B2 (en) * | 2018-03-29 | 2021-03-02 | Ford Global Technologies, Llc | Neural network generative modeling to transform speech utterances and augment training data |
US10741169B1 (en) * | 2018-09-25 | 2020-08-11 | Amazon Technologies, Inc. | Text-to-speech (TTS) processing |
CN110264993B (zh) * | 2019-06-27 | 2020-10-09 | 百度在线网络技术(北京)有限公司 | 语音合成方法、装置、设备及计算机可读存储介质 |
CN113129864B (zh) * | 2019-12-31 | 2024-05-31 | 科大讯飞股份有限公司 | 语音特征预测方法、装置、设备及可读存储介质 |
CN111833842B (zh) * | 2020-06-30 | 2023-11-03 | 讯飞智元信息科技有限公司 | 合成音模板发现方法、装置以及设备 |
US20220262340A1 (en) * | 2021-02-02 | 2022-08-18 | Universite Claude Bernard Lyon 1 | Method and device for assisting reading and learning by focusing attention |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5278943A (en) * | 1990-03-23 | 1994-01-11 | Bright Star Technology, Inc. | Speech animation and inflection system |
EP0481107B1 (de) * | 1990-10-16 | 1995-09-06 | International Business Machines Corporation | Sprachsyntheseeinrichtung nach dem phonetischen Hidden-Markov-Modell |
US5384893A (en) | 1992-09-23 | 1995-01-24 | Emerson & Stern Associates, Inc. | Method and apparatus for speech synthesis based on prosodic analysis |
US5636325A (en) | 1992-11-13 | 1997-06-03 | International Business Machines Corporation | Speech synthesis and analysis of dialects |
US5796916A (en) | 1993-01-21 | 1998-08-18 | Apple Computer, Inc. | Method and apparatus for prosody for synthetic speech prosody determination |
CA2119397C (en) | 1993-03-19 | 2007-10-02 | Kim E.A. Silverman | Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation |
US5642520A (en) | 1993-12-07 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for recognizing topic structure of language data |
JP3085631B2 (ja) * | 1994-10-19 | 2000-09-11 | 日本アイ・ビー・エム株式会社 | 音声合成方法及びシステム |
US5592585A (en) | 1995-01-26 | 1997-01-07 | Lernout & Hauspie Speech Products N.C. | Method for electronically generating a spoken message |
US5696879A (en) | 1995-05-31 | 1997-12-09 | International Business Machines Corporation | Method and apparatus for improved voice transmission |
US5704009A (en) | 1995-06-30 | 1997-12-30 | International Business Machines Corporation | Method and apparatus for transmitting a voice sample to a voice activated data processing system |
US5729694A (en) | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
US5828994A (en) * | 1996-06-05 | 1998-10-27 | Interval Research Corporation | Non-uniform time scale modification of recorded audio |
US6029131A (en) * | 1996-06-28 | 2000-02-22 | Digital Equipment Corporation | Post processing timing of rhythm in synthetic speech |
US5905972A (en) * | 1996-09-30 | 1999-05-18 | Microsoft Corporation | Prosodic databases holding fundamental frequency templates for use in speech synthesis |
US6260016B1 (en) * | 1998-11-25 | 2001-07-10 | Matsushita Electric Industrial Co., Ltd. | Speech synthesis employing prosody templates |
-
1999
- 1999-03-15 US US09/268,229 patent/US6185533B1/en not_active Expired - Lifetime
-
2000
- 2000-03-06 EP EP00301820A patent/EP1037195B1/de not_active Expired - Lifetime
- 2000-03-06 ES ES00301820T patent/ES2243200T3/es not_active Expired - Lifetime
- 2000-03-06 DE DE60020434T patent/DE60020434T2/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1037195A3 (de) | 2001-02-07 |
ES2243200T3 (es) | 2005-12-01 |
EP1037195A2 (de) | 2000-09-20 |
EP1037195B1 (de) | 2005-06-01 |
DE60020434D1 (de) | 2005-07-07 |
US6185533B1 (en) | 2001-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60020434T2 (de) | Erzeugung und Synthese von Prosodie-Mustern | |
DE69917415T2 (de) | Sprachsynthese mit Prosodie-Mustern | |
DE60126564T2 (de) | Verfahren und Anordnung zur Sprachsysnthese | |
DE69719654T2 (de) | Grundfrequenzmuster enthaltende Prosodie-Datenbanken für die Sprachsynthese | |
DE102017124264B4 (de) | Computerimplementiertes Verfahren und Rechensystem zum Bestimmen phonetischer Beziehungen | |
DE69427525T2 (de) | Trainingsmethode für ein tts-system, sich daraus ergebendes gerät und methode zur bedienung des gerätes | |
DE69828141T2 (de) | Verfahren und Vorrichtung zur Spracherkennung | |
DE60118874T2 (de) | Prosodiemustervergleich für Text-zu-Sprache Systeme | |
DE69821673T2 (de) | Verfahren und Vorrichtung zum Editieren synthetischer Sprachnachrichten, sowie Speichermittel mit dem Verfahren | |
DE69908047T2 (de) | Verfahren und System zur automatischen Bestimmung von phonetischen Transkriptionen in Verbindung mit buchstabierten Wörtern | |
DE69713452T2 (de) | Verfahren und System zur Auswahl akustischer Elemente zur Laufzeit für die Sprachsynthese | |
DE69620399T2 (de) | Sprachsynthese | |
DE60035001T2 (de) | Sprachsynthese mit Prosodie-Mustern | |
DE60201262T2 (de) | Hierarchische sprachmodelle | |
DE60216069T2 (de) | Sprache-zu-sprache erzeugungssystem und verfahren | |
DE69719270T2 (de) | Sprachsynthese unter Verwendung von Hilfsinformationen | |
DE69028072T2 (de) | Verfahren und Einrichtung zur Sprachsynthese | |
DE69834553T2 (de) | Erweiterbares spracherkennungssystem mit einer audio-rückkopplung | |
DE69031165T2 (de) | System und methode zur text-sprache-umsetzung mit hilfe von kontextabhängigen vokalallophonen | |
DE69827988T2 (de) | Sprachmodelle für die Spracherkennung | |
DE69413052T2 (de) | Sprachsynthese | |
DE69909716T2 (de) | Formant Sprachsynthetisierer unter Verwendung von Verkettung von Halbsilben mit unabhängiger Überblendung im Filterkoeffizienten- und Quellenbereich | |
EP1184839B1 (de) | Graphem-Phonem-Konvertierung | |
DE69925932T2 (de) | Sprachsynthese durch verkettung von sprachwellenformen | |
DE69521244T2 (de) | System zur Text-Sprache-Umsetzung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |