EP1170723A2 - Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese - Google Patents

Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese Download PDF

Info

Publication number
EP1170723A2
EP1170723A2 EP01114696A EP01114696A EP1170723A2 EP 1170723 A2 EP1170723 A2 EP 1170723A2 EP 01114696 A EP01114696 A EP 01114696A EP 01114696 A EP01114696 A EP 01114696A EP 1170723 A2 EP1170723 A2 EP 1170723A2
Authority
EP
European Patent Office
Prior art keywords
phonemes
clusters
duration
primary
statistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01114696A
Other languages
English (en)
French (fr)
Other versions
EP1170723B1 (de
EP1170723A3 (de
Inventor
Martin Dr. Holzapfel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify GmbH and Co KG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1170723A2 publication Critical patent/EP1170723A2/de
Publication of EP1170723A3 publication Critical patent/EP1170723A3/de
Application granted granted Critical
Publication of EP1170723B1 publication Critical patent/EP1170723B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Definitions

  • the present invention relates to a method for producing statistics of phone durations and a method for determining the duration of individual phones for speech synthesis.
  • a phoneme is smallest meaningful, but not self-meaningful linguistic unity (e.g. b in leg in difference to p in pain).
  • a phon is the pronounced one According to a phoneme.
  • a phoneme Triphones in their left-right context a medium phonelength or sound duration assigned. This phone duration becomes everyone Phones of the spoken text are identified in the same Context in the spoken text as in the respective triphone occur, that is, their neighboring phones correspond to the neighboring phonemes in the triphone.
  • the phonemes of the synthesized Text the mean length of the phoneme assigned to statistics, the context of which in the triphone Corresponds to the context of the phoneme in the text to be synthesized. Is e.g. the duration of the phoneme "b" of the word “But” to determine, so in the known method
  • the phoneme "b” is assigned the duration of the phon that is in the statistics is assigned to the phoneme "b" in the triphone "abe”.
  • the contexts of the triphone and in the text to be synthesized are here each identical.
  • the invention has for its object a method for Generate statistics of phone durations, based on this statistic in synthetic speech production Phon durations can be controlled, and a method for determining the duration of individual phones for speech synthesis create what makes a speech synthesis with more natural pronunciation than to be achieved with known methods.
  • the task is done with a method of generating statistics of Phon durations with the features of claim 1 and through a method of determining the duration of individual phones solved with the features of claim 11.
  • Advantageous configurations the invention are specified in the subclaims.
  • the statistics generated by the method according to the invention thus consists of a primary statistic and a secondary statistic.
  • the primary statistics can be based on primary clusters e.g. each have three phonemes, so that they are the beginning explained statistics based on triphones.
  • the Secondary statistics is another statistic based on Secondary esters, at least in the number of phonemes partly from the number of phonemes in the primary clusters differ. This will make language-specific statistics achieved for the duration of the phone.
  • the primary clusters three phonemes and the secondary clusters include four phonemes, creating a larger context (four phonemes versus three phonemes) in the determination the average duration of the phone is taken into account, so that achieved through a much more language-specific evaluation becomes.
  • the primary clusters have a constant number of phonemes, whereas the number of phonemes in the secondary clusters is variable. So can e.g. the primary clusters each have three phonemes and the Secondary clusters each encompass all phonemes of a word. With the help of these secondary clusters, a word-specific one is then created Evaluation of the phone duration achieved, which is much more precise is than that based on the Triphone.
  • only secondary clusters are recorded in the secondary statistics Frequency in the text greater than or equal to a predetermined Minimum frequency is. This ensures that in frequencies not significant in the statistics are not taken into account become. So it is convenient to use words in the Text on which the statistics are based, only once or occur twice, not taken into account.
  • the language-specific one is preferred Secondary statistics evaluated when determining the duration of the phone. It should be noted here that when generating the Secondary statistics only have identical contexts between the Secondary clusters and the corresponding section in the spoken and recorded text on which the statistics are taken into account, whereas primary statistics Similar clusters should also be considered if there is no identical match. This is a Another reason why the first attempt is secondary statistics evaluate before using the primary statistics becomes.
  • the method for determining the duration of individual phones becomes the standard deviation of the individual average phone duration taken into account. This causes another adaptation to a natural pronunciation.
  • Fig. 1 shows the basic procedures for a method for Generate statistics of phone durations based on this the duration of the phone is controlled in synthetic speech generation can be.
  • step S1 a predetermined training text is spoken by a speaker and recorded.
  • the recording is done using of a microphone that converts the acoustic speech signals into corresponding ones converts electrical speech signals.
  • the recorded voice signal is broken down into individual ones in step S3 Segmented phone. Segmenting the speech signal into The individual phone is often operated manually by a language expert carried out. They are also fully and partially automatic Methods known, which are usually based on an HMM (Hidden Markow Model) Algorithm based.
  • HMM Hidden Markow Model
  • step S4 the individual phones are statistically evaluated, the duration of which is determined. Phon durations of phones, the same phoneme in the same or similar context are statistically evaluated by their mean values and standard deviations are calculated.
  • the method steps to be carried out according to the invention in the statistical evaluation (S4) are in Fig. 2 in a flow chart shown.
  • the statistical begins with step S6 Evaluation.
  • the individual phones of the training text assigned to a primary cluster.
  • the primary cluster on triphon consisting of three phonemes.
  • a phon of the training text is assigned to the triphone whose middle phoneme corresponds to the phon of the training text and the same Context like the section of the training text in which the to be assigned is arranged. This means, that the phonemes adjacent to the middle phoneme of the triphone the neighboring phones of the phone to be assigned Correspond to the training text. Should e.g.
  • this phone becomes the phoneme "f" in the triphone assigned to "nfa” because the two neighboring phonemes “n” (left) and “a” (right) the corresponding phones of "n” and "a” in the training text.
  • the primary clusters are stored in a predetermined list. If the primary clusters are triphones, one includes such list typically 1500 to 2000 triphones. In this List are the most common permutations of contain three consecutive phonemes. Rare and similar sounding permutations are summarized in a cluster. For example, the Triphone "ter” and "der” in a cluster.
  • the phones are the respective phonemes in the same or similar context assigned.
  • step S8 the average phone duration is d 'and the standard deviation G for the middle phoneme of each primary clusters consisting of three phonemes. in this connection the sound durations of each become a primary cluster assigned to the assigned phone and saved as the average duration and the corresponding standard deviation G is calculated.
  • step S8 primary statistics are thus generated, the essentially of those discussed at the beginning, from the state the technology known statistics corresponds.
  • step S9 the individual phone secondary clusters are assigned.
  • the Secondary clusters all phonemes of a word. The length the secondary cluster is therefore variable.
  • a major difference compared to Step S7 is that here is not just a phone Kluster is assigned, but all phones of a word assigned to the corresponding phonemes of the secondary cluster, that is, all phonemes of the secondary clusters each a phone is assigned.
  • step S10 it is checked whether whether the phonemes of the secondary clusters each have at least three Phone of the training text have been assigned. Is this not the case, it means that the corresponding word in the Training text occurs less than three times and therefore not is statistically significant. Secondary clusters, those less than three words of the training text have been assigned, will be deleted.
  • the required Frequency for significance three In the present embodiment, the required Frequency for significance three. To achieve a larger one statistical security, it may be appropriate to correspondingly higher value.
  • step S11 the average phone duration is d 'and the standard deviation G for each phoneme of the secondary clusters calculated and saved. As a result of step S11 becomes secondary statistics based on the secondary clusters receive.
  • Fig. 2 is a Get statistics that are much more language specific because the individual phone durations are very different from the corresponding one Depend on context and a much more precise context through the context of an entire word is considered if this is statistically possible. Is based on such two-stage statistics the length of time for a speech synthesis determined, this enables a much more natural Synthesis of language.
  • Both other primary clusters can be used within the scope of the invention and secondary clusters can be used.
  • secondary clusters can be used.
  • To use secondary clusters e.g. a complete Phrase, a complete sentence or an entire paragraph can.
  • a typical example of a very special one A speech system is used in a navigation system for motor vehicles, in which repeated very similar sentences and sentence structures are generated.
  • Fig. 3 is a method for determining individual phones for the speech synthesis is shown schematically in a flow chart.
  • the starting point of the procedure is that a phoneme is one too synthesizing text is converted into a phon and the The duration of this phone is to be determined.
  • step S14 the context of the phoneme is determined in the source text.
  • the scope of the context is expediently chosen so that it corresponds to the length of the secondary crusher. in the present embodiment, the context is in scope one word.
  • step S15 it is checked whether the context determined in step S14 is stored as a secondary cluster in the secondary statistics. If this is the case, the program flow goes to step S16, with which the average phonetime d 'that is assigned to the phoneme of the secondary locker, which corresponds to the phoneme of the source text, and the phone durations and the standard deviation are read out.
  • Vowels such as "a” are widely varied, which is why they have a correspondingly large standard deviation.
  • the speed scaling factor s can also assume negative values, which shortens the duration of the phone compared to the average duration of the phone.
  • step S18 it is checked whether the section of the Context in the area of the phoneme to be implemented is identical to is a primary cluster of primary statistics. Is this the If so, the process flow goes to step S19. in the Step S19 becomes the average phone duration and the standard deviation of the middle phoneme of the corresponding primary cleaver read. The procedure then works via step S17, in the manner explained above the actual phone duration to be used is calculated.
  • step S18 If the query in step S18 shows that the context of the Source text is not an identical primary cluster in the primary statistics is present, so the procedure goes on Via step S20, in which a primary cluster is determined that is as similar as possible to the context in terms of sound.
  • step S21 the average phone duration and the standard deviation of the mean phoneme of this primary cleaver read. The procedure then works over to step S17.
  • step S17 After execution of step S17, the method for determining the duration of a phon of a phoneme of an original text ended in step S18.
  • the method according to the invention for determining the duration of the phone is a two-step process for speech synthesis, in which an attempt is first made using the secondary statistics to determine an average phone duration based on a special Context (here: word length) is based, creating a length of sound that of natural speech is essentially determined is more similar than that determined on the basis of primary statistics Phondauer. Should this duration of the phone be determined using the Secondary statistics may not be possible, so the primary statistics resorted to, which is basically always applicable is.
  • the combination of the method for generating the Statistics and the procedure for determining the duration of the phone provides an essentially purely statistical method Determine the duration of the phone, essentially without expert knowledge can be created and applied.
  • this step using known methods can also be automated.
  • the methods according to the invention are so easy to implement and train. Nevertheless have first attempts with Prototypes showed that they are essential in speech synthesis Cause an increase in speech quality since the Phondauer by providing secondary statistics more language-specific is determined.
  • the methods described above can be used as computer programs be realized, which can be generated independently on a computer the statistics or to determine the duration of the phone. They therefore represent automatically executable procedures.
  • the computer programs can also be read on electrically readable data carriers stored and so on other computer systems be transmitted.
  • FIG. 4 A suitable for using the method according to the invention Computer system is shown in FIG. 4.
  • the computer system 1 has an internal bus 2 with a memory area 3, a central processor unit 4 and an interface 5 connected is.
  • the interface 5 provides a data line 6 establishes a data connection to further computer systems.
  • On the internal bus 2 are also an acoustic output unit 7, a graphic output unit 8 and an input unit 9 connected.
  • the acoustic output unit 7 is with a Loudspeaker 10, the graphic output unit 8 with a Screen 11 and the input unit 9 with a keyboard 12 connected.
  • On the computer system 1 can via the data line 6 and the interface 5 voice recordings of a text are transmitted, which are stored in memory area 3 become.
  • the storage area 3 is divided into several areas, in which voice recordings, audio files, application programs to carry out the method according to the invention and other application and utility programs saved are.
  • the language files are provided with predetermined program packages analyzed and segmented into the individual phones. After that the inventive method for generating a Statistics carried out, with the result being the primary and secondary statistics available.
  • One for example via the data line 6 and the interface 5 Text stored in memory area 3 can then be converted into a Audio file are implemented, the duration of the phone using the inventive method (Fig. 3) based on the primary and secondary statistics can be determined.
  • An audio file generated in this way is used via the internal bus 2 acoustic output unit 7 transmitted and from this on Loudspeaker 10 output as language.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Statistik von Phondauern und ein Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese. Erfindungsgemäß wird eine Primärstatistik vorgesehen, die beispielsweise auf Primärklustern (z.B. Triphonen) beruht und eine Sekundärstatistik, die auf Sekundärklustern (z.B. Phoneme von ganzen Wörtern) beruht. Beide Statistiken beinhalten mittlere Phondauern und beispielsweise die Standardabweichung der mittleren Phondauern. Bei der Ermittlung der Phondauern wird zunächst versucht, diese anhand der Sekundärstatistik, die sprachspezifischer ist, zu ermitteln. Falls dies nicht der Fall ist, wird auf die Primärstatistik zurückgegriffen, die immer anwendbar ist. Durch dieses zweistufige Verfahren wird eine Phondauer ermittelt, die einer natürlichen Sprache wesentlich besser entspricht, als dies mit dem bekannten einstufigen Verfahren möglich war. <IMAGE>

Description

Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Statistik von Phondauern und ein Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese.
Im Sinne der vorliegenden Anmeldung ist ein Phonem die kleinste bedeutungsunterscheidende, aber nicht selbstbedeutungstragende sprachliche Einheit (z.B. b in Bein im Unterschied zu p in Pein). Ein Phon ist hingegen der ausgesprochene Laut eines Phonems.
Verfahren zum Erzeugen einer Statistik von Phondauern, wobei auf Grundlage dieser Statistik bei der synthetischen Spracherzeugung die Phondauern gesteuert werden können, sind bekannt. Bei derartigen Verfahren wird ein von einem Sprecher gesprochener Text aufgezeichnet und der aufgezeichnete Text in einzelne Phone segmentiert. Von den einzelnen Phonen wird die Lautlänge bestimmt. Diese Phondauer wird in einer Statistik erfasst, wobei die Statistik eine Liste von Triphonen aufweist. Ein Triphon ist ein Kluster von einem oder mehreren Phonemen mit dem jeweiligen rechten und linken Kontext.
Bei den bekannten Verfahren wird jeweils einem Phonem der Triphone in ihrem links-rechts Kontext eine mittlere Phonlänge bzw. Lautdauer zugeordnet. Diese Phondauer wird aus allen Phonen des gesprochenen Textes ermittelt, die im gleichen Kontext im gesprochenen Text wie in dem jeweiligen Triphon vorkommen, das heißt deren benachbarte Phone korrespondieren zu den benachbarten Phonemen im Triphon.
Bei den bekannten Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese werden den Phonemen des zu synthetisierenden Textes die jeweils mittlere Lautdauer des Phonems der Statistik zugeordnet, dessen Kontext im Triphon dem Kontext des Phonems im zu synthetisierenden Textes entspricht. Ist z.B. die Phondauer des Phonems "b" des Wortes "aber" zu Ermitteln, so wird bei dem bekannten Verfahren dem Phonem "b" diejenige Phondauer zugeordnet, die in der Statistik dem Phonem "b" im Triphon "abe" zugeordnet ist. Die Kontexte des Triphons und im zu synthetisierenden Text sind hier jeweils identisch.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erzeugen einer Statistik von Phondauern, wobei auf Grundlage dieser Statistik bei der synthetischen Spracherzeugung die Phondauern gesteuert werden können, und ein Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese zu schaffen, wodurch eine Sprachsynthese mit natürlicherer Aussprache als bei bekannten Verfahren erzielt werden soll.
Die Aufgabe wird mit einem Verfahren zum Erzeugen einer Statistik von Phondauern mit den Merkmalen des Anspruchs 1 und durch ein Verfahren zum Ermitteln der Dauer einzelner Phone mit den Merkmalen des Anspruchs 11 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Das erfindungsgemäße Verfahren zum Erzeugen einer Statistik von Phondauern auf Grundlage derer bei der synthetischen Spracherzeugung die Phondauern gesteuert werden können, umfasst folgende Schritte:
  • Zuordnen von Phonen eines in Phone segmentierten gesprochenen und aufgezeichneten Textes zu Phonemen von vorbestimmten Primärklustern, die aus mehreren Phonemen zusammengesetzt sind, wobei jeweils ein Phon einem Phonem eines Primärklusters zugeordnet wird, wenn es im gesprochenen Text zu einem im Kontext des Phonems des Primärklusters identischen oder ähnlichen Kontext auftritt,
  • Erstellen einer Primärstatistik, die zumindest die mittlere Phondauer aller Phone, die dem jeweiligen Phonem eines Primärklusters zugeordnet sind, umfasst,
  • Zuordnen von Phonen des gesprochenen und aufgezeichneten Textes zu Phonemen zu vorbestimmten Sekundärklustern, die aus Phonemen zusammengesetzt sind, wobei zumindest die Anzahl Phoneme einiger Sekundärkluster sich von der Anzahl der Phoneme der Primärkluster unterscheidet, wobei jeweils ein Phon einem Phonem eines Sekundärklusters zugeordnet wird, wenn es im gesprochenen Text zu einem im Kontext des Phonems des Sekundärklusters identischen Kontext auftritt,
  • Erstellen einer Sekundärstatistik, die zumindest die mittlere Phondauer aller Phone, die dem jeweiligen Phonem eines Sekundärklusters zugeordnet sind, umfasst.
Die durch das erfindungsgemäße Verfahren erzeugte Statistik besteht somit aus einer Primärstatistik und einer Sekundärstatistik. Die Primärstatistik kann auf Primärkluster mit z.B. jeweils drei Phonemen beruhen, so dass sie der eingangs erläuterten Statistik auf Basis von Triphonen entspricht. Die Sekundärstatistik ist eine weitere Statistik auf Basis von Sekundärklustern, die sich in der Anzahl der Phoneme zumindest teilweise von der Anzahl der Phoneme der Primärkluster unterscheiden. Hierdurch wird eine sprachspezifischere Statistik zur Phondauer erzielt.
So können z.B. die Primärkluster drei Phoneme und die Sekundärkluster vier Phoneme umfassen, wodurch ein größerer Kontext (vier Phoneme gegenüber drei Phonemen) bei der Ermittlung der mittleren Phondauern berücksichtigt wird, so dass durch eine wesentlich sprachspezifischere Auswertung erzielt wird.
Nach einer bevorzugten Ausführungsform der Erfindung besitzen die Primärkluster eine konstante Anzahl Phoneme, wohingegen die Anzahl der Phoneme der Sekundärkluster variabel ist. So können z.B. die Primärkluster jeweils drei Phoneme und die Sekundärkluster jeweils alle Phoneme eines Wortes umfassen. Mit Hilfe dieser Sekundärkluster wird dann eine wortspezifische Auswertung der Phondauern erzielt, die wesentlich präziser ist, als die auf Grundlage der Triphone.
Nach einer bevorzugten Ausführungsform der Erfindung werden in der Sekundärstatistik nur Sekundärkluster erfasst, deren Häufigkeit im Text größer oder gleich einer vorbestimmten Mindesthäufigkeit ist. Hierdurch wird sichergestellt, dass in der Statistik nicht signifikante Häufigkeiten nicht berücksichtigt werden. So ist es zweckmäßig, Wörter, die in dem Text, auf dem die Statistik beruht, lediglich einmal oder zweimal vorkommen, nicht zu berücksichtigen.
Das erfindungsgemäße Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese beruht auf einer derartigen eine Primärstatistik und eine Sekundärstatistik umfassenden Statistik von Phondauern. Dieses Verfahren umfasst folgende Schritte:
  • Bestimmen, ob das in Sprache umzusetzende Phonem, für das die Phondauer zu ermitteln ist, Bestandteil eines Sekundärklusters ist,
  • Zuordnen der mittleren Phondauer (d), die in der Sekundärstatistik dem entsprechenden Phonem in dem jeweiligen Sekundärkluster zugeordnet ist, falls das Phonem Bestandteil eines Sekundärklusters ist, und
  • Zuordnen der mittleren Phondauer (d), die in der Primärstatistik dem entsprechenden Phonem in dem jeweiligen Primärkluster zugeordnet ist, falls das Phonem nicht Bestandteil eines Sekundärklusters ist.
Bei diesem Verfahren wird bevorzugt die sprachspezifischere Sekundärstatistik bei der Ermittlung der Phondauern ausgewertet. Hierbei ist zu berücksichtigen, dass beim Erzeugen der Sekundärstatistik lediglich identische Kontexte zwischen dem Sekundärkluster und dem entsprechenden Abschnitt in dem gesprochenen und aufgezeichneten Text, auf dem die Statistiken beruhen, berücksichtigt werden, wohingegen bei der Primärstatistik auch ähnliche Kluster zu berücksichtigen sind, falls keine identische Übereinstimmung vorhanden ist. Dies ist ein weiterer Grund, weshalb zunächst versucht wird, die Sekundärstatistik auszuwerten, bevor auf die Primärstatistik zurückgegriffen wird.
Gemäß einer bevorzugten Weiterbildung des Verfahrens zum Ermitteln der Dauer einzelner Phone wird die Standardabweichung der einzelnen mittleren Phondauer berücksichtigt. Dies bewirkt eine weitere Anpassung an eine natürliche Aussprache.
Die Erfindung wird nachfolgend beispielhaft anhand der beiliegenden Zeichnungen näher erläutert. In denen zeigen schematisch:
Fig. 1
einen allgemeinen Überblick über die Abläufe bei der Erzeugung einer Statistik von Phondauern in einem Flussdiagramm,
Fig. 2
die Verfahrensschritte zur statistischen Auswertung einer Sprachaufzeichnung zur Erzeugung einer Statistik von Phondauern,
Fig. 3
ein Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese in einem Flussdiagramm, und
Fig. 4
ein Computersystem zum Ausführen der erfindungsgemäßen Verfahren in einem Blockschaltbild.
Fig. 1 zeigt die grundlegenden Abläufe für ein Verfahren zum Erzeugen einer Statistik von Phondauern, auf deren Grundlage bei der synthetischen Spracherzeugung die Phondauer gesteuert werden kann.
Das Verfahren beginnt mit dem Schritt S1 und im Schritt S2 wird ein vorbestimmter Trainingstext von einem Sprecher gesprochen und aufgezeichnet. Die Aufzeichnung erfolgt mittels eines Mikrofons, das die akustischen Sprachsignale in korrespondierende elektrische Sprachsignale wandelt.
Das aufgezeichnete Sprachsignal wird im Schritt S3 in einzelne Phone segmentiert. Das Segmentieren des Sprachsignals in die einzelnen Phone wird oftmals von einem Sprachexperten manuell durchgeführt. Es sind auch voll- und teilautomatische Verfahren bekannt, die in der Regel auf einem HMM (Hidden-Markow-Model) Algorithmus beruhen.
Im Schritt S4 werden die einzelnen Phone statistisch ausgewertet, wobei deren Dauer bestimmt wird. Phondauern von Phonen, die dem gleichen Phonem im gleichen oder ähnlichen Kontext zugeordnet sind, werden statistisch ausgewertet, indem deren Mittelwerte und Standardabweichungen berechnet werden.
Im Schritt S5 wird dieses Verfahren beendet.
Die erfindungsgemäß auszuführenden Verfahrensschritte bei der statistischen Auswertung (S4) sind in Fig. 2 in einem Flussdiagramm dargestellt. Mit dem Schritt S6 beginnt das statistische Auswerteverfahren. Zunächst werden die einzelnen Phone des Trainingstextes einem Primärkluster zugeordnet. Im vorliegenden Ausführungsbeispiel ist das Primärkluster ein aus drei Phonemen bestehendes Triphon. Ein Phon des Trainingstextes wird demjenigen Triphon zugeordnet, dessen mittleres Phonem dem Phon des Trainingstextes entspricht und das den gleichen Kontext wie der Abschnitt des Trainingstextes in dem das zuzuordnende Phon angeordnet ist, aufweist. Dies bedeutet, dass die zum mittleren Phonem des Triphons benachbarten Phoneme den benachbarten Phonen des zuzuordnenden Phones des Trainingstextes entsprechen. Soll z.B. das Phon des Phonems "f" des Wortes "Anfang" einem solchen Primärkluster zugeordnet werden, so wird dieses Phon dem Phonem "f" im Triphon "nfa" zugeordnet, da die beiden benachbarten Phoneme "n" (links) und "a" (rechts) den entsprechenden Phonen von "n" und "a" im Trainingstext entsprechen.
Die Primärkluster sind in einer vorab festgelegten Liste gespeichert. Sind die Primärkluster Triphone, so umfasst eine solche Liste typischerweise 1500 bis 2000 Triphone. In dieser Liste sind die am häufigsten auftretenden Permutationen von drei aufeinanderfolgenden Phonemen enthalten. Selten und ähnlich klingende Permutationen werden in einem Kluster zusammengefasst. So können z.B. die Triphone "ter" and "der" in einem Kluster zusammengefasst sein.
Bei der Zuordnung nach dem Schritt S7 werden somit die Phone den jeweiligen Phonemen im gleichen oder ähnlichen Kontext zugeordnet.
Am Ende dieses Zuordnungsvorganges sind der Liste der Primärkluster alle Phone des Trainingstextes zugeordnet, das heißt, dass eine Liste vorliegt, in der zu jedem Primärkluster die entsprechenden Phone des Trainingstextes gespeichert sind.
Im Schritt S8 wird die mittlere Phondauer d' und die Standardabweichung G für das jeweils mittlere Phonem eines jedem aus drei Phonemen bestehenden Primärklusters berechnet. Hierbei werden die Lautdauern der einzelnen einem Primärkluster zugeordneten Phone gemittelt und als mittlere Lautdauer gespeichert und die entsprechende Standardabweichung G berechnet.
Mit dem Schritt S8 wird somit eine Primärstatistik erzeugt, die im wesentlicher der eingangs erörterten, aus dem Stand der Technik bekannten Statistik entspricht.
Im Schritt S9 werden die einzelnen Phone Sekundärklustern zugeordnet. Im vorliegenden Ausführungsbeispiel umfassen die Sekundärkluster jeweils alle Phoneme eines Wortes. Die Länge der Sekundärkluster ist somit variabel. Bei der Zuordnung der Phone zu den Sekundärklustern werden die Wörter des Trainingstextes ermittelt und die einzelnen Phone dieser Wörter werden den korrespondierenden Phonemen der entsprechenden Sekundärkluster zugeordnet. Ein wesentlicher Unterschied gegenüber dem Schritt S7 ist, dass hier nicht nur ein Phon einem Kluster zugeordnet wird, sondern alle Phone eines Wortes werden den entsprechenden Phonemen des Sekundärkluster zugeordnet, das heißt, dass allen Phonemen des Sekundärklusters jeweils ein Phon zugeordnet wird. Im Schritt S10 wird geprüft, ob den Phonemen der Sekundärkluster jeweils mindestens drei Phone des Trainingstextes zugeordnet worden sind. Ist dies nicht der Fall, bedeutet dies, dass das entsprechende Wort im Trainingstext weniger als dreimal vorkommt und deshalb nicht statistisch signifikant ist. Sekundärkluster, denen weniger als drei Wörter des Trainingstextes zugeordnet worden sind, werden gelöscht.
Im vorliegenden Ausführungsbeispiel beträgt die geforderte Häufigkeit für die Signifikanz drei. Zur Erzielung einer größeren statistischen Sicherheit kann es zweckmäßig sein, einen entsprechend höheren Wert anzusetzen.
Im Schritt S11 wird die mittlere Phondauer d' und die Standardabweichung G für ein jedes Phonem des Sekundärklusters berechnet und abgespeichert. Als Ergebnis des Schrittes S11 wird eine Sekundärstatistik auf Grundlage der Sekundärkluster erhalten.
Im Schritt S12 wird das Auswerteverfahren beendet.
Mit dem in Fig. 2 gezeigten Ausführungsbeispiel wird eine Statistik erhalten, die wesentlich sprachspezifischer ist, da die einzelnen Phondauern sehr stark von dem entsprechenden Kontext abhängen und ein wesentlich präziserer Kontext durch den Kontext eines gesamten Wortes berücksichtigt wird, falls dies statistisch möglich ist. Wird auf Grundlage einer solchen zweistufigen Statistik die Lautdauer für eine Sprachsynthese bestimmt, so ermöglicht dies eine wesentlich natürlichere Synthese der Sprache.
Im Rahmen der Erfindung können sowohl andere Primärkluster und Sekundärkluster verwendet werden. Insbesondere ist es z.B. möglich Sekundärkluster mit einer konstanten Länge von z.B. vier Phonemen zu verwenden. Es könnte jedoch auch zweckmäßig sein, bei bestimmten Anwendungen, wesentlich längere Sekundärkluster zu verwenden, die z.B. eine vollständige Phrase, einen vollständigen Satz oder einen ganzen Absatz umfassen können. Je länger die Sekundärkluster gewählt werden, desto spezieller sollte das Anwendungsgebiet der Sprachsynthese sein. Ein typisches Beispiel für ein sehr spezielles Anwendungsgebiet einer Sprachsynthese ist ein Navigationssystem für Kraftfahrzeuge, bei dem wiederholt sehr ähnliche Sätze und Satzstrukturen erzeugt werden.
In Fig. 3 ist ein Verfahren zum Ermitteln einzelner Phone für die Sprachsynthese schematisch in einem Flussdiagramm dargestellt.
Ausgangspunkt des Verfahrens ist, dass ein Phonem eines zu synthetisierenden Textes in ein Phon umgesetzt wird und die Dauer dieses Phons zu bestimmen ist.
Das Verfahren beginnt mit dem Schritt S13. Im Schritt S14 wird der Kontext des Phonems im Ausgangstext bestimmt. Hierbei wird zweckmäßigerweise der Umfang des Kontextes so gewählt, dass er der Länge des Sekundärklusters entspricht. Im vorliegenden Ausführungsbeispiel wird der Kontext im Umfang eines Wortes bestimmt.
Im Schritt S15 wird geprüft, ob der im Schritt S14 ermittelte Kontext als Sekundärkluster in der Sekundärstatistik gespeichert ist. Ist dies der Fall, geht der Programmablauf auf den Schritt S16 über, mit dem die mittlere Phondauer d' die dem Phonem des Sekundärklusters zugeordnet ist, der dem Phonem des Ausgangstextes entspricht, und die Phondauern und die Standardabweichung ausgelesen werden. Der Programmablauf geht dann auf den Schritt S17 über, bei dem die tatsächlich anzuwendende Phondauer d aus der mittleren Phondauer d' und der Standardabweichung G gemäß folgender Formel berechnet wird: d=d'+G·s, wobei s ein Geschwindigkeitsskalierungsfaktor ist, der gemäß folgender Formel berechnet wird: s = Rrel - 1, wobei Rrel das Verhältnis der zu sprechenden Sprechgeschwindigkeit gegenüber der Sprechgeschwindigkeit ist, mit der der Text auf dem die Statistik beruht, gesprochen worden ist. Durch die Berücksichtigung der Standardabweichung werden Phone, die der Sprecher des Trainingstextes mit stark unterschiedlichen Längen ausgesprochen hat, entsprechend stark bei der Sprachsynthese variiert. Z.B. werden Plosiv-Laute, wie z.B. "k" sehr wenig variiert, weshalb sie eine sehr kleine Standardabweichung besitzen. Sie werden bei der Sprachsynthese entsprechend wenig variiert. Vokale, wie z.B. "a" werden stark variiert, weshalb sie eine entsprechend große Standardabweichung besitzen. Bei obigen Formeln ist zu berücksichtigen, dass der Geschwindigkeitsskalierungsfaktor s auch negative Werte annehmen kann, wodurch die Phondauer gegenüber der mittleren Phondauer entsprechend verkürzt wird.
Ergibt die Abfrage im Schritt S15 hingegen, dass der im Schritt S14 ermittelte Kontext nicht in der Sekundärstatistik enthalten ist, so geht der Verfahrensablauf auf den Schritt S18 über. Im Schritt S18 wird geprüft, ob der Abschnitt des Kontextes im Bereich des umzusetzenden Phonems identisch zu einem Primärkluster der Primärstatistik ist. Ist dies der Fall, geht der Verfahrensablauf auf den Schritt S19 über. Im Schritt S19 wird die mittlere Phondauer und die Standardabweichung des mittleren Phonems des entsprechenden Primärklusters ausgelesen. Der Verfahrensablauf geht dann auf den Schritt S17 über, mit dem in der oben erläuterten Weise die tatsächlich anzuwendende Phondauer berechnet wird.
Ergibt die Abfrage im Schritt S18, dass zu dem Kontext des Ausgangstextes kein identisches Primärkluster in der Primärstatistik vorhanden ist, so geht der Verfahrensablauf auf den Schritt S20 über, in dem ein Primärkluster bestimmt wird, das dem Kontext klanglich möglichst ähnlich ist.
Im darauffolgenden Schritt S21 werden die mittlere Phondauer und die Standardabweichung des mittleren Phonems dieses Primärklusters ausgelesen. Der Verfahrensablauf geht dann auf den Schritt S17 über.
Nach Ausführung des Schrittes S17 wird das Verfahren zum Ermitteln der Dauer eines Phons eines Phonems eines Ausgangstextes im Schritt S18 beendet.
Das erfindungsgemäße Verfahren zum Bestimmen der Phondauern für die Sprachsynthese ist somit ein zweistufiges Verfahren, bei dem zunächst versucht wird, mittels der Sekundärstatistik eine mittlere Phondauer zu ermitteln, die auf einem speziellen Kontext (hier: Wortlänge) beruht, wodurch eine Lautdauer ermittelt wird die der natürlichen Sprechweise wesentlich ähnlicher ist, als die auf Grund der Primärstatistik ermittelte Phondauer. Sollte diese Phondauerbestimmung mittels der Sekundärstatistik nicht möglich sein, so wird auf die Primärstatistik zurückgegriffen, die grundsätzlich immer anwendbar ist.
Insbesondere die Kombination des Verfahrens zum Erzeugen der Statistik und des Verfahrens zum Ermitteln der Phondauern stellt ein im wesentlichen rein statistisches Verfahren zur Ermittlung der Phondauern dar, das im wesentlichen ohne Expertenwissen erstellt und angewendet werden kann. Bei dem oben beschriebenen Ausführungsbeispiel wird z.B. lediglich bei der Segmentierung der Sprachaufzeichnung Expertenwissen eingesetzt, wobei dieser Schritt mittels bekannter Verfahren auch automatisierbar ist.
Die erfindungsgemäßen Verfahren sind so einfach zu implementieren und zu trainieren. Dennoch haben erste Versuche mit Prototypen gezeigt, dass sie bei der Sprachsynthese eine wesentliche Steigerung der Sprachqualität bewirken, da die Phondauer durch das Vorsehen der Sekundärstatistik sprachspezifischer ermittelt wird.
Die oben beschriebenen Verfahren können als Computerprogramme realisiert werden, die selbständig auf einem Computer zum Erzeugen der Statistik bzw. zum Ermitteln der Phondauern ablaufen. Sie stellen somit automatisch ausführbare Verfahren dar.
Die Computerprogramme können auch auf elektrisch lesbaren Datenträgern gespeichert werden und so auf andere Computersysteme übertragen werden.
Ein zur Anwendung des erfindungsgemäßen Verfahrens geeignetes Computersystem ist in Fig. 4 gezeigt. Das Computersystem 1 weist einen internen Bus 2 auf, der mit einem Speicherbereich 3, einer zentralen Prozessoreinheit 4 und einem Interface 5 verbunden ist. Das Interface 5 stellt über eine Datenleitung 6 eine Datenverbindung zu weiteren Computersystemen her. An dem internen Bus 2 sind ferner eine akustische Ausgabeeinheit 7, eine grafische Ausgabeeinheit 8 und eine Eingabeeinheit 9 angeschlossen. Die akustische Ausgabeeinheit 7 ist mit einem Lautsprecher 10, die grafische Ausgabeeinheit 8 mit einem Bildschirm 11 und die Eingabeeinheit 9 mit einer Tastatur 12 verbunden. An dem Computersystem 1 können über die Datenleitung 6 und das Interface 5 Sprachaufzeichnungen eines Textes übertragen werden, die im Speicherbereich 3 abgespeichert werden. Der Speicherbereich 3 ist in mehrere Bereiche unterteilt, in denen Sprachaufzeichnungen, Audiodateien, Anwendungsprogramme zum Durchführen der erfindungsgemäßen Verfahren und weitere Anwendungs- und Hilfsprogramme gespeichert sind. Die Sprachdateien werden mit vorbestimmten Programmpaketen analysiert und in die einzelnen Phone segmentiert. Danach wird das erfindungsgemäße Verfahren zum Erzeugen einer Statistik ausgeführt, wobei als Ergebnis die Primär- und Sekundärstatistik vorliegen.
Ein beispielsweise über die Datenleitung 6 und das Interface 5 im Speicherbereich 3 abgespeicherter Text kann dann in eine Audiodatei umgesetzt werden, wobei die Phondauern mittels des erfindungsgemäßen Verfahrens (Fig. 3) auf Grundlage der Primär- und Sekundärstatistik bestimmt werden.
Eine so erzeugte Audiodatei wird über den internen Bus 2 zur akustischen Ausgabeeinheit 7 übertragen und von dieser am Lautsprecher 10 als Sprache ausgegeben.

Claims (15)

  1. Verfahren zum Erzeugen einer Statistik von Phondauern, wobei auf Grundlage dieser Statistik bei der synthetischen Spracherzeugung die Phondauern gesteuert werden können, umfassend folgende Schritte:
    Zuordnen von Phonen eines in Phone segmentierten gesprochenen und aufgezeichneten Textes zu Phonemen von vorbestimmten Primärklustern, die aus mehreren Phonemen zusammengesetzt sind, wobei jeweils ein Phon einem Phonem eines Primärklusters zugeordnet wird, wenn es im gesprochenem Text zu einem dem Kontext des Phonems des Primärklusters identischen oder ähnlichen Kontext auftritt,
    Erstellen einer Primärstatistik, die zumindest die mittlere Phondauer aller Phone, die dem jeweiligen Phonem eines Primärklusters zugeordnet sind, umfasst,
    gekennzeichnet durch
    Zuordnen von Phonen des gesprochenen und aufgezeichneten Textes zu Phonemen von vorbestimmten Sekundärklustern, die aus Phonemen zusammengesetzt sind, wobei zumindest die Anzahl Phoneme einiger Sekundärkluster sich von der Anzahl der Phoneme der Primärkluster unterscheidet, wobei jeweils ein Phon einem Phonem eines Sekundärklusters zugeordnet wird, wenn es im gesprochenem Text zu einem dem Kontext des Phonems des Sekundärklusters identischen Kontext auftritt,
    Erstellen einer Sekundärstatistik, die zumindest die mittlere Phondauer aller Phone, die dem jeweiligen Phonem eines Sekundärklusters zugeordnet sind, umfasst.
  2. Verfahren zum Erzeugen einer Statistik von Phondauern nach Anspruch 1,
    dadurch gekennzeichnet, dass die Anzahl der Phoneme der Primärkluster konstant ist und die Anzahl z.B. gleich 3 ist.
  3. Verfahren zum Erzeugen einer Statistik nach Anspruch 1 oder 2,
    dadurch gekennzeichnet, dass die Anzahl der Phoneme des Sekundärklusters variabel ist und die Sekundärkluster z.B. jeweils die Phoneme eines Wortes umfassen.
  4. Verfahren zum Erzeugen einer Statistik nach einem der Ansprüche 1 bis 3,
    dadurch gekennzeichnet, dass die Primärstatistik und die Sekundärstatistik jeweils die Standardabweichung der jeweiligen Phondauer umfassen.
  5. Verfahren zum Erzeugen einer Statistik nach einem der Ansprüche 1 bis 4,
    dadurch gekennzeichnet, dass mit der Sekundärstatistik nur Sekundärkluster erfasst werden, deren Häufigkeit im Text größer oder gleich einer vorbestimmten Mindesthäufigkeit ist.
  6. Verfahren zum Erzeugen einer Statistik nach einem der Ansprüche 1 bis 5,
    dadurch gekennzeichnet, dass die Mindesthäufigkeit zumindest 3 beträgt und vorzugsweise im Bereich von 3 bis 10 liegt.
  7. Verfahren zum Erzeugen einer Statistik nach einem der Ansprüche 1 bis 6,
    dadurch gekennzeichnet, dass die Zuordnung der Phone zu Phonemen der Primärkluster mittels einer vorbestimmten Liste von in Primärklustern gruppierten Phonemen erfolgt, wobei die Phone den einzelnen Phonemen der Primärkluster der Liste zugeordnet werden und die einzelnen Zuordnungen abgespeichert werden.
  8. Verfahren nach Anspruch 7,
    dadurch gekennzeichnet, dass zu den einzelnen Phonemen der Primärklustern der Liste auf Grundlage der abgespeicherten Zuordnungen jeweils die mittlere Phondauer (d) und die Standardabweichung (G) der mittleren Phondauer berechnet werden.
  9. Verfahren nach einem der Ansprüche 1 bis 8,
    dadurch gekennzeichnet, dass die Zuordnung der Phone zu den Phonemen der Sekundärkluster mittels einer vorbestimmten Liste von in Sekundärklustern gruppierten Phonemen erfolgt, wobei die Phone den einzelnen Phonemen der Sekundärkluster der Liste zugeordnet werden und die einzelnen Zuordnungen abgespeichert werden.
  10. Verfahren nach Anspruch 9,
    dadurch gekennzeichnet, dass zu den einzelnen Phonemen der Sekundärkluster der Liste auf Grundlage der abgespeicherten Zuordnungen jeweils die mittlere Phondauer (d) und die Standardabweichung (G) der mittleren Phondauer berechnet werden.
  11. Verfahren zum Ermitteln der Dauer einzelne Phone für die Sprachsynthese, mittels einer Statistik von Phondauern, die eine Primärstatistik und eine Sekundärstatistik aufweist, wobei die Primärstatistik in Primärkluster gruppierte Phoneme umfasst, und den einzelnen Phonemen der Primärkluster zumindest eine mittlere Phondauer zugeordnet ist, und die Sekundärstatistik in Sekundärkluster gruppierte Phoneme umfasst, und den einzelnen Phonemen der Sekundärkluster zumindest eine mittlere Phondauer zugeordnet ist, umfassend folgende Schritte:
    Bestimmen, ob das in Sprache umzusetzende Phonem, für das die Phondauer zu ermitteln ist, Bestandteil eines Sekundärklusters ist,
    Zuordnen der mittleren Phondauer (d), die in der Sekundärstatistik dem entsprechendem Phonem in dem jeweiligen Sekundärkluster zugeordnet ist, falls das Phonem Bestandteil eines Sekundärklusters ist, und
    Zuordnen der mittleren Phondauer (d), die in der Primärstatistik dem entsprechendem Phonem in dem jeweiligen Primärkluster zugeordnet ist, falls das Phonem nicht Bestandteil eines Sekundärklusters ist.
  12. Verfahren zum Ermitteln der Dauer der einzelnen Phone bei der Sprachsynthese mittels einer Statistik mit einem Verfahren nach einem der Ansprüche 1 bis 10 erzeugten Statistik.
  13. Verfahren nach Anspruch 11 oder 12,
    dadurch gekennzeichnet, dass bei der Ermittlung der Dauer (d) der einzelnen Phone die Standardabweichungen (G) der in der Statistik gespeicherten mittleren Phondauern (d') gemäß folgender Formel berücksichtigt werden d = d'+G·s, wobei s ein Geschwindigkeitsskalierungsfaktor ist, der gemäß folgender Formel berechnet wird s = Rrel - 1, wobei Rrel das Verhältnis der zu sprechenden Sprechgeschwindigkeit gegenüber der Sprechgeschwindigkeit, mit der der Text auf dem die Statistik beruht, gesprochen worden ist.
  14. Vorrichtung zum Erzeugen einer Statistik von Phondauern auf Grundlage derer bei der synthetischen Spracherzeugung die Phondauern gesteuert werden können, mit
    einem Computersystem (1), das einen Speicherbereich (3) aufweist, in dem ein Programm zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 10 gespeichert ist.
  15. Vorrichtung zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese mit
    einem Computersystem (1), das einen Speicherbereich (3) aufweist, in dem ein Programm zum Ausführen eines Verfahrens nach einem der Ansprüche 11 bis 13 gespeichert ist.
EP01114696A 2000-07-07 2001-06-19 Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese Expired - Lifetime EP1170723B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10033104 2000-07-07
DE10033104A DE10033104C2 (de) 2000-07-07 2000-07-07 Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese

Publications (3)

Publication Number Publication Date
EP1170723A2 true EP1170723A2 (de) 2002-01-09
EP1170723A3 EP1170723A3 (de) 2002-10-30
EP1170723B1 EP1170723B1 (de) 2010-11-03

Family

ID=7648160

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01114696A Expired - Lifetime EP1170723B1 (de) 2000-07-07 2001-06-19 Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese

Country Status (3)

Country Link
US (1) US6934680B2 (de)
EP (1) EP1170723B1 (de)
DE (2) DE10033104C2 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328157B1 (en) * 2003-01-24 2008-02-05 Microsoft Corporation Domain adaptation for TTS systems
US9245526B2 (en) * 2006-04-25 2016-01-26 General Motors Llc Dynamic clustering of nametags in an automated speech recognition system
US8924194B2 (en) * 2006-06-20 2014-12-30 At&T Intellectual Property Ii, L.P. Automatic translation of advertisements
US8447609B2 (en) * 2008-12-31 2013-05-21 Intel Corporation Adjustment of temporal acoustical characteristics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490234A (en) * 1993-01-21 1996-02-06 Apple Computer, Inc. Waveform blending technique for text-to-speech system
US5970453A (en) * 1995-01-07 1999-10-19 International Business Machines Corporation Method and system for synthesizing speech

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19508711A1 (de) 1995-03-10 1996-09-12 Siemens Ag Verfahren zur Erkennung einer Signalpause zwischen zwei Mustern, welche in einem zeitvarianten Meßsignal vorhanden sind
JP3854713B2 (ja) * 1998-03-10 2006-12-06 キヤノン株式会社 音声合成方法および装置および記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490234A (en) * 1993-01-21 1996-02-06 Apple Computer, Inc. Waveform blending technique for text-to-speech system
US5970453A (en) * 1995-01-07 1999-10-19 International Business Machines Corporation Method and system for synthesizing speech

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRIES G ET AL: "FELIX - A TTS SYSTEM WITH IMPROVED PRE-PROCESSING AND SOURCE SIGNAL GENERATION" 5TH EUROPEAN CONFERENCE ON SPEECH COMMUNICATION AND TECHNOLOGY. EUROSPEECH '97. RHODES, GREECE, SEPT. 22 - 25, 1997, EUROPEAN CONFERENCE ON SPEECH COMMUNICATION AND TECHNOLOGY. (EUROSPEECH), GRENOBLE: ESCA, FR, Bd. 2 OF 5, 22. September 1997 (1997-09-22), Seiten 589-592, XP001003963 *

Also Published As

Publication number Publication date
US20020016709A1 (en) 2002-02-07
US6934680B2 (en) 2005-08-23
DE10033104A1 (de) 2002-01-17
EP1170723B1 (de) 2010-11-03
DE50115685D1 (de) 2010-12-16
EP1170723A3 (de) 2002-10-30
DE10033104C2 (de) 2003-02-27

Similar Documents

Publication Publication Date Title
DE60004420T2 (de) Erkennung von Bereichen überlappender Elemente für ein konkatenatives Sprachsynthesesystem
DE602005002706T2 (de) Verfahren und System für die Umsetzung von Text-zu-Sprache
DE60020434T2 (de) Erzeugung und Synthese von Prosodie-Mustern
DE60112512T2 (de) Kodierung von Ausdruck in Sprachsynthese
DE60126564T2 (de) Verfahren und Anordnung zur Sprachsysnthese
DE2212472A1 (de) Verfahren und Anordnung zur Sprachsynthese gedruckter Nachrichtentexte
DE10054583C2 (de) Verfahren und Vorrichtung zum Aufzeichnen, Suchen und Wiedergeben von Notizen
DE19942178C1 (de) Verfahren zum Aufbereiten einer Datenbank für die automatische Sprachverarbeitung
DE69627865T2 (de) Sprachsynthesizer mit einer datenbank für akustische elemente
DE69720861T2 (de) Verfahren zur Tonsynthese
DE60305716T2 (de) Verfahren zum synthetisieren eines nicht stimmhaften sprachsignals
DE112004000187T5 (de) Verfahren und Vorrichtung der prosodischen Simulations-Synthese
DE2736082A1 (de) Elektronisches geraet zur phonetischen synthetisierung menschlicher sprache (sprach-synthesizer)
EP1282897B1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
DE60307965T2 (de) Vorrichtung und Verfahren zum Ändern der Wiedergabegeschwindigkeit von gespeicherten Sprachsignalen
EP1105867B1 (de) Verfahren und vorrichtungen zur koartikulationsgerechten konkatenation von audiosegmenten
EP1058235A2 (de) Wiedergabeverfahren für sprachgesteuerte Systeme mit text-basierter Sprachsynthese
DE102014207437A1 (de) Spracherkennung mit einer Mehrzahl an Mikrofonen
EP1170723B1 (de) Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese
DE4111781A1 (de) Computersystem zur spracherkennung
EP1344211B1 (de) Vorrichtung und verfahren zur differenzierten sprachausgabe
DE60311482T2 (de) Verfahren zur steuerung der dauer bei der sprachsynthese
WO2000016310A1 (de) Vorrichtung und verfahren zur digitalen sprachbearbeitung
EP1005694A1 (de) Verfahren zur bestimmung eines repräsentanten für einen sprachbaustein einer sprache aus einem lautabschnitte umfassenden sprachsignal
EP1078354A1 (de) Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17P Request for examination filed

Effective date: 20021203

AKX Designation fees paid

Designated state(s): DE FR GB IT

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RTI1 Title (correction)

Free format text: METHOD FOR THE COMPUTATION OF PHONE DURATION STATISTICS AND METHOD FOR THE DETERMINATION OF THE DURATION OF SINGLE PHONES FOR SPEECH SYNTHESIS

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB IT

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 50115685

Country of ref document: DE

Date of ref document: 20101216

Kind code of ref document: P

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIEMENS ENTERPRISE COMMUNICATIONS GMBH & CO. KG

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20110804

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50115685

Country of ref document: DE

Effective date: 20110804

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENT, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENT, DE

Effective date: 20130305

Ref country code: DE

Ref legal event code: R081

Ref document number: 50115685

Country of ref document: DE

Owner name: SIEMENS ENTERPRISE COMMUNICATIONS GMBH & CO. K, DE

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20130305

Ref country code: DE

Ref legal event code: R081

Ref document number: 50115685

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20130305

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Effective date: 20130305

REG Reference to a national code

Ref country code: GB

Ref legal event code: 746

Effective date: 20130418

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 50115685

Country of ref document: DE

Effective date: 20130226

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENT, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENT, DE

Effective date: 20131112

Ref country code: DE

Ref legal event code: R081

Ref document number: 50115685

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: SIEMENS ENTERPRISE COMMUNICATIONS GMBH & CO. KG, 81379 MUENCHEN, DE

Effective date: 20131112

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Effective date: 20131112

REG Reference to a national code

Ref country code: FR

Ref legal event code: CD

Owner name: UNIFY GMBH & CO. KG, DE

Effective date: 20150209

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150623

Year of fee payment: 15

Ref country code: GB

Payment date: 20150623

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20150623

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20150625

Year of fee payment: 15

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20151210 AND 20151216

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50115685

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 50115685

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50115685

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20160619

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20170228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170103

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160619