EP1078354B1 - Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung - Google Patents

Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung Download PDF

Info

Publication number
EP1078354B1
EP1078354B1 EP99929088A EP99929088A EP1078354B1 EP 1078354 B1 EP1078354 B1 EP 1078354B1 EP 99929088 A EP99929088 A EP 99929088A EP 99929088 A EP99929088 A EP 99929088A EP 1078354 B1 EP1078354 B1 EP 1078354B1
Authority
EP
European Patent Office
Prior art keywords
transformation
utterance
wavelet
speech
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP99929088A
Other languages
English (en)
French (fr)
Other versions
EP1078354A1 (de
Inventor
Martin Holzapfel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1078354A1 publication Critical patent/EP1078354A1/de
Application granted granted Critical
Publication of EP1078354B1 publication Critical patent/EP1078354B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Definitions

  • the invention relates to a method and an arrangement for Determination of spectral speech characteristics in one spoken utterance.
  • a wavelet transformation is known from [1].
  • Wavelet transformation is through a wavelet filter ensures that a high pass share and a Low-pass portion of a subsequent transformation stage Signal of a current transformation stage complete restore. It is done by a Transformation stage to the next a reduction of Dissolution of the high-pass component or low-pass component Technical term: "Subsampling"). In particular, by that Subsampling the number of transformation levels finally.
  • US-A-5528725 discloses a method for speech recognition using wavelet transformations.
  • EP-A-0519802 discloses a method of speech synthesis which speaker-specific characteristics with regard to a a natural sounding sequence of speech sounds adapts.
  • the object of the invention is a method and an arrangement for determining spectral Specify language characteristics, with the help in particular a natural-looking synthetic speech output can be determined is.
  • a method for Determination of spectral speech characteristics in one spoken utterance. This becomes the spoken utterance digitized and subjected to a wavelet transformation. Using different transformation levels of the wavelet transformation become the speaker-specific Characteristics determined.
  • the individual high-pass components or low-pass components stand for predefined ones speaker-specific characteristics, both High pass component as well as low pass component of a respective one Transformation level, i.e. the respective characteristic, can be modified separately from other characteristics. If you use the inverse wavelet transformation from the respective high-pass and low-pass proportions of the individual Transformation levels back to the original signal together, this ensures that exactly what you want Characteristic has been changed. It is therefore possible to change certain predetermined characteristics of the utterance, without affecting the rest of the utterance.
  • One embodiment is that before the wavelet transformation the utterance windowed, that is, a given one Set of samples cut out, and in the Frequency range is transformed. This will in particular a Fast Fourier Transform (FFT) is applied.
  • FFT Fast Fourier Transform
  • Another embodiment is that a High-pass component of a transformation stage in a real part and split an imaginary part.
  • the high pass portion of the Wavelet transformation corresponds to the difference signal between the current low-pass component and the low-pass component the previous transformation level.
  • further training consists in the number of transformation stages of the wavelet transformation to be carried out by determining that in the last Transformation level, which consists of cascaded Low passports exist, contain a steady portion of the utterance is. Then the signal as a whole can be represented by its Wavelet coefficients. This corresponds to the complete one Transformation of the information of the signal section in the Wavelet space.
  • the speaker-specific characteristics a) to c) are in speech synthesis of great importance.
  • An advantage of the invention is that the spectral Envelope reflects the speaker's articulation tract and not, e.g. a pole position model, on formants is supported. Go further with the wavelet transformation as a nonparametric representation, no data is lost that The utterance can always be completely reconstructed. From the individual transformation levels of the wavelet transformation resulting data are linear from each other independently, can thus be influenced separately and later on to the influenced utterance - lossless - be put together.
  • an arrangement for determining spectral Speech characteristics indicated a processor unit has, which is set up such that an utterance can be digitized. Then the utterance becomes a Wavelet transform and subjected to different levels of transformation speaker-specific characteristics determined.
  • the standard deviation ⁇ is determined by the Predeterminable position of the sideband minimum 101 in FIG. 1.
  • Equation (1) The constant c from equation (1) is used to normalize the complex wavelet function: in which ⁇ called the conjugate complex wavelet function.
  • a signal 301 is filtered both by a high pass HP1 302 and by a low pass TP1 305.
  • subsampling takes place, ie the number of values to be stored is reduced per filter.
  • An inverse wavelet transformation ensures that the original signal 301 can be reconstructed from the low-pass component TP1 305 and the high-pass component HP1 304.
  • HP1 302 is separated according to real part Re1 303 and Imaginary part Im1 304 filtered.
  • the signal 310 after the low pass filter TP1 305 is again both by a high pass HP2 306 and by a Filtered low pass TP2 309.
  • the HP2 306 high pass includes again a real part Re2 307 and an imaginary part Im2 308.
  • Das Signal after the second transformation stage 311 is again filtered, etc.
  • FIG. 4 shows various transformation stages of the wavelet transformation, divided into low-pass components (FIGS. 4A, 4C and 4E) and high-pass components (FIGS. 4B, 4D and 4F).
  • the fundamental frequency is spoken utterance evident.
  • the fluctuations in the amplitude is clearly a predominant periodicity in Wavelet-filtered spectrum to recognize the fundamental frequency of the speaker.
  • the fundamental frequency it is possible given utterances in speech synthesis each other adapt or use appropriate statements from a database to determine given utterances.
  • Fig.4C In the low-pass portion of Fig.4C are as pronounced minima and Maxima the formants of the speech signal section (the length of the speech signal section corresponds approximately to twice Fundamental frequency).
  • the formants represent Resonance frequencies in the speaker's vocal tract. The clear one Representability of the formants enables an adjustment and / or selection of suitable sound modules at concatenative speech synthesis.
  • the three speaker-specific characteristics mentioned are thus identified and targeted for speech synthesis to be influenced. It is particularly important that manipulation in the inverse wavelet transform of a single speaker-specific characteristic only this influences the other perceptually relevant variables stay untouched. Thus, the fundamental frequency can be targeted can be adjusted without changing the smokiness of the voice being affected.
  • Another possible application is the selection of one suitable sound section for concatenative linking with another sound section, both sound sections originally from different speakers in different Contexts were included.
  • determination spectral Speech characteristics can be a more suitable one to be linked Phonetic section can be found as with the characteristics Criteria are known that allow a comparison of Sound sections among themselves and thus a selection of the matching sound section automatically according to certain specifications enable.
  • a database is created with a predetermined amount of naturally-spoken language from different speakers, sound sections in the naturally-spoken language being identified and stored. There are numerous representatives for the different sound sections of a language that the database can access.
  • the sound sections are in particular phonemes of a language or a series of such phonemes. The smaller the section of the sound, the greater the possibilities when composing new words. For example, the German language contains a predetermined amount of approximately 40 phonemes, which are sufficient for the synthesis of almost all words in the language. Different acoustic contexts must be taken into account, depending on the word in which the respective phoneme appears.
  • FIG. 5 shows two sounds A 507 and B 508 by way of example shown, each of the individual sound sections 505 and 506 exhibit. Lute A 507 and B 508 are from a spoken utterance, whereby the sound A 507 clearly is different from the sound B 508. A dividing line 509 indicates where the A 507 sound should be linked to the B 508 sound. In the present case, the first three sound sections should of the sound A 507 with the last three sound sections of the According to B 508 can be linked concatenatively.
  • a variant consists in an abrupt transition along the the dividing line 509 divided sounds. However, this happens the discontinuities mentioned, which the human ear as distracting. If you put together a sound C, that the sound sections within a transition area 501 or 502 are taken into account, where a spectral Distance between two assignable Sound sections in the respective transition area 501 or 502 is adjusted (gradual transition between the According sections). As the distance measure is used especially in the wavelet space the Euclidean distance between the relevant coefficients in this area.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Bestimmung spektraler Sprachcharakteristika in einer gesprochenen Äußerung.
Bei einer konkatenativen Sprachsynthese werden einzelne Laute aus Sprachdatenbanken zusammengesetzt. Um dabei einen für das menschliche Ohr natürlich klingenden Sprachverlauf zu erhalten, sind Diskontinuitäten an den Punkten, wo die Laute zusammengesetzt werden (Konkatenationspunkte) zu vermeiden. Die Laute sind dabei insbesondere Phoneme einer Sprache oder eine Zusammensetzung mehrerer Phoneme.
Eine Wavelet-Transformation ist aus [1] bekannt. Bei der Wavelet-Transformation ist durch ein Wavelet-Filter gewährleistet, daß jeweils ein Hochpaßanteil und ein Tiefpaßanteil einer nachfolgenden Transformationsstufe ein Signal einer aktuellen Transformationsstufe vollständig wiederherstellen. Dabei erfolgt von einer Transformationsstufe zur nächsten eine Reduktion der Auflösung des Hochpaßanteils bzw. Tiefpaßanteils (engl. Fachbegriff: "Subsampling"). Insbesondere ist durch das Subsampling die Anzahl der Transformationsstufen endlich.
US-A-5528725 offenbart ein Verfahren zur Spracherkennung mittels Wavelet-Transformationen.
EP-A-0519802 offenbart ein Verfahren zur Sprachsynthese, das sprecherspezifische Charakteristika im Hinblick auf eine natürlich klingende Aneinanderreihung von Sprachlauten anpasst.
Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Anordnung zur Bestimmung spektraler Sprachcharakteristika anzugeben, mit deren Hilfe insbesondere eine natürlich wirkende synthetische Sprachausgabe bestimmbar ist.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Patentansprüche gelöst.
Im Rahmen der Erfindung wird ein Verfahren angegeben zur Bestimmung spektraler Sprachcharakteristika in einer gesprochenen Äußerung. Dazu wird die gesprochenen Äußerung digitalisiert und einer Wavelet-Transformation unterzogen. Anhand unterschiedlicher Transformationsstufen der Wavelet-Transformation werden die sprecherspezifischen Charakteristika ermittelt.
Dabei ist es insbesondere ein Vorteil, daß bei der Wavelet-Transformation mittels eines Hochpaßfilters und eines Tiefpaßfilters die Äußerung aufgeteilt wird und unterschiedliche Hochpaßanteile bzw. Tiefpaßanteile verschiedener Transformationsstufen sprecherspezifische Charakteristika enthalten.
Die einzelnen Hochpaßanteile bzw. Tiefpaßanteile verschiedener Transformationsstufen stehen für vorgegebene sprecherspezifische Charakteristika, wobei sowohl Hochpaßanteil als auch Tiefpaßanteil einer jeweiligen Transformationsstufe, also das jeweilige Charakteristikum, getrennt von anderen Charakteristika modifiziert werden kann. Setzt man bei der inversen Wavelet-Transformation aus den jeweiligen Hochpaß- und Tiefpaßanteilen der einzelnen Transformationsstufen wieder das ursprüngliche Signal zusammen, so ist gewährleistet, daß genau das gewünschte Charakteristikum verändert worden ist. Es ist somit möglich bestimmte vorgegebene Eigenarten der Äußerung zu verändern, ohne daß dadurch der Rest der Äußerung beeinflußt wird.
Eine Ausgestaltung besteht darin, daß vor der Wavelet-Transformation die Äußerung gefenstert, also eine vorgegebene Menge von Abtastwerten ausgeschnitten, und in den Frequenzbereich transformiert wird. Hierzu wird insbesondere eine Fast-Fourier-Transformation (FFT) angewandt.
Eine weitere Ausgestaltung besteht darin, daß ein Hochpaßanteil einer Transformationsstufe in einen Realteil und einen Imaginärteil aufgeteilt wird. Der Hochpaßanteil der Wavelet-Transformation entspricht dem Differenzsignal zwischen dem aktuellen Tiefpaßanteil und dem Tiefpaßanteil der vorhergehenden Transformationsstufe.
Insbesondere besteht eine Weiterbildung darin, die Zahl der durchzuführenden Transformationsstufen der Wavelet-Transformation dadurch zu bestimmen, daß in der letzten Transformationsstufe, die aus hintereinandergeschalteten Tiefpässen besteht, ein Gleichanteil der Äußerung enthalten ist. Dann ist das Signal als Ganzes darstellbar durch seine Wavelet-Koeffizienten. Dies entspricht der vollständigen Transformation der Information des Signalausschnitts in den Wavelet-Raum.
Wird insbesondere nur der jeweilige Tiefpaßanteil weiter transformiert (mittels eines Hochpaß- und eines Tiefpaßfilters), so verbleibt als Hochpaßanteil einer Transformationsstufe das Differenzsignal, wie oben erläutert. Kumuliert man Differenzsignale (Hochpaßanteile) über die Transformationsstufen, erhält man in der letzten Transformationsstufe als kumulierten Hochpaßanteil die Information der gesprochenen Äußerung ohne Gleichanteil.
Im Rahmen einer zusätzlichen Weiterbildung sind die sprecherspezifischen Charakteristika identifizierbar als:
  • a) Grundfrequenz:
    Die Schwingung des Hochpaßanteils der ersten oder der zweiten Transformationsstufe der Wavelet-Transformation läßt die Grundfrequenz der Äußerung erkennen. Die Grundfrequenz zeigt an, ob der Sprecher ein Mann oder einen Frau ist.
  • b) Form der spektralen Hüllkurve:
    Die spektrale Hüllkurve enthält Information über eine Transferfunktion des Vokaltrakts bei der Artikulation. In einem stimmhaften Bereich wird die spektrale Hüllkurve von den Formanten dominiert. Der Hochpaßanteil einer höheren Transformationsstufe der Wavelet-Transformation enthält diese spektrale Hüllkurve.
  • c) Spectral Tilt (Rauchigkeit):
    Die Rauchigkeit in einer Stimme wird als negative Steigung im Verlauf des vorletzten Tiefpaßanteils sichtbar.
    • Die sprecherspezifischen Charakteristika a) bis c) sind bei der Sprachsynthese von großer Bedeutung. Wie eingangs erwähnt, bedient man sich bei der konkatenativen Sprachsynthese großer Mengen realgesprochener Äußerungen, aus denen Beispiellaute ausgeschnitten und später zu einem neuen Wort zusammengesetzt werden (synthetisierte Sprache). Dabei sind Diskontinuitäten zwischen zusammengesetzten Lauten von Nachteil, da diese vom menschlichen Ohr als unnatürlich wahrgenommen werden. Um den Diskontinuitäten entgegenzuwirken ist es von Vorteil, direkt die perzeptiv relevanten Größen zu erfassen und ggf. zu vergleiche und/oder einander anzupassen.
    Dies kann geschehen durch direkte Manipulation, indem ein Sprachlaut in mindestens einer seiner sprecherspezifischen Charakteristika angepaßt wird, so daß er in dem akustischen Kontext der konkatenativ verknüpften Laute nicht als störend wahrgenommen wird. Auch ist es möglich, die Auswahl eines passenden Lautes daran auszurichten, daß sprecherspezifische Charakteristika von zu verknüpfenden Lauten möglichst gut zueinander passen, z.B. daß den Lauten gleiche oder ähnliche Rauchigkeit zu eigen ist.
    Ein Vorteil der Erfindung besteht darin, daß die spektrale Hüllkurve den Artikulationstrakt des Sprechers widerspiegelt und nicht, wie z.B. ein Polstellenmodell, auf Formanten gestützt ist. Weiterhin gehen bei der Wavelet-Transformation als nichtparametrischer Darstellung keine Daten verloren, die Äußerung kann stets vollständig rekonstruiert werden. Die aus den einzelnen Transformationsstufen der Wavelet-Transformation hervorgehenden Daten sind linear voneinander unabhängig, können somit getrennt voneinander beeinflußt und später wieder zu der beeinflußten Äußerung - verlustlos - zusammengesetzt werden.
    Weiterhin wird eine Anordnung zur Bestimmung spektraler Sprachcharakteristika angegeben, die eine Prozessoreinheit aufweist, die derart eingerichtet ist, daß eine Äußerung digitalisierbar ist. Daraufhin wird die Äußerung einer Wavelet-Transformation unterzogen und anhand unterschiedlicher Transformationsstufen werden sprecherspezifische Charakteristika ermittelt.
    Diese Anordnung ist insbesondere geeignet zur Durchführung des erfindungsgemäßen Verfahrens oder einer seiner vorstehend erläuterten Weiterbildungen.
    Weiterbildungen der Erfindung ergeben sich auch aus den abhängigen Ansprüchen.
    Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung dargestellt und erläutert.
    Es zeigen
    Fig.1
    eine Wavelet-Funktion;
    Fig.2
    eine Wavelet-Funktion, unterteilt nach Realteil und Imaginärteil;
    Fig.3
    eine kaskadierte Filterstruktur, die die Transformationsschritte der Wavelet-Transformation darstellt;
    Fig.4
    Tiefpaßanteile und Hochpaßanteile unterschiedlicher Transformationsstufen;
    Fig.5
    Schritte der konkatenativen Sprachsynthese.
    Fig.1 zeigt eine Wavelet-Funktion, die bestimmt ist durch
    Figure 00070001
    wobei
    f
    die Frequenz,
    σ
    eine Standardabweichung und
    c
    eine vorgegebene Normierungskonstante
    bezeichnen.
    Insbesondere ist die Standardabweichung σ bestimmt durch die vorgebbare Stelle des Seitenbandminimums 101 in Fig.1.
    Fig.2 zeigt eine Wavelet-Funktion mit einem Realteil gemäß Gleichung (1) und einer Hilbert-Transformierten H des Realteils als Imaginärteil. Die komplexe Wavelet-Funktion ergibt sich somit zu Ψ(f) = ψ(f) + j · H{ψ(f)}
    Die Konstante c aus Gleichung (1) wird verwendet, um die komplexe Wavelet-Funktion zu normieren:
    Figure 00070002
    wobei Ψ die konjugiert komplexe Wavelet-Funktion bezeichnet.
    Fig.3 zeigt die kaskadierte Anwendung der Wavelet-Transformation. Ein Signal 301 wird sowohl durch einen Hochpaß HP1 302 als auch durch einen Tiefpaß TP1 305 gefiltert. Dabei findet insbesondere ein Subsampling statt, d.h. die Anzahl der abzuspeichernden Werte wird pro Filter reduziert. Eine inverse Wavelet-Transformation gewährleistet, daß aus dem Tiefpaßanteil TP1 305 und dem Hochpaßanteil HP1 304 wieder das ursprüngliche Signal 301 rekonstruierbar ist.
    Im Hochpaß HP1 302 wird getrennt nach Realteil Re1 303 und Imaginärteil Im1 304 gefiltert.
    Das Signal 310 nach dem Tiefpaßfilter TP1 305 wird erneut sowohl durch einen Hochpaß HP2 306 als auch durch einen Tiefpaß TP2 309 gefiltert. Der Hochpaß HP2 306 umfaßt wieder einen Realteil Re2 307 und einen Imaginärteil Im2 308. Das Signal nach der zweiten Transformationsstufe 311 wird wieder gefiltert, usf.
    Geht man von einem (FFT-transformierten) Kurzzeitspektrum mit 256 Werten aus, so werden acht Transformationsschritte durchgeführt (Subsamplingrate: 1/2), bis das Signal aus dem letzten Tiefpaßfilter TP8 dem Gleichanteil entspricht.
    In Fig.4 sind verschiedene Transformationsstufen der Wavelet-Transformation, unterteilt nach Tiefpaßanteilen (Figuren 4A, 4C und 4E) und Hochpaßanteilen (Figuren 4B, 4D und 4F) dargestellt.
    Aus dem Hochpaßanteil gemäß Fig.4B ist die Grundfrequenz der gesprochenen Äußerung ersichtlich. Neben den Schwankungen in der Amplitude ist deutlich eine überwiegende Periodizität im wavelet-gefilterten Spektrum zu erkennen, die Grundfrequenz des Sprechers. Anhand der Grundfrequenz ist es möglich, vorgegebene Äußerungen bei der Sprachsynthese einander anzupassen oder passende Äußerungen aus einer Datenbank mit vorgegebene Äußerungen zu bestimmen.
    Im Tiefpaßanteil von Fig.4C sind als ausgeprägte Minima und Maxima die Formanten des Sprachsignalausschnitts (die Länge des Sprachsignalausschnitts entspricht in etwa der doppelten Grundfrequenz) dargestellt. Die Formanten repräsentieren Resonanzfrequenzen im Vokaltrakt des Sprechers. Die deutliche Darstellbarkeit der Formanten ermöglicht eine Anpassung und/oder Auswahl passender Lautbausteine bei der konkatenativen Sprachsynthese.
    Im Tiefpaßanteil der vorletzten Transformationsstufe (bei 256 Frequenzwerten im Originalsignal: TP7), kann die Rauchigkeit einer Stimme ermittelt werden. Der Abstieg des Kurvenverlaufs zwischen Maximum Mx und Minimum Mi kennzeichnet den Grad der Rauchigkeit.
    Die erwähnten drei sprecherspezifischen Charakteristika sind somit identifiziert und können für die Sprachsynthese gezielt beeinflußt werden. Dabei ist es insbesondere von Bedeutung, daß bei der inversen Wavelet-Transformation die Manipulation eines einzelnen sprecherspezifischen Charakteristikums nur dieses beeinflußt, die anderen perziptiv relevanten Größen bleiben unberührt. Somit kann die Grundfrequenz gezielt verstellt werden, ohne daß dadurch die Rauchigkeit der Stimme beeinflußt wird.
    Eine andere Einsatzmöglichkeit besteht in der Auswahl eines geeigneten Lautabschnitts zur konkatenativen Verknüpfung mit einem anderen Lautabschnitt, wobei beide Lautabschnitte ursprünglich von verschiedenen Sprechern in unterschiedlichen Kontexten aufgenommen wurden. Mit Ermittlung spektraler Sprachcharakteristika kann ein geeigneter zu verknüpfender Lautabschnitt gefunden werden, da mit den Charakteristika Kriterien bekannt sind, die einen Vergleich von Lautabschnitten untereinander und somit eine Auswahl des passenden Lautabschnitts automatisch nach bestimmten Vorgaben ermöglichen.
    Fig.5 zeigt Schritte einer konkatenativen Sprachsynthese. Eine Datenbank wird mit einer vorgegebenen Menge natürlichgesprochener Sprache verschiedener Sprecher erstellt, wobei Lautabschnitte in der natürlichgesprochenen Sprache identifiziert und abgespeichert werden. Es ergeben sich zahlreiche Repräsentanten für die verschiedenen Lautabschnitte einer Sprache, auf die die Datenbank zugreifen kann. Die Lautabschnitte sind insbesondere Phoneme einer Sprache oder eine Aneinanderreihung solcher Phoneme. Je kleiner der Lautabschnitt, desto größer sind die Möglichkeiten bei der Zusammensetzung neuer Wörter. So umfaßt die deutsche Sprache eine vorgegebene Menge von ca. 40 Phonemen, die zur Synthese nahezu aller Wörter der Sprache ausreichen. Dabei sind unterschiedliche akustische Kontexte zu berücksichtigen, je nachdem, in welchem Wort das jeweilige Phonem auftritt. Nun ist es wichtig, die einzelnen Phoneme in den akustischen Kontext derart einzubetten, daß Diskontinuitäten, die vom menschlichen Gehör als unnatürlich und "synthetisch" empfunden werden, vermieden werden. Wie erwähnt stammen die Lautabschnitte von unterschiedlichen Sprechern und weisen somit verschiedene sprecherspezifische Charakteristika auf. Um eine möglichst natürlich wirkende Äußerung zu synthetisieren, ist es wichtig, die Diskontinuitäten zu minimieren. Dies kann erfolgen durch Anpassung der identifizierbaren und modifizierbaren sprecherspezifischen Charakteristika oder durch Auswahl passender Lautabschnitte aus der Datenbank, wobei ebenfalls die sprecherspezifischen Charakteristika bei der Auswahl ein entscheidendes Hilfsmittel darstellen.
    In Fig.5 sind beispielhaft zwei Laute A 507 und B 508 dargestellt, die jeweils einzelne Lautabschnitte 505 bzw. 506 aufweisen. Die Laute A 507 und B 508 stammen jeweils aus einer gesprochenen Äußerung, wobei der Laut A 507 deutlich vom Laut B 508 verschieden ist. Eine Trennlinie 509 zeigt an, wo der Laut A 507 mit dem Laut B 508 verknüpft werden soll. Im vorliegenden Fall sollen die ersten drei Lautabschnitte des Lautes A 507 mit den letzten drei Lautabschnitten des Lautes B 508 konkatenativ verknüpft werden.
    Es wird entlang der Trennlinie 509 ein zeitliches Dehnen oder Stauchen (vergleiche Pfeil 503) der aufeinanderfolgenden Lautabschnitte durchgeführt, um den diskontinuierlichen Eindruck am Übergang 509 zu vermindern.
    Eine Variante besteht in einem abrupten Übergang der entlang der Trennlinie 509 geteilten Laute. Dabei kommt es jedoch zu den erwähnten Diskontinuitäten, die das menschliche Gehör als störend wahrnimmt. Fügt man hingegen einen Laut C zusammen, daß die Lautabschnitte innerhalb eines Übergangsbereichs 501 oder 502 berücksichtigt werden, wobei ein spektrales Abstandsmaß zwischen zwei einander zuordenbaren Lautabschnitten in dem jeweiligen Übergangsbereich 501 oder 502 angepaßt wird (allmählicher Übergang zwischen den Lautabschnitten). Als das Abstandsmaß herangezogen wird insbesondere im Wavelet-Raum der euklidische Abstand zwischen den in diesem Bereich relevanten Koeffizienten.
    Literaturverzeichnis:
  • [1] I. Daubechies: "Ten Lectures on Wavelets", Siam Verlag 1992, ISBN 0-89871-274-2, Kapitel 5.1, Seiten 129-137.

    • Claims (10)

    1. Verfahren zur Bestimmung spektraler Sprachcharakteristika in einer gesprochenen Äußerung,
      a) bei dem die Äußerung digitalisiert wird,
      b) bei dem die digitalisierte Äußerung einer Wavelet-Transformation unterzogen wird,
      c) bei dem anhand unterschiedlicher Transformationsstufen der Wavelet-Transformation die sprecherspezifischen Charakteristika bestimmt werden.
    2. Verfahren nach Anspruch 1,
      bei dem vor der Wavelet-Transformation eine gefensterte Transformation der digitalisierten Äußerung in einen Frequenzbereich durchgeführt wird.
    3. Verfahren nach Anspruch 2,
      bei dem die Transformation in den Frequenzbereich mittels Fast-Fourier-Transformation durchgeführt wird.
    4. Verfahren nach einem der vorhergehenden Ansprüche,
      bei dem in jeder Stufe der Wavelet-Transformation ein Tiefpaßanteil und ein Hochpaßanteil eines zu transformierenden Signals ermittelt werden.
    5. Verfahren nach einem der vorhergehenden Ansprüche,
      bei dem ein Hochpaßanteil nach einem Realteil und einem Imaginärteil unterteilt wird.
    6. Verfahren nach einem der vorhergehenden Ansprüche,
      bei dem die Wavelet-Transformation mehrere Transformationsstufen umfaßt, wobei die letzte Transformationsstufe einen Gleichanteil der Äußerung in einer der Anzahl Transformationsstufen entsprechenden wiederholten Tiefpaßfilterung liefert.
    7. Verfahren nach einem der vorhergehenden Ansprüche,
      bei dem die sprecherspezifischen Charakteristika bestimmt sind durch:
      a) eine Grundfrequenz der gesprochenen Äußerung;
      b) spektrale Hüllkurve;
      c) einer Rauchigkeit der gesprochenen Äußerung.
    8. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 7 zur Sprachsynthese,
      wobei einzelne sprecherspezifische Charakteristika im Hinblick auf eine natürlich klingende Aneinanderreihung von Sprachlauten angepaßt werden.
    9. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 7 zur Sprachsynthese,
      wobei aus einer vorgegebenen Datenmenge diejenigen Sprachlaute anhand einzelner spektraler Sprachcharakteristika ausgewählt werden, die eine natürlich klingende Aneinanderreihung von Sprachlauten gewährleisten.
    10. Anordnung zur Bestimmung spektraler Sprachcharakteristika in einer gesprochenen Äußerung
      mit einer Prozessoreinheit, die derart eingerichtet ist, daß folgende Schritte durchführbar sind:
      a) die Äußerung wird digitalisiert;
      b) die digitalisierte Äußerung wird einer Wavelet-Transformation unterzogen;
      c) anhand unterschiedlicher Transformationsstufen der Wavelet-Transformation werden die sprecherspezifischen Charakteristika bestimmt.
    EP99929088A 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung Expired - Lifetime EP1078354B1 (de)

    Applications Claiming Priority (3)

    Application Number Priority Date Filing Date Title
    DE19821031 1998-05-11
    DE19821031 1998-05-11
    PCT/DE1999/001308 WO1999059134A1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung

    Publications (2)

    Publication Number Publication Date
    EP1078354A1 EP1078354A1 (de) 2001-02-28
    EP1078354B1 true EP1078354B1 (de) 2002-03-20

    Family

    ID=7867382

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP99929088A Expired - Lifetime EP1078354B1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung

    Country Status (6)

    Country Link
    EP (1) EP1078354B1 (de)
    JP (1) JP2002515608A (de)
    AT (1) ATE214831T1 (de)
    DE (1) DE59901018D1 (de)
    ES (1) ES2175988T3 (de)
    WO (1) WO1999059134A1 (de)

    Families Citing this family (4)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE10031832C2 (de) 2000-06-30 2003-04-30 Cochlear Ltd Hörgerät zur Rehabilitation einer Hörstörung
    US8554551B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
    JP6251145B2 (ja) * 2014-09-18 2017-12-20 株式会社東芝 音声処理装置、音声処理方法およびプログラム
    JP2018025827A (ja) * 2017-11-15 2018-02-15 株式会社東芝 対話システム

    Family Cites Families (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    FR2678103B1 (fr) * 1991-06-18 1996-10-25 Sextant Avionique Procede de synthese vocale.
    GB2272554A (en) * 1992-11-13 1994-05-18 Creative Tech Ltd Recognizing speech by using wavelet transform and transient response therefrom
    JP3093113B2 (ja) * 1994-09-21 2000-10-03 日本アイ・ビー・エム株式会社 音声合成方法及びシステム

    Also Published As

    Publication number Publication date
    JP2002515608A (ja) 2002-05-28
    EP1078354A1 (de) 2001-02-28
    ES2175988T3 (es) 2002-11-16
    WO1999059134A1 (de) 1999-11-18
    ATE214831T1 (de) 2002-04-15
    DE59901018D1 (de) 2002-04-25

    Similar Documents

    Publication Publication Date Title
    DE69726526T2 (de) Schema und Modelladaption bei Mustererkennung welche auf Taylorausdehnung basiert
    DE69534942T2 (de) System zur sprecher-identifizierung und-überprüfung
    DE69909716T2 (de) Formant Sprachsynthetisierer unter Verwendung von Verkettung von Halbsilben mit unabhängiger Überblendung im Filterkoeffizienten- und Quellenbereich
    DE69826446T2 (de) Stimmumwandlung
    DE102007001255B4 (de) Tonsignalverarbeitungsverfahren und -vorrichtung und Computerprogramm
    DE60020660T2 (de) Kontextabhängige akustische Modelle für die Spracherkennung mit Eigenstimmenanpassung
    DE69720861T2 (de) Verfahren zur Tonsynthese
    DE69627865T2 (de) Sprachsynthesizer mit einer datenbank für akustische elemente
    DE4237563A1 (de)
    WO2002017303A1 (de) Verfahren und vorrichtung zur künstlichen erweiterung der bandbreite von sprachsignalen
    WO1998011534A1 (de) Verfahren zur anpassung eines hidden-markov-lautmodelles in einem spracherkennungssystem
    EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
    EP0285222B1 (de) Verfahren zum Erkennen zusammenhängend gesprochener Wörter
    WO2001069591A1 (de) Verfahren zur erkennung von sprachäusserungen nicht-mutter-sprachlicher sprecher in einem sprachverarbeitungssystem
    EP1282897B1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
    DE3228757A1 (de) Verfahren und vorrichtung zur zeitabhaengigen komprimierung und synthese von hoerbaren signalen
    DE19920501A1 (de) Wiedergabeverfahren für sprachgesteuerte Systeme mit textbasierter Sprachsynthese
    EP1435087B1 (de) Verfahren zur erzeugung von sprachbausteine beschreibenden referenzsegmenten und verfahren zur modellierung von spracheinheiten eines gesprochenen testmusters
    DE3006339C2 (de) Sprachsyntesizer
    EP1078354B1 (de) Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung
    DE69723930T2 (de) Verfahren und Vorrichtung zur Sprachsynthese und Programm enthaltender Datenträger dazu
    DE2649540A1 (de) Verfahren und anordnung zur sprachsynthese
    EP1062659B1 (de) Verfahren und vorrichtung zur bearbeitung eines tonsignals
    EP0817167B1 (de) Spracherkennungsverfahren und Anordnung zum Durchführen des Verfahrens
    DE60311482T2 (de) Verfahren zur steuerung der dauer bei der sprachsynthese

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    17P Request for examination filed

    Effective date: 20000919

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE DE ES FR GB NL

    RIC1 Information provided on ipc code assigned before grant

    Free format text: 7G 10L 13/06 A

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    17Q First examination report despatched

    Effective date: 20010904

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: IF02

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE DE ES FR GB NL

    REF Corresponds to:

    Ref document number: 214831

    Country of ref document: AT

    Date of ref document: 20020415

    Kind code of ref document: T

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: AT

    Payment date: 20020424

    Year of fee payment: 4

    REF Corresponds to:

    Ref document number: 59901018

    Country of ref document: DE

    Date of ref document: 20020425

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: ES

    Payment date: 20020523

    Year of fee payment: 4

    Ref country code: BE

    Payment date: 20020523

    Year of fee payment: 4

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: FR

    Payment date: 20020528

    Year of fee payment: 4

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20020722

    Year of fee payment: 4

    ET Fr: translation filed
    REG Reference to a national code

    Ref country code: ES

    Ref legal event code: FG2A

    Ref document number: 2175988

    Country of ref document: ES

    Kind code of ref document: T3

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed

    Effective date: 20021223

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20030503

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20030503

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20030505

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20030531

    BERE Be: lapsed

    Owner name: *SIEMENS A.G.

    Effective date: 20030531

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20031201

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20031202

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20030503

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20040130

    NLV4 Nl: lapsed or anulled due to non-payment of the annual fee

    Effective date: 20031201

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    REG Reference to a national code

    Ref country code: ES

    Ref legal event code: FD2A

    Effective date: 20030505