AT400646B - Sprachsegmentkodierungs- und tonlagensteuerungsverfahren für sprachsynthesesysteme und synthesevorrichtung - Google Patents
Sprachsegmentkodierungs- und tonlagensteuerungsverfahren für sprachsynthesesysteme und synthesevorrichtung Download PDFInfo
- Publication number
- AT400646B AT400646B AT0219292A AT219292A AT400646B AT 400646 B AT400646 B AT 400646B AT 0219292 A AT0219292 A AT 0219292A AT 219292 A AT219292 A AT 219292A AT 400646 B AT400646 B AT 400646B
- Authority
- AT
- Austria
- Prior art keywords
- speech
- pitch
- spectral envelope
- period
- pitch pulse
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 229
- 230000015572 biosynthetic process Effects 0.000 title claims description 98
- 238000003786 synthesis reaction Methods 0.000 title claims description 95
- 239000011295 pitch Substances 0.000 claims description 282
- 230000003595 spectral effect Effects 0.000 claims description 183
- 230000036961 partial effect Effects 0.000 claims description 122
- 230000006870 function Effects 0.000 claims description 49
- 238000004458 analytical method Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 43
- 230000005284 excitation Effects 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 38
- 230000000737 periodic effect Effects 0.000 claims description 35
- 238000001228 spectrum Methods 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000002829 reductive effect Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000011049 filling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 16
- 230000002103 transcriptional effect Effects 0.000 description 13
- 238000001308 synthesis method Methods 0.000 description 12
- 230000002441 reversible effect Effects 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012300 Sequence Analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012882 sequential analysis Methods 0.000 description 4
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000011318 synthetic pitch Substances 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 101100286286 Dictyostelium discoideum ipi gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000191 radiation effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
AT 400 646 B
Die Erfindung betrifft ein Sprachsynthesesystem und ein Verfahren zum Synthetisieren von Sprache, und im spezielleren ein Sprachsegmentkodierungs- und Tonlagensteuerungsverfahren, das die Qualität der synthetisierten Sprache wesentlich verbessert.
Das Prinzip der vorliegenden Erfindung kann direkt nicht nur auf Sprachsynthese angewendet werden, sondern auch auf die Synthese anderer Klänge, wie den Klängen von Musikinstrumenten oder Gesang, von denen jedes eine der von Sprache ähnliche Eigenschaft aufweist, oder auf Sprachkodierung mit sehr niedriger Rate bzw. Geschwindigkeit oder Sprachgeschwindigkeits- bzw. Sprachratenumwandlung. Die vorliegende Erfindung wird unten unter Konzentration auf Sprachsynthese beschrieben.
Es gibt Sprachsyntheseverfahren zum Ausführen eines Text-zu-Sprache-Synthesesystems, das zahllose Vokabeln synthetisieren kann, indem Text, das heißt Zeichenfolgen, in Sprache umgewandelt wird. Jedoch ist ein Verfahren, das leicht auszuführen ist und am weitestverbreiteten verwendet wird, das Sprachseg-mentsyntheseverfahren, auch als Synthese-durch-Verknüpfung-Verfahren bezeichnet, bei dem die menschliche Sprache in Abschnitte zerlegt bzw. abgetastet und in phonetische Einheiten wie Halbsiiben oder Diphone analysiert wird, um kurze Sprachsegmente zu erhalten, die dann kodiert und im Speicher gespeichert werden; wenn der Text eingegeben wird, wird er in phonetische Transkriptionen umgewandelt. Den phonetischen Transkriptionen entsprechende Sprachsegmente werden dann aus dem Speicher sequentiell abgerufen und dekodiert, um die dem eingegebenen Text entsprechende Sprache zu synthetisieren.
Bei diesem Typ von Segmentsprachsyntheseverfahren besteht eines der wichtigsten Elemente zur Regulierung der Qualität der synthetisierten Sprache im Kodierungsverfahren der Sprachsegmente. Bei Sprachsegmentsyntheseverfahren des Sprachsynthesesystems nach dem Stand der Technik wird ein Sprachverschlüsselungsverfahren mit geringer Sprachqualität hauptsächlich als das Sprachkodierungsver-fahren zum Speichern von Sprachsegmenten verwendet. Das ist jedoch eine der wichtigsten Ursachen, die die Qualität synthetisierter Sprache verringern. Eine kurze Beschreibung bezüglich des Sprachsegmentko-dierungsverfahrens nach dem Stand der Technik folgt.
Das Sprachkodierungsverfahren kann allgemein in ein Wellenformkodierungsverfahren mit guter Sprachqualität und ein Sprachverschlüsselungsverfahren mit geringer Sprachqualität klassifiziert Herden. Da das Wellenformkodierungsverfahren ein Verfahren ist, mit dem die Sprachwellenform übertragen werden soll, wie sie ist, ist es sehr schwierig, die Tonlagenfrequenz und -dauer zu ändern, sodaß es unmöglich ist, die Intonation und Sprachrate bzw. -geschwindigkeit einzustellen, wenn die Sprachsynthese durchgeführt wird. Es ist auch unmöglich, die Sprachsegmente dazwischen glatt miteinander zu verknüpfen, sodaß das Wellenformkodierungsverfahren grundsätzlich nicht zum Kodieren der Sprachsegmente geeignet ist.
Wenn im Gegensatz dazu das Sprachverschlüsselungsverfahren (auch als ein Analyse-Synthese-Verfahren bezeichnet) verwendet wird, können das Tonlagenmuster und die Dauer des Sprachsegments willkürlich verändert werden. Des weiteren werden, da die Sprachsegmente auch glatt miteinander verknüpft werden können, durch Interpolation der Spektralhüllschätzparameter, sodaß das Sprachverschlüsselungs-verfahren für die Kodiereinrichtung zur Text-zu-Sprache-Synthese geeignet ist, Sprachverschlüsselungsver-fahren, wie das lineare Vorhersage-Kodierungs(LPC)-Verfahren oder die Formant-Sprachverschlüsselung, in den meisten gegenwärtigen Sprachsynthesesystemen verwendet. Da jedoch die Qualität von dekodierter Sprache gering ist, wenn die Sprache unter Verwendung des Sprachverschlüsselsungsverfahrens kodiert wird, kann die durch Dekodieren der gespeicherten Sprachsegmente und ihr Verknüpfen erhaltene synthetisierte Sprache keine bessere Sprachqualität aufweisen, als sie das Sprachverschlüsselungsverfahren bietet.
Bei bisher unternommenen Versuchen, die durch das Sprachverschlüsselungsverfahren gebotene Sprachqualität zu verbessern, wird die verwendete Impulsserie durch ein Erregungssignal ersetzt, das eine weniger künstliche Wellenform aufweist.
Ein derartiger Versuch bestand darin, eine Wellenform mit geringeren Peaks bzw. geringerer Spitzigkert als jenen des Impulses zu verwenden, beispielweise eine dreieckige Wellenform oder eine halbkreisförmige Wellenform oder eine einem Giottalpuls ähnliche Wellenform. Ein weiterer Versuch bestand darin, einen Probentonlagenpuls aus einer oder einigen durch Umkehrfilterung erhaltenen Restsignaltonlagenperioden auszuwählen und anstelle des Impulses einen Probenpuls für die gesamte Zeitperiode oder für eine wesentlich lange Zeitperiode zu verwenden. Jedoch haben derartige Versuche, den Impuls durch einen Erregungspuls oder andere Wellenformen zu ersetzen, die Sprachqualität nicht verbessert oder sie nur leicht, wenn überhaupt, verbessert, und haben nie synthetisierte Sprache mit einer Qualität erzielt, die jener von natürlicher Sprache nahe kommt.
Die EP-0 140 777 A1 beschreibt den Einsatz von Sprachsynthese, um von einem geschriebenen Text eine niedrige Bitrate zu erhalten. Das Sprachkodierungsverfahren besteht darin, eine Kodierung einer geschriebenen Version einer zu kodierenden Botschaft zu bewirken, und ist dadurch gekennzeichnet, daß es außerdem das Kodieren der gesprochenen Version derselben Botschaft und das Kombinieren des Codes 2
AT 400 646 B der von der gesprochenen Botschaft genommenen Intonationsparameter mit den Codes der geschriebenen Botschaft umfaßt. ;·ΐ*ίΐ ' Ri iaitifi “fl
Das Ziel der EP-0 139 419 A1 ist die Erzeugung von synthetischer Sprache mit solcher Klarheit und hohen Qualität, daß sie der natürlichen Sprache sehr nahe kommt, durch Modifizierung der prosodischen 5 Parameter variabler Phoneme als Funktion des Vorhandenseins der beeinflussenden Phoneme, die nahe dem variablen Phonem angeordnet sind, als auch jener, die unmittelbar vor oder nach dem variablen Phonem angeordnet sind.
Die Hauptidee der Sprachsynthese gemäß der EP-0 481 107 A1 ist die Anwendung der wohlbekannten HMM (Hidden Markov Model)-Technik, die auf dem Gebiet der automatischen Spracherkennung weit το verbreitet verwendet wird, auf Sprachsynthesesysteme.
Es ist ein Ziel der vorliegenden Erfindung, qualitativ hochwertige Sprache zu synthetisieren, die eine Natürlichkeit und eine Verständlichkeit im gleichen Ausmaß wie die menschlicher Sprache aufweist, indem ein neues Sprachsegmentkodierungsverfahren verwendet wird, das gute Sprachqualität und Tonlagensteuerung ermöglicht. Das erfindungsgemäße Verfahren kombiniert die Vorteile des Weilenformkodierungsverfah-75 rens, das gute Sprachqualität schafft, aber ohne die Möglichkeit, die Tonlage zu steuern, mit dem Sprachverschlüsselungsverfahren, das Tonlagensteuerung bietet, aber geringe Sprachqualität aufweist.
Die vorliegende Erfindung verwendet ein periodisches Wellenformzeriegungsverfahren, das ein Kodierungsverfahren ist, das ein Signal in einem stimmhaften Lautabschnitt in der Originalsprache in Teilwellen zerlegt, die durch Glottalpulse hergestellten Einperiodensprachwelienformen äquivalent sind, um das 20 zerlegte Signal zu kodieren und zu speichern, und ein auf Zeitverzerrung basierendes Teilwellenverschie-bungs- bzw. Neuadressierungsverfahren, das ein Wellenformsyntheseverfahren ist, das zur willkürlichen Anpassung der Dauer und Tonlagenfrequenz des Sprachsegments unter Beibehaltung der Qualität der Originalsprache fähig ist, in dem Teilwellen ausgewählt werden, die den Positionen am nächsten sind, wo Teilwellen unter gespeicherten Teilwellen anzuordnen sind, und die gewählten Teilwellen dann dekodiert 25 und überlagert werden. Zum Zweck der vorliegenden Erfindung werden Musikklänge wie stimmhafte Laute behandelt.
Das vorangegangene Ziel sollte als nur einige der vorstechenden Merkmale und Anwendungen der Erfindung darlegend verstanden werden. Viele andere positive Ergebnisse können durch Anwenden der geoffenbarten Erfindung auf eine andere Weise oder Modifizieren der Erfindung innerhalb des Schutzum-30 fangs der Offenbarung erzielt werden.
Demgemäß können andere Ziele und ein umfassenderes Verständnis der Erfindung durch Bezugnahme sowohl auf die Zusammenfassung der Erfindung, als auch auch die detaillierte Beschreibung unten erfaßt werden, die, in Verbindung mit den bei liegenden Zeichnungen betrachtet, die bevorzugte Ausführungsform zusätzlich zum durch die Ansprüche definierten Schutzumfang der Erfindung beschreibt. 35
ZUSAMMENFASSUNG DER ERFINDUNG
Sprachsegmentkodierungs- und Tonlagensteuerungsverfahren für Sprachsynthesesysteme gemäß vorliegender Erfindung werden von den Ansprüchen definiert, wobei spezifische Ausführungsformen in den bei 40 liegenden Zeichnungen gezeigt werden. Zum Zweck der Zusammenfassung der Erfindung betrifft die Erfindung ein Verfahren, das fähig ist, Sprache zu synthetisieren, die der Qualität natürlicher Sprache nahe kommt, indem ihre Dauer und Tonlagenfrequenz durch Wellenform-Kodierungs-Teilwellen einer jeden 1 Periode eingestellt wird, sie im Speicher gespeichert werden und sie zum Zeitpunkt der Synthese dekodiert und an geeigneten Zeitpunkten angeordnet werden, sodaß sie das gewünschte Tonlagenmuster aufweisen, 45 und sie dann überlagert werden, um natürliche Sprache, Gesang, Musik und ähnliches zu erzeugen.
Die vorliegende Erfindung umfaßt ein Sprachsegmentkodierungsverfahren zur Verwendung bei einem Sprachsynthesesystem, wobei das Verfahren das Bilden von Teilwellen durch das Ermitteln von Parametern umfaßt, die eine Spektralhülle in jedem Analysezeitintervall darstellen. Das wird durch Analysieren eines periodischen oder quasiperiodischen digitalen Signals wie stimmhafter Sprache durch die Spektralbewer- # so tungstechnik gemacht. Ein Originalsignal wird zeurst in eine Impulsreaktion bzw. -antwort transformiert, die von den Spektralhüllparametern und einer periodischen oder quasiperiodischen Tonlagenpulssignalserie mit ® einer beinahe flachen Spektralhülle dargestellt wird. Ein Erregungssignal, das erhalten wird durch Anhängen von Proben bzw. Abtastungen mit Nullwert nach einem Tonlagenpulssigna! von einer Periode, das durch Segmentieren des Tonlagenpulsseriensignals Periode für Periode erhalten wird, sodaß ein Tonlagenpuls in 55 jeder Periode enthalten ist, und eine einem Satz von Spektralhüilparametem im gleichen Zeitintervall wie das Erregungssignal entsprechende Impulsreaktion werden gefaltet, um eine Teilwelle für diese Periode zu ' % bilden.
3
AT 400 646 B
Die Teilwellen werden nicht im vorhinein durch Wellenform kodieren gebildet und im Speicher gespeichert, sondern können durch Verknüpfung von Information, die erhalten wird durch Wellenformkodieren eines Tonlagenpulssignals eines jeden Periodenintervalls, erhalten durch Segmentation, mit Information gebildet werden, die durch Kodieren eines Satzes von Spektralhüllbestimmungsparametem mit dem gleichen Zeitintervall wie die obige Information erhalten wird, oder mit einer Impulsreaktion, die den Parametern entspricht, und Speichern der Teilwelleninformation im Speicher. Es gibt zwei Verfahren zum Erzeugen synthetischer Sprache unter Verwendung der im Speicher gespeicherten Teilwelieninformation. Das erste Verfahren besteht darin, jede Teiiwelle durch Falten eines Erregungssignals zu bilden, das durch Anhängen von Proben mit Nullwert nach einem Tonlagenpulssignal von einer Periode erhalten wird, das durch Dekodieren der Information und einer Impulsreaktion erhalten wird, die den dekodierten Spektralhüllparametern im gleichen Zeitintervall wie das Erregungssignal entspricht, und dann die Teilwellen geeigneten Zeitpunkten zuzuordnen, sodaß sie ein gewünschtes Tonlagenmuster und Dauermuster aufweisen, sie an den Zeitpunkten anzuordnen und sie dann zu überlagern.
Das zweite Verfahren besteht darin, ein synthetisches Erregungssignal zu bilden, indem die durch Dekodieren der Teilwelleninformation erhaltenen Tonlagenpulssignale geeigneten Zeitpunkten zugeordnet werden, sodaß sie ein gewünschtes Tonlagenmuster und Dauermuster aufweisen, und sie an den Zeitpunkten angeordnet werden, und einen Satz synthetischer Spektralhüllparameter zu bilden, entweder durch temporäres Komprimieren oder Expandieren des Satzes von Zeitfunktionen der Parameter auf einer Untersegment-für-Untersegment-Basis, je nachdem, ob die Dauer eines Untersegments in einem zu synthetisierenden Sprachsegment jeweils kürzer oder länger als die eines entsprechenden Subsegments im Originalsprachsegment ist, oder durch Festlegung des Satzes von Zeitfunktionen der Parameter einer Periode synchron mit dem verknüpften Tonlagenpulssignal von einer Periode, die angeordnet ist, um das synthetische Erregungssignal zu bilden, und das synthetische Erregungssignal und eine Impulsreaktion, die dem synthetischen Spektralhüllparameterset entspricht, unter Einsatz eines zeitvariierenden Filters oder unter Verwendung einer Schnellfalttechnik auf FFT(Fast Fourier Transform)-Basis zu falten. Beim letzteren Verfahren tritt eine Austastlücke auf, wenn eine gewünschte Tonlagenperiode länger ist als die ursprüngliche Tonlagenperiode, und ein Überlappungsintervall tritt auf, wenn die gewünschte Tonlagenperiode kürzer als die ursprüngliche Tonlagenperiode ist.
Beim Überlappungsintervali wird das synthetische Erregungssignal durch Addieren der überlappten Tonlagenpulssignale zueinander oder durch Auswählen von einem davon erhalten, und der Spektralhüiipara-meter wird durch Auswählen entweder eines der überlappten Spektralhüllparameter oder durch Verwendung eines Durchschnittswertes der beiden überlappten Parameter erhalten.
In der Austastlücke wird das synthetische Erregungssignal erhalten, indem sie mit Proben mit Nullwert gefüllt wird, und der synthetische Spektralhüllparamter wird erhalten, indem die Werte der Spektralhüllpa-ramter an den Beginn- und Endpunkten des der vorhergehenden und folgenden Perioden vor und nach dem Zentrum der Austastlücke wiederholt werden, oder indem einer der beiden Werte oder ein Durchschnittswert der beiden Werte wiederholt wird, oder indem sie mit Werten gefüllt wird und die beiden Werte glatt verbunden werden.
Die vorliegende Erfindung umfaßt weiters ein Tonlagensteuerverfahren eines Sprachsynthesesystems, das fähig ist, die Dauer und Tonlage eines Sprachsegments durch ein Teilwellenverschiebungsverfahren auf Zeitverzerrungsbasis zu steuern, das es möglich macht, Sprache mit beinahe der gleichen Qualität wie der von natürlicher Sprache zu synthetisieren, indem wichtige Grenzzeitpunkte wie der Beginnpunkt, der Endpunkt und die Stabilzustandspunkte, in einem Sprachsegment und die Tonlagenpulspositionen einer jeden Teilwelle oder jeden Toniagenpulssignals kodiert werden, und sie gleichzeitig zur Zeit der Speicherung eines jeden Sprachsegments im Speicher gespeichert werden, und zur Zeit der Synthese eine Zeitverzerrungsfunktion durch Vergleich gewünschter Grenzzeitpunkte und ursprünglicher Grenzzeitpunkte erhalten werden, die den gewünschten Grenzzeitpunkten entsprechend gespeichert sind, unter Verwendung der Zeitverzerrungsfunktion die ursprünglichen Zeitpunkte herausgefunden werden, die jeder gewünschten Tonlagenpulsposition entsprechen, Teilwellen ausgewählt werden, die Tonlagenpulspositionen aufweisen, die den ursprünglichen Zeitpunkten am nächsten sind, und sie an gewünschten Tonlagenpulspositionen angeordnet werden und die Teilwellen überlagert werden.
Das Tonlagensteuerverfahren kann weiters das Erzeugen synthetischer Sprache durch das Auswahlen von Tonlagenpulssignalen einer Periode und den Tonlagenpulssignalen entsprechenden Spektralhüllparametern anstelle der Teilwellen umfassen, sowie ihr Lokalisieren und das Falten der lokalisierten Tonlagenpulssignale und der den Spektralhüllparametern entsprechenden Impulsreaktion, um Teilwellen zu erzeugen, und das Überlagern der erzeugten Teilwellen, oder das Falten eines durch überlagern der lokalisierten Tonlagenpulssignale erhaltenen synthetischen Erregungssignals und einer Zeitvarianten Impulsreaktion, die einem synthetischen Spektralhüllparameter entspricht, der durch Verknüpfen der lokalisierten Spektralhüil- 4
AT 400 646 B
iv;, i"S1 Jlftl i'i’""
Parameter erhalten wurde. Eine Vorrichtung zur Synthese stimmhafter Sprache eines Sprachsynthesesystems wird geoffenbart und umfaßt einen Dekodierungsunterblock 9. der Teilwelleninformation erzeugt, indem er Teilwellencodes vom Sprachsegmentspeicherblock 5 dekodiert. Ein Dauersteuerungsunterblock 10 erzeugt Zeitverzerrungsdaten aus dem Eingang an Dauerdaten von einem Prosodics-Erzeugungssubsystem 2 und in Headerinformation enthaltenen Grenzzeitpunkte vom Sprachsegmentspeicherblock 5. Ein Tonlagensteuerungssubblock 11 erzeugt Tonlagenpulspositionsinformation, sodaß er ein Intonationsmuster, wie durch Intonationsmusterdaten vom Eingang der Headerinformation vom Sprachsegmentspeicherblock 5, den Intonationsmusterdaten vom Prosodieserzeugungssubsystem und der Zeitverzerrungsinformation vom Dauersteuerungssubblock 10 angegeben, aufweist. Ein Energiesteuersubblock 12 erzeugt Verstärkungsinformation, sodaß synthetisierte Sprache das Betonungsmuster, wie durch Betonungsmusterdaten vom Eingang der Betonungsmusterdaten vom Prosodieserzeugungssubsystem 2, der Zeitverzerrungsinformation vom Dauersteuerungssubbiock 10 und der Tonlagenpulspositionsinformation vom Tonlagensteuerungssubblock 11 angegeben, aufweist. Ein Wellenformanordnungssubblock 13 erzeugt ein stimmhaftes Sprachsignal aus dem Eingang der Teilwelleninformation vom Dekodierungssubblock 9, der Zeitverzerrungsinformation vom Dauersteuerungssubbiock 10, der Tonlagenpulspositionsinformation vom Tonlagensteuerungssubblock 11 und der Verstärkungsirjför-mation vom Energiesteuerungssubbiock 12. So wird gemäß vorliegender Erfindung Text in das phonetische Vorverarbeitungssubsystem 1 eingegeben, wo er in phonetische transkriptive Symbole und syntaktische Analysedaten umgewandelt wird. Die syntaktischen Analysedaten werden an ein Prosodieserzeugungssubsystem 2 abgegeben. Das Prosodieserzeugungssubsystem 2 gibt Prosodicinformation an das Sprachsegmentverknüpfungssubsystem 3 ab. Der phonetische transkriptive Symbolausgang vom Vorverarbeitungssubsystem wird ebenfalls in das Sprach-segmentverknüpfungssubsystem 3 abgegeben. Die phonetischen transkriptiven Symbole werden dann In den Sprachsegmentselektionsblock 4 eingegeben, und die entsprechenden prosodischen Daten werden in den Syntheseblock 6 für stimmhaften Laut und in den Syntheseblock 7 für nicht stimmhaften Laut eingegeben. Im Sprachsegmentselektionsblock 4 wird jedes eingegebene phonetische transkriptive Symbol mit einer entsprechenden Sprachsegmentsyntheseeinheit gepaart, und eine Speicheradresse der gepaarten Syntheseeinheit, die jedem eingegebenen phonetischen transkriptiven Symbol entspricht, wird aus einer Sprachsegmenttabelle im Sprachsegmentspeicherblock 5 herausgefunden. Die Adresse der gepaarten Syntheseeinheit wird dann an den Sprachsegmentspriecherblock 5 abgegeben, wo das entsprechende Sprachsegment in kodierter Teilwellenform für jede der Adressen der gepaarten Syntheseeinheiten ausgewählt wird. Das ausgewählte Sprachsegment in kodierter Teilwellenform wird für stimmhaften Laut an den Syntheseblock 6 für stimmhaften Laut und für nicht stimmhaften Laut an den Syntheseblock 7 für nicht stimmhaften Laut abgegeben. Der Syntheseblock 6 für stimmhaften Laut, bei dem das Teilwellenverschiebungsverfahren auf Zeitverzerrungsbasis zum synthetisieren von Sprachklang verwendet wird, und der Syntheseblock 7 für nicht stimmhaften Laut geben an den Digital-Analog-Umsetzer zum Umwandeln der Eingangsdigitalsignale in Analogsignale, welche die synthetisierten Sprachklänge sind, digitale synthetische Sprachsignale ab. Um die vorliegende Erfindung zu verwenden, wird zuerst Sprache und/oder Musik auf Magnetband aufgezeichnet. Der resultierende Klang wird dann durch Tiefpaßfiltern der Analogsignale und anschließendem Zuführen der gefilterten Signale zu einem Analog-Digital-Umsetzer aus Analogsignalen in Digitalsignale umgewandelt. Die resultierenden digitalisierten Sprachsignale werden dann in eine Anzahl von Sprachseg* menten segmentiert, die Klänge aufweisen, die Syntheseeinheiten entsprechen, wie Phoneme, Diphone, Halbsilben und ähnliches, wobei bekannte Sprachaufbereitungsgeräte verwendet werden. Jedes resultieren* de Sprachsegment wird dann in stimmhafte und nicht stimmhafte Sprachsegmente differenziert, wob« bekannte, stimmhaft/nicht stimmhaft, Feststellungsgeräte und Sprachaufbereitungsgeräte verwendet werden. Die nicht stimmhaften Sprachsegmente werden nach bekannten Sprachverschlüsselungsverfahren kodiert, die weißes Rauschen als eine Quelle für nicht stimmhafte Sprache verwenden. Die Sprachver-schlüsselungsverfahren umfassen LPC, homomorphe, Formant-Sprachverschlüsselungsverfahren und ähnS-che. Die stimmhaften Sprachsegmente werden verwendet, um Teilwellen sj(n) gemäß dem unten in Figur 4 geoffenbarten Verfahren zu bilden. Die Teilwellen sj(n) werden dann unter Verwendung eines geeigneten Wellenformkodierungsverfahrens kodiert. Bekannte Wellenformkodierungsverfahren umfassen Pulscode-Modulation (PCM), adaptive differentielle Pulscode-Modulation (ADPCM), adaptive Vorraussage-Codierung (APC) und ähnliches. Die resultierenden kodierten stimmhaften Sprachsegmente werden wie in den Figuren 6A und 6B gezeigt im Sprachsegmentspeicherblock 5 gespeichert. Die kodierten nicht stimmhaften Sprachsegmente werden ebenfalls im Sprachsegmentspeicherblock 5 gespeichert. l:::'
:ΐ·; -ü';i λ > id #;
•fv.i ;*!'ϋ rf- dipi r 11 '1 : i-i 5
AT 400 646 B
Die hervorstechenderen und wichtigeren Merkmale der vorliegenden Erfindung sind oben dargelegt worden, sodaß die folgende detaillierte Beschreibung der Erfindung besser verstanden wird und der vorliegende Beitrag zum Gebiet der Technik voll anerkannt werden kann. Zusätzliche Merkmale der Erfindung, die in der Folge beschrieben werden, bilden den Gegenstand der Ansprüche der Erfindung. Fachleute können anerkennen, daß das/die hierin geoffenbarte Konzept und spezifische Ausführungsform einfach als Basis zum Modifizieren und Konstruieren anderer Strukturen zum Durchführen der gleichen Ziele der vorliegenden Erfindung verwendet werden können. Weiters können Fachleute erkennen, daß derartige äquivalente Konstruktionen nicht vom Geist und Schutzumfang der Erfindung wie in den Ansprüchen dargelegt abweichen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN Für ein umfassenderes Verständnis des Wesens und der Ziele der Erfindung, sollte auf die folgende detaillierte Beschreibung in Verbindung mit den bei liegenden Zeichnungen bezuggenommen werden, in denen:
Figur 1 das Text-zu-Sprache-Synthesesystem des Sprachsegmentsyntheseverfahrens veranschaulicht: Figur 2 das Sprachsegmentverknüpfungs-Subsystem veranschaulicht; die Figuren 3A bis 3T Wellenformen veranschaulichen, um das Prinzip des periodischen Wellenformzerlegungsverfahrens und des Teilwellenverschiebungsverfahrens gemäß vorliegender Erfindung zu erklären;
Figur 4 ein Biockdiagramm zum Erklären des periodischen Wellenformzeriegungsverfahrens darstellt; die Figuren 5A bis 5E Blockdiagramme zum Erklären der Vorgangsweise des Blindfaltungsverfahrens darstellen; die Figuren 6A und 6B Codeformate für die im Sprachsegmentspeicherblock gespeicherte stimmhafte Sprachsegmentinformation veranschaulichen;
Figur 7 den Syntheseblock für stimmhafte Sprache gemäß vorliegender Erfindung veranschaulicht; und die Figuren 8A und 8B Schaubilder zum Erklären des Dauer- und Tonlagensteuerungsverfahrens gemäß vorliegender Erfindung darstellen.
Gleichartige Bezugszeichen beziehen sich in allen der mehreren Ansichten der Zeichnungen auf gleichartige Teile.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Die Anordnung des Text-zu-Sprache-Synthesesystems von Sprachsegmentsyntheseverfahren nach dem Stand der Technik besteht aus drei Subsystemen: A. Einem Phonetischen Vorbearbeitungssubsystem (1); B. Einem Prosodieserzeugungssubsystem (2); und C. einem Sprachsegmentverknüpfungssubsystem (3), wie in Figur 1 gezeigt. Wenn der Text von einer Tastatur, einem Computer oder irgend einem anderen System in das Text-zur-Sprache-Synthesesystem eingegeben wird, analysiert das phonetische Vorbearbeitungssubsystem (1) die Syntax des Textes und verwandelt den Text dann in eine Abfolge phonetischer transkriptiver Symbole, indem darauf phonetische Aufzeichnungsregeln angewandt werden. Das Prosodieserzeugungssubsystem (2) erzeugt Intonationsmusterdaten und Betonungsmusterdaten, wobei syntaktische Analysedaten verwendet werden, sodaß auf die Abfolge phonetischer transkriptiver Symbole die geeignete Intonation und Betonung angewandt werden kann, und gibt die Daten dann an das Sprachsegmentverknüpfungssubsystem (3) ab. Das Prosodieserzeugungssubsystem (2) stellt auch die Daten im Hinblick auf die Dauer jedes Phonems an das Sprachsegmentverknüpfungssubsystem (3) zur Verfügung.
Die obigen drei prosodischen Daten, d.h. die Intonationsmusterdaten, die Betonungsmusterdaten und die Daten bezüglich der Dauer eines jedem Phonems werden im allgemeinen gemeinsam mit der Abfolge der durch das phonetische Vorbearbeitungssubsystem (1) erzeugten phonetischen transkriptiven Symbole an das Sprachsegmentverknüpfungssubsystem (3) geschickt, obwohl sie unabhängig von der Abfolge der phonetischen transkriptiven Symbole zum Sprachsegmentverknüpfungssubsystem (3) transferiert werden können.
Das Sprachsegmentverknüpfungssubsystem (3) erzeugt kontinuierliche Sprache, indem geeignete Sprachsegmente, die kodiert und im Speicher davon gespeichert sind, gemäß der Abfolge der phonetischen transkriptiven Symbole (nicht gezeigt) nacheinander geholt und dekodiert werden. Zu diesem Zeitpunkt kann das Sprachsegmentverknüpfungssubsystem (3) synthetische Sprache erzeugen, die die Intonation, Betonung und Sprachgeschwindigkeit aufweist, wie sie vom Prosodieserzeugungssubsystem (2) 6 11
AT 400 646 B beabsichtigt ist, indem die Energie (Intensität), die Dauer und die Tonlagenperiode eines jeden Sprachseg-ments gemäß der prosodischen Information gesteuert wird.
Die vorliegende Erfindung verbessert die Sprachqualität im Vergleich zu synthetisierter Sprache nach dem Stand der Technik merklich, indem sie das Kodierungsverfahren zum Speichern der Sprachsegmente im Sprachsegmentverknüpfungssubsystem (3) verbessert. Eine Beschreibung bezüglich des Betriebs des Sprachsegmentverknüpfungssubsystems (3) unter Bezugnahme auf Figur 2 folgt.
Wenn die Abfolge der durch das phonetische Vorbearbeitungsssubsystem (1) gebildeten phonetischen transkriptiven Symbole in den Sprachsegmentselektionsbiock (4) eingegeben wird, wählt der Sprachseg-mentselektionsbiock (4) die Syntheseeinheiten wie Diphone und Halbsilben nacheinander aus, indem er die Abfolge hereinkommender phonetischer transkriptiver Symbole kontinuierlich überprüft, und findet vom Speicher davon wie in Tabelle 1 die Adressen der Sprachsegmente heraus, die den ausgewählten Syntheseeinheiten entsprechen. Tabelle 1 zeigt ein Beispiel der im Sprachsegmentselektionsbiock (4) festgehaltenen Sprachsegmenttabelle, der die Sprachsegmente auf Diphonbasis auswählt. Das führt zur •Bildung einer Adresse des ausgewählten Sprachsegments, die an den Sprachsegmentspeicherblock (5) angegeben wird.
Die den Adressen des Sprachsegments entsprechenden Sprachsegmente werden gemäß dem erfindungsgemäßen Verfahren, das später beschrieben wird, kodiert, und an den Adressen des Speichers des Sprachsegmentspeicherblocks (5) gespeichert.
Tabelle 1 phonetisches transkriptives Speicheradresse
Symbol für Sprachsegment (hexadecimal) /ai/ 0000 /au/ 0021 /ab/ 00 A3 /ad/ • OOFF • • • «
Wenn die Adresse des ausgewählten Sprachsegments vom Sprachsegmentselektionsbiock (4) in den Sprachsegmentspeicherblock (5) eingegeben wird, holt der Sprachsegmentspeicherblock (5) die entsprechenden Sprachsegmentdaten vom Speicher im Sprachsegmentspeicherblock (5) und sendet sie an einen Syntheseblock (6) für stimmhaften Laut, wenn es sich um einen stimmhaften Laut oder einen stimmhaften Reibelaut handelt, oder einen Syntheseblock (7) für nicht stimmhaften Laut, wenn es sich um einen nicht stimmhaften Laut handelt. Das heißt, der Syntheseblock (6) für stimmhaften Laut synthetisiert ein digitales Sprachsignal, das den stimmhaften Lautsprachsegmenten entspricht; und der Syntheseblock (7) für nicht stimmhaften Laut synthetisiert ein digitales Sprachsignal, das dem nicht stimmhaften Lautsprachsegmerrt entspricht. Jedes digitale synthetisierte Sprachsignal des Syntheseblocks (6) für stimmhaften Laut und des Syntheseblocks (7) für nicht stimmhaften Laut wird dann in ein analoges Signal umgewandelt.
So wird das vom Syntheseblock (6) für stimmhaften Laut oder vom Syntheseblock (7) für nicht stimmhaften Laut abgebene resultierende digitale synthetisierte Sprachsignal dann zu einem D/A-Umwand-lungsblock (8) geschickt, der aus einem Digital-Analog-Umsetzer, einem Analogtiefpaßfilter und einem Analogverstärker besteht, und wird in ein analoges Signal umgewandelt, um synthetisierten Sprachlaut zu erzeugen.
Wenn der Syntheseblock (6) für stimmhaften Laut und der Syntheseblock (7) für nicht stimmhaften Laut die Sprachsegmente verknüpfen, schaffen sie die Prosodie wie vom prosodischen Erzeugungssubsystem (2) beabsichtigt für synthetisierte Sprache, indem sie die Dauer, die Intensität und die Tonlagenfrequenz des Sprachsegments auf der Basis der prosodischen Information, d.h. Intonationsmusterdaten, Betonungsmusterdaten, Dauerdaten, richtig einstellen.
Die Vorbereitung des Sprachsegments zum Speichern im Sprachsegmentspeicherblock (5) erfolgt folgendermaßen. Zuerst wird eine Syntheseeinheit ausgewählt. Derartige Syntheseeinheiten umfassen 7
AT 400 646 B
Phonem, Allophon, Diphon, Silbe, Halbsilbe, CVC-, VCV-, CV- VC-Einheit (hier steht "C" für ein Konsonanten- bzw. "V" für ein Vokalphonem) oder Kombinationen davon. Die Syntheseeinheiten, die am häufigsten für Sprachsyntheseverfahren nach dem Stand der Technik verwendet werden, sind die Diphone und die Halbsilben.
Das jedem Element einer Anhäufung von Syntheseeinheiten entsprechende Sprachsegment wird von den Sprachproben bzw. -abtastungen segmentiert, die von einem Menschen tatsächlich ausgesprochen werden. Demgemäß ist die Anzahl der Elemente der Syntheseeinheitanhäufung die gleiche wie die Anzahl der Sprachsegmente. Beispielsweise beträgt in Fällen, in denen als die Syntheseeinheiten in Englisch Halbsilben verwendet werden, die Anzahl der Halbsilben etwa 1000, und demgemäß beträgt die Anzahl an Sprachsegmenten ebenfalls etwa 1000. Im allgemeinen bestehen derartige Sprachsegmente aus dem nicht stimmhaften Lautintervall und dem stimmhaften Lautintervall.
Gemäß vorliegender Erfindung werden als die grundlegende Syntheseeinheit das nicht stimmhafte Sprachsegment und das stimmhafte Sprachsegment verwendet, die durch Segmentieren des Sprachseg-ments nach dem Stand der Technik in das nicht stimmhafte Lautintervall und das stimmhafte Lautintervall erhalten wurden. Der nicht stimmhafte Lautsprachsyntheseabschnitt wird nach dem Stand der Technik wie unten besprochen erreicht. Die Synthese von stimmhafter Lautsprache wird gemäß vorliegender Erfindung erreicht.
So werden die nicht stimmhaften Sprachsegmente am in Figur 2 gezeigten Syntheseblock (7) für nicht stimmhaften Laut dekodiert. Im Fall des Dekodierens des nicht stimmhaften Lauts ist nach dem Stand der Technik festgestellt worden, daß die Verwendung eines künstlichen weißen Flauschsignals als ein Erregungssignal für ein Synthesefilter die Qualität der dekodierten Sprache nicht verschlechtert oder verringert. Daher kann beim Kodieren und Dekodieren der nicht stimmhaften Sprachsegmente das Sprachverschlüs-selungsverfahren nach dem Stand der Technik wie es ist angewandt werden, bei welchem Verfahren das weiße Rauschen als das Erregungssignal verwendet wird. Beispielsweise kann bei der Synthese nicht stimmhaften Lauts nach dem Stand der Technik das weiße Flauschsignal durch einen Zufallszahlerzeugungsalgorithmus erzeugt werden und kann verwendet werden, oder das im vorhinein erzeugte und im Speicher gespeicherte weiße Rauschsignal kann beim Synthetisieren aus dem Speicher geholt werden, oder ein durch Filtern des nicht stimmhaften Lautintervalls der tatsächlichen Sprache unter Verwendung eines Inversspektralhüllfilters erhaltenes und im Speicher gespeichertes Restsignal kann vom Speicher geholt werden, wenn synthetisiert wird. Wenn es nicht notwendig ist, die Dauer des nicht stimmhaften Sprachsegmente zu verändern, kann ein äußerst einfaches Kodierungsverfahren verwendet werden, bei dem der nicht stimmhafte Lautabschnitt nach einem Welienformkodierungsverfahren wie Pulscodemodulation (PCM) oder adaptive differentielle Pulscodemodulation (ADPCM) kodiert wird und gespeichert wird. Er wird dann beim Synthetisieren zur Verwendung dekodiert. .#!
Die vorliegende Erfindung betrifft ein Kodierungs- und Syntheseverfahren für die stimmhaften Sprachsegmente, das die Qualität der synthetisierten Sprache bestimmt. Eine Beschreibung bezüglich eines solchen Verfahrens mit dem Hauptaugenmerk auf dem Sprachsegmentspeicherblock und dem Syntheseblock (6) für stimmhaften Laut wird in Figur 2 gezeigt.
Die stimmhaften Sprachsegmente unter den im Speicher des Sprachsegmentspeicherblocks (5) gespeicherten Sprachsegmenten werden im vorhinein gemäß dem Zerlegungsverfahren für periodische Wellenform gemäß vorliegender Erfindung in Teilwellen des periodischen Tonlagenbestandteils zerlegt und darin gespeichert. Der Syntheseblock (6) für stimmhaften Laut synthetisiert Sprache, die die gewünschten Tonlagen- und Dauermuster aufweist, indem die Teilwellen richtig ausgewählt und nach dem Teilwellenneu-addressierungsverfahren auf Zeitverzerrungsbasis angeordnet werden. Das Prinzip dieser Verfahren wird unten unter Bezugnahme auf die Zeichnungen beschrieben.
Stimmhafte Sprache s(n) ist ein periodisches Signal, das erhalten wird, wenn eine an den Stimmbändern erzeugte periodische Glottalwelle (N.B.glottal = die Stimmritze betreffend) durch das akustische Vokaltraktfilter V(f) hindurchgeht, das aus der Mundhöhle, Rachenhöhle und Nasenhöhle besteht. Hier wird angenommen, daß das Vokaltraktfilter V(f) Frequenzcharakteristik einschließt, die auf eine Lippenausstrahlungswirkung zurückzuführen sind. Ein Spektrum S(f) stimmhafter Sprache ist gekennzeichnet durch: : "fi ........ 1. Eine feine Struktur, die rasch bezogen auf die Frequenz "fn variiert: und 2. Eine Spektralhülle, die langsam dazu variiert, wobei ersteres auf die Perodizität des stimmhaften Sprachsignals zurückzuführen ist und letzteres das Spektrum eines Glottalpulses und eine für das Vokaltraktfilter charakteristische Frequenz widerspiegelt.
Das Spektrum S(f) der stimmhaften Sprache hat die gleiche Form wie die Form, die erhalten wird, wenn die feine Struktur einer Impulsserie aufgrund harmonischer Komponenten, die an ganzzahligen Vielfachen der Tonlagenfrequenz Fo bestehen, mit einer Spektralhüllfunktion H(f) multipliziert wird. Daher kann stimmhafte Sprache s(n) als ein Ausgangssignal betrachtet werden, wenn ein periodisches Tonlagenpulsse- :..1¾ -Üj 8
AT 400 646 B riensignal e(n) mit einer flachen Spektralhülle und der gleichen Periode wie die stimmhafte Sprache S(n) an ein zeitvariierendes Filter mit der gleichen Frequenzreaktionseigenschaft wie die Spektralhüllfunktion H(f) der stimmhaften Sprache s(n) eingegeben wird. Wenn man das im Zeitbereich betrachtet, ist die stimmhafte Sprache s(n) eine Faltung einer Impulsreaktion h(n) des Filters H(f) und des periodischen Tonlagenpulsseriensignals e(n). Da H(f) der Spektralhüllfunktion der stimmhaften Sprache s(n) entspricht, wird das zeitvariierende Filter, das H(f) als seine Frequenzreaktionscharakteristik aufweist, als ein Spektraihüllfilter oder ein Synthesefilter bezeichent.
In Figur 3A ist ein Signal für 4 Perioden einer Glottalwellenform dargestellt. Üblicherweise sind die Welienformen der Glottalpulse, die die Glottalwellenform bilden, einander ähnlich aber nicht vollständig identisch, und auch die Intervallzeit zwischen den benachbarten Glottalpulsen ist einander ähnlich aber nicht vollständig gleich. Wie oben beschrieben wird die stimmhafte Sprachwellenform s(n) von Figur 3C erzeugt, wenn die in Figur 3A gezeigte Glottalwellenform g(n) durch das Vokaltraktfilter V(f) gefiltert wird. Die Glottalwellenform g(n) besteht aus den Glottalpulsen g1(n), g2(2), g3(n) und g4(n), die voneinander was die Zeit betrifft unterschieden werden, und wenn sie durch das Vokaltraktfilter V(f) gefiltert werden, werden die in Figur 3B gezeigten Teilwellen s1(n), s2(n), s3(n) und s4(n) erzeugt. Die in Figur 3C gezeigte stimmhafte Sprachwellenform s(n) wird durch überlagern derartiger Teilwellen erzeugt,
Ein Grundkonzept der vorliegenden Erfindung besteht darin, daß, wenn man durch Zerlegen des stimmhaften Sprachsignals die Teilwellen erhalten kann, aus denen ein stimmhaftes Sprachsignal besteht, Sprache mit willkürlichem Akzent- und Intonationsmuster synthetisiert werden kann, indem die Intensität der Teilwellen und die Zeitintervalle zwischen ihnen geändert werden.
Da die in Figur 3C gezeigte stimmhafte Sprachwellenform s(n) durch Überlagerung der Teilwellen erzeugt wurde, die einander in der Zeit überlappen, ist es schwierig, die Teilwellen von der Sprachwellenform s(n) zurückzubekommen.
Damit die Wellenformen einer jeden Periode einander im Zeitbereich nicht überlappen, muß die Wellenform eine Wellenform mit Peak bzw. Spitze sein, bei der die Energie um einen Zeitpunkt konzentriert ist, wie in Figur 3F gezeigt.
Eine spitze Wellenform ist eine Wellenform, die im Frequenzbereich eine beinahe flache Spektralhülle aufweist. Wenn eine stimmhafte Sprachwellenform s(n) gegeben ist, kann ein periodisches Tonlagenpulsseriensignal e(n) mit einer flachen Spektralhülle wie in Figur 3F gezeigt als Ausgang erhalten werden, indem die Hülle des Spektrums S(f) der Wellenform s(n) geschätzt und sie in ein Umkehrspektralhüllfilter 1/H(f) eingegeben wird, das eine Umkehrung der Hülifunktion H(f) als eine Frequenzcharakteristik aufweist. Die Figuren 4, 5A und 5B beziehen sich auf diesen Schritt.
Da die Tonlagenpulswellenformen einer jeden Periode, die das periodische Tonlagenpulsseriensignal e-(n) wie in Figur 3F gezeigt bilden, einander im Zeitbereich nicht überlappen, können sie getrennt werden. Das Prinzip des Zerlegungsverfahrens für periodische Wellenform ist das, daß, weil die getrennten "Tonlagenpulssignale für eine Periode" e1(n), e2(n), . . ein im wesentlichen flaches Spektrum aufweisen, wenn sie zum Spektraihüllfilter H(f) zurück einegeben werden, sodaß die Signale das Originalspektrum aufweisen, dann die Teilwellen s1(n), S2(n) usw. wie in Figur 3B erhalten werden können.
Figur 4 ist ein Blockdiagramm des Zerlegungsverfahrens für periodische Wellenform gemäß vorliegender Erfindung, in dem das stimmhafte Sprachsegment in Teilwellen analysiert wird. Die stimmhafte Sprachwellenform s(n), die ein digitales Signal ist, wird durch Bandbegrenzung des analogen stimmhaften Sprachsignals oder Musikinstrumentlautsignals mit einem Tiefpaßfilter und durch Umwandeln der resultierenden Signale in Analog-zu-Digital-Signalen und Speichern auf einer Magnetscheibe in der Form des Pulscodemodulations(PCM)-Codeformats durch Gruppieren mehrerer Bits gleichzeitig erhalten, und wird dann wenn erforderlich zur Bearbeitung geholt.
Das erste Stadium des Teilwellenvorbereitungsverfahrens nach dem Zerlegungsverfahren für periodische Wellenform ist eine Blindfaltung, bei dem die stimmhafte Sprachwellenform s(n) (periodisches Signal s(n)) in eine Impulsreaktion h(n) gefaltet wird, die eine Funktion im Zeitbereich der Spektrumhüllfunktion H(f) des Signals s(n) ist, und ein periodisches Tonlagenpulsseriensignal e(n), das eine flache Spektralhülle und die gleiche Periode wie das Signal s(n) aufweist. Siehe Figuren 5A und 5B und die darauf bezogene Erörterung.
Wie beschrieben wird für das Blindfalten die Spektrumschätztechnik wesentlich, mit der die Spektralhüllfunktion H(f) vom Signal s(n) geschätzt wird.
Spektrumschätztechniken nach dem Stand der Technik können in 3 Verfahren klassifiziert werden: 1. Ein Blockanalyseverfahren; 2. ein Tonlagensynchronanalyseverfahren,· und 3. ein sequentielles Analyseverfahren, das von der Länge eines Analyseintervalls abhängt. 9
I
AT 400 646 B
Das Blockanalyseverfahren ist ein Verfahren, bei dem das Sprachsignal in Blöcke mit konstanter Dauer im Bereich von 10 -20 ms (Millisekunden) geteilt wird, und die Analyse dann bezogen auf die konstante Anzahl an Sprachproben bzw. -abtastungen, die in jedem Block vorhanden sind, durchgeführt wird, wobei ein Satz (üblicherweise 10-16 Paramter) von Spektralhüllparametem für jeden Block erhalten wird, für welches Verfahren ein homomorphes Analyseverfahren und ein Block-Linearvorhersageanalyseverfahren typisch sind.
Das Tonlagensynchronanalyseverfahren erzielt einen Satz Spektralhüllparamter für jede Periode durch das Durchführen von Anlyse an jedem Periodensprachsignal, das durch Teilen des Sprachsignals mit der Tonlagenperiode als die Einheit (wie in Figur 3C gezeigt) erhalten wurde, für welches Verfahren das Analyse-durch-Synthese-Verfahren und das Tonlagensynchronlinearvorhersageanalyseverfahren typisch sind.
Beim sequentiellen Analyseverfahren wird ein Satz Spektralhüllparameter für jede Sprachprobe erhalten (wie in Figur 3D gezeigt) durch Schätzen des Spektrums für jede Sprachprobe, für welches Verfahren das Verfahren der kleinsten Quadrate und das rekursive Verfahren der kleinsten Quadrate, die eine Art adaptives Filterverfahren sind, typisch sind.
Figur 3D zeigt Variation mit der Zeit der ersten 4 Reflexionskoeffizienten unter 14 Reflexionskoeffizienten k1, k2, . . ,k14, die einen Spektralhüllparametersatz darstellen, der durch das sequentielle Analyseverfahren erhalten wird. (Siehe Figur 5A). Wie aus der Zeichnung zu ersehen ist, verändern sich die Werte der Spektralhüllparameter aufgrund kontinuierlicher Bewegung der Artikulationsorgane kontinuierlich, was bedeutet, daß die Impulsreaktion h(n) des Spektralhüllfilters sich kontinuierlich ändert. Hier wird, um die Erklärung zweckmäßig zu gestalten, wobei davon ausgegangen wird, daß h(n) sich im Intervall einer Periode nicht ändert, h(n) während der ersten, zweiten und dritten Periode jeweils mit h(n)1, h(n)2, h(n)3 benannt, wie in Figur 3E gezeigt.
Ein durch verschiedene Spektrumsschätztechniken erhaltener Satz von Hüllparametem, wie ein Cep-strum CL(i), der ein Parametersatz ist, der durch das homomorphe Analyseverfahren erhalten wird, und ein Vorhersagekoeffizientensatz ai oder ein Reflexionskoeffizientensatz ki, oder ein Satz Linienspektrumpaare usw., der durch Anwendung des rekursiven Verfahrens der kleinsten Quadrate oder das lineare Vorhersageverfahren erhalten wird, wird ebenfalls als das H(f) oder h(n) behandelt, da er die Frequenzcharakteristik H(f) oder die Impulsreaktion h(n) des Spektralhüllfilters machen kann. Daher wird in der Folge auch die Impulsreaktion als der Spektralhüllparametersatz bezeichnet.
Die Figuren 5A und5B zeigen Verfahren des Blindfaltens.
Figur 5A zeigt ein Blindfaltverfahren, das unter Verwendung des Linearvorhersageanalyseverfahrens oder unter Verwendung des rekursiven Verfahrens der kleinsten Quadrate durchgeführt wird, die beide Verfahren nach dem Stand der Technik sind. Wenn die stimmhafte Sprachwellenform s(n) gegeben ist, wie in Figur 3C gezeigt, werden die Vorhersagekoeffizienten {a1,a2, . . ,aN} oder die Reflexionskoeffizienten {k1, k2,.., kN}, die die Spektralhüllparameter sind, die die Frequenzcharakteristik H(f) darstellen, oder die Impulsreaktion h(n) des Spektralhülifilters unter Verwendung des Linearvorhersageanalyseverfahrens oder des rekursiven Verfahrens der kleinsten Quadrate erhalten. Normalerweise reichen 10 bis 16 Vorhersagekoeffizienten für den Bereich der Vorhersage "N" aus. Unter Verwendung der Vorhersagekoeffizienten {a1, a2 . . . aN} und der Reflexionskoeffizienten {k1, k2 . . . kN} als der Spektralhüllparameter kann von einem Fachmann leicht ein Inversspektralhüllfilter (oder einfach als ein Inversfilter bezeichnet) mit der Frequenz- Charakteristik von 1/H(f), das eine Umkehrung des Frequenzmerkmals H(f) des SpektralhUIIfiIter ist, konstruiert werden. Wenn die stimmhafte Sprachwellenform die Eingangsgröße für das Umkehrspektralhüllfilter ist das auch als ein Linearvorhersagefehlerfilter im linearen Vorhersageanalyseverfahren oder im rekursiven Verfahren der kleinsten Quadrate ist, kann das periodische Tonlagenpulsseriensignal des Typs von Figur 3F, welche die als ein Vorhersagefehlersignal oder ein Restsignal bezeichnete flache Spektralhülle aufwei-' sen, als Ausgang vom Filter erhalten werden.
Die Figuren 5B und 5C zeigen das Blindfaltverfahren unter Verwendung des homomorphen Analyseverfahrens, das ein Blockanalyseverfahren ist, während Figur 5B das durch eine Frequenzteilung durchgeführte Verfahren zeigt, bzw. Figur 5C das durch Umkehrfiltern durchgeführte Verfahren zeigt.
Eine Beschreibung von Figur 5B folgt. Sprachproben bzw. -abtastungen zur Analyse eines Blocks werden durch Multiplizieren des stimmhaften Sprachsignals s(n) durch eine spitz zulaufende Fensterfunktion wie ein Hamming-Fenster mit einer Dauer von etwa 10 - 20 ms erhalten. Eine Cepstralsequenz c(i) wird dann durch Bearbeiten der Sprachproben bzw. -abtastungen erhalten, wobei eine Reihe homomorpher Bearbeitungsverfahren verwendet werden, die aus einer diskreten Fourier-Transformation, einem komplexen Logarithmus und einer diskreten Umkehr-Fourier-Transformation wie in Figur 5D gezeigt bestehen. Das Cepstrum ist eine Funktion der Frequenz, die eine der Zeit ähnliche Einheit ist. ;-N:v
‘iiH' "3* SP" p- -:P. . <! ‘i : :p !v
10
AT 400 646 B
Ein Niederfrequenzcepstrum CL(i), das um einen Ursprung angeordnet ist, der die Spektralhülie der stimmhaften Sprache s(n) darstellt, und ein Hochfrequenzcepstrum CH(i), das ein periodisches Tonlagen-pulsseriensignal e(n) darstellt, können voneinander im Freqenzbereich getrennt werden. Das heißt, das Multiplizieren von Cepstrum c(i) mit einer Niederfrequenzfensterfunktion bzw. einer Hochfrequenzfenster-5 funktion ergibt CL(i) bzw. CH(i). Wenn man sie jeweils durch ein homomorphes Umkehrbearbeitungsverfahren wie in Figur 5E gezeigt führt, ergibt das die Impulsreaktion h(n) und das Tonlagenpulsseriensignal e(n). In diesem Fall kann, weil sich durch das Führen des CH(i) durch das homomorphe Umkehrbearbeitungsverfahren nicht direkt das Tonlagenpulsseriensignal e(n) ergibt, sondern das Tonlagenpulsseriensignal eines Blocks multipliziert mit einer Zeitfensterfunktion w(n) ergibt, e(n) erhalten werden, indem das Tonlagenpuls-70 seriensignal wieder mit einer Umkehrzeitfensterfunktion 1/w(n) multipliziert wird, die der Umkehrung von w-(n) entspricht.
Das Verfahren von Figur 5C ist das gleiche wie das von Figur 5B, nur mit der Ausnahme, daß in Figur 5C beim Erhalten des periodischen Tonlagenpulsseriensignals e(n) CL(i) anstelle von CH(i) verwendet wird. Das heißt bei diesem Verfahren kann, indem die Eigenschaft ausgenutzt wird, daß eine Impulsreaktion h~1 75 (n), die 1/H(f) entspricht, das eine Umkehrung der Frequenzcharakteristik H(f) ist, durch Bearbeiten von -CL- (i) erhalten werden kann, das durch Nehmen des Negativen von CL(i) erhalten wird, durch das homomorphe Inversbearbeitungsverfahren, das periodische Tonlagenseriensignal e(n) als Ausgangsgröße erhalten werden, indem ein in der Dauer begrenztes Impulsreaktions (FIR)-Filter konstruiert wird, das h-1(n) als eine Impulsreaktion aufweist, und indem dem Filter ein Originalsprachsignal s(n) eingegeben wird, das nicht mit 20 einer Fensterfunktion multipliziert ist. Dieses Verfahren ist ein Umkehrfilterverfahren, das im wesentlichen das gleiche wie das von Figur 5A ist, lediglich mit der Ausnahme, daß, während bei der homomorphen Analyse von Figur 5C das Inversspektralhüllfilter 1/H(f) konstruiert wird, indem eine Impulsreaktion h-1(n) des Umkehrspektralhüllfilters erhalten wird, in Figur 5A das Umkehrspektralhüllfilter 1/H(f) direkt durch die Vorhersagekoeffizienten {ai} oder die Reflexionskoeffizienten {ki> konstruiert werden die durch das lineare 25 Vorhersageanalyseverfahren erhalten werden.
Beim auf der homomorphen Analyse basierenden blinden Falten kann die Impulsreaktion h(n) des Niederfrequenz-Cepstrum CL(i), das in den Figuren 5B und 5C durch gepunktete Linien gezeigt wird, als der Spektralhüllparametersatz verwendet werden. Bei der Verwendung der Impulsreaktion (h(o), h(1),..., h(N-l)} besteht ein Spektralhüllparametersatz normalerweise aus einer guten Anzahl von Parametern in 30 dem Bereich in dem N 90 - 120 ist, während die Anzahl der Parameter auf 50 - 60 gesenkt werden kann, wenn N 25 - 30 ist, wenn das Cepstrum {CL(-N)m CL(-N +1).....0,... CL(N)} verwendet wird.
Wie oben beschrieben wird die stimmhafte Sprachwellenform s(n) nach dem Verfahren von Figur 5 in die Impulsreaktion h(n) des Spektralhüllfilters und das periodische Tonlagenpulsseriensignal e(n) gefaltet.
Wenn das Tonlagenpulsseriensignal und die Spektralhüllparameter einmal nach dem Blind-Faltverfahren 35 erhalten worden sind, werden dann die Tonlagenpulspositionen P1, P2 usw. vom periodischen Tonlagenpulsseriensignal e(n) oder dem Sprachsignal s(n) erhalten, indem ein Tonlagenpulspositionsbestimmungsai-gorithmus im Zeitbereich verwendet wird, wie der Epochenbestimmungsalgorithmus. Als nächstes werden die in den Figuren 3H, 3K, bzw. 3N gezeigten Tonlagenpulssignale e1(n), e2(n) und e3(n) erhalten, indem das Tonlagenpulsseriensignal e(n) periodisch segmentiert wird, sodaß ein Tonlagenpuls in einem Perioden-40 Intervall eingeschlossen bzw. enthalten ist, wie in Figur 3F gezeigt. Die Positionen der Segmentierung können als Mittelpunkte zwischen den Tonlagenpulsen oder Punkten entschieden bzw. bestimmt werden, die eine konstante Zeit vor jedem Tonlagenpuls liegen. Da jedoch die Position eines jeden Tonlagenpulses in in Anbetracht der Zeit mit dem Endabschnitt eines jeden Glottalpulses zusammenfällt, wie voll verstanden wird, wenn man die Figuren 3A und 3F vergleicht, ist es vorzuziehen, einen Punkt eine konstante Zeit 45 nach einem jeden Tonlagenpuls als die Position der Segmentierung auszuwählen, wie durch die gepunktete Linie in Figur 3F angezeigt. Da jedoch der Tonlagenpuls die größte Wirteung auf die Hörbarkeit darstellt, gibt es keine wesentlichen Unterschiede in der synthetisierten Sprache zwischen den Fällen.
Wenn die nach diesem Verfahren erhaltenen Tonlagenpulssignale e1(n), e2(n), e3(n), usw. jeweils wieder mit dem h1(n), h2(n) h3(n) von Figur 3E gefaltet werden, die Impulsreaktionen während des so Zeitintervalls der Tonlagenpulssignale e1(n), e2(n), e3(n) usw. sind, werden die in Betracht gezogenen Teilwellen wie in Figur 3I, 3L, 3(0) gezeigt erhalten. Ein derartiges Falten kann zweckmäßig durchgeführt werden, indem jedes Tonlagenpulsseriensignal dem Spektralhüllfiiter H(f) eingegeben wird, das die Spektrumhüllparameter als die Filterkoeffizienten wie in Figur 4 gezeigt verwendet. Beispielsweise wird in Fällen, wo die linearen Vorhersagekoeffizienten oder die Reflexionskoeffizienten oder die Linienspektrumpaare als 55 die Spektralhüllparameter wie im linearen Vorhersageanalyseverfahren verwendet werden, ein IIR-(Impulsreaktion mit unbegrenzter Dauer)-Filter zusammengesetzt, das die lineare Vorhersagekoeffizienten oder die Reflexionskoeffizienten oder die Linienspektralpaare als die Filterkoeffizienten aufweist. In Fällen, in denen die Impulsreaktion für die Spektralhüllparameter verwendet wird, wie beim homomorphen Analyse- 11
AT 400 646 B verfahren, wird ein FIR-Filter mit der Impulsreaktion als die Abhör- bzw. Anzapfkoeffizienten zusammengesetzt. Da das Synthesefilter nicht direkt zusammengesetzt werden kann, wenn der Spektralhüllparameter ein logarithmisches Flächenverhältnis oder das Cepstrum ist, sollten die Spektralhüllparameter in die Reflexionkoeffizienten oder die Impulsreaktion zurückverwandelt werden, die als die Koeffizienten des IIR- oder FIR-Filter zu verwenden sind. Wenn das Tonlagenpulssignal für eine Periode der Eingang für das wie oben beschrieben zusammengesetzte Spektralhüllfilter ist, wobei die Filterkoeffizienten mit der Zeit gemäß den Spektraihüllparametern geändert werden> die dem gleichen Augenblick wie jede Probe des Tonlagenpulssignals entsprechen , dann wird die Teilwelle für diese Periode ausgegeben.
Aus diesem Grund werden die "Zeitfunktionwellenformen'' der Spektralhüllparameter am gleichen Punkt ausgeschnitten, wie wenn e(n) ausgeschnitten wurde, um das Tonlagenpulssignal für jede Periode zu erhalten. Zum Beispiel werden im Fall der Sequenzanalyse die Spektralhüllparameter der ersten Periode k1(n)1, k2(n)1 usw., wie in Figur 3Θ gezeigt, durch Ausschneiden der Spektralhüllparameter erhalten, die der gleichen Zeitperiode entsprechen wie das in Figur 3H gezeigte Tonlagenpulssignal ei(n) der ersten Periode von den Zeitfunktionen k1(n), k2(n) usw. der Spektralhüllparameter wie in Figur 3D gezeigt. Die Spektralhüllparameter der zweiten und dritten Periode, die in Figur 3J und Figur 3M als durchgehende Linie angegeben sind, können auch auf eine ähnliche Art wie oben erwähnt erhalten werden. In Figur 4 werden die Reflexionskoeffizienten kl, k2.....kN und die Impulsreaktion h(0), h(1).....h(N-l) als typischer
Spektralhüllparametersatz gezeigt, wo sie als k1(n), k2(n), . . . , kn(n) und h(0,n), h(1,n).....h(N-1,n) bezeichnet werden, um zu unterstreichen, daß sie Funktionen der Zeit sind. Ebenso wird in Fällen, in denen das Cepstrum CL(i) als der Spektralhüllparametersatz verwendet wird, dieses als CL(i,n) bezeichnet.
Da anders als beim Sequenzanalyseverfahren die Zeitfunktionen der Spektralhüllparameter im Fall des Tonlagensychronanalyseverfahrens oder des Blockanalyseverfahrens nicht erhalten werden, sondern die Spektralhüilparameterwerte erhalten werden, die über den Analyseintervall konstant sind, sollte es notwendig sein, die Zeitfunktionen der Spektralhüllparameter aus den Spektralhüllparameterwerten zu machen und die Zeitfunktionen dann Periode für Periode zu segmentieren, um die Spektralhüllparameter für eine Periode zu erhalten. In der Realität jedoch ist es zweckmäßig, wie folgt' zu bearbeiten, anstatt die Zeitfunktionen zusammenzusetzen. Das heißt im Fall des Tonlagensynchronanalyseverfahrens zeigen die Spetralhüllparameter, da ein Satz von Spektraihüllparametern mit konstanten Werten einem jeden Tonlagenperiodenintervall wie als gestrichelte Linie in Figur 8B gezeigt entspricht, keine Veränderung, auch wenn ihre Zeitfunktionen Periode für Periode segmentiert werden. Deshalb sind die Spektralhüllparameter für eine Periode, die in einem Puffer zu speichern sind, keine Zeitfunktionen sondern von der Zeit unabhängige Konstante.
Im Fall des Blockanalyseverfahrens, da ein Satz von konstanten Spektraihüllparametern pro Block erhalten worden ist, sind die Werte eines Spektralhüllparameters für eine Periode, die zu einem Block gehören, z.B. k1(n)1, k1(n)2, . . . , k1(n)M nicht nur konstant von der Zeit unabhängig sondern auch identisch. (Hier bedeutet k1(n)j die Zeitfunktion von k1 für das j-ten Periodenintervall und M stellt die Anzahl der Tonlagenperiodenintervalle dar, die zu einem Block gehören).
Es sollte im Fall des Blockanalyseverfahrens angemerkt werden, daß, wenn das Tonlagenpulssignal über die Grenze von zwei benachbarten Blöcken liegt, die Spektralhüilparameterwerte des vorhergehenden Blocks und des folgenden Blocks jeweils für die vorhergehenden und folgenden Signalabschnitte, geteilt bezogen auf die Blockgrenze, zu verwenden sind.
Wie in Figur 3I zu sehen ist, ist die Dauer der Teilwelle nicht notwendigerweise gleich einer Periode. Deshalb sind vor der Anwendung des Tonlagenpulssignais und der Spektralhüllparameter einer Periodenlänge, die durch die periodische Segmentierung am Spektralhüllfilter erhalten wird, die Verfahren des Nullanhängens und des Parameternachschleppens wie in Figur 4 gezeigt notwendig, damit die Dauer des Tonlagenpulssignais und der Spektralhüllparameter zumindest so lange sind wie die der tatsächlichen Dauer der Teilwellen. Das Verfahren des Nullanhängens besteht darin, die Gesamtdauer des Tonlagenpulssignals so lange wie die erforderliche Länge zu machen, indem die Proben mit dem Wert Null nach dem Tonlagenpulssignal einer Periode angehängt werden. Das Verfahren des Parameternachschleppens besteht darin, die Gesamtdauer des Spektralhüllparameters so lange wie die erforderliche Länge zu machen, indem der Spektralhüllparameter für die folgenden Perioden nach dem Spektralhüllparameter einer Periodenlänge angehängt wird. Jedoch ist, auch wenn ein einfaches Verfahren des wiederholten Anhängens des Endwertes des Spektralhüliparameters einer Periode oder des ersten Wertes des Spektralhüllparameters der nächsten Periode verwendet wird, die Qualität der snythetisierten Sprache nicht wesentlich beeinträchtigt.
Die Tatsache, daß die tatsächliche Dauer der durch das Spektralhüllfilter zu erzeugenden Teilwelle von den Werten der Spektralhüllparameter abhängt, macht es schwierig, sie im vorhinein einzuschätzen. Es ist jedoch, da es in den meisten Fällen für die praktische Verwendung keine wesentlichen Fehler ergibt, wenn beachtet wird, daß die tatsächliche Dauer der Teilwelle 2 Perioden von der Tonlagenpulsposition im Fall 12
AT 400 646 B männlicher Sprache und 3 Perioden von der Tonlagenpulsposition im Fall der Sprache von Frauen oder Kindern beträgt, zweckmäßig, zu bestimmen, daß die Dauer des durch Nullanhängen zu machenden "nachgeschleppten Tonlagenpulssignals" und der durch Parametemachschleppen zu machenden "nachgeschleppten Spektralhüllparameter" in dem Fall, daß periodische Segmentierung unmittelbar nach den 5 Tonlagenpulsen durchgeführt wird, für männliche und weibliche Sprache 3 bzw. 4 Periodenlängen wurde. In Figur 3G werden nachgeschleppte Spektralhüllparameter für die erste Periode des Dreiperiodenintervalls "ad”, die durch Anhängen der Spektralhüllparameter für das Zweiperiodenintervall "bd" gemacht wurden, der durch eine gepunktete Linie nahe dem Spektralhüllparameter des ersten Periodenintervalls "ab” angegeben ist, der durch die periodische Segmentierung erhalten wird, als ein Beispiel gezeigt. In Figur 3B 70 wird ein nachgeschlepptes Tonlagenpulssignal für die erste Periode des Dreiperiodenintervalls "ad”, das durch Anhängen der Proben mit Nullwert an das Zweiperiodenintervall "bd" nahe dem Tonlagenpulssignaf des ersten Periodenintervalls "ab" gemacht wird, das durch die periodische Segmentierung erhalten wird, als ein Beispiel gezeigt.
Im Fall wie oben beschrieben sind Puffer zwischen der periodischen Segmentierung und dem 75 Parametemachschleppen vorgesehen, wie in Rgur 4 gezeigt, weil die Dauer nach dem Nullanhängen und dem Parametemachschleppen auf 3 oder 4 Perioden erhöht wird, während die Dauer des Tonlagenpulssignals und des Spektralhüllparameters vor dem Nullanhängen und dem Perametemachschleppen eine Periode ist, und das Tonlagenpulssignal und die Spektralhüllparameter, die durch die periodische Segmentierung erhalten werden, werden dann in den Puffern gespeichert und wenn erforderlich herausgeholt, sodaß 20 ein temporäres Puffern erreicht wird.
Wenn das nachgeschleppte Tonlagenpulssignal und die nachgeschleppten Spektralhüllparameter durch das Nullanhängen und das Parametemachschleppen in Figur 4 erhalten werden, kann das "Teilwellensi-gnal" s1(n) für die erste Periode der Länge des Dreiperiodenintervalls wie das Intervall "ad" wie in Rgur 3l gezeigt schließlich erhalten werden, indem das nachgeschleppte Tonlagenpulssignal der ersten Periode wie 25 das Intervall "ad" von Rgur 3H in das Spektralhüllfilter H(f) eingegeben wird und die Koeffizienten auf die gleiche Weise wie die nachgeschleppten Spektraihüliparameter der ersten Periode synchron variiert werden, wie das Intervall "ad" von Rgur 3G. Das Teilweliensignal s2(n) und s3(n) für die zweite bzw. dritte Periode können ebenso erhalten werden.
Wie oben beschrieben wird die stimmhafte Sprachwellenform s(n) schließlich nach dem Verfahren von 30 Figur 4 in die Teilwellen zerlegt, die die Wellenform s(n) bilden. Offensichtlich ergibt das Neuanordnen der Teilwellen von Figur 3I, Figur 3L und Figur 3(0), die durch Zerlegung zurück zu den ursprünglichen Punkten erhalten werden, Figur 3B, und wenn die Teilwellen überlagert werden, wird wieder die ursprüngliche Sprachwellenform s(n) wie in Figur 3C gezeigt erhalten. Wenn die Teilwellen von Rgur 3I, Rgur 3L und Figur 3(0) durch Variieren der Zwischenräume neu angeordnet werden und dann wie in Figur 3P gezeigt 35 überlagert werden, wird die Sprachteilwelle mit einem anderen Tonlagenmuster wie in Figur 3Q gezeigt erhalten. Als solches ermöglicht das richtige Variieren des Zeitintervalls zwischen den durch Zerlegung erhaltenen Teilwellen die Synthese von Sprache mit dem willkürlichen gewünschten Tonlagenmuster, d.h. der Intonation. Auf ähnliche Weise ermöglicht das richtige Variieren der Energie der Teilwellen die Synthese von Sprache mit dem willkürlichen gewünschten Betonungsmuster. 40 Im in Figur 2 gezeigten Sprachsegmentspeicherblock ist jedes stimmhafte Sprachsegment, das in so viele Teilwellen wie die Anzahl der Tonlagenpulse nach dem in Rgur 4 gezeigten Verfahren zerlegt ist, in dem Format wie in Figur 6A gezeigt gespeichert, das als die SprachSegmentinformation bezeichnet wird. In einem Headerfeld, das ein Vorderteil der SprachSegmentinformation ist, sind Grenzzeitpunkte B1, B2, . . . ,BL, die wichtige Zeitpunkte im Sprachsegment sind, und Tonlagenpulspositonen P1, P2, . . . , PM eines 45 jeden Tonlagenpulssignals, das bei der Synthese einer jeden Teilwelle verwendet wird, gespeichert, worin die Anzahl der Proben, die jedem Zeitpunkt entsprechen, aufgezeichnet wird, wobei die erste Probenposition des ersten Tonlagenpulssignals e1(n) als 0 angenommen wird. Der Grenzzeitpunkt ist die Zeitposition der Grenzpunkte zwischen den Subsegmenten, die sich ergeben, wenn das Sprachsegment in mehrere Subsegmente segmentiert wird. Zum Beispiel kann der Vokal, der Konsonanten davor und danach aufweist, so für Sprache mit langsamer Geschwindigkeit als aus 3 Subsegmenten bestehend betrachtet werden, da dm Vokal in ein Intervall in einem stabilen Zustand des mittleren Teils und zwei Übergangsintervalle geteilt werden kann, die vor und nach dem Intervall in stabilen Zustand vorhanden sind, und 3 Endpunkte der Subsegmente sind als die Grenzzeitpunkte im Headerfeld des Sprachsegments gespeichert. Jedoch sind in dem Fall, indem das Abtasten bei schnellerer Sprachgeschwindigkeit durchgeführt wird, da das Obergangs-55 Intervall ein Punkt wird, sodaß das Sprachsegment des Vokals als aus 2 Subsegmenten bestehend betrachtet werden kann, zwei Grenzzeitpunkte in der Headerinformation gespeichert.
Im Teilweliencodefeld, das der letztere Teil der SprachSegmentinformation ist, sind Teilweliencodes gespeichert, die durch Wellenformkodieren der einer jeden Periode entsprechenden Teilwelle erhalten 13
AT 400 646 B werden. Die Teilwelien können durch das einfache Wellenformkodierungsverfahren wie PCM kodiert werden, aber da die Teilwelien eine beträchtliche Kurzzeit- und Langzeitkorrelation aufweisen, kann die für die Speicherung erforderliche Speicherkapazität wesentlich verringert werden, wenn die Teilwellen unter Verwendung des ADPCM mit einer Tonlagen vorhersagenden Schleife, einem adaptiven Vorhersagekodieren oder einem digitalen adaptiven Deltamodulationsverfahren effizient wellenformkodiert werden. Das Verfahren, bei dem die durch Zerlegung erhaltenen Teilwellen weilenformkodiert werden, wobei die resultierenden Kodes gespeichert werden, und die Kodes zum Zeitpunkt der Synthese dekodiert, neu angeordnet und überlagert werden, um synthetisierte Sprache zu erzeugen, wird als das "Wellenformcodespeicherverfahren" bezeichnet.
Das Tonlagenpulssignal und die entsprechenden Spektralhüllparameter können als mit der Teilwelle identisch betrachtet werden, da sie Materialien sind, mit denen die Teilwelle hergestellt werden kann. Daher ist auch das Verfahren möglich, bei dem die durch Kodieren der Tonlangenpulssignale und der Spektralhüllparameter erhaltenen "Quellenkodes" gespeichert werden und die Teilwellen mit den Tonlagenpulssignalen und den Spektralhüllparametern gemacht werden, die durch Dekodieren der Quellenkodes erhalten werden, und die Teilwellen dann neu angeordnet und überlagert werden, um die synthetisierte Sprache zu erzeugen. Dieses Verfahren wird als das "Quellenkodespeicherverfahren" bezeichnet. Dieses Verfahren entspricht demjenigen, bei dem das Tonlagenpulssignal und die Spektralhüilparameter, die in den Puffern gespeichert sind, anstelle der als der Ausgang in Figur 4 erhaltenen Teilwellen miteinander im selben Periodenintervall verknüpft und dann im Sprachsegmentspeicherblock gespeichert werden. Daher werden beim Quellenkodespeicherverfahren die Verfahren nach dem Puffer in Figur 4, d.h. das Parametemach-schleppverfahren, das Nullanhängverfahren und das Filterverfahren durch das Synthesefiiter H(f) im Wellenformanordnungssubblock in Figur 7 durchgeführt.
Beim Quellenkodespeicherverfahren ist das Format der Sprachsegmentinformation wie in Figur 6B gezeigt, das das gleiche wie Figur 6A ist, mit Ausnahme des Inhalts des Teilwellenkodefeldes. Das heißt die Tonlagenpulssignale und die Spektralhüilparameter, die für die Synthese der Teilwellen notwendig sind, werden, anstelle der Teilwellen kodiert und gespeichert in den Positionen, wo die Teilwelle für jede Periode in Figur 6A zu speichern ist.
Die Spektralhüilparameter werden nach dem Quantisierungsverfahren nach dem Stand der Technik der Spektralhüilparameter kodiert und am Teilwellenkodefeld gespeichert. Zu diesem Zeitpunkt kann, wenn die Spektralhüilparameter vor der Quantisierung auf geeignete Weise umgewandelt werden, das Kodieren effizient durchgeführt werden. Beispielsweise ist es vorzuziehen, die Vorhersagekoeffizienten in die Parameter des Linienspektrumpaares und die Reflexionskoeffizienten in die Logarithmusflächenverhältnisse umzu-wandein und sie zu quantisieren. Des weiteren kann die Menge an Daten, die zum Speichern notwendig ist, da die Impulsreaktion eine enge Korrelation zwischen benachbarten Proben bzw. Abtastungen und zwischen benachbarten Impulsreaktionen aufweist, wenn sie nach einem Differentialkodierungsverfahren wellenformkodiert werden, beträchtlich verringert werden. Im Fall der Cepstrumparameter ist ein Kodierungsverfahren bekannt, bei dem der Cepstrumparameter so umgewandelt wird, daß die Menge an Daten beträchtlich verringert werden kann.
Andererseits wird das Tonlagenpulssignal nach einem geeigneten Wellenformkodierungsverfahren kodiert und der resultierende Kode wird am Teilwellenkodefeld gespeichert. Die Tonlagenpulssignale weisen geringe Kurzzeitkorrelation auf, weisen aber beträchtliche Langzeitkorrelation miteinander auf. Deshalb kann, wenn das Wellenformkodierungsverfahren wie das Tonlagen vorhersagende, adaptive PCM-Kodieren, das die Tonlagen vorhersagende Schleife aufweist, verwendet wird, qualitativ hochwertige synthetisierte Sprache erhalten werden, auch wenn die zum Speichern notwendige Speicherkapazität auf 3 Bits pro Probe bzw. Abtastung verringert ist. Der Vorhersagekoeffizient eines Tonlagenprädiktors bzw. -Vorhersagegeräts kann ein Wert sein, der für jede Tonlagenperiode nach einem Autokorrelationsverfahren erhalten wird, oder kann ein konstanter Wert sein. Auf der ersten Stufe des Kodierens kann die Tonlagenvorhersagewirkung durch eine Normalisierung erhöht werden, indem das zu kodierende Tonlagepulsignal durch die Quadratwurzel der durchschnittlichen Energie pro Probe bzw. Abtastung "G" dividiert wird. Das Dekodieren wird in einem Synthesebiock für stimmhafte Sprache durchgeführt, und das Tonlagenpuissignai wird wieder auf seine ursprüngliche Größe gebracht, indem am Ende des Dekodierungsschritts wieder mit "G" multipliziert wird.
In Figur 6B wird die Sprachsegmentinformation für den Fall gezeigt, daß ein lineares Vorhersageanalyseverfahren verwendet wird, bei dem 14 Reflexionskoeffizienten als die Spektralhüilparameter verwendet werden, Wenn das Analyseintervall für die lineare Vorhersageanaiyse die Tonlagenperiode ist, entsprechen 14 Reflexionskoeffizienten jedem Tonlagenpulssignal und werden gespeichert. Wenn das Analyseinterval! ein Block mit bestimmter Länge ist, haben die Reflexionskoeffizienten für mehrere Tonlagenpulse in einem Block die gleichen Werte, sodaß die Speicherkapazität, die für das Speichern der Teilwellen notwendig ist, 14
AT 400 646 B verringert wird. In diesem Fall muß, wie oben besprochen, die Position des Grenzpunkts zwischen Blöcken j; zusätzlich im Headerfeld gespeichert werden, da die Reflexionskoeffizienten des vorderen Blocks oder des späteren Blocks zum Zeitpunkt der Synthese für das Tonlagenpulsignal verwendet werden, das über die Grenze von zwei Blocks liegt, je nachdem, ob die Proben des Signals vor oder nach dem Grenzpunkt liegen. Wenn das sequentielle Analyseverfahren wie das rekursive Verfahren der kleinsten Quadrate verwendet wird, werden die Reflexionskoeffizienten kl, k2, . . . , k14 kontinuierliche Funktionen des Zeitindex "n" wie in Figur 30 gezeigt, und es ist viel Speicher erfoderlich, um die Zeitfunktion kl(n), k2(n),. .., k14(n) zu speichern. Wenn man den Fall von Figur 3 als Beispiel nimmt, sind die Wellenformen für das Intervall "ab" von Figur 3G und Figur 3H als die erste Periode und für das Intervall "bc" von Figur 3J und Figur 3K als die zweite Periode und für das Intervall "cd" von Figur 3M und Figur 3N als die dritte Periode des Teiiwellenkodefeldes im Teilwellenkodefeld gespeichert.
Das Wellenformkodespeicherverfahren und das Quellenkodespeicherverfahren sind im wesentlichen das gleiche Verfahren, und tatsächlich wird der Wellenformkode, der erhalten wird, wenn die Teilwellen nach dem effizienten Wellenformkodierungsverfahren wie dem APC (adaptives prädiktives Kodieren) im Wellen- formkodespeicherverfahren kodiert werden, fast der gleiche wie der Quellenkode, der im Quellenkodespeicherverfahren erhalten wird, was ihre Inhalte betrifft. Der Wellenformkode im Wellenformkodespeicherver- fahren und der Quellenkode im Quellenkodespeicherverfahren werden insgesamt als Teilwellenkode bezeichnet. ,..s
Figur 7 zeigt die innere Konfiguration des erfindungsgemäßen Syntheseblocks für stimmhafte Sprache.
Die Teilwellenkodes, die im Teilwellenkodefeld der Sprachsegmentinformation gespeichert sind, die vom Sprachsegmentspeicherblock erhalten wird, werden in dem Verfahren mit einem Dekodierungssubblock 9 dekodiert, das die Umkehrung des Verfahrens darstellt, in dem sie kodiert wurden. Die Teilwellensignale, die erhalten werden, wenn die Wellenformkodes im Wellenformkodespeicherverfahren dekodiert werden, oder die Tonlagenpulssignale, die erhalten werden, wenn die Quellenkodes im Quellenkodespeicherverfahren dekodiert werden, und die Spektralhüllparameter, die mit den Tonlagenpulssignalen gepaart werden, werden die Teilwelleninformation genannt, und werden dem Wellenformanordnungssubblock zugeliefert. Andererseits ist die im Headerfeld der Sprachsegmentinformation gespeicherte Headerinformation die Eingangsgröße für einen Dauersteuerungssubblock 10 und einen Tonlagensteuerungssubblock 11.
Der Dauersteuerungssubblock von Figur 7 empfängt als Eingang die Dauerdaten in der prosodischen Information und die Grenzzeitpunkte, die in der Sprachsegmentheaderinformation enthalten sind, und erzeugt die Zeitverzerrungsinformation unter Verwendung der Dauerdaten und der Grenzzeitpunkte und stellt die erzeugte Zeitverzerrungsinformation dem Wellenformanordnungssubblock 13, dem Tonlagensteu-ersubblock und dem Energiesteuersubblock zur Verfügung. Wenn die Gesamtdauer des Sprachsegments V' länger oder kürzer wird, wird die Dauer von Subsegmenten, die das Sprachsegment ausmachen, entsprechend länger oder kürzer, wobei das Verhältnis der Ausdehnung oder Komprimierung von der Eigenschaft eines jeden Subsegments abhängt. Beispielsweise hat in dem Fall, indem der Vokal Konsonanten davor und danach aufweist, die Dauer des Intervalls im stabilen Zustand, das sich in der Mitte befindet, eine im * wesentlichen größere Variationsrate als diejenigen der Übergangsintervalle an beiden Seiten des Vokals.
Der Dauersteuerungssubblock vergleicht die Dauer BL des ursprünglichen Sprachsegments, die gespei- ' ' 1 chert wurde, mit der Dauer des zu synthetisierenden Sprachsegments, die durch die Dauerdaten angege- ' ben wird, und erzielt die Dauer eines jeden Subsegments, das entsprechend zur Dauer jedes ursprünglichen Subsegments unter Verwendung ihrer Variationsrate oder der Dauerregel synthetisiert werden soll, wodurch die Grenzzeitpunkte der synthetisierten Sprache erhalten werden. Die ursprünglichen Grenzzeitpunkte B1, B2 usw. und die Grenzzeitpunkte ΒΊ, B'2 usw. der synthetischen Sprache, verknüpft entspre-chend den ursprünglichen Grenzzeitpunkten werden insgesamt als die Zeitverzerrungsinformation bezeich- j net, auf der im Fall von Figur 8 beispielsweise die Zeitverzerrungsinformation durch {(Β1,ΒΊ), (B1,B'2), (B2, B'3), (B3,B'3), (B4, B'4)} dargestellt werden kann. ! 4
Die Funktion des Tonlagensteuerungssubblocks von Figur 7 besteht darin, die Tonlagenpulspositionsin- 's
formation zu erzeugen, sodaß die synthetische Sprache das durch die Intonationsmusterdaten angegebene Intonationsmuster aufweist, und sie dem Wellenformanordnungssubblock und dem Energiesteuerungssubblock zu liefern. Der Tonlagensteuerungssubblock empfängt als Eingangsgröße die Intonationsmusterdaten, die die Zieltonlagenfrequenzwerte für jedes Phonem sind, und erzeugt eine Tonlagenkontur, die die kontinuierliche Variation der Tonlagenfrequenz bezogen auf die Zeit darstellt, indem die Zieltoniagenfre- H quenzwerte glatt verbunden werden. Der Tonlagensteuerungssubblock kann aufgrund eines Hemmnisses 1 für die Tonlagenkontur ein Mikrointonationsphänomen reflektieren. Jedoch wird die Tonlagenkontur in diesem Fall eine diskontinuierliche Funktion, bei der der Tonlagenfrequenzwert bezogen auf Zeit am ‘ '
Grenzpunkt zwischen dem hemmenden Phonem und dem benachbarten anderen Phonem abrupt variiert.
Die Tonlagenfrequenz wird erhalten, indem die Tonlagenkontur an der ersten Tonlagenpulsposition des 15
AT 400 646 B
Sprachsegments abgetastet wird, und die Tonlagenperiode wird erhalten, indem ein Kehrwert der Tonlagenfrequenz genommmen wird, und dann wird der Punkt, dem die Tonlagenperiode vorangeht, als die zweite Tonlagenpulsposition bestimmt. Die nächste Tonlagenperiode wird dann von der Tonlagenfrequenz an diesem Punkt erhalten, und die nächste Tonlagenpulsposition wird wiederum erhalten, und die Wiederholung eines derartigen Verfahrens könnte alle Tonlagenpulspositionen der synthetisierten Sprache ergeben. Die erste Tonlagenpulsposition des Sprachsegments kann als die erste Probe bestimmt werden, oder ihre benachbarten Proben im Fall des ersten Sprachsegments einer Serie der kontinuierlichen stimmhaften Sprachsegmente der synthetisierten Sprache, und die erste Tonlagenpulsposition für das nächste Sprach-segment wird als der Punkt bestimmt, der der Position des Tonlagenpulses nächststehend dem letzten Tonlagenpuls des vorhergehenden Sprachsegments entspricht, und so weiter. Der Tonlagensteuerungssubblock schickt die Tonlangepuispositionen ΡΊ, P'2 usw. der synthetischen Sprache, die als solche erhalten wird, und die ursprünglichen Tonlagenpulspositionen P1, P2 usw., die in der Sprachsegmentheaderinforma-tion enthalten sind, gemeinsam miteinander verbunden zum Wellenformanordnungssubblock und dem Energiesteuerungssubblock, wo sie die sogenannte Tonlagenpulspositionsinformation sind. Im Fall von Figur 8 beispielsweise kann die Tonlagenpulspositionsinformation als {(P1, P2, . . . P9), (ΡΊ, P'2.....P'8)} dargestellt werden.
Der Energiesteuerungssubblock von Figur 7 erzeugt Verstärkungsinformation, durch die die synthetisierte Sprache das durch die Betonungsmusterdaten angegebene Betonungssmuster aufweist, und schickt sie an den Wellenformanordnungssubbiock. Der Energiesteuerungssubblock empfängt als Eingangsgröße die Betonungsmusterdaten, die die Zielamplidutenwerte für jedes Phonem sind, und erzeugt eine Energiekontur, die die kontinuierliche Variation der Amplitude bezogen auf die Zeit darstellt, indem sie sie glatt verbindet. Es wird angenommen, daß die Sprachsegmente im vorhinein zum Zeitpunkt des Speichems normalisiert werden, sodaß sie relative Energie entsprechend der Klasse des Sprachsegments aufweisen, um die relative Energiedifferenz für jedes Phonem zu reflektieren. Zum Beispiel hat im Fall der Vokale ein tiefer Vokal eine größere Energie pro Zeiteinheit als ein hoher Vokal, und ein nasaler Laut hat etwa die Hälfte der Energie pro Zeiteinheit im Vergleich mit dem Vokal. Desweiteren ist die Energie während des Schlußintervalls des Verschlußlauts sehr schwach. Daher sollen die Sprachsegmente, wenn sie gespeichert werden, nach dem Einstelien im vorhinein kodiert werden, sodaß sie eine derartige relative Energie aufweisen. In diesem Fall wird die im Energiesteuerungssubblock erzeugte Energiekontur eine Verstärkung, die zur zu synthetisierenden Wellenform zu multiplizieren ist. Der Energiesteuerungssubblock erhätt die Verstärkungswerte G1, G2 usw an jeder Tonlagenpulsposition ΡΊ, P'2 usw. der synthetischen Sprache unter Verwendung der Energiekontur und der Tonlagenpuispositionsinformation, und liefert diese an den Wellenformanordnungssubbiock, was als die Verstärkungsinformation bezeichnet wird. Im Fall von Figur 8 zum Beispiel kann die Verstärkungsinformation als {(P'1,G1), (P'2,G2),.... (P'8, G8)} dargestellt werden.
Der Wellenformanordnungssubbiock von Figur 7 empfängt als Eingangsgröße die oben beschriebene Teilwelleninformation, Zeitverzerrungsinformation, Toniagenpulspositionsinformation und Verstärkungsinformation und erzeugt schließlich das stimmhafte Sprachsignal. Der Wellenformanordnungssubbiock erzeugt die Sprache, die das Intonationsmuster, Betonungsmuster und die Dauer wie durch die prosodische Information angegeben aufweist, indem die vom Dekodierungssubblock erhaltene Teilwelleninformation verwendet wird. Zu diesem Zeitpunkt werden einige der Teilwellen wiederholt und einige werden weggelassen. Die in der prosodischen Information enthaltenen Dauerdaten, Intonationsmusterdaten und Betonungsmusterdaten sind voneinander unabhängige indikative Informationen, während sie miteinander verbunden behandelt werden müssen, weil sie eine gegenseitige Beziehung zwischen diesen drei Informationen aufweisen, wenn die Wellenform mit der Teilwelleninformation synthetisiert wird. Eines der wichtigsten Probleme bei der Wellenformanordnung besteht darin, welche Teilwelle als die Teilwelie auszuwählen ist, die an jeder Tonlagenpulsposition der synthetisierten Sprache anzuordnen ist. Wenn nicht die richtigen Teilwellen ausgewählt und angeordnet werden, kann synthetische Sprache mit guter Qualität nicht erhalten werden. Unten wird eine Beschreibung des Betriebs des Wellenformanordnungssubblocks angegeben, wobei das erfindungsgemäße Teiiwellenverschiebungs- bzw. neuadressierungsverfahren auf Zeitverzerrungsbasis verwendet wird, das ein Teilwellenverschiebungsverfahren ist, das fähig ist, beim Synthetisieren der synthetischen Sprache hohe Qualität zu erreichen, indem die Sprachsegmentinformation verwendet wird, die vom Sprachsegmentspeicherblock empfangen wird.
Das Syntheseverfahren für stimmhafte Sprachwellenform des Wellenformanordnungssubblocks besteht aus zwei Schritten, nämlich dem Teilwellenverschiebungsschritt, bei dem die Zeitverzerrungsfunktion verwendet wird, und dem Überlagerungsschritt zum überlagern der verschobenen bzw. neu adressierten Teilwellen.
Das heißt, im Fall des Wellenformkodespeicherverfahrens werden aus den Teilwellensignalen, die als die Teilwelleninformation empfangen werden, die am besten geeigneten für die Tonlagenpulspositionen der
16
AT 400 646 B synthetischen Sprache ausgewählt und an ihren Tonlagenpulspositionen angeordnet, und ihre Verstärkungen werden eingestellt, und danach wird die synthetische Sprache erzeugt, indem diese überlagert werden.
Beim Quellenkodespeicherverfahren werden das Tonlagenpulssignal und die Spektralhüllparameter für jede Periode, die dem Tonlagenpulssignal entspricht, als die Teilwelleninformation empfangen. In diesem 5 Fall sind zwei Anordnungsverfahren für synthetische Sprache möglich. Das erste Verfahren besteht darin, jede Teilwelle zu erhalten, indem an das Synthesefilter die Spektralhüllparameter und das Tonlagenpulssignal für 2 bis 4 Periodenintervallängen gegeben werden, die durch Durchführen der Verfahren erhalten werden, die der rechten Seite des Puffers von Rgur 4 entsprechen, d.h. dem oben beschriebenen Parametemachschleppen und dem Nulianhängen um die Teilwelleninformation herum, und dann die io synthetische Sprache mit den Teilwellen entsprechend zu jenem im Wellenformkodespeicherverfahren identischen Verfahren zusammenzustellen. Dieses Verfahren ist grundsätzlich das gleiche wie das Zusammenstellen der synthetischen Sprache gemäß dem Wellenformkodierungsspeicherverfahren und daher wird eine eigene Beschreibung weggelassen. Die zweite Methode besteht im Erhalten eines synthetischen Tonlagenpulsserien- bzw. -abfolgesignals oder synthetischen Erregungssignals, das eine flache spektrale 15 Umhüllung aber ein Tonlagenmuster unterschiedlich von jenem des ursprünglichen periodischen Tonlagenpulsserien- bzw. -abfolgesignals aufweist, in dem jene ausgewählt werden, die am besten passend zu den Tonlagenpulspositionen der synthetischen Sprache sind unter den Tonlagenpuissignalen, und diese anordnet und ihre Verstärkungen einstellt, und danach diese überlagert, und synthetische spektrale Hüllparameter erhält, die durch Inbeziehungsetzen der Spektralhüllparameter mit jedem Tonlagenpulssignal gemacht 20 werden, das synthetische Tonlagenpulsseriensignal oder das synthetische Erregungssignal bildend und dann die synthetische Sprache zu erzeugen, indem das synthetische Erregungssignal und die synthetischen spektralen Hüllparameter an das Synthesefilter gegeben werden. Diese beiden Verfahren sind im wesentlichen identisch, mit der Ausnahme, daß die Abfolge zwischen dem Synthesefilter und dem überlagerungsverfahren beim Zusammenstellen der synthetischen Sprache umgedreht wird. 25 Das oben beschriebene Verfahren zum Zusammenstellen synthetischer Sprache wird unten unter Bezugnahme auf Figur 8 beschrieben. Das Teilwellenverschiebungsverfahren kann im wesentlichen gleichermaßen auf das Wellenformkodespeicherverfahren und das Quellenkodespeicherverfahren angewandt werden. Deshalb werden die Wellenformanordnungsverfahren für synthetische Sprache in den beiden Verfahren gleichzeitig unter Bezugnahme auf Figur 8 beschrieben. 3o In Figur 8A ist die Korrelation zwischen dem ursprünglichen Sprachsegment und dem zu synthetisierenden Sprachsegment veranschaulicht. Die ursprünglichen Grenzzeitpunkte B1, B2 usw., die in gepunkteten Linien angegeben sind, die Grenzzeitpunkte ΒΊ, B'2 usw. des synthetisierten Lauts und die durch strichlierte Linien angegebene Korrelation zwischen ihnen sind in der Zeitverzerrungsinformation enthalten, die vom Dauersteuerungssubblock erhalten wird. Außerdem sind die ursprünglichen Tonlagenpulspositionen 35 P1, P2 usw., die durch die durchgehenden Linien angegeben sind, und die Tonlagenpulspositionen ΡΊ, P'2 usw. des synthetisierten Lauts in der vom Tonlagensteuerungssubblock empfangenen Tonlagenpulspositionsinformation enthalten. Zur Zweckmäßigkeit der Erklärung in Figur 8 wird angenommen, daß die Tonlagenperiode der ursprünglichen Sprache und die Tonlagenperiode des synthetisierten Lauts jeweils konstant sind und letztere das 1,5-fache der ersteren beträgt. 40 Der Wellenformanordnungssubblock bildet zuerst die Zeitverzerrungsfunktion wie in Figur 8B gezeigt, indem die ursprünglichen Grenzzeitpunkte, die Grenzzeitpunkte des synthetisierten Lauts und die Korelation zwischen ihnen verwendet werden. Die Abszisse der Zeitverzerrungsfunktion stellt die Zeit "t" des ursprünglichen Sprachsegments dar, und die Ordinate stellt die Zeit "t,n des zu synthetisierenden Sprach-segments dar. In Rgur 8A zum Beispiel erscheint da das erste Subsegment und das letzte Subsegment 45 des ursprünglichen Sprachsegments auf das 2/3-fache komprimiert bzw. auf das 2-fache ausgedehnt werden sollte, die Korrelation davon als die Linien der Neigung von 2/3 bzw. 2 in der Zeitverzerrungsfunktion von Figur 8B. Das zweite Subsegment variiert nicht in seiner Dauer, sodaß es als eine Linie mit ein«· Neigung von 1 in der Zeitverzerrungsfunktion erscheint. Das zweite Subsegment des zu synthetisierenden Sprachsegments resultiert aus der Wiederholung des Grenzzeitpunkts "B1" des ursprünglichen Sprachseg-50 ments und im Gegensatz dazu variiert das dritte Subsegment des ursprünglichen Sprachsegments zu einem Grenzzeitpunkt "B'3" im zu synthetisierenden Sprachsegment. Die Korrelationen in solchen Fällen erscheinen jeweils als eine vertikale Linie und eine horizontale Linie. Die Zeitverzerrungsfunktion wird so erhalten, indem der Grenzzeitpunkt des ursprünglichen Sprachsegments und der Grenzzeitpunkt des zu synthetisierenden Sprachsegments, der dem Grenzzeitpunkt des ursprünglichen Sprachsegments errt-55 spricht, als zwei Punkte dargestellt werden und diese mit einer Linie verbunden werden. Es kann in manchen Fällen möglich sein, die Korrelation zwischen den Subsegmenten der Realität näher dazustellen, indem die Punkte mit einer glatten bzw. gleichmäßigen Kurve verbunden werden. 17 m
AT 400 646 B
Beim Weilenformkodespeicherverfahren findet der Weilenformanordnungssubblock den ursprünglichen Zeitpunkt heraus, der der Tonlagenpulsposition des synthetischen Lauts entspricht, indem die Zeitverzerrungsfunktion verwendet wird, und findet die Teilwelle heraus, die die dem ursprünglichen Zeitpunkt am nähesten gelegene Tonlagenpulsposition aufweist, und lokalisiert die Teilwelle dann an der Tonlagenpulspo-5 sition des synthetischen Lauts. Im nächsten Schritt multipliziert der Wellenformanordnungssubblock jedes lokalierte Teilwellensignal mit die Verstärkung, der der Tonlagenpulsposition des Teilwellensignals entspricht, das von der Verstärkungsinformation herausgefunden wird, und erzielt schließlich den gewünschten synthetischen Laut, in dem die Verstärkungseingestellten Teilwellensignale überlagert werden, indem sie einfach addiert werden. In Figur 70 3Q ist der synthetische Laut dargestellt, der durch ein derartiges Überlagerungsverfahren erzeugt wurde, für den Fall, daß die Teilwellen von Figur 31, Figur 3L, Figur 3(0) wie in Figur 3P verschoben bzw. neuangeordnet werden. Auf ähnliche Weise findet im Quellenkodespeicherverfahren der Wellenformanordnungssubblock den ursprünglichen Zeitpunkt heraus, der der Tonlagenpuisposition des synthetischen Lauts entspricht, indem 75 die Zeitverzerrungsfunktion verwendet wird, und findet das Tonlagenpulssignal heraus, das die Tonlagenpuisposition dem ursprünglichen Zeitpunkt am nächsten aufweist, und lokalisiert dann das Tonlagenpulssi-gnal an der Tonlagenpulsposition des synthetischen Lauts. Die Zahlen für die Tonlagenpulssignale oder die Teiiwellen, die auf diese Weise an jeder Tonlagenpulsposition des zu synthetisierenden Sprachsegments lokalisiert werden, werden in den Figuren SA und 8B 20 gezeigt. Wie in den Zeichnungen zu sehen ist, sind aufgrund der Komprimierung der Subsegmente einige der Teilwellen, aus denen das ursprüngliche Sprachsegment besteht, weggelassen, und einige werden aufgrund der Ausdehnung der Subsegmente wiederholt verwendet. In Figur 8 wurde angenommen, daß das Tonlagenpulssignal für jede Periode durch Segmentieren unmittelbar nach jedem Tonlagenpuls erhalten wurde. 25 Die Überlagerung der Teilwellen im Wellenformkodespeicherverfahren entspricht der Überlagerung der Tonlagenpulssignale im Quellenkodespeicherverfahren. Deshalb multipliziert im Fall des Quellenkodespeicherverfahrens der Wellenformanordnungssgbblock jedes verschobene Tonlagenpulssignal mit die Verstärkung, die der Tonlagenpulsposition des verschobenen Tonlagenpulssignals entspricht, das von der Verstärkungsinformation herausgefunden wurde, und erzielt schließlich das gewünschte synthetische Erregungssi-30 gnal, indem die Verstärkungseingestellten Tonlagenpulssignale überlagert werden. Jedoch kann es in diesem Fall, da die meiste Energie am Tonlagenpuls konzentriert ist, möglich sein, das synthetische Erregungssignal herzustellen, indem zuerst ein synthetisches Erregungssignal ohne Verstärkungseinstellung erhalten wird, indem die lokalisierten Tonlagenpulssignale überlagert werden, und das synthetische Erregungssignal ohne Verstärkungseinstellung dann mit der Energiekontur multipliziert wird, die am Energie-35 steuerungssubblock erzeugt wird, anstatt die konstant-verstärkungseingestellten Tonlagenpulssignale zu überlagern. Figur 3R zeigt das synthetische Erregungssignal, das erhalten wird, wenn die Tonlagenpulssignale von Figur 3H, Figur 3K, Figur 3N nach einem solchen Verfahren verschoben werden, sodaß das Tonlagenmuster das gleiche wie für den Fall von Figur 3P wird. Beim Quellenkodespeicherverfahren ist es notwendig, daß der Wellenformanordnunggssubblock die 40 synthetischen Spektralhüllparameter erzeugt, und es sind zwei Wege möglich, nämlich das in Figur 8A gezeigte zeitliche Komprimierungs-und-Expansions-Verfahren und das in Figur 8B gezeigte Synchronzuordnungsverfahren. Wenn die Spektralhüllparameter bezogen auf die Zeit kontinuierliche Funktionen sind, und die Hülle des Sprachspektrums vollständig darstellen, können die synthetischen Spektralhüllparamter einfach erhalten werden, indem die ursprünglichen Spektralhüllparameter auf einer Subsegement-für-45 Subsegment-Basis zeitlich komprimiert oder ausgedehnt werden. In Figur 8A ist der durch·Sequenzanalyseverfahren erhaltene Spektralhüllparameter als eine gepunktete Kurve dargestellt, und der durch Annähem der Kurve durch Verbinden mehrerer Punkte wie A, B, C usw. mit Liniensegmenten kodierte Spektralhüllparameter ist als durchgehende Linie dargestellt. Da nur die zeitliche Position eines jeden Punkts variiert, um die Punkte A\ B\ C' usw. als ein Ergebnis der zeitlichen Komprimierung und Expansion bzw. Ausdehnung so zu ergeben, ist ein derartiges Liniensegmentkodierungsverfahren besonders geeignet für den Fall des zeitlichen Komprimierens und Ausdehnens. Jedoch kann im Fall der Verwendung des Blockanalyseverfahrens oder des Tonlagensynchronanalyseverfahrens, da die Spektralpaarung nicht präzise ist und die zeitliche Variation des Spektralhüllparameters diskontinuierlich ist, das zeitliche Komprimierungs-und-Aus-dehnungs-Verfahren nicht die gewünschte synthetische Klangqualität ergeben, und es ist vorzuziehen, das 55 Synchronzuordnungsverfahren zu verwenden, bei dem die synthetischen Spektralhüllparater durch Korrelieren der Spektralhüllparameter für jedes Tonlagenperiodenintervall mit jedem entsprechenden Tonlagenpulssignal, wie in Figur 8B gezeigt, zusammengestellt werden. Das heißt, da die Teilwelle im Wellenformkodespeicherverfahren dem Tonlagenpulssignal und den entsprechenden Spektralhüllparametern für das gleiche •:P: |j -w :'Ui i- 'm-i
! -i :.:,1 #5 iüiiifi '!!!;*!
18
AT 400 646 B
Tonlagenperiodenintervall äquivalent ist, können die synthetischen SpektralhQliparameter hergestellt werden, indem die Spektralhüllparameter für eine Periodenintervall am gleichen Periodenintervall eines jeden lokalisierten Tonlagenpulssignals synchron lokalisiert werden. In Figur 8B werden kl, das einer der Spektraihüllparameter ist, und k'1, das der synthetische Spektralhüllparameter ist, der k1 entspricht, das durch derartige Verfahren für das Blockanalyseverfahren und das Tonlagensynchronanalyseverfahren zusammengestellt ist, in der durchgehenden Linie bzw. in der gepunkteten Linie gezeigt Natürlich kann, wie oben gesagt, mit dem durch Sequenzanalyseverfahren erhaltenen Spektraihüllparameter der synthetische Spektraihüllparameter nach dem Verfahren von Figur 8A zusammengestellt werden. Wenn beispielsweise das Tonlagenpulssignal für jede Periode wie in Figur 3R gezeigt verschoben worden ist, werden die Spektraihüllparameter für jede Periode wie in Rgur 3S gezeigt in Übereinstimmung mit den Tonlagenpulssignalen lokalisiert.
Zum Zeitpunkt des Zusammenstellens des synthetischen Erregungssignals und der synthetischen Spektraihüllparameter im Quellenkodespeicherverfahren entsteht dann ein Leerintervall bzw. eine Austastlücke zwischen zwei benachbarten Tonlagenperiodenintervallen, wie in schrägen Linien in Rgur 8 gezeigt, wenn die Tonlagenperiode des synthetisierten Lauts länger als die ursprüngliche Tonlagenperiode ist. Wenn die Tonlagenperiode des synthetisierten Lauts kürzer als die ursprüngliche Tonlagenperiode ist, treten Überlappungsintervalle auf, bei den zwei benachbarte Tonlagenperiodenintervalle einander überlappen. Das Überlappungsintervall "fb" und die Austastlücke "gh" werden beispielsweise in Rgur 3R und Figur 3S gezeigt. Wie zuvor beschrieben sollen die verschobenen Tonlagenpulssignale zur Zeit des Überlappens überlagert werden. Jedoch ist es vernünftig, daß aus den in Übereinstimmung mit den Tonlagenpulssignalen verschobenen Spektralhüllparametem ein Durchschnitt gebildet wird, anstatt daß sie zum Zeitpunkt des Überiappens überlagert werden. Deshalb ist das Anordnungsverfahren des synthetischen Erregungssignals und der synthetischen Spektraihüllparameter unter Berücksichtung der Austastlücken und der Überlappungsintervalle folgendes.
Die Proben mit Nullwert werden zur Zeit des Zusammenstellens des synthetischen Erregungssignals in die Austastlücke eingefügt. Im Fall eines stimmhaften Reiblauts, kann ein natürlicherer Laut synthetisiert werden, wenn das hochpaßgefilterte Rauschsignal anstelle der Proben mit Nullwert in die Austastlücke eingefügt wird. Es ist notwendig, daß die verschobenen Tonlagenpulssignale im Überlappungsintervall addiert werden. Da ein derartiges Additionsverfahren mühsam ist, ist es zweckmäßig, ein Verstümmeiungs bzw. Abstumpfungsverfahren zu verwenden, bei dem nur ein Signal von zwei Tonlagenpulssignal«! ausgewählt wird, die im Überlappungsintervall überlappen. Die Qualität des synthetisierten Lauts wird bei Verwendung des Abstumpfungsverfahrens nicht wesentlich vermindert. In Figur 3R wurde die Austastlücke gh mit Nullproben gefüllt, und das Tonlagenpulssignal des vorderen Intervalls wurde im Überlappungsintervall fb ausgewählt. Das heißt, im Fall des Auftretens von Überlappung wurde das vordere von den Überlappungsintervallen eines jeden Tonlagenpulssignals abgestumpft bzw. verstümmelt, und dieses Verfahren ist physikalisch sinnvoller im Vergleich zu dem Verfahren, bei dem die Tonlagenpulssignale durch Segmentieren unmittelbar vor dem Tonlagenpuls hergestellt werden, und zur Zeit der Synthese das letztere von den Überlappungsintervallen des Tonlagenpulssignals abgestumpft wird, wenn sie überlappen, wie zuvor beschrieben. In der Realität jedoch macht keines der Verfahren einen wesentlichen Unterschied für die Klangqualität des synthetisierten Lauts.
Zur Zeit des Zusammenstellens des synthetischen Spektralhüllparameters ist es ideal, daß die Austast-lücke mit Werten gefüllt wird, die linear von einem Wert des Spektralhüllparameters am Endpunkt des vorhergehenden Periodenintervalls zu einem Wert des Spektralhüllparameters am Beginnpunkt der folgenden Periode variieren, und daß im Überlappungsintervall der Spektraihüllparameter allmählich vom Spektraihüllparameter der vorhergehenden Periode zu jenem der folgenden Periode variiert, indem das Interpolationsverfahren verwendet wird, bei dem der Durchschnitt von zwei überlappenden Spektralhüllparametem mit Gewichtswerten erhalten wird, die linear bezüglich der Zeit variieren. Da diese Verfahren jedoch mühsam sind, kann das folgende Verfahren verwendet werden, das zweckmäßiger ist und die Klangqualität nicht wesentlich vermindert. Das heißt, für den Spektraihüllparameter in der Austastlücke kann der Wert des Spektralhüllparameters am Endpunkt des vorhergehenden Periodenintervalls wiederholt wie in Figur 8b verwendet werden, oder der Wert des Spektralhüllparameters am Beginnpunkt des folgenden Periodenintervalls wiederholt verwendet werden, es kann der arithmetische Durchschnittswert der beiden Spektralhüllparameter verwendet werden oder die Werte des Spektralhüllparameters an den End- und Beginnpunkten den vorhergehenden bzw. der folgenden Periodenintervalle können vor und nach der Mitte der Austastlücke, die eine Grenze ist, verwendet werden. Für den Spektraihüllparameter im Überlappungsintervall kann einfach jeder Teil ausgewählt werden, der dem ausgewählten Tonlagenpuls entspricht. In Rgur 3S beispielsweise wurden, da das Tonlagenpulssignal für das vorhergehende Periodenintervall als das synthetische Erregungssignal im Überlappungsintervall "fb" ausgewählt wurde, die Parameterwerte für das vorhergehende 19
AT 400 646 B
Periodenintervall ebenso als die synthetischen SpektralhQllparameter ausgewählt. In der Austastlücke "gh" von Figur 8b und Figur 3S wurden jeweils die Parameterwerte des Spektralhüllparameters am Ende des vorhergehenden Periodenintervalls verwendet. Selbstverständlich ergeben im Fall von Figur 3S, in dem der Spektralhüllparameter eine kontinuierliche Funktion bezogen auf die Zeit ist, das Verfahren, bei dem der letzte Wert des vorhergehenden Periodenintervalls oder der erste Wert des folgenden Periodenintervalls wiederholt während der Austastlücke verwendet wird, und das Verfahren, bei dem die beiden Werte während der Austastlücke linear variiert werden, das gleiche Ergebnis.
Wenn einmal das gesamte synthetische Erregungssignal und die synthetischen Spektralhüliparameter für ein Segment zusammengestellt worden sind, glättet der Welienformanordnungssubblock normalerweise beide Enden der zusammengestellten synthetischen Spektralhüliparameter, wobei das lnterpolationsverfah-ren verwendet wird, sodaß die Variation des Spektralhüllparameters zwischen benachbarten Sprachsegmen-ten glatt ist. Wenn das synthetische Erregungssignal und die synthetischen Spektralhüliparameter wie oben zusammengestellt als das Erregungssignal bzw. die Filterkoeffizienten in das Synthesefilter im Wellenforma-nordungssubblock eingegeben werden, wird der gewünschte synthetische Laut schließlich vom Synthesefilter abgegeben. Das synthetische Erregungssignal, das erhalten wird, wenn die Tonlagenpulssignale von Figur 3H, 3K und 3N verschoben werden, sodaß das Tonlagenmuster das gleiche wie in Figur 3P ist, wird in Figur 3R gezeigt, und die durch entsprechende Spektralhüliparameter für eine Periode von Figur 3G, 3J und 3M zu den Tonlagenpulssignalen im synthetischen Erregungssignal von Figur 3R erhaltenen synthetischen Spektralhüliparameter werden in Figur 3S gezeigt. Das Aufbauen eines zeitvariierenden Synthesefilters, das als die Filterkoeffizienten die Reflexionskoeffizienten aufweist, die wie in Figur 3S gezeigt variieren, und das Eingeben des synthetischen Erregungssignals wie in Figur 3R gezeigt an das zeitvariierende Synthesefilter ergibt den synthetisierten Laut von Figur 3T, der beinahe der gleiche ist wie der synthetisierte Laut von Figur 3P.
Wenn nun das Wellenformkodespeicherverfahren und das Quellenkodespeicherverfahren verglichen werden, können die beiden Verfahren als im Prinzip identisch betrachtet werden. Jedoch gibt es beim Verknüpfen der Sprachsegmente mit schlechter Verbindbarkeit miteinander einen Unterschied dahingehend, daß es möglich ist, im Fall des Quellenkodespeicherverfahrens den glatt verbundenen Laut zu synthetisieren, indem die Spektralhüliparameter unter Verwendung des Interpolationsverfahrens geglättet werden, das aber im Fall des Wellenformkodespeicherverfahrens unmöglich ist. Des weiteren erfordert das Quellenkodespeicherverfahren einen kleineren Speicher als das Wellenformkodespeicherverfahren, da im Quellenkodespeicherverfahren die Wellenform von nur einer Periodenlänge pro Teilwelle gespeichert werden muß, und hat den Vorteil, daß es leicht ist, die Funktion des Syntheseblocks für stimmhaften Laut und die Funktion des oben beschriebenen Syntheseblocks für nicht stimmhaften Laut zu integrieren. Im Fall der Verwendung des homomorphen Analyseverfahrens kann im Wellenformkodespeicherverfahren das Cepstrum oder die Impulsreaktion als der Spektralhüllparametersatz verwendet werden, während es beim Quellenkodespei- IF cherverfahren praktisch unmöglich ist, das Cepstrum zu verwenden, das die Berechnung auf Blockbasis erfordert, da die Dauer des Syntheseblocks, der die Werte der konstanten synthetischen Spektralhüllparameter aufweist, Block für Block variiert, wie aus dem synthetischen Spektralhüliparameter von Figur 8B zu ersehen ist, das darin mit einer durchgehenden Linie dargestellt ist. Das Quellenkodespeicherverfahren gemäß vorliegender Erfindung verwendet den Tonlagenpuls einer Periode als den Erregungspuls. Jedoch unterscheidet es sich vom regulären Tonlagenpulserregungsverfahren nach dem Stand der Technik, das beabsichtigt, den Impuls durch einen Probentonlagenpuls zu substituieren insofern, als gemäß vorliegender Erfindung der Tonlagenpuls einer jeden Periode und die Spektralhüliparameter einer jeden Periode, die dem Tonlagenpuls entspricht, miteinander verbunden werden, um die Teilwelle einer jeden Periode zu erzeugen.
Wie aus der obigen Beschreibung zu sehen ist, eignet sich die vorliegende Erfindung für das Kodieren und Dekodieren des Sprachsegments des Text-zu-Sprache-Synthesesystems des Sprachsementsynthese-verfahrens. Da die vorliegende Erfindung ein Verfahren ist, bei dem die Gesamt- und Teildauer und das Tonlagenmuster der willkürlichen phonetischen Einheiten wie Phonem, Halbsilbe, Diphon und Subsegment usw., aus denen die Sprache besteht, frei und unabhängig verändert werden können, kann sie in einem Sprachgeschwindigkeitsumwandlungssystem oder Zeitmaßstabmodifikationssystem verwendet werden, das die Sprechgeschwindigkeit in einem konstanten Verhältnis so verändert, daß sie rascher oder langsamer als die ursprüngliche Geschwindigkeit ist, ohne daß das Intonationsmuster der Sprache geändert wird, und sie kann auch in einem Singstimmensynthesesystem oder einem Sprachcodierungssystem mit sehr niedriger Geschwindigkeit wie einem phonetischen Sprachverschlüsselungsgerät oder einem Segmentsprachver-schlüsselungsgerät verwendet werden, das die Sprache transferiert, indem die Dauer und Tonlage von im vorhinein gespeicherten Modelisprachsegmenten verändert werden. .
20
Claims (7)
- AT 400 646 B Ein weiteres Anwendungsgebiet der vorliegenden Erfindung ist das Musikklangsynthesesystem wie das elektronische Musikinstrument des Abtastverfahrens. Da nach dem Stand der Technik für Abtastverfahren für elektronische Musikinstrumente beinahe der gesamte Klang innerhalb des Tonumfangs von elektronischen Musikinstrumenten digital wellenformkodiert, gespeichert und reproduziert werden, wenn das die Tastatur erfordert usw., gibt es einen Nachteil, daß ein großer Teil des Speichers zum Speichern des Musikklangs erforderlich ist. Wenn aber das periodische Wellenformzerlegungs- und das Teilwellenverschiebungsverfahren gemäß vorliegender Erfindung verwendet werden, kann die erforderliche Speicherkapazität beträchtlich verringert werden, da die Laute bzw. Klänge von verschiedenen Tonlagen synthetisiert werden können, indem die Töne von nur wenigen Arten von Tonlagen abgetastet werden. Der musikalische Klang besteht typischerweise aus 3 Teilen, nämlich einem Anschlag, einem Aushalten und einem Ausklin-gen. Da die Spektrumeinhüllende allmählich nicht nur zwischen den 3 Teilen sondern auch innerhalb des Aushaltens variiert, variiert auch die Klangfarbe entsprechend. Wenn die Musikklangsegmente nach dem oben beschriebenen periodischen Wellenformzerlegungsverfahren kodiert und gespeichert werden, wobei die geeigneten Punkte, an denen das Spektrum im wesentlichen variiert, als die Grenzzeitpunkte genommen werden, und wenn der Klang nach dem oben beschriebenen Teilwellenverschiebungsverfahren auf Zeitverzerrungsbasis synthetisiert wird, wenn die Tastatur usw. das verlangt, kann daher dann musikalischer Klang mit willkürlich gewünschter Tonlage synthetisiert werden. Jedoch wird es in Fällen, in denen das musikalische Klangsignal nach dem linearen Vorhersageanalyseverfahren auseinandergerollt wird, da es eine Tendenz gibt, daß die präzise Spektralhülle nicht erhalten wird und der Tonlagenpuls nicht spitz bzw. spitz ist, empfohlen, die Anzahl an Spektralhüllparametern zu verringern, die zur Analyse verwendet werden, und das Signal vor der Analyse zu differenzieren. Obwohl diese Erfindung in ihrer bevorzugten Form mit einem gewissen Grad an Spezifität beschrieben vorden ist, werden Fachleute anerkennen, daß die vorliegende Offenbarung der bevorzugten Form nur beispielhaft gemacht worden ist und daß zahlreiche Veränderungen in den Details der Konstruktion, Kombination und Anordnung der Teile durchgeführt werden können, ohne daß vom Geist und Schutzumfang der Erfindung abgegangen wird. Patentansprüche 1. Sprachsegmentkodierungsverfahren zur Anwendung in einem Sprachsynthesesystem, dadurch gekennzeichnet, daß es umfaßt: das Bilden von Teilwelien durch das Ermitteln von Parametern, die eine Spektralhülle in jedem Analysezeitintervall darstellen, durch das Analysieren eines periodischen oder quasi-periodischen digitalen Signals unter Verwendung einer Spektrumschätztechnik, durch Transformieren des ursprünglichen Signals in eine Impulsantwort, die durch die Spektralhüllparameter und ein periodisches oder quasi-periodisches Tonlagenpulsseriensignal, das eine beinahe flache Spektralhülle aufweist, dargesteift wird, und durch Falten eines Erregungssignals, das durch Anhängen von Proben mit Nullwert nach einem Tonlagenpulssignal einer Periode, ermittelt durch Segmentieren des genannten Tonlagenpulsse-riensignais für jede Periode erhalten wird, so daß ein Tonlagenpuls in jeder Periode und eine Impulsantwort, die den Spektralhüllparametern entspricht, im gleichen Zeitintervali wie das genannte Erregungssignal vorhanden ist; und das Wellenformkodieren von Teilwellen einer jeden Periode, ihr Speichern im Speicher, und zur Zeit der Sprachsynthese das Dekodieren der Teilwellen, das Einstellen der Dauer und Tonlagenfrequenz durch Zuordnen der Teilwelien zu geeigneten Zeitpunkten, so daß sie das gewünschte Tonlagenmuster aufweisen, ihre Festlegung auf die genannten Zeitpunkte, und das Synthetisieren von Sprache durch ihre Überlagerung.
- 2. Sprachsegmentkodierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Teilwellen durch Verknüpfen von Information gebildet werden, die durch Wellenformkodieren eines Tonlagenpulssignals einer jeden Periode ermittelt wird, erhalten durch Segmentation mit Information, die durch Kodieren eines Satzes von Spektralhüllschätzparametern einer Periode während des gleichen Zeitintervalls erhalten wird, und Speichern der genannten Information in die genannten Speicher, und zur Zeit der Synthese die Erzeugung von Teilwellen durch Faltung eines Erregungssignals, erhalten durch Anhängen von Proben mit Nullwert nach einem Tonlagenpulssignal einer Periode, erhalten durch Dekodieren der genannten Information und einer Impulsantwort, die den dekodierten Spektralhüllparametern im gleichen Zeitintervall wie das genannte Erregungssignal entspricht. 21 AT 400 646 B
- 3. Sprachsegmentkodierungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß der synthetische Sprachlaut zur Zeit der Synthese erzeugt wird, durch Faltung eines synthetischen Erregungssignals, das durch Zuordnen von durch Dekodieren der genannten Information erhaltenen Tonlagenpulssignalen zu geeigneten Zeitpunkten gebildet wird, so daß sie gewünschte Tonlagenmuster aufweisen, und ihre Festlegung auf die genannten Zeitpunkte, wobei eine Austastlücke, die auftritt, wenn eine gewünschte Tonlagenperiode länger als eine ursprüngliche Tonlagenperiode ist, mit Proben mit Nullwert gefüllt wird und in einem überlappungsintervali, das auftritt, wenn die genannte gewünschte Tonlagenperiode kürzer ist als die genannte ursprüngliche Tonlagenperiode, die überlappten Tonlagenpulssignale zueinander addiert werden oder irgendeines der Signale von ihnen ausgewähft wird, bzw. eine zeitvariante Impulsantwort, die einem Satz synthetischer Spektralhüiiparameter entspricht, der entweder durch temporäres Komprimieren oder Ausdehnen des Satzes an Zeitfunktionen der genannten Parameter auf einer Subsegment-für-Subsegment-Basis gebildet wird, je nachdem, ob die Dauer eines Subsegments in einem zu synthetisierenden Sprachsegment kürzer oder länger als jene eines entsprechenden Subsegments im ursprünglichen Sprachsegment ist, oder durch Festlegung des Satzes von Zeitfunktionen der genannten Parameter einer Periode synchron mit dem genannten verknüpften Tonlagenpuissignal einer Periode, die so festgelegt ist, um das genannte synthetische Erregungssignal zu bilden, wobei im letzteren Fall ein synthetischer Spektralhüiiparameter in der genannten Austastlücke erhalten wird, indem der Wert des Spektralhüllparameters am Endpunkt der vorhergehenden Periode oder der Wert des Spektralhüllparameters am ersten Punkt der folgenden Periode oder ein Durchschnittswert der genannten beiden Werte wiederholt wird oder aber durch Füllen mit Werten, die die genannten beiden Werte glatt verbinden, oder durch Wiederholen der Werte der Spektralhüiiparameter an den End- und Beginnpunkten der vorhergehenden und folgenden Perioden vor und nach der Mitte der Austastlücke, und der genannte synthetische Spektralhüiiparameter im genannten Überlappungsintervall durch Auswählen irgendeines der überlappten Spektralhüiiparameter oder durch Verwendung eines Durchschnittswertes der genannten beiden überlappten Parameter erhalten wird.
- 4. Sprachsegmentkodierungsverfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch die zeitgleiche Steuerung der Dauer und Tonlage eines Sprachsegments durch ein Teilwellenverschiebungsverfahren auf Zeitverzerrungsbasis durch das Kodieren von Grenzzeitpunkten einschließlich Beginnpunkt, Endpunkt und Punkt im stationären Zustand in Sprachsegment- und Tonlagenpulspositionen eines jeden Teilwellen- oder Tonlagenpulssignals einer Periode und ihr Speichern in Speicher zeitgleich mit dem Speichern eines jeden Sprachsegments, und zur Zeit der Synthese, Ermitteln einer Zeitverzerrungsfunktion durch Vergleichen gewünschter Grenzzeitpunkte und ursprünglicher Grenzzeitpunkte, die den genannten gewünschten Grenzzeitpunkten entsprechend gespeichert sind, Herausfinden von ursprünglichen, jeder gewünschten Tonlagenpulsposition entsprechenden Zeitpunkten, durch Anwenden der genannten Zeitverzerrungsfunktion, Auswählen von Teilwellen mit Tonlagenpulspositionen, die am nächsten zu den genannten ursprünglichen Zeitpunkten liegen und ihr Festlegen auf die gewünschten Tonlagenpulspositionen, und Überlagern der genannten Teilwellen.
- 5. Sprachsegmentkodierungsverfahren nach Anspruch 4, weiters gekennzeichnet durch das Erzeugen von synthetischer Sprache durch Auswahlen von Tonlagenpulssignalen einer Periode und von Spektralhüllparametern, die den genannten Tonlagenpulssignalen entsprechen und ihre Festlegung, und Faltung des genannten festgelegten Tonlagenpulssignals und der Impulsantwort, die den genannten Spektralhüllparametern entspricht, um Teiiwellen zu erzeugen, und Überlagern der genannten erzeugten Teilwellen.
- 6. Sprachsegmentkodierungsverfahren nach Anspruch 4, weiters gekennzeichnet durch das Erzeugen synthetischer Sprache durch das Auswählen von Tonlagenpulssignalen einer Periode und von Spektral-hüllparametem, die den genannten Tonlagenpulssignalen entsprechen, und ihre Festlegung, und Faltung eines synthetischen Erregungssignals, das durch Überlagern der genannten festgelegten Tonlagenpulssignale nach dem Verfahren nach Anspruch 3 erhalten wird und einer Zeitvarianten Impulsantwort, die synthetischen Spektralhüllparametern entspricht, die durch Verknüpfen der genannten festgelegten Spektralhüiiparameter nach dem Verfahren nach Anspruch 3 erhalten wurden.
- 7. Synthesevorrichtung für stimmhafte Sprache zur Verwendung in einem Sprachsynthesesystem, insbesondere zur Durchführung des Sprachsegmentkodierungsverfahrens nach einem der Ansprüche 1-6, dadurch gekennzeichnet, daß es umfaßt: 22 AT 400 646 B ©inen Dekodierungssubblock (9), der Teilwelleninformation durch Dekodieren von Teilwellencodes vom Sprachsegmentspeicherblock (5) erzeugt; einen Zeitdauersteuerungssubblock (10), der Zeitverzerrungsinformation vom Eingang von Zeitdauerdaten von einem Prosodics-Erzeugungssubsystem (2) und von Grenzzeitpunkten erzeugt, die in der Headerinformation vom genannten Sprachsegmentspeicherblock (5) enthalten sind; einen Tonlagensteuerungssubblock (11), der Tonlagenpulspositionsinformation erzeugt, so daß sie ein Intonationsmuster aufweist wie durch Intonationsmusterdaten vom Eingang der genannten Headerinformation vom genannten Sprachsegmentspeicherblock (5), die genannten Intonationsmusterdaten vom genannten Prosodics-Erzeugungssubsystem und die genannte Zeitverzerrungsinformation vom genannten Zeitdauersteuerungssubblock (10) angegeben; einen Energiesteuerungssubblock (12), der Verstärkungsinformation erzeugt, so daß synthetische Sprache ein Betonungsmuster aufweist wie durch die Betonungsmusterdaten vom Eingang der genannten Betonungsmusterdaten vom genannten Prosodics-Erzeugungssubsystem (2), die genannte Zeitverzerrungsinformation vom genannten Zeitdauersteuerungssubblock (10) und die Tonlagenpulspositionsinformation vom genannten Tonlagensteuerungssubblock (11) angegeben; und einen Weilenformanordnungssubblock (13), der ein stimmhaftes Sprachsignal vom Eingang der genannten Teilwelleninformation vom genannten Dekodierungssubblock (9), der genannten Zeitverzerrungsinformation vom genannten Zeitdauersteuerungssubblock (10), der genannten Tonlagenpulspositionsinformation vom genannten Tonlagensteuerungssubblock (11) und der genannten Verstärkungsinformation vom genannten Energiesteuerungssubblock (12) erzeugt. Hiezu 15 Blatt Zeichnungen23
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019910019617A KR940002854B1 (ko) | 1991-11-06 | 1991-11-06 | 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ATA219292A ATA219292A (de) | 1995-06-15 |
| AT400646B true AT400646B (de) | 1996-02-26 |
Family
ID=19322321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| AT0219292A AT400646B (de) | 1991-11-06 | 1992-11-06 | Sprachsegmentkodierungs- und tonlagensteuerungsverfahren für sprachsynthesesysteme und synthesevorrichtung |
Country Status (17)
| Country | Link |
|---|---|
| US (1) | US5617507A (de) |
| JP (1) | JP2787179B2 (de) |
| KR (1) | KR940002854B1 (de) |
| AT (1) | AT400646B (de) |
| BE (1) | BE1005622A3 (de) |
| CA (1) | CA2081693A1 (de) |
| DE (1) | DE4237563C2 (de) |
| DK (1) | DK134192A (de) |
| ES (1) | ES2037623B1 (de) |
| FR (1) | FR2683367B1 (de) |
| GB (1) | GB2261350B (de) |
| GR (1) | GR1002157B (de) |
| IT (1) | IT1258235B (de) |
| LU (1) | LU88189A1 (de) |
| NL (1) | NL9201941A (de) |
| PT (1) | PT101037A (de) |
| SE (1) | SE9203230L (de) |
Families Citing this family (222)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4227826C2 (de) * | 1991-08-23 | 1999-07-22 | Hitachi Ltd | Digitales Verarbeitungsgerät für akustische Signale |
| CA2119397C (en) * | 1993-03-19 | 2007-10-02 | Kim E.A. Silverman | Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation |
| US5704000A (en) * | 1994-11-10 | 1997-12-30 | Hughes Electronics | Robust pitch estimation method and device for telephone speech |
| US5864812A (en) * | 1994-12-06 | 1999-01-26 | Matsushita Electric Industrial Co., Ltd. | Speech synthesizing method and apparatus for combining natural speech segments and synthesized speech segments |
| US5592585A (en) * | 1995-01-26 | 1997-01-07 | Lernout & Hauspie Speech Products N.C. | Method for electronically generating a spoken message |
| AU707489B2 (en) * | 1995-04-12 | 1999-07-08 | British Telecommunications Public Limited Company | Waveform speech synthesis |
| DE19538852A1 (de) * | 1995-06-30 | 1997-01-02 | Deutsche Telekom Ag | Verfahren und Anordnung zur Klassifizierung von Sprachsignalen |
| US6591240B1 (en) * | 1995-09-26 | 2003-07-08 | Nippon Telegraph And Telephone Corporation | Speech signal modification and concatenation method by gradually changing speech parameters |
| CA2188369C (en) * | 1995-10-19 | 2005-01-11 | Joachim Stegmann | Method and an arrangement for classifying speech signals |
| US6240384B1 (en) * | 1995-12-04 | 2001-05-29 | Kabushiki Kaisha Toshiba | Speech synthesis method |
| DE19610019C2 (de) * | 1996-03-14 | 1999-10-28 | Data Software Gmbh G | Digitales Sprachsyntheseverfahren |
| US5822370A (en) * | 1996-04-16 | 1998-10-13 | Aura Systems, Inc. | Compression/decompression for preservation of high fidelity speech quality at low bandwidth |
| EP0811906B1 (de) * | 1996-06-07 | 2003-08-27 | Hewlett-Packard Company, A Delaware Corporation | Sprachsegmentierung |
| JP3242331B2 (ja) * | 1996-09-20 | 2001-12-25 | 松下電器産業株式会社 | Ｖｃｖ波形接続音声のピッチ変換方法及び音声合成装置 |
| JPH10149199A (ja) * | 1996-11-19 | 1998-06-02 | Sony Corp | 音声符号化方法、音声復号化方法、音声符号化装置、音声復号化装置、電話装置、ピッチ変換方法及び媒体 |
| US5933805A (en) * | 1996-12-13 | 1999-08-03 | Intel Corporation | Retaining prosody during speech analysis for later playback |
| JP2000512036A (ja) * | 1997-02-10 | 2000-09-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声信号を伝送する通信回路網 |
| JPH10260692A (ja) * | 1997-03-18 | 1998-09-29 | Toshiba Corp | 音声の認識合成符号化／復号化方法及び音声符号化／復号化システム |
| KR100269255B1 (ko) * | 1997-11-28 | 2000-10-16 | 정선종 | 유성음 신호에서 성문 닫힘 구간 신호의 가변에의한 피치 수정방법 |
| DE69809525T2 (de) * | 1997-04-18 | 2003-07-10 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und system zum kodieren von menschlicher sprache und zum späteren abspielen |
| US5973252A (en) * | 1997-10-27 | 1999-10-26 | Auburn Audio Technologies, Inc. | Pitch detection and intonation correction apparatus and method |
| US6064960A (en) | 1997-12-18 | 2000-05-16 | Apple Computer, Inc. | Method and apparatus for improved duration modeling of phonemes |
| US6012025A (en) * | 1998-01-28 | 2000-01-04 | Nokia Mobile Phones Limited | Audio coding method and apparatus using backward adaptive prediction |
| US6073094A (en) * | 1998-06-02 | 2000-06-06 | Motorola | Voice compression by phoneme recognition and communication of phoneme indexes and voice features |
| US6199042B1 (en) * | 1998-06-19 | 2001-03-06 | L&H Applications Usa, Inc. | Reading system |
| AU1608100A (en) * | 1998-11-09 | 2000-05-29 | Datascope Investment Corp. | Improved method for compression of a pulse train |
| US6253182B1 (en) * | 1998-11-24 | 2001-06-26 | Microsoft Corporation | Method and apparatus for speech synthesis with efficient spectral smoothing |
| AUPP829899A0 (en) * | 1999-01-27 | 1999-02-18 | Motorola Australia Pty Ltd | Method and apparatus for time-warping a digitised waveform to have an approximately fixed period |
| US6202049B1 (en) * | 1999-03-09 | 2001-03-13 | Matsushita Electric Industrial Co., Ltd. | Identification of unit overlap regions for concatenative speech synthesis system |
| JP3730435B2 (ja) * | 1999-03-26 | 2006-01-05 | 株式会社東芝 | 波形信号解析装置 |
| SE9903223L (sv) * | 1999-09-09 | 2001-05-08 | Ericsson Telefon Ab L M | Förfarande och anordning i telekommunikationssystem |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US7346488B2 (en) * | 2000-07-10 | 2008-03-18 | Fujitsu Limited | Automatic translator and computer-readable storage medium having automatic translation program recorded thereon |
| WO2002023523A2 (en) * | 2000-09-15 | 2002-03-21 | Lernout & Hauspie Speech Products N.V. | Fast waveform synchronization for concatenation and time-scale modification of speech |
| US6952669B2 (en) * | 2001-01-12 | 2005-10-04 | Telecompression Technologies, Inc. | Variable rate speech data compression |
| US7177810B2 (en) * | 2001-04-10 | 2007-02-13 | Sri International | Method and apparatus for performing prosody-based endpointing of a speech signal |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| US20030135374A1 (en) * | 2002-01-16 | 2003-07-17 | Hardwick John C. | Speech synthesizer |
| AT6920U1 (de) | 2002-02-14 | 2004-05-25 | Sail Labs Technology Ag | Verfahren zur erzeugung natürlicher sprache in computer-dialogsystemen |
| GB0209770D0 (en) * | 2002-04-29 | 2002-06-05 | Mindweavers Ltd | Synthetic speech sound |
| JP3973530B2 (ja) * | 2002-10-10 | 2007-09-12 | 裕 力丸 | 補聴器、訓練装置、ゲーム装置、および音出力装置 |
| US20040073428A1 (en) * | 2002-10-10 | 2004-04-15 | Igor Zlokarnik | Apparatus, methods, and programming for speech synthesis via bit manipulations of compressed database |
| KR100486734B1 (ko) * | 2003-02-25 | 2005-05-03 | 삼성전자주식회사 | 음성 합성 방법 및 장치 |
| JP4256189B2 (ja) * | 2003-03-28 | 2009-04-22 | 株式会社ケンウッド | 音声信号圧縮装置、音声信号圧縮方法及びプログラム |
| US9165478B2 (en) | 2003-04-18 | 2015-10-20 | International Business Machines Corporation | System and method to enable blind people to have access to information printed on a physical document |
| US7487092B2 (en) * | 2003-10-17 | 2009-02-03 | International Business Machines Corporation | Interactive debugging and tuning method for CTTS voice building |
| US8210851B2 (en) * | 2004-01-13 | 2012-07-03 | Posit Science Corporation | Method for modulating listener attention toward synthetic formant transition cues in speech stimuli for training |
| US20060177805A1 (en) * | 2004-01-13 | 2006-08-10 | Posit Science Corporation | Method for enhancing memory and cognition in aging adults |
| US20060105307A1 (en) * | 2004-01-13 | 2006-05-18 | Posit Science Corporation | Method for enhancing memory and cognition in aging adults |
| US20070111173A1 (en) * | 2004-01-13 | 2007-05-17 | Posit Science Corporation | Method for modulating listener attention toward synthetic formant transition cues in speech stimuli for training |
| US20060073452A1 (en) * | 2004-01-13 | 2006-04-06 | Posit Science Corporation | Method for enhancing memory and cognition in aging adults |
| US20070065789A1 (en) * | 2004-01-13 | 2007-03-22 | Posit Science Corporation | Method for enhancing memory and cognition in aging adults |
| US20060051727A1 (en) * | 2004-01-13 | 2006-03-09 | Posit Science Corporation | Method for enhancing memory and cognition in aging adults |
| US20050175972A1 (en) * | 2004-01-13 | 2005-08-11 | Neuroscience Solutions Corporation | Method for enhancing memory and cognition in aging adults |
| US20060074678A1 (en) * | 2004-09-29 | 2006-04-06 | Matsushita Electric Industrial Co., Ltd. | Prosody generation for text-to-speech synthesis based on micro-prosodic data |
| JP5036317B2 (ja) * | 2004-10-28 | 2012-09-26 | パナソニック株式会社 | スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法 |
| US20060259303A1 (en) * | 2005-05-12 | 2006-11-16 | Raimo Bakis | Systems and methods for pitch smoothing for text-to-speech synthesis |
| US20070011009A1 (en) * | 2005-07-08 | 2007-01-11 | Nokia Corporation | Supporting a concatenative text-to-speech synthesis |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| TWI277947B (en) * | 2005-09-14 | 2007-04-01 | Delta Electronics Inc | Interactive speech correcting method |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| US20070134635A1 (en) * | 2005-12-13 | 2007-06-14 | Posit Science Corporation | Cognitive training using formant frequency sweeps |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8898055B2 (en) * | 2007-05-14 | 2014-11-25 | Panasonic Intellectual Property Corporation Of America | Voice quality conversion device and voice quality conversion method for converting voice quality of an input speech using target vocal tract information and received vocal tract information corresponding to the input speech |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US8620662B2 (en) | 2007-11-20 | 2013-12-31 | Apple Inc. | Context-aware unit selection |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| US8583418B2 (en) | 2008-09-29 | 2013-11-12 | Apple Inc. | Systems and methods of detecting language and natural language strings for text to speech synthesis |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US8457965B2 (en) * | 2009-10-06 | 2013-06-04 | Rothenberg Enterprises | Method for the correction of measured values of vowel nasalance |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| US8600743B2 (en) | 2010-01-06 | 2013-12-03 | Apple Inc. | Noise profile determination for voice-related feature |
| US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| DE112011100329T5 (de) | 2010-01-25 | 2012-10-31 | Andrew Peter Nelson Jerram | Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US8965768B2 (en) | 2010-08-06 | 2015-02-24 | At&T Intellectual Property I, L.P. | System and method for automatic detection of abnormal stress patterns in unit selection synthesis |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US20120310642A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Automatically creating a mapping between text data and audio data |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| US9117455B2 (en) * | 2011-07-29 | 2015-08-25 | Dts Llc | Adaptive voice intelligibility processor |
| US8620646B2 (en) * | 2011-08-08 | 2013-12-31 | The Intellisis Corporation | System and method for tracking sound pitch across an audio signal using harmonic envelope |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| WO2013185109A2 (en) | 2012-06-08 | 2013-12-12 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8744854B1 (en) | 2012-09-24 | 2014-06-03 | Chengjun Julian Chen | System and method for voice transformation |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| US8886539B2 (en) * | 2012-12-03 | 2014-11-11 | Chengjun Julian Chen | Prosody generation using syllable-centered polynomial representation of pitch contours |
| JP2016508007A (ja) | 2013-02-07 | 2016-03-10 | アップル インコーポレイテッド | デジタルアシスタントのためのボイストリガ |
| US9308445B1 (en) | 2013-03-07 | 2016-04-12 | Posit Science Corporation | Neuroplasticity games |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| CN112230878B (zh) | 2013-03-15 | 2024-09-27 | 苹果公司 | 对中断进行上下文相关处理 |
| AU2014233517B2 (en) | 2013-03-15 | 2017-05-25 | Apple Inc. | Training an at least partial voice command system |
| AU2014227586C1 (en) | 2013-03-15 | 2020-01-30 | Apple Inc. | User training by intelligent digital assistant |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| HK1223708A1 (zh) | 2013-06-09 | 2017-08-04 | Apple Inc. | 用於实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| WO2014200731A1 (en) | 2013-06-13 | 2014-12-18 | Apple Inc. | System and method for emergency calls initiated by voice command |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| PL3703051T3 (pl) | 2014-05-01 | 2021-11-22 | Nippon Telegraph And Telephone Corporation | Koder, dekoder, sposób kodowania, sposób dekodowania, program kodujący, program dekodujący i nośnik rejestrujący |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| CN107924678B (zh) | 2015-09-16 | 2021-12-17 | 株式会社东芝 | 语音合成装置、语音合成方法及存储介质 |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10083682B2 (en) * | 2015-10-06 | 2018-09-25 | Yamaha Corporation | Content data generating device, content data generating method, sound signal generating device and sound signal generating method |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| JP6962268B2 (ja) * | 2018-05-10 | 2021-11-05 | 日本電信電話株式会社 | ピッチ強調装置、その方法、およびプログラム |
| CN111370002B (zh) * | 2020-02-14 | 2022-08-19 | 平安科技（深圳）有限公司 | 语音训练样本的获取方法、装置、计算机设备和存储介质 |
| CN113539231B (zh) * | 2020-12-30 | 2024-06-18 | 腾讯科技（深圳）有限公司 | 音频处理方法、声码器、装置、设备及存储介质 |
| US11848005B2 (en) * | 2022-04-28 | 2023-12-19 | Meaning.Team, Inc | Voice attribute conversion using speech to speech |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0139419A1 (de) * | 1983-08-31 | 1985-05-02 | Kabushiki Kaisha Toshiba | Sprachsyntheseeinrichtung |
| EP0140777A1 (de) * | 1983-10-14 | 1985-05-08 | TEXAS INSTRUMENTS FRANCE Société dite: | Verfahren zur Codierung von Sprache und Einrichtung zur Durchführung des Verfahrens |
| EP0481107A1 (de) * | 1990-10-16 | 1992-04-22 | International Business Machines Corporation | Sprachsyntheseeinrichtung nach dem phonetischen Hidden-Markov-Modell |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3700815A (en) * | 1971-04-20 | 1972-10-24 | Bell Telephone Labor Inc | Automatic speaker verification by non-linear time alignment of acoustic parameters |
| JPS51104202A (en) * | 1975-03-12 | 1976-09-14 | Hitachi Ltd | Onseigoseinotameno sohensakuseisochi |
| JPS5660499A (en) * | 1979-10-22 | 1981-05-25 | Casio Computer Co Ltd | Audible sounddsource circuit for voice synthesizer |
| JPS5710200A (en) * | 1980-06-20 | 1982-01-19 | Matsushita Electric Industrial Co Ltd | Voice synthesizer |
| JPS5717997A (en) * | 1980-07-07 | 1982-01-29 | Matsushita Electric Industrial Co Ltd | Voice synthesizer |
| JPS57144600A (en) * | 1981-03-03 | 1982-09-07 | Nippon Electric Co | Voice synthesizer |
| JPS5843498A (ja) * | 1981-09-09 | 1983-03-14 | 沖電気工業株式会社 | 音声合成装置 |
| JPS58196597A (ja) * | 1982-05-13 | 1983-11-16 | 日本電気株式会社 | 音声合成装置 |
| WO1986003873A1 (en) * | 1984-12-20 | 1986-07-03 | Gte Laboratories Incorporated | Method and apparatus for encoding speech |
| JPH0632020B2 (ja) * | 1986-03-25 | 1994-04-27 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | 音声合成方法および装置 |
| FR2636163B1 (fr) * | 1988-09-02 | 1991-07-05 | Hamon Christian | Procede et dispositif de synthese de la parole par addition-recouvrement de formes d'onde |
-
1991
- 1991-11-06 KR KR1019910019617A patent/KR940002854B1/ko not_active Expired - Fee Related
-
1992
- 1992-10-28 GB GB9222756A patent/GB2261350B/en not_active Expired - Fee Related
- 1992-10-29 CA CA002081693A patent/CA2081693A1/en not_active Abandoned
- 1992-11-02 SE SE9203230A patent/SE9203230L/ not_active Application Discontinuation
- 1992-11-04 BE BE9200956A patent/BE1005622A3/fr not_active IP Right Cessation
- 1992-11-04 DK DK134192A patent/DK134192A/da not_active Application Discontinuation
- 1992-11-05 GR GR920100488A patent/GR1002157B/el unknown
- 1992-11-05 PT PT101037A patent/PT101037A/pt not_active Application Discontinuation
- 1992-11-05 IT ITMI922538A patent/IT1258235B/it active IP Right Grant
- 1992-11-05 ES ES09202232A patent/ES2037623B1/es not_active Expired - Lifetime
- 1992-11-05 NL NL9201941A patent/NL9201941A/nl not_active Application Discontinuation
- 1992-11-06 LU LU88189A patent/LU88189A1/fr unknown
- 1992-11-06 FR FR9213415A patent/FR2683367B1/fr not_active Expired - Fee Related
- 1992-11-06 AT AT0219292A patent/AT400646B/de not_active IP Right Cessation
- 1992-11-06 DE DE4237563A patent/DE4237563C2/de not_active Expired - Fee Related
- 1992-11-06 JP JP4297000A patent/JP2787179B2/ja not_active Expired - Fee Related
-
1994
- 1994-07-14 US US08/275,940 patent/US5617507A/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0139419A1 (de) * | 1983-08-31 | 1985-05-02 | Kabushiki Kaisha Toshiba | Sprachsyntheseeinrichtung |
| EP0140777A1 (de) * | 1983-10-14 | 1985-05-08 | TEXAS INSTRUMENTS FRANCE Société dite: | Verfahren zur Codierung von Sprache und Einrichtung zur Durchführung des Verfahrens |
| EP0481107A1 (de) * | 1990-10-16 | 1992-04-22 | International Business Machines Corporation | Sprachsyntheseeinrichtung nach dem phonetischen Hidden-Markov-Modell |
Also Published As
| Publication number | Publication date |
|---|---|
| PT101037A (pt) | 1994-07-29 |
| CA2081693A1 (en) | 1993-05-07 |
| DE4237563A1 (de) | 1993-05-19 |
| US5617507A (en) | 1997-04-01 |
| ES2037623A2 (es) | 1993-06-16 |
| NL9201941A (nl) | 1993-06-01 |
| FR2683367B1 (fr) | 1997-04-25 |
| JPH06110498A (ja) | 1994-04-22 |
| SE9203230D0 (sv) | 1992-11-02 |
| ES2037623R (de) | 1996-08-16 |
| DE4237563C2 (de) | 1996-03-28 |
| GR1002157B (en) | 1996-02-22 |
| FR2683367A1 (fr) | 1993-05-07 |
| SE9203230L (sv) | 1993-05-07 |
| ES2037623B1 (es) | 1997-03-01 |
| GB2261350A (en) | 1993-05-12 |
| BE1005622A3 (fr) | 1993-11-23 |
| JP2787179B2 (ja) | 1998-08-13 |
| DK134192A (da) | 1993-08-18 |
| ITMI922538A0 (it) | 1992-11-05 |
| GB2261350B (en) | 1995-08-09 |
| ITMI922538A1 (it) | 1994-05-05 |
| GR920100488A (el) | 1993-07-30 |
| LU88189A1 (fr) | 1993-04-15 |
| IT1258235B (it) | 1996-02-22 |
| GB9222756D0 (en) | 1992-12-09 |
| DK134192D0 (da) | 1992-11-04 |
| KR940002854B1 (ko) | 1994-04-04 |
| ATA219292A (de) | 1995-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AT400646B (de) | Sprachsegmentkodierungs- und tonlagensteuerungsverfahren für sprachsynthesesysteme und synthesevorrichtung | |
| DE60112512T2 (de) | Kodierung von Ausdruck in Sprachsynthese | |
| DE60214358T2 (de) | Zeitskalenmodifikation von signalen mit spezifischem verfahren je nach ermitteltem signaltyp | |
| DE602004007786T2 (de) | Verfahren und vorrichtung zur quantisierung des verstärkungsfaktors in einem breitbandsprachkodierer mit variabler bitrate | |
| DE60126575T2 (de) | Vorrichtung und Verfahren zur Synthese einer singenden Stimme und Programm zur Realisierung des Verfahrens | |
| DE69926462T2 (de) | Bestimmung des von einer phasenänderung herrührenden rauschanteils für die audiokodierung | |
| DE69230324T2 (de) | Verfahren zur Zeitskalenmodifikation von Signalen | |
| DE60213653T2 (de) | Verfahren und system zur echtzeit-sprachsynthese | |
| DE69909716T2 (de) | Formant Sprachsynthetisierer unter Verwendung von Verkettung von Halbsilben mit unabhängiger Überblendung im Filterkoeffizienten- und Quellenbereich | |
| DE69816810T2 (de) | Systeme und verfahren zur audio-kodierung | |
| DE60006271T2 (de) | Celp sprachkodierung mit variabler bitrate mittels phonetischer klassifizierung | |
| DE69719654T2 (de) | Grundfrequenzmuster enthaltende Prosodie-Datenbanken für die Sprachsynthese | |
| DE60219351T2 (de) | Signaländerungsverfahren zur effizienten kodierung von sprachsignalen | |
| DE69527410T2 (de) | CELP-Koder und -Dekoder und Verfahren dazu | |
| DE69832358T2 (de) | Verfahren zur Sprachkodierung und -dekodierung | |
| DE69932786T2 (de) | Tonhöhenerkennung | |
| DE60029990T2 (de) | Glättung des verstärkungsfaktors in breitbandsprach- und audio-signal dekodierer | |
| EP1825461B1 (de) | Verfahren und vorrichtung zur künstlichen erweiterung der bandbreite von sprachsignalen | |
| DE69916321T2 (de) | Kodierung eines verbesserungsmerkmals zur leistungsverbesserung in der kodierung von kommunikationssignalen | |
| DE68912692T2 (de) | Zur Sprachqualitätsmodifizierung geeignetes Übertragungssystem durch Klassifizierung der Sprachsignale. | |
| DE2115258A1 (de) | Sprachsynthese durch Verkettung von in Formant Form codierten Wortern | |
| EP1105867B1 (de) | Verfahren und vorrichtungen zur koartikulationsgerechten konkatenation von audiosegmenten | |
| DE69612958T2 (de) | Verfahren und vorrichtung zur resynthetisierung eines sprachsignals | |
| DE69318209T2 (de) | Verfahren und Anordnung zur Sprachsynthese | |
| DE60202161T2 (de) | Verfahren, Vorrichtung und Programm zur Analyse und Synthese von Sprache |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ELJ | Ceased due to non-payment of the annual fee | ||
| RER | Ceased as to paragraph 5 lit. 3 law introducing patent treaties |